JP2005293045A - 二次元画像処理システム - Google Patents

二次元画像処理システム Download PDF

Info

Publication number
JP2005293045A
JP2005293045A JP2004105048A JP2004105048A JP2005293045A JP 2005293045 A JP2005293045 A JP 2005293045A JP 2004105048 A JP2004105048 A JP 2004105048A JP 2004105048 A JP2004105048 A JP 2004105048A JP 2005293045 A JP2005293045 A JP 2005293045A
Authority
JP
Japan
Prior art keywords
image
spot
dimensional
point
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004105048A
Other languages
English (en)
Inventor
Michimasa Kishimoto
通雅 岸本
Hisao Otake
久夫 大竹
Takeshi Omasa
健史 大政
Katsuhiko Tomita
勝彦 冨田
Koichi Okumura
弘一 奥村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HORIBA BIOTECHNOLOGY CO Ltd
Original Assignee
HORIBA BIOTECHNOLOGY CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HORIBA BIOTECHNOLOGY CO Ltd filed Critical HORIBA BIOTECHNOLOGY CO Ltd
Priority to JP2004105048A priority Critical patent/JP2005293045A/ja
Publication of JP2005293045A publication Critical patent/JP2005293045A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Processing (AREA)

Abstract

【課題】 標本をもとに作製された二次元画像を、病症診断に対する客観的な判断の指標として提供できるように、画像の状態あるいは診断に求められる条件に適合した適切な画像処理を行うことができる画像処理システムを提供する。
【解決手段】 経時変化を伴う特定対象を撮像した二次元画像に対するスポットの領域決定において、(1)経時画像の準備、(2)画像内の特定点あるいは特定領域の抽出、(3)特定点あるいは特定領域の画像強度の関数化、(4)バックグランドの認定、(5)バックグランドの画像強度の関数化、(6)補正関数の設定、のステップを有することを特徴とする。
【選択図】 図1

Description

本発明は、二次元画像処理システムに関するもので、特に二次元電気泳動画像を用いて肝臓癌などの癌の組織を高感度で、かつ簡便に検出する場合に有用である。
近年、病症診断においては、直接対象となる細胞を基に行う診断が重要な地位を占めるようになってきている。特に、癌の診断においては、異常な組織とその周辺の正常組織とを取り出し、その比較解析を行うことで、癌組織の進み具合あるいは良性や悪性の判断が可能な場合あるいは実行される診療機関も増加してきている。
例えば、固形上皮腫瘍または他の異常性(例えば、直腸結腸炎)の診断の方法として、上皮細胞から間質をサイズ分離する工程、依然として存在するほとんどの他の組織から、上皮細胞に特異的なモノクローナル抗体と該組織とを反応させることによって上皮細胞を分離する工程、抗体に結合した反応細胞を採集し、そして抗体からそれらを放出させることによって上皮細胞を分離する工程であって、それにより該サンプルが、サンプルの全組織の体積で少なくとも90%の上皮細胞を含む、工程、およびサンプルの少なくとも1つの表現型または遺伝子型の特徴を対応する正常上皮細胞と比較する工程を包含する、方法が提案されている。図9は、この方法によって作成された、細胞調製物の正常な結腸直腸上皮細胞に存在するタンパク質の二次元ゲルマップである(例えば特許文献1参照)。
また、組織あるいはたんぱく質を二次元電気泳動により分析し、作成された二次元画像をもとに病症診断を行う方法が提案されている。電気泳動パターンを撮像した電気泳動画像のコントラストを強調させて目視で容易にスポットを確認できるようにしており、図10は、その発明の一実施形態にかかる電気泳動画像処理装置の全体構成を示すブロック図である。つまり、電気泳動画像の画像データを記憶する画像データ記憶手段3と、電気泳動画像のコントラストが強調されるように画像処理する画像データ処理手段4と、入力手段5と、出力手段6とを備え、画像データ処理手段4が、電気泳動画像の画像データから着目点画素の輝度値Lを読み込み、着目点画素の変換後の輝度値dを設定し、ゲイン値kを設定する。そして、電気泳動画像の画像データを構成する各画素の撮像輝度値Xのそれぞれを、着目点画素の輝度値Lと、着目点画素の変換後の輝度値dと、ゲイン値kとに基づいて、式X′=k(X−L)+dによって変換して変換輝度値X′とし、この変換輝度値X′からなる電気泳動画像の画像データを出力手段6へ出力して表示させる方法を提案している(例えば特許文献2参照)。
特表2001−521631号公報 特開2003−29304号公報
しかしながら、従来技術で述べた画像処理システムでは、以下のような課題が生じることがある。
つまり、病症診断などにおいては、正常あるいは異常と見られる細胞を処理し画像上で両者を比較することが好ましく、両画像を形成するスポットが明確であることが適切な判断を導く上で非常に重要である一方、作製された画像全体に対して、上記のように一律的に画像強度分割によって境界を認定する、あるいはコントラストを強調することは、正確なスポットを確認していない、との発明者の知見が得られている。
つまり、従来技術で述べた病症診断方法では、こうしたスポットの明確な画像の形成が困難であり、以下のような課題が生じることがあった。
(1)スポットの境界が元々不明瞭な場合の判断はコントラストだけでは正確な認定が困難である。具体的には、癌の病症診断における組織の確認などにおいては、スポットの領域は、細胞自体の造影手段によって表されることから、細胞の平面的な大きさ・高さを表示するとともに、細胞造影の濃淡の相違をも表示することから、画像全体における一律的な画像強度分割による境界の認定は、必ずしも正確な組織の境界を認定していることにならないことがある。
(2)画像自体に経時変化が生じる場合には、対比する画像が同等視できない。つまり、一般には、造影手段を用いて画像を作製するが、このとき組織との反応が安定するまでに所定の時間を要し、かつ組織ごとに安定時間が異なることが、その要因であるとの知見が得られた。
(3)スポット領域同士が重なりをもった場合においては、その境界が不明確になることから、やはり正確な対比が困難となる。特に現実の試料においては組織間の境自体が不明瞭であるため、正確な画像が得られないことから、コントラストだけではスポットの境界の明瞭化が図れない。
(4)画像の撮像時におけるゲルの条件あるいはゲルマップや電気泳動パターンと撮像装置との配置関係によって、画像におけるスポット位置のズレが生じることから、正確な対比が困難となる。
従って、本発明は、複数画像の比較による同一スポットの特定・比較において、(1)境界の不明確さ、(2)スポットごとの濃淡の相違、(3)画像の経時変化およびスポットごとの変化の相違、(4)領域の重なりによる境界の不明確さ、(5)スポット位置のずれなどによる誤差の排除が課題となる。
また、画像上に現れるスポットには、病症診断特有の非常に重要なスポットがあり、専門医の判断時にこうした特異点の見過ごしがないように、スポットの重要性に応じた明示も必要となる。
さらに、現在、癌などの疾病に対しては、現状専門医の経験による判断に頼るしかない状況であるが、こうした専門医の経験による判断に加え、より客観的な判断の指標として二次元画像が求められており、今後、こうした指標を提供しうる画像処理システムが要請されている。
つまり、本発明の解決しようとする課題は、例えば、標本をもとに作製された二次元画像を、病症診断に対する客観的な判断の指標として提供できるように、画像の状態あるいは診断に求められる条件に適合した適切な画像処理を行うことができる画像処理システムを提供することである。特に、二次元電気泳動画像を用いて肝臓癌などの癌の組織を検出する場合のように、造影操作あるいは撮像操作によって画像に経時変化を生じる場合には、簡便かつ高精度の画像処理が必要不可欠であり、本発明の課題は、こうした要請に応じることができる画像処理システムを提供することである。
本発明者らは、鋭意研究を重ねた結果、以下に示す画像処理システムにより上記目的を達成できることを見出し、本発明を完成するに到った。
本発明は、画像処理システムであって、経時変化を伴う特定対象を撮像した二次元画像に対するスポットの領域決定において、(1)経時画像の準備、(2)画像内の特定点あるいは特定領域の抽出、(3)特定点あるいは特定領域の画像強度の関数化、(4)バックグランドの認定、(5)バックグランドの画像強度の関数化、(6)補正関数の設定、のステップを有することを特徴とする。
つまり、本発明者は、細胞や蛋白質などの生体標本をもとに造影手段を用いて作製された画像による病症診断など二次元画像の利用においては、対比する画像におけるバックグランドが変化しており特定時間における画像だけでは正確な診断は困難であること、さらに、スポット領域およびバックグランドにおける画像強度の経時変化は各々の画像上の点あるいは領域(以下「ポイント」という。)によって異なること、および、そのポイントにおける画像強度の経時変化に対し所定の関数近似を行うことが可能であることを見出した。従って、スポット領域およびバックグランドにおける画像強度を、こうした関数に用いて自動的に処理し、バックグランドの経時変化の補正を行うことで、より客観的な判断の指標を提供することができる。また、こうした補正によって、上記の課題解決のみならず、重なり合ったスポットが時間を遡ることにより、元は複数スポットからなることを自動的に明らかにすることができる。本方法は、こうした点にも、従来にはない一歩進んだ大きな利点がある。さらに、画像全体に対する一律的な決定方法ではなく、個々のスポットの特性に応じた補正が可能であり、より精度の高い指標の提供を行うことができる。
本発明は、画像処理システムであって、二次元画像に対するスポットの領域決定において、(1)任意の第1基準点あるいは基準領域の選定、(2)第1基準点あるいは基準領域間の画像強度を関数化、(3)第1境界点の設定、(4)中心点の設定、(5)第2基準点あるいは基準領域の選定、(6)第2基準点あるいは基準領域間の画像強度を関数化、(7)第2境界点の設定、(8)前記(4)〜(7)のステップを繰り返しによる第i境界点の設定、(9)スポットの領域の決定、のステップを有することを特徴とする。
本発明者は、二次元画像に対するスポットの領域決定において、画像全体に対する一律的な決定方法ではなく、個々のスポットの特性に応じた決定が必要であるとの知見から、こうした方法によって決定した領域をもとに作製された二次元画像が実際の病症診断において有用であることを見出した。つまり、スポット領域の境界近傍における画像強度の分布は、スポットの大きさあるいは強度(濃淡)に応じた所定の関数近似が可能であり、変曲点など関数において自動的に処理可能な点を領域の境界点として決定することによって、病症診断に対する客観的な判断の指標を提供することができる。また、スポットの境界は閉曲線を形成することから、順次境界点を画定していくこうした画像処理によって、スポットの形状に関係なくスポットの境界設定および領域決定が可能となる。さらに、領域決定と同時に面積の算出が容易である。
さらに、上記処理によって、一次的にはいわゆる2値画像が作製されることになるが、特異点を複数設定すれば、三次元(多次元)画像の作製も同様に行うことができる。
本発明は、上記画像処理システムであって、二次元画像に対するスポットの領域決定において、前記発明において設定された関数に対し、予め外部のあるいは内蔵の、前記関数に相当する正規化された関数を用意し、該正規化された関数をもとに補正あるいは置換する、ステップを有することを特徴とする。
癌細胞などの生体標本の二次元電気泳動については、最近多くの研究機関で行われており、研究結果としての画像自体は多く存在する。こうした画像について、上記のような、多くの解析関数を作製すれば、同一対象の二次元画像に対する非常に優れたデータベースができあがる。つまり、解析関数についての正規化が可能となる。本発明者は、こうした正規化された関数を本画像処理システムに適用して、スポットの境界点を決定し、あるいは画像強度の経時変化特性の特定や補正を行うことによって、実測時における各種の誤差あるいはノイズの影響を受けずに、客観性の高い領域決定を行うことができることを見出した。
本発明は、上記画像処理システムであって、同一スポットの撮像を含む複数の二次元画像を比較し画像補正を行うに際し、(1)スポットの領域決定、(2)比較するスポットの選定、(3)同一スポットの重ね合わせによる位置補正、のステップを有することを特徴とする。
複数の二次元画像におけるいわゆる位置補正に相当する処理である。水平関係または垂直関係にない2つのあるいはそれ以上の、各画像において対応するスポットを特定できれば、画像の平面的な補正が可能となる。この場合も、上記のようにデータベース化された二次元画像から、2以上のスポットの領域を特定することができる正規化された二次元画像の作製が可能であれば、非常に客観的な位置補正を実現することができる。
本発明は、上記画像処理システムであって、予め1以上の外部標準に対応するスポットの撮像を含む複数の二次元画像を比較し画像補正を行うに際し、前記外部標準に対応するスポットが重なるように、前記比較画像の二次元補正を行う、ことを特徴とする。
いわゆる外部標準による補正に相当する処理である。上記のように、通常の二次元画像は位置・濃淡・経時変化の補正を必要とするが、造影操作あるいは撮像操作を経由しても変化がなくかつ画像として二次元位置が分離可能な標準物質を加えて標本を作製し、これをもとに作製された二次元画像によれば、画像の補正における基準スポットとすることができる。この場合も、外部標準に対応するスポットを含むデータベース化され、正規化された二次元画像の作製が可能であれば、非常に客観的な位置補正を実現することができる。
本発明は、上記画像処理システムであって、前記スポットを重ねあわせにおいて、スポットの重なり状態に応じた区分を行い、同一スポットにはその間に跨る記号を表示することを特徴とする。
こうした画像処理によって、複数の二次元画像の比較における目視の判断においても速やかに相違点が判り、診断の迅速化を図ることができる。むろん記号に限定されず、対応するスポットがない場合には、フラッシングや色彩を変化させるなど種々の明示方法の適用が可能であることはいうまでもない。ここで、「区分」とは、色彩、濃淡、模様や迷彩による識別を付与することをいう。
本発明は、上記画像処理システムであって、前記の各ステップにおいて、(1)各画像の全体画面、(2)比較する画像の任意の範囲の原画面、(3)比較する画像を重ね合わせた画面、(4)特定部位の拡大原画面、(5)特定部位を拡大し、比較する画像を重ね合わせた画面、のうちのいずれかの画面を並列的に表示するとともに、各画面間の関連を表記することを特徴とする。
例えば、癌細胞と正常細胞との比較による病症診断などにおいては、スポットの有無・位置関係・大きさだけではなく、形状あるいは周囲のスポットとの関係など精緻に解析する必要がある。こうした正確な判断のための画像を明示するためには、単に比較する複数の二次元画像だけでなく、部分的拡大画面およびその拡大位置の明示あるいは修正前の画像などを別々にまたは同時に明示できることが好ましい。こうした画像処理によって、より迅速かつ的確な診断が可能となる。
以上のように、本発明は、病症診断に対する客観的な判断の指標として提供できるように、画像の状態あるいは診断に求められる条件に適合した適切な画像処理を行うことができる画像処理システムを提供することができる。特に、造影操作あるいは撮像操作によって画像に経時変化を生じる場合であっても、こうした要請に応じることができる画像処理システムを提供することができる。
以下、本発明の実施の形態について、図面を参照しながら説明する。なお、本システムの各操作指令は、例えば、演算装置の内部から自動的に行う場合だけではなく、表示部から手動で行う場合や外部の通信手段などによって行うことができる。また、二次元画像データおよび補正に必要な各関数についても、同様に内部にメモリーされたものだけではなく、外部からの入力も可能である。
<画像処理システム例1>
本発明の基本として、1つの対象物に対して複数の二次元画像があるときに、相互に比較し相違点確認するための画像処理を行う場合を例に挙げる。図1にそのフローを示す。ベースおよびスポットの画像強度の算定には、経時変化がある画像については、まず経時変化の補正を行い、次にバックグランドの経時変化量を補正した強度を用いて濃淡補正を行う。経時変化がない画像の場合には、まず、濃淡補正を行い、各スポットの画像領域の設定を行うことで補正した画像の作製ができる。なお、本願にいう「スポット」とは、二次元画像上に表された小領域あるいはその集合体であって、測定対象の特性を示すためにバックグランドと区分された領域をいう。
以下、そのフローに基き、各ステップを詳述する。
(1)二次元画像の経時変化の補正
二次元画像の作製においては、例えば、造影時に図2(A)〜(H)に示すような画像の経時変化が生じることがある。これを、同図におけるa〜cのスポットおよびバックグランドgについての濃度の経時変化として捉えると、図3のような、バックグランドの上昇と各スポットの反応に伴う強度変化としての関係が得られる。このとき、各スポットの反応に伴う強度変化は、バックグランドの経時変化を補正すれば、ほぼ相似した曲線となり、近似した関数化が可能である。従って、経時変化の補正方法としては、バックグランドの経時変化量だけでなく、スポットの広がり(面積)の変化についても行うことが可能となる。また、各スポット単位での補正だけでなく、画像全体としての補正を行うことが、さらなる高精度化を図ることとなる。
二次元画像としては、生体標本についての二次元電気泳動画像だけでなく、ISFETやCCDにおける電荷の分布や電気信号量の分布にも適用することが可能である。
具体的には、スポットの領域設定においては、次の方法が挙げられる。図4にそのフローを示す。
(1−1)経時画像の準備
特定対象に対する任意の時間間隔の経時画像を複数準備する。ここでいう「特定対象」とは、時系列的に二次元画像を形成する対象物をいい、上記のように、二次元電気泳動によって二次元画像を形成する対象である細胞や蛋白質などの生体標本などが例示されるが、これに限定されるものではない。
(1−2)画像内のポイントの抽出
各ポイントにおける経時変化の情報を得るために、各画像における任意に選択された特定のポイントの画像強度を抽出する。ポイントは画像を区分し順次スキャニングする方法などが採られる。
(1−3)特定ポイントの画像強度の関数化
上記の各画像の特定ポイントの画像強度を、時間をパラメータとして関数化し、順次、関数Giを作製する。ここで、「画像強度」とは、広く二次元画像の形成が可能なあらゆる対象を、その対象を表現しうる尺度あるいは単位で表したものをいい、具体的には、単色あるいは色彩の強度だけではなく、電荷や電気信号量などの物理量、さらには、化学量あるいはそれを変換した物理量などが該当する。また、「関数」は、特定の点に関する場合にあっては一次元関数で十分であるが、点ではなく特定の領域に関する場合には二次元以上の関数を必要とすることも含まれる。演算速度から低次が好ましく、必要とされる精度および曲線の特性に合った次数の選択が望ましい。また、設定される関数は、1つの式で表される関数だけではなく、時間を区分し2つ以上の関数を結合化したものとすることも可能である。さらに、本項の経時変化を関数化する場合には、時間がパラメータとなるが、位置補正など他項においては、位置つまり座標がパラメータとなることがあり、両方がパラメータとなる場合など、種々の要素がパラメータとなりうる。
(1−4)バックグランドの認定
バックグランドの認定は、画像条件などによって任意に認定方法の設定方法が可能である。例えば、前記(1−2)において取り出された画像強度のうち、経時的に最終画像における画像強度が基準値以下のポイントを、バックグランドと認定する方法が挙げられる。また、画像作製時に予め特定のポイントをバックグランドと認識できる場合には、そのポイントを認定することも可能である。さらに、経時的に最終画像において、画像強度の全平均を求め、それ以上の強度を有するポイントを平均強度に置き換え、さらに全平均を求め、これを繰り返すことでバックグランドとすることが可能なポイントを認定する方法がある。また、経時的に最終画像において、画像強度の高いレベルから低いレベルに段階的に変化させたときに、同一レベルで形成されるスポット領域が画像全体に急激に拡大する場合において、そのレベルまでをバックグランドと認定する方法なども可能である。むろん、バックグランドの認定方法は、これに限定されるものではないことはいうまでもない。
(1−5)バックグランドの画像強度の関数化
バックグランドと認定したポイントの画像強度を、時間をパラメータとして関数化し、関数Goを作製する。関数化は、各ポイントごとに行うことも可能であるが、本発明者の知見では、数ポイントにおける画像強度の経時データの平均によって代表させることで十分である。
(1−6)補正関数の設定
上記のように補正方法としては、経時データの平均から得られたバックグランドについての関数Goを用い、下式1から、関数Giが作製されたポイントにおける補正関数Aiを求める方法がある。
Ai=Gi−Go ・・式1
また、前記バックグランドと認定されたポイントの内、前記関数Giが作製されたポイントに最も近接したポイントのおける関数Goiを選定し、下式2から関数Giが作製されたポイントにおける補正関数Aiを求める方法もある。
Ai=Gi−Goi ・・式2
こうした補正関数を各ポイントに適用することによって、各ポイントの経時変化を補正した画像を作製することができるとともに、複数の画像の対比において、各々異なる時間軸での対比となることを回避し、より客観的な判断の指標を提供することができる。
また、こうした補正の最大の利点は、従来近接する複数のスポットが重なり合って形成されていたスポットが、各ポイントでの経時変化を補正し、時間を遡ることにより、元来複数のスポットからなることを自動的に明らかにすることができる点にあるといえる。特に、図2における(E)や(F)あるいは(G)に相当する画像しかない場合であっても、補正関数が想定できる場合には(A)や(B)に相当する各スポットを推定することができ、上記画像のみでは判断できない複数のスポットが重なりを分離し判断することができる。
(2)二次元画像の濃淡補正
本発明者の研究によって、二次元画像のスポットの境界近傍における画像の濃淡(画像強度)を調べると、次の傾向があることの知見が得られた。つまり、図5に示すように、ベース領域を始点として、比較的フラットな領域Aから、急激に変化する領域Bを経て、濃度の高い領域Cに移行してスポットが形成されている。各スポットの濃淡の差(最高強度DとD’の差)はあっても、その曲線は非常に相似的なものとなる。従って、この曲線は、スポットの位置xをパラメータとする3次関数あるいは4次以上の関数で表現することができる。または、領域ごとに区分し2つ以上の3次以下の低次関数の結合化することも可能である。
具体的には、スポットの領域設定においては、次の方法が挙げられる。図6にそのフローを示す。
(2−1)第1基準点(領域)の設定
二次元画像の濃淡補正にあたり、スポット内外に、任意の距離を有する任意の2つのポイント(第1基準点)を選定する。2つのポイントは、中間に他のスポットが入り込まないようにできる限り近接することが好ましい一方、境界の判断が可能な所定の距離以上を必要とする。従って、画像全体の画像強度をデータ化してから図5の曲線部に相当する2点を自動的に選定する方法をとることも有効である。
(2−2)第1関数化
位置をパラメータとして、2つの第1基準点間の画像強度を関数化し、関数F1を作製する。関数は上記のように、1つの式で表される関数だけではなく、位置を区分し2つ以上の関数を結合化したものとすることも可能である。
(2−3)第1境界点の設定
関数化された画像強度曲線F1の特異点を境界点K1と定める。ここで、「曲線の特異点」とは、予め設定可能な、境界決定の基準となりうる客観的条件を満たす点をいい、具体的には、ピーク値までの分割点(例えば5%立上り点など)や曲線上の変曲点または関数の微分値が基準値を超える点のように傾斜が変化する点などが該当する。手動あるいは自動的に設定することが可能である。
(2−4)第2中心点の設定
境界点K1を中心とする一定範囲を設定し、境界点K1と異なるポイントを任意に選定し、第2中心点とする。ここで、「一定範囲」とは、予め設定可能な、特定の点から原則等距離の範囲をいい、具体的には、設定距離は画像全体から分割される任意の距離(例えば100分割相当値など)や前記分割点の倍数値(例えば2倍の距離)などが該当する。
(2−5)第2基準点の設定
第2中心点を含むが境界点K1を含まない直線上にあって、第2中心点を中心に略等距離離れた2つのポイント(第2基準点)を選定する。
(2−6)第2関数化
位置をパラメータとして、2つの第2基準点間の画像強度を関数化し、関数F2を作製する。
(2−7)第2境界点の設定
関数化された画像強度曲線F2の特異点を境界点K2と定める。
(2−8)第i境界点の設定
境界点K2について、前記(2−4)〜(2−7)のステップを繰り返し順次画像強度曲線Fiおよび境界点Kiを確定する。
(2−9)スポットの領域決定
順次確定する境界点K(n+1)が、前記境界点K1〜Knのいずれかに一致あるいは前記一定範囲内にあるとき、該スポットの領域を決定する。スポットの境界線は、本来、閉曲線を形成することから、順次設定する境界点はいずれ一致点を有することになり、スポットの領域を決定することができる。こうした画像処理によって、スポットの形状に関係なくスポットの境界設定および領域決定が可能となる。
以上の画像処理を、画像上の各スポットについて行うことによって、各スポットの境界設定および領域決定ができ、二次元画像全体のスポット領域の決定を行うことができる。
このように、画像強度を関数化することで、個々のスポットの領域を客観的に決定することができるとともに、二次元画像全体の濃淡補正を行うことができる。つまり、個々のスポットの特性に応じた領域の決定が可能となり、有用な二次元画像を提供することができることとなる。
さらに、上記画像処理によって作製される画像は、いわゆる2値画像であるが、特異点の設定を複数すれば、多次元画像の作製も同様に行うことができる。具体的には、例えば特異点の設定を、特定スポットのピーク値までの分割点とし、立上り点を5%から10%刻みで行い、各ポイントごとに画像強度をパラメータとして関数化すれば、三次元の関数化された画像を作製することができる。
また、上記三次元の関数化は、複数の重なり合ったスポットを、各々独立した二次元あるいは三次元の画像に分割することができる。つまり、各スポットの重なり合っていない三次元曲面における関数から、重なり合った領域での画像強度を分解・解析することにより、元の複数スポットの三次元の関数化された画像を作製することができる。
(3)二次元画像の位置補正
対比する2以上の画像におけるスポットの位置補正は、両画像を重ね合せ、比較的相似形で領域の重なりが大きな任意の2以上のスポットを選定し、両画像の同一スポットの特定を行い、両スポットが重なるように、二次元補正を行う。また、位置補正は、基本的には上記の濃淡補正処理を行った後に行うことが好ましい。濃淡補正前では、スポットの領域が不明確であり、領域の重なりの割合を判断することが難しく、結果補正精度の悪化を招くおそれがあるためである。
具体的には、同一スポットの撮像を含む複数の二次元画像を比較し画像補正を行うに際し、以下のステップを有する。
(3−1)各画像における領域決定
対比する各画像について、前記(2)の画像処理によってスポットの領域決定を行う。領域のデータは、上記の通り2値画像データ、あるいは三次元画像データであることを問うものではない。
(3−2)同一スポットの特定
複数の画像の内から特定画像(基準画像)を選定し、その画像内の任意の2以上のスポットを選定し、該特定画像と比較する比較画像の同一スポットの特定を行う。このとき、基準画像は、対象となる複数の画像の内、画像上のスポットが明確なものを選定することが好ましい。選定するスポットは極力大きい方が、重ねたときと補正精度の向上が期待できることから好ましい。また、水平垂直関係にない2つのあるいはそれ以上の、各画像において対応するスポットを特定できれば、画像の平面的な補正が可能となる。つまり、2つ以上のスポットは、画像全体の補正精度が上がるように、画像の対角する端部近傍のスポットあるいはそれに相当するスポットを選択することが好ましい。適切なスポットが不明確な場合には、画像の上端部から対角する端部の点をスキャニングして関数化可能な点を選定することも好ましい。
(3−3)比較画像の二次元補正
両画像の同一スポットが重なるように、比較画像の二次元補正を行う。3以上のスポットを選定し、最も重なりの悪いスポットを選定からはずすことによって、補正精度の向上が期待できる。
以上のような画像処理を行うことで、複数の二次元画像におけるいわゆる位置補正が可能となる。造影時あるいは撮像時において、二次元的あるいは3次元的に生じたスポット位置のズレを、適切かつ簡易に補正することが可能となる。
(4)二次元画像の表示
上記(1)〜(3)の補正を行うことで、対比すべき二次元画像が完成し、各種の解析が可能となる。なお、上記の補正は、1度行うことで十分精度の向上を図ることができるが、これを繰り返すことで、さらに精度の高い補正が可能となる。また、(1)〜(3)の補正は必ずしもこの順である必要ではなく、任意に選択あるいは繰返しを行うことで、二次元画像の条件に合った補正が可能である。
二次元画像の対比に際しては、マルチ画面が好ましく、例えば、図7に示すように(a)各画像の全体画面、(b)比較する画像の任意の範囲の原画面、(c)比較する画像を重ね合わせた画面、(d)特定部位の拡大原画面、(e)特定部位を拡大し、比較する画像を重ね合わせた画面、のように、いずれか任意の画面を並列的に表示する方法が挙げられる。単に比較する複数の二次元画像だけでなく、部分的拡大画面およびその拡大位置の明示あるいは修正前の画像などを別々にまたは同時に明示できることが好ましい。こうした画面の配列、大きさ、色彩などを任意に組合せることで、非常に使い勝手のよい二次元画像の表示を行うことができる。
具体的には、
(4−1)基準画像の全体画面(a)と比較画像の全体画面(a)との比較によって外郭的に把握することができる。
(4−2)基準画像の特定範囲画面(b)と比較画像の特定範囲画面(b)との比較によって詳細比較をすることができる。
(4−3)比較画像の全体画面(a)と特定範囲画面(b)との比較によって詳細部の全体における位置づけを把握することができる。
(4−4)基準画像の特定範囲画面(b)と比較画像の特定範囲画面(b)との重ね合わせ画面(c)によって相違点の抽出を行うことができる。
(4−5)基準画像の特定部位の拡大図(d)と比較画像の特定部位の拡大図(d)との比較によって特定スポットの詳細比較をすることができる。
(4−6)基準画像の特定部位の拡大図(d)と比較画像の特定部位の拡大図(d)との重ね合わせ画面(e)によって、特定スポットにおける相違点の抽出および詳細比較をすることができる。
(4−7)図面(a)〜(e)を全体面で表示可能とすることで、特定スポットにおける相違点の画像全体における位置づけ複数の他の比較画像との比較検証が可能となる。
また、自動補正では不十分な場合の目視による正確な補正操作のための画像の明示方法としても有用である。こうした画像の明示に対する操作指令は、例えば、演算装置の内部から自動的に行う場合だけではなく、表示部から手動で行う場合や外部の通信手段などによって行うことができる。拡大・縮小画面への変更などについても同様である。
(5)二次元画像の対比
上記の二次元画像の表示によって、各画像の対比を行うことができる。具体的には、図8(A)に示すように、両画像内の対応するスポット同士の照合によって行われる。例えば、癌組織標本から得られた二次元画像中のスポットxが、正常組織標本から得られた二次元画像中にはないことが判る。この例によれば、図8(B)のように、二次元画像の比較によって、スポットxに対応する組織あるいはたんぱく質が、発生した癌組織に関連する可能性を示していると判断され、係る部位を取出し、例えば、所定の前処理後にTOF−MASS(時間飛行式質量分析法)によって測定された結果と併せて、病症の判断が行われる。
二次元画像の対比においては、図8(B)のように、対応するスポット同士にはその間に跨る記号あるいは引出線などを表示することが好ましい。目視の判断においても速やかに相違点が判り、診断の迅速化を図ることができる。むろん記号に限定されず、対応するスポットがない場合には、フラッシングや色彩を変化させるなど種々の明示方法の適用が可能であることはいうまでもない。
また、スポットの重なり状態に応じた区分としては、例えば、100%に近い重なりの場合には黒色、80〜100%の場合には灰黒色、60〜80%の場合には黒灰色、40〜60%の場合には灰色、20〜40%の場合には淡灰色、20%以下の場合には白色、といったように目視の判断においても速やかに相違点が判ることが好ましい。むろん区分は識別が可能であれば、色彩、濃淡、模様や迷彩など手段を問うものではない。
<画像処理例システム2>
上記例では、同一対象に対する経時変化のある場合について説明したが、経時変化のない複数の実測画像による画像処理としては、まず、最初に濃淡補正を行い、以下同様のプロセスによって各スポットの画像領域の設定および補正した画像の作製を行い、二次元画像の表示および対比を行うことができる。つまり、上記の画像処理例1の処理プロセスから、(1)経時変化の補正プロセスを省略して処理することで、同様の客観的な判断の指標を提供することができる。
<画像処理例システム3>
上記例では、同一対象に対する複数の実測画像による画像処理について説明したが、予め外部標準を加えた標本を用い、複数の実測画像による画像処理を行うことも客観的な判断の指標を得る点において好適である。
つまり、上記のように、通常の二次元画像は、経時変化・位置・濃淡の補正を必要とするが、造影操作あるいは撮像操作を経由しても変化がなくかつ画像として二次元位置が分離可能な標準物質を加えて標本を作製し、これをもとに作製された二次元画像によれば、画像の補正における基準スポットとすることができる。
例えば、標本として癌細胞およびその周辺の正常細胞、処理手段として二次元電気泳動法、造影手段として銀染色反応を利用し、二次元画像を作製した場合においては、二次元電気泳動法によって分離可能な物質と分離しない物質を添加することで、2つの標準点を含む二次元画像の作製が可能となる。この例では、分離可能な物質として銀反応を生じる特定の標準たんぱく質(例えば、アルブミンなどが候補となる)や反応性ポリマーなどを挙げることができ、分離しない物質として不活性ナポリマーや金属体やセラミックスなどを挙げることができる。
具体的には、図1に示すフローを基本として、各プロセスにおいて以下のような優れた画像処理が可能となる。
(1)経時変化の補正において
予め外部標準を加えた標本を用いた場合には、画像データに対し外部標準に対応したスポットにおいては経時変化つまり画像強度の変化がないことから、該スポットの画像強度の変化をバックグランドの変化とすることができる。つまり、該スポットの画像強度の変化を関数化し、これに基準として他のポイントの画像強度の経時変化を補正することが可能となり、より簡便に精度よく補正することができる。
(2)濃淡補正において
予め外部標準を加えた標本を用いた場合には、画像データに対し外部標準に対応したスポットの形状および濃淡は一定であることから、該スポットの画像強度を基準値として外部標準に対応しないポイントの画像強度を補正することが可能となり、より簡便に精度よく補正することができる。
(3)位置補正において
予め外部標準を加えた標本を用いた場合には、画像データに対し外部標準に対応したスポットの位置および大きさは一定であることから、該スポットの位置および大きさを基準値として他のポイントの位置および大きさを補正することが可能となり、より簡便に精度よく補正することができる。特に、例えば、二次元電気泳動法によって分離可能な物質と分離しない物質を添加することが可能な場合には、2つの標準点による補正ができ、さらに精度の向上を図ることができる。
(4)二次元画像の表示および(5)二次元画像の対比において
予め外部標準を加えた標本を用いた場合には、画像データに対し外部標準を明示することで、それを基準として対比することが可能となり、より正確かつ迅速に判断することができる。
<画像処理例システム4>
上記例では、同一対象(外部標準を加えた標本を含む)に対する複数の実測画像による画像処理について説明したが、画像処理に際して、予め正規化された関数の準備が可能な場合にあっては、複数の実測画像による画像処理を正規化された関数によって行い、あるいは実測画像による画像処理関数を正規化された関数によって補正することによって、客観的な判断の指標を得る点において好適である。
つまり、上記のように、通常の二次元画像は、経時変化・位置・濃淡の補正を必要とし、それぞれに必要な補正条件を対象となる画像あるいは標準となるスポットに基いて、画像の補正を行っているが、本画像処理システムでは予め正規化された関数の準備が可能で、これをもとに作製された二次元画像によれば、画像の補正における基準関数あるいは標準スポットとすることができる。
例えば、癌細胞などの生体標本の二次元電気泳動については、最近多くの研究機関で行われており、研究結果としての画像自体は多く存在する。こうした画像について、上記のような、多くの解析関数を作製すれば、同一対象の二次元画像に対する非常に優れたデータベースができあがり、解析関数についての正規化が可能となる。こうした正規化された関数を本画像処理システムに適用して、スポットの境界点を決定し、あるいは画像強度の経時変化特性の特定や補正を行うことによって、実測時における各種の誤差あるいはノイズの影響を受けずに、客観性の高い領域決定を行うことができる。
具体的には、図1に示すフローを基本として、各プロセスにおいて以下のような優れた画像処理が可能となる。
(1)経時変化の補正において
予め造影処理あるいは撮像処理に伴う画像強度の経時変化に対する正規化された関数が準備可能で適用できる場合には、実測画像から個別の補正用関数を演算処理する必要がない。また、正規化された関数をもとに小数の画像データから補正用関数の係数を外挿することが可能となることから、経時画像の数を大幅に減少されることができる。さらに、予め外部標準を加えた標本を用い、外部標準を基準値として画像情報を規格化することができる場合には、規格化された二次元画像情報をもとに、各種の標本を補正することも可能となる。
(2)濃淡補正において
予め二次元画像におけるスポットの境界点の決定において、特異点設定のための画像強度に対する関数として、正規化された関数が準備可能で適用できる場合には、実測画像から個別の関数を演算処理する必要がないことから、迅速に濃淡補正を行う画像処理が可能となる。さらに、予め外部標準を加えた標本を用い、外部標準を基準値として画像情報を規格化することができる場合には、規格化された二次元画像情報をもとに、各種の標本を補正することも可能となる。つまり、画像データに対し外部標準に対応したスポットの形状および濃淡は一定であることから、該スポットの画像強度を基準値として外部標準に対応しないポイントの画像強度を補正することが可能となり、より簡便に精度よく補正することができる。
(3)位置補正において
予め生体標本などについての二次元画像の位置情報に対して正規化が可能な場合には、画像データに対応したスポットの位置および大きさに関する正規化された関数が準備することができることから、迅速に位置補正を行う画像処理が可能となる。特に、図2における(E)や(F)あるいは(G)に相当する画像しかない場合であっても、正規化された関数を適用することができる場合には(A)や(B)に相当する各スポットを想定することができ、上記画像のみでは判断できない複数のスポットが重なりを分離し判断することができる。
さらに、予め外部標準を加えた標本を用いた場合には、画像データに対し外部標準を基準値として位置の補正することが可能となり、より簡便に精度よく補正することができる。特に、例えば、二次元電気泳動法によって分離可能な物質と分離しない物質を添加することが可能な場合には、2つの標準点による補正ができ、さらに精度の向上を図ることができる。また、外部標準を基準値として画像情報を規格化することができる場合には、規格化された二次元画像情報をもとに、各種の標本を補正することも可能となる。
(4)二次元画像の表示および(5)二次元画像の対比において
対比する二次元画像が予め正規化された画像として準備可能な場合には、それを基準として対比することが可能となり、より迅速に判断することができる。また、予め外部標準を加えた標本を用い、外部標準を基準値として画像情報を規格化することが可能となる場合には、規格化された二次元画像情報をもとに、各種の標本と比較することも可能となるという技術的効果を得ることができる。さらに、こうした画像情報をデータベース化しておくことで、標本の適正などの解析プロセスの検証を行うことも可能となる。
以上は、主として癌組織を含む生体試料を中心に述べたが、同様の技術は、癌組織以外の生体病症診断などを目的とした画像処理においても非常に有効であり、上記に限定されるものでないことはいうまでもない。
また、二次元画像の作製において、電気泳動法のように造影操作あるいは撮像操作を必要とする場合を中心に説明したが、これに限定されるものではなく、例えば、生体試料における電荷あるいは抵抗値の分布などを画像処理することによって二次元画像の作製を行う場合においても適用可能である。
本発明に係る画像処理システムの動作を例示するフロー図 造影操作による画像の経時変化を例示する説明図 造影操作によるバックグランドの経時変化とスポット強度の経時変化を例示する説明図 本発明に係る画像処理システムにおける経時変化の補正動作を例示するフロー図 二次元画像におけるスポット領域の境界での強度分布を例示する説明図 本発明に係る画像処理システムにおける経時変化の補正動作を例示するフロー図 本発明に係る画像処理装置における表示画面を例示する説明図 二次元画像の対比によるスポットの比較、同定操作を例示する説明図 二次元画像の一例であるタンパク質の二次元ゲルマップを例示する説明図 二次元電気泳動装置および画像処理装置について説明するための模式図
符号の説明
a〜c、x スポット
g バックグランド

Claims (7)

  1. 経時変化を伴う特定対象を撮像した二次元画像に対するスポットの領域決定において、(1)経時画像の準備、(2)画像内の特定点あるいは特定領域の抽出、(3)特定点あるいは特定領域の画像強度の関数化、(4)バックグランドの認定、(5)バックグランドの画像強度の関数化、(6)補正関数の設定、のステップを有することを特徴とする画像処理システム。
  2. 二次元画像に対するスポットの領域決定において、
    (1)任意の第1基準点あるいは基準領域の選定、(2)第1基準点あるいは基準領域間の画像強度を関数化、(3)第1境界点の設定、(4)中心点の設定、(5)第2基準点あるいは基準領域の選定、(6)第2基準点あるいは基準領域間の画像強度を関数化、(7)第2境界点の設定、(8)前記(4)〜(7)のステップを繰り返しによる第i境界点の設定、(9)スポットの領域の決定、のステップを有することを特徴とする画像処理システム。
  3. 二次元画像に対するスポットの領域決定において、請求項1あるいは2において設定された関数に対し、予め外部のあるいは内蔵の、前記関数に相当する正規化された関数を用意し、該正規化された関数をもとに補正あるいは置換する、ステップを有することを特徴とする画像処理システム。
  4. 同一スポットの撮像を含む複数の二次元画像を比較し画像補正を行うに際し、
    (1)スポットの領域決定、(2)比較するスポットの選定、(3)同一スポットの重ね合わせによる位置補正、のステップを有することを特徴とする請求項1〜3のいずれかに記載の画像処理システム。
  5. 予め1以上の外部標準に対応するスポットの撮像を含む複数の二次元画像を比較し画像補正を行うに際し、前記外部標準に対応するスポットが重なるように、前記比較画像の二次元補正を行う、ことを特徴とする請求項1〜4のいずれかに記載の画像処理システム。
  6. 前記スポットを重ねあわせにおいて、スポットの重なり状態に応じて区分を行い、同一スポットにはその間に跨る記号を表示することを特徴とする請求項1〜5のいずれかに記載の画像処理システム。
  7. 前記の各ステップにおいて、(1)各画像の全体画面、(2)比較する画像の任意の範囲の原画面、(3)比較する画像を重ね合わせた画面、(4)特定部位の拡大原画面、(5)特定部位を拡大し、比較する画像を重ね合わせた画面、のうちのいずれかの画面を並列的に表示するとともに、各画面間の関連を表記することを特徴とする請求項1〜6いずれかに記載の画像処理システム。
JP2004105048A 2004-03-31 2004-03-31 二次元画像処理システム Pending JP2005293045A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004105048A JP2005293045A (ja) 2004-03-31 2004-03-31 二次元画像処理システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004105048A JP2005293045A (ja) 2004-03-31 2004-03-31 二次元画像処理システム

Publications (1)

Publication Number Publication Date
JP2005293045A true JP2005293045A (ja) 2005-10-20

Family

ID=35325933

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004105048A Pending JP2005293045A (ja) 2004-03-31 2004-03-31 二次元画像処理システム

Country Status (1)

Country Link
JP (1) JP2005293045A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014153172A (ja) * 2013-02-07 2014-08-25 Sharp Corp 画像解析装置、画像解析方法およびプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11183435A (ja) * 1997-12-20 1999-07-09 Horiba Ltd 光走査型二次元濃度分布測定装置における画像処理方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11183435A (ja) * 1997-12-20 1999-07-09 Horiba Ltd 光走査型二次元濃度分布測定装置における画像処理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014153172A (ja) * 2013-02-07 2014-08-25 Sharp Corp 画像解析装置、画像解析方法およびプログラム

Similar Documents

Publication Publication Date Title
CA2604317C (en) Methods and system for validating sample images for quantitative immunoassays
US11074692B2 (en) Image analysis method, apparatus, program, and learned deep learning algorithm
JP4504203B2 (ja) 画像分析に基づいたエストロゲン及びプロゲステロン表現のスコアリング
JP6477878B2 (ja) データ処理装置
JP4071186B2 (ja) 生物標本内の関心対象を識別するための方法及びシステム
US7602954B2 (en) Method for quantitative video-microscopy and associated system and computer software program product
US8310531B2 (en) Methods and apparatuses for processing fluorescence images
US9275441B2 (en) Method for preparing quantitative video-microscopy and associated system
US11232565B2 (en) Examining device for processing and analyzing an image
JP2016507759A (ja) 細胞ベースの組織解析
US9784665B1 (en) Methods for quantitative assessment of muscle fibers in muscular dystrophy
AU2003236675A1 (en) Method for quantitative video-microscopy and associated system and computer software program product
US20040023320A1 (en) Method and system for analyzing cells
Chopin et al. RootAnalyzer: a cross-section image analysis tool for automated characterization of root cells and tissues
US20100279341A1 (en) Methods and system for analyzing cells
JP2011191222A (ja) 質量分析データ処理方法及び装置
CN107567631A (zh) 组织样品分析技术
WO2017079212A1 (en) Cell detection, capture, analysis, aggregation, and output methods and apparatus
CN111656393A (zh) 组织学图像分析
JP2005291759A (ja) 二次元画像による病症診断システム
CN112136041A (zh) 成像数据处理装置
WO2019074489A1 (en) METHODS FOR QUANTITATIVE EVALUATION OF MUSCLE FIBERS IN MUSCLE DYSTROPHY
JP2005293045A (ja) 二次元画像処理システム
JP6477833B2 (ja) データ処理装置
JP2009041953A (ja) 定量分析装置、定量分析方法および定量分析プログラム

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20060613

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20060613

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091210

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100413