JP2004340738A - Apparatus, system and method for classifying cells - Google Patents

Apparatus, system and method for classifying cells Download PDF

Info

Publication number
JP2004340738A
JP2004340738A JP2003137449A JP2003137449A JP2004340738A JP 2004340738 A JP2004340738 A JP 2004340738A JP 2003137449 A JP2003137449 A JP 2003137449A JP 2003137449 A JP2003137449 A JP 2003137449A JP 2004340738 A JP2004340738 A JP 2004340738A
Authority
JP
Japan
Prior art keywords
cell
parameter
cells
calculation unit
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003137449A
Other languages
Japanese (ja)
Inventor
Nobuyuki Matsui
伸之 松井
Teijiro Isokawa
悌次郎 磯川
Takayuki Yamazaki
貴之 山崎
Noriaki Koeda
徳晃 小枝
Minoru Okamoto
稔 岡本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sysmex Corp
Original Assignee
Sysmex Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sysmex Corp filed Critical Sysmex Corp
Priority to JP2003137449A priority Critical patent/JP2004340738A/en
Publication of JP2004340738A publication Critical patent/JP2004340738A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To enable cells to be precisely classified. <P>SOLUTION: An apparatus for classifying the cells is provided with a parameter calculating section which acquires b-coordinate values in a color space of Lab from image data of the imaged cells; and which calculates first feature parameters relating to colors of the cells by using the b-coordinate values, and a classifying section which classifies the cells by using the first feature parameters calculated by the parameter calculating section. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【0001】
【発明の属する技術分野】
この発明は、細胞分類装置とシステム及び細胞分類方法に関するものであり、特に白血球を分類する装置とシステム及び方法に関する。
【0002】
【従来の技術】
赤血球や白血球などの細胞を撮像して、得られた画像から細胞の特徴パラメータを抽出して、その特徴パラメータを使用して細胞を分類する装置が知られている(例えば、特許文献1参照)。
また、画像処理法によって各白血球の種類を自動分類するために、撮像された各血球像の形態や色調に関する特徴パラメータを利用することも知られている(例えば、特許文献2参照)。
【0003】
【特許文献1】
米国特許第4761075号公報
【特許文献2】
特開2002−365285号公報の段落0018
【0004】
【発明が解決しようとする課題】
しかし、従来の細胞分析装置の分類精度は十分とは言えなかった。
この発明はこのような事情を考慮してなされたもので、細胞を自動的に精度よく分類することが可能な分類装置とシステムおよび方法を提供するものである。
【0005】
【課題を解決するための手段】
この発明は、撮像された細胞の画像データからLab色空間のb座標値を取得し、そのb座標値を使用して細胞の色彩に関する第1特徴パラメータを算出するパラメータ算出部と、パラメータ算出部で算出された特徴パラメータを使用して細胞を分類する分類部とを備える細胞分類装置を提供するものである。
【0006】
この発明によれば、人間の色知覚と座標値が比例するように補正されたLab色空間を用いて細胞の色彩に関する特徴パラメータを算出するので、細胞を精度よく分類することができる。
【0007】
【発明の実施の形態】
この発明の細胞分類装置に入力される、撮像された細胞の画像データは、例えば次のようにして得られる。まず、細胞をスライドガラスに塗抹して標本を作成する。次に、標本をライトギムザ染色やメイギムザ染色で染色する。染色した標本を、撮像部で撮像し、画像データに変換する。撮像部は、ステージに載置した標本を顕微鏡を用いて拡大し、CCDなどの撮像素子を備えたカメラを用いて拡大画像を撮像し、撮像された画像データに変換するように構成すればよい。あるいは、撮像部は、染色した細胞の懸濁液を、粒子撮像型フローサイトメータに流して細胞を撮像し、画像データを得るように構成してもよい。得られた画像データは複数の微小な画素から構成される。なお、細胞の色彩を正確に撮像するため、撮像領域を明るくする光源があると好ましい。光源には白色光源を用いることが好ましい。
【0008】
得られた画像データからLab色空間のb座標値を取得する。色を数値化するための座標系(あるいは色空間ともいう)には、光の3原色であるR(赤)、G(緑)、B(青)の各成分で表すRGB座標系のほかにも多数の座標系が知られている。Lab座標系はその一つであり、Lは明るさ、aは補色関係にある赤から緑への色あい、bは補色関係にある青から黄への色あいを表す座標である。Lab色空間は人間の色知覚と座標値が比例するように補正された色空間である。
【0009】
この発明の細胞分類装置が備えるパラメータ算出部と分類部は、例えばCPU、ROM、RAMなどを備えた汎用のコンピュータシステムを用いて構成することができる。この場合、画像データは、ハードディスクや光ディスクのような記録媒体を介して細胞分類装置に入力されてもよいし、カメラから直接入力されてもよい。パラメータ算出部と分類部の処理内容はプログラムとして例えばハードディスクや光ディスクなど一般に用いられる記憶媒体に格納され、必要に応じて記憶媒体から読み出されてRAM上に格納され、CPUがプログラムを実行するように構成される。あるいは、パラメータ算出部や分類部は、この発明の装置のために設計された回路を備える半導体素子によって構成することもできる。
【0010】
この発明の細胞分類装置のパラメータ算出部は、撮像された細胞の画像データの画素数と前記b座標値との関係を示すヒストグラムを作成するヒストグラム作成部と、作成されたヒストグラムを使用して第1特徴パラメータを算出する第1特徴パラメータ算出部とを備えていてもよい。
【0011】
また、この発明のパラメータ算出部は、撮像された細胞の画像データから細胞の面積に関する特徴パラメータを算出する面積パラメータ算出部を備えていてもよい。
【0012】
また、この発明のパラメータ算出部は、撮像された細胞の画像データから細胞の形状に関する特徴パラメータを算出する形状パラメータ算出部を備えていてもよい。
【0013】
あるいはまた、この発明のパラメータ算出部は、撮像された細胞の画像データから色空間の一種であるRGB色空間のR(赤)座標値およびG(緑)座標値と画素数との関係を示すヒストグラム、またはRGB色空間のR(赤)座標値およびB(青)座標値と画素数との関係を示すヒストグラムを作成するヒストグラム作成部と、作成されたヒストグラムを使用して細胞の色彩に関する第2特徴パラメータを算出する第2特徴パラメータ算出部とを備えていてもよい。
【0014】
これによって、第1特徴パラメータのほかに、面積に関する特徴パラメータや形状に関する特徴パラメータあるいは第2特徴パラメータなどの複数の特徴パラメータによって細胞の特徴を抽出することができるので、細胞をより精度よく分類することができる。
【0015】
この発明の細胞分類装置の分類部は、細胞が第1細胞である可能性を示す第1信頼度を第1特徴パラメータに基づいて算出する第1信頼度算出部と、
細胞が第2細胞である可能性を示す第2信頼度を第1特徴パラメータに基づいて算出する第2信頼度算出部と、第1および第2信頼度から細胞が第1細胞であるか第2細胞であるかを決定する決定部とを備える。
【0016】
これによって、細胞が第1細胞である可能性を示す第1信頼度を第1特徴パラメータに基づいて算出する第1信頼度算出部と、細胞が第2細胞である可能性を示す第2信頼度を第1特徴パラメータに基づいて算出する第2信頼度算出部とが分離されているので、新しい種類の細胞に対しても、第3、第4の信頼度算出部を追加することにより、分類する細胞の種類の追加を容易に行なうことができる。
【0017】
第1信頼度算出部は、第1細胞とその他の細胞を分類するよう学習された第1ニューラルネットワークであってもよく、第2信頼度算出部は、第2細胞とその他の細胞を分類するよう学習された第2ニューラルネットワークであってもよい。
【0018】
細胞には、典型的特徴をもたないものが多数存在する。典型的特徴をもたない細胞は、統計的識別手法だけでは、分類が困難であり、ニューラルネットワークを用いることによって、より精度よく分類することができる。
【0019】
また、対象とする細胞とその他の細胞を分類するよう学習させたニューラルネットワークを用いて細胞の分類を行なうので、細胞の専門知識を有した熟練者が多くの時間を費やして行なっていた分類を、専門知識を持たない操作者であっても短時間に精度良く行なえるようになる。
【0020】
細胞は白血球であってもよい。
この発明の細胞分類システムは、細胞の画像を撮像する撮像部と前記の細胞分類装置を備える。
【0021】
なお、前記ヒストグラム作成部、第1特徴パラメータ算出部、第2特徴パラメータ算出部、面積パラメータ算出部、形状パラメータ算出部や信頼度算出部や決定部は、前記コンピュータシステムを用いて構成できる。あるいは、この発明の装置のために設計された回路を備える半導体素子によって構成することもできる。また、この発明の細胞分類方法は、撮像された細胞の画像データから色空間の一種であるLab色空間のb座標値を取得する工程と、そのb座標値を使用して細胞の色彩に関する第1特徴パラメータを算出する工程と、特徴パラメータを使用して細胞を分類する工程とを備える。
【0022】
第1特徴パラメータを算出する工程は、前記b座標値と前記画像データの画素数との関係を示すヒストグラムを作成する工程と、作成されたヒストグラムを使用して第1特徴パラメータを算出する工程とを含んでいてもよい。
この発明の細胞分類装置は、撮像された細胞の画像データから細胞の色彩に関する特徴パラメータを算出するパラメータ算出部と、算出された特徴パラメータを使用して細胞を分類する分類部とを備える。
【0023】
以下、図面に基づいて、この発明の実施形態を詳述する。なお、これによって、この発明が限定されるものではない。
【0024】
図1はこの発明の細胞分類装置を含む細胞分類システムの一実施形態の説明図である。
【0025】
細胞分類システムは、撮像された細胞の画像データを得るための撮像部50を備える。撮像部50は、血液を塗抹したスライドガラス29(標本)を載置するステージ28と、ステージ28を移動して標本の任意の部分を顕微鏡下に移動させるための制御を行なうステージコントローラ27と、標本を拡大するための顕微鏡30と、標本の拡大画像を撮像するためのCCDカメラ31とを備える。CCDカメラ31は、細胞分類装置26に接続されている。CCDカメラ31で撮像された拡大画像は、画像データに変換される。変換された画像データは細胞分類装置26に送信される。
【0026】
細胞分類装置26は、分類結果を表示するためのディスプレイ32、および分類結果を印字するプリンタ33に接続されている。さらに、細胞分類装置26は、操作命令や分類条件等を入力するためのキーボード25に接続されている。細胞分類装置26は、内部に制御部1を備える。制御部1は、CPU、ROM、RAM、ハードディスクなどを備える。
【0027】
図2は制御部1の構成を示すブロック図である。
制御部1は、インターフェイス部19を備える。インターフェイス部19は、外部のCCDカメラ31の動作を制御し、CCDカメラ31からの画像信号を受信して処理する。
【0028】
CCDカメラ31は画像を構成する各画素をR(赤)、G(緑)、B(青)の各色成分に分解した信号の集合、即ち色空間の一種であるRGB色空間の座標値(RGB信号)の集合を出力する。
RGBとは異なった色情報の表現方法としてLab色空間がある。Lab色空間とRGB色空間で色情報の表現方法は異なるが、特定の色に対してRGB色空間の座標値とLab色空間の座標値は1対1に対応する。従って、RGB信号として得られた色情報をLab色空間上で処理するためには、各画素のRGB信号をLab信号(Lab色空間の座標値)に変換する処理を行なえばよい。色空間変換部11は、3次元の座標変換計算によってRGB信号からLab信号への変換を行なう。色空間変換部11には、インターフェイス部19を介してCCDカメラ31からのRGB信号が入力される。色空間変換部11から出力されるLab信号は、各画素に対応する色情報をLab色空間のL座標、a座標、b座標の3つの座標値で表現される。
【0029】
制御部1は、細胞の特徴パラメータを算出するパラメータ算出部2を備える。パラメータ算出部2は、色彩に関する第1特徴パラメータを算出する第1特徴パラメータ算出部5と、第1特徴パラメータとは異なる色彩に関する第2特徴パラメータを算出する第2特徴パラメータ算出部7と、面積に関する特徴パラメータを算出する面積パラメータ算出部3と、形状に関する特徴パラメータを算出する形状パラメータ算出部4とを備える。
【0030】
パラメータ算出部2は、b座標値と所定のb座標値を有する画素の数とからb成分(b座標値)のヒストグラムを作成するbヒストグラム作成部6、R座標値と所定のR座標値を有する画素の数とからR座標値のヒストグラムを作成するRヒストグラム作成部8、G座標値と所定のG座標値を有する画素の数とからG座標値のヒストグラムを作成するGヒストグラム作成部9、B座標値と所定のB座標値を有する画素の数とからB座標値のヒストグラムを作成するBヒストグラム作成部10を備える。
【0031】
色空間変換部11から出力されるLab信号は、bヒストグラム作成部6に入力され、bヒストグラムが作成される。作成されたヒストグラムデータは第1特徴パラメータ算出部5に入力される。第1特徴パラメータ算出部5は、bヒストグラムのデータを用いて細胞の色彩に関する特徴パラメータを算出する。
【0032】
また、RGB信号のうちのR信号は、Rヒストグラム作成部8に、G信号はGヒストグラム作成部9に、B信号はBヒストグラム作成部10にそれぞれ入力される。R、G、Bのヒストグラム作成部8、9、10で作成された各ヒストグラムデータは第2特徴パラメータ算出部7に入力される。
【0033】
面積パラメータ算出部3や形状パラメータ算出部4には、特徴パラメータ抽出に用いる画像情報に応じ、RGB信号あるいはLab信号もしくはその両方が入力される。この実施の形態では、細胞の画像的特徴領域の一つである細胞核の面積及び形状特徴算出にLab信号を用い、細胞の画像的特徴領域の異なる部分である細胞体の面積及び形状特徴算出にはRGB信号を用いるので、面積パラメータ部算出部3と形状パラメータ算出部4には、RGB信号とLab信号の両方が入力される。
【0034】
面積パラメータ算出部3は、細胞核の面積を算出するための細胞核面積算出部3aと、細胞体の面積を算出するための細胞体面積算出部3bとを備える。
【0035】
形状パラメータ算出部4は、細胞核の円形度を算出するための円形度算出部4aと、細胞核の補正円形度を算出するための補正円形度算出部4bとを備える。
【0036】
第1特徴パラメータ算出部5は、b1特徴値を算出するためのb1特徴値算出部5aと、b2特徴値を算出するためのb2特徴値算出部5bと、b3特徴値を算出するためのb3特徴値算出部5cとを備える。
第2特徴パラメータ算出部7は、GR特徴値を算出するためのGR特徴値算出部7aと、RB特徴値を算出するためのRB特徴値算出部7bとを備える。
【0037】
第1特徴パラメータ算出部5及び第2特徴パラメータ算出部7、面積パラメータ算出部3及び形状パラメータ算出部4からの各出力データは分類部18に入力される。
【0038】
分類部18はがそれぞれがモジュール化されたニューラルネットワークで構成される第1〜第5信頼度算出部12〜16を備える。
【0039】
第1信頼度算出部12は、細胞がリンパ球である信頼度を示す第1信頼度を算出するように、前記特徴パラメータの一部あるいは全てを入力として用いて学習させたニューラルネットワークで構成される。
【0040】
また、第2信頼度算出部13は、細胞が単球である信頼度を示す第2信頼度を算出するように、前記特徴パラメータの一部あるいは全てを入力として用いて学習させたニューラルネットワークで構成される。
【0041】
また、第3〜第5信頼度算出部14〜16は、それぞれ好塩基球、好酸球、好中球に対応する信頼度を算出するように学習させたニューラルネットワークで構成される。
【0042】
また、分類部18は、信頼度算出部12〜16の各々から出力された信頼度を使用して、最も信頼度が高い分類結果を決定し、出力する決定部17を備える。
【0043】
以下に、細胞の一例である白血球の分類を行なうために、この発明の細胞分類装置を用いた細胞分類処理を説明する。
【0044】
1.白血球の種類とその特徴
白血球は、血液細胞の一種で生体防御に関する働きを持ち、免疫機能の中心的な役割を果たす。白血球は主にリンパ球、単球、好酸球、好塩基球、好中球の5種類に分類される。また、この他に未成熟血球が存在する。
【0045】
これらの白血球は細胞の種類によって機能を異にする。単球や好中球は血管に付着し血管の間を通って組織に至るまでに微生物に遭遇するとこれを貧食し、殺菌、消化する機能を発揮して生体の防御にあたる。リンパ球は抗体やいわゆるリンホカインを生産し感染防御反応や炎症反応に携わる。好酸球には寄生虫に対する破壊作用と即時型アレルギー反応への関与がある。好塩基球は抗凝固作用を有し即時型アレルギー反応に関与する。このような働きをする白血球は、健康な状態であるとき、各種類の存在比率は一定範囲内におさまる。それに対して、白血病疾患では、ある種の白血球の生産が促進または抑制されるため正常な比率と著しく異なり、例えば、アレルギー疾患では、好酸球が増加する傾向にある。したがって、末梢血液中の各種の白血球の存在比率は、病因特定や病状の経過観察のきわめて重要な情報の1つである。図3は細胞の一例である5種類の白血球の形状を示す図である。図3でC1はリンパ球、C2は単球、C3は好塩基球、C4は好酸球、C5は好中球である。
【0046】
白血球群は一般に以下のような形状に関する特徴をもっていることが知られている。
リンパ球
・小リンパ球直径6〜9μm、大リンパ球直径9〜15μm。
・円形で、卵形の細胞核。
・クロマチン網工は、濃縮した鱗状と表現される。大リンパ球はより粗い鱗状のクロマチン構造を示す。
・細胞核には明るい色調の部分と濃いクロマチン構造の部分が斑状に配列される。
【0047】
単球
・成熟単球は多彩な形態を示す細胞である。
・20〜40μmの大きさ。
・細胞核は不整形。凹凸のため、偽足状に見える核突起を認める。
・細胞核のクロマチン構造は活性化した細胞に特徴的なレース状の微細な構造を持つ。
・細胞体の大きさは種々であり、色調は灰青色である。
【0048】
好塩基球
・前骨髄球になって、粗大で黒っぼい紫色の課粒が表れる。
・成熟好塩基球は、比較的小型で、その課粒はブラックベリーのように引き締まった2つの細胞核分節の上にも載って存在する。
【0049】
好酸球
・細胞核は、一般的に2分節のみである。
・前骨髄球では、粗大な青みがかかった赤色の課粒を持つ。
・髄球の段階に至ると、細胞体には、直径1μmで、徐々に赤っぽい黄金色に色調が変わる課粒でぎっしりと満たされる。
【0050】
好中球
・分節した細胞核の場合、1点かそれ以上の個所で、細い連結(細胞核の帯径の1/3以下)でつながっているだけである。また分節していない場合は、各部分が帯のようにほぼ同じ幅である。
・分節の数は成熟した細胞ほど多く、1〜5分節である。
・細胞体は、無色に近いものから薄いピンク色までさまざまである。
【0051】
2.信頼度算出部における階層型ニューラルネットワーク
この実施形態では信頼度算出部12〜16(図2)が階層型ニューラルネットワークで構成されている。階層型ニューラルネットワークは、システムの入出力間の写像関係を比較的簡単に構築できる。階層型ニューラルネットワークによるシステムモデルは、入力信号35をうけて出力信号39を出力する。このシステムモデルは、図4に示すように、入力層36、中間層37および出力層38に階層化されたニューロンで表される。各ニューロンは網目状に結合されている。各ニューロンは、図5に示すようにモデル化され、内部状態uは次式に示すような数式に基づいて動作する。
u=w+w+ … +w
ここで、x,x, … ,xは、他のn個のニューロンからの入力信号を表す。n個の入力信号x,x, … ,xに対して、1個の内部状態uが決定される。また、w,w, … ,wは、ニューロンの結合効率を表す量で、結合重みとよばれる。
【0052】
これを一般化して表記すると、入力層にp番目の入力パターンを提示するものとして、中間層i番目のニューロンの内部状態upiは以下の式で表現される
【0053】
【数1】

Figure 2004340738
【0054】
ここで、xphは入力層h番目のニューロンの出力信号、wihは入力層h番目のニューロンから中間層i番目のニューロンへの結合重みである。この内部状態upiから、そのニューロンの出力は以下のように決定される。
【0055】
【数2】
Figure 2004340738
【0056】
ここで、fはシグモイド関数で、0と1の間の値をとる。シグモイド関数は
【0057】
【数3】
Figure 2004340738
の式で表される。図6にシグモイド関数の特性を示す。
中間層の出力から出力層の出力への計算も同様である。
【0058】
このモデルに、入力信号を与え、それらの入力信号に対する出力結果と、期待される出力結果(教師信号と呼ばれる)との誤差が最小化されていくようにネットワーク内部のパラメータすなわちネットワーク層間の結合重みの調整を行う。この操作を繰り返すことによってシステムの特性、即ち、入出力信号の関係を自律的に獲得し決定することができる。この一連の操作は学習と呼ばれる。
【0059】
階層型ニューラルネットワークは、
・入出力関係を学習させるだけで非線形性の強い写像関係を容易に構築できる。
・学習を行なうことにより、未学習の入力データに対しても妥当な値を出力できる。
・いったん学習が終了すれば、簡単な積和演算だけで高速に出力が得られる。
・3層以上のネットワークを用いれば、任意の連続写像を任意の精度で近似できる。
といった特徴を有することが知られている。
【0060】
ここで、学習のアルゴリズムに関してさらに詳しく説明する。今、p番目のパターンに対する出力層j番目のニューロンの出力をypjとする。教師信号がdpjとしたとき、学習の評価として誤差測度E
【0061】
【数4】
Figure 2004340738
と定義する。これは入力パターンpに対する誤差測度である。すべての入力パターンに対するネットワークの全誤差E(t)は次式になる。
【0062】
【数5】
Figure 2004340738
【0063】
tはネットワークの学習回数である。階層型ニューラルネットワークではこのE(t)が極小値に向かうようにニューロン結合重みを更新していく。ニューロンの結合重みの更新量は入力パターンをpとすると誤差測度Eの各ニューロン結合重みwih、wjiに関する微分値から算出する。
まず、出力層の出力と誤差から中間層と出力層との間のニューロン結合重みの更新量を算出する。
【0064】
【数6】
Figure 2004340738
【0065】
同様にして入力層と出力層との間のニューロン結合重みの更新量を算出する。
誤差測度の極小値が常に小さくなるように次の式にしたがってすべてのニューロンの結合重みを更新していく。
【0066】
【数7】
Figure 2004340738
【0067】
ここで、ηは正定数で学習係数と呼ばれる。αは、1回前の変更量に対する正定数である。また0<α<1で、振動を抑えることができ、αが1に近いほど振動は抑制される。そのため、αを含む項は慣性項と呼ばれる。この学習アルゴリズムは出力層で評価された誤差がネットワークの信号の流れとは逆方向に伝播することから、誤差逆伝播法(バックプロパゲーション)と呼ばれる。
【0068】
3.白血球分類手順
この発明の細胞分類装置を用いた細胞分類システムでは、図7のフローチャートに示すような一連の手順によって、白血球の分類を行なう。
まず、血液を塗抹および染色して標本を作成する(ステップS1)。標本の染色には、ライトギムザ染色法またはメイギムザ染色法を用いる。
【0069】
次に、図1に示すように、スライドガラス29(標本)を、ステージ28に載せる。ステージ28の動作は、ステージコントローラ27によって制御される。ステージ28を移動して、標本を顕微鏡30の下に移動させる。そして、顕微鏡30を用いて標本を拡大し、標本の拡大画像をCCDカメラ31を用いて撮影する(ステップS2)。次に、CCDカメラ31からの画像データを細胞分類装置に入力する(ステップS3)。図2に示すように、制御部1では、色空間変換部11によってRGB信号からLab信号が生成され、パラメータ算出部2に入力される。パラメータ算出部2は、白血球の細胞核、細胞体を抽出し(ステップS4)、抽出した領域についての特徴パラメータを算出する(ステップS5)。パラメータ算出部2の算出結果は信頼度算出部12〜16、即ちモジュール化された階層型ニューラルネットワークの入力層への入力信号となる。信頼度算出部12〜16は、各種類の白血球に対する信頼度を算出する。各信頼度算出部12〜16によって算出された信頼度は決定部17に入力される。決定部17は、入力された信頼度を使用して白血球を分類する(ステップS6)。そして、分類結果が出力される(ステップS7)。
【0070】
3.1 細胞核・細胞質画像処理
入力された標本の画像信号に対する画像データ処理を以下に詳しく説明する。
まず、白血球の細胞核を抽出するために、RGB色空間で表現されている入力画像データをLab色空間に変換する。以下にRGB座標値からLab座標値の変換方法を示す。
【0071】
最初に0〜255の整数値で表現されるRGB座標値を正規化することにより、0〜1の実数値にする。その後、RGBの振幅特性をリニアにするために、ガンマ変換を行いリニアRGB座標値に変換する。以下がその計算式である。
【0072】
【数8】
Figure 2004340738
リニアRGB座標値を以下の式に代入し、GRBをXYZ値に変換する。
【0073】
【数9】
Figure 2004340738
変換したXYZ値を以下の式に代入してLab座標値に変換する。
【0074】
【数10】
Figure 2004340738
【0075】
ただし、Xn=95.05、Yn=100、Zn=108.9とする。
このようにして、各画素はRGB色空間からLab色空間に変換される。
【0076】
細胞核の面積及び形状に関する特徴パラメータを算出するために、変換したb座標値を用いて図8のようなb座標値(階調値)に対する画素数を表わす平滑化されたヒストグラムを作成する。得られたヒストグラムの谷間の低部に閥値Mを設けMより左側を細胞核として2値化処理をする。縮退・拡大処理で雑音を除去してから、連結した画素のかたまりごとにラベルを付けて区別するラベリング処理を行う。具体的には、画素数500以内のラベルは背景とし、残ったラベルは細胞核領域とする。図9に処理の流れに沿った細胞核の形態図を示す。図9(a)はカメラ31からのRGB画像であり、(b)はLab色空間のb成分すなわちb座標値の画像、(c)はb成分の画像を前述の閾値Mで2値化した画像を示す。図9(c)の斜線部は細胞核領域を示す。
【0077】
次に細胞体の面積を算出するために細胞体を抽出する。図10(a)に示すようなRGB画像データから、R座標値だけの画像とB座標値だけの画像との差分画像を得る(図10(b))。この差分画像の階調値−45から5までの画素を出力し、拡大・縮退処理を行い雑音除去した領域を細胞体とする(図10(c))。図10(c)の斜線部は細胞体領域を示す。
【0078】
3.2 特徴パラメータの算出
白血球を分類する特徴値として、前述のように処理された画像データを用いて、合計で9種類の特徴パラメータを算出する。9種類の特徴パラメータとは、面積に関する特徴パラメータ、形状に関する特徴パラメータ、第1特徴パラメータ、および第2特徴パラメータである。面積に関する特徴パラメータは、細胞核面積および細胞体面積である。形状に関する特徴パラメータは細胞核の円形度および補正円形度である。第1特徴パラメータは、色彩の特徴パラメータであり、b座標値のヒストグラムから得られるb特徴値(b1、b2およびb3)である。第2特徴パラメータは、色彩の特徴パラメータであり、GR及びRBの各座標値のヒストグラムから得られる細胞体のGR特徴値およびRB特徴値である。
【0079】
[1]面積に関する特徴パラメータ
面積に関する特徴パラメータとして、細胞核・細胞体面積を算出する。細胞核面積は、細胞核領域(図9(c)参照)の画素数の総数である。細胞核面積は、細胞体領域(図10(c))の画素数の総数である。細胞核面積では、単球・好塩基球が大きな値をとる。また細胞体面積では、単球・好中球・好酸球が大きな値をとる。図11と図12に白血球の細胞核と細胞体の面積の分布図を示す。図11で横軸のC1〜C5は白血球の種類であり、C1はリンパ球、C2は単球、C3は好塩基球、C4は好酸球、C5は好中球である。また、縦軸は正規化された細胞核の面積である。図12の横軸は図11と同様に白血球の種類を示し、縦軸は正規化された細胞体の面積である。
【0080】
[2]形状に関する特徴パラメータ
・細胞核の円形度
細胞核の円さの度合いを測るために以下の式より細胞核の円形度を求める。
円形度=4π×(細胞核面積)/(細胞核周囲長)・・・(1)
値がlに近いほど円形に近い形状となる。従って、細胞核の形状が楕円形のリンパ球が大きな値をとる。
【0081】
・補正円形度
図13(a)に細胞核の補正円形度を求める例を示す。図13(a)は細胞核領域fを示している。図に示すような窪みのある形状に対して、細胞核の最も大きな窪みの場所eに補助線dを引いて細胞核の周囲長と面積を補正し、前記の(1)式を用いて円形度を求める。ただし、細胞核の分節数が2以上の場合には、図13(b)に示すように面積が最大の細胞核領域gに対して補助線hを引く。補正円形度を求めるときは、他の細胞核領域と合わせて求める。補正円形度は、細胞核の形状が円形なものと、帯状のものが大きな値をとる。図14と図15に円形度と補正円形度の分布図を示す。図14で横軸のC1〜C5は白血球の種類であり、C1はリンパ球、C2は単球、C3は好塩基球、C4は好酸球、C5は好中球である。また、縦軸は正規化された細胞核の円形度である。図15の横軸は図14と同様に白血球の種類を示し、縦軸は正規化された細胞核の補正円形度である。
【0082】
[3]色彩に関する特徴パラメータ
・細胞核のLabのbヒストグラムによる特徴値(第1特徴パラメータ)
bヒストグラムの特徴値としてbl、b2、b3特徴値を算出する。まず最初に、入力画像データをRGB座標値からLab座標値に変換し、bヒストグラムを作成する。
【0083】
bl特徴値は図16のように、閾値AとBを設け、最初の山と最後の山の間での最小画素数とする。好中球、好塩基球によく見られるヒストグラムは,谷間の部分の画素数がほぼ0に近い値をとる(図32)。好塩基球の場合は谷間の部分が0に近い値をとらないものも存在する(図33)。好酸球の場合は谷間の部分の画素がある程度存在し、谷間が一つ増加することがある(図34)。従って、b1特徴値は好中球、好酸球および好塩基球を分類するのに特に有用な特徴パラメータである。
【0084】
b2特徴値は、図17のように、階調値がM以下の画素数の総数とする。M以下の領域は、細胞が好中球であれば細胞核を示していると考えられる。また、M以下の領域は、細胞が好酸球であれば細胞核と細胞体を示していると考えられる。従って、b2特徴値は好中球と好酸球を分類するのに特に有用なパラメータである。
【0085】
b1およびb2特徴値は、次のような手順で求めることができる。
(1)入力画像データをLab色空間に変換する。
(2)b座標についてのヒストグラムを作成し、平滑化する。
(3)ヒストグラムの中の最大画素数を与える極大点と、2番目に画素数の大きい極大点を見出し、これら二つの画素数の平均を求めて定数Lとする。定数Lより大きな画素数をもつ階調値のなかで、最小の階調値を求める。この値をBとする(図16)。
(4)上記(3)で求めたBの階調値から左に順番に移動していき、右隣の階調値の画素数と比べて画素数が大きくなるか、または変化がない階調値を求める。この値をMとする。(図17)
(5)階調値0からMまでで、画素数が最大の階調値を求める。これをAとする。(図17)
(6)AからBの間で、最小画素数をとる階調値の画素数を求める。この画素数をb1とする。(図16)
(7)階調値0からMまでの間の、総画素数を求める。これをb2とする(図17)。
【0086】
b3特徴値は、以下の式によって求める。
b3特徴値=(細胞核面積)/(b2特徴値)
このように、b2と細胞核面積との比率を算出することで、b2を相対値として表し、それによる特徴を分類に用いる。
【0087】
これらの特徴値は好中球と好酸球・好塩基球を識別するのに有効な特徴パラメータである。図18〜20にbl、b2、b3特徴値の分布図を示す。図18〜20で横軸のC1〜C5は白血球の種類であり、C1はリンパ球、C2は単球、C3は好塩基球、C4は好酸球、C5は好中球である。また、縦軸はそれぞれ正規化されたb1およびb2、b3特徴値である。
【0088】
・細胞体のGR・RB特徴値(第2特徴パラメータ)
RGB座標値による色彩情報として、GR、RB特徴値の2つを用いる。GR特徴値は、細胞体の領域のR(赤)とG(緑)のヒストグラムを作成することによって算出される。図21は、作成されたRとGのヒストグラムである。GR特徴値は、Gの濃度ヒストグラム(Gh)の最大画素数を与える濃度値Eと、Rの濃度ヒストグラム(Rh)の画像が増加し始める濃度値Fとの差Hである。RB特徴値も同様に、細胞体領域のRとB(青)のヒストグラムを作成することによって算出される。RB特徴値は、Rヒストグラムの最大画素数を与える濃度値と、Bヒストグラムの画素数が増加し始める濃度値との差である。これらの特徴パラメータは好酸球を分類するのに有効である。図22から図23にGR・RB特徴値の分布図を示す。図22〜23で横軸のC1〜C5は白血球の種類であり、C1はリンパ球、C2は単球、C3は好塩基球、C4は好酸球、C5は好中球である。また、縦軸はそれぞれ正規化されたGRおよびRB特徴値である。
【0089】
図25に信頼度算出部12〜16(図2)の構造を示す。まず、リンパ球、単球、好塩基球、好酸球、好中球の5種類を分類するために、各白血球に対応し、lつの出力層をもつ階層型のニューラルネットワークを5つ(C1−N〜C5−N)用意する。
この実施形態では、C1−Nが第1信頼度算出部12であり、C2−Nが第2信頼度算出部13であり、C3−Nが第3信頼度算出部14であり、C4−Nが第4信頼度算出部15であり、C5−Nが第5信頼度算出部16である。
【0090】
図25でJは入力信号を、Kは出力信号を示す。この実施形態では、入力信号Jとして、前記の9つの特徴パラメータが入力される。
ニューラルネットワークの学習は、ある白血球のパターンを入力したとき入力パターンの白血球のネットワークに教師信号として1を与え、他のネットワークの教師信号を0にする。このように設定することで各ネットワークは設定された白血球のみを学習し、それ以外の白血球の情報を持つパターンが入力された場合出力が0になるように学習していく。未学習パターンに対する認識は、学習と同様に全てのネットワークの入力に同じパターンを入力する。そして5つのネットワークのうち最大の値を出力をするネットワークを認識結果として採用すればよい。例えば、リンパ球、単球、好塩基球、好酸球、好中球のそれぞれの信頼度が(0.0, 0.0, 0.0, 0.014, 1.0)である場合には、5種類のうち最大の信頼度(1.0)を出力した好中球に標本を分類する。
【0091】
信頼度算出部12〜16(図2)の学習条件を表1に示す。
【表1】
Figure 2004340738
【0092】
ここで、全学習パターンにおける誤差測度が終了条件の0.01を下回った場合、学習回数に関係なく、ネットワークの学習が収束したと判断する。
中間層におけるニューロン数は、各ネットワークを2〜20まで中間層のニューロン数を変化させ、平均誤差率が最小の中間層のニューロン数を用いた。ここで、平均誤差率は以下の式で表される。
【0093】
【数11】
Figure 2004340738
【0094】
Nは学習データの総数、tはn番目の学習データにおける教師信号、pはn番目の学習データを入力したときのネットワークの出力値である。ニューラルネットワークC1−N〜C5−Nにおいて、それぞれ算出された中間層ニューロン数に対する平均誤差率を図26から図30に示す。図より、リンパ球、単球、好塩基球、好酸球、好中球の信頼度が高くなるように、つまり平均誤差率が最小になるように、信頼度算出部12〜16のニューラルネットワークの中間層ニューロン数を、それぞれ9、10、9、6、8とした。
【0095】
【発明の効果】
この発明によれば、人間の色知覚と座標値が比例するように補正されたLab色空間を用いて細胞の色彩に関する特徴パラメータを抽出し、抽出された特徴パラメータを使用して細胞を分類するので、細胞を精度よく分類することができる。
また、この発明の細胞分析装置を使用すれば、細胞の専門知識を有した熟練者が多くの時間を費やして行なっていた分類を、専門知識を持たない操作者であっても短時間に精度よく行なえるようになる。
【0096】
また、面積に関する特徴パラメータ、形状に関する特徴パラメータおよび/または第2特徴パラメータを使用して細胞を分類すれば、細胞をより精度よく分類することができる。
また、ニューラルネットワークを用いて細胞の分類を行なうようにすれば、統計的識別手法だけでは分類が困難な標本に対しても精度よく分類を行なうことができる。
【図面の簡単な説明】
【図1】この発明の細胞分類装置を含む細胞分類システムを示す説明図である。
【図2】この発明の細胞分類装置の制御部1の構成を示すブロック図である。
【図3】細胞の一例である5種類の白血球の形状を示す形態図である。
【図4】階層型ニューラルネットワークのシステムモデルを示すブロック図である。
【図5】階層型ニューラルネットワーク中の各ニューロンのモデルを示す説明図である。
【図6】シグモイド関数の特性を示すグラフである。
【図7】この発明の細胞分類の処理手順を示すフローチャートである。
【図8】この発明のb座標値のヒストグラムの一例である。
【図9】この発明の処理の流れに沿った細胞核の形態図である。
【図10】この発明の処理の流れに沿った細胞体の形態図である。
【図11】細胞の一例である白血球の細胞核の面積の分布図である。
【図12】細胞の一例である白血球の細胞体の面積の分布図である。
【図13】この発明の形状に関する特徴パラメータの一つである補正円形度の求め方を示す説明図である。
【図14】細胞の一例である白血球の円形度の分布図である。
【図15】細胞の一例である白血球の補正円形度の分布図である。
【図16】この発明の第1特徴パラメータの一つであるb1特徴値を求めるためのヒストグラムである。
【図17】この発明の第1特徴パラメータの一つであるb2特徴値を求めるためのヒストグラムである。
【図18】この発明の第1特徴パラメータの一つであるb1特徴値の分布図である。
【図19】この発明の第1特徴パラメータの一つであるb2特徴値の分布図である。
【図20】この発明の第1特徴パラメータの一つであるb3特徴値の分布図である。
【図21】この発明の第2特徴パラメータの一つであるGR特徴値を求めるためのヒストグラムである。
【図22】この発明の第2特徴パラメータの一つであるGR特徴値の分布図である。
【図23】この発明の第2特徴パラメータの一つであるRB特徴値の分布図である。
【図24】細胞の一例である白血球の特異なリンパ球を示す形態図である。
【図25】この発明の信頼度算出部の構造を示すブロック図である。
【図26】この発明のリンパ球に対する信頼度算出部のニューラルネットワークのニューロン数に対する平均誤差率を示すグラフである。
【図27】この発明の単球に対する信頼度算出部のニューラルネットワークのニューロン数に対する平均誤差率を示すグラフである。
【図28】この発明の好塩基球に対する信頼度算出部のニューラルネットワークのニューロン数に対する平均誤差率を示すグラフである。
【図29】この発明の好酸球に対する信頼度算出部のニューラルネットワークのニューロン数に対する平均誤差率を示すグラフである。
【図30】この発明の好中球に対する信頼度算出部のニューラルネットワークのニューロン数に対する平均誤差率を示すグラフである。
【図31】細胞の一例である白血球の特異な好中球を示す形態図である。
【図32】細胞の一例である白血球の好中球、好塩基球に特徴的なb座標値のヒストグラムの例である。
【図33】細胞の一例である白血球の好塩基球、好酸球に特徴的なb座標値のヒストグラムの例である。
【図34】細胞の一例である白血球の好酸球に特徴的なb座標値のヒストグラムの例である。
【符号の説明】
1 制御部
2 パラメータ算出部
3 面積パラメータ算出部
4 形状パラメータ算出部
5 第1特徴パラメータ算出部
6 bヒストグラム作成部
7 第2特徴パラメータ算出部
8 Rヒストグラム作成部
9 Gヒストグラム作成部
10 Bヒストグラム作成部
11 色空間変換部
12 第1信頼度算出部(リンパ球)
13 第2信頼度算出部(単球)
14 第3信頼度算出部(好塩基球)
15 第4信頼度算出部(好酸球)
16 第5信頼度算出部(好中球)
17 決定部
18 分類部
19 インターフェイス部
25 キーボード
26 細胞分類装置
27 ステージコントローラ
28 ステージ
29 スライドガラス
30 顕微鏡
31 CCDカメラ
32 ディスプレイ
33 プリンタ
35 入力信号
36 入力層
37 中間層
38 出力層
39 出力信号[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a cell classification device and system and a cell classification method, and more particularly to a device, system and method for classifying leukocytes.
[0002]
[Prior art]
2. Description of the Related Art There is known an apparatus which images cells such as red blood cells and white blood cells, extracts characteristic parameters of the cells from the obtained image, and classifies the cells using the characteristic parameters (for example, see Patent Document 1). .
It is also known to use characteristic parameters relating to the form and color tone of each captured blood cell image in order to automatically classify the type of each white blood cell by an image processing method (for example, see Patent Document 2).
[0003]
[Patent Document 1]
U.S. Pat. No. 4,761,075
[Patent Document 2]
Paragraph 0018 of JP-A-2002-365285
[0004]
[Problems to be solved by the invention]
However, the classification accuracy of the conventional cell analyzer was not sufficient.
The present invention has been made in view of such circumstances, and provides a classification device, a system, and a method capable of automatically and accurately classifying cells.
[0005]
[Means for Solving the Problems]
The present invention obtains a b-coordinate value in a Lab color space from image data of a captured cell, and calculates a first feature parameter relating to the color of the cell using the b-coordinate value, and a parameter calculation unit And a classification unit for classifying cells using the characteristic parameters calculated in (1).
[0006]
According to the present invention, since the characteristic parameter relating to the color of the cell is calculated using the Lab color space corrected so that the human color perception and the coordinate value are proportional, the cells can be classified with high accuracy.
[0007]
BEST MODE FOR CARRYING OUT THE INVENTION
The image data of the imaged cells input to the cell classification device of the present invention is obtained as follows, for example. First, the cells are smeared on a slide glass to prepare a specimen. Next, the specimen is stained with Light Giemsa staining or May Giemsa staining. The stained specimen is imaged by the imaging unit and converted into image data. The imaging unit may be configured to enlarge the sample placed on the stage using a microscope, capture an enlarged image using a camera equipped with an imaging element such as a CCD, and convert the enlarged image data into captured image data. . Alternatively, the imaging unit may be configured to flow the stained cell suspension through a particle imaging type flow cytometer to image the cells and obtain image data. The obtained image data is composed of a plurality of minute pixels. In order to accurately image the color of cells, it is preferable to have a light source that brightens the imaging area. It is preferable to use a white light source as the light source.
[0008]
The b coordinate value in the Lab color space is obtained from the obtained image data. A coordinate system (or also referred to as a color space) for digitizing a color includes an RGB coordinate system represented by R (red), G (green), and B (blue) components, which are three primary colors of light. Many coordinate systems are also known. The Lab coordinate system is one of them, where L is brightness, a is a color representing a complementary color relationship from red to green, and b is a coordinate representing a complementary color relationship from blue to yellow. The Lab color space is a color space corrected so that the human perception of color and the coordinate value are proportional.
[0009]
The parameter calculation unit and the classification unit included in the cell classification device of the present invention can be configured using a general-purpose computer system including, for example, a CPU, a ROM, and a RAM. In this case, the image data may be input to the cell classification device via a recording medium such as a hard disk or an optical disk, or may be input directly from a camera. The processing contents of the parameter calculation unit and the classification unit are stored as a program in a generally used storage medium such as a hard disk or an optical disk, read out from the storage medium as needed, and stored in the RAM, and the CPU executes the program. Is configured. Alternatively, the parameter calculation unit and the classification unit may be configured by a semiconductor element including a circuit designed for the device of the present invention.
[0010]
The parameter calculation unit of the cell classification device according to the present invention includes a histogram creation unit that creates a histogram indicating a relationship between the number of pixels of image data of the imaged cells and the b-coordinate value. A first feature parameter calculation unit that calculates one feature parameter.
[0011]
Further, the parameter calculation unit of the present invention may include an area parameter calculation unit that calculates a characteristic parameter relating to the area of the cell from the image data of the imaged cell.
[0012]
Further, the parameter calculation unit of the present invention may include a shape parameter calculation unit that calculates a characteristic parameter relating to the shape of the cell from the image data of the imaged cell.
[0013]
Alternatively, the parameter calculation unit of the present invention indicates the relationship between the R (red) coordinate value and the G (green) coordinate value in the RGB color space, which is a kind of color space, and the number of pixels from the imaged cell image data. A histogram creation unit that creates a histogram or a histogram indicating the relationship between the number of pixels and the R (red) coordinate value and the B (blue) coordinate value in the RGB color space; And a second feature parameter calculator for calculating two feature parameters.
[0014]
Thereby, in addition to the first feature parameter, a feature of a cell can be extracted by a plurality of feature parameters such as a feature parameter related to an area, a feature parameter related to a shape, and a second feature parameter. be able to.
[0015]
A classification unit of the cell classification device according to the present invention, the first reliability calculation unit calculates a first reliability indicating the possibility that the cell is the first cell based on the first characteristic parameter;
A second reliability calculating unit configured to calculate a second reliability indicating the possibility that the cell is a second cell based on the first characteristic parameter; and determining whether the cell is the first cell based on the first and second reliability. And a determination unit for determining whether the cell is a two cell.
[0016]
Thereby, the first reliability calculating unit that calculates the first reliability indicating the possibility that the cell is the first cell based on the first characteristic parameter, and the second reliability indicating that the cell may be the second cell Since the second reliability calculation unit that calculates the degree based on the first characteristic parameter is separated, the third and fourth reliability calculation units are added to new types of cells, The type of cells to be classified can be easily added.
[0017]
The first reliability calculator may be a first neural network learned to classify the first cell and other cells, and the second reliability calculator may classify the second cell and other cells. The second neural network may be learned as follows.
[0018]
Many cells have no typical characteristics. Cells without typical features are difficult to classify using only the statistical identification method, and can be classified more accurately by using a neural network.
[0019]
In addition, since the classification of cells is performed using a neural network that has been trained to classify target cells and other cells, classification that has been performed by a skilled person with specialized knowledge of cells by spending a lot of time is performed. Thus, even an operator who does not have specialized knowledge can perform the operation with high accuracy in a short time.
[0020]
The cells may be white blood cells.
A cell classification system of the present invention includes an imaging unit that captures an image of a cell and the above-described cell classification device.
[0021]
The histogram creation unit, the first feature parameter calculation unit, the second feature parameter calculation unit, the area parameter calculation unit, the shape parameter calculation unit, the reliability calculation unit and the determination unit can be configured using the computer system. Alternatively, it can be constituted by a semiconductor element having a circuit designed for the device of the present invention. Further, the cell classification method of the present invention includes a step of obtaining a b-coordinate value of a Lab color space, which is a kind of a color space, from image data of a captured cell, and a step of using the b-coordinate value for the color of the cell. (1) calculating a characteristic parameter; and classifying cells using the characteristic parameter.
[0022]
Calculating a first feature parameter includes creating a histogram indicating a relationship between the b-coordinate value and the number of pixels of the image data; and calculating a first feature parameter using the created histogram. May be included.
The cell classification device of the present invention includes a parameter calculation unit that calculates a characteristic parameter relating to the color of a cell from image data of a captured cell, and a classification unit that classifies the cell using the calculated characteristic parameter.
[0023]
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. It should be noted that the present invention is not limited by this.
[0024]
FIG. 1 is an explanatory diagram of one embodiment of a cell classification system including the cell classification device of the present invention.
[0025]
The cell classification system includes an imaging unit 50 for obtaining image data of a captured cell. The imaging unit 50 includes a stage 28 on which a slide glass 29 (specimen) smeared with blood is placed, a stage controller 27 that performs control for moving the stage 28 and moving any part of the specimen under a microscope, The microscope includes a microscope 30 for enlarging a specimen and a CCD camera 31 for capturing an enlarged image of the specimen. The CCD camera 31 is connected to the cell classification device 26. The enlarged image captured by the CCD camera 31 is converted into image data. The converted image data is transmitted to the cell classification device 26.
[0026]
The cell classification device 26 is connected to a display 32 for displaying the classification result and a printer 33 for printing the classification result. Further, the cell classification device 26 is connected to a keyboard 25 for inputting operation commands, classification conditions, and the like. The cell classification device 26 includes the control unit 1 inside. The control unit 1 includes a CPU, a ROM, a RAM, a hard disk, and the like.
[0027]
FIG. 2 is a block diagram showing the configuration of the control unit 1.
The control unit 1 includes an interface unit 19. The interface unit 19 controls the operation of the external CCD camera 31 and receives and processes an image signal from the CCD camera 31.
[0028]
The CCD camera 31 is a set of signals obtained by decomposing each pixel constituting an image into R (red), G (green), and B (blue) color components, that is, coordinate values (RGB) in an RGB color space which is a kind of color space. Signal).
There is a Lab color space as a method of expressing color information different from RGB. Although the method of expressing color information is different between the Lab color space and the RGB color space, the coordinate values of the RGB color space and the coordinate values of the Lab color space correspond one-to-one with respect to a specific color. Therefore, in order to process the color information obtained as the RGB signals in the Lab color space, a process of converting the RGB signals of each pixel into Lab signals (coordinate values in the Lab color space) may be performed. The color space conversion unit 11 performs conversion from RGB signals to Lab signals by three-dimensional coordinate conversion calculation. RGB signals from the CCD camera 31 are input to the color space conversion unit 11 via the interface unit 19. In the Lab signal output from the color space conversion unit 11, color information corresponding to each pixel is represented by three coordinate values of an L coordinate, an a coordinate, and a b coordinate in the Lab color space.
[0029]
The control unit 1 includes a parameter calculation unit 2 that calculates a characteristic parameter of a cell. The parameter calculation unit 2 includes a first feature parameter calculation unit 5 that calculates a first feature parameter related to color, a second feature parameter calculation unit 7 that calculates a second feature parameter related to a color different from the first feature parameter, and an area. An area parameter calculator 3 calculates a feature parameter related to the shape, and a shape parameter calculator 4 calculates a feature parameter related to the shape.
[0030]
The parameter calculation unit 2 generates a b-component (b-coordinate value) histogram from the b-coordinate value and the number of pixels having the predetermined b-coordinate value. An R histogram creation unit 8 for creating a histogram of R coordinate values from the number of pixels having the G histogram creation unit 9 for creating a histogram of G coordinate values from the G coordinate value and the number of pixels having a predetermined G coordinate value; The apparatus includes a B histogram creating unit 10 that creates a histogram of B coordinate values from the B coordinate values and the number of pixels having a predetermined B coordinate value.
[0031]
The Lab signal output from the color space conversion unit 11 is input to the b-histogram creation unit 6, where a b-histogram is created. The created histogram data is input to the first feature parameter calculator 5. The first feature parameter calculation unit 5 calculates a feature parameter relating to the color of the cell using the data of the b-histogram.
[0032]
The R signal of the RGB signals is input to the R histogram generating unit 8, the G signal is input to the G histogram generating unit 9, and the B signal is input to the B histogram generating unit 10, respectively. Each of the histogram data created by the R, G, and B histogram creation units 8, 9, and 10 is input to the second feature parameter calculation unit 7.
[0033]
The RGB signal and / or the Lab signal are input to the area parameter calculator 3 and the shape parameter calculator 4 in accordance with the image information used for extracting the characteristic parameters. In this embodiment, the Lab signal is used to calculate the area and shape characteristics of the cell nucleus, which is one of the image characteristic regions of the cell, and the area and shape characteristics of the cell body, which is a different part of the image characteristic region of the cell, are calculated. Uses an RGB signal, so that both the RGB signal and the Lab signal are input to the area parameter unit calculation unit 3 and the shape parameter calculation unit 4.
[0034]
The area parameter calculator 3 includes a cell nucleus area calculator 3a for calculating the area of the cell nucleus and a cell body area calculator 3b for calculating the area of the cell body.
[0035]
The shape parameter calculator 4 includes a circularity calculator 4a for calculating the circularity of the cell nucleus and a corrected circularity calculator 4b for calculating the corrected circularity of the cell nucleus.
[0036]
The first feature parameter calculator 5 includes a b1 feature value calculator 5a for calculating a b1 feature value, a b2 feature value calculator 5b for calculating a b2 feature value, and b3 for calculating a b3 feature value. A characteristic value calculation unit 5c.
The second feature parameter calculator 7 includes a GR feature value calculator 7a for calculating a GR feature value and an RB feature value calculator 7b for calculating an RB feature value.
[0037]
Each output data from the first feature parameter calculation unit 5, the second feature parameter calculation unit 7, the area parameter calculation unit 3, and the shape parameter calculation unit 4 is input to the classification unit 18.
[0038]
The classifying unit 18 includes first to fifth reliability calculating units 12 to 16 each configured by a modularized neural network.
[0039]
The first reliability calculation unit 12 is configured by a neural network trained using some or all of the feature parameters as input so as to calculate a first reliability indicating that the cell is a lymphocyte. You.
[0040]
The second reliability calculation unit 13 is a neural network that has been trained using some or all of the feature parameters as input so as to calculate a second reliability indicating the reliability of the cell being a monocyte. Be composed.
[0041]
The third to fifth reliability calculators 14 to 16 are configured by neural networks that are trained to calculate the reliability corresponding to basophils, eosinophils, and neutrophils, respectively.
[0042]
Further, the classification unit 18 includes a determination unit 17 that determines a classification result with the highest reliability using the reliability output from each of the reliability calculation units 12 to 16 and outputs the result.
[0043]
Hereinafter, a cell classification process using the cell classification device of the present invention to classify leukocytes, which are an example of cells, will be described.
[0044]
1. Types of white blood cells and their characteristics
Leukocytes are a type of blood cell that have a role in host defense and play a central role in immune function. Leukocytes are mainly classified into five types: lymphocytes, monocytes, eosinophils, basophils, and neutrophils. In addition, immature blood cells exist.
[0045]
These leukocytes have different functions depending on the type of cell. When monocytes and neutrophils adhere to blood vessels and encounter microorganisms through the space between the blood vessels and reach the tissues, they eat away, exert their sterilizing and digesting functions, and serve as defenses for the living body. Lymphocytes produce antibodies and so-called lymphokines and are involved in protective and inflammatory responses. Eosinophils have a destructive effect on parasites and are involved in immediate allergic reactions. Basophils have an anticoagulant effect and are involved in immediate allergic reactions. When the white blood cells having such a function are in a healthy state, the existence ratio of each type falls within a certain range. On the other hand, in leukemia diseases, the production of certain leukocytes is promoted or suppressed, so that the ratio is significantly different from the normal ratio. For example, in allergic diseases, eosinophils tend to increase. Therefore, the abundance ratio of various leukocytes in peripheral blood is one of extremely important information for identifying the etiology and monitoring the pathology. FIG. 3 is a diagram showing the shapes of five types of white blood cells, which are examples of cells. In FIG. 3, C1 is a lymphocyte, C2 is a monocyte, C3 is a basophil, C4 is an eosinophil, and C5 is a neutrophil.
[0046]
It is known that leukocyte groups generally have the following shape-related characteristics.
lymphocytes
・ Small lymphocyte diameter 6-9 μm, large lymphocyte diameter 9-15 μm.
-Round, oval cell nuclei.
Chromatin networkers are described as concentrated scales. Large lymphocytes show a coarser scale-like chromatin structure.
-In the cell nucleus, light-colored portions and dark chromatin structure portions are arranged in a patchy manner.
[0047]
Monocyte
-Mature monocytes are cells that exhibit a variety of morphologies.
A size of 20 to 40 μm;
・ Cell nucleus is irregular. Due to the unevenness, a nucleus projection that looks like a pseudofoot is recognized.
・ The chromatin structure of the cell nucleus has a fine lace-like structure characteristic of activated cells.
-The size of the cell body varies, and the color is grayish blue.
[0048]
Basophil
・ They become promyelocytes and appear coarse and dark purple.
-Mature basophils are relatively small, and their grain also lies on top of two compact nuclei, like blackberries.
[0049]
Eosinophils
-Cell nuclei are generally only two segments.
-Promyelocytes have coarse bluish red grains.
-At the stage of the medullary sphere, the cell body is filled with particles having a diameter of 1 µm and gradually changing to a reddish golden color.
[0050]
Neutrophils
-In the case of segmented cell nuclei, they are only connected at one or more points by a thin connection (1/3 or less of the nucleus band diameter). If the segment is not segmented, each portion has almost the same width as a band.
The number of segments is greater for mature cells, ranging from 1 to 5 segments.
-Cell bodies vary from almost colorless to pale pink.
[0051]
2. Hierarchical neural network in reliability calculator
In this embodiment, the reliability calculators 12 to 16 (FIG. 2) are configured by a hierarchical neural network. The hierarchical neural network can relatively easily construct a mapping relationship between input and output of the system. The system model based on the hierarchical neural network receives an input signal 35 and outputs an output signal 39. This system model is represented by neurons hierarchized into an input layer 36, an intermediate layer 37, and an output layer 38, as shown in FIG. Each neuron is connected in a network. Each neuron is modeled as shown in FIG. 5, and the internal state u operates based on the following equation.
u = w1x1+ W2x2+ ... + wnxn
Where x1, X2,…, XnRepresents input signals from the other n neurons. n input signals x1, X2,…, Xn, One internal state u is determined. Also, w1, W2,…, WnIs a quantity representing the connection efficiency of a neuron and is called a connection weight.
[0052]
When this is generalized and described, assuming that the p-th input pattern is presented to the input layer, the internal state upiIs represented by the following equation
[0053]
(Equation 1)
Figure 2004340738
[0054]
Where xphIs the output signal of the h-th neuron in the input layer, wihIs the connection weight from the h-th neuron of the input layer to the i-th neuron of the intermediate layer. This internal state upiTherefore, the output of the neuron is determined as follows.
[0055]
(Equation 2)
Figure 2004340738
[0056]
Where fjIs a sigmoid function and takes a value between 0 and 1. The sigmoid function is
[0057]
(Equation 3)
Figure 2004340738
It is represented by the following equation. FIG. 6 shows the characteristics of the sigmoid function.
The same applies to the calculation from the output of the hidden layer to the output of the output layer.
[0058]
An input signal is given to this model, and parameters inside the network, that is, connection weights between network layers, are set such that an error between an output result of the input signal and an expected output result (called a teacher signal) is minimized. Make adjustments. By repeating this operation, the characteristics of the system, that is, the relationship between the input and output signals can be obtained and determined autonomously. This series of operations is called learning.
[0059]
Hierarchical neural networks are
-A mapping relationship with strong non-linearity can be easily constructed just by learning the input / output relationship.
-By performing learning, a valid value can be output even for input data that has not been learned.
・ Once learning is completed, high-speed output can be obtained by simple product-sum operation.
If a network of three or more layers is used, any continuous mapping can be approximated with any accuracy.
It is known to have such features.
[0060]
Here, the learning algorithm will be described in more detail. Now, let the output of the j-th neuron of the output layer for the p-th pattern be ypjAnd Teacher signal is dpj, The error measure EpTo
[0061]
(Equation 4)
Figure 2004340738
Is defined. This is an error measure for the input pattern p. The total error E (t) of the network for all input patterns is:
[0062]
(Equation 5)
Figure 2004340738
[0063]
t is the number of times of learning of the network. In the hierarchical neural network, the neuron connection weight is updated so that E (t) goes to a minimum value. When the input pattern is p, the update amount of the connection weight of the neuron is an error measure EpEach neuron connection weight wih, WjiCalculated from the differential value for
First, the update amount of the neuron connection weight between the intermediate layer and the output layer is calculated from the output and the error of the output layer.
[0064]
(Equation 6)
Figure 2004340738
[0065]
Similarly, the update amount of the neuron connection weight between the input layer and the output layer is calculated.
The connection weights of all neurons are updated according to the following equation so that the minimum value of the error measure is always small.
[0066]
(Equation 7)
Figure 2004340738
[0067]
Here, η is a positive constant and is called a learning coefficient. α is a positive constant with respect to the previous change amount. When 0 <α <1, the vibration can be suppressed, and the vibration is suppressed as α is closer to 1. Therefore, a term including α is called an inertial term. This learning algorithm is called an error back propagation method (back propagation) because the error evaluated in the output layer propagates in the direction opposite to the signal flow of the network.
[0068]
3. Leukocyte classification procedure
In the cell classification system using the cell classification device of the present invention, white blood cells are classified by a series of procedures as shown in the flowchart of FIG.
First, a sample is prepared by smearing and staining blood (step S1). The specimen is stained by the light Giemsa staining method or the May Giemsa staining method.
[0069]
Next, as shown in FIG. 1, the slide glass 29 (specimen) is placed on the stage 28. The operation of the stage 28 is controlled by the stage controller 27. The stage 28 is moved to move the specimen under the microscope 30. Then, the specimen is enlarged using the microscope 30 and an enlarged image of the specimen is photographed using the CCD camera 31 (step S2). Next, the image data from the CCD camera 31 is input to the cell classification device (step S3). As shown in FIG. 2, in the control unit 1, the Lab signal is generated from the RGB signal by the color space conversion unit 11 and is input to the parameter calculation unit 2. The parameter calculation unit 2 extracts cell nuclei and cell bodies of white blood cells (Step S4), and calculates characteristic parameters for the extracted region (Step S5). The calculation result of the parameter calculation unit 2 is an input signal to the reliability calculation units 12 to 16, that is, the input signal to the input layer of the modularized hierarchical neural network. The reliability calculators 12 to 16 calculate the reliability for each type of leukocyte. The reliability calculated by each of the reliability calculators 12 to 16 is input to the determiner 17. The determining unit 17 classifies the white blood cells using the input reliability (step S6). Then, the classification result is output (step S7).
[0070]
3.1 Cell nucleus / cytoplasm image processing
The image data processing for the input image signal of the sample will be described in detail below.
First, in order to extract a cell nucleus of a white blood cell, input image data expressed in an RGB color space is converted to a Lab color space. A method for converting the RGB coordinate values to the Lab coordinate values will be described below.
[0071]
First, RGB coordinate values represented by integer values of 0 to 255 are normalized to real values of 0 to 1. After that, in order to make the RGB amplitude characteristics linear, gamma conversion is performed to convert them to linear RGB coordinate values. The following is the calculation formula.
[0072]
(Equation 8)
Figure 2004340738
The linear RGB coordinate values are substituted into the following equation to convert the GRB into XYZ values.
[0073]
(Equation 9)
Figure 2004340738
The converted XYZ values are substituted into the following equation and converted into Lab coordinate values.
[0074]
(Equation 10)
Figure 2004340738
[0075]
However, Xn = 95.05, Yn = 100, and Zn = 108.9.
Thus, each pixel is converted from the RGB color space to the Lab color space.
[0076]
In order to calculate characteristic parameters relating to the area and shape of the cell nucleus, a smoothed histogram representing the number of pixels with respect to the b coordinate value (gradation value) as shown in FIG. 8 is created using the converted b coordinate value. A threshold value M is provided in the lower part of the valley of the obtained histogram, and binarization processing is performed using the left side of M as a cell nucleus. After the noise is removed by the degeneration / enlargement processing, labeling processing is performed in which a label is attached to each group of connected pixels to distinguish them. Specifically, a label having a number of pixels within 500 is set as a background, and the remaining label is set as a cell nucleus region. FIG. 9 shows a morphology of the cell nucleus along the processing flow. 9A is an RGB image from the camera 31, FIG. 9B is an image of the b component in the Lab color space, that is, an image of the b coordinate value, and FIG. An image is shown. The hatched portion in FIG. 9C indicates the cell nucleus region.
[0077]
Next, the cell bodies are extracted to calculate the area of the cell bodies. From the RGB image data as shown in FIG. 10A, a difference image between an image having only R coordinate values and an image having only B coordinate values is obtained (FIG. 10B). Pixels with gradation values of -45 to 5 of the difference image are output, and a region from which noise has been removed by performing enlargement / reduction processing is defined as a cell body (FIG. 10C). The hatched part in FIG. 10C indicates the cell body region.
[0078]
3.2 Calculation of feature parameters
As the characteristic values for classifying white blood cells, a total of nine types of characteristic parameters are calculated using the image data processed as described above. The nine types of characteristic parameters are a characteristic parameter relating to an area, a characteristic parameter relating to a shape, a first characteristic parameter, and a second characteristic parameter. The characteristic parameters relating to the area are the cell nucleus area and the cell body area. The characteristic parameters relating to the shape are the circularity of the cell nucleus and the corrected circularity. The first feature parameter is a color feature parameter, and is a b feature value (b1, b2, and b3) obtained from a histogram of b coordinate values. The second feature parameter is a color feature parameter, and is a GR feature value and an RB feature value of the cell body obtained from a histogram of the GR and RB coordinate values.
[0079]
[1] Feature parameters related to area
The cell nucleus / cell body area is calculated as a characteristic parameter relating to the area. The cell nucleus area is the total number of pixels in the cell nucleus region (see FIG. 9C). The cell nucleus area is the total number of pixels in the cell body region (FIG. 10C). In the cell nucleus area, monocytes and basophils take large values. In the cell body area, monocytes, neutrophils and eosinophils take large values. 11 and 12 show distribution diagrams of the cell nucleus and cell body area of leukocytes. In FIG. 11, C1 to C5 on the horizontal axis indicate types of leukocytes, C1 is a lymphocyte, C2 is a monocyte, C3 is a basophil, C4 is an eosinophil, and C5 is a neutrophil. The vertical axis is the normalized cell nucleus area. The horizontal axis in FIG. 12 indicates the type of white blood cell, as in FIG. 11, and the vertical axis indicates the normalized cell body area.
[0080]
[2] Feature parameters related to shape
・ Roundness of cell nucleus
In order to measure the degree of circularity of the cell nucleus, the circularity of the cell nucleus is obtained from the following equation.
Circularity = 4π × (cell nucleus area) / (cell nucleus perimeter)2... (1)
The closer the value is to l, the closer to a circular shape. Therefore, lymphocytes having an elliptical cell nucleus take a large value.
[0081]
・ Corrected circularity
FIG. 13A shows an example of calculating the corrected circularity of a cell nucleus. FIG. 13A shows a cell nucleus region f. For the shape having a depression as shown in the figure, an auxiliary line d is drawn at the location e of the largest depression of the cell nucleus to correct the perimeter and area of the cell nucleus, and the circularity is calculated using the above equation (1). Ask. However, when the number of segments of the cell nucleus is two or more, an auxiliary line h is drawn for the cell nucleus region g having the largest area as shown in FIG. When obtaining the corrected circularity, it is obtained together with other cell nucleus regions. The corrected circularity has a large value when the shape of the cell nucleus is circular and when the shape is a band. 14 and 15 show distribution diagrams of the circularity and the corrected circularity. In FIG. 14, C1 to C5 on the horizontal axis are types of leukocytes, C1 is a lymphocyte, C2 is a monocyte, C3 is a basophil, C4 is an eosinophil, and C5 is a neutrophil. The vertical axis indicates the normalized circularity of the cell nucleus. The horizontal axis of FIG. 15 indicates the type of white blood cell as in FIG. 14, and the vertical axis indicates the normalized circularity of the cell nucleus.
[0082]
[3] Feature parameters related to color
・ Characteristic value based on b histogram of Lab of cell nucleus (first characteristic parameter)
bl, b2, and b3 feature values are calculated as feature values of the b histogram. First, the input image data is converted from RGB coordinate values to Lab coordinate values, and a b histogram is created.
[0083]
As shown in FIG. 16, threshold values A and B are set for the bl feature value, and the minimum number of pixels between the first peak and the last peak is determined. In the histogram often seen in neutrophils and basophils, the number of pixels in the valley takes a value close to zero (FIG. 32). In the case of basophils, some valleys do not take values close to 0 (FIG. 33). In the case of eosinophils, there are some pixels in the valley portion, and the valley may increase by one (FIG. 34). Therefore, the b1 feature value is a feature parameter particularly useful for classifying neutrophils, eosinophils, and basophils.
[0084]
As shown in FIG. 17, the b2 feature value is the total number of pixels whose gradation value is M or less. Regions below M are considered to indicate cell nuclei if the cells are neutrophils. In addition, the region below M is considered to indicate a cell nucleus and a cell body if the cell is an eosinophil. Therefore, the b2 feature value is a particularly useful parameter for classifying neutrophils and eosinophils.
[0085]
The b1 and b2 feature values can be obtained by the following procedure.
(1) Convert input image data to Lab color space.
(2) Create a histogram for the b coordinate and smooth it.
(3) The maximum point which gives the maximum number of pixels in the histogram and the maximum point which has the second largest number of pixels are found, and the average of these two numbers of pixels is calculated to be a constant L. Among the tone values having the number of pixels larger than the constant L, the smallest tone value is obtained. This value is set to B (FIG. 16).
(4) The gradation is shifted to the left from the gradation value of B obtained in (3) above, and the number of pixels is larger than the number of pixels of the gradation value on the right side, or there is no change in gradation. Find the value. This value is M. (FIG. 17)
(5) A gradation value having the maximum number of pixels from gradation values 0 to M is obtained. This is A. (FIG. 17)
(6) From A to B, find the number of pixels of the gradation value that takes the minimum number of pixels. This number of pixels is assumed to be b1. (FIG. 16)
(7) Obtain the total number of pixels between the gradation values 0 and M. This is designated as b2 (FIG. 17).
[0086]
The b3 feature value is obtained by the following equation.
b3 characteristic value = (cell nucleus area) / (b2 characteristic value)
As described above, by calculating the ratio between b2 and the cell nucleus area, b2 is expressed as a relative value, and the feature based on the relative value is used for classification.
[0087]
These feature values are effective feature parameters for distinguishing neutrophils from eosinophils and basophils. 18 to 20 show distribution diagrams of bl, b2, and b3 feature values. In FIGS. 18 to 20, C1 to C5 on the horizontal axis indicate types of leukocytes, C1 is a lymphocyte, C2 is a monocyte, C3 is a basophil, C4 is an eosinophil, and C5 is a neutrophil. The vertical axis represents the normalized b1, b2, and b3 feature values, respectively.
[0088]
・ GR / RB characteristic value of cell body (second characteristic parameter)
Two pieces of GR and RB feature values are used as color information based on RGB coordinate values. The GR feature value is calculated by creating a histogram of R (red) and G (green) of the cell body region. FIG. 21 is a created histogram of R and G. The GR feature value is a difference H between a density value E that gives the maximum number of pixels of the G density histogram (Gh) and a density value F at which the image of the R density histogram (Rh) starts to increase. Similarly, the RB feature value is calculated by creating a histogram of R and B (blue) in the cell body region. The RB feature value is a difference between a density value that gives the maximum number of pixels of the R histogram and a density value at which the number of pixels of the B histogram starts to increase. These feature parameters are useful for classifying eosinophils. FIGS. 22 to 23 show distribution diagrams of GR / RB feature values. In FIGS. 22 to 23, C1 to C5 on the horizontal axis represent types of leukocytes, C1 is a lymphocyte, C2 is a monocyte, C3 is a basophil, C4 is an eosinophil, and C5 is a neutrophil. The vertical axis represents the normalized GR and RB feature values, respectively.
[0089]
FIG. 25 shows the structure of the reliability calculators 12 to 16 (FIG. 2). First, in order to classify five types of lymphocytes, monocytes, basophils, eosinophils, and neutrophils, five hierarchical neural networks having one output layer corresponding to each leukocyte (C1 -N to C5-N) are prepared.
In this embodiment, C1-N is the first reliability calculation unit 12, C2-N is the second reliability calculation unit 13, C3-N is the third reliability calculation unit 14, and C4-N Is the fourth reliability calculation unit 15, and C5-N is the fifth reliability calculation unit 16.
[0090]
In FIG. 25, J indicates an input signal, and K indicates an output signal. In this embodiment, the above nine feature parameters are input as the input signal J.
In the learning of the neural network, when a certain leukocyte pattern is input, 1 is given as a teacher signal to the leukocyte network of the input pattern, and the teacher signal of the other network is set to 0. With this setting, each network learns only the set white blood cells, and learns so that the output becomes 0 when a pattern having other white blood cell information is input. For recognition of an unlearned pattern, the same pattern is input to all network inputs as in the case of learning. Then, the network that outputs the maximum value among the five networks may be adopted as the recognition result. For example, when the reliability of each of lymphocytes, monocytes, basophils, eosinophils, and neutrophils is (0.0, 0.0, 0.0, 0.014, 1.0) Classifies samples into neutrophils that output the highest reliability (1.0) among the five types.
[0091]
Table 1 shows the learning conditions of the reliability calculators 12 to 16 (FIG. 2).
[Table 1]
Figure 2004340738
[0092]
Here, when the error measure in all the learning patterns is less than the termination condition of 0.01, it is determined that the learning of the network has converged regardless of the number of learnings.
For the number of neurons in the hidden layer, the number of neurons in the hidden layer was changed from 2 to 20 for each network, and the number of neurons in the hidden layer having the smallest average error rate was used. Here, the average error rate is represented by the following equation.
[0093]
(Equation 11)
Figure 2004340738
[0094]
N is the total number of training data, tnIs the teacher signal in the n-th learning data, pnIs an output value of the network when the n-th learning data is input. In the neural networks C1-N to C5-N, the average error rates with respect to the calculated number of hidden neurons are shown in FIGS. From the figure, the neural networks of the reliability calculators 12 to 16 are designed to increase the reliability of lymphocytes, monocytes, basophils, eosinophils, and neutrophils, that is, to minimize the average error rate. Are 9, 10, 9, 6, and 8, respectively.
[0095]
【The invention's effect】
According to the present invention, a feature parameter relating to the color of a cell is extracted using a Lab color space corrected so that a human color perception is proportional to a coordinate value, and the cell is classified using the extracted feature parameter. Therefore, cells can be classified with high accuracy.
In addition, by using the cell analyzer of the present invention, classification that has been performed by an expert with specialized knowledge of cells by spending a lot of time can be performed in a short time even by an operator without specialized knowledge. You can do well.
[0096]
In addition, if the cells are classified using the characteristic parameter relating to the area, the characteristic parameter relating to the shape, and / or the second characteristic parameter, the cells can be classified more accurately.
Also, if the cells are classified using a neural network, it is possible to accurately classify even a sample that is difficult to classify only by the statistical identification method.
[Brief description of the drawings]
FIG. 1 is an explanatory diagram showing a cell classification system including a cell classification device of the present invention.
FIG. 2 is a block diagram showing a configuration of a control unit 1 of the cell classification device of the present invention.
FIG. 3 is a morphological diagram showing the shapes of five types of leukocytes, which are examples of cells.
FIG. 4 is a block diagram showing a system model of a hierarchical neural network.
FIG. 5 is an explanatory diagram showing a model of each neuron in a hierarchical neural network.
FIG. 6 is a graph showing characteristics of a sigmoid function.
FIG. 7 is a flowchart showing a procedure for cell classification according to the present invention.
FIG. 8 is an example of a histogram of b coordinate values according to the present invention.
FIG. 9 is a view showing the morphology of a cell nucleus along the flow of processing according to the present invention.
FIG. 10 is a morphological diagram of a cell body along a processing flow of the present invention.
FIG. 11 is a distribution diagram of an area of a cell nucleus of a leukocyte which is an example of a cell.
FIG. 12 is a distribution diagram of an area of a cell body of a leukocyte which is an example of a cell.
FIG. 13 is an explanatory diagram showing a method of obtaining a corrected circularity, which is one of the characteristic parameters relating to the shape according to the present invention.
FIG. 14 is a distribution diagram of circularity of leukocytes, which are an example of cells.
FIG. 15 is a distribution diagram of a corrected circularity of leukocytes, which is an example of a cell.
FIG. 16 is a histogram for obtaining a b1 feature value which is one of the first feature parameters of the present invention.
FIG. 17 is a histogram for obtaining a b2 feature value, which is one of the first feature parameters of the present invention.
FIG. 18 is a distribution diagram of a b1 feature value which is one of the first feature parameters of the present invention.
FIG. 19 is a distribution diagram of a b2 feature value which is one of the first feature parameters of the present invention.
FIG. 20 is a distribution diagram of a b3 feature value which is one of the first feature parameters of the present invention.
FIG. 21 is a histogram for obtaining a GR feature value which is one of the second feature parameters of the present invention.
FIG. 22 is a distribution diagram of a GR feature value which is one of the second feature parameters of the present invention.
FIG. 23 is a distribution diagram of an RB feature value which is one of the second feature parameters of the present invention.
FIG. 24 is a morphological diagram showing leukocyte-specific lymphocytes, which are examples of cells.
FIG. 25 is a block diagram showing the structure of a reliability calculation unit according to the present invention.
FIG. 26 is a graph showing an average error rate with respect to the number of neurons in the neural network of the reliability calculation unit for lymphocytes of the present invention.
FIG. 27 is a graph showing an average error rate with respect to the number of neurons in the neural network of the reliability calculation unit for monocytes according to the present invention.
FIG. 28 is a graph showing an average error rate with respect to the number of neurons of the neural network of the reliability calculation unit for basophils of the present invention.
FIG. 29 is a graph showing an average error rate with respect to the number of neurons of the neural network of the reliability calculation unit for eosinophils of the present invention.
FIG. 30 is a graph showing an average error rate with respect to the number of neurons in the neural network of the neutrophil reliability calculation unit according to the present invention.
FIG. 31 is a morphological diagram showing leukocyte-specific neutrophils as an example of cells.
FIG. 32 is an example of a histogram of b-coordinate values characteristic of leukocyte neutrophils and basophils, which are examples of cells.
FIG. 33 is an example of a histogram of b-coordinate values characteristic of basophils and eosinophils of leukocytes, which are examples of cells.
FIG. 34 is an example of a histogram of b-coordinate values characteristic of eosinophils of leukocytes as an example of cells.
[Explanation of symbols]
1 control unit
2 Parameter calculator
3 Area parameter calculator
4 Shape parameter calculator
5 First feature parameter calculator
6 b Histogram creation unit
7 Second feature parameter calculator
8 R histogram creation unit
9 G histogram creation unit
10 B histogram creation unit
11 Color space conversion unit
12 First reliability calculator (lymphocyte)
13 Second reliability calculator (monocyte)
14 Third reliability calculator (basophil)
15 Fourth reliability calculator (eosinophil)
16 Fifth reliability calculator (neutrophils)
17 Decision department
18 Classification section
19 Interface section
25 Keyboard
26 Cell sorter
27 Stage Controller
28 stages
29 slide glass
30 microscope
31 CCD camera
32 displays
33 Printer
35 input signal
36 input layer
37 Middle class
38 Output layer
39 output signal

Claims (11)

撮像された細胞の画像データからLab色空間のb座標値を取得し、そのb座標値を使用して細胞の色彩に関する第1特徴パラメータを算出するパラメータ算出部と、パラメータ算出部で算出された特徴パラメータを使用して細胞を分類する分類部とを備える細胞分類装置。A parameter calculation unit that obtains a b-coordinate value in the Lab color space from the image data of the imaged cells, and calculates a first feature parameter relating to the color of the cell using the b-coordinate value; A classification unit for classifying cells using the characteristic parameter. パラメータ算出部は、撮像された細胞の画像データの画素数と前記b座標値との関係を示すヒストグラムを作成するヒストグラム作成部と、作成されたヒストグラムを使用して第1特徴パラメータを算出する第1特徴パラメータ算出部とを備える請求項1記載の細胞分類装置。A parameter calculating unit configured to generate a histogram indicating a relationship between the number of pixels of the imaged cell image data and the b-coordinate value; and a first calculating unit configured to calculate a first feature parameter using the generated histogram. The cell classification device according to claim 1, further comprising one characteristic parameter calculation unit. パラメータ算出部は、撮像された細胞の画像データから細胞の面積に関する特徴パラメータを算出する面積パラメータ算出部を備える請求項1または2に記載の細胞分類装置。The cell classification device according to claim 1, wherein the parameter calculation unit includes an area parameter calculation unit configured to calculate a characteristic parameter related to an area of the cell from image data of the imaged cell. パラメータ算出部は、撮像された細胞の画像データから細胞の形状に関する特徴パラメータを算出する形状パラメータ算出部を備える請求項1〜3のいずれか1項に記載の細胞分類装置。The cell classification device according to any one of claims 1 to 3, wherein the parameter calculation unit includes a shape parameter calculation unit configured to calculate a characteristic parameter related to a shape of the cell from image data of the imaged cell. パラメータ算出部は、撮像された細胞の画像データからRGB色空間のR座標値およびG座標値と画素数との関係を示すヒストグラム、またはRGB色空間のR座標値およびB座標値と画素数との関係を示すヒストグラムを作成するヒストグラム作成部と、作成されたヒストグラムを使用して細胞の色彩に関する第2特徴パラメータを算出する第2特徴パラメータ算出部とを備える請求項1〜4のいずれか1項に記載の細胞分類装置。The parameter calculation unit calculates a histogram indicating the relationship between the R coordinate value and the G coordinate value in the RGB color space and the number of pixels from the image data of the imaged cells, or the R coordinate value and the B coordinate value in the RGB color space and the number of pixels. And a second feature parameter calculating unit that calculates a second feature parameter related to the color of the cell using the created histogram. Item 4. The cell classification device according to Item 1. 分類部は、細胞が第1細胞である可能性を示す第1信頼度を第1特徴パラメータに基づいて算出する第1信頼度算出部と、
細胞が第2細胞である可能性を示す第2信頼度を第1特徴パラメータに基づいて算出する第2信頼度算出部と、第1および第2信頼度から細胞が第1細胞であるか第2細胞であるかを決定する決定部とを備える請求項1〜5のいずれか1項に記載の細胞分類装置。
A classification unit configured to calculate a first reliability indicating a possibility that the cell is a first cell based on the first feature parameter;
A second reliability calculation unit configured to calculate a second reliability indicating the possibility that the cell is a second cell based on the first characteristic parameter; and determining whether the cell is the first cell based on the first and second reliability. The cell classification device according to any one of claims 1 to 5, further comprising: a determination unit that determines whether the cell is a two cell.
第1信頼度算出部は、第1細胞とその他の細胞を分類するよう学習された第1ニューラルネットワークからなり、第2信頼度算出部は、第2細胞とその他の細胞を分類するよう学習された第2ニューラルネットワークからなる請求項6記載の細胞分類装置。The first reliability calculation unit is composed of a first neural network learned to classify the first cell and other cells, and the second reliability calculation unit is learned to classify the second cell and other cells. 7. The cell classification device according to claim 6, comprising a second neural network. 細胞が白血球である請求項1〜7のいずれか1項に記載の細胞分類装置。The cell classification device according to any one of claims 1 to 7, wherein the cells are leukocytes. 細胞の画像を撮像する撮像部と、請求項1乃至8の何れか1項に記載の細胞分類装置とを備えたことを特徴とする細胞分類システム。A cell classification system comprising: an imaging unit that captures an image of a cell; and the cell classification device according to claim 1. 撮像された細胞の画像データからLab色空間のb座標値を取得する工程と、そのb座標値を使用して細胞の色彩に関する第1特徴パラメータを算出する工程と、特徴パラメータを使用して細胞を分類する工程とを備える細胞分類方法。Obtaining a b-coordinate value in a Lab color space from the imaged image data of the cell, calculating a first characteristic parameter relating to the color of the cell using the b-coordinate value, and calculating the cell using the characteristic parameter Classifying cells. 第1特徴パラメータを算出する工程は、前記b座標値と前記画像データの画素数との関係を示すヒストグラムを作成する工程と、作成されたヒストグラムを使用して第1特徴パラメータを算出する工程とからなる請求項10記載の細胞分類方法。Calculating a first feature parameter includes creating a histogram indicating a relationship between the b-coordinate value and the number of pixels of the image data; and calculating a first feature parameter using the created histogram. The cell classification method according to claim 10, comprising:
JP2003137449A 2003-05-15 2003-05-15 Apparatus, system and method for classifying cells Pending JP2004340738A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003137449A JP2004340738A (en) 2003-05-15 2003-05-15 Apparatus, system and method for classifying cells

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003137449A JP2004340738A (en) 2003-05-15 2003-05-15 Apparatus, system and method for classifying cells

Publications (1)

Publication Number Publication Date
JP2004340738A true JP2004340738A (en) 2004-12-02

Family

ID=33527108

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003137449A Pending JP2004340738A (en) 2003-05-15 2003-05-15 Apparatus, system and method for classifying cells

Country Status (1)

Country Link
JP (1) JP2004340738A (en)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006115059A1 (en) * 2005-04-22 2006-11-02 Sony Corporation Biological information processing unit and method, program and recording medium
AT501944A1 (en) * 2005-06-15 2006-12-15 Tissuegnostics Gmbh PROCESS FOR SEGMENTING LEUKOCYTES
JP2007093470A (en) * 2005-09-29 2007-04-12 Sysmex Corp Blood imaging apparatus, blood imaging method, treatment device and imaging mainframe
JP2007240513A (en) * 2006-02-08 2007-09-20 Microdent:Kk System for determination of dental disease
JP2008185337A (en) * 2007-01-26 2008-08-14 Nec Corp System, method and program for evaluating pathological image
WO2008129881A1 (en) 2007-04-18 2008-10-30 The University Of Tokyo Feature value selection method, feature value selection device, image classification method, image classification device, computer program, and recording medium
JP2010151647A (en) * 2008-12-25 2010-07-08 Sysmex Corp Cell image display apparatus
JP2013128438A (en) * 2011-12-21 2013-07-04 Fuji Xerox Co Ltd Image processing apparatus, program, and image processing system
JP2013224966A (en) * 2013-07-25 2013-10-31 Fuji Xerox Co Ltd Image processing device, program, and image processing system
WO2015008682A1 (en) * 2013-07-19 2015-01-22 ソニー株式会社 Cell evaluation device, method, and program
JP2015508639A (en) * 2012-02-01 2015-03-23 ベンタナ メディカル システムズ, インコーポレイテッド System for detecting genes in tissue samples
KR20170140473A (en) * 2016-06-10 2017-12-21 주식회사 토모큐브 Method and Apparatus for Identifying Cell Species Using 3D Refractive Index Tomography and Machine Learning Algorithm
WO2019082283A1 (en) * 2017-10-24 2019-05-02 暢 長坂 Image interpretation device
WO2021220857A1 (en) * 2020-04-27 2021-11-04 ソニーグループ株式会社 Image processing device, image processing method, and image processing system

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006115059A1 (en) * 2005-04-22 2006-11-02 Sony Corporation Biological information processing unit and method, program and recording medium
JP2006300799A (en) * 2005-04-22 2006-11-02 Sony Corp Biological data processor, biological data measuring method, program and recording medium
JP4736516B2 (en) * 2005-04-22 2011-07-27 ソニー株式会社 Biological information processing apparatus and method, program, and recording medium
AT501944A1 (en) * 2005-06-15 2006-12-15 Tissuegnostics Gmbh PROCESS FOR SEGMENTING LEUKOCYTES
JP2007093470A (en) * 2005-09-29 2007-04-12 Sysmex Corp Blood imaging apparatus, blood imaging method, treatment device and imaging mainframe
JP4690165B2 (en) * 2005-09-29 2011-06-01 シスメックス株式会社 Blood imaging apparatus, blood imaging method, processing apparatus, and imaging main body apparatus
JP2007240513A (en) * 2006-02-08 2007-09-20 Microdent:Kk System for determination of dental disease
JP2008185337A (en) * 2007-01-26 2008-08-14 Nec Corp System, method and program for evaluating pathological image
WO2008129881A1 (en) 2007-04-18 2008-10-30 The University Of Tokyo Feature value selection method, feature value selection device, image classification method, image classification device, computer program, and recording medium
JP2010151647A (en) * 2008-12-25 2010-07-08 Sysmex Corp Cell image display apparatus
JP2013128438A (en) * 2011-12-21 2013-07-04 Fuji Xerox Co Ltd Image processing apparatus, program, and image processing system
US10521644B2 (en) 2012-02-01 2019-12-31 Ventana Medical Systems, Inc. Lab color space silver and red in situ hybridization based techniques for detecting genes in tissue samples
JP2020031636A (en) * 2012-02-01 2020-03-05 ベンタナ メディカル システムズ, インコーポレイテッド System for detecting genes in tissue samples
JP2015508639A (en) * 2012-02-01 2015-03-23 ベンタナ メディカル システムズ, インコーポレイテッド System for detecting genes in tissue samples
JP2017163990A (en) * 2012-02-01 2017-09-21 ベンタナ メディカル システムズ, インコーポレイテッド System for detecting genes in tissue samples
JP6995095B2 (en) 2012-02-01 2022-02-04 ベンタナ メディカル システムズ, インコーポレイテッド A system for detecting genes in tissue samples
WO2015008682A1 (en) * 2013-07-19 2015-01-22 ソニー株式会社 Cell evaluation device, method, and program
US10157459B2 (en) 2013-07-19 2018-12-18 Sony Corporation Cell evaluation apparatus and method to search for an area to be observed in cardiomyocytes
JP2013224966A (en) * 2013-07-25 2013-10-31 Fuji Xerox Co Ltd Image processing device, program, and image processing system
KR20170140473A (en) * 2016-06-10 2017-12-21 주식회사 토모큐브 Method and Apparatus for Identifying Cell Species Using 3D Refractive Index Tomography and Machine Learning Algorithm
JPWO2019082283A1 (en) * 2017-10-24 2020-11-19 暢 長坂 Image analyzer
WO2019082283A1 (en) * 2017-10-24 2019-05-02 暢 長坂 Image interpretation device
US11321832B2 (en) 2017-10-24 2022-05-03 Toru Nagasaka Image analysis device
JP7106144B2 (en) 2017-10-24 2022-07-26 暢 長坂 Image analysis device
WO2021220857A1 (en) * 2020-04-27 2021-11-04 ソニーグループ株式会社 Image processing device, image processing method, and image processing system

Similar Documents

Publication Publication Date Title
Patil et al. White blood cells image classification using deep learning with canonical correlation analysis
CN109952614B (en) Biological particle classification system and method
Ghosh et al. Blood smear analyzer for white blood cell counting: a hybrid microscopic image analyzing technique
Jambhekar Red blood cells classification using image processing
Ma et al. A state-of-the-art survey of object detection techniques in microorganism image analysis: from classical methods to deep learning approaches
US6330350B1 (en) Method and apparatus for automatically recognizing blood cells
JP2004340738A (en) Apparatus, system and method for classifying cells
CN110084285A (en) Fish fine grit classification method based on deep learning
Rawat et al. Review of leukocyte classification techniques for microscopic blood images
Anilkumar et al. Automated detection of leukemia by pretrained deep neural networks and transfer learning: A comparison
CN108629369A (en) A kind of Visible Urine Sediment Components automatic identifying method based on Trimmed SSD
US10769432B2 (en) Automated parameterization image pattern recognition method
Baghel et al. WBCs-Net: Type identification of white blood cells using convolutional neural network
Memeu A rapid malaria diagnostic method based on automatic detection and classification of plasmodium parasites in stained thin blood smear images
CN109815945A (en) A kind of respiratory tract inspection result interpreting system and method based on image recognition
US20210232869A1 (en) Display control device, display control method, and display control program
Ridoy et al. An automated approach to white blood cell classification using a lightweight convolutional neural network
Diouf et al. Convolutional neural network and decision support in medical imaging: case study of the recognition of blood cell subtypes
Kareem An evaluation algorithms for classifying leukocytes images
Ghosh et al. Computer Aided Diagnosis: Approaches to Automate Hematological Tests: Approaches to Automate Hematological Tests
AL-DULAIMI et al. Blood cell microscopic image classification in computer aided diagnosis using machine learning: a review
Zhang et al. Blood cell image classification based on image segmentation preprocessing and CapsNet network model
Mircic et al. Application of neural network for automatic classification of leukocytes
Nishchhal et al. Accurate Cell Segmentation in Blood Smear Images Based on Color Analysis and Cnn Models
Parkavi et al. Decision support system using CNN for detecting the type of disease in fruits and vegetables