JP2004199391A - 画像解析におけるしきい値決定方法とその装置、二値化装置並びに画像解析装置、学習機能付き情報処理方法と学習機能付き画像解析装置並びにそれらのための記録媒体 - Google Patents
画像解析におけるしきい値決定方法とその装置、二値化装置並びに画像解析装置、学習機能付き情報処理方法と学習機能付き画像解析装置並びにそれらのための記録媒体 Download PDFInfo
- Publication number
- JP2004199391A JP2004199391A JP2002367078A JP2002367078A JP2004199391A JP 2004199391 A JP2004199391 A JP 2004199391A JP 2002367078 A JP2002367078 A JP 2002367078A JP 2002367078 A JP2002367078 A JP 2002367078A JP 2004199391 A JP2004199391 A JP 2004199391A
- Authority
- JP
- Japan
- Prior art keywords
- threshold value
- unit
- information
- learning
- threshold
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】高精度で、さらにどの施設でも同じ精度の画像解析装置を提供する。
【解決手段】複数の自動しきい値選定法を組み合わせて得られた複数の候補値の中から、ニューラルネットワークにて最適の値を決定してしきい値とし、そのしきい値を用いて画像の二値化を行ったうえで画像解析する。またニューラルネットワークの学習は、個別に行うのではなくサーバーで一括して行うことで、どの施設でも同じ精度の画像解析結果を得る事ができる。
【選択図】図１
【解決手段】複数の自動しきい値選定法を組み合わせて得られた複数の候補値の中から、ニューラルネットワークにて最適の値を決定してしきい値とし、そのしきい値を用いて画像の二値化を行ったうえで画像解析する。またニューラルネットワークの学習は、個別に行うのではなくサーバーで一括して行うことで、どの施設でも同じ精度の画像解析結果を得る事ができる。
【選択図】図１
Description
【0001】
【発明の属する技術分野】この発明は、画像解析におけるしきい値決定方法とその装置、二値化装置並びに画像解析装置、学習機能付き情報処理方法と学習機能付き画像解析装置並びにそれらのための記録媒体に関する。
【0002】
【従来の技術】免疫染色を施行した生物標本の染色性を定量化する場合、一般的に顕微鏡を用いた人間の目視による評価が行われているが、評価が主観的であるという問題点がある。近年、その評価の客観性を向上させるために、画像解析を用いた染色性の定量化が試みられている。画像解析にて染色性を定量化する場合、その定量結果は染色条件や撮影条件に影響を受けずに、加えてどの施設でも同じ精度の画像解析によって定量化される事が望ましい。
【0003】画像解析は、デジタル化された画像をそのまま解析するのではなく、画像処理を行って解析に必要な情報を整理し、その上で解析が行われる事が多く、画像処理の精度によって解析結果も異なる。
【0004】最も頻繁に行われる画像処理の一つは、二値化と呼ばれるグレースケール画像を白黒画像に変換する処理である。このため、二値化を用いた画像解析の場合、二値化の精度が画像解析の精度を左右し、高精度の画像解析を行うためには高精度の二値化が必要となる。
【0005】具体的には、二値化は画像のグレースケールをもとにヒストグラムを作成して、しきい値と呼ばれる値を基準に、ヒストグラムをしきい値以下としきい値以上の二つに分け、それぞれを白と黒に振り分ける処理である。このしきい値を統計学などの手法を用いて自動的に選定する方法には、従来、多くのものが発表されており、例として、判別分析法、Kittler法、モード法、Pタイル法などがあり、これらはいずれも公知である。本明細書では、前述のような統計学などの数学的手法を用いて、しきい値を自動的に選定する方法を総称して、自動しきい値選定法と呼ぶ。
【0006】これらの自動しきい値選定方法のうち、判別分析法について、図9の4種類の画像を例に説明する。図9の画像はいずれも黒丸（対象）とそれ以外の部分（背景）からなっており、判別分析法によって黒丸と、それ以外を区分することを目的とする。
【0007】ヒストグラムaは、画像aからグレースケールをもとに作成されたヒストグラムであり、ヒストグラムaでは、対象と背景に相当するグレースケールがそれぞれ山を形作っている。この山をクラスと呼び、ヒストグラムaでは対象と背景の2クラスからヒストグラムが構成されている。ヒストグラムaに判別分析法を適用すると、しきい値k21aが得られる。この値は対象クラスと背景クラスの中間に存在しており、対象と背景を判別するしきい値として妥当である。このように判別分析法は一般的に、画像aのようにヒストグラムが2つのクラスからなる場合、適切なしきい値を算出する。
【0008】しかし、画像bのようにノイズが多い場合、ヒストグラムbは対象、ノイズ、背景の3つのクラスから構成される。ここで通常の判別分析法で得られるしきい値k21bは、クラス間ではなく、山に重なるように位置しており、適切とはいえない。
【0009】また画像cのように、対象が薄いものと濃いものがあって一様でない場合も、ヒストグラムcは対象1（濃いもの）、対象2（薄いもの）、背景の3つのクラスからなり、k21cは適切な値を示していない。
【0010】このようにヒストグラムが3クラスからなる場合、通常の判別分析法（二値化判別分析法）では最適なしきい値を選定し得ない。ヒストグラムが3クラスからなる場合、3クラスを想定した三値化判別分析法を用いる必要があり、三値化判別分析法ではk31、k32の二つのしきい値が得られる。一般的に、ヒストグラムがMクラスからなる場合、適切なしきい値を得るためには、M値化判別分析法を用いる必要があり、(M-1)個のしきい値が得られる。
【0011】画像の白黒二値化を行う場合、しきい値は1つでなければならず、三値化判別分析法で得られる2つのしきい値のうち、どちらが適切であるかは、ヒストグラムのパターンおよび利用目的により異なり、判定する必要がある。画像bではk31bが所望のしきい値であり、画像cではk32cが所望のしきい値となっている。
【0012】また画像dのように、背景に比して対象の占める割合が極端に小さい場合、ヒストグラムを構成するのは2クラスでありながら、二値化判別分析では最適なしきい値を選定できない場合がある。この場合には、ヒストグラムに修正を加えながら、判別分析法を反復して用いる必要がある。
【0013】撮影条件などが一定になるように管理された画像を二値化する場合、ヒストグラムの示すパターンは概ね予測が可能で、パターンに応じて適切な判別分析法を用いればよいが、免疫染色を施された標本をデジタル画像化した場合、染色条件や撮影条件によってパターンが大きく異なるため、一つの判別分析法だけを設定した方法では、適切なしきい値を得ることは困難である。特に施設が異なる場合、条件の違いが大きく、施設によって二値化の精度が大きく異なる可能性がある。
【0014】ここでは、判別分析法を例にしたが、他の自動しきい値選定方法でも最適なしきい値を得ることのできる条件は決まっており、ヒストグラムのパターンの変化には対応できない。
【0015】上記のように従来の自動しきい値選定方法は、条件が変化すると最適なしきい値を選定できず、これを解消するため、ニューラルネットワークを利用した二値化方法が公開されている（文献1）。
【0016】しかし、同法ではニューラルネットワークの入力層の数が256以上であるため、演算処理量が多い。また同法では入力層と中間層の結合の数が多いために、冗長な結合を含んでいる可能性があり、学習がローカルミニマム状態に落ち込んで適切な出力が得られない可能性があるという欠点がある。
【0017】加えて同法では、ニューラルネットワークの学習に関して多施設における統一性を考慮しておらず、同法では施設毎に学習が行われ、学習の結果得られる結合重み係数は施設毎に保存されるため、施設毎に学習程度が異なり、二値化の精度が異なる可能性があった。
【0018】
【文献1】特許第3248965号
【0019】
【発明が解決しようとする課題】このため、従来の技術によれば、条件に左右されない高精度の二値化ならびに画像解析結果を得ることが困難で、加えてどの施設でも同じ精度の画像解析結果を得る事ができないという問題点があった。
【0020】そこで、本発明は、高精度で、さらにどの施設でも同じ精度の画像解析を提供することを課題とする。
【0021】
【課題を解決するための手段】以上の課題を解決するために、請求項1記載の発明は、ヒストグラムを作成するヒストグラム作成部と、しきい値を選定する数学的手法である自動しきい値選定法を二つ以上適用することで、二つ以上のしきい値を候補値として算出する候補値作成部と、複数の候補値の中から一つのしきい値を決定するための判断材料として用いられる数値および情報である補助情報を作成する補助情報作成部と、しきい値を決定するしきい値決定部を有し、ヒストグラム作成部で入力された情報からヒストグラムを作成し、そのヒストグラムから候補値作成部で候補値を作成し、補助情報作成部では補助情報を作成し、最終的にしきい値決定部で補助情報を用いて候補値の中から一つのしきい値を決定することを特徴とするしきい値決定方法であり、候補値作成部で複数の自動しきい値選定方法を組み合わせて用いることで、ヒストグラムを構成するパターンが複数で、一つの自動しきい値選定方法では最適なしきい値を選定できない場合にも対応できるようにした。
【0022】請求項2記載の発明は、請求項1記載のしきい値決定部が候補値のいずれも適当でない、該当なしと判断した場合に、最適なしきい値を得るまで、ヒストグラム作成、候補値作成、補助情報作成、ならびにしきい値決定を繰り返す請求項1記載のしきい値決定方法であり、反復して自動しきい値選定方法を適用しなければならない場合にも対応できるようにした。
【0023】請求項3記載の発明は、請求項2記載のしきい値決定部が、補助情報に対応した入力層と、候補値および該当なしに対応した出力層を有するニューラルネットワークを有し、補助情報をニューラルネットワークの入力層に入力してニューラルネットワークの前向き処理を行い、出力層で得られた結果に基づいて一つのしきい値を決定する請求項2記載のしきい値決定方法であり、複数の候補の中からしきい値を決定する作業を、ニューラルネットワークの学習機能を利用して行うことで、ヒストグラムのパターンが変化した場合にも所望のしきい値を決定できるようになり、加えて入力層にヒストグラム全体ではなく補助情報を用いることで、ニューラルネットワークの入力層の数を少なくしてローカルミニマムに陥る可能性を減らし、ニューラルネットワークの演算処理量を少なくした。
【0024】請求項7記載の発明は、複数のクライアントと一つ以上のサーバーからなるサーバークライアント型の構成を有し、サーバーとクライアントは各々の接続部を介して情報の交換が行われる状態となっており、クライアントは情報処理部を有し、サーバーから送信された情報に基づいて情報処理部で情報処理を行い、適切な処理が行われなかったと判断された場合、学習に必要な学習用情報をサーバーへ送信して、サーバーの学習部で学習を行い、学習結果を更新情報として、クライアントの情報処理部に送信して、情報処理方法を改善することを特徴とする学習機能付情報処理方法であり、この学習機能付情報処理方法によって、どの施設でも同じ学習結果を利用して情報処理ができるようにした。
【0025】請求項9記載の発明は、複数のクライアントと一つ以上のサーバーからなるサーバークライアント型の構成を有し、サーバーとクライアントは各々の接続部を介して情報の交換が行われる状態となっており、サーバーは学習を行う学習部を有し、クライアントはしきい値決定装置と、しきい値決定装置で得られたしきい値を利用して画像処理を行う画像処理部と、画像処理部で得られた結果を用いて解析を行う画像解析部を有し、しきい値決定装置はデジタル画像情報を元にヒストグラムを作成するヒストグラム作成部と、しきい値を選定する数学的手法である自動しきい値選定法を二つ以上適用することで、二つ以上のしきい値を候補値として算出する候補値作成部と、複数の候補値の中から一つのしきい値を決定するための判断材料として用いられる数値および情報である補助情報を作成する補助情報作成部と、候補値から補助情報を用いて一つのしきい値を選定するしきい値決定部からなり、サーバーもしくはクライアントのいずれかに、クライアントのしきい値決定装置で得られたしきい値の妥当性を判定し、学習が必要な場合、学習に必要な情報をサーバーの学習部へ伝達する学習判定部を有することを特徴とする学習機能付き画像解析装置であり、これによって高精度で、なおかつどの施設でも同じ精度の画像解析を提供することができるようにした。
【0026】
【発明の実施の形態】[実施の形態1]まず始めに、しきい値決定方法の一実施形態として、請求項3記載の発明を例に、入力情報からしきい値を得る過程を説明する。請求項3記載の発明は、ヒストグラムを作成するヒストグラム作成部と、しきい値の候補値を算出する候補値作成部と、候補値の中から最適なしきい値を決定するために用いる補助情報を作成する補助情報作成部と、しきい値を決定するしきい値決定部を有し、ヒストグラム作成部で入力された情報からヒストグラムを作成し、そのヒストグラムから候補値作成部で、二つ以上の自動しきい値選定方法を適用することで二つ以上のしきい値を候補値として算出し、補助情報作成部で補助情報を作成し、しきい値決定部で補助情報を用いて候補値の中から一つのしきい値を決定することを特徴とするしきい値決定方法であり、のしきい値決定部が候補値のいずれも適当でない該当なしと判断した場合に、最適なしきい値を得るまで、ヒストグラム作成、候補値作成、補助情報作成、ならびにしきい値決定を繰り返す。またしきい値決定部は、補助情報に対応した入力層と、候補値および該当なしに対応した出力層を有するニューラルネットワークを有し、補助情報をニューラルネットワークの入力層に入力してニューラルネットワークの前向き処理を行い、出力層で得られた結果に基づいて一つのしきい値を決定する。
【0027】なお本明細書では、候補値とは一つのヒストグラムに対して、複数の自動しきい値選定法を適用して得られたそれぞれのしきい値の集合を示すものとする。また補助情報とは、候補値の中から所望の一つのしきい値を決定するための判断材料として用いられる数値および情報および情報と定義する。
【0028】本実施の形態では入力情報は図9の画像dとし、求めるしきい値は対象と背景を区分するグレースケール値とした。図5は請求項3記載の発明によるしきい値決定方法の模式図であり、図6はしきい値を決定するまでのフローチャートであり、5つのステップからなっている。。
【0029】最初のステップはヒストグラム作成S1であり、入力情報を元に、ヒストグラム作成部1でヒストグラムを作成する。具体的には、画像dは256階調のグレースケール画像であり、この画像から階級数256、階級最小値0（黒色）、階級最大値255（白色）のヒストグラムを作成する。
【0030】次のステップは候補値作成S2であり、に作成されたヒストグラムを元に、候補値作成部2において、二値化判別分析法を適用してしきい値k21と、三値化の判別分析法を適用してしきい値k31、k32を求め、k21、k31、k32の3つの値を候補値とする。
【0031】次のステップは補助情報作成S3であり、補助情報作成部3で、3つの候補値の中からどの値をしきい値として採用するか判断する為に使用する補助情報を作成する。本実施の形態では、補助情報はしきい値決定部4において、ニューラルネットワーク41によって処理されるが、ニューラルネットワークの入力層で扱う値は通常0から1までの実数であるため、補助情報は0から1までの実数として作成する。
【0032】本実施の形態では、補助情報は以下の3種類、計8つの値を使用している。
3つの候補値で区分される4区間における区間内の相対度数の和seg1、seg2、seg3、seg4。区間abの相対度数の和segXは、階級aからbまでの度数の和をヒストグラムの全度数Nで割った値であり、階級iの度数をniとすると、式1で求められる。
【0033】
【数１】
【0034】
正規化された候補値n21、n31、n32。正規化された候補値nmxは、候補値kmxをヒストグラムの最大階級値Rで割った値であり、式2で求められる。本実施の形態におけるヒストグラムの階級最大値Rは255となる。
nmx = kmx÷ R （式2）
【0035】
▲３▼最適分類クラス数M*。最適分類クラス数M*は、論文「判別および最小2乗基準に基づく自動しきい値選定法」（電子通信学会論文誌Vol.J63-D p349-356）にある最適クラス数の評価量Q(M*)を用いて得られる。本実施の形態では、ヒストグラムを構成するクラスは、2クラス（対象＋背景）もしくは3クラス（対象＋ノイズ＋背景、あるいは、濃い対象＋薄い対象＋背景）の2通りと考えられるので、最適分類クラス数M*のニューラルネットワークへの入力は、ユニットを1つ用意し、最適分類クラス数が2のときは0を入力し、最適分類クラス数が3のときは1を入力することで達成される。
【0036】次のステップはニューラルネットワーク前向き処理S4であり、しきい値決定部4のニューラルネットワーク41で行われる。ニューラルネットワーク41の入力層は8つのユニットからなり、それぞれがM*、seg1、seg2、seg3、seg4、n21、n31、n32の8つの補助情報に対応している。出力層は4つのユニットからなり、それぞれがk21、k31、k32、及び該当なしの4項目に対応するものとする。中間層は、論文「競合作用により冗長中間層素子を自律淘汰する誤差逆伝播学習アルゴリズム」（電子情報通信学会論文誌Vol.J79-D-II pp.403-412）で求められるユニット数を利用し、本例では便宜的に3つのユニットとする。各ユニット間の結合重み係数は、出力層の1つのユニットのみが1を出力し、残りは0を出力するように調整されたものを使用する。
【0037】ニューラルネットワーク前向き処理S4で得られた結果は、次のステップS5で判定が行われる。出力層で1が出力されたユニットが候補値のいずれかであった場合、その値をしきい値として出力する。
【0038】出力層で1が出力されたユニットが該当なしに対応するユニットだった場合、k21の値を基準にヒストグラム作成部1で新しいヒストグラムを作成する。具体的には、図7のように、入力情報から作成されたヒストグラムaに対して、候補値k21aより背景側（白側）を除いた新しいヒストグラムbを作成する。
【0039】ヒストグラムbに対して同様にS2からS5までの処理を行い、候補値のいずれかがしきい値として選定されるまで、S1からS5までの処理を繰り返す。
【0040】本実施の形態では、しきい値決定処理2回目で得られたk31bが、しきい値として選定された。
【0041】［他の実施形態］上記の実施形態では、候補値作成部で二値化判別分析法と三値化判別分析法の組み合わせを挙げたが、二値化判別分析法と二値化Kittlerしきい値選定方法の組み合わせでもよく、またモード法など他の自動しきい値選定方法と組み合わせても良い。また二値化判別分析法、三値化判別分析法、四値化判別分析法の3つを組み合わせても良い。つまり、ヒストグラムから異なるしきい値を選び得る自動しきい値選定方法を2つ以上用いて、2つ以上の値を候補値として上げる事が出来ればよい。
【0042】しきい値決定部4のニューラルネットワーク41に関しては、最低限、入力層と出力層を有すれば良く、中間層を2層有し、計4層から成るニューラルネットワークでも良い。また各層に含まれるユニットの数、およびユニット数の決定方法は問わない。
【0043】補助情報は8個の情報を使用したが、seg1、seg2、seg3、seg4の4個の情報でもよく、n21, n31, n32の3個の情報のみでもかまわない。また正規化された最適分類クラス数M*のように、候補値に依存しない情報だけから構成されていても良いし、ヒストグラム以外から得られた情報でもかまわない。
【0044】しきい値決定部が該当なしを出力し、新たにヒストグラムを作成する際に、k21を基準として新たなヒストグラムを作成したが、k31やk32など別の候補値を基準としてもよい。また除外する側は背景側でなく、対象側であってもよい。
【0045】[実施の形態2]次に請求項8記載の発明の一実施形態を例に、学習機能付情報処理方法について説明する。請求項8記載の発明は、複数のクライアントと一つ以上のサーバーからなるサーバークライアント型の構成を有し、サーバーとクライアントは各々の接続部を介して情報の交換が行われる状態となっており、クライアントは情報処理部を有し、サーバーから送信された情報に基づいて情報処理部で情報処理を行い、適切な処理が行われなかったと判断された場合、学習に必要な学習用情報をサーバーへ送信して、サーバーの学習部で学習を行い、学習結果を更新情報として、クライアントの情報処理部に送信して、情報処理方法を改善することを特徴とする学習機能付情報処理方法であり、クライアントの情報処理部とサーバーの学習部が、同一構造のニューラルネットワークを有し、クライアントの情報処理部は、サーバーから更新情報として送信されたニューラルネットワークの各ユニット間の結合重み係数を利用してニューラルネットワークの前向き処理を行い、所望の結果が得られなかった場合、ニューラルネットワークの学習に必要な学習用情報をサーバーへ送信し、サーバーの学習部で学習用情報を元にニューラルネットワークを学習させ、学習の結果得られた新たな結合重み係数を更新情報としてクライアントに送信し、クライアントの情報処理部にあるニューラルネットワークの結合重み係数を更新することで、所望の結果を得ることを特徴とする。
【0046】図8の模式図が示すように、本実施の形態では、1つのサーバーと複数のクライアントが接続部110及び接続部210を介してインターネット経由で接続されており、必要に応じてサーバーとクライアントの間で情報のやり取りが可能な状態となっている。
【0047】本実施の形態の情報処理部で行う処理は、入力された情報からしきい値を得る処理であり、前述したしきい値決定方法の実施の形態1と同一とする。
【0048】クライアントは情報処理を始める前に、サーバーから接続部110および接続部210を介して更新情報を得る。本実施の形態での更新情報はニューラルネットワークの各ユニットの結合重み係数であり、情報処理部220のしきい値決定部が有するニューラルネットワークの結合重み係数は更新情報によって更新される。
【0049】入力された情報をもとに情報処理部220で、前述のしきい値決定方法の実施の形態と同じ要領でしきい値を得る。得られたしきい値は学習判定部230で妥当な値であるか判定される。学習判定部230は、しきい値の範囲をあらかじめ設定されており、情報処理部220で得られたしきい値が範囲を超えていた際に、要学習であると判断する。要学習である場合、ヒストグラム及び前述の実施の形態で述べた8個の補助情報が学習用情報として、接続部210を介して、サーバーの接続部110に送信される
【0050】接続部110に送信された学習用情報は、学習部120に渡される。学習部120のニューラルネットワークは、前向き処理に加えて、バックプロパゲーション法（誤差逆伝播法）によって学習が可能な状態となっている。
【0051】バックプロパゲーション法では入力層に入力される値（入力パターン）の他に、教師信号と呼ばれる、出力層の各ユニットの理想出力パターンが必要であり、本実施の形態での教師信号は、次の二つの条件によって決定される。
(a)最適分類クラス数M*に応じたM*値化判別分析法によって得られた値である
(b)学習判定部230で設定されている範囲内に値が存在する
【0052】条件(a)(b)をともに満たす候補値が存在する場合、その候補値に対応するユニットが1で、他のユニットは0であるパターンを教師信号とし、条件(a)(b)をともに満たす候補値が複数存在する場合、最も値が大きい（背景側）候補値に対応するユニットが1で、他のユニットは0とする。
【0053】条件(a)(b)をともに満たす候補値が存在しない場合、該当なしに対応するユニットが1で、他のユニットは0であるパターンを教師信号とする。
【0054】この教師信号と入力パターンとなるクライアントから送信された学習用情報を用いて、バックプロパゲーション法でニューラルネットワーク学習させ、各ユニット間の結合重み係数を更新する。更新された各ユニット間の結合重み係数は、更新情報として保存され、クライアントの要求に応じて常時、接続部110を介して各クライアントに送信される。
【0055】「他の実施形態」上記の実施の形態2の実施形態において、クライアントサーバー間の情報伝達方法は、後述する記録媒体を介したものでも良く、また電子メールなどを利用した情報の伝達でも良い。
【0056】学習判定部はクライアントの側でなくて、サーバー側に配置し、クライアントの情報をすべて一度サーバーに集めた上で学習が必要か判断しても良い。
【0057】学習判定部が要学習と判断する基準は、しきい値の範囲ではなく、しきい値によって区分される対象と背景の比を用いても良く、また他の統計量を用いても良い。さらにはクライアントの利用者、もしくはサーバーの管理者が経験に基づいて判断しても良い。
【0058】学習部でのニューラルネットワークの学習は、カウンタープロパゲーションなどの他の学習法を用いても良い。
【0059】[実施の形態3]最後に請求項10記載の複数のクライアントと一つ以上のサーバーからなるサーバークライアント型の構成を有し、サーバーとクライアントは各々の接続部を介して情報の交換が行われる状態となっており、サーバーは学習を行う学習部を有し、クライアントは対象をデジタル画像化するデジタル画像化装置と、しきい値決定装置と、しきい値決定装置で得られたしきい値を利用して画像処理を行う画像処理部と、画像処理部で得られた結果を用いて解析を行う画像解析部を有し、しきい値決定装置はデジタル画像情報を元にヒストグラムを作成するヒストグラム作成部と、ヒストグラムから候補値を算出する候補値作成部と、候補値の中から最適なしきい値を決定するために用いる補助情報を作成する補助情報作成部と、候補値から補助情報を用いて一つのしきい値を選定するしきい値決定部からなり、サーバーもしくはクライアントのいずれかに、クライアントのしきい値決定装置で得られたしきい値の妥当性を判定し、学習が必要な場合、学習に必要な情報をサーバーの学習部へ伝達する学習判定部を有することを特徴とする学習機能付き画像解析装置の実施の形態について説明する。なお、クライアントのしきい値決定部およびサーバーの学習部は実施の形態2と同様に、同一構造のニューラルネットワークを有するものとする。
【0060】本実施の形態は、標本をMIB-1抗体用いて免疫染色を行った生物標本を撮像してデジタル画像化し、請求項10記載の画像解析装置を用いて、デジタル画像を画像解析し、免疫染色の染色性を定量化するものとする。解析に用いた神経膠芽腫の生物標本のデジタル画像は図3に入力された画像として示した。
【0061】MIB-1抗体は、増殖期の核（核内抗原）に特異的に反応し、増殖期ではない核や細胞質への反応は見られないため、MIB-1抗体の染色性の定量化は、抗体が反応し抗体発色の色素で染色される陽性核と、抗体が反応せず対比染色の色素で染色される陰性核の個数の割合をLabeling indexとして表すことが一般的であり、測定した領域における陽性核の総数をNp、陰性核の総数をNnとすると、式3で求められる。
Labeling index ＝ Np ÷ (Np + Nn) × 100 （式3）
【0062】また、Labeling indexは核の個数の割合でなく、核の面積の割合で求める場合もあり、測定した領域に含まれる陽性核の総面積をAp、陰性核の総面積をAnとすると、式4で求められる。本実施の形態では式4によって、Labeling indexを算出する。
Labeling index ＝ Ap ÷ (Ap + An) × 100 （式4）
【0063】本実施の形態では、抗体発色に茶褐色の色素であるジアミノベンチジン(DAB)を用いており、核の対比染色に青色の色素であるヘマトキシリンを用いているため、Labeling indexを算出するために必要な解析は、画像に含まれる茶褐色の核の面積と青色の核の面積を求めることである。
【0064】図1は本実施の形態で用いる画像解析装置の模式図であり、図2は情報処理部220にて生物標本をデジタル画像化した後に、画像に対して行われる処理のフローチャートである。本実施の形態では生物標本をCCDカメラ付き顕微鏡であるデジタル画像化装置221でカラーデジタル画像化し、この画像に対して、グレースケール変換S10、背景補正S20、グレースケール二値化S30、粒子変換S40、粒子二値化S50の5つのステップからなる画像処理を行い、その上で解析を行っている。
【0065】また前述のように、本実施の形態ではDABの茶褐色とヘマトキシリンの青色の2色を解析する必要があるため、グレースケール変換S10によって、DABの茶褐色を抽出したグレースケール画像である陽性画像と、ヘマトキシリンの青色を抽出したグレースケール画像である陰性画像の2枚のグレースケール画像を作成し、個別にS20からS50までの処理が行われる。
【0066】なお、図2のフローチャートに記載した処理のうち、S10、S20、S34、S40、S54は画像処理部223で行われる。
【0067】以下に具体的に5つのステップを説明する。グレースケール変換S10は、デジタル画像化装置221で得られたカラー画像をグレースケール画像に変換する処理である。具体的には、色の三原色であるRGB値(R=赤、G=緑、B=青)で表される画像中の各画素に対して、変換式を用いて256階調のグレースケールに変換する。この変換式によって、各色素に相当する色だけを抽出し、色の濃度に応じて白から黒までの濃淡がついたグレースケール画像が得られる。
【0068】陽性画像は、0から255までの3つの整数値R,G,B値で表現されているカラー画像の各画素を、式5で示される変換式を用いて、0から255までのグレースケール値Vpで置き換えた画像である。本実施の形態では、図3の陽性画像aとなる。
Vp = - 0.3R - 0.3G + 1.0B （式5）
（ただし、Vp＜0のときVp=0とし、Vp＞255のときVp=255とする）
【0069】同様に陰性画像は、式6で示される変換式を用いて、各画素をVnで置き換えた画像である。本実施の形態では、図3の陰性画像aとなる。
Vn = 1.0R - 0.2G - 0.2B （式6）
（ただし、Vn＜0のときVn=0とし、Vn＞255のときVn=255とする）
【0070】背景補正S20は、インターネット上で公開されている「Rolling ball algorithm」（http://rsb.info.nih.gov/nih-image/manual/menus/process.html）を用いて、グレースケール変換された画像の背景の不均一を是正しながら、画像全体の明るさが暗すぎる場合、明るさを是正する処理である。また光源むらによって画像の一部が暗くなった場合も是正される。
【0071】次のステップであるグレースケール二値化S3は、しきい値決定S31が行われ、そのしきい値の結果を受けて学習が必要であるかの判定が行われ、必要である場合には学習S33をおこない、必要がない場合に二値化S33を行うという複数の処理からなる。なお、しきい値決定S31は図1のしきい値決定装置222で行われ、学習の判定S32は学習判定部230で行われ、学習S33はサーバー100の学習部120で行われる。
【0072】しきい値決定S31は、背景補正S20された画像に対して、グレースケール濃度をもとにヒストグラムを作成して、対象（核）と背景（細胞質など）に判別するしきい値を求める処理である。グレースケール画像からヒストグラムを作成し、しきい値を得るまでの処理は、前述のニューラルネットワークを用いた実施の形態1のしきい値決定方法と同じである。
【0073】しきい値決定S31でしきい値が得られたら、学習判定部230でそのしきい値が妥当であるか判定し、必要に応じて学習する。学習が必要であると判断されるのは、しきい値決定S31で得られたしきい値が学習判定部230で設定してあるグレースケール範囲を超えた場合である。これは、背景補正の処理を行うと、核の取りうるグレースケールの範囲が概ね一定範囲内に収まるためである。
【0074】学習が必要であると判断された場合、実施の形態2に説明した方法に従って、学習用情報をサーバー100の学習部120に送信してニューラルネットワークを学習させ、その結果得られた結合重み係数を更新情報としてクライアントに送信し、しきい値決定装置221が有するニューラルネットワークの結合重み係数を更新して、再度しきい値を選定する。しきい値を決定し、学習にいたるまでの一連の処理は学習の必要がなくなるまで繰り返される。
【0075】適切なしきい値が得られたら、二値化S34で、しきい値以下のグレースケール濃度を示す画素を黒に変換し、しきい値よりも大きいグレースケール濃度の画素を白に変換して白黒画像を作成する二値化処理を行う。本実施の形態では、図3の陽性画像bおよび陰性画像bとなる。
【0076】粒子変換S40は、二値化白黒画像を用いて、隣接する黒の画素を輪郭検出によって粒子とする処理である。図4に粒子変換の一例を示した。格子1マスを1画素とすると、黒い画素は43画素含まれているが、粒子変換をすると5つの粒子になる。粒子1と粒子3は互いに近傍に存在するが、隣接してないので別の粒子として変換されている。それぞれの粒子はサイズ（面積）、形状などの情報を有し、粒子のサイズは粒子1が16画素、粒子2が3画素、粒子3が2画素、粒子4が4画素、粒子5が18画素となっている。
【0077】次のステップである粒子二値化S50は、グレースケール二値化S30同じく、しきい値決定S51、学習判定S52、学習S53、二値化S54の複数の処理からなり、しきい値決定S51は図1のしきい値決定装置222で行われ、学習の判定S52は学習判定部230で行われ、学習S53はサーバー100の学習部120で行われる
【0078】しきい値決定S51は、粒子変換S4された陽性画像、陰性画像の各画像に含まれる粒子のサイズをもとにヒストグラムを作成して、対象（核）と背景（ノイズなど）を判別するしきい値を求める。
【0079】なお、粒子情報からヒストグラムを作成し、必要に応じて学習を行いながら、しきい値を得るまでの処理は、前述のグレースケール二値化S3のしきい値決定S31および学習S32と同様である。ただし、学習が必要であると判断されるのは、しきい値決定S51で得られたしきい値が、学習判定部230で設定してある粒子サイズの範囲を超えた場合である。これは、生物標本をデジタル画像化する際の倍率が一定である場合、一個の核が取りうる面積が一定範囲内に収まるためである。
【0080】適切なしきい値が得られたら、二値化S54で、しきい値より大きいサイズの粒子を核とし、しきい値以下の粒子は削除する二値化処理を行う。本実施の形態では、図3の陽性画像cおよび陰性画像cとなる。
【0081】陽性画像、陰性画像各々について上記の画像処理が終了したら、画像解析部223で解析が行われる。陽性画像c中の粒子の総面積を陽性核面積とし、陰性画像c中の粒子の総面積を陰性核面積として、式4に代入し、Labeling indexを算出する。
【0082】本実施の形態で用いた画像の目測によるLabeling indexは31.5%であり、本実施の形態の結果は33.1%であった。
【0083】また、同様に神経膠腫5例のLabeling indexを測定した結果、目測は平均2.4%であり、本発明による画像解析の平均は2.5%であり、先の神経膠芽腫の結果も含めて、実用的には二つの測定値の差は問題にならないと考えられる。このことより、本発明による画像解析装置は目測と同程度の高い精度の解析を行うことができると考えられた。
【0084】「他の実施形態」前述の画像解析装置の実施形態に関して、抗体はp53抗体などの核に反応する他の抗体でもよい。また細胞質に反応する抗体でもよい。さらには核や細胞質の両方、もしくは細胞膜に反応する抗体でもよく、抗体が反応する抗原の種類は問わない。
【0085】また抗体の発色に関してはDABではなく、蛍光色素やその他の色素を用いてもよい。同様に核の対比染色もニュクリアファーストレッドなど他の色素を用いてもよい。
【0086】また生物標本は免疫染色ではなく、ヘマトキシリンエオジン染色などの他の染色方法でもよい。さらにはin situ hybridizationのような標本上の特定の物質を可視化するような方法を用いてもよい。
【0087】また画像解析の対象は、染色性でなく、特定構造物の数であってもよい。つまり画像内に含まれる所望の対象であれば種類は問わない。また情報処理部は、画像解析ではなく、画像パターン認識など他の処理であってもよい。
【0088】またデジタル画像化する対象は生物標本に限らず、デジタル画像化装置によってデジタル画像化しうるものであればよい。さらにデジタル画像化はCCDカメラではなく、スキャナーやその他のデジタル画像を作成する装置を用いてもよい。
【0089】グレースケール変換S2は、色の三原色である赤、緑、青でなく、色の三要素（色相、彩度、明度）を用いてもよい。つまり何らかの方法で表現されている色情報を利用して、所望の色が抽出され、その色の濃度に応じたグレースケール画像を作成できればよい。
【0090】本実施の形態では、粒子二値化はサイズで行ったが、粒子の形状を示す形状係数などを用いても良い。つまり、粒子とノイズが区別できる値であればよい。
【0091】なお、請求項11記載の記録媒体は、フロッピーディスク、光ディスク、コンパクトディスク、ハードディスク、デジタルビデオディスクなどを含み、インターネット上のサーバーのハードディスクに記録された状態、また、利用者のコンピュータにインターネットを介してダウンロードした状態のハードディスクやRAM等を含む。さらに、記録媒体には、通信回線自体をも意味する。
【0092】
【発明の効果】本発明によれば、高精度で、さらにどの施設でも同じ精度の画像解析装置を提供することが出来る。具体的には請求項1記載の発明では、候補値作成部で複数の自動しきい値選定方法を組み合わせて用いることで、ヒストグラムを構成するパターンが複数で、一つの自動しきい値選定方法では最適なしきい値を選定できない場合にも対応できるようにした。
【0093】請求項2記載の発明では、一度のしきい値選定では適切なしきい値が得られない場合に、該当なしとしてしきい値選定を反復する事で、反復して自動しきい値選定方法を適用しなければならない場合にも対応できるようにした。
【0094】請求項3記載の発明では、複数の候補の中からしきい値を決定する作業を、ニューラルネットワークの学習機能を利用して行うことで、ヒストグラムのパターンが変化した場合にも所望のしきい値を決定できるようになり、加えて入力層にヒストグラム全体ではなく補助情報を用いることで、ニューラルネットワークの入力層の数を少なくしてローカルミニマムに陥る可能性を減らし、ニューラルネットワークの演算処理量を少なくした。
【0095】請求項4記載の発明では、デジタル画像のヒストグラムのパターンが変化しても、所望のしきい値を選定できるようにした。
【0096】請求項5記載の発明では、デジタル画像のヒストグラムのパターンが変化しても、所望のしきい値を得て、画像を二値化できるようにした。
【0097】請求項6記載の発明では、デジタル画像のヒストグラムのパターンが変化しても、所望のしきい値を得て、画像を二値化し、適切に画像解析を行えるようにした。
【0098】請求項7記載の発明では、サーバークライアント型の構成を取り、サーバーで一括して学習する事によって、どの施設でも同じ学習結果を利用して情報処理ができるようにした。
【0099】請求項8記載の発明では、サーバークライアント型の構成を取り、ニューラルネットワークを用いてサーバーで一括して学習する事によって、どの施設でも同じ学習結果を利用して情報処理ができ、かつ結合重み係数という数値で学習結果を配布することで、学習結果の配布および利用を容易にした。
【0100】請求項9記載の発明では、デジタル画像のヒストグラムのパターンが変化しても、所望のしきい値を得て、画像を二値化し、適切に画像解析を行えるようにし、なおかつ解析に必要な学習をサーバーで一括して行う事で、どの施設でも同じ学習結果を利用して画像解析ができるようにした。
【0101】請求項10記載の発明では、請求項9記載の発明に加えて、デジタル画像化装置を設ける事で、デジタル画像化されていない対象をデジタル画像化し、デジタル画像のヒストグラムのパターンが変化しても、所望のしきい値を得て、画像を二値化し、適切に画像解析を行えるようにし、なおかつ解析に必要な学習をサーバーで一括して行う事で、どの施設でも同じ学習結果を利用して画像解析ができるようにした。
【図面の簡単な説明】
【図1】請求項10記載の学習機能付画像解析装置の構成の一例を示したブロック図である。
【図2】図1の情報処理部220で行われる画像処理のフローチャートである。
【図3】図2の画像処理の過程で得られる画像の模式図である。
【図4】図2の粒子変換S40を説明する図である。
【図5】請求項3記載のしきい値決定装置の機能、ならびに構成の一例を示した図である。
【図6】図5のしきい値決定装置で行われる処理のフローチャートである。
【図7】図6の候補値作成S2で得られる候補値を説明する図である。
【図8】請求項8記載の学習機能付情報処理方法の構成の一例を示したブロック図である。
【図9】従来の判別分析法によるしきい値の決定を説明する図である。
【符号の説明】
100 サーバー、110 接続部（サーバー側）、120 学習部、
200 クライアント、210 接続部（クライアント側）、220 情報処理部、221 デジタル画像化装置、222しきい値決定装置、223 画像処理部、224 画像解析部、230 学習判定部
【発明の属する技術分野】この発明は、画像解析におけるしきい値決定方法とその装置、二値化装置並びに画像解析装置、学習機能付き情報処理方法と学習機能付き画像解析装置並びにそれらのための記録媒体に関する。
【0002】
【従来の技術】免疫染色を施行した生物標本の染色性を定量化する場合、一般的に顕微鏡を用いた人間の目視による評価が行われているが、評価が主観的であるという問題点がある。近年、その評価の客観性を向上させるために、画像解析を用いた染色性の定量化が試みられている。画像解析にて染色性を定量化する場合、その定量結果は染色条件や撮影条件に影響を受けずに、加えてどの施設でも同じ精度の画像解析によって定量化される事が望ましい。
【0003】画像解析は、デジタル化された画像をそのまま解析するのではなく、画像処理を行って解析に必要な情報を整理し、その上で解析が行われる事が多く、画像処理の精度によって解析結果も異なる。
【0004】最も頻繁に行われる画像処理の一つは、二値化と呼ばれるグレースケール画像を白黒画像に変換する処理である。このため、二値化を用いた画像解析の場合、二値化の精度が画像解析の精度を左右し、高精度の画像解析を行うためには高精度の二値化が必要となる。
【0005】具体的には、二値化は画像のグレースケールをもとにヒストグラムを作成して、しきい値と呼ばれる値を基準に、ヒストグラムをしきい値以下としきい値以上の二つに分け、それぞれを白と黒に振り分ける処理である。このしきい値を統計学などの手法を用いて自動的に選定する方法には、従来、多くのものが発表されており、例として、判別分析法、Kittler法、モード法、Pタイル法などがあり、これらはいずれも公知である。本明細書では、前述のような統計学などの数学的手法を用いて、しきい値を自動的に選定する方法を総称して、自動しきい値選定法と呼ぶ。
【0006】これらの自動しきい値選定方法のうち、判別分析法について、図9の4種類の画像を例に説明する。図9の画像はいずれも黒丸（対象）とそれ以外の部分（背景）からなっており、判別分析法によって黒丸と、それ以外を区分することを目的とする。
【0007】ヒストグラムaは、画像aからグレースケールをもとに作成されたヒストグラムであり、ヒストグラムaでは、対象と背景に相当するグレースケールがそれぞれ山を形作っている。この山をクラスと呼び、ヒストグラムaでは対象と背景の2クラスからヒストグラムが構成されている。ヒストグラムaに判別分析法を適用すると、しきい値k21aが得られる。この値は対象クラスと背景クラスの中間に存在しており、対象と背景を判別するしきい値として妥当である。このように判別分析法は一般的に、画像aのようにヒストグラムが2つのクラスからなる場合、適切なしきい値を算出する。
【0008】しかし、画像bのようにノイズが多い場合、ヒストグラムbは対象、ノイズ、背景の3つのクラスから構成される。ここで通常の判別分析法で得られるしきい値k21bは、クラス間ではなく、山に重なるように位置しており、適切とはいえない。
【0009】また画像cのように、対象が薄いものと濃いものがあって一様でない場合も、ヒストグラムcは対象1（濃いもの）、対象2（薄いもの）、背景の3つのクラスからなり、k21cは適切な値を示していない。
【0010】このようにヒストグラムが3クラスからなる場合、通常の判別分析法（二値化判別分析法）では最適なしきい値を選定し得ない。ヒストグラムが3クラスからなる場合、3クラスを想定した三値化判別分析法を用いる必要があり、三値化判別分析法ではk31、k32の二つのしきい値が得られる。一般的に、ヒストグラムがMクラスからなる場合、適切なしきい値を得るためには、M値化判別分析法を用いる必要があり、(M-1)個のしきい値が得られる。
【0011】画像の白黒二値化を行う場合、しきい値は1つでなければならず、三値化判別分析法で得られる2つのしきい値のうち、どちらが適切であるかは、ヒストグラムのパターンおよび利用目的により異なり、判定する必要がある。画像bではk31bが所望のしきい値であり、画像cではk32cが所望のしきい値となっている。
【0012】また画像dのように、背景に比して対象の占める割合が極端に小さい場合、ヒストグラムを構成するのは2クラスでありながら、二値化判別分析では最適なしきい値を選定できない場合がある。この場合には、ヒストグラムに修正を加えながら、判別分析法を反復して用いる必要がある。
【0013】撮影条件などが一定になるように管理された画像を二値化する場合、ヒストグラムの示すパターンは概ね予測が可能で、パターンに応じて適切な判別分析法を用いればよいが、免疫染色を施された標本をデジタル画像化した場合、染色条件や撮影条件によってパターンが大きく異なるため、一つの判別分析法だけを設定した方法では、適切なしきい値を得ることは困難である。特に施設が異なる場合、条件の違いが大きく、施設によって二値化の精度が大きく異なる可能性がある。
【0014】ここでは、判別分析法を例にしたが、他の自動しきい値選定方法でも最適なしきい値を得ることのできる条件は決まっており、ヒストグラムのパターンの変化には対応できない。
【0015】上記のように従来の自動しきい値選定方法は、条件が変化すると最適なしきい値を選定できず、これを解消するため、ニューラルネットワークを利用した二値化方法が公開されている（文献1）。
【0016】しかし、同法ではニューラルネットワークの入力層の数が256以上であるため、演算処理量が多い。また同法では入力層と中間層の結合の数が多いために、冗長な結合を含んでいる可能性があり、学習がローカルミニマム状態に落ち込んで適切な出力が得られない可能性があるという欠点がある。
【0017】加えて同法では、ニューラルネットワークの学習に関して多施設における統一性を考慮しておらず、同法では施設毎に学習が行われ、学習の結果得られる結合重み係数は施設毎に保存されるため、施設毎に学習程度が異なり、二値化の精度が異なる可能性があった。
【0018】
【文献1】特許第3248965号
【0019】
【発明が解決しようとする課題】このため、従来の技術によれば、条件に左右されない高精度の二値化ならびに画像解析結果を得ることが困難で、加えてどの施設でも同じ精度の画像解析結果を得る事ができないという問題点があった。
【0020】そこで、本発明は、高精度で、さらにどの施設でも同じ精度の画像解析を提供することを課題とする。
【0021】
【課題を解決するための手段】以上の課題を解決するために、請求項1記載の発明は、ヒストグラムを作成するヒストグラム作成部と、しきい値を選定する数学的手法である自動しきい値選定法を二つ以上適用することで、二つ以上のしきい値を候補値として算出する候補値作成部と、複数の候補値の中から一つのしきい値を決定するための判断材料として用いられる数値および情報である補助情報を作成する補助情報作成部と、しきい値を決定するしきい値決定部を有し、ヒストグラム作成部で入力された情報からヒストグラムを作成し、そのヒストグラムから候補値作成部で候補値を作成し、補助情報作成部では補助情報を作成し、最終的にしきい値決定部で補助情報を用いて候補値の中から一つのしきい値を決定することを特徴とするしきい値決定方法であり、候補値作成部で複数の自動しきい値選定方法を組み合わせて用いることで、ヒストグラムを構成するパターンが複数で、一つの自動しきい値選定方法では最適なしきい値を選定できない場合にも対応できるようにした。
【0022】請求項2記載の発明は、請求項1記載のしきい値決定部が候補値のいずれも適当でない、該当なしと判断した場合に、最適なしきい値を得るまで、ヒストグラム作成、候補値作成、補助情報作成、ならびにしきい値決定を繰り返す請求項1記載のしきい値決定方法であり、反復して自動しきい値選定方法を適用しなければならない場合にも対応できるようにした。
【0023】請求項3記載の発明は、請求項2記載のしきい値決定部が、補助情報に対応した入力層と、候補値および該当なしに対応した出力層を有するニューラルネットワークを有し、補助情報をニューラルネットワークの入力層に入力してニューラルネットワークの前向き処理を行い、出力層で得られた結果に基づいて一つのしきい値を決定する請求項2記載のしきい値決定方法であり、複数の候補の中からしきい値を決定する作業を、ニューラルネットワークの学習機能を利用して行うことで、ヒストグラムのパターンが変化した場合にも所望のしきい値を決定できるようになり、加えて入力層にヒストグラム全体ではなく補助情報を用いることで、ニューラルネットワークの入力層の数を少なくしてローカルミニマムに陥る可能性を減らし、ニューラルネットワークの演算処理量を少なくした。
【0024】請求項7記載の発明は、複数のクライアントと一つ以上のサーバーからなるサーバークライアント型の構成を有し、サーバーとクライアントは各々の接続部を介して情報の交換が行われる状態となっており、クライアントは情報処理部を有し、サーバーから送信された情報に基づいて情報処理部で情報処理を行い、適切な処理が行われなかったと判断された場合、学習に必要な学習用情報をサーバーへ送信して、サーバーの学習部で学習を行い、学習結果を更新情報として、クライアントの情報処理部に送信して、情報処理方法を改善することを特徴とする学習機能付情報処理方法であり、この学習機能付情報処理方法によって、どの施設でも同じ学習結果を利用して情報処理ができるようにした。
【0025】請求項9記載の発明は、複数のクライアントと一つ以上のサーバーからなるサーバークライアント型の構成を有し、サーバーとクライアントは各々の接続部を介して情報の交換が行われる状態となっており、サーバーは学習を行う学習部を有し、クライアントはしきい値決定装置と、しきい値決定装置で得られたしきい値を利用して画像処理を行う画像処理部と、画像処理部で得られた結果を用いて解析を行う画像解析部を有し、しきい値決定装置はデジタル画像情報を元にヒストグラムを作成するヒストグラム作成部と、しきい値を選定する数学的手法である自動しきい値選定法を二つ以上適用することで、二つ以上のしきい値を候補値として算出する候補値作成部と、複数の候補値の中から一つのしきい値を決定するための判断材料として用いられる数値および情報である補助情報を作成する補助情報作成部と、候補値から補助情報を用いて一つのしきい値を選定するしきい値決定部からなり、サーバーもしくはクライアントのいずれかに、クライアントのしきい値決定装置で得られたしきい値の妥当性を判定し、学習が必要な場合、学習に必要な情報をサーバーの学習部へ伝達する学習判定部を有することを特徴とする学習機能付き画像解析装置であり、これによって高精度で、なおかつどの施設でも同じ精度の画像解析を提供することができるようにした。
【0026】
【発明の実施の形態】[実施の形態1]まず始めに、しきい値決定方法の一実施形態として、請求項3記載の発明を例に、入力情報からしきい値を得る過程を説明する。請求項3記載の発明は、ヒストグラムを作成するヒストグラム作成部と、しきい値の候補値を算出する候補値作成部と、候補値の中から最適なしきい値を決定するために用いる補助情報を作成する補助情報作成部と、しきい値を決定するしきい値決定部を有し、ヒストグラム作成部で入力された情報からヒストグラムを作成し、そのヒストグラムから候補値作成部で、二つ以上の自動しきい値選定方法を適用することで二つ以上のしきい値を候補値として算出し、補助情報作成部で補助情報を作成し、しきい値決定部で補助情報を用いて候補値の中から一つのしきい値を決定することを特徴とするしきい値決定方法であり、のしきい値決定部が候補値のいずれも適当でない該当なしと判断した場合に、最適なしきい値を得るまで、ヒストグラム作成、候補値作成、補助情報作成、ならびにしきい値決定を繰り返す。またしきい値決定部は、補助情報に対応した入力層と、候補値および該当なしに対応した出力層を有するニューラルネットワークを有し、補助情報をニューラルネットワークの入力層に入力してニューラルネットワークの前向き処理を行い、出力層で得られた結果に基づいて一つのしきい値を決定する。
【0027】なお本明細書では、候補値とは一つのヒストグラムに対して、複数の自動しきい値選定法を適用して得られたそれぞれのしきい値の集合を示すものとする。また補助情報とは、候補値の中から所望の一つのしきい値を決定するための判断材料として用いられる数値および情報および情報と定義する。
【0028】本実施の形態では入力情報は図9の画像dとし、求めるしきい値は対象と背景を区分するグレースケール値とした。図5は請求項3記載の発明によるしきい値決定方法の模式図であり、図6はしきい値を決定するまでのフローチャートであり、5つのステップからなっている。。
【0029】最初のステップはヒストグラム作成S1であり、入力情報を元に、ヒストグラム作成部1でヒストグラムを作成する。具体的には、画像dは256階調のグレースケール画像であり、この画像から階級数256、階級最小値0（黒色）、階級最大値255（白色）のヒストグラムを作成する。
【0030】次のステップは候補値作成S2であり、に作成されたヒストグラムを元に、候補値作成部2において、二値化判別分析法を適用してしきい値k21と、三値化の判別分析法を適用してしきい値k31、k32を求め、k21、k31、k32の3つの値を候補値とする。
【0031】次のステップは補助情報作成S3であり、補助情報作成部3で、3つの候補値の中からどの値をしきい値として採用するか判断する為に使用する補助情報を作成する。本実施の形態では、補助情報はしきい値決定部4において、ニューラルネットワーク41によって処理されるが、ニューラルネットワークの入力層で扱う値は通常0から1までの実数であるため、補助情報は0から1までの実数として作成する。
【0032】本実施の形態では、補助情報は以下の3種類、計8つの値を使用している。
3つの候補値で区分される4区間における区間内の相対度数の和seg1、seg2、seg3、seg4。区間abの相対度数の和segXは、階級aからbまでの度数の和をヒストグラムの全度数Nで割った値であり、階級iの度数をniとすると、式1で求められる。
【0033】
【数１】
正規化された候補値n21、n31、n32。正規化された候補値nmxは、候補値kmxをヒストグラムの最大階級値Rで割った値であり、式2で求められる。本実施の形態におけるヒストグラムの階級最大値Rは255となる。
nmx = kmx÷ R （式2）
【0035】
▲３▼最適分類クラス数M*。最適分類クラス数M*は、論文「判別および最小2乗基準に基づく自動しきい値選定法」（電子通信学会論文誌Vol.J63-D p349-356）にある最適クラス数の評価量Q(M*)を用いて得られる。本実施の形態では、ヒストグラムを構成するクラスは、2クラス（対象＋背景）もしくは3クラス（対象＋ノイズ＋背景、あるいは、濃い対象＋薄い対象＋背景）の2通りと考えられるので、最適分類クラス数M*のニューラルネットワークへの入力は、ユニットを1つ用意し、最適分類クラス数が2のときは0を入力し、最適分類クラス数が3のときは1を入力することで達成される。
【0036】次のステップはニューラルネットワーク前向き処理S4であり、しきい値決定部4のニューラルネットワーク41で行われる。ニューラルネットワーク41の入力層は8つのユニットからなり、それぞれがM*、seg1、seg2、seg3、seg4、n21、n31、n32の8つの補助情報に対応している。出力層は4つのユニットからなり、それぞれがk21、k31、k32、及び該当なしの4項目に対応するものとする。中間層は、論文「競合作用により冗長中間層素子を自律淘汰する誤差逆伝播学習アルゴリズム」（電子情報通信学会論文誌Vol.J79-D-II pp.403-412）で求められるユニット数を利用し、本例では便宜的に3つのユニットとする。各ユニット間の結合重み係数は、出力層の1つのユニットのみが1を出力し、残りは0を出力するように調整されたものを使用する。
【0037】ニューラルネットワーク前向き処理S4で得られた結果は、次のステップS5で判定が行われる。出力層で1が出力されたユニットが候補値のいずれかであった場合、その値をしきい値として出力する。
【0038】出力層で1が出力されたユニットが該当なしに対応するユニットだった場合、k21の値を基準にヒストグラム作成部1で新しいヒストグラムを作成する。具体的には、図7のように、入力情報から作成されたヒストグラムaに対して、候補値k21aより背景側（白側）を除いた新しいヒストグラムbを作成する。
【0039】ヒストグラムbに対して同様にS2からS5までの処理を行い、候補値のいずれかがしきい値として選定されるまで、S1からS5までの処理を繰り返す。
【0040】本実施の形態では、しきい値決定処理2回目で得られたk31bが、しきい値として選定された。
【0041】［他の実施形態］上記の実施形態では、候補値作成部で二値化判別分析法と三値化判別分析法の組み合わせを挙げたが、二値化判別分析法と二値化Kittlerしきい値選定方法の組み合わせでもよく、またモード法など他の自動しきい値選定方法と組み合わせても良い。また二値化判別分析法、三値化判別分析法、四値化判別分析法の3つを組み合わせても良い。つまり、ヒストグラムから異なるしきい値を選び得る自動しきい値選定方法を2つ以上用いて、2つ以上の値を候補値として上げる事が出来ればよい。
【0042】しきい値決定部4のニューラルネットワーク41に関しては、最低限、入力層と出力層を有すれば良く、中間層を2層有し、計4層から成るニューラルネットワークでも良い。また各層に含まれるユニットの数、およびユニット数の決定方法は問わない。
【0043】補助情報は8個の情報を使用したが、seg1、seg2、seg3、seg4の4個の情報でもよく、n21, n31, n32の3個の情報のみでもかまわない。また正規化された最適分類クラス数M*のように、候補値に依存しない情報だけから構成されていても良いし、ヒストグラム以外から得られた情報でもかまわない。
【0044】しきい値決定部が該当なしを出力し、新たにヒストグラムを作成する際に、k21を基準として新たなヒストグラムを作成したが、k31やk32など別の候補値を基準としてもよい。また除外する側は背景側でなく、対象側であってもよい。
【0045】[実施の形態2]次に請求項8記載の発明の一実施形態を例に、学習機能付情報処理方法について説明する。請求項8記載の発明は、複数のクライアントと一つ以上のサーバーからなるサーバークライアント型の構成を有し、サーバーとクライアントは各々の接続部を介して情報の交換が行われる状態となっており、クライアントは情報処理部を有し、サーバーから送信された情報に基づいて情報処理部で情報処理を行い、適切な処理が行われなかったと判断された場合、学習に必要な学習用情報をサーバーへ送信して、サーバーの学習部で学習を行い、学習結果を更新情報として、クライアントの情報処理部に送信して、情報処理方法を改善することを特徴とする学習機能付情報処理方法であり、クライアントの情報処理部とサーバーの学習部が、同一構造のニューラルネットワークを有し、クライアントの情報処理部は、サーバーから更新情報として送信されたニューラルネットワークの各ユニット間の結合重み係数を利用してニューラルネットワークの前向き処理を行い、所望の結果が得られなかった場合、ニューラルネットワークの学習に必要な学習用情報をサーバーへ送信し、サーバーの学習部で学習用情報を元にニューラルネットワークを学習させ、学習の結果得られた新たな結合重み係数を更新情報としてクライアントに送信し、クライアントの情報処理部にあるニューラルネットワークの結合重み係数を更新することで、所望の結果を得ることを特徴とする。
【0046】図8の模式図が示すように、本実施の形態では、1つのサーバーと複数のクライアントが接続部110及び接続部210を介してインターネット経由で接続されており、必要に応じてサーバーとクライアントの間で情報のやり取りが可能な状態となっている。
【0047】本実施の形態の情報処理部で行う処理は、入力された情報からしきい値を得る処理であり、前述したしきい値決定方法の実施の形態1と同一とする。
【0048】クライアントは情報処理を始める前に、サーバーから接続部110および接続部210を介して更新情報を得る。本実施の形態での更新情報はニューラルネットワークの各ユニットの結合重み係数であり、情報処理部220のしきい値決定部が有するニューラルネットワークの結合重み係数は更新情報によって更新される。
【0049】入力された情報をもとに情報処理部220で、前述のしきい値決定方法の実施の形態と同じ要領でしきい値を得る。得られたしきい値は学習判定部230で妥当な値であるか判定される。学習判定部230は、しきい値の範囲をあらかじめ設定されており、情報処理部220で得られたしきい値が範囲を超えていた際に、要学習であると判断する。要学習である場合、ヒストグラム及び前述の実施の形態で述べた8個の補助情報が学習用情報として、接続部210を介して、サーバーの接続部110に送信される
【0050】接続部110に送信された学習用情報は、学習部120に渡される。学習部120のニューラルネットワークは、前向き処理に加えて、バックプロパゲーション法（誤差逆伝播法）によって学習が可能な状態となっている。
【0051】バックプロパゲーション法では入力層に入力される値（入力パターン）の他に、教師信号と呼ばれる、出力層の各ユニットの理想出力パターンが必要であり、本実施の形態での教師信号は、次の二つの条件によって決定される。
(a)最適分類クラス数M*に応じたM*値化判別分析法によって得られた値である
(b)学習判定部230で設定されている範囲内に値が存在する
【0052】条件(a)(b)をともに満たす候補値が存在する場合、その候補値に対応するユニットが1で、他のユニットは0であるパターンを教師信号とし、条件(a)(b)をともに満たす候補値が複数存在する場合、最も値が大きい（背景側）候補値に対応するユニットが1で、他のユニットは0とする。
【0053】条件(a)(b)をともに満たす候補値が存在しない場合、該当なしに対応するユニットが1で、他のユニットは0であるパターンを教師信号とする。
【0054】この教師信号と入力パターンとなるクライアントから送信された学習用情報を用いて、バックプロパゲーション法でニューラルネットワーク学習させ、各ユニット間の結合重み係数を更新する。更新された各ユニット間の結合重み係数は、更新情報として保存され、クライアントの要求に応じて常時、接続部110を介して各クライアントに送信される。
【0055】「他の実施形態」上記の実施の形態2の実施形態において、クライアントサーバー間の情報伝達方法は、後述する記録媒体を介したものでも良く、また電子メールなどを利用した情報の伝達でも良い。
【0056】学習判定部はクライアントの側でなくて、サーバー側に配置し、クライアントの情報をすべて一度サーバーに集めた上で学習が必要か判断しても良い。
【0057】学習判定部が要学習と判断する基準は、しきい値の範囲ではなく、しきい値によって区分される対象と背景の比を用いても良く、また他の統計量を用いても良い。さらにはクライアントの利用者、もしくはサーバーの管理者が経験に基づいて判断しても良い。
【0058】学習部でのニューラルネットワークの学習は、カウンタープロパゲーションなどの他の学習法を用いても良い。
【0059】[実施の形態3]最後に請求項10記載の複数のクライアントと一つ以上のサーバーからなるサーバークライアント型の構成を有し、サーバーとクライアントは各々の接続部を介して情報の交換が行われる状態となっており、サーバーは学習を行う学習部を有し、クライアントは対象をデジタル画像化するデジタル画像化装置と、しきい値決定装置と、しきい値決定装置で得られたしきい値を利用して画像処理を行う画像処理部と、画像処理部で得られた結果を用いて解析を行う画像解析部を有し、しきい値決定装置はデジタル画像情報を元にヒストグラムを作成するヒストグラム作成部と、ヒストグラムから候補値を算出する候補値作成部と、候補値の中から最適なしきい値を決定するために用いる補助情報を作成する補助情報作成部と、候補値から補助情報を用いて一つのしきい値を選定するしきい値決定部からなり、サーバーもしくはクライアントのいずれかに、クライアントのしきい値決定装置で得られたしきい値の妥当性を判定し、学習が必要な場合、学習に必要な情報をサーバーの学習部へ伝達する学習判定部を有することを特徴とする学習機能付き画像解析装置の実施の形態について説明する。なお、クライアントのしきい値決定部およびサーバーの学習部は実施の形態2と同様に、同一構造のニューラルネットワークを有するものとする。
【0060】本実施の形態は、標本をMIB-1抗体用いて免疫染色を行った生物標本を撮像してデジタル画像化し、請求項10記載の画像解析装置を用いて、デジタル画像を画像解析し、免疫染色の染色性を定量化するものとする。解析に用いた神経膠芽腫の生物標本のデジタル画像は図3に入力された画像として示した。
【0061】MIB-1抗体は、増殖期の核（核内抗原）に特異的に反応し、増殖期ではない核や細胞質への反応は見られないため、MIB-1抗体の染色性の定量化は、抗体が反応し抗体発色の色素で染色される陽性核と、抗体が反応せず対比染色の色素で染色される陰性核の個数の割合をLabeling indexとして表すことが一般的であり、測定した領域における陽性核の総数をNp、陰性核の総数をNnとすると、式3で求められる。
Labeling index ＝ Np ÷ (Np + Nn) × 100 （式3）
【0062】また、Labeling indexは核の個数の割合でなく、核の面積の割合で求める場合もあり、測定した領域に含まれる陽性核の総面積をAp、陰性核の総面積をAnとすると、式4で求められる。本実施の形態では式4によって、Labeling indexを算出する。
Labeling index ＝ Ap ÷ (Ap + An) × 100 （式4）
【0063】本実施の形態では、抗体発色に茶褐色の色素であるジアミノベンチジン(DAB)を用いており、核の対比染色に青色の色素であるヘマトキシリンを用いているため、Labeling indexを算出するために必要な解析は、画像に含まれる茶褐色の核の面積と青色の核の面積を求めることである。
【0064】図1は本実施の形態で用いる画像解析装置の模式図であり、図2は情報処理部220にて生物標本をデジタル画像化した後に、画像に対して行われる処理のフローチャートである。本実施の形態では生物標本をCCDカメラ付き顕微鏡であるデジタル画像化装置221でカラーデジタル画像化し、この画像に対して、グレースケール変換S10、背景補正S20、グレースケール二値化S30、粒子変換S40、粒子二値化S50の5つのステップからなる画像処理を行い、その上で解析を行っている。
【0065】また前述のように、本実施の形態ではDABの茶褐色とヘマトキシリンの青色の2色を解析する必要があるため、グレースケール変換S10によって、DABの茶褐色を抽出したグレースケール画像である陽性画像と、ヘマトキシリンの青色を抽出したグレースケール画像である陰性画像の2枚のグレースケール画像を作成し、個別にS20からS50までの処理が行われる。
【0066】なお、図2のフローチャートに記載した処理のうち、S10、S20、S34、S40、S54は画像処理部223で行われる。
【0067】以下に具体的に5つのステップを説明する。グレースケール変換S10は、デジタル画像化装置221で得られたカラー画像をグレースケール画像に変換する処理である。具体的には、色の三原色であるRGB値(R=赤、G=緑、B=青)で表される画像中の各画素に対して、変換式を用いて256階調のグレースケールに変換する。この変換式によって、各色素に相当する色だけを抽出し、色の濃度に応じて白から黒までの濃淡がついたグレースケール画像が得られる。
【0068】陽性画像は、0から255までの3つの整数値R,G,B値で表現されているカラー画像の各画素を、式5で示される変換式を用いて、0から255までのグレースケール値Vpで置き換えた画像である。本実施の形態では、図3の陽性画像aとなる。
Vp = - 0.3R - 0.3G + 1.0B （式5）
（ただし、Vp＜0のときVp=0とし、Vp＞255のときVp=255とする）
【0069】同様に陰性画像は、式6で示される変換式を用いて、各画素をVnで置き換えた画像である。本実施の形態では、図3の陰性画像aとなる。
Vn = 1.0R - 0.2G - 0.2B （式6）
（ただし、Vn＜0のときVn=0とし、Vn＞255のときVn=255とする）
【0070】背景補正S20は、インターネット上で公開されている「Rolling ball algorithm」（http://rsb.info.nih.gov/nih-image/manual/menus/process.html）を用いて、グレースケール変換された画像の背景の不均一を是正しながら、画像全体の明るさが暗すぎる場合、明るさを是正する処理である。また光源むらによって画像の一部が暗くなった場合も是正される。
【0071】次のステップであるグレースケール二値化S3は、しきい値決定S31が行われ、そのしきい値の結果を受けて学習が必要であるかの判定が行われ、必要である場合には学習S33をおこない、必要がない場合に二値化S33を行うという複数の処理からなる。なお、しきい値決定S31は図1のしきい値決定装置222で行われ、学習の判定S32は学習判定部230で行われ、学習S33はサーバー100の学習部120で行われる。
【0072】しきい値決定S31は、背景補正S20された画像に対して、グレースケール濃度をもとにヒストグラムを作成して、対象（核）と背景（細胞質など）に判別するしきい値を求める処理である。グレースケール画像からヒストグラムを作成し、しきい値を得るまでの処理は、前述のニューラルネットワークを用いた実施の形態1のしきい値決定方法と同じである。
【0073】しきい値決定S31でしきい値が得られたら、学習判定部230でそのしきい値が妥当であるか判定し、必要に応じて学習する。学習が必要であると判断されるのは、しきい値決定S31で得られたしきい値が学習判定部230で設定してあるグレースケール範囲を超えた場合である。これは、背景補正の処理を行うと、核の取りうるグレースケールの範囲が概ね一定範囲内に収まるためである。
【0074】学習が必要であると判断された場合、実施の形態2に説明した方法に従って、学習用情報をサーバー100の学習部120に送信してニューラルネットワークを学習させ、その結果得られた結合重み係数を更新情報としてクライアントに送信し、しきい値決定装置221が有するニューラルネットワークの結合重み係数を更新して、再度しきい値を選定する。しきい値を決定し、学習にいたるまでの一連の処理は学習の必要がなくなるまで繰り返される。
【0075】適切なしきい値が得られたら、二値化S34で、しきい値以下のグレースケール濃度を示す画素を黒に変換し、しきい値よりも大きいグレースケール濃度の画素を白に変換して白黒画像を作成する二値化処理を行う。本実施の形態では、図3の陽性画像bおよび陰性画像bとなる。
【0076】粒子変換S40は、二値化白黒画像を用いて、隣接する黒の画素を輪郭検出によって粒子とする処理である。図4に粒子変換の一例を示した。格子1マスを1画素とすると、黒い画素は43画素含まれているが、粒子変換をすると5つの粒子になる。粒子1と粒子3は互いに近傍に存在するが、隣接してないので別の粒子として変換されている。それぞれの粒子はサイズ（面積）、形状などの情報を有し、粒子のサイズは粒子1が16画素、粒子2が3画素、粒子3が2画素、粒子4が4画素、粒子5が18画素となっている。
【0077】次のステップである粒子二値化S50は、グレースケール二値化S30同じく、しきい値決定S51、学習判定S52、学習S53、二値化S54の複数の処理からなり、しきい値決定S51は図1のしきい値決定装置222で行われ、学習の判定S52は学習判定部230で行われ、学習S53はサーバー100の学習部120で行われる
【0078】しきい値決定S51は、粒子変換S4された陽性画像、陰性画像の各画像に含まれる粒子のサイズをもとにヒストグラムを作成して、対象（核）と背景（ノイズなど）を判別するしきい値を求める。
【0079】なお、粒子情報からヒストグラムを作成し、必要に応じて学習を行いながら、しきい値を得るまでの処理は、前述のグレースケール二値化S3のしきい値決定S31および学習S32と同様である。ただし、学習が必要であると判断されるのは、しきい値決定S51で得られたしきい値が、学習判定部230で設定してある粒子サイズの範囲を超えた場合である。これは、生物標本をデジタル画像化する際の倍率が一定である場合、一個の核が取りうる面積が一定範囲内に収まるためである。
【0080】適切なしきい値が得られたら、二値化S54で、しきい値より大きいサイズの粒子を核とし、しきい値以下の粒子は削除する二値化処理を行う。本実施の形態では、図3の陽性画像cおよび陰性画像cとなる。
【0081】陽性画像、陰性画像各々について上記の画像処理が終了したら、画像解析部223で解析が行われる。陽性画像c中の粒子の総面積を陽性核面積とし、陰性画像c中の粒子の総面積を陰性核面積として、式4に代入し、Labeling indexを算出する。
【0082】本実施の形態で用いた画像の目測によるLabeling indexは31.5%であり、本実施の形態の結果は33.1%であった。
【0083】また、同様に神経膠腫5例のLabeling indexを測定した結果、目測は平均2.4%であり、本発明による画像解析の平均は2.5%であり、先の神経膠芽腫の結果も含めて、実用的には二つの測定値の差は問題にならないと考えられる。このことより、本発明による画像解析装置は目測と同程度の高い精度の解析を行うことができると考えられた。
【0084】「他の実施形態」前述の画像解析装置の実施形態に関して、抗体はp53抗体などの核に反応する他の抗体でもよい。また細胞質に反応する抗体でもよい。さらには核や細胞質の両方、もしくは細胞膜に反応する抗体でもよく、抗体が反応する抗原の種類は問わない。
【0085】また抗体の発色に関してはDABではなく、蛍光色素やその他の色素を用いてもよい。同様に核の対比染色もニュクリアファーストレッドなど他の色素を用いてもよい。
【0086】また生物標本は免疫染色ではなく、ヘマトキシリンエオジン染色などの他の染色方法でもよい。さらにはin situ hybridizationのような標本上の特定の物質を可視化するような方法を用いてもよい。
【0087】また画像解析の対象は、染色性でなく、特定構造物の数であってもよい。つまり画像内に含まれる所望の対象であれば種類は問わない。また情報処理部は、画像解析ではなく、画像パターン認識など他の処理であってもよい。
【0088】またデジタル画像化する対象は生物標本に限らず、デジタル画像化装置によってデジタル画像化しうるものであればよい。さらにデジタル画像化はCCDカメラではなく、スキャナーやその他のデジタル画像を作成する装置を用いてもよい。
【0089】グレースケール変換S2は、色の三原色である赤、緑、青でなく、色の三要素（色相、彩度、明度）を用いてもよい。つまり何らかの方法で表現されている色情報を利用して、所望の色が抽出され、その色の濃度に応じたグレースケール画像を作成できればよい。
【0090】本実施の形態では、粒子二値化はサイズで行ったが、粒子の形状を示す形状係数などを用いても良い。つまり、粒子とノイズが区別できる値であればよい。
【0091】なお、請求項11記載の記録媒体は、フロッピーディスク、光ディスク、コンパクトディスク、ハードディスク、デジタルビデオディスクなどを含み、インターネット上のサーバーのハードディスクに記録された状態、また、利用者のコンピュータにインターネットを介してダウンロードした状態のハードディスクやRAM等を含む。さらに、記録媒体には、通信回線自体をも意味する。
【0092】
【発明の効果】本発明によれば、高精度で、さらにどの施設でも同じ精度の画像解析装置を提供することが出来る。具体的には請求項1記載の発明では、候補値作成部で複数の自動しきい値選定方法を組み合わせて用いることで、ヒストグラムを構成するパターンが複数で、一つの自動しきい値選定方法では最適なしきい値を選定できない場合にも対応できるようにした。
【0093】請求項2記載の発明では、一度のしきい値選定では適切なしきい値が得られない場合に、該当なしとしてしきい値選定を反復する事で、反復して自動しきい値選定方法を適用しなければならない場合にも対応できるようにした。
【0094】請求項3記載の発明では、複数の候補の中からしきい値を決定する作業を、ニューラルネットワークの学習機能を利用して行うことで、ヒストグラムのパターンが変化した場合にも所望のしきい値を決定できるようになり、加えて入力層にヒストグラム全体ではなく補助情報を用いることで、ニューラルネットワークの入力層の数を少なくしてローカルミニマムに陥る可能性を減らし、ニューラルネットワークの演算処理量を少なくした。
【0095】請求項4記載の発明では、デジタル画像のヒストグラムのパターンが変化しても、所望のしきい値を選定できるようにした。
【0096】請求項5記載の発明では、デジタル画像のヒストグラムのパターンが変化しても、所望のしきい値を得て、画像を二値化できるようにした。
【0097】請求項6記載の発明では、デジタル画像のヒストグラムのパターンが変化しても、所望のしきい値を得て、画像を二値化し、適切に画像解析を行えるようにした。
【0098】請求項7記載の発明では、サーバークライアント型の構成を取り、サーバーで一括して学習する事によって、どの施設でも同じ学習結果を利用して情報処理ができるようにした。
【0099】請求項8記載の発明では、サーバークライアント型の構成を取り、ニューラルネットワークを用いてサーバーで一括して学習する事によって、どの施設でも同じ学習結果を利用して情報処理ができ、かつ結合重み係数という数値で学習結果を配布することで、学習結果の配布および利用を容易にした。
【0100】請求項9記載の発明では、デジタル画像のヒストグラムのパターンが変化しても、所望のしきい値を得て、画像を二値化し、適切に画像解析を行えるようにし、なおかつ解析に必要な学習をサーバーで一括して行う事で、どの施設でも同じ学習結果を利用して画像解析ができるようにした。
【0101】請求項10記載の発明では、請求項9記載の発明に加えて、デジタル画像化装置を設ける事で、デジタル画像化されていない対象をデジタル画像化し、デジタル画像のヒストグラムのパターンが変化しても、所望のしきい値を得て、画像を二値化し、適切に画像解析を行えるようにし、なおかつ解析に必要な学習をサーバーで一括して行う事で、どの施設でも同じ学習結果を利用して画像解析ができるようにした。
【図面の簡単な説明】
【図1】請求項10記載の学習機能付画像解析装置の構成の一例を示したブロック図である。
【図2】図1の情報処理部220で行われる画像処理のフローチャートである。
【図3】図2の画像処理の過程で得られる画像の模式図である。
【図4】図2の粒子変換S40を説明する図である。
【図5】請求項3記載のしきい値決定装置の機能、ならびに構成の一例を示した図である。
【図6】図5のしきい値決定装置で行われる処理のフローチャートである。
【図7】図6の候補値作成S2で得られる候補値を説明する図である。
【図8】請求項8記載の学習機能付情報処理方法の構成の一例を示したブロック図である。
【図9】従来の判別分析法によるしきい値の決定を説明する図である。
【符号の説明】
100 サーバー、110 接続部（サーバー側）、120 学習部、
200 クライアント、210 接続部（クライアント側）、220 情報処理部、221 デジタル画像化装置、222しきい値決定装置、223 画像処理部、224 画像解析部、230 学習判定部
Claims (11)
- ヒストグラムを作成するヒストグラム作成部と、しきい値を選定する数学的手法である自動しきい値選定法を二つ以上適用することで、二つ以上のしきい値を候補値として算出する候補値作成部と、複数の候補値の中から一つのしきい値を決定するための判断材料として用いられる数値および情報である補助情報を作成する補助情報作成部と、しきい値を決定するしきい値決定部を有し、ヒストグラム作成部で入力された情報からヒストグラムを作成し、そのヒストグラムから候補値作成部で候補値を作成し、補助情報作成部では補助情報を作成し、最終的にしきい値決定部で補助情報を用いて候補値の中から一つのしきい値を決定することを特徴とするしきい値決定方法。
- 請求項1記載のしきい値決定部が候補値のいずれも適当でない該当なしと判断した場合に、最適なしきい値を得るまで、ヒストグラム作成、候補値作成、補助情報作成、ならびにしきい値決定を繰り返す請求項1記載のしきい値決定方法。
- 請求項2記載のしきい値決定部が、補助情報に対応した入力層と、候補値および該当なしに対応した出力層を有するニューラルネットワークを有し、補助情報をニューラルネットワークの入力層に入力してニューラルネットワークの前向き処理を行い、出力層で得られた結果に基づいて一つのしきい値を決定する請求項2記載のしきい値決定方法。
- デジタル画像情報を元にヒストグラムを作成するヒストグラム作成部と、しきい値を選定する数学的手法である自動しきい値選定法を二つ以上適用することで、二つ以上のしきい値を候補値として算出する候補値作成部と、複数の候補値の中から一つのしきい値を決定するための判断材料として用いられる数値および情報である補助情報を作成する補助情報作成部と、補助情報を用いて候補値の中から一つのしきい値を選定するしきい値決定部を有することを特徴とするしきい値決定装置。
- デジタル画像情報を元にヒストグラムを作成するヒストグラム作成部と、ヒストグラムから候補値を算出する候補値作成部と、候補値の中から最適なしきい値を決定するために用いる補助情報を作成する補助情報作成部と、補助情報を用いて候補値の中から一つのしきい値を選定するしきい値決定部と、しきい値決定部で得られたしきい値を用いて二値化する二値化部を有することを特徴とする二値化装置。
- しきい値決定装置と、しきい値決定装置で得られたしきい値を用いて二値化などの処理を行う画像処理部と、画像処理部で得られた結果を用いて解析を行う画像解析装置であって、しきい値決定装置はデジタル画像情報を元にヒストグラムを作成するヒストグラム作成部と、しきい値を選定する数学的手法である自動しきい値選定法を二つ以上適用することで、二つ以上のしきい値を候補値として算出する候補値作成部と、複数の候補値の中から一つのしきい値を決定するための判断材料として用いられる数値および情報である補助情報を作成する補助情報作成部と、補助情報を用いて候補値の中から一つのしきい値を選定するしきい値決定部を有することを特徴とする画像解析装置。
- 複数のクライアントと一つ以上のサーバーからなるサーバークライアント型の構成を有し、サーバーとクライアントは各々の接続部を介して情報の交換が行われる状態となっており、クライアントは情報処理部を有し、サーバーから送信された情報に基づいて情報処理部で情報処理を行い、適切な処理が行われなかったと判断された場合、学習に必要な学習用情報をサーバーへ送信して、サーバーの学習部で学習を行い、学習結果を更新情報として、クライアントの情報処理部に送信して、情報処理方法を改善することを特徴とする学習機能付情報処理方法。
- 請求項7記載のクライアントの情報処理部とサーバーの学習部が、同一構造のニューラルネットワークを有し、クライアントの情報処理部は、サーバーから更新情報として送信されたニューラルネットワークの各ユニット間の結合重み係数を利用してニューラルネットワークの前向き処理を行い、所望の結果が得られなかった場合、ニューラルネットワークの学習に必要な学習用情報をサーバーへ送信し、サーバーの学習部で学習用情報を元にニューラルネットワークを学習させ、学習の結果得られた新たな結合重み係数を更新情報としてクライアントに送信し、クライアントの情報処理部にあるニューラルネットワークの結合重み係数を更新することで、所望の結果を得ることを特徴とする請求項7記載の学習機能付情報処理方法。
- 複数のクライアントと一つ以上のサーバーからなるサーバークライアント型の構成を有し、サーバーとクライアントは各々の接続部を介して情報の交換が行われる状態となっており、サーバーは学習を行う学習部を有し、クライアントはしきい値決定装置と、しきい値決定装置で得られたしきい値を利用して画像処理を行う画像処理部と、画像処理部で得られた結果を用いて解析を行う画像解析部を有し、しきい値決定装置はデジタル画像情報を元にヒストグラムを作成するヒストグラム作成部と、しきい値を選定する数学的手法である自動しきい値選定法を二つ以上適用することで、二つ以上のしきい値を候補値として算出する候補値作成部と、複数の候補値の中から一つのしきい値を決定するための判断材料として用いられる数値および情報である補助情報を作成する補助情報作成部と、候補値から補助情報を用いて一つのしきい値を選定するしきい値決定部からなり、サーバーもしくはクライアントのいずれかに、クライアントのしきい値決定装置で得られたしきい値の妥当性を判定し、学習が必要な場合、学習に必要な情報をサーバーの学習部へ伝達する学習判定部を有することを特徴とする学習機能付き画像解析装置。
- 複数のクライアントと一つ以上のサーバーからなるサーバークライアント型の構成を有し、サーバーとクライアントは各々の接続部を介して情報の交換が行われる状態となっており、サーバーは学習を行う学習部を有し、クライアントは対象をデジタル画像化するデジタル画像化装置と、しきい値決定装置と、しきい値決定装置で得られたしきい値を利用して画像処理を行う画像処理部と、画像処理部で得られた結果を用いて解析を行う画像解析部を有し、しきい値決定装置はデジタル画像情報を元にヒストグラムを作成するヒストグラム作成部と、しきい値を選定する数学的手法である自動しきい値選定法を二つ以上適用することで、二つ以上のしきい値を候補値として算出する候補値作成部と、複数の候補値の中から一つのしきい値を決定するための判断材料として用いられる数値および情報である補助情報を作成する補助情報作成部と、候補値から補助情報を用いて一つのしきい値を選定するしきい値決定部からなり、サーバーもしくはクライアントのいずれかに、クライアントのしきい値決定装置で得られたしきい値の妥当性を判定し、学習が必要な場合、学習に必要な情報をサーバーの学習部へ伝達する学習判定部を有することを特徴とする学習機能付き画像解析装置。
- 請求項1、2、3、7、8記載のいずれかの方法を1つ以上含み、その方法をコンピュータによって実行するための処理手順を記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002367078A JP2004199391A (ja) | 2002-12-18 | 2002-12-18 | 画像解析におけるしきい値決定方法とその装置、二値化装置並びに画像解析装置、学習機能付き情報処理方法と学習機能付き画像解析装置並びにそれらのための記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002367078A JP2004199391A (ja) | 2002-12-18 | 2002-12-18 | 画像解析におけるしきい値決定方法とその装置、二値化装置並びに画像解析装置、学習機能付き情報処理方法と学習機能付き画像解析装置並びにそれらのための記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004199391A true JP2004199391A (ja) | 2004-07-15 |
Family
ID=32764088
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002367078A Pending JP2004199391A (ja) | 2002-12-18 | 2002-12-18 | 画像解析におけるしきい値決定方法とその装置、二値化装置並びに画像解析装置、学習機能付き情報処理方法と学習機能付き画像解析装置並びにそれらのための記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004199391A (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008268150A (ja) * | 2007-04-25 | 2008-11-06 | Institute Of Physical & Chemical Research | 標本の分析方法およびそれを利用した針状領域の分析装置 |
| JP2009239150A (ja) * | 2008-03-28 | 2009-10-15 | Fuji Mach Mfg Co Ltd | 電子部品装着装置における部品認識方法 |
| JP2012047589A (ja) * | 2010-08-26 | 2012-03-08 | Aoi Seiki Kk | 検体検査装置及び方法 |
| JP2013111078A (ja) * | 2011-11-24 | 2013-06-10 | Shijin Kogyo Sakushinkai | 植物の病気の識別方法、システムおよびその記録媒体 |
| JP2013200287A (ja) * | 2012-03-26 | 2013-10-03 | Kawasaki Gakuen | Ｋｉ−６７インデックス算定二重染色法を用いた陽性率測定方法 |
| JP2018073024A (ja) * | 2016-10-27 | 2018-05-10 | ホーチキ株式会社 | 監視システム |
| WO2019230399A1 (ja) * | 2018-05-28 | 2019-12-05 | キヤノン株式会社 | ロボット制御装置、システム、情報処理方法及びプログラム |
| JP2022543291A (ja) * | 2019-08-13 | 2022-10-11 | オムロン株式会社 | アイテムの検査を実行するための方法、装置、コンピュータプログラムおよびコンピュータ命令を含む媒体 |
-
2002
- 2002-12-18 JP JP2002367078A patent/JP2004199391A/ja active Pending
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008268150A (ja) * | 2007-04-25 | 2008-11-06 | Institute Of Physical & Chemical Research | 標本の分析方法およびそれを利用した針状領域の分析装置 |
| JP2009239150A (ja) * | 2008-03-28 | 2009-10-15 | Fuji Mach Mfg Co Ltd | 電子部品装着装置における部品認識方法 |
| JP2012047589A (ja) * | 2010-08-26 | 2012-03-08 | Aoi Seiki Kk | 検体検査装置及び方法 |
| JP2013111078A (ja) * | 2011-11-24 | 2013-06-10 | Shijin Kogyo Sakushinkai | 植物の病気の識別方法、システムおよびその記録媒体 |
| JP2013200287A (ja) * | 2012-03-26 | 2013-10-03 | Kawasaki Gakuen | Ｋｉ−６７インデックス算定二重染色法を用いた陽性率測定方法 |
| JP2021119469A (ja) * | 2016-10-27 | 2021-08-12 | ホーチキ株式会社 | 監視システム |
| JP2018073024A (ja) * | 2016-10-27 | 2018-05-10 | ホーチキ株式会社 | 監視システム |
| JP7072700B2 (ja) | 2016-10-27 | 2022-05-20 | ホーチキ株式会社 | 監視システム |
| WO2019230399A1 (ja) * | 2018-05-28 | 2019-12-05 | キヤノン株式会社 | ロボット制御装置、システム、情報処理方法及びプログラム |
| JP2019206041A (ja) * | 2018-05-28 | 2019-12-05 | キヤノン株式会社 | ロボット制御装置、システム、情報処理方法及びプログラム |
| CN112203809A (zh) * | 2018-05-28 | 2021-01-08 | 佳能株式会社 | 机器人控制装置、系统、信息处理方法和程序 |
| JP7154823B2 (ja) | 2018-05-28 | 2022-10-18 | キヤノン株式会社 | 情報処理装置、ロボット制御装置、情報処理方法及びプログラム |
| CN112203809B (zh) * | 2018-05-28 | 2023-09-15 | 佳能株式会社 | 信息处理装置和方法、机器人控制装置和方法及存储介质 |
| JP2022543291A (ja) * | 2019-08-13 | 2022-10-11 | オムロン株式会社 | アイテムの検査を実行するための方法、装置、コンピュータプログラムおよびコンピュータ命令を含む媒体 |
| JP7332028B2 (ja) | 2019-08-13 | 2023-08-23 | オムロン株式会社 | アイテムの検査を実行するための方法、装置、コンピュータプログラムおよびコンピュータ命令を含む媒体 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110274908B (zh) | 缺陷检查装置、缺陷检查方法以及计算机可读记录介质 | |
| JP4611069B2 (ja) | 特定シーンの画像を選別する装置、プログラムおよびプログラムを記録した記録媒体 | |
| JP6869490B2 (ja) | 欠陥検査装置、欠陥検査方法、及びそのプログラム | |
| KR20080022049A (ko) | 화상 처리 장치, 데이터 처리 장치 및 파라미터 조정 방법 | |
| KR20120023591A (ko) | 화상 처리 장치 및 방법, 및 프로그램 | |
| US20040001632A1 (en) | Image processing apparatus, image processing method, program, recording medium, and image forming apparatus having the same | |
| JP2023065352A (ja) | 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム | |
| JP2014110797A (ja) | 色原体分離に基づく画像解析の方法 | |
| Cointault et al. | In‐field Triticum aestivum ear counting using colour‐texture image analysis | |
| JPH08504522A (ja) | 境界ピクセル・パラメータの規則正しいシーケンスを用いた物体を識別するための方法及び装置 | |
| CN113538424B (zh) | 基于人工智能的木板节子分类数据识别方法 | |
| CN104200457A (zh) | 基于广角摄像的离散型冠层叶面积指数检测系统和方法 | |
| CN111077150A (zh) | 一种基于计算机视觉和神经网络的大便智能分析方法 | |
| CN110853006A (zh) | 一种使用扫描仪获取的数字病理图像质量评价的方法 | |
| JP2004199391A (ja) | 画像解析におけるしきい値決定方法とその装置、二値化装置並びに画像解析装置、学習機能付き情報処理方法と学習機能付き画像解析装置並びにそれらのための記録媒体 | |
| WO2021199706A1 (ja) | データ分類装置、データ分類方法およびデータ分類プログラム | |
| WO2002065396A1 (en) | Image processing program, computer-readable recording medium recording image processing program, image processing method and image processing device | |
| JP2002090308A (ja) | 画像処理を用いた鋼材表面の劣化度評価システム | |
| WO2019232824A1 (zh) | 生物组织影像识别的方法及其系统、计算机储存介质 | |
| CN116189160A (zh) | 一种基于局部对比度机制的红外弱小目标检测方法 | |
| Gavrilovic et al. | Quantification of colocalization and cross‐talk based on spectral angles | |
| CN114187380A (zh) | 基于视觉显著性和通道注意力机制的色彩传递方法 | |
| CN113470058A (zh) | 一种砾石的粒度分布测量方法及装置 | |
| CN108288267B (zh) | 一种基于暗通道的扫描电镜图像清晰度无参考评价方法 | |
| Drofova et al. | Values Definition of the Leading Threshold of the Primary Process Colors by the Method of Color Separation and Image Segmentation by Thresholding |