JP2015114172A - 画像処理装置、顕微鏡システム、画像処理方法、及び画像処理プログラム - Google Patents

Abstract

【課題】生体から採取した組織標本の画像に写った繊維状組織又は管状組織の境界の認識精度を向上させる画像処理装置等を提供する。
【解決手段】生体から採取された標本の画像を取得する画像取得部１２と、該画像に写った核の形状を個別に認識する単一核認識部１５１と、該核の形状に基づいて、画像に写った繊維状組織又は管状組織の形状を認識する組織認識部１５２とを備える。
【選択図】図１

Description

本発明は、生体標本の顕微鏡観察画像に写った繊維状組織又は管状組織の形状を認識する画像処理装置、顕微鏡システム、画像処理方法、及び画像処理プログラムに関する。

従来、生体観察や病理診断においては、生体から採取した組織標本の顕微鏡観察画像に写った組織が有する特徴に基づいて、生体の状態や病状を判断することが行われている。例えば、特許文献１には、染色された組織標本の画像から、画素の輝度値に基づいて細胞核領域、細胞質領域、腺腔領域をそれぞれ抽出し、これらの各領域の形状の特徴を示す基本特徴量を計測し、輝度値及び基本特徴量に基づき、組織標本の病状に応じて限定的に出現する特殊領域がこれらの各領域に存在するか否かを確認する技術が開示されている。

特開２００９−１８０５３９号公報

上記特許文献１においては、生体の状態や病状の判断にあたって、病状の確認に利用される特殊領域以外の領域の特徴、例えば、組織の境界や該境界内部の領域の特徴は考慮されておらず、精度の良い境界認識も行われていない。しかしながら、組織の境界によって特定される該組織の形状や、境界によって区切られる領域ごと（内部領域及び外部領域）の特徴も、病理診断等においては重要な判断要素となることがある。例えば、繊維状組織や管状組織の境界を精度良く認識することができれば、それらの境界情報を種々の診断に利用できる、或いは新しい解剖学的知見が得られる可能性がある。

本発明は上記に鑑みてなされたものであり、生体から採取した組織標本の画像に写った繊維状組織又は管状組織の境界の認識精度を向上させる画像処理装置、顕微鏡システム、画像処理方法、及び画像処理プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、生体から採取した組織標本の画像を取得する画像取得部と、前記画像に写った所定の細胞小器官の形状を個別に認識する細胞小器官認識部と、前記所定の細胞小器官の形状に基づいて、前記画像に写った繊維状組織又は管状組織の形状を認識する組織認識部と、を備えることを特徴とする。

上記画像処理装置において、前記細胞小器官認識部は、前記画像を構成する各画素が前記所定の細胞小器官を表す画素であるか否かを判定し、前記所定の細胞小器官を表すと判定された画素の領域である細胞小器官領域の形状を認識する細胞小器官形状認識部と、前記細胞小器官領域の形状を定量化した情報である細胞小器官情報を生成する細胞小器官情報生成部と、を備えることを特徴とする。

上記画像処理装置において、前記細胞小器官情報は、前記細胞小器官領域の形状を直線に近似したときの該直線の傾き又は該直線と所定の角度をなす直線の傾きであることを特徴とする。

上記画像処理装置において、前記直線は、前記細胞小器官領域の形状を回帰分析により近似した一次関数によって表される直線、又は前記細胞小器官領域の形状の慣性主軸であることを特徴とする。

上記画像処理装置において、前記組織認識部は、前記画像から抽出された複数の前記細胞小器官領域についてそれぞれ生成された前記細胞小器官情報の統計情報を算出する統計情報算出部と、前記統計情報算出部により算出された前記統計情報に基づいて、前記繊維状組織又は前記管状組織の形状を認識する組織形状認識部と、を備えることを特徴とする。

上記画像処理装置において、前記統計情報は、平均値、中央値、最頻値、分散、標準偏差、尖度、歪度、エントロピー及び分布関数のうちの少なくとも１つであることを特徴とする。

上記画像処理装置において、前記組織形状認識部は、前記画像内における前記繊維状組織又は前記管状組織の形状を推定し、該推定した前記繊維状組織又は前記管状組織の形状を定量化した形状情報と、前記統計情報算出部によって算出された前記統計情報の算出結果とを比較することにより、前記繊維状組織又は前記管状組織の形状を認識する、ことを特徴とする。

上記画像処理装置において、前記組織形状認識部は、前記細胞小器官領域の形状を事前知識として用いて前記繊維状組織又は前記管状組織の形状を認識することを特徴とする。

上記画像処理装置において、前記所定の細胞小器官は、核又はミトコンドリアであることを特徴とする。

上記画像処理装置において、前記繊維状組織又は前記管状組織は、神経、筋、腱、及び血管のうちの少なくとも１つであることを特徴とする。

本発明に係る顕微鏡システムは、前記画像処理装置と、生体から採取した組織標本の拡大像を生成する顕微鏡装置と、前記拡大像を撮像することにより画像を生成して前記画像取得部に入力する撮像部と、を備えることを特徴とする。

本発明に係る画像処理方法は、生体から採取した組織標本の画像を処理する画像処理装置が実行する画像処理方法において、演算部が、画像データを読み込むことにより前記画像を取得する画像取得ステップと、前記演算部が、前記画像に写った所定の細胞小器官の形状を個別に認識する細胞小器官認識ステップと、前記演算部が、前記所定の細胞小器官の形状に基づいて、前記画像に写った繊維状組織又は管状組織の形状を認識する組織認識ステップと、を含むことを特徴とする。

本発明に係る画像処理プログラムは、体から採取した組織標本の画像を取得する画像取得ステップと、前記画像に写った所定の細胞小器官の形状を個別に認識する細胞小器官認識ステップと、前記所定の細胞小器官の形状に基づいて、前記画像に写った繊維状組織又は管状組織の形状を認識する組織認識ステップと、をコンピュータに実行させることを特徴とする。

本発明によれば、画像内で認識された細胞小器官の形状をもとに繊維状組織又は管状組織の形状を認識するので、繊維状組織又は管状組織の形状の認識精度を向上させることが可能となる。

図１は、本発明の実施の形態１に係る画像処理装置の構成例を示すブロック図である。 図２は、複数の神経繊維を拡大して示す模式図である。 図３は、１本の神経繊維の一部を拡大して示す模式図である。 図４は、図３に示す領域Ｒ２を拡大して示す模式図である。 図５は、複数の神経繊維を、該神経繊維が伸びる方向とほぼ直交する面で切断した場合の断面を示す模式図である。 図６は、複数の神経繊維を、該神経繊維が伸びる方向とほぼ直交する面に対して傾斜した面で切断した場合の断面を示す模式図である。 図７は、図１に示す画像処理装置の動作を示すフローチャートである。 図８は、図１に示す単一核認識部が実行する核認識処理を示すフローチャートである。 図９は、ＬＳＭ法を核領域の形状の認識方法に適用した例を説明するための模式図である。 図１０は、ＬＳＭ法を核領域の形状の認識方法に適用した例を説明するための模式図である。 図１１は、ＬＳＭ法を核領域の形状の認識方法に適用した例を説明するための模式図である。 図１２は、ＬＳＭ法を核領域の形状の認識方法に適用した例を説明するための模式図である。 図１３は、処理対象の画像から認識された核領域を示す模式図である。 図１４は、図１に示す組織認識部が実行する組織認識処理を示すフローチャートである。 図１５は、２種類のレベルセット関数における符号の組み合わせに応じて分類される４つの領域を示す模式図である。 図１６は、核領域が黒画素によって示された二値化画像の例を示す模式図である。 図１７は、本発明の実施の形態２に係る画像処理方法を説明するための模式図である。 図１８は、本発明の実施の形態４に係る顕微鏡システムの構成を示す模式図である。

以下、本発明に係る画像処理装置、顕微鏡システム、画像処理方法、及び画像処理プログラムの実施の形態について、図面を参照しながら詳細に説明する。なお、これらの実施の形態により本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。

（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。図１に示すように、実施の形態１に係る画像処理装置１０は、当該画像処理装置１０に対する指示や情報の入力する際に用いられる入力部１１と、処理対象の画像に対応する画像情報（画像データ）を取得する画像取得部１２と、処理対象の画像や種々の演算結果を出力する出力部１３と、記憶部１４と、入力された画像に所定の演算処理を施す演算部１５と、これらの各部の動作を制御する制御部１６とを備える。また、画像処理装置１０に、出力部１３から出力された画像や演算結果、その他各種情報を画面に表示する表示装置１７を接続しても良い。

入力部１１は、キーボード、各種ボタン、各種スイッチ等の入力デバイスや、マウスやタッチパネル等のポインティングデバイスを含み、これらのデバイスに対する操作に応じた信号を制御部１６に入力する。

画像取得部１２は、例えば顕微鏡装置に取り付けられた撮像装置（カメラ）やサーバ等（いずれも図示せず）から出力された画像データを当該画像処理装置１０に取り込むインタフェースである。画像取得部１２は、撮像装置から画像データを直接、リアルタイムに取り込んでも良いし、サーバに一旦保存された画像データを随時取り込んでも良い。

ここで、撮像装置は、撮像素子が有する各画素においてＲ（赤）、Ｇ（緑）、Ｂ（青）の各バンドにおける画素レベル（画素値）を持つカラー画像を生成可能なカメラを用いて構成される。また、撮像装置は、ＲＧＢ色空間で表された画素値を、ＹＣｂＣｒ色空間で表された画素値に変換した画像データを生成しても良い。画像取得部１２は、このような画像データを撮像装置等から取得して記憶部１４に記憶させる。

記憶部１４は、更新記録可能なフラッシュメモリ、ＲＡＭ、ＲＯＭ等の半導体メモリや、内蔵若しくはデータ通信端子で接続されたハードディスク、ＭＯ、ＣＤ−Ｒ、ＤＶＤ−Ｒ等の記録媒体及び該記録媒体に記録された情報を読み取る読取装置等によって構成される。記憶部１４は、画像取得部１２が取り込んだ画像データや、演算部１５及び制御部１６がそれぞれ実行する各種プログラム及び各種設定情報を記憶する。具体的には、記憶部１４は、生体から採取した組織標本の顕微鏡観察画像から繊維状組織又は管状組織の輪郭を認識する画像処理プログラムを記憶するプログラム記憶部１４１と、画像取得部１２が取得した画像データを記憶する画像データ記憶部１４２とを備える。

演算部１５は、例えばＣＰＵ等のハードウェアによって構成され、プログラム記憶部１４１に記憶された画像処理プログラムを読み込むことにより、所定の画像処理を実行する。具体的には、演算部１５は、画像データ記憶部１４２に記憶された画像データに対し、必要に応じ、前処理としてホワイトバランス処理、デモザイキング、色変換、濃度変換（ガンマ変換等）、平滑化（ノイズ除去等）、鮮鋭化（エッジ強調等）等の画像処理を施すことにより画像を生成し、生成した画像から繊維状組織又は管状組織の輪郭を認識する画像処理を実行する。演算部１５の詳細な構成については、後述する。

制御部１６は、例えばＣＰＵ等のハードウェアによって構成され、プログラム記憶部１４１に記憶された各種制御プログラムを読み込むことにより、該プログラム記憶部１４１に記憶された各種設定情報や入力部１１から入力された情報に基づいて、当該画像処理装置１０を統括的に制御する。

表示装置１７は、例えば、ＬＣＤ、ＥＬディスプレイ、ＣＲＴディスプレイ等の表示装置によって構成され、画像処理装置１０の出力部１３から出力された画像や、該画像から抽出された繊維状組織又は管状組織に関する情報等を画面に表示する。
なお、実施の形態１においては、表示装置１７を画像処理装置１０の外部に設けているが、表示装置１７を画像処理装置１０の内部に設けても良い。

次に、演算部１５の詳細な構成について説明する。
図１に示すように、演算部１５は、画像データ記憶部１４２に記憶された画像データを読み出し、該画像データに対応する画像から、標本内に存在する所定の細胞小器官、具体的には核の形状を個別に認識する細胞小器官認識部の一例としての単一核認識部１５１と、該単一核認識部１５１により認識された核の形状に基づいて、当該標本内に存在する繊維状組織又は管状組織の形状を認識する組織認識部１５２とを備える。

ここで、繊維状組織とは、上皮組織、結合組織、筋組織、神経組織のことである。具体例としては、筋繊維、筋肉繊維、筋原繊維、筋束、腱、神経繊維、神経繊維束等が挙げられる。より詳細には、弾性繊維、膠原繊維、平滑筋、横紋筋、内臓筋、心筋、骨格筋、靭帯、アキレス腱、無髄無鞘神経繊維、無髄有鞘神経繊維、有髄無鞘神経繊維、有髄有鞘神経繊維等の細長い形状をなす組織のことである。一般に、筋や腱のように、一定の方向に絶えず引っ張る力がかかるような部位においては、力のかかる方向と平行に繊維が緻密に配列される。また、管状組織には、血管、リンパ管、水管、消化管、胆管、気管、輸尿管、細尿管、尿管、マルピーギ管、腎管、原腎管、輸卵管、輸精管、産卵管等が含まれる。

図２は、繊維状組織の一例としての複数の神経繊維を拡大して示す模式図である。図２に示す１本の神経繊維（輪郭Ｂ_Fによって画定される領域）は、軸索や神経突起の単体又は集合体からなり、神経繊維の束又は神経繊維束と表現する場合もある。本出願において神経繊維という場合、神経繊維の束（神経繊維束）を含むものとする。図２においては、神経繊維が伸びる方向（長手方向）をＺ方向としている。ここで、生体組織の形態観察において一般的に用いられる染色方法として、ヘマトキシリン・エオジン染色（以下、ＨＥ染色という）が知られている。ＨＥ染色においては、細胞小器官の１つである核がヘマトキシリンにおいて青紫色に染色され、細胞質がエオジンによって赤色に染色される。それに加えて、ミトコンドリアもエオジンに好適に染色される。これは、ミトコンドリアの外膜や内膜に含まれる様々なたんぱく質の量が他の細胞小器官と比べて多いためと考えられる。

図３は、図２に示す神経繊維のうち、１本の神経繊維（神経繊維束）の一部（例えば領域Ｒ１）を拡大して示す模式図である。図３（ａ）は該標本のＹＺ平面における断面を示し、図３（ｂ）は該標本のＸＺ平面における断面を示す。

図４は、図３に示す神経繊維の一部（例えば領域Ｒ２）を拡大して示す模式図である。図３及び図４に示すように、神経繊維においては、染色されたミトコンドリアが、繊維が伸びる方向に沿って存在していることが観察される。

また、図示はしないが、筋繊維を同様に染色して観察した場合には、染色された核が、筋繊維が伸びる方向に沿って存在していることが観察される。

図５は、複数の神経繊維を、該神経繊維が伸びる方向とほぼ直交する面（例えば図２においては、Ｌ１−Ｌ１線を通る面）で切断した場合の断面を示す模式図である。この場合、図５に示すように、切断面における神経繊維の輪郭Ｂ_Fの形状は、概ね円に近い形状となる。

図６は、複数の神経繊維を、該神経繊維が伸びる方向とほぼ直交する面に対して傾斜した面（例えば図２においては、Ｌ２−Ｌ２線を通る面）で切断した場合の断面を示す模式図である。この場合、切断面における神経繊維の輪郭Ｂ_Fの形状は、切断面の傾斜に応じて扁平な形状となる。

本願発明者は、このように、種々の繊維状組織や管状組織の標本を様々な面で切断し、各切断面における顕微鏡観察像を鋭意観察した結果、切断面における繊維状組織や管状組織の輪郭形状と、同じ切断面において観察される細胞小器官、具体的には、核やミトコンドリアの形状とに相関があることを見出した。例えば、図５において、核Ｎ１やミトコンドリアＮ２の形状は、その周囲に示す神経繊維の輪郭Ｂ_Fの形状と同様に、概ね円形状をなしている。それに対し、図６において、核Ｎ１やミトコンドリアＮ２の形状は、その周囲に示す神経繊維の輪郭Ｂ_Fの形状と同様に、扁平な形状をなしている。

このような観察結果から、本願発明者は、繊維状組織や管状組織の輪郭を認識する際に、核やミトコンドリアといった細胞小器官の形状に関する情報を利用することで、認識精度を向上させることができる本願発明に想到した。

再び図１を参照すると、単一核認識部１５１は、処理対象である画像を構成する各画素が核を表す画素であるか否かを判定し、核を表すと判定された画素の領域である核領域の形状を認識する細胞小器官形状認識部の一例としての核形状認識部１５１ａと、認識された核領域の形状を定量化した情報である核情報を生成する細胞小器官情報生成部の一例としての核情報生成部１５１ｂとを備える。

また、組織認識部１５２は、単一核認識部１５１によって算出された核領域の核情報の統計情報を算出する統計情報算出部としての統計値算出部１５２ａと、核情報の統計情報の算出結果に基づいて、画像内の繊維状組織又は管状組織の形状を認識する組織形状認識部１５２ｂとを備える。

次に、画像処理装置１０の動作について説明する。図７は、画像処理装置１０の動作を示すフローチャートである。なお、以下においては、標本の観察画像内に存在する繊維状組織の形状を認識する場合を説明するが、管状組織についても同様の手法により形状を認識することができる。また、以下においては、細胞小器官の一例として核の形状に基づいて繊維状組織の形状を認識する場合を説明するが、核の形状の代わりに、ミトコンドリア等、繊維状組織や管状組織が伸びる方向に沿って存在する他の細胞小器官の形状に基づいて、同様に繊維状組織や管状組織の形状を認識することも可能である。

まず、ステップＳ１０において、演算部１５は、画像データ記憶部１４２から画像データを読み込むことにより、処理対象の画像（生体の組織標本の観察画像）を取得する。処理対象の画像は、生体から採取された検体に、少なくとも核及び繊維状組織を染色可能な染色処理（例えば、ヘマトキリシン・エオジン（ＨＥ）染色）が施された標本を、顕微鏡装置に設けられた撮像装置で撮像することによって取得されたものである。

続くステップＳ１１において、単一核認識部１５１は、ステップＳ１０において取得された画像に対し、必要に応じて、ホワイトバランス処理、デモザイキング、色変換、濃度変換（ガンマ変換等）、平滑化（ノイズ除去等）、鮮鋭化（エッジ強調等）等の前処理（画像処理）を施した上で、画像内に存在する核の領域を個別に認識する処理を行う。図８は、単一核認識部１５１が実行する核認識処理を示すフローチャートである。

ステップＳ１１１において、核形状認識部１５１ａは、画像を構成する画素が核を表す画素であるか否かを画素毎に判定し、核を表す画素からなる核領域の形状を認識する。核を表す画素であるか否かの判定は、例えば、各画素の画素値、又は該画素値から算出される色情報（色差、色比、色相等）に基づいて行われる。具体的には、ＨＥ染色が施された標本においては、核が青紫色に染色されるので、画素値から算出される色特徴量が青紫色の色特徴量の範囲に含まれる画素が、核を表す画素であると判定される。

続いて、核形状認識部１５１ａは、核を表す画素と判定した画素群からなる領域、即ち核領域の形状を認識する。核領域の形状の認識方法としては、公知の種々の方法が挙げられる。具体的には、二値化法、ｐ−タイル法、微分ヒストグラム法、モード法、可変閾値法、対応領域探索法、テンプレートマッチング法等の一般的画像解析方法や、動的輪郭法（スネーク法）、領域成長法（極値収束法、分水嶺法）、領域競合法、領域拡張法、分割・統合法、グラフカット法等の輪郭検出方法や、判別分析、因子分析、主成分分析、独立成分分析、決定木、ニューラルネットワーク、自己組織化マップ、ノンパラメトリック手法、遺伝的アルゴリズム、サポートベクターマシーン、ブースティング、ベイズ判別、機械学習、クラスタリング、クラシフィケーション等のパターン認識（識別）方法を用いることができる。

実施の形態１においては、一例として、レベルセット（Level Set Method：ＬＳＭ）法を用いて核領域の形状を認識する。ＬＳＭ法とは、画像内において認識対象（例えば、核や繊維）と背景（認識対象外である血球、間質、上皮等）が明確に分離されていない状況であっても、認識対象と背景との境界を認識することができる技術である。ＬＳＭ法においては、認識対象の輪郭（例えば、核領域の輪郭）の初期値を設定すると共に、エネルギー関数（又は評価関数）を設定し、該エネルギー関数が最小化されるように輪郭を更新することで、輪郭を初期値から認識対象の境界に近づける手法である。

以下においては、図９〜図１２を参照しながら、チャン（Chan）らが提案した領域依存のエネルギー関数で定義されるＬＳＭ法を核領域の形状認識に適用した例を説明する。なお、エネルギー関数で定義されるＬＳＭ法については、特許第４６１４１４９号公報、及び、チャン（Chan）等による「Active Contours Without Edges」（IEEE TRANSACTIONS ON IMAGE PROCESSING, Vol. 10, No. 2（２００１年２月）、第２６６〜２７７頁）も参照されたい。

ＬＳＭ法においては、図９に示すように、３次元のレベルセット関数φ（ｘ，ｙ，ｔ）のゼロ等位面ＳＡ、即ち、φ＝０となる面において、次式（１）によって与えられる２次元の輪郭Ｃ（ｘ，ｙ，ｔ）を表現する。

ここで、座標（ｘ，ｙ）は、演算部１５における処理対象の画像上の各画素位置（ピクセル）を示す。また、符号ｔは時間（又はレベルセット関数φを更新するイタレーション）を示す。以下、レベルセット関数φ（ｘ，ｙ，ｔ）を単に関数φとも記し、輪郭Ｃ（ｘ，ｙ，ｔ）を単に輪郭Ｃとも記す。

図１０は、レベルセット関数φ（ｘ，ｙ，ｔ）をゼロ等位面ＳＡで切った切り口、即ち輪郭Ｃを概略的に示す図である。次式（２−１）〜（２−３）に示すように、図１０に示す領域Ωは輪郭Ｃの内側の領域を示し、領域Ω^*は輪郭Ｃの外側の領域を示す。

ここでは、説明を簡単にするために、図１０に示すように、処理対象の画像内に形状認識の対象である１つの核領域Ｎｕが存在し、輪郭Ｃが核領域Ｎｕの外側に初期設定されたものとする。また、核領域Ｎｕと背景との境界を符号Ｂで示す。なお、以下の説明は、核領域Ｎｕが複数個存在する場合であっても、同様に成立する。

核形状認識部１５１ａは、関数φによって与えられる輪郭Ｃを境界Ｂと一致させることで、核領域Ｎｕの境界Ｂを認識することができる。具体的には、核形状認識部１５１ａは、レベルセット関数φに適当な初期値を与え、次式（３）に示すようにエネルギー関数Ｅが最小となるようにレベルセット関数φを更新することにより、核領域Ｎｕの境界Ｂを認識する。

図１１は、エネルギー関数Ｅを示すグラフである。図１１に示す横軸は、輪郭Ｃが取り得る形状を定量化した値を示す。このエネルギー関数Ｅは、輪郭Ｃが核領域Ｎｕの境界に沿っている程度指標であり、輪郭Ｃが核領域Ｎｕの境界に完全に沿っているときに極小（Ｃ＝Ｃ（Ｎｕ））となる。

ここで、核領域Ｎｕと背景との境界Ｂ近傍における輝度変化が明瞭でない場合においても、境界Ｂを認識できるように、次式（４）によって与えられるエネルギー式を利用する。

式（４）に示す符号Ｅ_inは、輪郭Ｃの内側におけるエネルギー関数（以下、内部エネルギー関数と言う）であり、次式（５）によって与えられる。

式（５）における積分区間は処理対象の画像全体であり、符号αは、内部エネルギー関数Ｅ_inの重みパラメータを示す。

一方、式（４）に示す符号Ｅ_outは、輪郭Ｃにおける外側のエネルギー関数（以下、外部エネルギー関数と言う）であり、次式（６）によって与えられる。

式（６）における積分区間は処理対象の画像全体であり、符号βは、外部エネルギー関数Ｅ_outの重みパラメータを示す。また、式（６）に示す項λ₁Ｆ₁(φ)は、境界Ｃの内側の領域Ωを積分した成分を示し、項λ₂Ｆ₂(φ)は、境界Ｃの外側の領域Ω^*を積分した成分である。符号λ₁及びλ₂は、領域Ω及び領域Ω^*をそれぞれ基準としたときの輪郭Ｃの適合度の重みパラメータを示す。

式（５）及び（６）に示す符号Ｉは、画像中の座標（ｘ，ｙ）の輝度値Ｉ（ｘ，ｙ）を示す。また、次式（７−１）及び（７−２）に示すように、符号Ｉ_in及びＩ_outは、領域Ω及び領域Ω^*における輝度値の面積平均をそれぞれ示す。

なお、輝度値Ｉ及び輝度値の面積平均Ｉ_in，Ｉ_outは、輝度値からなる１次元空間（グレー空間）だけでなく、ＲＧＢ画素値からなる３次元カラー空間（ＲＧＢ空間）等、任意の空間で定義しても良い。また、２次元以上で定義する場合には、各次元に重みをつけることもできる。

式（５）及び（６）に示す符号Ｈ（φ）は、次式（８）によって与えられるヘビサイド関数を示す。

式（８）に示すヘビサイド関数を利用すると、１次元のデルタ関数は、次式（９）のように表すことができる。

関数φの空間変化が小さければ、内部エネルギー関数Ｅ_inは小さくなる。即ち、内部エネルギー関数Ｅ_inは、輪郭Ｃを含む関数φの形状を滑らかにする機能、即ちスムーザーの機能を有する。

輪郭Ｃが核領域Ｎｕの境界Ｂと一致している場合、外部エネルギー関数Ｅ_outは最小値となる。即ち、外部エネルギー関数Ｅ_out＝０を取る。つまり、外部エネルギー関数Ｅ_outは、境界Ｂを認識する機能、即ちディテクターの機能を有する。

図１２（ａ）〜（ｄ）は、核領域Ｎｕと輪郭Ｃとの関係を示す模式図である。ここで、核領域Ｎｕと背景ＢＧとの境界Ｂを境として、境界Ｂの内部の領域（核領域Ｎｕ）における輝度、及び境界Ｂの外部の領域（背景ＢＧ）における輝度はそれぞれ一定であるものと仮定し、外部エネルギー関数Ｅ_outはこの仮定を前提として計算される。

図１２（ａ）は、輪郭Ｃが境界Ｂの外側に設定されている場合を示し、Ｆ₁(φ)＞０、且つＦ₂(φ)≒０となる。従って、この場合、輪郭Ｃは境界Ｂと一致しないと判断される。

図１２（ｂ）は、輪郭Ｃが境界Ｂの内側に設定されている場合を示し、Ｆ₁(φ)≒０、且つＦ₂(φ)＞０となる。従って、この場合、輪郭Ｃは境界Ｂと一致しないと判断される。

図１２（ｃ）は、輪郭Ｃが境界Ｂの外側と内側とに跨っている場合を示し、Ｆ₁(φ)＞０、且つＦ₂(φ)＞０となる。従って、この場合、輪郭Ｃは境界Ｂと一致しないと判断される。

図１２（ｄ）は、輪郭Ｃが境界Ｂとほぼ一致している場合を示し、Ｆ₁(φ)≒０、且つＦ₂(φ) ≒０となる。従って、この場合、外部エネルギー関数Ｅ_outは最小値となり、輪郭Ｃが検出されたことになる。

このような機能を有するエネルギー関数Ｅ（φ）（式（３）参照）は、輪郭Ｃを滑らかにすると同時に、輪郭Ｃを、初期設定された位置及び形状から核領域Ｎｕの境界Ｂに近似する位置及び形状に変化させる。この式（３）は、式（４）〜（６）をオイラー・ラグランジェ方程式に対して最急降下法を用いて解くことにより、次式（１０）として表すことができる。

さらに、関数φの曲率κ（φ）は、次式（１１）によって与えられる。

式（１０）を、空間的、時間的に離散化することにより、関数φを更新しつつ演算を繰り返す（イタレーション）ことができる。そして、連続する２回の演算により得られた関数φの値の差が閾値φ_thよりも小さくなれば、式（１０）が収束したと判定し、そのときの輪郭Ｃの形状を、核領域Ｎｕの形状として認識する。

このようにＬＳＭ法を利用することで、核領域Ｎｕと背景ＢＧとの境界Ｂが明瞭に区別できない場合であっても、境界Ｂを認識することができる。また、画像内に複数の核が存在する場合であっても、核の形状を個別に認識することができる。

さらに、核形状認識部１５１ａは、認識した核の形状に対して、収縮、膨張、排他的収縮、排他的膨張、オープニング、クロージング、トップハット、ボトムハット、穴埋め、孤立穴除去、孤立点除去、細線化、スケルトン等のモルフォロジー処理や例外処理等の後処理（画像処理）を施しても良い。

以下においては一例として、図１３に示すように、処理対象の画像Ｍ１から複数の核領域Ｎｕ_n（ｎ＝１、２、…）が認識されたものとして説明する。

図８に示すステップＳ１１１に続くステップＳ１１２において、核情報生成部１５１ｂは、核領域Ｎｕ_nの形状を定量化することにより核情報を生成する。核情報としては、例えば、核領域Ｎｕ_nを特定の形状に近似することによって得られるパラメータが用いられる。具体的には、核領域Ｎｕ_nの形状を３次元的な二次曲面（円柱、円錐、楕円体等の切断面）や、二次曲線（円、楕円）や、直線等に近似して得られた多項式の係数を核情報として用いることができる。或いは、多項式そのものや、パラメータの解析値を核情報として用いても良い。また、多項式の代わりに、ガウス分布や正規分布の分布関数、フーリエ変換、フーリエ記述子、回転子、位相回転子、ウェーブレット変換を用いて近似し、それらの式そのもの、パラメータ、パラメータの解析値を核情報として用いても良い。

また、核情報として、核領域Ｎｕ_nの形状そのものを表す特徴量や、該特徴量の解析値を用いることもできる。具体的には、面積、周囲長、中心値、質量中心値、円形度、真円度、複雑度、針状比、伸長度、オイラー数、連結成分の数、穴の数、多重連結成分の数、凸凹度、フィルタ処理を行うことにより算出された核領域の局所的な形状を表す特徴量、同時生起行列、フラクタル特徴量、高次局所自己相関特徴、歪度、尖度、長軸径、短軸径、最大径、最小径、対角幅、定方向径（フェレー径、クラムバイン径）、平均径（ヘイウッド径、マーテン径）、相当径（面積円相当径、周長円相当径）、有効径、最大弦長、投影長、等分径、外接円又は内接円の径、外接長方形又は内接長方形の径、外接楕円又は内接楕円の径、所定の軸に対するこれらの径の角度、核領域のモーメント情報を用いて正規化された楕円の偏心率及び長軸又は短軸の長さ及び所定の軸に対する角度、核領域Ｎｕ_n内に存在する凸包のピクセルの比率（Solidity）、核領域Ｎｕ_n内のピクセル数と境界全体のピクセル数との割合、核の極値点、トポロジー特徴量、ホモロジー特徴量等の特徴量等が挙げられる。

実施の形態１においては、一例として、核領域Ｎｕ_nの形状を直線に近似して得られたパラメータを核情報として利用する。即ち、図１３に示すように、画像Ｍ１において認識された各核領域Ｎｕ_nに対し、回帰分析等の公知の手法により、当該画像Ｍ１のＸＹ座標において各核領域Ｎｕ_nの形状を近似する１次関数Ｙ＝ａ_nＸ＋ｂ_nを求める。この１次関数の傾きを表すパラメータａ_nが、当該核領域Ｎｕ_nの核情報として用いられる。このパラメータａ_nは、該１次関数とＸ軸とのなす角度（Ｘ軸からの回転角）ωを用いて、ａ_n＝tanωと表すこともできる。
その後、画像処理装置１０の動作はメインルーチンに戻る。

図７に示すステップＳ１１に続くステップＳ１２において、組織認識部１５２は、ステップＳ１０において取得された画像に対し、必要に応じて、ホワイトバランス処理、デモザイキング、色変換、濃度変換（ガンマ変換等）、平滑化（ノイズ除去等）、鮮鋭化（エッジ強調等）等の前処理（画像処理）を施した上で、ステップＳ１１において認識された核領域Ｎｕ_nの形状に基づいて、繊維状組織の輪郭形状を認識する処理を行う。図１４は、組織認識部１５２が実行する組織認識処理を示すフローチャートである。

まず、ステップＳ１２１において、統計値算出部１５２ａは、ステップＳ１１において生成された核情報の統計値を算出する。統計値としては、平均値、中央値、最頻値、分散、標準偏差、尖度、歪度、エントロピー等が用いられる。或いは、統計値の代わりに核情報の分布関数等の統計情報を用いても良い。例えばステップＳ１１において、画像Ｍ１から複数の核領域Ｎｕ_nが認識され、各核領域Ｎｕ_nに対して１次関数の傾きを表すパラメータａ_nが算出された場合、パラメータａ_nの統計値Ｓ（ａ_n）が算出される。

続くステップＳ１２２において、組織形状認識部１５２ｂは、繊維状組織の輪郭形状を推定する。繊維状組織の輪郭形状の推定方法としては、例えば、上述したＬＳＭ法を用いても良いし、その他の公知の一般的画像解析方法、輪郭検出方法、パターン認識方法を用いても良い。

ステップＳ１２３において、組織形状認識部１５２ｂは、ステップＳ１２２において推定した繊維状組織の輪郭形状を、評価関数を用いて評価する。より詳細には、まず、組織形状認識部１５２ｂは、ステップＳ１１２における核情報の生成と同様の手法で、推定した繊維状組織の輪郭形状を定量化した形状パラメータを算出する。例えば、上述したように、核領域Ｎｕ_nの形状を近似した直線の傾きを核情報として算出した場合、推定した繊維状組織の輪郭形状を直線に近似し、その傾きを算出する。

続いて、組織形状認識部１５２ｂは、評価関数として、ステップＳ１２１において算出した核情報の統計値（例えば、パラメータａ_nの統計値Ｓ（ａ_n））と、推定した繊維状組織の輪郭形状の形状パラメータ（例えば、輪郭形状を近似した直線の傾き）との差分の絶対値を算出する。そして、算出した差分の絶対値が所定の閾値以下であるか否かを判定する。

評価関数の値（差分の絶対値）が所定の閾値よりも大きい場合（ステップＳ１２４：Ｎｏ）、処理はステップＳ１２２に戻る。この場合、組織形状認識部１５２ｂは、繊維状組織の輪郭形状の推定をやり直す。

一方、評価関数の値（差分の絶対値）が所定の閾値以下である場合（ステップＳ１２４：Ｙｅｓ）、組織形状認識部１５２ｂは、推定した輪郭形状を、繊維状組織の輪郭形状として認識し、輪郭情報を生成する（ステップＳ１２５）。この際、組織形状認識部１５２ｂは、認識した組織形状に対して、収縮、膨張、排他的収縮、排他的膨張、オープニング、クロージング、トップハット、ボトムハット、穴埋め、孤立穴除去、孤立点除去、細線化、スケルトン等のモルフォロジー処理や例外処理等の後処理（画像処理）を施しても良い。
その後、処理はメインルーチンに戻る。

ステップＳ１２に続くステップＳ１３において、演算部１５は、生成した輪郭情報を出力して、表示装置１７に表示させると共に、該輪郭情報を処理対象の画像データと関連づけて記憶部１４に記憶させる。
その後、当該処理対象の画像に対する画像処理装置１０の動作は終了する。

以上説明したように、実施の形態１によれば、画像内において認識された核領域の形状をもとに、繊維状組織の輪郭形状を推定し、評価関数を用いて推定した輪郭形状を評価するので、繊維状組織の輪郭形状を効率良く、且つ従来よりも精度良く認識することが可能となる。

なお、上記ステップＳ１２３においては、評価関数として、核情報の統計値と、推定した繊維状組織の輪郭形状の形状パラメータとの差分の絶対値を用いたが、評価関数はこの例に限定されない。例えば、両者の差分の２乗を評価関数としても良い。或いは、推定した輪郭形状の内側に含まれる核領域Ｎｕ_nの形状パラメータの分散、標準偏差、尖度、歪度、エントロピーを評価関数としても良いし、該形状パラメータの分布関数そのものを評価関数としても良い。

また、上記ステップＳ１１２においては、核領域Ｎｕ_nの形状を近似した直線の傾きを核情報として用いたが、該近似した直線と直交する直線の傾きや、該近似した直線と所定の角度をなす直線の傾きを核情報として用いても良い。この場合、ステップＳ１２３においても、推定した繊維状組織の輪郭形状を近似した直線と直交する直線の傾きや、該近似した直線と所定の角度をなす直線の傾きを用いて、推定した繊維状組織の輪郭形状を評価する。

（変形例１）
次に、本発明の実施の形態の変形例１について説明する。
上記実施の形態１においては、画像内に存在する核領域の形状を認識する際に（図８のステップＳ１１１参照）、背景が１種類であるという前提で、核領域と背景との境界を認識する演算を行った。しかしながら、実際の生体標本の顕微鏡観察画像においては、認識対象である核領域の他に、血球、間質、上皮等の種々の要素が存在するため、これらの各々と核領域とを分離する必要がある。そこで、本変形例１においては、２種類以上の背景に対して核領域の境界を認識可能なＬＳＭ法を説明する。なお、背景を２種類以上に分離する手法については、ベッセ（Vese）等による「A Multiphase Level Set Framework for Image Segmentation Using the Mumford and Shah Model」（International Journal of Computer Vision, 50(3)（２００２年）、第２７１〜２９３頁）、及び、ヘ（He）等による「Local and Global Gaussian Mixture Models for Hematoxylin and Eosin Stained Histology Image Segmentation」（Hybrid Intelligent Systems (HIS)、2010 10th International Conference on IEEE（２０１０年）、第２２３〜２２８頁）も参照されたい。また、変形例１に係る画像処理装置の構成及び動作は、全体として実施の形態１と同様である（図１及び図７参照）。

式（４）に示すエネルギー関数Ｅ（φ）におけるレベルセット関数φを、次式（１２）に示すように２種類のレベルセット関数φ₁、φ₂に拡張する。この場合、式（５）、（６）はそれぞれ、次式（１３）、（１４）に変形される。

図１５は、２種類のレベルセット関数における符号の組み合わせに応じて分類される４つの領域を示す模式図である。図１５に示すように、処理対象の画像Ｍ２内の領域は、２種類のレベルセット関数φ₁、φ₂における符号の組み合わせに応じて、４つの領域Ｒ₁₁（φ₁≧０且つφ₂≧０）、Ｒ₁₀（φ₁≧０且つφ₂＜０）、Ｒ₀₁（φ_１＜０且つφ₂≧０）、Ｒ₀₀（φ₁＜０且つφ₂＜０）に分類することができる。各領域Ｒ₁₁、Ｒ₁₀、Ｒ₀₁、Ｒ₀₀に含まれる画素の画素値の面積平均ｃ₁₁、ｃ₁₀、ｃ₀₁、ｃ₀₀は、次式（１５−１）〜（１５−４）によって与えられる。

（１５−１）〜（１５−４）において、符号Ｉは各画素の画素値を示し、符号ｍｅａｎ（Ｉ）は、当該領域に含まれる画素の画素値Ｉの面積平均を示す関数である。なお、画素値Ｉ及び画素値Ｉの面積平均ｃ₁₁、ｃ₁₀、ｃ₀₁、ｃ₀₀は、輝度値からなる１次元空間（グレー空間）だけでなく、ＲＧＢ画素値からなる３次元カラー空間（ＲＧＢ空間）等、任意の空間で定義しても良い。また、２次元以上で定義する場合には、各次元に重みをつけることもできる。

式（１２）によって与えられるエネルギー関数Ｅ（φ₁，φ₂）が最小化されるようにレベルセット関数φ₁及びφ₂を更新すると、レベルセット関数φ₁とφ₂の符号の組み合わせに応じて分類される４つの領域Ｒ₁₁、Ｒ₁₀、Ｒ₀₁、Ｒ₀₀を用いて、４つの境界を示すことができる。これにより、ＨＥ染色が施された標本の画像を、核、血球、間質、及び上皮の４種類の領域に分類することができる。

（変形例２）
次に、本発明の実施の形態１の変形例２について説明する。
上記実施の形態１においては、ＬＳＭ法を用いて核領域と背景との境界を認識する方法を説明した。これに対してさらに、認識した境界をもとに、核領域と背景とに二値のラベルを付与することにより、画像内を二値化し、それによって得られた二値化画像から、核情報として核領域の慣性主軸方向を検出することができる。なお、二値化画像から形状の特徴を求める手法については、ＣＧ−ＡＲＴＳ協会、「ディジタル画像処理」第２版（２００９年）、第１８２〜１８３頁も参照されたい。

例えば図１６に示すように、核領域が黒画素によって示された二値化画像Ｍ３が得られた場合、形状の特徴は、次式（１６）に示すように、ｐｑ次モーメントＭ（ｐ，ｑ）によって与えられる。

式（１６）において、符号ｉ及びｊはそれぞれ、画像内のＸ軸及びＹ軸において黒画素が存在する位置を示す。例えば、モーメントＭ（０，０）は、黒画素があったときに１が加算されるので、核領域Ｎｕの面積を与える。また、Ｍ（１，０）は、Ｘ軸における１次モーメントであり、Ｍ（０，１）は、Ｙ軸における１次モーメントである。従って、核領域Ｎｕの重心（ｇ_X，ｇ_Y）は、次式（１７）によって与えられる。

さらに、核領域Ｎｕの慣性主軸ＰＡの方向を、重心（ｇ_X，ｇ_Y）を通る直線とすると、次式（１８）が成り立つ。

従って、式（１８）を解くことにより、核領域Ｎｕの慣性主軸ＰＡの方向（Ｘ軸からの回転角ω）を得ることができる。

なお、核情報としては、核領域の慣性主軸ＰＡの方向の代わりに、該慣性主軸ＰＡと直交する方向を用いることもできる。或いは、該直交する方向以外にも、慣性主軸に対して所定の角度をなす方向を用いても良い。

（実施の形態２）
次に、本発明の実施の形態２について説明する。
上記実施の形態１においては、ＬＳＭ法等により繊維状組織の輪郭形状を推定し、該輪郭形状を評価する際に核情報を用いた。それに対し、本実施の形態２においては、繊維状組織の輪郭形状を推定する際に（図１４のステップＳ１２２参照）核情報を用いる手法を説明する。なお、実施の形態２に係る画像処理装置及び画像処理方法は、全体として実施の形態１と同様である（図１及び図７参照）。

一般に、ＬＳＭ法においては、画像中の画素が持つ情報として画素値（輝度値）を用いて演算が行われる。しかしながら、本実施の形態２においては、核領域に含まれる画素については、画素が持つ情報として、画素値（輝度値）の代わりに当該核領域の慣性主軸方向の情報を用いる。なお、慣性主軸方向の角度統計手法については、石原秀至、「角度データの統計処理基礎」、第４回定量生物学の会 チュートリアル（２０１２年１月７日）も参照されたい。

図１７は、本発明の実施の形態２に係る画像処理方法を説明するための模式図である。例えば図１７に示すように、処理対象の画像Ｍ４から複数の核領域Ｎｕ_nが検出され、各核領域Ｎｕ_nの慣性主軸方向の情報（直線の傾き）が算出された場合、組織認識部１５２は、各核領域Ｎｕ_nの重心位置に最も近い画素に、該慣性主軸方向の情報を付加する。慣性主軸方向の情報は、例えば、画像内の座標系（ＸＹ座標）における２次元ベクトルＶ（ｖ_X，ｖ_Y）によって表される。なお、各ベクトルＶ（ｖ_X，ｖ_Y）は、ベクトルの長さ√（ｖ_X ²＋ｖ_Y ²）が全ての核領域Ｎｕ_nの間で同じ長さとなるように予め規格化される。また、各領域Ｎｕ_nの重心位置に最も近い画素ではなく、該慣性主軸方向の情報を付加されなかった画素のベクトルＶ（ｖ_X，ｖ_Y）の値は、（０，０）等の定数を代入しても良いし、近辺の画素が持つベクトルＶ（ｖ_X，ｖ_Y）の値を用いて内挿、外挿、補間、又は推定をする、或いは、近辺の画素のベクトルＶ（ｖ_X，ｖ_Y）にフィルタをかけた結果の値を代入するなどして求めても良い。内挿、外挿、補間、又は推定の方法としては、０次補間（最近傍補間、最近傍点補間）、線形補間（直線補間、１次補間）、放物線補間（２次補間）、多項式補間、キュービック補間（３次補間）、キュービックコンボリューション、ラグランジュ補間、スプライン補間、シンク関数を用いた補間、ランツォシュ補間、カーネル密度推定等が挙げられる。

組織認識部１５２は、このように核領域Ｎｕ_nの慣性主軸方向の情報が付加された画像に対し、必要に応じて、ホワイトバランス処理、デモザイキング、色変換、濃度変換（ガンマ変換等）、平滑化（ノイズ除去等）、鮮鋭化（エッジ強調等）等の前処理（画像処理）を施した上で、ＬＳＭ法を適用する。

上述したようなベクトル値を有する画素に対してＬＳＭ法を適用すると、慣性主軸方向（ベクトルＶ）が近い画素同士をまとめるように輪郭Ｂ_Fが認識される。ここで、繊維状組織内に含まれる核同士は互いに慣性主軸方向が近いので、このようにして認識された輪郭Ｂ_Fを繊維状組織の輪郭として認識することができる。従って、この手法を、実施の形態１と組み合わせることで、繊維状組織の認識性能をさらに向上させることもできる。

また、ＬＳＭ法の他にも、認識した輪郭Ｂ_F内に含まれる核領域Ｎｕ_nの慣性主軸方向（ベクトルＶ）の標準偏差や分散が小さくなるように輪郭Ｂ_Fを更新することで、輪郭Ｂ_Fを認識しても良い。或いは、慣性主軸方向の分布関数に基づいて決定される特徴に基づき、例えばエントロピーが最小化されるように輪郭Ｂ_Fを更新することで、輪郭Ｂ_Fを認識しても良い。

なお、ＬＳＭ法においては、計算を簡単にするために、実施の形態１における式（４）〜（６）を、次式（１９）〜（２１）のように変形しても良い。

このうち、式（２１）における輝度値Ｉの代わりにベクトルＶが代入される。この際、ベクトルＶの和、差、及び平均は、角度統計に従ってベクトルとして算出される。また、絶対値はベクトルの長さとして算出される。

本実施の形態２においても、実施の形態１の変形例１と同様に、複数種類のレベルセット関数を用いてＬＳＭ法の演算を行っても良い。

（実施の形態３）
次に、本発明の実施の形態３について説明する。
本実施の形態３においては、繊維状組織の輪郭形状を推定する際に（図１４のステップＳ１２２参照）、事前知識を用いる手法を説明する。なお、事前知識を用いた画像認識の手法については、フッセネガー（Fussenegger）等による「A Multiphase Level Set Based Segmentation Framework with Pose Invariant Shape Priors」（Computer Vision−ACCV 2006, Springer Berlin Heidelberg（２００６年）、第３９５〜４０４頁）も参照されたい。また、実施の形態３に係る画像処理装置及び画像処理方法は、全体として実施の形態１と同様である（図１及び図７参照）。

ここで、繊維状組織の断面における輪郭形状は、概ね円形又は楕円形をなしている。しかしながら、観察対象である生体標本の作成条件（染色法、切断面等）や顕微鏡における観察条件（検鏡法、倍率等）は観察の都度異なるため、事前知識として、楕円の大きさ、傾き、及び位置を予め指定することは困難である。そこで、本実施の形態３においては、事前知識として用いる楕円の情報に対し、拡大縮小、回転、移動の自由度を与えて繊維状組織の境界を認識する方法を説明する。

まず、上述したエネルギー関数Ｅ（φ）の式（４）を、次式（２２）のように変形する。

このうち、右辺の第１項及び第２項は、式（５）、（６）で与えられる。

また、右辺の第３項Ｅ_shapeは、事前知識に関する項であり、次式（２３）によって与えられる。

式（２３）において、符号φ_０は、楕円形状を表す事前知識が作り得るレベルセット関数を示す。また、符号Ａは、レベルセット関数φ、φ₀間での変換を与える演算子（ベクター又は行列）であり、具体的には、式（２４）に示すように、拡大又は縮小の倍率ｓ、回転角θ、及び平行移動の移動量Ｔによって構成される。また、符号γは、第３項Ｅ_shapeの重みパラメータを示す。

このようなエネルギー関数Ｅ（φ）を、最急降下法を用いて解くと、次式（２５）が得られる。

ただし、倍率ｓ、回転角θ、移動量Ｔは、次式（２６）〜（２８）に示す自己無撞着方程式に従って更新する。

これらの式（２５）〜（２８）によって得られるレベルセット関数φの輪郭Ｃ（図９参照）が、楕円形状の情報を事前知識として用いた場合における境界認識結果（即ち、繊維状組織の輪郭）を示す。

このように、繊維状組織の輪郭が楕円形状に近いと予測される場合には、事前知識を用いることで、輪郭の認識性能を向上させることができる。また、事前知識を用いる手法を他の実施の形態と組み合わせることで、輪郭の認識性能を向上させることもできる。事前知識の組み合わせ方法の例としては、上述したレベルセット関数として組み合わせる方法の他にも、事前知識をパラメータ、目標値、正解値、参照値、参考値、修正値、引数として用いる方法が挙げられる。また、事前知識を用いて形状を認識する手法は、ステップＳ１１において核領域の形状を認識する際にも適用することができる。

（変形例３）
次に、実施の形態３の変形例について説明する。
上記実施の形態３においては、演算子Ａを構成する倍率ｓ、回転角θ、及び移動量Ｔを、自己無撞着方程式に従って更新したが、このうちの回転角θについては、以下に説明する方法によって更新しても良い。

例えば、レベルセット関数φを更新する際のイタレーションごとに、レベルセット関数φの輪郭Ｃ内の核領域の慣性主軸方向（Ｘ軸からの回転角ω、図１６参照）を算出し、該回転角ωの平均値と事前知識としての楕円の慣性主軸方向が一致するように、回転角θを更新させる。或いは、回転角ωの平均値と事前知識としての楕円の慣性主軸方向との差分が小さくなるように、回転角θを更新しても良い。それにより、輪郭Ｃ内の核領域の慣性主軸方向と、楕円形状を事前知識として認識した繊維状組織の輪郭の慣性主軸方向とを近づけることができる。このように、輪郭Ｃ内の核領域の慣性主軸方向と、繊維状組織の輪郭の慣性主軸方向とが近い場合、実施の形態３の変形例を他の実施の形態（例えば実施の形態１）と組み合わせることで、繊維状組織の認識性能を向上させることができる。

また、事前知識としての楕円の慣性主軸方向との比較対象として、回転角ωの平均値の代わりに、回転角ωの中央値、最頻値、尖度、歪度、エントロピー等の統計値や、分布関数そのものを用いても良い。

このような回転角θの更新方法も、事前知識を用いて核領域の形状を認識する際に適用することができる。

（実施の形態４）
次に、本発明の実施の形態４について説明する。
図１８は、本実施の形態４に係る顕微鏡システムの構成を示す図である。図１８に示すように、本実施の形態４に係る顕微鏡システムは、画像処理装置１０と、生体から採取した組織標本の拡大像を生成する顕微鏡装置２０と、該顕微鏡装置２０が生成した拡大像を撮像することにより画像データを生成して画像処理装置１０に入力する撮像部３０とを備える。

図１８に示すように、顕微鏡装置２０は、略Ｃ字形のアーム２００と、該アーム２００上に三眼鏡筒ユニット２０１を介して支持された鏡筒２０２及び接眼レンズユニット２０３と、アーム２００に設けられた落射照明ユニット２１０及び透過照明ユニット２２０と、組織標本Ｓが載置されるステージ２３１を含む電動ステージユニット２３０と、鏡筒２０２の一端側に三眼鏡筒ユニット２０１を介してステージ２３１と対向するように設けられ、組織標本Ｓからの観察光を結像する対物レンズ２４０とを備える。

三眼鏡筒ユニット２０１は、対物レンズ２４０から入射した観察光を、ユーザが組織標本Ｓを直接観察するための接眼レンズユニット２０３と、後述する撮像部３０との方向に分岐する。

落射照明ユニット２１０は、落射照明用光源２１１及び落射照明光学系２１２を備え、組織標本Ｓに対して落射照明光を照射する。落射照明光学系２１２は、落射照明用光源２１１から出射した照明光を集光して、観察光学系２０４の光軸Ｌの方向に導く種々の光学部材（フィルタユニット、シャッタ、視野絞り、開口絞り等）を含む。

透過照明ユニット２２０は、透過照明用光源２２１及び透過照明光学系２２２を備え、組織標本Ｓに対して透過照明光を照射する。透過照明光学系２２２は、透過照明用光源２２１から出射した照明光を集光して光軸Ｌの方向に導く種々の光学部材（フィルタユニット、シャッタ、視野絞り、開口絞り等）を含む。

これらの落射照明ユニット２１０及び透過照明ユニット２２０は、検鏡法に応じていずれかが選択されて使用される。なお、顕微鏡装置２０に、落射照明ユニット２１０と透過照明ユニット２２０とのいずれか一方のみを設けることとしても良い。

電動ステージユニット２３０は、ステージ２３１と、該ステージ２３１を駆動させるステージ駆動部２３２とを備える。ステージ駆動部２３２は、例えばモータによって構成され、ステージ２３１を光軸Ｌと直交する面内（即ちｘｙ平面内）において移動させる。また、ステージ駆動部２３２は、ステージ２３１をｚ軸に沿って移動させることにより、対物レンズ２４０を組織標本Ｓに対して合焦させる。なお、ステージ駆動部２３２の代わりに調節ツマミ等を用いて、ユーザがステージ２３１を手動で移動させる構成としても良い。

対物レンズ２４０は、倍率が互いに異なる複数の対物レンズ（例えば、対物レンズ２４０、２４１）を保持可能なレボルバ２４２に取り付けられている。レボルバ２４２を回転させ、ステージ２３１と対向する対物レンズ２４０、２４１を変更することにより、撮像倍率を変化させることができる。

撮像部３０は、例えばＣＣＤやＣＭＯＳ等からなる撮像素子３１を備え、撮像素子３１が備える各画素においてＲ（赤）、Ｇ（緑）、Ｂ（青）の各バンドにおける画素レベル（画素値）を持つカラー画像を撮像可能なカメラを用いて構成される。撮像部３０は、観察光学系２０４（鏡筒２０２）の一端に設けられ、観察光学系２０４を介して撮像素子３１の受光面に入射した観察光を光電変換することにより、観察光学系２０４の視野に対応する画像を表す画像データを生成し、画像処理装置１０の画像取得部１２（図１参照）に入力する。

以上説明した実施の形態１〜４及びこれらの変形例はそのままに限定されるものではなく、各実施の形態１〜４及びこれらの変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を除外して形成しても良い。或いは、異なる実施の形態に示した構成要素を適宜組み合わせて形成しても良い。

１０ 画像処理装置
１１ 入力部
１２ 画像取得部
１３ 出力部
１４ 記憶部
１５ 演算部
１６ 制御部
１７ 表示装置
１５１ 単一核認識部
１５１ａ 核形状認識部
１５１ｂ 核情報生成部
１５２ 組織認識部
１５２ａ 統計値算出部
１５２ｂ 組織形状認識部
２０ 顕微鏡装置
２００ アーム
２０１ 三眼鏡筒ユニット
２０２ 鏡筒
２０３ 接眼レンズユニット
２０４ 観察光学系
２１０ 落射照明ユニット
２１１ 落射照明用光源
２１２ 落射照明光学系
２２０ 透過照明ユニット
２２１ 透過照明用光源
２２２ 透過照明光学系
２３０ 電動ステージユニット
２３１ ステージ
２３２ ステージ駆動部
２４０、２４１ 対物レンズ
２４２ レボルバ
３０ 撮像部
３１ 撮像素子

Claims (13)

1. 生体から採取した組織標本の画像を取得する画像取得部と、
   前記画像に写った所定の細胞小器官の形状を個別に認識する細胞小器官認識部と、
   前記所定の細胞小器官の形状に基づいて、前記画像に写った繊維状組織又は管状組織の形状を認識する組織認識部と、
   を備えることを特徴とする画像処理装置。
2. 前記細胞小器官認識部は、
   前記画像を構成する各画素が前記所定の細胞小器官を表す画素であるか否かを判定し、前記所定の細胞小器官を表すと判定された画素の領域である細胞小器官領域の形状を認識する細胞小器官形状認識部と、
   前記細胞小器官領域の形状を定量化した情報である細胞小器官情報を生成する細胞小器官情報生成部と、
   を備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記細胞小器官情報は、前記細胞小器官領域の形状を直線に近似したときの該直線の傾き又は該直線と所定の角度をなす直線の傾きであることを特徴とする請求項２に記載の画像処理装置。
4. 前記直線は、前記細胞小器官領域の形状を回帰分析により近似した一次関数によって表される直線、又は前記細胞小器官領域の形状の慣性主軸であることを特徴とする請求項３に記載の画像処理装置。
5. 前記組織認識部は、
   前記画像から抽出された複数の前記細胞小器官領域についてそれぞれ生成された前記細胞小器官情報の統計情報を算出する統計情報算出部と、
   前記統計情報算出部により算出された前記統計情報に基づいて、前記繊維状組織又は前記管状組織の形状を認識する組織形状認識部と、
   を備えることを特徴とする請求項２〜４のいずれか１項に記載の画像処理装置。
6. 前記統計情報は、平均値、中央値、最頻値、分散、標準偏差、尖度、歪度、エントロピー及び分布関数のうちの少なくとも１つであることを特徴とする請求項５に記載の画像処理装置。
7. 前記組織形状認識部は、前記画像内における前記繊維状組織又は前記管状組織の形状を推定し、該推定した前記繊維状組織又は前記管状組織の形状を定量化した形状情報と、前記統計情報算出部によって算出された前記統計情報の算出結果とを比較することにより、前記繊維状組織又は前記管状組織の形状を認識する、
   ことを特徴とする請求項５又は６に記載の画像処理装置。
8. 前記組織形状認識部は、前記細胞小器官領域の形状を事前知識として用いて前記繊維状組織又は前記管状組織の形状を認識することを特徴とする請求項５〜７のいずれか１項に記載の画像処理装置。
9. 前記所定の細胞小器官は、核又はミトコンドリアであることを特徴とする請求項１〜８のいずれか１項に記載の画像処理装置。
10. 前記繊維状組織又は前記管状組織は、神経、筋、腱、及び血管のうちの少なくとも１つであることを特徴とする請求項１〜９のいずれか１項に記載の画像処理装置。
11. 請求項１〜１０のいずれか１項に記載の画像処理装置と、
    生体から採取した組織標本の拡大像を生成する顕微鏡装置と、
    前記拡大像を撮像することにより画像データを生成して前記画像取得部に入力する撮像部と、
    を備えることを特徴とする顕微鏡システム。
12. 生体から採取した組織標本の画像を処理する画像処理装置が実行する画像処理方法において、
    演算部が、画像データを読み込むことにより前記画像を取得する画像取得ステップと、
    前記演算部が、前記画像に写った所定の細胞小器官の形状を個別に認識する細胞小器官認識ステップと、
    前記演算部が、前記所定の細胞小器官の形状に基づいて、前記画像に写った繊維状組織又は管状組織の形状を認識する組織認識ステップと、
    を含むことを特徴とする画像処理方法。
13. 生体から採取した組織標本の画像を取得する画像取得ステップと、
    前記画像に写った所定の細胞小器官の形状を個別に認識する細胞小器官認識ステップと、
    前記所定の細胞小器官の形状に基づいて、前記画像に写った繊維状組織又は管状組織の形状を認識する組織認識ステップと、
    をコンピュータに実行させることを特徴とする画像処理プログラム。

Images