JP2023114191A - 画像処理方法 - Google Patents

Abstract

【課題】合焦画像を得る際に、例えば、非特異吸着や自家蛍光による影響が入りこむ程度を評価して最適な画像の作成または選択に役立つ評価値を算出する工程を有する画像処理方法を提供すること。【解決手段】画像処理方法は、第１の波長で前記生体サンプルの画像を取得し、前記画像に基づいて基準焦点面を決定するフォーカス工程と、前記第１の波長と異なる第２の波長で前記生体サンプルを撮影して、前記標識された標的物質を識別可能な撮影画像を取得する撮影工程と、前記撮影画像を複数の小領域に分割する分割工程と、前記フォーカス工程で決定された前記基準焦点面を参照して、前記撮影画像を前記小領域ごとに評価し、前記小領域ごとに評価値を算出する評価工程と、を有する。【選択図】図２

Description

本発明は、画像処理方法に関する。

病理診断方法として、染色した検体（例えば組織標本）を顕微鏡やホールスライドスキャナで高倍率および高開口数のレンズを用いて観察する方法が用いられてきており、染色には免疫染色法がよく用いられている。免疫染色法の中には蛍光抗体法も含まれ、蛍光視野での検体の観察が行われてきている。

蛍光画像の撮影において、焦点面の自動設定は、所定のフォーカス点における蛍光コントラストを光軸方向（Ｚ方向）について評価し、それが最大となるＺ方向の位置をこのフォーカス点近傍における焦点面とし、複数のフォーカス点におけるＺ方向の位置の情報をつなぎあわせて検体の大まかな凹凸を反映した１つのフォーカス曲面を設定する方法が一般的である。

しかし、高倍率および高開口数のレンズを用いると焦点深度が浅くなり、上記蛍光コントラストによる単一焦点面を選ぶ方法では十分なフォーカス精度が得られず、画像間または画像内の領域ごとに観察像が安定しないという課題が発生していた。そこで、下記特許文献１では、光軸方向（Ｚ方向）に焦点位置が異なるＺスタック撮影画像を撮影し、1枚の合焦画像を選び出す試みを行なっていた。

国際公開第２０１８／０４２６２９号

しかしながら、特許文献１の方法では、Ｚスタック撮影画像の中から、蛍光コントラストが最大になるようにある画素または小領域ごとに画像を合成しており、非特異吸着や自家蛍光の強い信号があった場合にはそれらを強調するように画像を合成してしまう可能性があり、関心領域面を捉えられない懸念がある。

上記のことについて、図１を参照しつつ説明する。図１は細胞を含む切片の断面図を示す。この切片において、細胞の核１はＤＡＰＩで染色されており、また、細胞の細胞膜に存在する標的タンパク質は蛍光色素２で標識されている。図１に示される切片は、破線で区分けされる３つの小領域に分割され、小領域ごとに撮影焦点面が決定される。図１中の点線は関心領域に焦点が合っている、望ましい撮影焦点面を示している。

ここで左と右との小領域では、蛍光の強度が高い焦点面を撮影焦点面とすれば、望ましい撮影焦点面を選択することができる。しかし、中央の小領域では、非特異的吸着により蛍光色素２の凝集体３が、標的タンパク質以外の部分に吸着している。そのため、蛍光の強度が高い焦点面を撮影焦点面として選択しても、望ましい撮影焦点面を選択することができない。

本発明の目的は、合焦画像を得る際に、例えば、非特異的吸着や自家蛍光による影響が入りこむ程度を評価して最適な画像の作成または選択に役立つ評価値を算出する工程を有する画像処理方法を提供することである。

本発明の一実施の形態に係る画像処理方法は、第１の波長で前記生体サンプルの画像を取得し、前記画像に基づいて基準焦点面を決定するフォーカス工程と、前記第１の波長と異なる第２の波長で前記生体サンプルを撮影して、標識された標的物質を識別可能な撮影画像を取得する撮影工程と、前記撮影画像を複数の小領域に分割する分割工程と、前記フォーカス工程で決定された前記基準焦点面を参照して、前記撮影画像を前記小領域ごとに評価し、前記小領域ごとに評価値を算出する評価工程と、を有する。

本発明によれば、Ｚスタック撮影画像を利用して合焦画像を作成または選択する際に、例えば、非特異吸着や自家蛍光による影響が入りこむ程度を評価して、最適な合焦画像の作成または選択に役立つ評価値を算出する工程を有する画像処理方法を提供することができる。

図１は従来技術の問題点を説明するための図である。 図２は本発明の実施の形態に係る画像処理方法を示すフローチャートである。 図３Ａ～Ｃは、Ｚスタック撮影画像の小領域ごとの評価値を得る手順を示す図である。 図４Ａ、Ｂは、小領域ごとの評価値の例を示す図である。 図５は、小領域ごとに基準焦点面を得る例を示す図である。

以下、本発明の一実施の形態について、図面を参照して詳細に説明する。

図２は、本実施の形態に係る画像処理方法のフローチャートである。図２に示されるように、本実施の形態に係る画像処理方法は、フォーカス工程（Ｓ１）と、撮影工程（Ｓ２）と、分割工程（Ｓ３）と、評価工程（Ｓ４）と、任意工程である判定工程（Ｓ５）とを有する。以下、それぞれの工程について説明する。

（フォーカス工程（Ｓ１））
フォーカス工程は、第１の波長の光で生体サンプルの画像を取得し、当該画像に基づいて基準焦点面を決定する工程である。具体的には、フォーカス工程は、例えば、第１の波長の光で生体サンプル中の組織、細胞または細胞器官の形態や構造など、全体像に関する画像を取得する工程である。

生体サンプルの種類は、標識された標的物質を有していれば特に制限されず、目的に応じて適宜選択されうる。生体サンプルの例には、ヒトまたはヒト以外の動物の組織および細胞、ならびに培養細胞が含まれる。たとえば、ヒトの腫瘍について分析したい場合は、ヒト腫瘍組織を準備すればよい。ヒトまたはヒト以外の動物の組織は、固定された上で、パラフィン切片や凍結切片などの組織切片の形態で使用されうる。また、ヒトまたはヒト以外の動物の細胞は、塗抹標本の形態で使用されうる。また、培養細胞は、スライドガラス上で培養された形態、およびパラフィン切片や凍結切片などの切片の形態で使用されうる。生体サンプル中では、後述する撮影工程（Ｓ２）で標的物質を撮影できるように、標的物質が標識されている。

第１の波長は、第２の波長と異なる波長であればよく、目的に応じて適宜選択されうる。たとえば、第１の波長としては、対比染色色素または特殊染色色素に由来する染色を観察するのに適する波長が選択される。対比染色色素の例には、ヘマトキシリン、エオシンが含まれる。また、特殊染色色素の例には、ＤＡＰＩが含まれる。

基準焦点面は、生体サンプルに対して１つであってもよいし、生体サンプルを小領域ごとに分割して、小領域ごとにあってもよい。基準焦点面の取得方法の具体例は、実施例として後述する。

また、フォーカス工程において、光軸方向について互いに異なる位置で撮影された複数の画像であるＺスタック画像を取得して、Ｚスタック画像のそれぞれを、後述するＺスタック撮影画像と同様に複数の小領域ごとに分割し、小領域ごとに画像の合焦を評価して基準焦点面を決定してもよい。

（撮影工程（Ｓ２））
撮影工程は、第１の波長と異なる第２の波長で生体サンプルを撮影して、標的物質を識別可能な撮影画像を取得する工程である。具体的には、撮影工程は、例えば、蛍光標識された標的タンパクの撮影画像を取得する工程である。

第２の波長は、第１の波長と異なる波長であればよく、目的に応じて適宜選択されうる。たとえば、第２の波長としては、標的物質を標識する蛍光色素に由来する蛍光を観察するための波長が選択される。

蛍光色素による標的物質の標識方法は、特に限定されない。たとえば、蛍光色素による標的物質の標識は、蛍光色素で標識された捕捉体（例えば抗体）を標的物質に結合させることで行われてもよいし、蛍光色素を内包する粒子で標識された捕捉体（例えば抗体）を標的物質に結合させることで行われてもよい。蛍光色素を内包する粒子は、例えば蛍光色素を高濃度に内包した樹脂粒子であり、通常の蛍光色素より輝度が高い。

撮影工程においては、撮影画像は、光軸方向について互いに異なる位置で撮影された複数の画像であるＺスタック撮影画像であってもよい。

撮影工程の具体例について図３Ａを参照しつつ説明する。図３Ａの左図は、第２の波長で撮影したＺスタック撮影画像を取得した状態を示す。Ｚスタック撮影画像は光軸方向について互いに異なる位置で撮影された複数の画像である。図３ＡではＺスタック撮影画像は７枚であり、一番上から一番下までに、Ｎｏ．１～Ｎｏ．７が割り当てられるとする。また、Ｎｏ．１～Ｎｏ．７の画像は、例えば、光軸方向に１μｍずつ異なる位置で撮影された画像である。

（分割工程（Ｓ３））
分割工程は、撮影工程で撮影した撮影画像を複数の小領域に分割する工程である。分割工程は、撮影画像を小領域ごとにわけて、小領域ごとに評価するため（小領域ごとに評価値を得るため）に行われる。小領域は、画像を全体としてではなく、より小さい単位で評価するのに適切な大きさで設定される。小領域の例には、画素、細胞、カメラ画角が含まれる。

分割工程の具体例について図３Ａを参照しつつ説明する。図３Ａの右図は、Ｚスタック撮影画像を小領域ごとに分割した状態を示す。分割した小領域に対して、説明のために縦の列について左から順番にａ、ｂ、ｃ、ｄ付し、横の行について上から下に順番に１、２、３、４を付した。図３Ａの各Ｚスタック撮影画像は、列と行とで表される、ａ１～ｄ４までの１６個の小領域に分割されている。

（評価工程（Ｓ４））
評価工程は、フォーカス工程で決定された基準焦点面を参照して、撮影画像を小領域ごとに評価し、小領域ごとに評価値を算出する工程である。

たとえば、評価値は、第１の波長で決定した基準焦点面から、第２の波長で撮影した撮影画像の撮影焦点面までの距離である。

より具体的には、例えば、基準焦点面から撮影焦点面までの距離である評価値は、以下の手順で得られる。

まず、第２の波長で撮影したＺスタック撮影画像のそれぞれの小領域から、算出値を算出する。算出値は、例えば、信号強度または信号コントラストである。次に、算出値から小領域ごとの最適なＺスタック撮影画像を選び出す。最後に、基準焦点面から小領域ごとの最適なＺスタック撮影画像の撮影焦点面までの距離を算出して評価値とする。

上記の評価工程の具体例について図３Ｂ～Ｃを参照しつつ説明する。

図３Ｂの左図および右図は、小領域の１つについて算出値を算出した様子を示す。具体的には、図３Ｂの左図および右図は、小領域ａ１について、Ｎｏ．１～７の撮影画像の算出値、例えば蛍光強度がグラフ化された様子を示す。図３Ｂの右図から画像Ｎｏ．３の画像の算出値（例えば蛍光強度）が最大なので、小領域ａ１については画像Ｎｏ．３が最適なＺスタック撮影画像となる。

ここで、上記のフォーカス工程（Ｓ１）で決定された基準焦点面が画像Ｎｏ．４であったとすると、図３Ｃの左図に示されるように、画像Ｎｏ．３と画像Ｎｏ．４との距離の差は－１μｍなので、小領域ａ１についての評価値は－１μｍとなる。他の小領域についても、図３Ｃの右図に示されるように基準焦点面である画像Ｎｏ．４を基準として、評価値が取得される。なお、本実施の形態においては、基準焦点面より撮影画像の撮影焦点面が深い場合は、評価値はプラスの値をとり、浅い場合はマイナスの値をとることとした。

なお、上記では基準焦点面が１つである場合を説明したが、上述のフォーカス工程（Ｓ１）で説明したように基準焦点面は、小領域ごとに決定されてもよい。

（判定工程（Ｓ５））
任意に行われる判定工程は、得られた評価値に基づいて、第２の波長で撮影された撮影画像の最適な出力方法を判定する工程である。

具体的には、例えば、撮影画像全体の面積に対して、評価値の基準を満たす小領域の面積の割合に基づいて、最適な出力方法を判定する。

図３Ｃの右図を例に説明すると、評価値の基準を－１μｍ～１μｍとすると、１６個ある小領域のうち、１５個の小領域が基準を満たすが、１つの領域（小領域ａ２）が基準を満たさないことになる。この場合、評価値の基準を満たす小領域の面積の割合は１５／１６となり、この割合に基づいて撮影画像の最適な出力方法を判定すればよい。また、評価値の基準を満たす小領域の面積の割合が、基準を下回ったときに警告を出すようにしてもよい。また、評価値の基準は、例えば事前に設定されればよい。

なお、通常であれば、第１の波長を用いて決定した基準焦点面から、第２の波長を用いて撮影した撮影焦点面までの距離は近くなり、評価値の絶対値は低くなると考えられる。これに対して、例えば、図１に示されるように、蛍光色素２の凝集体３が存在しているような場合は、評価値の絶対値が大きくなると考えられる。

判定工程において判定される最適な出力方法のより具体的な例について以下に説明する。

最適な出力方法は、例えば、全てのＺスタック撮影画像から小領域ごとに生成した全焦点画像の出力、全てのＺスタック撮影画像から１つの撮影画像の出力、全てのＺスタック撮影画像から基準から外れた小領域を排除してから生成した全焦点画像の出力、および、全てのＺスタック撮影画像から基準から外れた小領域を排除し、前記排除された小領域に対しては、隣接する小領域から推定して画像を選択し、基準内の小領域および前記推定して選択された画像から生成した全焦点画像の出力、の中から判定されればよい。

以下、それぞれの出力方法について図面を参照しつつ説明する。

〈全てのＺスタック撮影画像から小領域ごとに生成した全焦点画像の出力〉
図４Ａは、上述した図３Ａ、Ｂに示されるような工程を経て、得られた各小領域の評価値の例を示す図である。図４Ａの評価値の下に示されているのは、各小領域において、選ばれた画像Ｎｏ．を示している。具体的には、小領域ａ１については画像Ｎｏ．３が選ばれ、小領域ｂ１についてはＮｏ．５が選ばれというように、全ての小領域について画像が選ばれている。

ここで全てのＺスタック撮影画像から小領域ごとに生成した全焦点画像の出力とは、上記の様に各小領域について選択された画像をつなぎ合わせて１つの画像を出力することを意味する。

このような出力は、例えば、全ての小領域において、評価値の絶対値が低く、非特異吸着などに起因するノイズなどの影響が低いと考えられる場合に有効な出力方法であると考えられる。

〈全てのＺスタック撮影画像から１つの撮影画像の出力〉
全てのＺスタック撮影画像から１つの撮影画像の出力とは以下の様なことを意味する。すなわち、図３Ａの左図には複数のＺスタック撮影画像（Ｎｏ．１～７の７枚の撮影画像）が示されているが、この複数のＺスタック撮影画像のうちから１つの撮影画像を出力することを意味する。

このような出力は、例えば、全ての小領域において、基準焦点面と撮影焦点面とがほぼ一致しており、評価値の絶対値が低い場合に有効な出力方法であると考えられる。

〈全てのＺスタック撮影画像から基準から外れた小領域を排除してから生成した全焦点画像の出力〉
図４Ｂは、上述した図３Ａ、Ｂに示されるような工程を経て、得られた各小領域の評価値の例を示す図である。図４Ｂにおいては、評価値の基準を－１μｍ～１μｍとした場合、ほぼ全ての小領域で基準内にあるが、小領域ａ２だけ－３μｍと評価値が基準から外れている。

全てのＺスタック撮影画像から基準から外れた小領域を排除してから生成した全焦点画像の出力とは、上記の様な場合に小領域ａ２を排除してから、全焦点画像を生成することを意味する。

このような出力は、図４Ｂに示されるように、一部の小領域が基準から外れているような場合に有効な出力方法であると考えられる。

〈全てのＺスタック撮影画像から基準から外れた小領域を排除し、前記排除された小領域に対しては、隣接する小領域から推定して画像を選択し、基準内の小領域および前記推定して選択された画像から生成した全焦点画像の出力〉
上記したように図４Ｂにおいて小領域ａ２だけ評価値の基準から外れているが、小領域ａ２の周囲の小領域であるａ１、ｂ１、ｂ２、ｂ３、ａ３は、いずれも評価値は０μｍであり、選択されたている画像はいずれもＮｏ．４である。このような場合、小領域ａ２に関しては、図１に示されるように、蛍光色素２の凝集体が存在している可能性が高い。

ここで、上記の全てのＺスタック撮影画像から基準をから外れた小領域を排除し、排除された小領域に対しては、隣接する小領域から推定して画像を選択し、基準内の小領域および推定して選択された画像から生成した全焦点画像の出力とは、上記のような場合において、小領域ａ２に対する画像Ｎｏ．１を排除して、ａ２に隣接する小領域から推定して、小領域ａ２に対しては、画像Ｎｏ．４を選ぶことを意味する。

このような出力は、図４Ｂに示されるように、一部の小領域が基準から外れており、基準から外れた小領域の周囲から、妥当な画像Ｎｏ．を推定できる場合に有効な出力方法であると考えられる。

（効果）
本発明によれば、Ｚスタック撮影画像を利用して合焦画像を作成または選択する際に、例えば、非特異吸着や自家蛍光による影響が入りこむ程度を評価して、最適な合焦画像の作成または選択に役立つ評価値を算出する工程を有する画像処理方法を提供することができる。

フォーカス工程および撮影工程は具体的には以下の様に行われればよい。

ホールスライドスキャナＶＳ２００（オリンパス製）に蛍光モノクロカメラＯＲＣＡ－Ｆｌａｓｈを組み合わせて、倍率２０倍、開口数０．８の対物レンズを用いて、顕微鏡標本（ヘマトキシリン染色、および、蛍光色素を内包する粒子で標識した培養細胞株）に対して透過光モノクロデフォーカスマップの作成、および、Ｚスタック撮影画像の取得を以下の様に実施した。

２ｍ×２ｍのスキャン範囲に対して透過光モノクロの視野でフォーカスを合わせ図５に示すようにフォーカスマップを作成し、小領域ごとに基準焦点面を決定した。

図５は、顕微鏡標本の断面を示しており、顕微鏡標本上の実線はフォーカスプレーンを示し、点線は小領域の境界を示し、×は各小領域における基準焦点面を示す。基準焦点面は、例えば、各小領域において、最も高い位置と最も低い位置との中間の高さとすればよい。

蛍光視野で基準焦点面を中心に±３μｍの範囲を０．２μｍ間隔で、Ｚフォーカス撮影画像を得た。

本発明に係る画像処理方法は、例えば、検体（例えば組織標本）を用いる病理診断などに有用である。

１ 核
２ 蛍光色素
３ 凝集体

Claims (14)

1. 第１の波長で生体サンプルの画像を取得し、前記画像に基づいて基準焦点面を決定するフォーカス工程と、
   前記第１の波長と異なる第２の波長で前記生体サンプルを撮影して、標識された標的物質を識別可能な撮影画像を取得する撮影工程と、
   前記撮影画像を複数の小領域に分割する分割工程と、
   前記フォーカス工程で決定された前記基準焦点面を参照して、前記撮影画像を前記小領域ごとに評価し、前記小領域ごとに評価値を算出する評価工程と、
   を有する、画像処理方法。
2. 前記撮影工程では、前記撮影画像として、光軸方向について互いに異なる位置で撮影された複数の画像であるＺスタック撮影画像を取得する、請求項１に記載の画像処理方法。
3. 前記フォーカス工程では、光軸方向について互いに異なる位置で撮影された複数の画像であるＺスタック画像を取得して、前記Ｚスタック画像のそれぞれを、前記Ｚスタック撮影画像と同様に複数の小領域ごとに分割し、前記小領域ごとに画像の合焦を評価して基準焦点面を決定する、請求項２に記載の画像処理方法。
4. 前記評価値は、前記基準焦点面から前記撮影画像の撮影焦点面までの距離である、請求項１～３のいずれか一項に記載の画像処理方法。
5. 前記評価工程では、前記Ｚスタック撮影画像のそれぞれの小領域から算出値を算出し、前記算出値から、前記小領域ごとの最適なＺスタック撮影画像を選び出し、前記評価値は、前記基準焦点面から前記小領域ごとの最適なＺスタック撮影画像の撮影焦点面までの距離である、請求項２または３に記載の画像処理方法。
6. 前記算出値は、信号強度または信号コントラストである、請求項５に記載の画像処理方法。
7. 前記第１の波長は、対比染色色素または特殊染色色素に由来する染色を観察するための波長であり、
   前記第２の波長は、前記標的物質を標識する蛍光色素に由来する蛍光を観察するための波長である、
   請求項１～６のいずれか一項に記載の画像処理方法。
8. 前記標的物質は、前記蛍光色素を内包する粒子により標識されている、請求項７に記載の画像処理方法。
9. 前記評価工程で得られた前記評価値に基づいて、前記第２の波長で撮影された前記撮影画像の最適な出力方法を判定する判定工程をさらに有する、請求項１～８のいずれか一項に記載の画像処理方法。
10. 前記判定工程では、前記撮影画像全体の面積に対する、前記評価値の基準を満たす小領域の面積の割合に基づいて、最適な出力方法を判定する、請求項９に記載の画像処理方法。
11. 前記評価工程では、前記撮影画像の全体の面積に対して、前記評価値の基準を満たす小領域の面積の割合が基準から外れたときに警告を出す、請求項９に記載の画像処理方法。
12. 前記評価値の基準を、事前に入力する、請求項１０または１１に記載の画像処理方法。
13. 前記撮影工程では、前記撮影画像として、光軸方向について互いに異なる位置で撮影された複数の画像であるＺスタック撮影画像を取得し、
    前記判定工程では、前記最適な出力方法は、
    全てのＺスタック撮影画像から小領域ごとに生成した全焦点画像の出力、
    全てのＺスタック撮影画像から１つの撮影画像の出力、
    全てのＺスタック撮影画像から基準から外れた小領域を排除してから生成した全焦点画像の出力、および、
    全てのＺスタック撮影画像から基準から外れた小領域を排除し、前記排除された小領域に対しては、隣接する小領域から推定して撮影画像を選択し、基準内の小領域および前記推定して選択された画像から生成した全焦点画像の出力、
    の中から判定される、請求項９に記載の画像処理方法。
14. 前記小領域は、画素、細胞、またはカメラ画角である、請求項１～１３のいずれか一項に記載の画像処理方法。