JP2019086997A - 画像処理装置、画像処理方法、画像処理プログラムおよび観察システム - Google Patents

Abstract

【課題】貼り合わせ画像において標本の状態等により部分的に品質の高い画像が取得できない場合であっても、当該部分の標本への適切な対応を可能にしつつ、短時間で標本全体の画像を生成する。【解決手段】標本の各部を部分的に撮影して取得された複数枚の部分画像が入力され、各部分画像の品質を評価する品質評価部９，１１と、入力された複数枚の部分画像を貼り合わせて貼り合わせ画像を生成する画像貼り合わせ部１０と、画像貼り合わせ部１０により生成された貼り合わせ画像の少なくとも１つの部分画像に対応する位置に、品質評価部９，１１により評価された品質を表示する情報を重畳して合成画像を生成する画像合成部１３とを備える画像処理装置３を提供する。【選択図】図２

Description

本発明は、画像処理装置、画像処理方法、画像処理プログラムおよび観察システムに関するものである。

従来、病理診断において病理標本を極めて高い分解能で撮影したバーチャルスライド画像（以下、ＶＳ画像という。）が用いられている。このＶＳ画像は、標本の各部の微小範囲について高分解能に取得した多数の画像を貼り合わせることにより、標本全体で高分解能の観察を可能にしている。
また、標本の画像を取得し、取得された画像の品質を評価し、品質の低い画像については自動的に撮り直すシステムが知られている（例えば、特許文献１参照。）。

米国特許第９１２２９０５号明細書

しかしながら、画像の品質は、標本の状態にも依存するため、品質を評価して画像を取り直すシステムでは、何度撮り直しても品質を向上することはできない場合がある。このような場合には、品質が所定の基準に到達するまで標本の撮影が繰り返されて、標本の画像取得に多大な時間を要してしまうという不都合がある。

本発明は、上述した事情に鑑みてなされたものであって、ＶＳ画像において標本の状態等により部分的に品質の高い画像が取得できない場合であっても、当該部分の標本への適切な対応を可能にしつつ、短時間で標本全体の画像を生成することができる画像処理装置、画像処理方法、画像処理プログラムおよび観察システムを提供することを目的としている。

上記目的を達成するために、本発明は以下の手段を提供する。
本発明の一態様は、標本の各部を部分的に撮影して取得された複数枚の部分画像が入力され、各該部分画像の品質を評価する品質評価部と、入力された複数枚の前記部分画像を貼り合わせて貼り合わせ画像を生成する画像貼り合わせ部と、該画像貼り合わせ部により生成された前記貼り合わせ画像の少なくとも１つの前記部分画像に対応する位置に、前記品質評価部により評価された品質を表示する情報を重畳して合成画像を生成する画像合成部とを備える画像処理装置を提供する。

本態様によれば、標本の各部を部分的に撮影して取得された複数枚の部分画像が入力されると、品質評価部により各部分画像の品質が評価されるとともに、複数枚の部分画像を貼り合わせた貼り合わせ画像が画像貼り合わせ部により生成される。そして、画像合成部において、貼り合わせ画像に、評価された品質を表示する情報が重畳された合成画像が生成される。

例えば、各部分画像に品質が所定の基準を満たさないものがある場合に、品質が良好ではない旨の情報が当該部分画像の位置に重畳された合成画像が生成される。したがって、合成画像内の情報を確認することにより当該部分画像の品質が何らかの原因で悪いことを確認することができ、その位置の部分画像の撮り直しや排除等の適切な処置を行うことができる。すなわち、良好な品質の部分画像が得られないまま撮影が繰り返されることがなく、短時間で標本全体の貼り合わせ画像を生成することができる。

上記態様においては、前記品質評価部が、各前記部分画像自体の画像品質を評価してもよい。
このようにすることで、画像品質の良好な部分画像と良好ではない部分画像とを区分けして一目で確認することができる。

また、上記態様においては、前記画像合成部が、いずれかの前記部分画像自体の画像品質が所定の基準を満たさない場合に、品質を表示する情報として当該部分画像を取り囲む枠を前記貼り合わせ画像に重畳してもよい。
このようにすることで、合成画像上の枠により画像品質の良好ではない部分画像を一目で見分けることができる。

また、上記態様においては、前記画像合成部が、いずれかの前記部分画像自体の画像品質が所定の基準を満たさない場合に、当該部分画像および該部分画像に隣接する前記部分画像を取り囲む枠を前記貼り合わせ画像に重畳してもよい。
このようにすることで、合成画像上の枠により画像品質の良好ではない部分画像とその周辺に隣接する画像を観察者に確認させることができる。

また、上記態様においては、前記品質評価部が、各前記部分画像と該部分画像に隣接する他の部分画像との位置合わせ品質を評価してもよい。
このようにすることで、部分画像と他の画像がずれている場合に、その部分を一目で見分けることができる。

また、上記態様においては、前記画像合成部が、前記位置合わせ品質が所定の基準を満たさない場合に、品質を表示する情報として前記他の部分画像との境界線を前記貼り合わせ画像に重畳してもよい。
このようにすることで、合成画像上の境界線により、位置合わせ品質が良好ではない２つの隣接する部分画像を一目で確認することができる。

また、上記態様においては、前記画像合成部が、前記位置合わせ品質が所定の基準を満たさない場合に、品質を表示する情報として当該部分画像および前記他の部分画像を取り囲む枠を前記貼り合わせ画像に重畳してもよい。
このようにすることで、合成画像上の枠により位置合わせ品質の良好ではない２つの部分画像を観察者に確認させることができる。

また、上記態様においては、前記品質評価部が、複数の異なる種類の品質を評価し、前記画像合成部が、前記品質評価部による品質の種類に応じて異なる態様で品質を表示する情報を重畳してもよい。
このようにすることで、合成画像上に重畳される情報の態様に応じて、品質の種類を一目で見分けることができる。

また、上記態様においては、前記画像合成部が、品質を表示する情報として記号を重畳してもよい。
このようにすることで、貼り合わせ画像上に重畳された記号によりその位置の部分画像の品質を一目で確認することができる。

また、本発明の他の態様は、標本の各部を部分的に撮影して取得された複数枚の部分画像が入力され、各該部分画像の品質を評価する品質評価ステップと、入力された複数枚の前記部分画像を貼り合わせて貼り合わせ画像を生成する画像貼り合わせステップと、該画像貼り合わせステップにより生成された前記貼り合わせ画像の少なくとも１つの前記部分画像に対応する位置に、前記品質評価ステップにより評価された品質を表示する情報を重畳して合成画像を生成する画像合成ステップとを含む画像処理方法を提供する。

また、本発明の他の態様は、標本の各部を部分的に撮影して取得された複数枚の部分画像が入力され、各該部分画像の品質を評価する品質評価ステップと、入力された複数枚の前記部分画像を貼り合わせて貼り合わせ画像を生成する画像貼り合わせステップと、該画像貼り合わせステップにより生成された前記貼り合わせ画像の少なくとも１つの前記部分画像に対応する位置に、前記品質評価ステップにより評価された品質を表示する情報を重畳して合成画像を生成する画像合成ステップとをコンピュータに実行させる画像処理プログラムを提供する。

また、本発明の他の態様は、前記部分画像を取得する画像取得部と、上記いずれかの画像処理装置と、該画像処理装置により生成された前記合成画像を表示する画像表示部とを備える観察システムを提供する。

上記態様においては、操作者による操作入力を受け付ける入力部と、該入力部、前記画像処理装置および前記画像表示部に接続され、前記入力部に入力された操作入力に応じて前記画像貼り合わせ部により生成された前記貼り合わせ画像または前記画像合成部により生成された前記合成画像のいずれかを前記画像表示部に表示させるように切り替える表示画像切替部とを備えてもよい。

本発明によれば、ＶＳ画像において標本の状態等により部分的に品質の高い画像が取得できない場合であっても、当該部分の標本への適切な対応を可能にしつつ、短時間で標本全体の画像を生成することができるという効果を奏する。

本発明の一実施形態に係る観察システムを示す全体構成図である。 図１の観察システムに備えられる画像処理装置を示すブロック図である。 図２の画像処理装置により生成される貼り合わせ画像の一例を示す図である。 図２の画像処理装置により生成される合成画像の一例を示す図である。 図２の画像処理装置による画像処理方法を説明するフローチャートである。 図２の画像処理装置の変形例を示すブロック図である。

本発明の一実施形態に係る画像処理装置３および観察システム１について、図面を参照して以下に説明する。
本実施形態に係る観察システム１は、図１に示されるように、顕微鏡（画像取得部）２と、顕微鏡２により取得された画像を処理する画像処理装置３と、該画像処理装置３により処理された画像を表示するモニタ（画像表示部）４とを備えている。画像処理装置３には、該画像処理装置３により生成された画像を記憶するサーバ５がローカルエリアネットワーク６を介して接続され、ローカルエリアネットワーク６には他の１以上の端末装置７が接続されている。また、サーバ５にはインターネット８を介して他のサーバ５または端末装置７が接続されている。

顕微鏡２は、標本Ｘの各部を部分的に撮影した複数枚の部分画像（図３参照）Ａを取得して、部分画像Ａとその位置情報とを画像処理装置３に出力するようになっている。
画像処理装置３は、図２に示されるように、顕微鏡２から逐次送られてくる部分画像Ａの画像品質を評価する第１評価部（品質評価部）９と、顕微鏡２から逐次送られてきた部分画像Ａを貼り合わせて、図３に示されるような貼り合わせ画像Ｂを生成する画像貼り合わせ部１０と、貼り合わせた部分画像Ａと隣接する画像との位置合わせ品質を評価する第２評価部（品質評価部）１１と、貼り合わせた部分画像Ａの評価された画像品質および位置合わせ品質を部分画像Ａの位置情報に対応づけて記憶する記憶部１２と、生成された貼り合わせ画像Ｂに画像品質および位置合わせ品質に表示する情報を重畳して図４に示されるような合成画像Ｃを生成する画像合成部１３とを備えている。

第１評価部９は、送られてきた部分画像Ａに存在するボケを、公知の方法、例えば、部分画像Ａ全体の輝度値を用いて検出し、部分画像Ａ中に所定以上のボケが存在する場合には、画像品質が基準を満たしていないと評価するようになっている。そして、画像品質が基準を満たしていない部分画像Ａについては、その旨とその部分画像Ａの位置情報とを対応づけて記憶部１２に記憶させるようになっている。

また、第２評価部１１は、画像貼り合わせ部１０により生成された貼り合わせ画像Ｂにおいて、最後に貼り合わせた部分画像Ａと当該部分画像Ａに隣接する他の部分画像Ａとの間のズレを画像処理によって検出し、所定以上のズレが存在する場合には、位置合わせ品質が基準を満たしていないと評価するようになっている。そして、位置合わせ品質が基準を満たしていない部分画像Ａについては、その旨とその部分画像Ａの位置情報と、ズレが生じている相手の部分画像Ａの位置情報とを対応づけて記憶部１２に記憶させるようになっている。

画像合成部１３には、最終的に生成された貼り合わせ画像Ｂと、記憶部１２に記憶された品質を表す情報とが入力されるようになっている。画像合成部１３は、画像品質が基準を満たしていないと評価された部分画像Ａについては、図４に示されるように、その部分画像Ａに対応づけて記憶されている位置情報によって、その部分画像Ａを取り囲む位置に矩形の枠を貼り合わせ画像Ｂに重畳するようになっている。

また、画像合成部１３は、位置合わせ品質が基準を満たしていないと評価された部分画像Ａについては、図４に示されるように、その部分画像Ａに対応づけて記憶されているその部分画像Ａとズレが生じている相手の部分画像Ａの位置情報に基づいて、部分画像Ａの境界に境界線（図中、太線）を貼り合わせ画像Ｂに重畳するようになっている。

このように構成された本実施形態に係る画像処理装置３を用いた画像処理方法について以下に説明する。
本実施形態に係る画像処理装置３を用いて合成画像Ｃを生成するには、図５に示されるように、顕微鏡２により標本Ｘの撮影が行われ（ステップＳ１）、取得された部分画像Ａが入力されてくる毎に、第１評価部９によって部分画像Ａの画像品質が評価され、所定の基準を満たす画像品質であるか否かが判定される（品質評価ステップＳ２）。

画像品質が基準を満たさない場合には、その部分画像Ａの位置を示す情報、例えば、部分画像Ａの位置座標あるいは撮影順序を示す番号等が、画像品質が基準を満たしていない旨を示す情報とともに記憶部１２に記憶される（ステップＳ３）。
次に、部分画像Ａの貼り合わせ可能な必要枚数に達したか否かが判定され（ステップＳ４）、必要枚数に達していない場合にはステップＳ１からの工程が繰り返される。

必要枚数に達した場合には、画像貼り合わせ部１０において貼り合わせ画像Ｂの生成が開始され（画像貼り合わせステップＳ５）、１つの部分画像Ａの貼り合わせが行われる毎に、貼り合わせられる相手の部分画像Ａとの位置合わせ品質が評価され、位置合わせ品質が所定の基準を満たすか否かが判定される（ステップＳ６）。
ここで、取得された１つの部分画像Ａは、貼り合わせられる相手の部分画像Ａすなわち隣接する部分画像Ａが複数存在する場合、全ての相手の部分画像Ａに対して、位置合わせ品質が判定される。

位置合わせ品質が基準を満たさない場合には、その部分画像Ａの位置を示す情報とズレが発生している相手の部分画像Ａの位置を示す情報とが、位置合わせ品質が基準を満たしていない旨を示す情報とともに記憶部１２に記憶される（ステップＳ７）。
そして、全ての部分画像Ａが取得されたか否かが判定され（ステップＳ８）、終了していない場合にはステップＳ１からの工程が繰り返される。

ステップＳ８において全ての部分画像Ａが取得されたと判定された場合には、画像貼り合わせ部１０において生成された最終的な貼り合わせ画像Ｂと、記憶部１２に記憶されている品質を示す情報とが画像合成部１３において重畳されて合成画像Ｃが生成される（画像合成ステップＳ９）。生成された合成画像Ｃはモニタ４に表示される（ステップＳ１０）。
品質を示す情報は、部分画像Ａまたは貼り合わせ画像Ｂに組み込まれ、サーバ５に記憶される。

観察者は、モニタ４に表示された合成画像Ｃを見ることにより、何らかの理由によって画像品質が悪い部分画像Ａの位置を矩形によって一目で確認することができるとともに、何らかの理由によって位置合わせ品質が悪くズレが発生している部分画像Ａの位置を、隣接する部分画像Ａとの間に引かれた境界線によって一目で確認することができるという利点がある。

これにより、従来のように、品質の悪い部分画像Ａを自動的に撮り直す場合とは異なり、貼り合わせ画像Ｂにおいて標本Ｘの状態等により部分的に品質の高い画像が取得できない場合であっても、当該部分画像Ａを観察対象から除外する等の適切な対応を可能にしつつ、短時間で標本Ｘ全体の貼り合わせ画像Ｂを生成することができるという利点がある。

なお、本実施形態においては、図６に示されるように、操作者による操作入力を受け付ける入力部１４と、入力部１４に入力された操作入力に応じて画像貼り合わせ部１０により生成された貼り合わせ画像Ｂまたは画像合成部１３により生成された合成画像Ｃのいずれかをモニタ４に表示させるように切り替える表示画像切替部１５とを備えていてもよい。
品質を表示する情報が観察の邪魔になる場合があるため、操作者の意思により品質を表示する情報を伴わない貼り合わせ画像Ｂのみを表示させることができる。
ここで、最初に貼り合わせ画像Ｂをモニタ４に表示させて、その後の操作者による入力部１４の操作入力に応じて、表示画像切替部１５で貼り合わせ画像Ｂから合成画像Ｃに表示を切り替えるようにしてもよい。

この場合に、操作者により入力される操作入力としては、直接的な表示切替を指示する入力であってもよいし、例えば、ズーム倍率を増減させる入力であってもよい。この場合に、ズーム倍率が所定倍率以下では合成画像Ｃを表示し、所定倍率を超える場合には品質を表示する情報を伴わない貼り合わせ画像Ｂのみを表示させることにしてもよい。例えば、所定倍率としては光学倍率を上げることができ、ズーム倍率が光学倍率以下である場合には合成画像Ｃを表示し、ズーム倍率が光学倍率を超えるデジタルズームとなった場合には品質を表示する情報を伴わない貼り合わせ画像Ｂのみを表示させることにしてもよい。

また、本実施形態においては、画像品質が悪い部分画像Ａを表示するために当該部分画像Ａを取り囲む矩形枠を例示したが、これに限定されるものではなく、円形、楕円形、フリーハンド線等任意の形状の枠により囲むことにしてもよい。また、枠に代えてフラグ等の任意のアイコンによって表示することにしてもよい。

また、部分画像Ａを取り囲む枠や境界線の表示色を標本Ｘの染色等に応じてカスタマイズすることができることにしてもよい。例えば、ＨＥ染色（ヘマトキシリン・エオジン重染色）である場合には表示色を赤とし、ＩＨＣ染色（免疫組織化学染色）である場合には表示色を緑にする等である。これにより、枠や境界線を目立たせることができ、一目で確認することができる。

また、本実施形態においては、画像品質が悪いと評価された部分画像Ａのみを枠により取り囲むこととしたが、これに代えて、部分画像Ａおよびその部分画像Ａに隣接する他の部分画像Ａを枠により取り囲むことにしてもよい。これにより、画像品質が悪いと評価された部分画像Ａのみならずその周辺の部分画像Ａについても操作者に確認させることができる。
また、画像品質の評価および位置合わせ品質の評価については、機械学習を用いて実施することにしてもよい。
さらに、部分画像Ａまたは貼り合わせ画像Ｂに組み込まれた品質を示す情報に基づいて、さらなる画像処理や画像解析等が行われてもよい。

また、本実施形態においては、画像処理装置３をハードウェアにより構成した場合について例示したが、これに代えて、上記画像処理方法をコンピュータに実行させる画像処理プログラムとして発明を概念することもできる。この場合には、第１評価部９、画像貼り合わせ部１０、第２評価部１１および画像合成部１３はプロセッサにより構成され、記憶部１２はメモリにより構成されていればよい。

１ 観察システム
２ 顕微鏡（画像取得部）
３ 画像処理装置
４ 画像表示部
９ 第１評価部（品質評価部）
１０ 画像貼り合わせ部
１１ 第２評価部（品質評価部）
１３ 画像合成部
１４ 入力部
１５ 表示画像切替部
Ａ 部分画像
Ｂ 貼り合わせ画像
Ｃ 合成画像
Ｘ 標本
Ｓ２ 品質評価ステップ
Ｓ５ 画像貼り合わせステップ
Ｓ９ 画像合成ステップ

Claims (13)

1. 標本の各部を部分的に撮影して取得された複数枚の部分画像が入力され、各該部分画像の品質を評価する品質評価部と、
   入力された複数枚の前記部分画像を貼り合わせて貼り合わせ画像を生成する画像貼り合わせ部と、
   該画像貼り合わせ部により生成された前記貼り合わせ画像の少なくとも１つの前記部分画像に対応する位置に、前記品質評価部により評価された品質を表示する情報を重畳して合成画像を生成する画像合成部とを備える画像処理装置。
2. 前記品質評価部が、各前記部分画像自体の画像品質を評価する請求項１に記載の画像処理装置。
3. 前記画像合成部が、いずれかの前記部分画像自体の画像品質が所定の基準を満たさない場合に、品質を表示する情報として当該部分画像を取り囲む枠を前記貼り合わせ画像に重畳する請求項２に記載の画像処理装置。
4. 前記画像合成部が、いずれかの前記部分画像自体の画像品質が所定の基準を満たさない場合に、当該部分画像および該部分画像に隣接する前記部分画像を取り囲む枠を前記貼り合わせ画像に重畳する請求項２または請求項３に記載の画像処理装置。
5. 前記品質評価部が、各前記部分画像と該部分画像に隣接する他の部分画像との位置合わせ品質を評価する請求項１から請求項４のいずれかに記載の画像処理装置。
6. 前記画像合成部が、前記位置合わせ品質が所定の基準を満たさない場合に、品質を表示する情報として前記他の部分画像との境界線を前記貼り合わせ画像に重畳する請求項５に記載の画像処理装置。
7. 前記画像合成部が、前記位置合わせ品質が所定の基準を満たさない場合に、品質を表示する情報として当該部分画像および前記他の部分画像を取り囲む枠を前記貼り合わせ画像に重畳する請求項５または請求項６に記載の画像処理装置。
8. 前記品質評価部が、複数の異なる種類の品質を評価し、
   前記画像合成部が、前記品質評価部による品質の種類に応じて異なる態様で品質を表示する情報を重畳する請求項１から請求項７のいずれかに記載の画像処理装置。
9. 前記画像合成部が、品質を表示する情報として記号を重畳する請求項１に記載の画像処理装置。
10. 標本の各部を部分的に撮影して取得された複数枚の部分画像が入力され、各該部分画像の品質を評価する品質評価ステップと、
    入力された複数枚の前記部分画像を貼り合わせて貼り合わせ画像を生成する画像貼り合わせステップと、
    該画像貼り合わせステップにより生成された前記貼り合わせ画像の少なくとも１つの前記部分画像に対応する位置に、前記品質評価ステップにより評価された品質を表示する情報を重畳して合成画像を生成する画像合成ステップとを含む画像処理方法。
11. 標本の各部を部分的に撮影して取得された複数枚の部分画像が入力され、各該部分画像の品質を評価する品質評価ステップと、
    入力された複数枚の前記部分画像を貼り合わせて貼り合わせ画像を生成する画像貼り合わせステップと、
    該画像貼り合わせステップにより生成された前記貼り合わせ画像の少なくとも１つの前記部分画像に対応する位置に、前記品質評価ステップにより評価された品質を表示する情報を重畳して合成画像を生成する画像合成ステップとをコンピュータに実行させる画像処理プログラム。
12. 前記部分画像を取得する画像取得部と、
    請求項１から請求項９のいずれかに記載の画像処理装置と、
    該画像処理装置により生成された前記合成画像を表示する画像表示部とを備える観察システム。
13. 操作者による操作入力を受け付ける入力部と、
    該入力部、前記画像処理装置および前記画像表示部に接続され、前記入力部に入力された操作入力に応じて前記画像貼り合わせ部により生成された前記貼り合わせ画像または前記画像合成部により生成された前記合成画像のいずれかを前記画像表示部に表示させるように切り替える表示画像切替部とを備える請求項１２に記載の観察システム。
    
    

Images