JP2023033982A - 画像処理装置、画像処理システム、画像の鮮鋭化方法、及び、プログラム - Google Patents

Abstract

【課題】画像全体を適切に鮮鋭化する。【解決手段】画像処理装置１００は、画像を構成する複数の領域を複数のクラスに分類する分類部１３０と、複数の領域を分類されたクラス毎に決定した強度で鮮鋭化する鮮鋭化処理部１４０と、を備える。【選択図】図２

Description

本明細書の開示は、画像処理装置、画像処理システム、画像の鮮鋭化方法、及び、プログラムに関する。

近年、病理診断や工業部品の検査において顕微鏡で取得されるデジタル画像の利用が進んでいる。しかしながら、顕微鏡で取得されるデジタル画像を利用した観察では、肉眼での観察に比較して、光学系の被写界深度の浅さに起因するボケや物点から像面までの間に生じるわずかな光学的な不均質が、鮮鋭度やコントラストの低下として視認されやすい。

このような課題に関連する画像処理技術は、例えば、特許文献１に記載されている。特許文献１に記載されるアンシャープマスク処理を用いることで、元画像に任意の強度で空間周波数の高周波成分を加算し、鮮鋭化された画像を得ることができる。

特開２００１－０５３９７４号公報

ところで、特許文献１に記載の技術では、画像全体に対して一律に鮮鋭化処理が行われる。このため、画像内の鮮鋭度の高い領域では、過剰に鮮鋭度が強調され、粒状性が劣化（つまり、粒状性ノイズの目立つ）してしまうことがある。また、画像内の鮮鋭度の低い領域は、鮮鋭度が十分に改善せずにボケてしまうことがある。

なお、以上では顕微鏡画像を例に説明したが、一律に行われる鮮鋭化処理による弊害は、顕微鏡画像に限らず任意のデジタル画像において生じ得る。

以上のような実情を踏まえ、本発明の一側面に係る目的は、画像全体を適切に鮮鋭化する技術を提供することである。

本発明の一態様に係る画像処理装置は、画像を構成する複数の領域を複数のクラスに分類する分類部と、前記複数の領域を、分類されたクラス毎に決定した強度で鮮鋭化する鮮鋭化処理部と、を備える。

本発明の一態様に係る画像処理システムは、上記の態様の画像処理装置と、標本を撮影して前記画像を取得する撮影装置と、を備える。

本発明の一態様に係る画像の鮮鋭化方法は、画像を構成する複数の領域を複数のクラスに分類し、前記複数の領域を、分類されたクラス毎に決定した強度で鮮鋭化する。

本発明の一態様に係るプログラムは、コンピュータに、画像を構成する複数の領域を複数のクラスに分類し、前記複数の領域を、分類されたクラス毎に決定した強度で鮮鋭化する、処理を実行させる。

上記の態様によれば、画像全体を適切に鮮鋭化することができる。

一実施形態に係る画像処理システム１の構成を例示した図である。 一実施形態に係る画像処理装置１００の機能的構成を示す機能ブロック図である。 画像処理装置１００が行う処理のフローチャートの一例である。 鮮鋭化画像の生成方法について説明するための図である。 領域Ｒのサイズについて説明するための図である。 第１の実施形態に係る画像処理装置１０１の機能的構成を示す機能ブロック図である。 画像処理装置１０１が行う処理のフローチャートの一例である。 第２の実施形態に係る画像処理装置１０２の機能的構成を示す機能ブロック図である。 第３の実施形態に係る画像処理装置１０３の機能的構成を示す機能ブロック図である。 第４の実施形態に係る画像処理装置１０４の機能的構成を示す機能ブロック図である。 第５の実施形態に係る画像処理装置１０５の機能的構成を示す機能ブロック図である。 画像処理装置１０５を含む画像処理システムが行う処理のフローチャートの一例である。 画像処理装置１０５を含む画像処理システムが行う処理のフローチャートの別の例である。 第６の実施形態に係る画像処理装置１０６の機能的構成を示す機能ブロック図である。 第７の実施形態に係る画像処理装置１０７の機能的構成を示す機能ブロック図である。 画像処理装置を実現するためのコンピュータ２００のハードウェア構成を例示した図である。

図１は、一実施形態に係る画像処理システム１の構成を例示した図である。まず、図１を参照しながら、図１に示す画像処理システム１の構成について説明する。画像処理システム１は、図１に示すように、ネットワーク３０を経由して互いに接続された、画像処理装置１００と、１つ以上の撮影装置１０と、１つ以上のクライアント端末２０を含んでいる。

ネットワークの種類は、特に限定しない。ネットワークは、例えば、インターネットなどの公衆回線であってもよく、専用回線であってもよく、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）であってもよい。画像処理装置１００、撮影装置１０、及びクライアント端末２０の接続は、有線接続であっても、無線接続であってもよい。

画像処理装置１００は、入力された画像に対して鮮鋭度（ｓｈａｒｐｎｅｓｓ）を強調する処理を行い、鮮鋭化された画像（以降、鮮鋭化画像と記す。）を出力する装置である。画像処理装置１００では、画像全体を一律に鮮鋭化するのではなく、画像を構成する領域をクラス分けして各領域をクラスに応じた強度で鮮鋭化する。これにより、入力画像に鮮鋭度の高い領域と鮮鋭度の低い領域が混在している場合であっても、画像全体が適切に鮮鋭化された鮮鋭化画像を生成することができる。画像処理装置１００の詳細については、後述する。

撮影装置１０は、標本を撮影して、画像処理装置１００へ入力する画像を取得する装置である。撮影装置１０で生成された標本の画像は、例えば、撮影装置１０からネットワーク３０を経由して画像処理装置１００へ出力される。ただし、撮影装置１０で生成された画像は、その他の装置や記録媒体を介して画像処理装置１００へ入力されてもよい。

撮影装置１０は、標本を撮影してデジタル画像を生成する装置であればよい。撮影装置１０は、例えば、顕微鏡装置１１を含んでもよい。また、撮影装置１０は、インキュベータ内に置かれて培養容器内の標本をタイムラプス撮影する観察装置１２を含んでもよい。撮影装置１０は、デジタルカメラ１３を含んでもよく、さらに、例えば、スマートフォンや内視鏡などその他の任意の撮影装置を含んでもよい。

クライアント端末２０は、ユーザが操作する端末であり、入力装置と表示装置を有している。画像処理装置１００は、例えば、クライアント端末２０からの要求に応じて、クライアント端末２０へ鮮鋭化画像を出力してもよい。

クライアント端末２０は、例えば、ノートパソコンのようなポータブルタイプのクライアント端末２１であってもよく、タブレットやスマートフォンのようなモバイルタイプのクライアント端末２２であってもよい。また、デスクトップパソコンのような据置タイプのクライアント端末２３であってもよい。

なお、図１では、撮影装置１０とクライアント端末２０と画像処理装置１００が異なるロケーションにある別々の装置である場合を例に示したが、画像処理システム１は、これらの機能を有していればよく、具体的な構成はこの例に限らない。画像処理システム１は、例えば、顕微鏡装置と顕微鏡制御装置とを含む顕微鏡システムであってもよく、顕微鏡装置で取得した画像を顕微鏡制御装置で鮮鋭化し、生成された鮮鋭化画像を顕微鏡制御装置が備える表示装置に表示してもよい。

図２は、一実施形態に係る画像処理装置１００の機能的構成を示す機能ブロック図である。図３は、画像処理装置１００が行う処理のフローチャートの一例である。図４は、鮮鋭化画像の生成方法について説明するための図である。図５は、領域Ｒのサイズについて説明するための図である。以下、図２から図５を参照しながら、後述する各実施形態に係る画像処理装置に共通する構成と画像の鮮鋭化方法について、画像処理装置１００を例にして説明する。

画像処理装置１００は、図２に示すように、取得部１１０と、分割部１２０と、分類部１３０と、鮮鋭化処理部１４０と、出力部１５０を備えている。

図３に示す処理が開始されると、画像処理装置１００では、まず、取得部１１０は、撮影装置１０で撮影した標本の画像を取得する（ステップＳ１）。ここでは、取得部１１０は、例えば、画像処理装置１００の図示しない補助記憶装置に記憶されている図４の画像４１を図示しない主記憶装置に読み出す。画像４１は、例えば、顕微鏡装置１１で撮影した病理標本の画像である。画像４１には、多数の細胞が密集して存在する様子が示されている。

取得部１１０で画像が取得されると、分割部１２０は、取得部１１０が取得した画像を複数の領域に分割する（ステップＳ２）。ここでは、分割部１２０は、例えば、画像４１を一定のサイズで複数の領域Ｒに分割する。一定のサイズは、特に限定しないが、図４の領域情報４２に示すように、それぞれの領域がｎ×ｎピクセルの大きさの正方領域（領域Ｒ）となるように画像４１に対して領域分割が行われてもよい。また、一定のサイズは、例えば、図５に示すように、少なくとも１つ以上の細胞を含むサイズであることが望ましい。この点について後に詳述する。

画像が複数の領域に分割されると、分類部１３０は、画像を構成する複数の領域を複数のクラスに分類する（ステップＳ３）。ここでは、分類部１３０は、例えば、図４のクラス情報４３に示すように、複数の領域Ｒのそれぞれに複数のクラスのいずれかを割り当てる。分類部１３０で分類されるクラス数については、特に限定しない。ただし、後述するように、鮮鋭化処理の処理回数は、クラス数に依存し、クラス数が多いほど処理回数も増加する。このため、クラス数は多すぎないことが望ましい。なお、図４のクラス情報４３は、複数の領域Ｒを４つのクラスに分類した例を示している。

領域がクラスに分類されると、鮮鋭化処理部１４０は、複数の領域を、分類されたクラス毎に決定した強度で鮮鋭化する（ステップＳ４）。ここでは、鮮鋭化処理部１４０は、例えば、画像４１の各領域Ｒがその領域Ｒが割り当てられたクラスに応じた強度で鮮鋭化されるように、画像４１に対してアンシャープマスクなどの輪郭強調処理を行い、鮮鋭化画像４４を生成する。なお、画像４１を画像４１中の領域に応じて異なる強度で鮮鋭化する具体的な方法は特に限定しない。例えば、複数の領域Ｒが４つのクラスに分類されている場合であれば、画像４１を各クラスに対応する４個の異なる強度（例えば、強、中、弱、微弱）で鮮鋭化して４枚のクラス画像を生成し、生成された４枚のクラス画像の各々から当該クラスの割り当てられた領域の情報を抽出して合成することで、１枚の鮮鋭化画像４４を生成してもよい。なお、鮮鋭化処理部１４０が決定する強度は、１倍に鮮鋭化する強度も含まれる。１倍で鮮鋭化する場合、鮮鋭化処理部１４０は鮮鋭化処理を省略してもよい。

鮮鋭化画像が生成されると、出力部１５０は、鮮鋭化画像を出力する（ステップＳ５）。ここでは、出力部１５０は、例えば、クライアント端末２０へ鮮鋭化画像４４を出力する。画像処理装置１００から鮮鋭化画像を受信したクライアント端末２０では、例えば、鮮鋭化画像４４をクライアント端末２０の表示装置に表示する。

以上のように構成された画像処理装置１００では、画像を構成する複数の領域が複数のクラスに分類されて、分類されたクラスに応じた強度で複数の領域が鮮鋭化される。これにより、画像内に鮮鋭度の高い領域と低い領域が混在している場合であっても領域毎に適切な強度で鮮鋭化することができる。従って、特定の領域が過剰に鮮鋭化される若しくは十分に鮮鋭化されないといった事態を回避して、画像全体を適切に鮮鋭化することができる。

また、画像処理装置１００では、クラスへの分類が画像の最小単位であるピクセル単位ではなく領域単位で行われる。この特徴は、画像処理装置１００が画像を適切に鮮鋭化することに大きく貢献する。以下、この点について具体的に説明する。

画像中の鮮鋭度の違いは、様々な要因によって生じる。例えば、顕微鏡画像の場合、一般に光軸付近は収差が良好に補正されていて鮮鋭度も高いのに対して、視野周辺部分では収差の影響で画像がボケやすく鮮鋭度が低くなる。このような装置の性能に起因する鮮鋭度の違いは、ピクセル単位よりも大きな単位で生じるのが通常である。また、標本が光学系に対して傾いて配置されている場合にも、合焦度合いの違いによって鮮鋭度が高い領域と低い領域が生じ得る。このような標本の置き方に代表される撮影環境に起因する鮮鋭度の違いも、装置性能の起因するものと同様に、ピクセル単位よりも大きな単位で生じる。これらの鮮鋭度の違いは、標本に良好に観察するという目的に照らすと、鮮鋭化処理の過程でその違いが小さくなるよう補正されることが望ましい。

一方で、観察対象である標本そのものに起因する鮮鋭度の違いは、必ずしも補正されることは望ましくはなく、むしろそのまま違いを維持することが望ましい場合がある。図５に示す細胞を例にすると、細胞の構造によって細胞内で鮮鋭度に差異が生じ得る。具体的には、細胞膜に比べて細胞核はコントラスト良く可視化される傾向があるなど、細胞内でも鮮鋭度が高い領域と低い領域が生じる。しかしながら、このような細胞の構造によって生じる鮮鋭度の違いは、細胞の構造そのものを表現していると考えられるため、この違いを鮮鋭度処理によって補正することは必ずしも望ましくない。なお、構造に起因する鮮鋭度の違いは、観察倍率にも依存するがピクセル単位若しくはそれに近い単位で生じる。

そこで、画像処理装置１００は、補正すべき鮮鋭度の違いと補正すべきでない鮮鋭度の違いとの単位、つまり、空間的な大きさ、の違いを利用することで、補正すべき鮮鋭度の違いのみを良好に補正する。具体的には、標本の構造などに起因する補正すべきでない鮮鋭度の違いは、装置や環境などに起因する補正すべき鮮鋭度の違いに比べて小さな単位で生じるという関係を利用する。より具体的には、画像処理装置１００は、上述した大きな単位よりも小さく且つ上述した小さな単位よりも大きい中間的な単位で画像を分割し、画像が分割されることで得られる複数の領域のそれぞれをクラスへ分類し、クラスに応じた強度でそのクラスに分類された領域に対して鮮鋭化処理を実行する。

このように、ピクセルではなく領域を最小単位として鮮鋭化処理を実行することで、少なくとも１領域内は同じ強度で一律に鮮鋭化される。このため、細胞など領域よりも小さな対象については、その構造に起因する鮮鋭度の違いが維持されたまま適切に鮮鋭化することができる。また、装置性能や撮影環境に起因する鮮鋭度の違いは、領域単位で強度を変更して鮮鋭化処理を行うことで、鮮鋭度の違いが小さくなるように補正することができる。

以下、本発明の各実施形態について具体的に説明する。
［第１の実施形態］
図６は、本実施形態に係る画像処理装置１０１の機能的構成を示す機能ブロック図である。図７は、画像処理装置１０１が行う処理のフローチャートの一例である。

画像処理装置１０１は、図６に示すように、画像に基づいて複数の領域の鮮鋭度を検出する検出部１６０を備える点が、画像処理装置１００とは異なっている。検出部１６０は、さらに、画像の鮮鋭度分布を算出する算出部１６１と、算出部１６１で算出した鮮鋭度分布に基づいて複数の領域の鮮鋭度を決定する決定部１６２と、を備えている。

以上のように構成された画像処理装置１０１が図７に示す処理を開始すると、まず、取得部１１０は、撮影装置１０で撮影した標本の画像を取得する（ステップＳ１１）。この処理は、図３のステップＳ１の処理と同様である。

次に、分割部１２０は、ステップＳ１１で取得した画像を所定のサイズで複数の領域に分割する（ステップＳ１２）。この所定サイズは、予め決められたサイズであり、例えば、ｎ×ｎピクセルである。

その後、算出部１６１は、ステップＳ１１で取得した画像の鮮鋭度分布を算出する（ステップＳ１３）。ここでは、算出部１６１は、例えば、画像に対する平滑化微分処理を行う。平滑化しながらエッジを抽出することで、ノイズの影響を抑えた鮮鋭度分布を算出することができる。具体的には、ソーベルフィルタを用いることができるが、例えば、ケニーのエッジ検出アルゴリズムなど、他のエッジ検出方法を用いて鮮鋭度分布を算出してもよい。

なお、画像がカラー画像である場合には、カラー画像をグレースケール画像に変換して、得られたグレースケール画像に対して鮮鋭度分布を算出してもよい。

鮮鋭度分布が検出されると、決定部１６２が、鮮鋭度分布に基づいて複数の領域の鮮鋭度を決定する（ステップＳ１４）。ここでは、決定部１６２は、例えば、分割部１２０で特定された複数の領域の各々において、その領域内の鮮鋭度に対する平均化処理を行う。つまり、決定部１６２は、領域内の各位置の鮮鋭度の平均値をその領域の鮮鋭度に決定する。なお、領域の鮮鋭度は、その領域の鮮鋭度分布を代表する値であればよく、必ずしも平均値には限らない。例えば、中央値や最頻値などを用いてもよい。

領域毎の鮮鋭度が決定されると、分類部１３０は、ステップＳ１４で決定した複数の領域の鮮鋭度に応じて、複数の領域を複数のクラスに分類する（ステップＳ１５）。ここでは、分類部１３０は、例えば、予め決められた閾値を基準にして複数の領域を複数のクラスへ分類する。即ち、閾値と領域の鮮鋭度を比較することでその領域を複数のクラスのいずれかに分類する。閾値には、絶対値（例えば、鮮鋭度１００など）が用いられてもよく、相対値（例えば、最大の鮮鋭度と最小の鮮鋭度の差の１／２）が用いられてもよい。

なお、ステップＳ１５の出力結果の一例として、例えば、クラス数と同数で、且つ、それぞれが複数の領域に対応する複数のピクセルで構成されたフィルタが生成されてもよい。この場合、各フィルタのピクセルは、対応するクラスの分類された領域（０）とそれ以外（１）が識別するバイナリデータである。

クラスへの分類が行われると、鮮鋭化処理部１４０は、複数の領域を、クラス毎に、そのクラスに分類された領域の鮮鋭度に応じた強度で鮮鋭化する（ステップＳ１６）。ここでは、鮮鋭化処理部１４０は、例えば、複数の領域を、分類されたクラス毎に、そのクラスに分類された領域の鮮鋭度が低いほど高い強度で鮮鋭化することで、鮮鋭化画像を生成する。より具体的には、鮮鋭度に反比例する強度で各領域を鮮鋭化してもよい。

なお、ステップＳ１６では、画像全体をクラスに応じた強度で鮮鋭化することで、クラス数と同数の画像を生成してもよい。その後、各クラスに対応する画像に対してステップＳ１５で生成した各クラスに対応するフィルタを用いてそのクラスに分類された領域の情報のみを抽出してもよい。具体的には、例えば、各クラスに対応する画像を各クラスに対応するフィルタでフィルタリングし、フィルタリング後の画像をクラスに対応する画像から減算することで、そのクラスに分類された領域の情報のみを抽出してもよい。フィルタクラス毎に抽出された情報を合成することで、１枚の鮮鋭化画像を生成してもよい。

鮮鋭化画像が生成されると、出力部１５０は、鮮鋭化画像を出力する（ステップＳ１７）。この処理は、図３のステップＳ５の処理と同様である。

本実施形態に係る画像処理装置１０１によっても、画像処理装置１００と同様に、画像全体を適切に鮮鋭化することができる。また、画像処理装置１０１によれば、画像の鮮鋭度分布に基づいて複数の領域が分類されるため、鮮鋭化対象の画像の鮮鋭度を反映した分類が可能となる。さらに、領域の鮮鋭度に応じた強度で各領域が鮮鋭化されることで、領域間の鮮鋭度差を良好に抑制することが可能となる。

［第２の実施形態］
図８は、本実施形態に係る画像処理装置１０２の機能的構成を示す機能ブロック図である。画像処理装置１０２は、図８に示すように、分割部１２０、分類部１３０、及び鮮鋭化処理部１４０の動作パラメータを設定する設定部１７０を備える点が、第１の実施形態に係る画像処理装置１０１とは異なっている。その他の構成は、画像処理装置１０１と同様である。

設定部１７０は、ユーザからの入力に応じて動作パラメータを設定し、例えば、各動作パラメータにユーザが指定した値を設定する。具体的には、分割部１２０における分割処理で使用される動作パラメータである領域サイズ、分類部１３０における分類処理で使用される動作パラメータであるクラス数や閾値、鮮鋭化処理部１４０における鮮鋭化処理で使用される動作パラメータである鮮鋭化強度を決定するための係数などをユーザの指定に応じて設定してもよい。また、特定のクラスについては鮮鋭化処理自体を省略することを設定してもよい。

本実施形態に係る画像処理装置１０２によっても、画像処理装置１０１と同様に、画像全体を適切に鮮鋭化することが可能であり、領域間の鮮鋭度差を良好に抑制することが可能となる。また、画像処理装置１０２によれば、設定部１７０で動作パラメータを調整することができるため、画像（標本）の特性やユーザの好みに合わせて画像を鮮鋭化することができる。

なお、画像処理装置１０２では、設定部１７０が分割部１２０と分類部１３０と鮮鋭化処理部１４０の動作パラメータを設定する例を示したが、設定部１７０は、少なくともこれらのいずれかの動作パラメータを設定すればよい。

［第３の実施形態］
図９は、本実施形態に係る画像処理装置１０３の機能的構成を示す機能ブロック図である。画像処理装置１０３は、図９に示すように、画像に基づいて複数の領域の鮮鋭度を検出する検出部１６０を備える点は、第１の実施形態に係る画像処理装置１０１と同様であり、検出部１６０で検出した複数の領域の鮮鋭度が分類部１３０で使用される点も、画像処理装置１０１と同様である。ただし、画像処理装置１０３は、検出部１６０で検出した複数の領域の鮮鋭度が鮮鋭化処理部１４０では使用されない点が、画像処理装置１０１とは異なっている。

画像処理装置１０３では、鮮鋭化処理部１４０は、複数の領域を、複数の領域の鮮鋭度に応じて分類されたクラス毎に、例えば、予め決められた強度で鮮鋭化する。なお、鮮鋭化処理部１４０は、領域の鮮鋭度に反比例するなど領域の鮮鋭度を直接的に反映はしないものの、鮮鋭度が高い領域ほど予め決められた低い強度でその領域を鮮鋭化することが望ましい。

本実施形態に係る画像処理装置１０３によっても、画像処理装置１０１と同様に、画像全体を適切に鮮鋭化することが可能であり、領域間の鮮鋭度差を良好に抑制することが可能となる。

［第４の実施形態］
図１０は、本実施形態に係る画像処理装置１０４の機能的構成を示す機能ブロック図である。画像処理装置１０４は、図１０に示すように、画像に基づいて複数の領域の鮮鋭度を検出する検出部１６０を備える点は、第１の実施形態に係る画像処理装置１０１と同様であり、検出部１６０で検出した複数の領域の鮮鋭度が鮮鋭化処理部１４０で使用される点も、画像処理装置１０１と同様である。ただし、画像処理装置１０４は、検出部１６０で検出した複数の領域の鮮鋭度が分類部１３０では使用されない点が、画像処理装置１０１とは異なっている。

画像処理装置１０４では、分類部１３０は、例えば、予め決められた視野中心からの距離に応じて複数の領域を複数のクラスに分類する。より具体的には、視野中心に近い方から、強く鮮鋭化するクラス、中くらいの強度で鮮鋭化するクラス、弱く鮮鋭化するクラスに分類してもよい。その上で、鮮鋭化処理部１４０が、クラスに分類された領域の鮮鋭度に応じて、具体的に鮮鋭化する強度を決定して鮮鋭化する。

本実施形態に係る画像処理装置１０４によっても、画像処理装置１０１と同様に、画像全体を適切に鮮鋭化することが可能であり、領域間の鮮鋭度差を良好に抑制することが可能となる。

［第５の実施形態］
図１１は、本実施形態に係る画像処理装置１０５の機能的構成を示す機能ブロック図である。画像処理装置１０５は、図１１に示すように、複数の鮮鋭化画像を貼り合わせて貼り合わせ画像を生成する貼り合わせ部１８０を備える点が、第１の実施形態に係る画像処理装置１０１とは異なっている。その他の構成は、画像処理装置１０１と同様である。

本実施形態では、顕微鏡装置１１は、比較的高い倍率の対物レンズを用いて標本に対して視野を順次移動させることで標本をスキャンして複数の画像を取得する。画像処理装置１０５は、このようにして取得された顕微鏡装置１１の視野よりも広い範囲に対応する複数の画像のそれぞれを鮮鋭化してから貼り合わせることで、顕微鏡装置１１の視野よりも広く解像度の高い貼り合わせ画像を生成する。

本実施形態に係る画像処理装置１０５によっても、画像処理装置１０１と同様に、画像全体を適切に鮮鋭化することが可能であり、領域間の鮮鋭度差を良好に抑制することが可能となる。また、視野周辺部の画質が中心部分と比較して劣化する顕微鏡装置の一般的な特性のため、顕微鏡装置で取得した画像をそのまま貼り合わせると、貼り合わせ周期に依存した周期的な縞模様が貼り合わせ画像に表れることがある。画像処理装置１０５によれば、領域間の鮮鋭度差を抑えた鮮鋭化画像を貼り合わせて貼り合わせ画像を生成することで、このようなアーティファクトの発生を防止若しくは抑制することが可能であり、貼り合わせ部分が目立たない高画質の貼り合わせ画像を生成することができる。また、貼り合わせ精度自体の向上も期待できる。

図１２及び図１３は、画像処理装置１０５を含む画像処理システムが行う処理のフローチャートである。貼り合わせ画像を生成するに当たり、鮮鋭化処理は、画像取得と同期して行われてもよく、画像取得とは非同期で行われてもよい。

例えば、図１２に示すように、画像処理システムがユーザから貼り合わせ画像生成指示を受信すると（ステップＳ２１）、顕微鏡装置１１が画像を取得する処理（ステップＳ２２）と、顕微鏡装置１１で取得した画像に対して画像処理装置１０５が鮮鋭鋭化処理を実行する処理と（ステップＳ２３）が必要回数繰り返される。その後、繰り返し処理が終了すると（ステップＳ２４ＮＯ）、画像処理装置１０５は、ステップＳ２３で鮮鋭化された複数の鮮鋭化画像を用いて貼り合わせ画像を生成してもよい（ステップＳ２５）。

また、例えば、図１３に示すように、画像処理システムでは、顕微鏡装置１１で適宜画像が取得されてもよい（ステップＳ３１、ステップＳ３２）。その後、ユーザから使用する画像の指定を含む貼り合わせ画像生成指示を受信すると（ステップＳ３３）、撮影装置１０は、指定された画像を順次鮮鋭化し（ステップＳ３４、ステップＳ３５）、生成された複数の鮮鋭化画像を用いて貼り合わせ画像を生成してもよい（ステップＳ３６）。

なお、以上では、画像取得のタイミングと鮮鋭化処理のタイミングの関係について説明したが、ユーザが貼り合わせ画像の生成する指示する際に、鮮鋭化処理を行ってから画像を貼り合わせるか否かを選択できるように、ユーザインターフェース上に鮮鋭化処理を行うか否かを設定するチェックボックスなど設けてもよい。これにより、画質の劣化を許容できる場合には、貼り合わせ画像を生成する際の処理時間の短縮のため、鮮鋭化処理を省略することをユーザが選択することができる。また、鮮鋭化処理前の画像を保存するか否かについて設定するチェックボックスをさらに設けてもよい。これにより、鮮鋭化処理前の画像の保存を省略して記憶容量を節約することができる。

［第６の実施形態］
図１４は、本実施形態に係る画像処理装置１０６の機能的構成を示す機能ブロック図である。画像処理装置１０６は、図１４に示すように、出力部１５０の代わりに表示制御部１５１を備える点と、表示制御部１５１から鮮鋭化処理部１４０へフィードバックがある点が、第１の実施形態に係る画像処理装置１０１とは異なっている。その他の構成は、画像処理装置１０１と同様である。

表示制御部１５１は、鮮鋭化画像を、例えば、クライアント端末２０などの表示装置に表示する。表示制御部１５１は、さらに、表示装置に表示される鮮鋭化画像の表示倍率を鮮鋭化処理部１４０にフィードバックする。鮮鋭化処理部１４０は、表示制御部１５１からフィードバックされた表示倍率に応じて複数の領域を鮮鋭化する強度を変更する。この際、鮮鋭化処理部１４０は、例えば、コントラスト感度特性の数式モデルに用いて鮮鋭化強度を決定すればよい。なお、フィードバックされる表示倍率は総合倍率であってもよく、鮮鋭化処理部１４０から出力された鮮鋭化画像に対する表示制御部１５１でのデジタルズームの倍率であってもよい。

本実施形態に係る画像処理装置１０６によっても、画像処理装置１０１と同様に、画像全体を適切に鮮鋭化することが可能であり、領域間の鮮鋭度差を良好に抑制することが可能となる。また、表示倍率が鮮鋭化処理部１４０へフィードバックされることで、表示倍率に対して最適化された強度で鮮鋭化された画像を表示装置に表示することができる。

例えば、貼り合わせ画像を例にすると、低倍率で表示しているほど貼り合わせの境界が目立つことが知られていて、高倍率で表示している場合には、貼り合わせの境界は目立たない。このことは、人の目のコントラスト感度が一般的に約１０ｃｙｃｌｅ／ｄｅｇの空間周波数で最大化されることに関連している。このように、表示倍率によって鮮鋭化処理の必要性が異なる場合がある。顕微鏡画像を使用する研究者など画像から解析結果を得るユーザには画像処理を好まないユーザも含まれるが、画像処理装置１０５によれば、表示倍率が高い場合には画像処理されていない鮮鋭化画像をユーザに提供することも可能となる。

［第７の実施形態］
図１５は、本実施形態に係る画像処理装置１０７の機能的構成を示す機能ブロック図である。画像処理装置１０７は、図１５に示すように、検出部１６０の代わりに検出部１９０を備える点が、第１の実施形態に係る画像処理装置１０１とは異なっている。その他の構成は、画像処理装置１０１と同様である。

検出部１９０は、鮮鋭化処理の対象の画像を取得する撮影装置１０の鮮鋭度特性を検出する。撮影装置１０の鮮鋭度特性は、例えば、撮影装置１０が有する像面湾曲などの収差特性であってもよい。この鮮鋭度特性は、表面が平坦なキャリブレーション用標本を撮影装置１０で撮影し、得られたキャリブレーション用標本の画像から算出してもよい。

画像処理装置１０７では、分類部１３０は、画像の鮮鋭度分布ではなく、検出部１９０で検出された撮影装置１０の鮮鋭度特性に応じて、複数の領域を複数のクラスに分類する。また、鮮鋭化処理部１４０は、複数の領域を、分類されたクラス毎に、そのクラスに分類された領域の鮮鋭度ではなく、鮮鋭度特性のうちのそのクラスに分類された領域に対応する部分、に応じた強度で鮮鋭化する。

本実施形態に係る画像処理装置１０７によっても、画像処理装置１０１と同様に、画像全体を適切に鮮鋭化することが可能であり、領域間の鮮鋭度差を良好に抑制することが可能となる。特に、工業系で用いられるような、平坦性が担保されている標本の観察時に好適であり、画像から鮮鋭度分布を検出する工程を省略することでより短い時間で画像全体を適切に鮮鋭化することができる。

なお、画像処理装置１０７では、鮮鋭度特性を分類部１３０と鮮鋭化処理部１４０の両方が使用する例を示したが、鮮鋭度特性は、分類部１３０と鮮鋭化処理部１４０の一方のみが使用してもよい。

図１６は、上述した画像処理装置を実現するためのコンピュータ２００のハードウェア構成を例示した図である。図１６に示すハードウェア構成は、例えば、プロセッサ２０１、メモリ２０２、記憶装置２０３、読取装置２０４、通信インタフェース２０６、及び入出力インタフェース２０７を備える。なお、プロセッサ２０１、メモリ２０２、記憶装置２０３、読取装置２０４、通信インタフェース２０６、及び入出力インタフェース２０７は、例えば、バス２０８を介して互いに接続されている。

プロセッサ２０１は、例えば、シングルプロセッサであっても、マルチプロセッサやマルチコアプロセッサであってもよい。プロセッサ２０１は、記憶装置２０３に格納されているプログラムを読み出して実行することで、上述した取得部１１０、分割部１２０、分類部１３０、鮮鋭化処理部１４０、出力部１５０、検出部１６０、設定部１７０、貼り合わせ部１８０、及び検出部１９０として動作する。

メモリ２０２は、例えば、半導体メモリであり、ＲＡＭ領域およびＲＯＭ領域を含んでいてよい。記憶装置２０３は、例えばハードディスク、フラッシュメモリ等の半導体メモリ、または外部記憶装置である。

読取装置２０４は、例えば、プロセッサ２０１の指示に従って記憶媒体２０５にアクセスする。記憶媒体２０５は、例えば、半導体デバイス、磁気的作用により情報が入出力される媒体、光学的作用により情報が入出力される媒体などにより実現される。なお、半導体デバイスは、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリである。また、磁気的作用により情報が入出力される媒体は、例えば、磁気ディスクである。光学的作用により情報が入出力される媒体は、例えば、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）－ＲＯＭ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、Ｂｌｕ－ｒａｙ Ｄｉｓｃ等（Ｂｌｕ－ｒａｙは登録商標）である。

通信インタフェース２０６は、例えば、プロセッサ２０１の指示に従って、他の装置と通信する。入出力インタフェース２０７は、例えば、入力装置および出力装置との間のインタフェースである。入力装置は、例えば、ユーザからの指示を受け付けるキーボード、マウス、タッチパネルなどのデバイスである。出力装置は、例えばディスプレイなどの表示装置、およびスピーカなどの音声装置である。上述した取得部１１０及び出力部１５０は、通信インタフェース２０６または入出力インタフェース２０７の少なくとも一方を含んでもよい。

プロセッサ２０１が実行するプログラムは、例えば、下記の形態でコンピュータ２００に提供される。
（１）記憶装置２０３に予めインストールされている。
（２）記憶媒体２０５により提供される。
（３）プログラムサーバなどのサーバから提供される。

なお、図１６を参照して述べた画像処理装置を実現するためのコンピュータ２００のハードウェア構成は例示であり、実施形態はこれに限定されるものではない。例えば、上述の構成の一部が、削除されてもよく、また、新たな構成が追加されてもよい。また、別の実施形態では、例えば、上述の電気回路の一部または全部の機能がＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、およびＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）などによるハードウェアとして実装されてもよい。

上述した実施形態は、発明の理解を容易にするために具体例を示したものであり、本発明はこれらの実施形態に限定されるものではない。上述の実施形態を変形した変形形態および上述した実施形態に代替する代替形態が包含され得る。つまり、各実施形態は、その趣旨および範囲を逸脱しない範囲で構成要素を変形することが可能である。また、１つ以上の実施形態に開示されている複数の構成要素を適宜組み合わせることにより、新たな実施形態を実施することができる。また、各実施形態に示される構成要素からいくつかの構成要素を削除してもよく、または実施形態に示される構成要素にいくつかの構成要素を追加してもよい。さらに、各実施形態に示す処理手順は、矛盾しない限り順序を入れ替えて行われてもよい。即ち、本発明の画像処理装置、画像処理システム、画像の鮮鋭化方法、及び、プログラムは、特許請求の範囲の記載を逸脱しない範囲において、さまざまな変形、変更が可能である。

１ 画像処理システム
１０ 撮影装置
１１ 顕微鏡装置
１２ 観察装置
１３ デジタルカメラ
２０～２３ クライアント端末
３０ ネットワーク
４１ 画像
４２ 領域情報
４３ クラス情報
４４ 鮮鋭化画像
１００～１０７ 画像処理装置
１１０ 取得部
１２０ 分割部
１３０ 分類部
１４０ 鮮鋭化処理部
１５０ 出力部
１５１ 表示制御部
１６０、１９０ 検出部
１６１ 算出部
１６２ 決定部
１７０ 設定部
１８０ 貼り合わせ部
２００ コンピュータ
２０１ プロセッサ
２０２ メモリ
２０３ 記憶装置
２０４ 読取装置
２０５ 記憶媒体
２０６ 通信インタフェース
２０７ 入出力インタフェース
２０８ バス
Ｒ 領域

Claims (19)

1. 画像を構成する複数の領域を複数のクラスに分類する分類部と、
   前記複数の領域を、分類されたクラス毎に決定した強度で鮮鋭化する鮮鋭化処理部と、を備える
   ことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、さらに、
   前記画像に基づいて前記複数の領域の鮮鋭度を検出する検出部を備え、
   前記分類部は、前記検出部で検出された前記複数の領域の鮮鋭度に応じて、前記複数の領域を前記複数のクラスに分類する
   ことを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記鮮鋭化処理部は、前記複数の領域を、分類されたクラス毎に、当該クラスに分類された領域の前記検出部で検出された鮮鋭度に応じた強度で鮮鋭化する
   ことを特徴とする画像処理装置。
4. 請求項１に記載の画像処理装置において、さらに、
   前記画像に基づいて前記複数の領域の鮮鋭度を検出する検出部を備え、
   前記鮮鋭化処理部は、前記複数の領域を、分類されたクラス毎に、当該クラスに分類された領域の前記検出部で検出された鮮鋭度に応じた強度で鮮鋭化する
   ことを特徴とする画像処理装置。
5. 請求項２乃至請求項４のいずれか１項に記載の画像処理装置において、
   前記鮮鋭化処理部は、前記複数の領域を、分類されたクラス毎に、当該クラスに分類された領域の鮮鋭度が低いほど高い強度で鮮鋭化する
   ことを特徴とする画像処理装置。
6. 請求項２乃至請求項５のいずれか１項に記載の画像処理装置において、
   前記検出部は、
   前記画像の鮮鋭度分布を算出する算出部と、
   前記算出部で算出した前記鮮鋭度分布に基づいて、前記複数の領域の鮮鋭度を決定する決定部と、を備える
   ことを特徴とする画像処理装置。
7. 請求項６に記載の画像処理装置において、
   前記算出部は、前記画像に対する平滑化微分処理を行う
   ことを特徴とする画像処理装置。
8. 請求項６又は請求項７に記載の画像処理装置において、
   前記決定部は、前記複数の領域の各々において当該領域内の鮮鋭度に対する平均化処理を行う
   ことを特徴とする画像処理装置。
9. 請求項１に記載の画像処理装置において、さらに、
   前記画像を取得する撮影装置の鮮鋭度特性を検出する検出部を備え、
   前記分類部は、前記検出部で検出された鮮鋭度特性に応じて、前記複数の領域を前記複数のクラスに分類する
   ことを特徴とする画像処理装置。
10. 請求項９に記載の画像処理装置において、
    前記鮮鋭化処理部は、前記複数の領域を、分類されたクラス毎に、前記検出部で検出された鮮鋭度特性のうちの当該クラスに分類された領域に対応する部分に応じた強度で鮮鋭化する
    ことを特徴とする画像処理装置。
11. 請求項１に記載の画像処理装置において、さらに、
    前記画像を取得する撮影装置の鮮鋭度特性を検出する検出部を備え、
    前記鮮鋭化処理部は、前記複数の領域を、分類されたクラス毎に、前記検出部で検出された鮮鋭度特性のうちの当該クラスに分類された領域に対応する部分に応じた強度で鮮鋭化する
    ことを特徴とする画像処理装置。
12. 請求項１乃至請求項１１のいずれか１項に記載の画像処理装置において、さらに、
    前記画像を所定のサイズで前記複数の領域に分割する分割部を備える
    ことを特徴とする画像処理装置。
13. 請求項１２に記載の画像処理装置において、さらに、
    前記分類部、前記鮮鋭化処理部、前記分割部のうちの少なくとも一つの動作パラメータを設定する設定部を備え、
    前記設定部は、ユーザからの入力に応じて動作パラメータを設定する
    ことを特徴とする画像処理装置。
14. 請求項１乃至請求項１３のいずれか１項に記載の画像処理装置において、さらに、
    前記鮮鋭化処理部で鮮鋭化された画像である鮮鋭化画像を表示装置に表示する表示制御部を備え、
    前記鮮鋭化処理部は、前記表示装置に表示される前記鮮鋭化画像の表示倍率に応じて、前記複数の領域を鮮鋭化する強度を変更する
    ことを特徴とする画像処理装置。
15. 請求項１乃至請求項１４のいずれか１項に記載の画像処理装置において、さらに、
    各々が前記鮮鋭化処理部で鮮鋭化された画像である複数の鮮鋭化画像を貼り合わせて貼り合わせ画像を生成する貼り合わせ部を備える
    ことを特徴とする画像処理装置。
16. 請求項１乃至請求項１５のいずれか１項に記載の画像処理装置と、
    標本を撮影して前記画像を取得する撮影装置と、を備える
    ことを特徴とする画像処理システム。
17. 請求項１６に記載の画像処理システムにおいて、
    前記撮影装置は、前記標本をスキャンして複数の画像を取得する顕微鏡装置であり、
    前記画像処理装置は、前記複数の画像に対応する複数の鮮鋭化画像を貼り合わせて前記顕微鏡装置の視野よりも広い貼り合わせ画像を生成する
    ことを特徴とする画像処理システム。
18. 画像を構成する複数の領域を複数のクラスに分類し、
    前記複数の領域を、分類されたクラス毎に決定した強度で鮮鋭化する
    ことを特徴とする画像の鮮鋭化方法。
19. コンピュータに、
    画像を構成する複数の領域を複数のクラスに分類し、
    前記複数の領域を、分類されたクラス毎に決定した強度で鮮鋭化する、
    処理を実行させることを特徴とするプログラム。

Images