JP2019007970A - コンピュータ - Google Patents

Abstract

【課題】イメージセンサの画素サイズによって定まる分解能を超える分解能を実現する。【解決手段】本開示の画像形成装置は、試料切片を透過した光が入射する位置に配置されたイメージセンサに電気的に接続される撮像部と、試料切片を基準にして複数の異なる照射方向から、順次、照明光を出射する照明システムであって、照明光で試料切片を照射し、第１の波長帯域にピークを有する第１の光および第２の波長帯域にピークを有する第２の光を放射する照明システムとを備える。複数の異なる照射方向から、順次、照明光としての第１の光で試料切片を照射し、その照射中にイメージセンサによって複数の第１色画像を取得する。複数の異なる照射方向の一部の方向から第２の光で試料切片を照射し、その照射中にイメージセンサによって少なくとも１つの第２色画像を取得する。複数の第１色画像および少なくとも１つの第２色画像に基づいて、高分解能画像を生成する。【選択図】図８

Description

本願は、画像形成装置および画像形成方法に関する。

病理診断では、病気の確定診断、病変の広がりの判定などを目的として、体内の臓器、腫瘍から組織を切り出し、観察を行う。その際、切り出された組織切片は顕微鏡で観察できるよう数ミクロンの厚さに薄切され、ガラスに挟まれた状態の病理スライド（標本）が作製される。病理診断は、癌の良性、悪性を判定する際などには必ず行われる検査であるので、病理診断の際に作製される標本の数は各病院あたり１日数百枚程度にもなる。病理標本は放射線画像等と異なり、電子データの形で保存することが難しい。このため、作製された標本を後で確認できるよう、標本自体を半永久的に保存しておくことが一般的である。

従来、生体組織などのミクロ構造を観察するために顕微鏡が用いられてきた。顕微鏡は、観察対象を透過した光、あるいは反射した光をレンズで拡大する。観察者は拡大された光によって形成される像を直視する。顕微鏡像をカメラで撮影し、ディスプレイに表示するデジタル顕微鏡を用いれば、複数人での同時観察、遠隔地での観察などが可能である。カメラは顕微鏡の結像点に置かれ、顕微鏡のレンズで拡大された像を撮影する。

特許文献１は、ＣＩＳ（Ｃｏｎｔａｃｔ Ｉｍａｇｅ Ｓｅｎｓｉｎｇ）方式によってミクロ構造を観察する技術を開示している。ＣＩＳ方式による場合、観察対象をイメージセンサに直接載せて、撮影を行う。レンズによる像の拡大を用いないので、イメージセンサの画素サイズが分解能を決める。すなわち、画素サイズが小さいほど、ミクロ構造を詳細に撮影できる。

特開平４−３１６４７８号公報

上述のように、従来のＣＩＳ方式による撮像では、イメージセンサの画素サイズによって定まる分解能を超える分解能を実現することができない。

本開示の実施形態は、イメージセンサの画素サイズによって定まる分解能を超える分解能を実現できる画像形成装置および画像形成方法を提供する。

本願の限定的ではないある例示的な実施形態によれば、以下が提供される。

試料切片を透過した光が入射する位置に配置されたイメージセンサに電気的に接続される撮像部と、前記試料切片を基準にして複数の異なる照射方向から、順次、照明光を出射し、前記照明光で前記試料切片を照射する照明システムであって、第１の波長帯域にピークを有する第１の光および第２の波長帯域にピークを有する第２の光を放射する照明システムと、前記撮像部および前記照明システムに接続され、前記撮像部および前記照明システムを制御する制御部と、前記イメージセンサから複数の画像のデータを取得し、前記複数の画像を合成して、前記複数の画像の各々よりも分解能の高い前記試料切片の高分解能画像を生成する画像処理部とを備え、前記制御部は、前記複数の異なる照射方向から、順次、前記照明光としての前記第１の光で前記試料切片を照射し、その照射中に前記イメージセンサによって複数の第１色画像を取得し、かつ、前記複数の異なる照射方向の一部の方向から、前記照明光としての前記第２の光で前記試料切片を照射し、その照射中に前記イメージセンサによって少なくとも１つの第２色画像を取得し、前記画像処理部は、前記複数の第１色画像および前記少なくとも１つの第２色画像に基づいて、前記高分解能画像を生成する、画像形成装置。

本開示の実施形態によれば、レンズを使わずに顕微鏡を実現できるので、省スペースと低コストとを達成することが可能になる。

図１は、病理診断用のプレパラートＡ０１を作製する方法の一例を示す図である。 図２は、顕微鏡で観察される状態でのプレパラートＡ０１の断面を模式的に示す図である。 図３は、ＣＩＳ方式の観察方法の原理を説明する図である。 図４は、本開示の第１の実施形態に係るプレパラートの例示的な作製方法を示す図である。 図５は、第１の実施形態における、イメージセンサＢ０１およびパッケージ１２を備えるプレパラート１１の断面構成の一例を模式的に示す図である。 図６は、プレパラート１１およびソケットＣ０３の断面構成の一例を模式的に示す図である。 図７は、プレパラート１１およびソケットＣ０３の断面構成の一例を模式的に示す図である。 図８は、第１の実施形態に係る画像形成装置の構成例を示す図である。 図９は、第１の実施形態における画像形成装置が備える照明システムの一例を示す平面図である。 図１０は、図９に示す照明システムとイメージセンサとの関係を示す斜視図である。 図１１は、図９に示す照明システムのより詳細な構成を示す平面図である。 図１２は、第１の実施形態における画像形成装置が備える照明システムの他の例を示す平面図である。 図１３は、図１２に示す照明システムとイメージセンサとの関係を示す斜視図である。 図１４Ａは、第１の実施形態における画像形成装置の動作の一例を示す図である。 図１４Ｂは、第１の実施形態における画像形成装置の動作の一例を示す図である。 図１４Ｃは、第１の実施形態における画像形成装置の動作の一例を示す図である。 図１５Ａは、第１の実施形態における画像形成装置の動作の他の一例を示す図である。 図１５Ｂは、第１の実施形態における画像形成装置の動作の他の一例を示す図である。 図１６Ａは、第１の実施形態において、ある角度からの照明光で照射される被写体の像をイメージセンサによって取得する動作を模式的に示す断面図である。 図１６Ｂは、１画素に占めるフォトダイオード（ＰＤ）の面積比率の例を示す平面図である。 図１７Ａは、図１６Ａに示す動作によって取得される像の画素の配置を模式的に示す平面図である。 図１７Ｂは、図１６Ａに示す照射状態のもとで取得される生体画像Ｉ０１を模式的に示す図である。 図１８は、第１の実施形態において、他の角度からの照明光で照射される被写体の像をイメージセンサによって取得する動作を模式的に示す断面図である。 図１９Ａは、図１８に示す動作によって取得される像の画素の配置を模式的に示す平面図である。 図１９Ｂは、図１８に示す照射状態のもとで取得される生体画像Ｋ０１を模式的に示す図である。 図２０は、第１の実施形態において、更に他の角度からの照明光で照射される被写体の像をイメージセンサによって取得する動作を模式的に示す断面図である。 図２１Ａは、図２０に示す動作によって取得される像の画素の配置を模式的に示す平面図である。 図２１Ｂは、図２０に示す照射状態のもとで取得される生体画像Ｌ０１を模式的に示す図である。 図２２は、第１の実施形態において、更に他の角度からの照明光で照射される被写体の像をイメージセンサによって取得する動作を模式的に示す断面図である。 図２３Ａは、図２２に示す動作によって取得される像の画素の配置を模式的に示す平面図である。 図２３Ｂは、図２２に示す照射状態のもとで取得される生体画像Ｍ０１を模式的に示す図である。 図２４は、第１の実施形態における構成例を模式的に示すブロック図である。 図２５Ａは、比較例の画像を示す図である。 図２５Ｂは、第１の実施形態による画像処理によって得られる高分解能画像の一例を示す図である。 図２５Ｃは、比較例の画像を示す図である。 図２６は、第１の実施形態における動作の一例を示すタイミングチャートである。 図２７は、本開示の第２の実施形態に係る画像形成システムの構成例を示す概略図である。 図２８は、ソケットＣ０３の姿勢を変化させる照射角度調整機構Ｃ１０を有する照明システムＣ０９の例を示す概略図である。 図２９は、照明光が試料切片に入射する角度を調整する照明角度調整部を有する照明システムＣ０９の構成の一例を示す概略図である。 図３０は、照明光が試料切片に入射する角度を調整する照明角度調整部を有する照明システムＣ０９の構成の他の一例を示す概略図である。

顕微鏡は、医療分野において細胞観察に利用される。細胞の形などを観察することによって、病気にかかっているか否かを判別でき、病気にかかっている場合は、その良悪性の度合いを診ることもできる。病理診断と呼ばれる診断においては、患者から採取した検体を、細胞が観察できる４μｍ程度の厚さに薄切する。また、細胞は透明であり、顕微鏡像のコントラストが低いので、細胞の構造が見やすくなるように染色を施す。

まず、図１を参照して、病理診断用のプレパラートＡ０１を作製する方法の一例を説明する。

図１に示すように、薄切した切片Ａ０２がスライドガラス（透明プレート）Ａ０３に載せられる。スライドガラスＡ０３は、典型的には、厚さが１ｍｍ、長辺方向の長さが７６ｍｍ、短辺方向の長さが２６ｍｍのサイズを有している。切片Ａ０２は、スライドガラスＡ０３ごと染色液Ａ０４に漬けられることによって染色される。切片Ａ０２に染色液が付着すると、切片Ａ０２は試料切片（以下、「染色切片Ａ０５」と呼ぶことがある）となる。染色切片Ａ０５の保護および固定のために、スライドガラスＡ０３上に封入剤Ａ０６を付与する。その後、カバーガラスＡ０７を載せることにより、プレパラートＡ０１が完成する。

図２は、顕微鏡で観察される状態でのプレパラートＡ０１の断面を模式的に示す図である。

図２に示されるように、スライドガラスＡ０３の上に染色切片Ａ０５が載せられている。封入剤Ａ０６を介してカバーガラスＡ０７がスライドガラスＡ０３に固定されている。染色切片Ａ０５は、封入剤Ａ０６に囲まれた状態で、カバーガラスＡ０７とスライドガラスＡ０３との間に位置している。

プレパラートＡ０１を光学顕微鏡にセットして観察する場合、光源Ｇ０１から出射された照明光Ｇ０２をプレパラートＡ０１の下側から照射する。照明光Ｇ０２は、スライドガラスＡ０３、染色切片Ａ０５、封入剤Ａ０６、およびカバーガラスＡ０７を透過して、顕微鏡の対物レンズＧ０３に入射する。

このような光学顕微鏡によってプレパラートＡ０１の観察を行うとき、倍率の設定、観察エリアの設定に時間を要するという問題がある。

次に、図３を参照してＣＩＳ方式における観察方法の原理を説明する。

図３に示すプレパラートＥ０１は、カバーガラスＡ０７の代わりに、イメージセンサＢ０１を備えている。このプレパラートＥ０１は、透明プレート（ここではスライドガラス）Ａ０３と、封入剤Ａ０６を介してスライドガラスＡ０３上に固定されたイメージセンサＢ０１と、封入剤Ａ０６に囲まれた状態の染色切片（被写体）Ａ０５とを備えている。イメージセンサＢ０１として、多数の光電変換部が撮像面内に行および列状に配列された固体撮像素子が採用され得る。光電変換部は、典型的には、半導体層または半導体基板に形成されたフォトダイオードである。光電変換部は、入射光を受けて電荷を生成する。２次元イメージセンサの分解能は、撮像面上における光電変換部の配列ピッチまたは配列密度に依存する。近年、光電変換部の配列ピッチは、可視光の波長程度まで短くなっている。イメージセンサＢ０１の典型例は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ、または、ＭＯＳ（Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型イメージセンサである。

撮影時、照明光Ｇ０２は、スライドガラスＡ０３、染色切片Ａ０５、封入剤Ａ０６を通って、プレパラートＥ０１上のイメージセンサＢ０１に到達する。イメージセンサＢ０１は、不図示の回路に電気的に接続されており、撮像動作を実行する。イメージセンサＢ０１は、染色切片Ａ０５の像を取得し、染色切片Ａ０５の光透過率分布（濃度分布）に応じた画像信号を出力する。これにより、染色切片Ａ０５の像が得られる。

このようなＣＩＳ方式の観察方法によれば、撮像を行う素子と染色切片Ａ０５（被写体）との間にレンズなどの光学系は存在しない。しかし、イメージセンサＢ０１の撮像面には、微細な光電変換部（フォトダイオード）が高密度で配置されているので、染色切片Ａ０５の微細な構造を示す画像を取得することができる。以下、分解能について簡単に説明する。

前述した光学顕微鏡の分解能は２点分解能によって定義される。２つの点光源の分解能δは、レーリーの基準によって次の式（１）で表される。

ここで、λは光の波長、ＮＡは対物レンズの開口数である。

例えば対物レンズのＮＡが０．２５、λが５５５ｎｍであるとき、式（１）から、分解能δは１．３５μｍであることがわかる。この分解能δに相当する分解能をＣＩＳ方式によって実現するには、使用するイメージセンサの画素ピッチを１．３５μｍに設定すればよい。仮に、この分解能の２倍の分解能で撮像したい場合、イメージセンサの画素ピッチを半分の約０．６μｍに小さくすればよい。しかし、イメージセンサの画素構造の微細化を更に進めることは困難であり、製造コストの上昇を招く。

本開示の実施形態では、イメージセンサに対して複数の照射方向から被写体を照射し、画素サイズよりも小さなエリアを通過した光によって複数の画像を取得し、これらの画像を合成して分解能を上げる。

一般に、カラー画像を取得するには、カラーモザイクフィルタを備えるカラー用イメージセンサが使用される。しかしながら、そのようなイメージセンサ上では同一色の画素の配列周期が拡大するので、分解能が低下してしまう。このような分解能の低下を避けるためには、カラーモザイクフィルタを備えないモノクロ用イメージセンサを用い、照明光として、異なる色光、例えば赤（Ｒ）、緑（Ｇ）、および青（Ｂ）の色光をタイムシーケンシャルに試料切片に照射しながら、各々の色光の照明下で撮影を行えばよい。それにより、例えば赤（Ｒ）画像、緑（Ｇ）画像、および青（Ｂ）画像が得られる。それらを用いてカラー画像を合成することが可能である。

しかしながら、複数の照射方向の全てについて、例えば赤（Ｒ）、緑（Ｇ）、および青（Ｂ）用の画像を取得しようとすると、撮影回数が増加し、取得する画像のデータ量が膨大になる。本開示の実施形態では、以下に説明する構成を採用することにより、このようなデータ量の増加を抑制しつつ、分解能の高い画像を取得することが可能になる。

本開示の一態様の概要は以下のとおりである。

本開示の画像形成装置は、ある実施形態において、試料切片を透過した光が入射する位置に配置されたイメージセンサに電気的に接続される撮像部と、試料切片を基準にして複数の異なる照射方向から、順次、照明光を出射し、照明光で試料切片を照射する照明システムと、撮像部および照明システムに接続され、撮像部および照明システムを制御する制御部と、イメージセンサから複数の画像のデータを取得し、複数の画像を合成して、複数の画像の各々よりも分解能の高い試料切片の高分解能画像を生成する画像処理部とを備える。照明システムは、第１の波長帯域にピークを有する第１の光および第２の波長帯域にピークを有する第２の光を放射する。制御部は、複数の異なる照射方向から、順次、照明光としての第１の光で試料切片を照射し、その照射中にイメージセンサによって複数の第１色画像を取得する。また、制御部は、複数の異なる照射方向の一部の方向から、照明光としての第２の光で試料切片を照射し、その照射中にイメージセンサによって少なくとも１つの第２色画像を取得する。画像処理部は、複数の第１色画像および少なくとも１つの第２色画像に基づいて、高分解能画像を生成する。

ある実施形態において、撮像部は、試料切片とイメージセンサとを有するプレパラートを着脱可能に支持し、プレパラートを支持している状態でイメージセンサに電気的に接続される。

ある実施形態において、照明システムは、少なくとも４つの異なる照射方向から出射した第１の光により試料切片を照射する。イメージセンサは、試料切片が第１の光で照射されているとき、各々が試料切片の異なる部分の像である少なくとも４つの異なる第１色画像を取得し、画像処理部は、少なくとも４つの異なる第１色画像に基づいて試料切片の高分解能画像を生成する。

ある実施形態において、照明システムは、第３波長帯域にピークを有する第３の光を放射する。制御部は、複数の異なる照射方向の一部の方向から、照明光としての第３の光で試料切片を照射し、その照射中にイメージセンサによって少なくとも１つの第３色画像を取得する。

ある実施形態において、第１の光は４９５ｎｍ以上５７０ｎｍ以下の波長を有する光である。第２の光は６２０ｎｍ以上７５０ｎｍ以下の波長を有する光または４５０ｎｍ以上４９５ｎｍ未満の波長を有する光である。

ある実施形態において、第１の光は４９５ｎｍ以上５７０ｎｍ以下の波長を有する光である。第２の光は６２０ｎｍ以上７５０ｎｍ以下の波長を有する光である。第３の光は４５０ｎｍ以上４９５ｎｍ未満の波長を有する光である。

ある実施形態において、照明システムは、複数の異なる照射方向に対応した複数の異なる位置に順次移動して照明光を出射する光源を有している。

ある実施形態において、照明システムは、複数の異なる照射方向に対応した複数の異なる位置に配置され、順次、照明光を出射する複数の光源を有している。

ある実施形態において、照明システムは、試料切片およびイメージセンサの位置および方向の少なくとも一方を変化させる機構を有している。

ある実施形態による画像形成装置は、照明光が試料切片に入射する角度を調整する照明角度調整部を備える。照明角度調整部は、照明システムの複数の異なる照射方向から順次出射された照明光が試料切片の異なる部分を透過してイメージセンサの光電変換部に入射するように、試料切片に対する照明光の入射角度を調整する。

本開示の画像形成方法は、ある実施形態において、試料切片を基準にして複数の異なる照射方向から、順次、照明光を出射し、照明光で試料切片を照射する工程と、試料切片を透過した光が入射する位置に配置されたイメージセンサにより、複数の異なる照射方向に応じて異なる複数の画像を取得する工程と、複数の画像を合成して、複数の画像の各々よりも分解能の高い試料切片の高分解能画像を生成する工程とを含む。照明光で試料切片を照射する工程は、第１の波長帯域にピークを有する第１の光で複数の異なる照射方向から試料切片を照射する工程と、第２の波長帯域にピークを有する第２の光で複数の異なる照射方向の一部の方向から試料切片を照射する工程とを含む。複数の画像を取得する工程は、複数の異なる照射方向から、順次、照明光としての第１の光で試料切片を照射し、その照射中に複数の第１色画像を取得する工程と、複数の異なる照射方向の一部の方向から、照明光としての第２の光で試料切片を照射し、その照射中に少なくとも１つの第２色画像を取得する工程とを含む。

本開示の画像形成システムは、ある実施形態において、試料切片を透過した光が入射する位置に配置されたイメージセンサに電気的に接続される撮像部と、試料切片を基準にして複数の異なる照射方向から、順次、照明光を出射し、照明光で試料切片を照射する照明システムと、コンピュータとを備える。照明システムは、第１の波長帯域にピークを有する第１の光および第２の波長帯域にピークを有する第２の光を放射する。コンピュータは、複数の異なる照射方向から、順次、照明光としての第１の光で試料切片を照射し、その照射中にイメージセンサによって複数の第１色画像を取得する工程と、複数の異なる照射方向の一部の方向から、照明光としての第２の光で試料切片を照射し、その照射中にイメージセンサによって少なくとも１つの第２色画像を取得する工程と、複数の第１色画像および少なくとも１つの第２色画像に基づいて、各第１色画像の分解能よりも高い分解能を有する高分解能画像を生成する工程とを実行する。

本開示のプログラムは、ある実施形態において、上記の画像形成システムに使用されるコンピュータプログラムである。このコンピュータプログラムは、画像形成システムに、複数の異なる照射方向から、順次、照明光としての第１の光で試料切片を照射し、その照射中にイメージセンサによって複数の第１色画像を取得する工程と、複数の異なる照射方向の一部の方向から、照明光としての第２の光で試料切片を照射し、その照射中にイメージセンサによって少なくとも１つの第２色画像を取得する工程と、複数の第１色画像および少なくとも１つの第２色画像に基づいて、各第１色画像の分解能よりも高い分解能を有する画像を生成する工程とを実行させる。

本開示による画像形成装置の実施形態は、試料切片と、この試料切片を透過した光が入射するように配置されたイメージセンサとを含むプレパラートを着脱可能に支持する撮像部とを備える。ここで注目すべき点は、プレパラートそのものがイメージセンサを備えていることである。このようなプレパラートを「電子プレパラート」と呼んでもよい。撮像部は、このようなプレパラートを支持している状態でイメージセンサに電気的に接続される。

本開示による画像形成装置の実施形態は、上記のプレパラートの試料切片を基準にして複数の異なる照射方向から、順次、照明光を出射し、照明光で試料切片を照射する照明システムを備える。この照明システムは、第１の波長帯域にピークを有する第１の光および第２の波長帯域にピークを有する第２の光を放射するように構成されている。また、この照明システムは、第３の波長帯域にピークを有する第３の光を放射するように構成されていてもよい。第１の光は例えば４９５ｎｍ以上５７０ｎｍ以下の波長を有する光であり得る。第２の光および第３の光は、それぞれ、６２０ｎｍ以上７５０ｎｍ以下の波長を有する光および４５０ｎｍ以上４９５ｎｍ未満の波長を有する光であり得る。なお、説明の簡便のために、４９５ｎｍ以上５７０ｎｍ以下の波長を有する光を「緑色の光」、６２０ｎｍ以上７５０ｎｍ以下の波長を有する光を「赤色の光」、４５０ｎｍ以上４９５ｎｍ未満の波長を有する光を「青色の光」と記述することがある。

この照明システムは、試料切片に入射する照明光の角度（照射角度）を変化させる機能を有していれば、その具体的構成は任意であり得る。照明システムは、「照射角度」を変化させるため、光源を移動させる機構、および、試料切片を移動させる機構(例えばゴニオ機構)の一方または両方を備えていてもよい。

本開示による画像形成装置は、更に、制御部と画像処理部とを備えている。制御部は、撮像部および照明システムに接続され、撮像部および照明システムを制御する。画像処理部は、撮像部に支持されたプレパラートのイメージセンサから複数の画像のデータを取得し、複数の画像を合成して、複数の画像の各々よりも分解能の高い、試料切片の高分解能画像を生成するように構成されている。

上記の制御部は、複数の異なる照射方向から、順次、照明光としての第１の光で試料切片を照射し、その照射中にイメージセンサによって複数の第１色画像を取得するように構成されている。また、制御部は、複数の異なる照射方向の一部の方向から、照明光としての第２の光で試料切片を照射し、その照射中にイメージセンサによって少なくとも１つの第２色画像を取得するように構成されている。ある具体例において、第１色画像は、照明光として緑色の光で試料を照射して取得された画像であり、第２色画像は、照明光として赤色の光で試料を照射して取得された画像であり得る。試料切片は、特定の色に染色されていることが多く、２つの異なる原色の混合によって表示されたカラー画像でも十分に有益な情報を含み得る。

なお、制御部は、照明システムが第３の光を放射し得る場合、複数の異なる照射方向の一部の方向から、照明光としての第３の光で試料切片を照射し、その照射中にイメージセンサによって少なくとも１つの第３色画像を取得するように構成されていてもよい。３つの異なる原色の混合によって表示されたカラー画像は、人の眼で知覚される画像の色情報を高い程度で再現できるので、医者等による診断に好適である。

本開示における画像処理部は、複数の第１色画像および少なくとも１つの第２色画像に基づいて、各第１色画像の分解能よりも高い分解能を有する画像を生成するように構成されている。後述することから明らかなように、複数の異なる照射方向から、順次、照明光としての第１の光で試料切片を照射し、その照射中にイメージセンサによって取得した複数の第１色画像を合成することにより生成された画像は、相対的に分解能の高い画像である。一方、複数の異なる照射方向の一部から、照明光としての第２の光で試料切片を照射し、その照射中にイメージセンサによって取得した少なくとも１つの第２色画像は、相対的に分解能の低い画像である。本願発明者は、３原色の一部の色の画像については分解能が低くとも、分解能の高い合成画像を生成することが可能であることに着目し、本開示に係る画像処理部を完成した。

以下、図面を参照しながら本開示の実施形態を詳細に説明する。

なお、以下で説明する実施形態は、いずれも包括的または具体的な例を示す。以下の実施形態で示される数値、形状、材料、構成要素、構成要素の配置、位置および接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。

（実施形態１）
まず、図４を参照しながら、本開示の実施形態に係るプレパラートの例示的な作製方法を説明する。

図４に示すように、薄切した切片Ａ０２がスライドガラス（透明プレート）Ａ０３に載せられる。切片Ａ０２は、スライドガラスＡ０３ごと染色液Ａ０４に漬けられて染色される。切片Ａ０２に染色液が付着すると、切片Ａ０２は染色切片Ａ０５となる。染色切片Ａ０５の保護および固定のために、スライドガラスＡ０３上に封入剤Ａ０６を付与する。その後、図１に示すカバーガラスＡ０７の代わりに、イメージセンサＢ０１を載せる。なお、図４に示す例では、イメージセンサＢ０１には、その背面側からパッケージ１２が接続されている。こうして、プレパラート１１が完成する。

図５は、イメージセンサＢ０１およびパッケージ１２を備えるプレパラート１１の断面構成の一例を模式的に示す図である。図示されている例では、イメージセンサＢ０１は、パッケージ１２内に収容されている。イメージセンサＢ０１とパッケージ１２とはワイヤ状の電極（ボンディングワイヤ）Ｆ０１によって電気的に接続されている。イメージセンサＢ０１とパッケージ１２との電気的接続は、図５に示される例に限定されず、電極Ｆ０１は、ワイヤ状の形状を有している必要も無い。図示されているパッケージ１２は、イメージセンサＢ０１を収容する空間を形成する底面および壁面（側壁）を有している。イメージセンサＢ０１およびパッケージ１２の構成自体は、公知のイメージセンサパッケージの構成と同様であり得る。なお、図５に示される例では、スライドガラスＡ０３の幅（図面内において水平方向のサイズ）がパッケージ１２の幅よりも小さい。もちろん、スライドガラスＡ０３の幅はパッケージ１２の幅よりも大きくてもよい。

図６は、本開示の実施形態で使用され得るプレパラート１１と、このプレパラート１１を着脱可能に支持する撮像部の一部を模式的に示す図である。撮像部全体の構成は後述する。この撮像部は、プレパラート１１を装填するように構成されたソケットＣ０３を備えている。ソケットＣ０３は回路基板Ｃ０５に電気的に接続されている。ソケットＣ０３と回路基板Ｃ０５との電気的接続は、例えば、ソケットＣ０３の背面に設けられた複数の端子が、回路基板Ｃ０５上の配線または電極パッドに接触することにより実現され得る。回路基板Ｃ０５は、公知の構成を有しておればよく、例えば多層プリント配線基板であり得る。ソケットＣ０３は、公知の電子部品を回路基板に実装する各種の方法により、回路基板Ｃ０５に実装され得る。パッケージ１２の裏面には、イメージセンサＢ０１を外部回路に電気的に接続するための端子１３が設けられている。ソケットＣ０３は、パッケージ１２の端子１３に電気的に接続されるように配置された複数の端子Ｃ０４を有している。

図７は、プレパラート１１がソケットＣ０３に装填された状態の一例を模式的に示している。プレパラート１１は、ソケットＣ０３、または他の機構により、ソケットＣ０３に対して一時的に固着される。ソケットＣ０３の端子Ｃ０４は、装填により、パッケージ１２の端子１３を介してイメージセンサＢ０１に電気的に接続される。ソケットＣ０３の構成は、このような例に限定されない。ソケットＣ０３とイメージセンサＢ０１との間の電気的接続も、この例に限定されない。

図７に示す状態で、上方からの照明光でプレパラート１１が照射され、染色切片Ａ０５を透過した照明光がイメージセンサＢ０１に入射する。こうして、必要な撮影が複数回実行される。撮影対象のプレパラート１１に対する撮影が終了すると、そのプレパラート１１はソケットＣ０３から外される。ソケットＣ０３には、次の撮影対象である他のプレパラート１１が装填される。

図８は、本実施形態に係る画像形成装置１０の構成の一例を模式的に示す図である。

図８に示す画像形成装置１０は、ソケットＣ０３に装填されたプレパラート１１におけるスライドガラスＡ０３を介してイメージセンサＢ０１に光を入射させる照明システムＣ０９を備えている。照明システムＣ０９の構成および動作は後述する。図８に示される例では、照明システムＣ０９が、撮像部９０に支持されたプレパラート１１の上方に位置している。しかしながら、本開示の実施形態は、このような例に限定されない。照明システムＣ０９とプレパラート１１との上下関係が反転していてもよいし、両者を結ぶ線が鉛直方向から傾斜していてもよい。

図示する例において、画像形成装置１０は、制御装置（コンピュータ）Ｃ０６を備えている。コンピュータＣ０６は、プロセッサなど、装置に搭載された回路であってもよいし独立した装置であってもよい。言い換えれば、コンピュータＣ０６は、撮像部９０および／または照明システムＣ０９と別個の装置であり得る。図８に例示する構成では、コンピュータＣ０６は、制御部１２０、画像処理部１４０、およびメモリ１４５を備えている。制御部１２０は、ソケットＣ０３に装填された状態におけるプレパラート１１のイメージセンサＢ０１と、照明システムＣ０９とを制御することにより、プレパラート１１中の染色切片の撮像をイメージセンサＢ０１に行わせるように構成されている。

図７を参照して説明したように、パッケージ１２は、ソケットＣ０３に装填されると、ソケットＣ０３に電気的に接続される。ソケットＣ０３は、図７に示す回路基板Ｃ０５を介して図８に示すコンピュータＣ０６に接続される。

撮像によって得られた画像データには、画像処理部１４０による合成および画素補間の処理が施される。これらの処理により、分解能が高められた、染色切片の画像が生成される。生成された画像は、例えばディスプレイＣ０７に表示され、メモリ１４５またはデータベース１４８に保存され得る。

図９は、本開示の実施形態で使用され得る照明システムＣ０９における光源要素の配置例を模式的に示す平面図である。図９に示す例では、２５個の光源要素２０が行および列状（マトリックス状）に配列されている。ここでは、光源要素２０の５行および５列の配列（５×５配列）が照明システムＣ０９の光出射側面に形成されている。

図１０に示すように、マトリックス状に配列された光源要素２０を備える照明システムＣ０９によれば、異なる角度から照明光をプレパラート中のイメージセンサＢ０１に入射させることが可能である。光源要素２０から放射される照明光は、イメージセンサＢ０１にとって実質的に平行光である。例えば、照明システムＣ０９が少なくとも４個の光源要素２０を備える場合、少なくとも４つの異なる方向から、順次、照明光をプレパラート内のイメージセンサＢ０１に入射させることができる。なお、照明システムＣ０９における各光源要素２０は、ＬＥＤなどの発光素子とカラーフィルタとが組み合せられた素子であってもよい。また、個々の光源要素２０には、光線の発散度を調整するための光学素子、反射ミラーなどが設けられていてもよい。

本実施形態では、図１１に示されるように、照明システムＣ０９の光出射側面の中央に位置する光源要素２０ａは、各々が異なる波長帯域にピークを有する３個のＬＥＤチップ２０Ｇ、２０Ｒ、２０Ｂから構成され得る。３個のＬＥＤチップ２０Ｇ、２０Ｒ、２０Ｂは、それぞれ、第１の波長帯域にピークを有する第１の光、第２の波長帯域にピークを有する第２の光、および第３の波長帯域にピークを有する第３の光を放射するように構成されている。本実施形態において、第１の光、第２の光および第３の光は、それぞれ、緑色、赤色、および青色の光である。なお、光源要素２０ａは、複数のＬＥＤチップから構成されている必要は無く、単一の白色ＬＥＤチップであってもよい。また、光源要素２０ａは、放電管であってもよいし、レーザ素子であってもよい。

本実施形態において、中央に位置する光源要素２０ａ以外の２４個の光源要素２０ｂは、第１の光、この例では緑色の光、を放射するように構成されている。光源要素２０ｂは、典型的には、ＬＥＤチップ２０Ｇを有する。

このような構成を有する照明システムＣ０９は、ソケットＣ０３に装填された状態のプレパラート１１の試料切片を基準にして、異なる２５個の照射方向から出射した照明光で、順次、試料切片を照射することができる。この照明システムＣ０９は、第１の波長帯域にピークを有する第１の光（この例では緑色の光）を、異なる２５個の照射方向から出射することができる。この例では、照明システムＣ０９は、第２の波長帯域にピークを有する第２の光（この例では赤色の光）および第３の波長帯域にピークを有する第３の光（この例では青色の光）は、１個の照射方向から出射するように構成されている。

図１２は、照明システムＣ０９の他の構成例を示している。この例では、１個の光源要素２２が複数の異なる光源位置２４から光を放射するように移動する。この移動可能な光源要素２２は、第１の波長帯域にピークを有する第１の光（この例では緑色の光）、第２の波長帯域にピークを有する第２の光（この例では赤色の光）、および第３の波長帯域にピークを有する第３の光（この例では青色の光）を、選択的または同時に放射することができる。このような光源要素２２は、例えば、図１１に示される照明システムＣ０９の中央に位置する光源要素２０ａと同様の構成を備え得る。

光源要素２２を移動させるメカニズムは、任意である。例えば、Ｘ軸およびＹ軸の方向に可動部を移動させるように構成された２個のステッピングモータを用いることによって、光源要素２２を任意の位置で発光させることができる。

図１３に示すように、光源要素２２を移動させることができれば、異なる角度から照明光をプレパラートのイメージセンサＢ０１に入射させることが可能になる。光源要素２２から放射される照明光は、イメージセンサＢ０１にとって実質的に平行光である。なお、この光源要素２２は、発光素子とカラーフィルタとが組み合せられた素子であってもよい。また、この光源要素２２には、光線の発散度を調整するための光学素子、反射ミラーなどが設けられていてもよい。

図１２に示す照明システムＣ０９を適用する場合、例えば中央の光源位置２４ｃからは、イメージセンサＢ０１に、順次、３色の異なる照明光を入射する。他の光源位置２４からは、イメージセンサＢ０１に１色の照明光を入射する。

本開示における照明システムは、上記の例に限定されない。例えば、光源要素の個数および配置のパターンは、図示される例に限定されない。図９に示すような、複数の光源要素が固定された照明システムは、少なくとも４個の光源要素を備え得る。

このような照明システムＣ０９を用いることにより、以下に説明する動作が可能になる。

まず、図１４Ａを参照する。２５個の光源位置のうち、最初の光源位置にある光源要素２０ｂから第１の光を放射し、第１の光でプレパラート１１を照射しながら、プレパラート１１中のイメージセンサＢ０１で試料切片の撮像を行う。撮像によって得られた画像（第１色画像）のデータは、イメージセンサＢ０１から撮像部９０に読み出され、制御用コンピュータＣ０６に送られる。第１色画像のデータを取得するこのような動作は、発光する光源要素の位置を替えながら繰り返し実行される。

次に、図１４Ｂを参照する。この例では、２５個の光源位置の中央に位置する光源要素２０ａから第１の光を放射し、第１の光でプレパラート１１を照射しながら、プレパラート１１中のイメージセンサＢ０１で試料切片の撮像を行う。撮像によって得られた画像（第１色画像）のデータは、イメージセンサＢ０１から撮像部９０に読み出され、制御用コンピュータＣ０６に送られる。また、この光源要素２０ａから第２の光を放射し、第２の光でプレパラート１１を照射しながら、プレパラート１１中のイメージセンサＢ０１で試料切片の撮像を行う。撮像によって得られた画像（第２色画像）のデータは、イメージセンサＢ０１から撮像部９０に読み出され、制御用コンピュータＣ０６に送られる。更に、この光源要素２０ａから第３の光を放射し、第３の光でプレパラート１１を照射しながら、プレパラート１１中のイメージセンサＢ０１で切片試料の撮像を行う。撮像によって得られた画像（第３色画像）のデータは、イメージセンサＢ０１から撮像部９０に読み出され、制御用コンピュータＣ０６に送られる。

次に、図１４Ｃを参照する。２５個の光源位置のうち、最後の光源位置にある光源要素２０ｂから第１の光を放射し、第１の光でプレパラート１１を照射しながら、プレパラート１１中のイメージセンサＢ０１で試料切片の撮像を行う。上述したように、撮像によって得られた画像（第１色画像）のデータは、イメージセンサＢ０１から撮像部９０に読み出され、制御用コンピュータＣ０６に送られる。

なお、光源要素２０の発光順序は任意である。中央に位置する光源要素２０ａが最初に発光させられ、第１色画像、第２色画像および第３色画像が取得されてもよい。中央に位置する光源要素２０ａを発光させた状態で第１色画像を取得した後、第２色画像および第３色画像を連続して取得する必要は無い。また、３色の発光を行う光源要素２０ａの位置は、照明システムＣ０９の中央である必要もないし、３色の発光を行う光源要素の個数も１個に限定されない。

次に、図１５Ａおよび図１５Ｂを参照して、１個または複数の光源要素が移動可能に支持される実施形態を説明する。

この実施形態では、光源要素２２を複数の光源位置に移動させ、順次、各光源位置からの照明光でプレパラート１１を照射する。撮像に要する露出時間が充分に短い場合、光源要素２２を停止させることなく、移動させながら撮影を行ってもよい。この実施形態では、例えば、光源要素２２がプレパラート１１の真上に達したとき、波長が異なる第１〜第３の光で順次プレパラート１１内の被写体を照射して撮像を行う。この場合、光源要素２２がプレパラート１１の真上において停止すると有益である。

次に、本開示による画像形成装置および画像形成方法の実施形態をより詳細に説明する。

図１６Ａは、照明光の照射角度を切り替えて拡大率２倍の生体画像を撮影する方法を説明する図である。図１６Ａは、照明光を染色切片の直上から照射している状態を示す。

光源Ｈ０１は、ＣＩＳ方式のプレパラートＥ０１の直上から照明光Ｈ０２を照射する。光源Ｈ０１はプレパラートＥ０１の大きさに対して、十分離れた位置に設置されている。このため、照明光Ｈ０２は平行光とみなせる。なお、光源から放射された光をコリメートして平行光に変化させる光学系を光路上に配置してもよい。その場合、光源をプレパラートＥ０１に接近させることができる。

図示されているイメージセンサＢ０１は、半導体基板Ｈ０３と、フォトダイオードＨ０４と、配線層Ｈ０５と、配線層Ｈ０５を覆う遮光層Ｈ０６と、半導体基板Ｈ０３において光が入射する側の面を被覆する透明層Ｈ０７とを備えている。染色切片Ａ０５を透過した照明光Ｈ０２のうち、フォトダイオードＨ０４に入射した部分はフォトダイオードＨ０４で光電変換が行われ、画像信号を構成する電荷を生成する。イメージセンサＢ０１の構成は、図示されている例に限定されない。

図１６Ｂは、イメージセンサＢ０１における１画素領域を示す平面図である。図１６Ｂに示されるように、１画素領域に含まれるフォトダイオード（ＰＤ）の面積は、１画素領域の面積よりも小さい。ここで、「１画素領域の面積」は、水平方向の画素ピッチと垂直方向の画素ピッチとの積によって決まる。この例において、１画素領域の面積に対するフォトダイオード（ＰＤ）の面積の比率（開口率）は、約２５％である。イメージセンサＢ０１の撮像面のうち、フォトダイオード（ＰＤ）以外の領域は、遮光層Ｈ０６によって覆われている。この例では、イメージセンサＢ０１には、開口率を高めるためのマイクロレンズアレイが設けられていない。本開示の実施形態によれば、開口率が小さいほど、分解能を高くすることが可能になる。

図１６Ａに示す照射状態において、染色切片Ａ０５のうちの領域Ｈ０８、領域Ｈ０９、領域Ｈ１０の各々を通過した光が、対応するフォトダイオードＨ０４に入射する。領域Ｈ０８の濃度により、直下にあるフォトダイオードＨ０４の信号レベルが決まる。同様に、領域Ｈ０９の濃度により、その直下にあるフォトダイオードＨ０４の信号レベルが決まり、領域Ｈ１０の濃度により、その直下にあるフォトダイオードＨ０４の信号レベルが決まる。本明細書における領域の「濃度」は、染色切片上の領域の「光学濃度（ＯＤ）」を意味している。したがって、図示されている３個のフォトダイオードＨ０４の各々で生成される信号電荷の大きさは、領域Ｈ０８、領域Ｈ０９、領域Ｈ１０の光透過率に対応している。

一方、照明光のうち、遮光層Ｈ０６に入射した部分はフォトダイオードＨ０４における光電変換に無関係である。従って、染色切片Ａ０５を透過した光のうち、遮光層Ｈ０６に入射した部分は、イメージセンサＢ０１が出力する画像信号に反映されない。図１６Ａに示す例においては、領域Ｈ１１、Ｈ１２を透過した光は、画像信号に反映されない。

図１６Ａに示す例では、図面において紙面に平行な断面内におけるフォトダイオードＨ０４の横幅は遮光層Ｈ０６の横幅に等しい。ここでは、イメージセンサＢ０１は、二次元の平面内において行および列状にフォトダイオードＨ０４が配列された面形状のエリアセンサである。従って、図１７Ａに示すように、染色切片Ａ０５のうち、フォトダイオードＨ０４に照明光が入射する領域は、行および列方向に離散的である。図１６Ａに示されるように、領域Ｈ０８、領域Ｈ０９および領域Ｈ１０は、フォトダイオードＨ０４の直上にある。従って、これらの領域の各々の濃度がフォトダイオードＨ０４の信号レベルを決め、イメージセンサＢ０１によって生体画像の画素値として検出される。このとき、領域Ｈ１１、領域Ｈ１２は遮光層Ｈ０６の直上にあり、生体画像の画素値に反映されない。

領域Ｈ０８、領域Ｈ０９および領域Ｈ１０について説明したことが、領域Ｉ０２、領域Ｉ０３および領域Ｉ０４についても成立する。光源Ｈ０１から光を照射して撮影される生体画像Ｉ０１（図１７Ｂ参照）は、領域Ｈ０８、領域Ｈ０９および領域Ｈ１０、領域Ｉ０２、領域Ｉ０３および領域Ｉ０４の濃度または光透過率を示す画素値によって構成される画像である。

ここで、図１７Ａに示す画素Ｉ０６に注目する。照明光Ｈ０２のうち、画素Ｉ０６内のフォトダイオードＨ０４に入射する部分は、染色切片Ａ０５の領域Ｈ０９、領域Ｈ１２、領域Ｈ１４および領域Ｈ１７のうち、領域Ｈ０９を通過した光である。画素Ｉ０６において、領域Ｈ０９の近傍に位置する領域Ｈ１２、領域Ｈ１４、領域Ｈ１７を通過した光は、いずれも、遮光層Ｈ０６によって遮られる。イメージセンサＢ０１が遮光層Ｈ０６を有することで、画素Ｉ０６の大きさの１／４の大きさの領域（サブ画素領域）を撮影することができる。

本実施形態では、Ｇ色光（典型的には緑色の光）を放射するＧ光源と、Ｂ色光（典型的には青色の光）を放射するＢ光源と、Ｒ色光（典型的には赤色の光）を放射するＲ光源とが光源Ｈ０１の位置に置かれている。このため、図１６Ａに示す照射方向から、Ｇ色光、Ｂ色光、Ｒ色光を照明光Ｈ０２として、順次、被写体に照射することができる。こうして、それぞれの色の照明光Ｈ０２が照射されているときに撮像が行われ、３枚の画像（Ｇ画像、Ｂ画像、Ｒ画像）が取得される。

図１８は、図１６Ａに示す照射方向とは異なる照射方向からの照明光でＣＩＳ方式のプレパラートＥ０１を照射し、生体画像を撮影している状態を示している。図１８に示す例では、光源Ｊ０１から出た照明光Ｊ０２が、染色切片Ａ０５の右上方から染色切片Ａ０５に入射している。光源Ｊ０１はＣＩＳ方式のプレパラートＥ０１の大きさに対して十分離れた位置に設置されるので、照明光Ｊ０２は平行光とみなせる。本実施形態における光源Ｊ０１は、Ｇ色光を放射するＧ光源である。以下の説明において、図１６Ａに示す照射方向とは異なる照射方向から被写体を照射する照明光は、Ｇ色光である。

図１８に示す照射状態において、染色切片Ａ０５のうちの領域Ｈ１１、領域Ｈ１２をそれぞれ通過した光が、対応するフォトダイオードＨ０４に入射する。領域Ｈ１１の濃度が、図１８において領域Ｈ１１の左斜め下にあるフォトダイオードＨ０４の信号レベルを決める。同様に、領域Ｈ１２の濃度が、図１８において領域Ｈ１２の左斜め下にあるフォトダイオードＨ０４の信号レベルを決める。言い換えると、図示されている左の２個のフォトダイオードＨ０４の各々で生成される信号電荷は、領域Ｈ１１、領域Ｈ１２の光透過率に対応している。

一方、照明光のうち、遮光層Ｈ０６に入射した部分はフォトダイオードＨ０４における光電変換に無関係であり、イメージセンサＢ０１が出力する画像信号に反映されない。図１８に示す照射状態においては、照明光のうち、領域Ｈ０８、領域Ｈ０９、領域Ｈ１０を透過した部分は、画像信号に反映されない。

図１９Ａに示される領域のうち、フォトダイオードＨ０４に入射する光が通過した領域は、領域Ｈ１１、Ｈ１２、Ｋ０２、Ｋ０３であり、縦と横に飛び飛びに配置されている。すなわち、図１９Ａに示すＹ軸と垂直な断面に注目したとき、領域Ｈ１１、Ｈ１２、Ｋ０２、Ｋ０３のいずれについても、その左斜め下にフォトダイオードＨ０４が位置している。そして、各領域の濃度がフォトダイオードＨ０４の出力レベルを決め、生体画像の画素値を形成する。一方、領域Ｈ０８、領域Ｈ０９、領域Ｈ１０などを透過した光は遮光層Ｈ０６に入射するので、生体画像の画素値に反映されない。従って、光源Ｊ０１を発光させた状態で撮影される生体画像Ｋ０１（図１９Ｂ参照）は、領域Ｈ１１、領域Ｈ１２、領域Ｋ０２、領域Ｋ０３の濃度または透過率に対応した画素値によって構成される画像である。

図１９Ａに示す画素Ｋ０４に注目する。画素Ｋ０４においては、照明光Ｊ０２のうち、領域Ｈ１２を透過した部分が、フォトダイオードＨ０４に入射する。照明光Ｊ０２のうち、画素Ｋ０４に含まれる領域Ｈ０９、領域Ｈ１７、領域Ｈ１４を透過した部分は、いずれも、遮光層Ｈ０６で遮られる。イメージセンサＢ０１が遮光層Ｈ０６を有することで、画素の大きさよりも１／４小さい領域を撮影することができる。

図２０は、図１６Ａおよび図１８に示す照射方向とは異なる照射方向からの照明光でＣＩＳ方式のプレパラートＥ０１を照射し、生体画像を撮影している状態を示している。図２０に示す例では、Ｙ軸方向に移動させた光源Ｊ０１から出た照明光Ｊ０２が、染色切片Ａ０５の右上方から染色切片Ａ０５に入射している。光源Ｊ０１はＣＩＳ方式のプレパラートＥ０１の大きさに対して十分離れた位置に設置されるので、照明光Ｊ０２は平行光とみなせる。

図１８に示す照明状態では、Ｘ軸方向に光源を移動させている。図２０に示す照明状態では、Ｙ軸方向に光源を移動させている。それによって、染色切片の領域Ｈ１３、領域Ｈ１４、領域Ｈ１５を撮影する。照明光Ｊ０２のうち、領域Ｈ０９、領域Ｉ０３を透過した部分は、遮光層Ｈ０６に入射するので、撮影に利用されない。

図２１Ａに示される領域のうち、フォトダイオードＨ０４に入射する光が通過した領域は、領域Ｌ０２、Ｌ０３、Ｌ０４、Ｈ１３、Ｈ１４、Ｈ１５、Ｌ０５、Ｌ０６、Ｌ０７であり、縦と横に飛び飛びに配置されている。これらの各領域の濃度がフォトダイオードＨ０４の出力レベルを決め、生体画像の画素値を形成する。一方、領域Ｈ０８、Ｈ０９、Ｈ１０、Ｈ１１、Ｈ１２、Ｈ１７などを透過した光は遮光層Ｈ０６に入射し、生体画像の画素値に反映されない。従って、図２０に示す位置で光源Ｊ０１を発光させた状態で撮影される生体画像Ｌ０１（図２１Ｂ参照）は、領域Ｌ０２、Ｌ０３、Ｌ０４、Ｈ１３、Ｈ１４、Ｈ１５、Ｌ０５、Ｌ０６、Ｌ０７の濃度または透過率に対応した画素値によって構成される画像である。

図２１Ａに示される画素Ｌ０８に注目すると、照明光Ｊ０２のうち、領域Ｈ１４を通過を透過した部分が、フォトダイオードＨ０４に入射する。照明光Ｊ０２のうち、画素Ｌ０８内の領域Ｈ０９、領域Ｈ１７、領域Ｈ１２を通過した部分は、遮光層Ｈ０６で遮られる。イメージセンサＢ０１が遮光層Ｈ０６を有することで、画素の大きさよりも１／４小さい領域を撮影することができる。

図２２は、光源Ｈ０１の位置からＸ軸とＹ軸の等分線方向（ここでは二等分線の方向）に移動した光源Ｊ０１から出た照明光Ｊ０２が染色切片Ａ０５に斜めに入射した状態を示す。図２２に示されるように、照明光Ｊ０２のうち、フォトダイオードＨ０４に入射する部分は、領域Ｈ１７および領域Ｈ１８を通過している。照明光Ｊ０２のうち、領域Ｈ０９および領域Ｉ０４を通過した部分は、遮光層Ｈ０６に遮られている。

図２３Ａに示される領域のうち、フォトダイオードＨ０４に入射する光が通過した領域は、領域Ｈ１６、Ｈ１７、Ｈ１８、Ｍ０２、Ｍ０３、Ｍ０４であり、縦と横に飛び飛びに配置されている。これらの各領域の濃度がフォトダイオードＨ０４の出力レベルを決め、生体画像の画素値を形成する。一方、領域Ｈ０８、Ｈ０９、Ｈ１０、Ｈ１１、Ｈ１２、Ｌ０３、Ｈ１４、Ｌ０６、Ｉ０４などを透過した光は遮光層Ｈ０６に入射し、生体画像の画素値に反映されない。従って、図２２に示す位置で光源Ｊ０１を発光させた状態で撮影される生体画像Ｍ０１（図２３Ｂ参照）は、領域Ｈ１６、Ｈ１７、Ｈ１８、Ｍ０２、Ｍ０３、Ｍ０４の濃度または透過率に対応した画素値によって構成される画像である。

図２３Ａに示される画素Ｍ０５に注目すると、照明光Ｊ０２のうち、フォトダイオードＨ０４に入射する部分は、領域Ｈ１７を通過する。照明光Ｊ０２のうち、画素Ｍ０５内の領域Ｈ０９、領域Ｈ１２、領域Ｈ１４を通過した部分は、遮光層Ｈ０６で遮られる。イメージセンサＢ０１が遮光層Ｈ０６を有することで、画素の大きさよりも小さい領域を撮影することができる。従って、開口率が低いほど、分解能が向上する。

このような手順により、例えば図１９Ａに示す画素Ｋ０４に含まれる領域Ｈ０９、Ｈ１２、Ｈ１４、Ｈ１７の全てについて、これらの領域のそれぞれにおける濃度または透過率に対応した画素値を得ることが可能である。照射方向が異なる複数の照明状態のもとで取得した複数の画像を合成することにより、これらの画像の各々の分解能よりも高い分解能を有する高分解能画像を生成することが可能である。本開示の実施形態では、Ｇ色光の照射のもとで取得された複数のＧ画像に上述の処理を実行し、複数のＧ画像の各々の分解能よりも高い分解能を有するＧ画像を生成する。この高分解能のＧ画像と、Ｒ色光の照射のもとで取得された１以上のＲ画像、および、Ｂ色光の照射のもとで取得された１以上のＢ画像の一方または両方とを組み合わせることにより、高分解能のカラー画像（モノクロではない画像）を形成することが可能である。

なお、発光する光源の位置を変化させることによって照明光の照射角度を変化させる代わりに、プレパラートの角度および／または位置を変化させることよって照明光の照射角度を変化させてもよい。また、発光する光源の位置およびプレパラートの角度の両方を変化させることにより、照明光の照射角度を変化させてもよい。

図２４は、本実施形態における制御部および画像処理部の構成例を示すブロック図である。

例示される構成では、撮像部９０が、試料切片を透過した光が入射するように配置されたイメージセンサ（不図示）に電気的に接続される。このイメージセンサは、前述したように、プレパラートに取り付けられていてもよいし、撮像部９０に取り付けられていてもよい。

制御部１２０は、撮像部９０および照明システムＣ０９に接続され、撮像部９０および照明システムＣ０９を制御する。図２４に例示する構成における照明システムＣ０９は、Ｇ色光を放射するＧ光源と、Ｂ色光を放射するＢ光源と、Ｒ色光を放射するＲ光源とを有している。照明システムＣ０９は、前述した構成を有している。制御部１２０は、画像処理部１４０にも接続されている。画像処理部１４０は、Ｇ画像合成部１４２、Ｂ画像補間部１４４、およびＲ画像補間部１４６を含んでいる。制御部１２０および画像処理部１４０は、１つのコンピュータシステムによって実現されていてもよい。

本実施形態では、制御部１２０の働きにより、複数の異なる照射方向から、順次、照明光としてのＧ色光で試料切片を照射し、その照射中にイメージセンサによって複数のＧ画像を取得する。Ｇ画像のデータは、画像処理部１４０のＧ画像合成部１４２に送られる。また、１つの方向から、照明光としてのＢ色光で試料切片を照射し、その照射中にイメージセンサによって１つのＢ画像を取得する。Ｂ画像のデータは、画像処理部１４０のＢ画像補間部１４４に送られる。更に、１つの方向から、照明光としてのＲ色光で試料切片を照射し、その照射中にイメージセンサによって１つのＲ画像を取得する。Ｒ画像のデータは、画像処理部１４０のＲ画像補間部１４６に送られる。

Ｇ画像合成部１４２は、複数のＧ画像を合成して、各Ｇ画像の分解能よりも高い分解能を有する高分解能画像を生成する。例えば１枚のＧ画像が２０００×１０００個の画素数を有している場合、４枚のＧ画像を合成することにより、４０００×２０００個の画素数を有する高分解能のＧ画像が得られる。

Ｂ画像補間部１４４は、受け取ったＢ画像のデータを補間し、画素数を増やした画像を生成する。この画素補間は、元の画像における各画素値を２行×２列の画素に等しく与えることであるので、画素数が４倍に増加しても、分解能は変わらない。例えば１枚のＢ画像が２０００×１０００個の画素数を有している場合、そのＢ画像を画素補間することにより、４０００×２０００個の画素数を有するＢ画像が得られる。こうして得られたＢ画像の分解能は増加していない。画素補間の仕方は、この例に限定されない。

Ｒ画像補間部１４６は、受け取ったＲ色画像のデータを補間し、画素数を増やした画像を生成する。この画素補間は、Ｂ画像補間部１４４による画素補間と同様であり、元の画像における各画素値を２行×２列の画素に等しく与えることである。例えば１枚のＲ画像が２０００×１０００個の画素数を有している場合、そのＲ画像を画素補間することにより、４０００×２０００個の画素数を有するＲ画像が得られる。

画像出力部１５０は、Ｇ画像合成部１４２、Ｂ画像補間部１４４、およびＲ画像補間部１４６によって生成されたＲ、Ｇ、Ｂの各画像のデータを受け取り、カラーの画像を出力する。

図２５Ｂは、本実施形態によって得られる高分解能画像の一例を示している。一方、図２５Ａおよび図２５Ｃは、それぞれ、比較例の高分解能画像を示している。図２５Ａは、異なる４方向からＢ色光を順次照射し、撮影された４枚の画像を合成して得られた高分解能のＢ画像と、１方向からＧ色光を照射している時に撮影された１枚の画像を画素補間して得られたＧ画像と、１方向からＲ色光を照射している時に撮影された１枚の画像を画素補間して得られたＲ画像とから生成された高分解能画像を示している。また、図２５Ｃは、異なる４方向からＲ色光を順次照射し、撮影された４枚の画像を合成して得られた高分解能のＲ画像と、１方向からＧ色光を照射している時に撮影された１枚の画像を画素補間して得られたＧ画像と、１方向からＢ色光を照射している時に撮影された１枚の画像を画素補間して得られたＢ画像とから生成された高分解能画像を示している。

図２５Ｂに示す画像を、図２５Ａに示す画像および図２５Ｃに示す画像と比較すると明らかなように、Ｇ画像の分解能が高いとき、全体として高い分解能を有する合成画像が得られる。従って、より多くの異なる照射方向から被写体を照射する光（第１の光）の波長が、緑色の範囲（４９５ｎｍ以上５７０ｎｍ以下）に含まれていると有益である。

図２６は、図２４に示される構成を備える装置の動作の一例を示すタイミングチャートである。図２６に示す例では、ある方向からＲ色光、Ｇ色光、Ｂ色光を、順次、被写体に照射し、それぞれの照明時に撮像が行われる。次に、異なる方向からＧ色光を、順次、被写体に照射し、それぞれの照明時に撮像が行われる。

撮像によって得られた複数のＧ画像はＧ画像合成部１４２に送られる。Ｒ画像およびＢ画像は、それぞれ、Ｒ画像補間部１４６およびＢ画像補間部１４４に送られる。図２６から明らかなように、Ｒ色光またはＢ色光の照明時における撮像の回数は、Ｇ色光の照明時における撮像の回数よりも抑制されるため、全体の撮像回数が低減される。

なお、Ｒ画像およびＢ画像を取得するタイミングは、任意であり、図２６に示す例に限定されない。また、Ｇ画像の取得枚数も、図２６に示す例に限定されない。更に、本開示の実施形態による利点を得るには、プレパラートが前述したような構成を備える「電子プレパラート」である必要もない。

照明光を異なる方向から被写体に照射して得られる複数のＧ画像から高分解能（高解像度）の画像を合成するには、種々の超解像技術が利用され得る。例えば、撮影によって取得されるＧ画像と、目的とする高分解能の画像とを関係づける演算式（行例）が既知であれば、逆演算(逆行列)によって、撮影によって取得した画像から合成画像を得ることができる。このような演算式は、イメージセンサの画素構造と照明光の照射角度とに依存し、幾何光学によって求めたり、実験またはシミュレーションによって求めたりすることができる。

（実施形態２）
図８を参照して説明したように、コンピュータＣ０６は、撮像部９０および／または照明システムＣ０９とは別個の装置であってもよい。図２７に、このような構成を有する画像形成システムの一例を概略的に示す。図２７に示す画像形成システム１００は、撮像部９０と、照明システムＣ０９と、コンピュータＣ０８とを備える。図示する構成では、画像形成システム１００は、画像取得装置１０Ａと、コンピュータＣ０８とが接続された形態を有する。画像取得装置１０Ａは、撮像部９０と、照明システムＣ０９と、これらを制御する制御部１２０とを含んでいる。コンピュータＣ０８は、画像処理部１４０と、メモリ１４５とを含んでいる。画像取得装置１０ＡとコンピュータＣ０８とは、有線または無線によって接続される。コンピュータＣ０８は、画像取得装置１０Ａと同一の場所に配置されていてもよいし、画像取得装置１０Ａから離れた場所に配置されてもよい。例えば、画像取得装置１０ＡとコンピュータＣ０８とが、インターネットなどのネットワークを介して接続されてもよい。コンピュータＣ０８は、ここでは、独立した装置である。しかしながら、コンピュータＣ０８は、プロセッサなど、装置に搭載された回路の形態であってもよい。コンピュータＣ０８および上述のコンピュータＣ０６は、汎用または専用のコンピュータ（あるいは汎用または専用のプロセッサ）によって実現され得る。

画像形成システム１００における動作は、上述の画像形成装置１０とほぼ同様である。撮像部９０にプレパラート１１を装填することにより、プレパラート１１中のイメージセンサＢ０１と撮像部９０とが電気的に接続される。撮像部９０にプレパラート１１が装填されることにより、試料切片Ａ０５（図２７において不図示）を透過した光が入射する位置にイメージセンサＢ０１が配置される。言うまでもないが、プレパラート１１は、画像取得装置１０Ａ（または画像形成装置１０）に必須の構成要素ではない。

照明システムＣ０９は、制御部１２０の制御に基づき、試料切片を基準にして複数の異なる照射方向から、順次、照明光を出射する。このとき、制御部１２０の制御に基づき、第１の光の照射下において複数の第１色画像がイメージセンサＢ０１によって取得される。また、第２の光の照射下において少なくとも１つの第２色画像がイメージセンサＢ０１によって取得される。第３の光の照射下において少なくとも１つの第３色画像を更に取得してもよい。

撮像部９０が取得した、被写体（ここでは試料切片）の画像信号または画像データは、コンピュータＣ０８の画像処理部１４０に送られる。例えば、複数枚のＧ画像のデータと、１枚のＢ画像のデータと、１枚のＲ画像のデータとが画像処理部１４０に送られる。画像処理部１４０は、図２４を参照して説明した処理を実行する。詳細には、画像処理部１４０は、複数枚のＧ画像を合成することにより、各Ｇ画像の分解能よりも高い分解能を有する高分解能のＧ画像を生成する。また、画像処理部１４０は、Ｂ画像およびＲ画像の補間を実行する。これらの処理に使用される画像データ、および、処理の過程で生成される中間的な画像データは、メモリ１４５に一時的に格納され得る。画像処理部１４０は、高分解能化の処理後のＧ画像、補間処理後のＢ画像およびＲ画像に基づいて、各Ｇ画像の分解能よりも高い分解能を有するカラー画像を生成する。生成された画像は、例えば、ディスプレイＣ０７（図８参照）に表示される。生成された画像が、メモリ１４５またはデータベース１４８（図８参照）に保存されてもよい。コンピュータＣ０８によって実行される上述の処理が記録されたプログラムは、例えば、メモリ１４５に格納されている。

なお、画像形成システム１００において、制御部１２０における動作の指示（コマンド）がコンピュータＣ０８から与えられてもよい。制御部１２０が、撮像部９０および照明システムＣ０９と、コンピュータＣ０８とは別個の独立した装置であってもよい。画像処理部１４０および／または制御部１２０の全体または一部は、デジタルシグナルプロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ（ＤＳＰ））、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＡＳＳＰ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｓｔａｎｄａｒｄ Ｐｒｏｄｕｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、マイクロコンピュータなどによって実現され得る。画像処理部１４０および制御部１２０は、それぞれが別個のプロセッサであってもよいし、これらの２以上が１つのプロセッサに含まれていてもよい。メモリ１４５が、画像処理部１４０および／または制御部１２０の一部であってもよい。

ここで、試料切片に対する照射角度を変化させる方法の例を説明する。

図２８〜図３０は、光源要素とソケットＣ０３との間の配置が変更可能な照明システムの構成例を示す。図２８に例示する構成では、照明システムＣ０９は、ソケットＣ０３の姿勢を変化させる照射角度調整機構Ｃ１０を有する。図示する例において、照射角度調整機構Ｃ１０は、基準面（典型的には水平面）に対するソケットＣ０３の傾斜を変化させるゴニオ機構Ｃ１１を含んでいる。また、図示する例では、照射角度調整機構Ｃ１０は、基準方位に対する、ソケットＣ０３の回転角度を変化させる回転機構Ｃ１２を含んでいる。本明細書における「姿勢」の変化は、基準面に対する傾斜の変化、基準方位に対する回転角度の変化、および、基準点に対する位置の変化などを広く含む。

例えば制御部１２０の制御に基づいてゴニオ機構Ｃ１１および／または回転機構Ｃ１２を動作させることにより、ソケットＣ０３に装填されたプレパラート１１の姿勢を変化させることができる。これにより、試料切片Ａ０５（図２８において不図示）およびイメージセンサＢ０１の位置および方向の少なくとも一方を変化させることが可能である。例えば光源要素を固定してゴニオ機構Ｃ１１および／または回転機構Ｃ１２を動作させれば、試料切片に対する照射角度を変化させることができる。照射角度調整機構Ｃ１０が、ソケットＣ０３を平行移動させるスライド機構を更に有していてもよい。照射角度調整機構Ｃ１０は、１以上のゴニオ機構Ｃ１１、回転機構Ｃ１２およびスライド機構の任意の組み合わせであり得る。

図２９および図３０は、照明光が試料切片に入射する角度を調整する照明角度調整部を有する照明システムＣ０９の構成例を示す。図２９に例示する構成では、照明角度調整部Ｃ１３は、制御部１２０（図２９において不図示）の制御に基づき、互いに異なる位置に配置された複数の光源要素２０の各々の点灯および消灯を切り替える。これにより、異なる角度から照明光をプレパラート１１中のイメージセンサＢ０１（図２９において不図示）に入射させることができる。図３０に例示する構成では、照明角度調整部Ｃ１３は、制御部１２０（図３０において不図示）の制御に基づき、１個の光源要素２２を例えばガイドレールに沿って移動させることにより、光源要素２２の点灯位置を変更する。このような構成によっても、異なる角度から照明光をプレパラート１１中のイメージセンサＢ０１（図３０において不図示）に入射させることができる。異なる角度から照明光をプレパラート１１中のイメージセンサに入射させることにより、複数の異なる照射方向から順次出射された照明光が試料切片の異なる部分を透過してイメージセンサの光電変換部に入射するように、試料切片に対する照明光の入射角度を調整することができる。

光源要素２２を移動させるための機構として、上述したゴニオ機構Ｃ１１、回転機構Ｃ１２およびスライド機構の少なくとも１つを適用してもよい。上述した各種の機構は、例えばボールねじとステッピングモータとの組み合わせなど、公知の機構を用いて実現し得る。

本開示は、例えば、標本の検体管理を行うための検体管理装置に利用可能である。

１１ プレパラート
１２ パッケージ
Ｂ０１ イメージセンサ
Ｃ０３ ソケット
１０ 画像形成装置
１００ 画像形成システム

Claims (1)

1. 試料切片を透過した光が入射する位置に配置されたイメージセンサに電気的に接続される撮像部と、
   前記試料切片を基準にして複数の異なる照射方向から、順次、照明光を出射し、前記照明光で前記試料切片を照射する照明システムであって、第１の波長帯域にピークを有する第１の光および第２の波長帯域にピークを有する第２の光を放射する照明システムと、
   前記撮像部および前記照明システムに接続され、前記撮像部および前記照明システムを制御する制御部と、
   前記イメージセンサから複数の画像のデータを取得し、前記複数の画像を合成して、前記複数の画像の各々よりも分解能の高い前記試料切片の高分解能画像を生成する画像処理部と、
   を備え、
   前記制御部は、
   前記複数の異なる照射方向から、順次、前記照明光としての前記第１の光で前記試料切片を照射し、その照射中に前記イメージセンサによって複数の第１色画像を取得し、かつ、
   前記複数の異なる照射方向の一部の方向から、前記照明光としての前記第２の光で前記試料切片を照射し、その照射中に前記イメージセンサによって少なくとも１つの第２色画像を取得し、
   前記画像処理部は、前記複数の第１色画像および前記少なくとも１つの第２色画像に基づいて、前記高分解能画像を生成する、画像形成装置。

Images