JP2015146590A

JP2015146590A - 撮像素子

Info

Publication number: JP2015146590A
Application number: JP2015042587A
Authority: JP
Inventors: 安比古足立; Yasuhiko Adachi; 好秀澤田; Yoshihide Sawada; 佳州佐藤; Yoshikuni Sato; 本村　秀人; Hideto Motomura; 秀人本村
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2013-06-07
Filing date: 2015-03-04
Publication date: 2015-08-13
Anticipated expiration: 2034-06-05
Also published as: CN105247852B; US9438793B2; JP6265153B2; EP3007432A1; US20150163405A1; JPWO2014196202A1; CN105247852A; WO2014196202A1; EP3007432B1; JP5789765B2; EP3007432A4

Abstract

【課題】単一の撮像素子を用いて高分解能画像を取得する。【解決手段】本開示のある実施形態による撮像素子は、光源と、傾斜機構と、撮像素子を着脱可能に保持する保持装置と、画像処理部と、メモリとを有する画像取得装置に用いられる撮像素子である。この撮像素子は、画像取得装置に対して着脱可能であり、撮像面に被写体支持部を備える。撮像素子は、保持装置によって画像取得装置に保持された状態において、被写体を透過した光が入射する位置に配置され、被写体と一体的に傾斜機構により傾斜されることにより、複数の傾斜角度に応じて異なる複数の画像を取得する。画像取得装置の画像処理部は、撮像素子によって取得された異なる複数の画像に基づいて、複数の画像の各々よりも分解能が向上した高分解能画像を形成する。【選択図】図１７

Description

本願は、撮像素子に関する。

撮像装置に使用される撮像素子には、多数の光電変換部が撮像面内に行および列状に配列された２次元イメージセンサが採用されている。光電変換部は、典型的には、半導体層または半導体基板に形成されたフォトダイオードであり、入射光を受けて電荷を生成する。２次元イメージセンサの分解能(解像度)は、撮像面上における光電変換部の配列ピッチまたは配列密度に依存する。個々の光電変換部の配列ピッチは、可視光の波長程度まで短くなっているため、分解能を更に向上させることは極めて困難である。

撮像素子によって取得される画像は、多数の画素によって規定される。各画素は、１つの光電変換部を含む単位領域によって区画されている。撮像面上において、配線が占有する領域が存在するため、１つの光電変換部の受光面積Ｓ２は、１つの画素の面積Ｓ１よりも小さい。画素の面積Ｓ１に対する受光面積Ｓ２の比率（Ｓ２／Ｓ１）は、「開口率」と呼ばれている。開口率（Ｓ２／Ｓ１）は、例えば２５％程度の値をとり得る。開口率が小さいと、光電変換に用いられる入射光量が少なくなるため、撮像素子が出力する画素信号の質が低下する。撮像面に対向するようにマイクロレンズアレイを配置し、個々のマイクロレンズが個々の光電変換部に対向し、集光する構成を採用すれば、受光面積Ｓ２を実効的に拡大し、開口率（Ｓ２／Ｓ１）を高めて１に近づけることが可能である。しかし、このように開口率（Ｓ２／Ｓ１）を高めても、画素の配列ピッチおよび配列密度は増加しないので、分解能は変化しない。

特許文献１は、超解像技術による高分解能化を開示している。これは、このような高分解能化には、デコンボリーションによる復元を行うため、点拡がり関数（ＰｏｉｎｔＳｐｒｅａｄＦｕｎｃｔｉｏｎ：ＰＳＦ）を求めることが必要になる。例えば、実際のＰＳＦの決定には点状の光源を利用することが必要であり、量子ドットや蛍光ビーズを使い、ＰＳＦを求めることが提案されている。

特開２００６−１４０８８５号公報

ＰＳＦを正確に求めることは困難である。また、ＰＳＦの大きさは撮影倍率に比例するため、撮影倍率に比例してＰＳＦの測定誤差が増大し、その結果、高分解能画像の画質は分解能に比例的に劣化する。

本開示の一態様による画像取得装置は、被写体を基準にして、複数の異なる照射方向から、順次、照明光を出射し、前記照明光で前記被写体を照射する照明システムと、前記被写体を透過した前記照明光が入射する位置に配置され、前記異なる照射方向に応じて異なる複数の画像を取得する撮像素子と、前記複数の画像に基づいて、前記複数の画像の各々よりも分解能が向上した前記被写体の高分解能画像を形成する画像処理部と、前記撮像素子の各画素に含まれる複数のサブ画素の上面を通過する光線が前記画素の光電変換部に入射する割合を前記複数の照射方向の各々について示すデータを格納するメモリとを備え、前記画像処理部は、前記複数の画像の各々を構成する画素値の、前記複数の照射方向に応じた組をベクトルとし、前記メモリから読み出した前記データに基づいて前記被写体の高分解能画像を形成する。

本開示の一態様による画像取得方法は、被写体を基準にして、複数の異なる照射方向から、順次、照明光を出射し、前記照明光で前記被写体を照射する工程と、前記被写体を透過した前記照明光が入射する位置に配置された撮像装置により、前記異なる照射方向に応じて異なる複数の画像を取得する工程と、前記複数の画像に基づいて、前記複数の画像の各々よりも分解能が向上した前記被写体の高分解能画像を形成する工程とを含み、前記撮像素子の各画素に含まれる複数のサブ画素の上面を通過する光線が前記画素の光電変換部に入射する割合を前記複数の照射方向の各々について示すデータをメモリに格納する工程と、前記複数の画像の各々を構成する画素値の、前記複数の照射方向に応じた組をベクトルとし、前記メモリから読み出した前記データに基づいて前記割合を係数とする行列の逆行列を前記画素値のベクトルに演算し、前記被写体の高分解能画像を形成するように設定されている。

本開示の一態様による画像取得装置は、照明装置と、撮像素子と、コンピュータとを備える画像取得装置であって、前記コンピュータは、前記照明装置により、被写体を基準にして、複数の異なる照射方向から、順次、照明光を出射し、前記照明光で前記被写体を照射し、前記被写体を透過した前記照明光が入射する位置に配置された撮像装置により、前記異なる照射方向に応じて異なる複数の画像を取得し、前記複数の画像に基づいて、前記複数の画像の各々よりも分解能が向上した前記被写体の高分解能画像を形成し、前記撮像素子の各画素に含まれる複数のサブ画素の上面を通過する光線が前記画素の光電変換部に入射する割合を前記複数の照射方向の各々について示すデータをメモリに格納し、前記画像処理部は、前記複数の画像の各々を構成する画素値の、前記複数の照射方向に応じた組をベクトルとし、前記メモリから読み出した前記データに基づいて前記割合を係数とする行列の逆行列を前記画素値のベクトルに演算し、前記被写体の高分解能画像を形成するように設定されている。

本開示の一態様によるプログラムは、照明装置と、撮像素子と、コンピュータとを備える画像取得装置のためのプログラムであって、前記照明装置により、被写体を基準にして複数の異なる照射方向から、順次、照明光を出射し、前記照明光で前記被写体を照射し、前記被写体を透過した前記照明光が入射する位置に配置された撮像装置により、前記異なる照射方向に応じて異なる複数の画像を取得し、前記複数の画像に基づいて、前記複数の画像の各々よりも分解能が向上した前記被写体の高分解能画像を形成し、前記撮像素子の各画素に含まれる複数のサブ画素の上面を通過する光線が前記画素の光電変換部に入射する割合を前記複数の照射方向の各々について示すデータをメモリに格納し、前記画像処理部は、前記複数の画像の各々を構成する画素値の、前記複数の照射方向に応じた組をベクトルとし、前記メモリから読み出した前記データに基づいて前記割合を係数とする行列の逆行列を前記画素値のベクトルに演算し、前記被写体の高分解能画像を形成するように構成されている。

本開示の一態様による画像取得装置は、被写体に対して光を照射し、姿勢および位置が固定されている光源と、前記被写体を複数の傾斜角度に傾斜させる傾斜機構と、前記被写体を透過した前記光が入射する位置に配置され、かつ前記被写体と一体的に前記傾斜機構により傾斜され、前記複数の傾斜角度に応じて複数の画像を取得する撮像素子と、前記複数の画像に基づいて、前記複数の画像の各々よりも分解能が向上した前記被写体の高分解能画像を形成する画像処理部と、前記撮像素子の各画素に含まれる複数のサブ画素の上面を通過する光線が前記画素の光電変換部に入射する割合を前記複数の傾斜角度の各々について示すデータを格納するメモリとを備え、前記画像処理部は、前記複数の画像の各々を構成する画素値の、前記複数の傾斜角度に応じた組をベクトルとし、前記メモリから読み出した前記データに基づいて前記被写体の高分解能画像を形成する。

本開示の実施形態によれば、１つの撮像素子によって得られる複数の低分解能画像を合成することにより、高分解能化を実現できる。

撮像素子におけるフォトダイオードの配列例を模式的に示す平面図撮像素子における一画素と開口領域との関係を模式的に示す平面図撮像素子における一画素と開口領域との関係を模式的に示す断面図本開示による画像取得装置の構成および動作を説明するための断面図本開示による画像取得装置の構成および動作を説明するための断面図本開示の画像取得装置における照明の例を示す図本開示による画像取得装置における照明の例を示す図本開示による画像取得装置における照明の例を示す図本開示による画像取得装置における照明の他の例を示す図本開示における撮像素子における光線入射の例を示す断面図本開示における撮像素子における光線入射の他の例を示す断面図本開示における撮像素子における光線入射の更に他の例を示す断面図本開示における撮像素子における光線入射の更に他の例を示す断面図本開示における撮像素子における被写体を通過した光線入射の例を示す断面図照射方向Ｊ１〜Ｊ４の各々について撮像によって得られたフォトダイオード４０の出力値Ａ_１〜Ａ_４と、透過率Ｓ１〜Ｓ４との関係を示すテーブルＮ個の画素について、照射方向Ｊ１〜Ｊ４の各々について撮像によって得られたフォトダイオード４０の出力値と、透過率Ｓ１〜Ｓ４との関係を示すテーブル照射方向Ｊ１〜Ｊ５の各々について撮像によって得られたフォトダイオード４０の出力値Ａ_１〜Ａ_５と、透過率Ｓ１〜Ｓ４との関係を示すテーブルＮ個の画素について、照射方向Ｊ１〜Ｊ５の各々について撮像によって得られたフォトダイオード４０の出力値と、透過率Ｓ１〜Ｓ４との関係を示すテーブル照射方向Ｊ１〜Ｊ３の各々について撮像によって得られたフォトダイオード４０の出力値Ａ１〜Ａ３と、透過率Ｓ１〜Ｓ２との関係を示すテーブル図１４のテーブルに示された関係を規定する条件式横軸がＳ１、縦軸Ｓ２の二次元座標平面上に図１５の３つの条件式で表される３本の直線を記載したグラフ第一実施形態に係る画像取得装置の概略構成を示すブロック図第一実施形態に係る画像取得装置における光源の位置ずれに起因する光線入射位置の誤差を示す断面図第一実施形態に係る画像取得装置における点光源から出射された光ビームの広がりに起因する光線入射位置のシフトを示す断面図行列を用いた演算の対象とされ得る計算範囲の例を示す図遮光部が設けられた撮像素子の一例を示す斜視図遮光部が設けられた撮像素子の一例を示す断面図第一実施形態に係る画像取得装置の動作を示すフローチャート第二実施形態に係る画像取得装置の概略構成を示すブロック図第二実施形態に係る画像取得装置の動作を示すフローチャート拡大率２倍の高分解能画像を取得するための拡大画像２８０１の取得方法を示す図撮像対象である被写体および撮像素子を着脱可能に保持する保持装置を備えている改変例を示す図撮像対象である被写体および撮像素子を着脱可能に保持する保持装置を備えている他の改変例を示す図撮像対象である被写体および撮像素子を着脱可能に保持する保持装置を備えている更に他の改変例を示す図撮像対象である被写体および撮像素子を着脱可能に保持する保持装置を備えている更に他の改変例を示す図撮像対象である被写体および撮像素子を着脱可能に保持する保持装置を備えている更に他の改変例を示す図撮像対象である被写体および撮像素子を着脱可能に保持する保持装置を備えている更に他の改変例を示す図撮像対象である被写体および撮像素子を着脱可能に保持する保持装置を備えている更に他の改変例を示す図撮像対象である被写体および撮像素子を着脱可能に保持する保持装置を備えている更に他の改変例を示す図撮像対象である被写体および撮像素子を着脱可能に保持する保持装置を備えている更に他の改変例を示す図撮像対象である被写体および撮像素子を着脱可能に保持する保持装置を備えている更に他の改変例を示す図撮像対象である被写体および撮像素子を着脱可能に保持する保持装置を備えている更に他の改変例を示す図撮像対象である被写体および撮像素子を着脱可能に保持する保持装置を備えている更に他の改変例を示す図撮像対象である被写体および撮像素子を着脱可能に保持する保持装置を備えている更に他の改変例を示す図

本開示による画像取得装置の実施形態を説明する前に、まず、撮像素子の基本的な構成例を説明する。

図１は、撮像素子１１３の一例であるＣＣＤイメージセンサの撮像面の一部を模式的に示す平面図である。図１に示されるように、撮像面上には複数のフォトダイオード（光電変換部）４０が行および列状に配列されている。図１において、１つの画素５０が点線の矩形領域で示されている。撮像面において多数の画素５０が行および列状に密に並んでいる。

各フォトダイオード４０に入射した光は、フォトダイオード４０内で電荷を生成する。生成される電荷の量は、そのフォトダイオード４０に入射した光の量に応じて変化する。各フォトダイオード４０で生成された電荷は、縦方向に延びる垂直電荷転送路４４に移動し、垂直電荷転送路４４を順次転送されて水平電荷転送路４６に移動する。次に、電荷は横方向に延びる水平電荷転送路４６を転送され、水平電荷転送路４６の一端から画素信号として撮像素子１１３の外部に出力される。電荷転送路４４，４６上には不図示の転送電極が配列されている。なお、本開示の画像取得装置で使用される撮像素子１１３の構成は、上記の例に限定されない。ＣＣＤイメージセンサに代えて、ＭＯＳ型イメージセンサが使用されても良い。

撮像面内におけるフォトダイオード４０の配列ピッチは、垂直方向および水平方向で一致している必要はない。本明細書では、簡単のため、フォトダイオード４０の配列ピッチは、垂直方向および水平方向で等しく、いずれも大きさＫ［μｍ］を有するものとする。

図２は、１つの画素５０と、その画素５０に含まれるフォトダイオード４０を模式的に示す平面図である。この例における各画素のサイズは、Ｋ［μｍ］×Ｋ［μｍ］である。また、フォトダイオード４０のサイズ（受光領域のサイズ）は、Ｐ［μｍ］×Ｐ［μｍ］である。従って、１つの画素の面積はＳ１＝Ｋ×Ｋで表され、１つのフォトダイオード４０の面積はＳ２＝Ｐ×Ｐで表される。なお、本実施形態によれば、分解能は、画素ピッチではなく、フォトダイオード４０のサイズ（受光領域のサイズ）によって決まる。しかし、照明に使用する可視光の波長を考慮すると、本実施形態におけるフォトダイオード４０のサイズＰは、０．１μｍ以上に設定され得る。

本開示の画像取得装置では、個々のフォトダイオード４０に対応するマイクロレンズは設けられていない。このため、各画素５０のうち、フォトダイオード４０の受光領域（Ｐ×Ｐの領域）以外の領域は「遮光領域」であり、遮光領域に入射した光は、光電変換されず、画素信号を形成しない。Ｐ［μｍ］×Ｐ［μｍ］で示される受光領域は、「開口領域」と呼んでも良い。個々の画素５０におけるフォトダイオード４０の位置、形状、および大きさは、図２に示される例に限定されない。

画素領域およびフォトダイオードは、撮像面において典型的には矩形の形状を有している。その場合において、ｎ、ｍを実数とすると、撮像面内の水平方向における画素領域のサイズに対するフォトダイオードのサイズの比率を（１／ｎ）で表し、撮像面内の垂直方向における画素領域のサイズに対するフォトダイオードのサイズの比率を（１／ｍ）で表すことができる。このとき、開口率は、（１／ｎ）×（１／ｍ）で表される。ｎ、ｍは、いずれも、２以上の実数であり得る。

図３は、撮像素子１１３に含まれる１つの画素５０の断面構成の例を模式的に示す断面図である。撮像素子は、図３に示されるように、半導体基板４００と、半導体基板４００の表面に形成されたフォトダイオード（ＰＤ）４０と、半導体基板４００に支持される配線層４０２と、配線層４０２を覆う遮光層４２と、半導体基板４００の光入射側面を被覆する透明層４０６とを備えている。図３では、単一の画素に対応する部分の断面が示されているため、１つのフォトダイオード４０のみが図示されているが、現実には、１つの半導体基板４００に多数のフォトダイオード４０が形成されている。なお、撮像素子１１３がＣＣＤイメージセンサである場合、半導体基板４００には、垂直または水平電荷転送路として機能する不純物拡散層（不図示）が配線層４０２の下部に形成されている。配線層４０２は、電荷転送路上に配列された不図示の電極に接続される。なお、撮像素子１１３がＭＯＳ型イメージセンサの場合は、画素単位でＭＯＳ型トランジスタ（不図示）が半導体基板４００に形成される。ＭＯＳ型トランジスタは対応するフォトダイオード４０の電荷を読み出すためのスイッチング素子として機能する。

撮像素子１１３におけるフォトダイオード４０以外の構成要素は、遮光層４２によって覆われている。図３の例では、遮光層４２によって覆われている領域が黒く塗りつぶされている。

本実施形態に使用され得る撮像素子の構成は、上記の例に限定されず、裏面照射型のＣＣＤイメージセンサまたは裏面照射型のＭＯＳ型イメージセンサであってもよい。

次に、図４Ａおよび図４Ｂを参照しながら、本開示による画像取得装置の概略構成例を説明する。図４Ａおよび図４Ｂは、それぞれ、本開示による画像取得装置の概略構成例を模式的に示す断面図である。

図示されている画像取得装置は、被写体３０を基準にして複数の異なる光源方向（照射方向）から、順次、照明光を出射し、その照明光で被写体３０を照射する照明装置１１１と、被写体３０を透過した照明光が入射する位置に配置され、異なる照射方向に応じて異なる複数の画像を取得する撮像素子１１３とを備えている。また、この画像取得装置は、異なる照射方向に応じて取得した複数の画像に基づいて高分解能画像を形成する画像処理部１２を備えている。この画像処理部１２は、撮像素子１１３から得た複数の画像の各々よりも分解能（解像度）の高い前記被写体の高分解能画像を形成することができる。画像処理部１２は、汎用または専用のコンピュータによって実現され得る。

撮像素子１１３が第１の画像を取得する時（図４Ａ）、照明装置１１１は、照明光を被写体３０に対して第１の方向から入射させる。また、撮像素子１１３が第２の画像を取得する時（図４Ｂ）、照明装置１１１は、照明光を被写体３０に対して第２の方向から入射させる。図４Ａおよび図４Ｂに示される光線のうち、遮光層４２に入射した光線は画像の取得に利用されていない。言い換えると、照明装置１１１から出射された光のうち、フォトダイオード４０に入射した光線のみによって各画像が取得される。

被写体３０に対する光線の入射方向が大きく異なると、フォトダイオード４０に入射する光線が被写体３０を透過する領域が異なる場合がある。しかし、本実施形態の画像取得装置において、撮像素子１１３が複数の画像を取得する間、被写体３０の同一部分を通過した光線の少なくとも一部が撮像素子１１３の光電変換部に入射することもあるように複数の照射方向が調整されている。なお、本開示の画像取得装置で撮像可能な被写体３０は、光線を透過することが可能な領域を少なくとも一部に含む物体である。被写体３０は、厚さが数μｍの病理標本を含むスライドであり得る。被写体３０の形状は、プレート状に限定されず、粉末や液体であってもよい。撮像面の法線方向における被写体３０のサイズは、例えば２μｍ以下である。

次に、図５Ａ、図５Ｂおよび図５Ｃを参照して、照明装置１１１の第１の構成例を説明する。

第１の構成例における照明装置１１１は、複数の光源（照明光源）１０ａ、１０ｂ、１０ｃを有している。これらの光源１０ａ、１０ｂ、１０ｃは、複数の異なる照射方向に対応した異なる位置に配置されており、順次、点灯する。例えば光源１０ａが点灯している時、図５Ａに示されるように、光源１０ａから光が出射し、その光で被写体３０が照射される。図５Ａ〜５Ｃでは、光源１０ａ、１０ｂ、１０ｃからの光が発散しているように示されているが、現実には、光源１０ａ、１０ｂ、１０ｃから撮像素子１１３までの距離は充分に長く、実質的に平行な光が被写体３０および撮像素子１１３に入射すると考えて良い。また、図示されていないレンズなどの光学系により、光源１０ａ、１０ｂ、１０ｃから放射された光が平行光または平行光に近い光に収束されていてもよい。従って、光源１０ａ、１０ｂ、１０ｃは、点光源であってもよいし、面光源であってもよい。被写体３０は、撮像素子１１３の上面の上に置かれている。撮像素子１１３の上面は、図５Ａにおいて破線で示されており、被写体支持部１１２として機能する。

まず、光源１０ａからの光で被写体３０が照射された状態で撮像素子１１３による撮像が行われると、次に、例えば光源１０ｂが点灯し、光源１０ａおよび光源１０ｃが消灯状態になる。このとき、図５Ｂに示されるように光源１０ｂから光が出射し、その光で被写体３０が照射される。光源１０ｂからの光で被写体３０が照射された状態で撮像素子１１３による撮像が行われると、次に、光源１０ｃが点灯し、光源１０ａおよび光源１０ｂが消灯状態になる。このとき、図５Ｃに示されるように光源１０ｃから光が出射し、その光で被写体３０が照射される。この状態で、また撮像素子１１３による撮像が行われる。

図５Ａ〜５Ｃの例では、３つの異なる照射方向から被写体３０が照射され、その都度、撮像が行われるため、合計３枚の画像が取得される。照明装置１１１が有する光源の個数は、３個に限定されない。また、発光波長の異なる複数の光源が同一の照射方向に近接して配置されていても良い。例えば図５Ａの光源１０ａの位置およびその近傍に、赤、緑、および青の光源（ＲＧＢ光源）を配置しておけば、図５Ａに示される状態で赤、緑、および青の光を順次照射し、３枚の画像を取得することが可能になる。このような３枚の画像が取得できれば、それらを重畳するだけでフルカラー画像を得ることができる。このような画像は、タイムシーケンシャルのカラー画像である。この場合、ＲＧＢ光源を同時に点灯させれば、これらの光源は全体として１個の白色光源として機能し得る。また、撮像素子にカラーフィルタが配置されていれば、光源として白色光源を使用すればよい。

なお、照明装置１１１が有する光源の波長は、可視光域に限定されず、赤外または紫外であってもよい。また、各光源から白色の光が出射されても良いし、シアン、マゼンタ、イエローなどの光が出射されても良い。

次に、図６を参照する。図６は照明装置１１１の第２の構成例を模式的に示している。図６の構成例における照明装置１１１は、移動可能に支持される少なくとも１つの光源１０を有している。この光源１０を移動させることにより、複数の照射方向に含まれる任意の方向から光を出射し、その光で被写体３０を照射することが可能になる。

なお、図５Ａ〜５Ｃの例においても、光源１０ａ、１０ｂ、１０ｃは特定位置に固定されている必要は無く、移動可能に支持されていても良い。更に、固定された１個の光源１０から出た光ビームの光路をミラーなどの駆動光学系を介して変更し、それによって被写体３０に異なる方向から入射させるようにしてもよい。

図５Ａ〜５Ｃの例および図６の例では、図面の紙面に平行な面内で照射方向が変化しているが、照射方向は、この面に対して傾斜する方向であってもよい。ただし、以下、簡単のため、撮像面上の一次元方向における拡大（高分解能化）について説明を行う。拡大したい倍率がｎ（ｎは２以上の整数）倍のとき、少なくともｎ²個の光源数が使用され得る。

なお、照明光の「照射方向」は、光源および被写体（撮像面）との相対的な配置関係によって決まる。撮像面を基準にし、撮像面に入射する照明光の光線の方向を「照射方向」と定義する。撮像面における水平方向をＸ軸、垂直方向をＹ軸、撮像面の法線方向をＺ軸とするとき、照射方向は、ＸＹＺ座標内のベクトルによって特定され得る。照射方向は任意であり、照射方向の数も任意である。

撮像面に垂直な「照射方向」は、ベクトル（０，０，１）によって表現され得る。撮像面から被写体までの距離をＬとすると、１６通りの照射方向θ１〜θ１６は、それぞれ、例えば、（０，０，Ｌ）、（Ｋ／４，０，Ｌ）、（２Ｋ／４，０，Ｌ）、（３Ｋ／４，０，Ｌ）、（０，Ｋ／４，Ｌ）、（Ｋ／４，Ｋ／４，Ｌ）、（２Ｋ／４，Ｋ／４，Ｌ）、（３Ｋ／４，Ｋ／４，Ｌ）、（０，２Ｋ／４，Ｌ）、（Ｋ／４，２Ｋ／４，Ｌ）、（２Ｋ／４，２Ｋ／４，Ｌ）、（３Ｋ／４，２Ｋ／４，Ｌ）、（０，３Ｋ／４，Ｌ）、（Ｋ／４，３Ｋ／４，Ｌ）、（２Ｋ／４，３Ｋ／４，Ｌ）、（３Ｋ／４，３Ｋ／４，Ｌ）のベクトルで表現され得る。同一の画像が取れる別の角度でも良い。

次に図７〜図９を参照して、照明光の入射方向について説明する。これらの図では、着目するフォトダイオード４０に入射する光が記載されている。

まず、図７を参照する。高分解能化の原理を説明するため、撮像素子１１３の各画素には複数のサブ画素が含まれると考える。複数のサブ画素領域の個数は、撮像素子１１３の構造に固有ではなく、撮像時に照射方向を変えて行う光照射の回数に依存して設定され得る。図７の例では、１個の画素５０に４個のサブ画素５０ａ、５０ｂ、５０ｃ、５０ｄが含まれる。１つの画素には１つのフォトダイオード４０が含まれるため、通常の撮像では、被写体３０からサブ画素５０ａ、５０ｂ、５０ｃ、５０ｄに対応する細かい領域の情報を個別に取得することはできない。すなわち、本明細書において、「撮像素子の各画素に含まれる複数のサブ画素」とは、撮像素子の個々のフォトダイオードに割り当てられた１画素の領域を複数に区分する部分である。

被写体３０は、撮像時、撮像素子１１３の上面４８に接して、または上面４８に近接して配置され得る。このため、撮像素子１１３の上面４８は、被写体支持部（被写体支持面）として機能し得る。サブ画素５０ａ、５０ｂ、５０ｃ、５０ｄのうち、撮像素子１１３の上面４８に位置する面を「サブ画素の上面」と定義する。

図７の例では、１個の画素５０に４個のサブ画素５０ａ、５０ｂ、５０ｃ、５０ｄが図７のＸ軸方向に沿って配列されているが、サブ画素の配列パターンは任意である。サブ画素は撮像面の拡がりに応じて二次元的に配列され得る。ここでは、簡単のため、Ｘ軸方向に沿って一次元的に配置された４個のサブ画像によって各画素が構成されていると考え、またひとつの画素のみに注目してみる。

次に、図８から図１０を参照しながら、照明光の入射方向（照射方向）に応じてサブ画素５０ａ、５０ｂ、５０ｃ、５０ｄの各々の上面を通過した光線が、どのような割合でフォトダイオード４０に入射するかを検討する。図示されている状態において、まだ、被写体３０は撮像素子１１３上に置かれていない。

図８に示す照明光は、撮像面に垂直に入射している。このような照明は、例えば、図５Ａの光源１０ａから出射された光で撮像素子１１３を照射することによって実現し得る。このとき、サブ画素５０ａ、５０ｂ、５０ｃ、５０ｄの各々の上面を通過した光線は、それぞれ、１／２、１、１／２、０の割合でフォトダイオード４０に入射する。例えば、サブ画素５０ｂの上面を通過してフォトダイオード４０に入射する光の量を基準値１とすると、サブ画素５０ａの上面を通過してフォトダイオード４０に入射する光の量は１／２である。サブ画素５０ｃの上面を通過した光の半分は、フォトダイオード４０に入射しているが、残りの半分は遮光膜４２に入射している。サブ画素５０ｄの上面を通過した光の全体は、フォトダイオード４０ではなく、遮光膜４２に入射している。上記の「割合」を規定する数値「１／２、１、１／２、０」は、あくまでも一例であり、３以上の整数を用いた分数で表現されていてもよいし、小数で表現されていてもよい。この「割合」は、撮像装置１１３が異なる構造を有する場合、例えば開口率が異なる場合に変化し得る。

次に図９を参照する。図９に示す照明光は、撮像面に対して斜めに入射している。このような照明は、例えば、図５Ｃの光源１０ｃから出射された光で撮像素子１１３を照射することによって実現し得る。この例において、サブ画素５０ａ、５０ｂ、５０ｃ、５０ｄの各々の上面を通過した光線は、それぞれ、１、１／２、０、０の割合でフォトダイオード４０に入射している。

次に図１０を参照する。図１０に示す照明光は、図９の例とは反対の照射方向から撮像面に対して斜めに入射している。このような照明は、例えば、図５Ｂの光源１０ｂから出射された光で撮像素子１１３を照射することによって実現し得る。この例では、サブ画素５０ａ、５０ｂ、５０ｃ、５０ｄの各々の上面を通過した光線は、それぞれ、０、０、１／２、１の割合でフォトダイオード４０に入射する。

照射方向を調整することにより、複数の任意の方向から光を撮像素子１１３に入射することができる。そして、複数の照射方向に応じて、上記の「割合」を求めることができる。撮像素子１１３の構造が既知であれば、この「割合」を計算やコンピュータシミュレーションによって決定し得るし、また、校正用サンプルを用いて実測によって決定することもできる。

図１１は、被写体３０を撮像素子１１３の上面４８上に配置し、撮像面に垂直な照射方向からの光で被写体３０を照射した状態を示している。被写体３０のうち、サブ画素５０ａ、５０ｂ、５０ｃ、５０ｄの各々の上面に対向する部分を、被写体３０のサブ画素部分Ｓ１〜Ｓ４と称することにする。また、サブ画素部分Ｓ１〜Ｓ４の光透過率を、それぞれ、Ｓ１〜Ｓ４と表現することにする。被写体３０の透過率Ｓ１〜Ｓ４は、被写体３０の組織または構造に依存し、被写体３０の高精細画像における画素情報に相当する。被写体３０のサブ画素部分Ｓ１〜Ｓ４の各々を透過して、フォトダイオードに４０に入射する光の量は、透過率Ｓ１〜Ｓ４に上述の「割合」を乗じた値で表現され得る。「割合」を規定する数値が、それぞれ、１／２、１、１／２、０である場合、サブ画素部分Ｓ１〜Ｓ４の各々を透過して、フォトダイオード４０に入射する光の量は、Ｓ１／２、Ｓ２、Ｓ３／２、０である。すなわち、フォトダイオードに４０の出力は、Ｓ１／２＋Ｓ２＋Ｓ３／２に対応した大きさを有することになる。

このように１つのフォトダイオード４０には、被写体３０におけるサブ画素部分Ｓ１〜Ｓ４の各々を透過した光線が入射し得るため、そのフォトダイオード４０の出力値にはサブ画素部分Ｓ１〜Ｓ４の情報（透過率）が畳み込まれる。従って、上記の例えば「１／２、１、１／２、０」という数のセットを「畳み込み割合」と称しても良い。このような数のセットは、ベクトルとして取り扱うことができる。

異なる照射方向について被写体３０の撮像を行い、透過率Ｓ１〜Ｓ４の数以上の独立なベクトルセットになるように複数のフォトダイオード４０の出力値を取得すれば、演算により、透過率Ｓ１〜Ｓ４を決定することができる。

図１２Ａは、照射方向Ｊ１〜Ｊ４の各々について撮像によって得られたフォトダイオード４０の出力値Ａ_１〜Ａ_４と、透過率Ｓ１〜Ｓ４との関係を示すテーブルである。ｊを１〜４とすると、Ａ_１〜Ａ_４のセットをＡ_jと表記できる。Ａ_jはベクトルである。

図１２Ａのテーブルに示される４行４列の数値から構成される行列を行列Ｍⁱ _jと表現する。ここで、ｉは、１画素に割り当てられるサブ画素の個数に等しい。未知数である透過率Ｓ１〜Ｓ４から構成されるベクトルをＳ_iで表現することができる。このとき、Ｍⁱ _jＳ_i＝Ａ_jの式が成立する。

Ｍⁱ _jＳ_i＝Ａ_jの式は、全ての画素について成立する。ここで注目する画素に関与するサブ画素が周囲を含むようになり、全画素に注目すると、全体の連立方程式となる。画素の個数がＮ個であれば、図１２Ｂのテーブルに示すように、行列を拡張することができ、Ｍ^ij _kＳ_i＝Ａ^j _kとなる。図１２ＢのＮは、演算の対象となる画像の画素数であり、ｊは、Ｎ個の画素に含まれる画素を特定する１以上Ｎ以下の数、ｋは、さきほどのｊである。

行列Ｍ^ij _kが決まれば、撮像によって得られるベクトルＡ^j _kに対して、行列Ｍ^ij _kの逆行列を演算すれば、ベクトルＳ_iを求めることができる。

上記の方法では、倍率ｎの高分解能画像を得るためにｎ²個の異なる光源位置から光を被写体に照射し、ｎ²枚の画像を取得している。この場合、行例Ｍⁱ _jの数値によって表現される「畳み込み割合」に対する校正を事前に行う必要がある。

一方で、別の方法として、光源を増やすことによって自動的に校正する方法が存在する。

一般に行列Ｍⁱ _jの数値には誤差が存在するが、ベクトルＳ_iを求めるための逆行列演算を行うとき、この誤差を評価すると、より真の値に近い解を求め、装置の校正をすることができる。以下、この点を説明する。

倍率ｎと同等な数ｎ個の光源から光を被写体に照射する場合（図１２Ａ、図１２Ｂ）、計算によって、行列Ｍⁱ _jの数値に含まれ得る誤差を求めたり、その校正をすることができない。しかし、倍率ｎのとき、ｎ²個より多い光源、具体的には（（ｎ＋１）×（ｎ＋１）−１）個以上の光源を用意すれば、行列Ｍⁱ _jの数値ついての事前の校正が不要になる。

行列Ｍⁱ _jの数値の誤差による影響を抑制するためには、例えば、図１３Ａ、図１３Ｂのテーブルに示されるように照射方向をひとつ増やして撮影を行えば良い。以下、簡単のため、倍率ｎが２の場合について、この点を説明する。すなわち、サブ画素数を２個として、異なる３つの照射方向Ｊ１、Ｊ２、Ｊ３から照明光を被写体に照射する例について説明する。

図１４のテーブルは、この場合における「割合」の数値例を示している。未知数は、Ｓ１およびＳ２である。照射方向Ｊ１からの照明光で撮像したときに得られる画素値はＡ１、照射方向Ｊ２からの照明光で撮像したときに得られる画素値はＡ２、照射方向Ｊ３からの照明光で撮像したときに得られる画素値はＡ３である。Ａ１、Ａ２、Ａ３には、撮像によって測定された具体的な数値が入力される。

図１５は、Ｓ１、Ｓ２、Ａ１、Ａ２、およびＡ３の間で成立する３つの連立方程式を示している。式中におけるＳ１およびＳ２の係数は、図１４に示される「割合」の数値に等しい。２つの未知数Ｓ１およびＳ２を求めるには、理想的には２つの連立方程式があればよい。しかし、図１５に示すように３つの連立方程式を用いることにより、図１４に示す「割合」の数値に誤差が存在する場合でも、真の値に近い解を求めることができる。

図１６は、横軸がＳ１、縦軸Ｓ２の二次元座標平面上に、図１５の３つの式で表される３本の直線を記載したグラフである。図１４に示す「割合」に誤差が無ければ、図１６の３つの直線は１点で交差し、その一点の座標が、求めるべき解に相当する。しかし、誤差に起因して、図１６のグラフでは、３つの交点が観測される。これらの３つの交点は、真の値の近傍に位置しているはずである。このため、３の直線に囲まれた三角形領域の中央の点を３つの連立方程式の解として選択してもよい。解は、３本の直線からの距離の二乗の和が最小になる点として求められてもよい。このようにして決定された解は、Ｓ１およびＳ２の推定値である。図１６に示されるように、推定された解から３本の直線までの距離を「誤差」として定義することができる。

本開示によれば、被写体３０の像は、被写体３０を透過する実質的に平行な光線（例えば発散角度が１／１００ラジアン以下）によって取得される。被写体３０と撮像素子１１３との間には結像のためのレンズを配置する必要は無く、被写体３０は撮像素子１１３に近接して配置され得る。撮像素子１１３の撮像面から被写体３０までの距離は、典型的には１００μｍ以下であり、例えば１μｍ程度に設定され得る。

例えば、異なる２５方向からの光照射によって最大５倍の高分解能化が可能になる。Ｎを２以上の整数するとき、Ｎ^2個の異なる方向から光を照射して撮像を行えば、最大Ｎ倍の高分解能化が可能になる。ある被写体３０に対してＮ倍の高分解能化を行うことは、各画素がＮ^2個のサブ画素を含むことに対応する。照明装置１１１において、例えば５行５列の位置に配置された２５個の光源から光を被写体３０に順次照射して、２５枚の低分解能画像を取得する場合、各画素が５行５列のサブ画素を含むことに対応する。

本開示の撮像装置によると、照明光の方向を変えながら複数の低分解能画像を取得する間に、被写体３０が移動したり、変形したりしないことが好ましい。

以上の説明から、被写体３０を照射する光の方向を適切に設定することが重要であることがわかる。また、少なくとも撮像時に照明のための光以外の光が被写体３０に入射しないように、被写体３０および撮像素子１１３は外光を遮蔽する壁面によって取り囲まれ得る。

以下、本開示の実施形態をより詳細に説明する。

（第一実施形態）
図１７を参照しながら、本開示の第一実施形態に係わる画像取得装置を説明する。図１７は本実施形態における画像取得装置のブロック図である。図１７に示すように、画像取得装置１は、照明機能および撮像機能を有する撮像処理部１１と、撮像処理部１１で得られた低分解能画像から高分解能画像を生成して出力する画像処理部１２と、光源位置情報および低分解能画像を記憶する記憶装置１３とを備えている。

撮像処理部１１は、照明装置１１１、被写体支持部１１２、撮像素子１１３を備える。照明装置１１１は、前述した構成を有しており、複数方向から被写体に対して、所定の照度の平行光（例えば発散角度が１／１００ラジアン以下）を照射することができる。この被写体支持部１１２は、撮像素子１１３の撮像面から被写体までの距離が１０ｍｍ以下（典型的には１ｍｍ以下）となるように被写体を支持する。

本実施形態の照明装置１１１は、ＬＥＤを光源として有している。照明装置１１１は、ＲＧＢの３色のＬＥＤを有し、それぞれ複数の位置に配置されている。光源としては、ＬＥＤの代わりに、白熱電球、レーザダイオード、ファイバーレーザを用いてもよい。白熱電球を用いる場合、白熱電球から放射された光を平行光に変換するレンズまたは反射鏡を使用しても良い。光源は、赤外光や紫外光を発するものでもよい。光源から放射された光の波長を変換またはフィルタリングするためのカラーフィルタが光路上に配置されていても良い。本実施形態では、２５箇所の異なる光源位置に２５セットの光源が配置されている。

照明装置１１１は、図５Ａ〜５Ｃに示すように複数の光源を有していてもよいし、図６に示すように被写体に入射する光の方向を変化させるように移動可能に支持された光源を有していてもよい。

被写体支持部１１２は、撮像中に被写体を支持する部材であり、撮像素子１１３の上面であってもよい。撮像中に被写体の位置が変化しないようにこれらを保持する機構を有していても良い。被写体支持部１１２は、撮像素子１１３上に被写体３０をほとんど隙間なく配置するように構成され得る。

図１８は、撮像素子１１３上に配置された被写体３０と光源１０との配置関係を示す図である。

光源１０と被写体３０との間隔Ｄは例えば１ｍ以上に設定され得る。撮像素子１１３の撮像面から被写体３０までの距離Ｌは、画像のボケを抑制するために、１００μｍ（＝１×１０^-4ｍ）以下、例えば１μｍ（＝１×１０^-6ｍ）に設定される。Ｄ＝１ｍ、Ｌ＝１×１０^-6ｍの場合、光源１０から出て被写体３０の位置Ａを通過する光線は、光源１０の位置が水平横方向にＸｍだけずれると、撮像面上でΔＸｍだけシフトした位置に入射することになる。ΔＸ／Ｘ＝Ｄ／Ｌの関係があるため、ΔＸを０．１μｍ（＝１×１０^-7ｍ）以下に抑制するには、Ｘを０．１ｍ以下に抑制すれば良い。光源１０の位置を調整する際、光源１０の位置ずれＸを０．１ｍ（＝１０ｃｍ）以下にすることは容易である。画素ピッチＫが１μｍ程度の撮像素子１１３を用いる場合、撮像素子１１３から光源１０までの距離を１ｍ程度に設定しておけば、光源の位置ずれＸが数ｃｍ程度発生しても画質に悪影響は及ばない。また上記のことから、特定の照射方向に、赤、緑、および青の光源（ＲＧＢ光源）を配置する場合、それらの複数の光源が０．１ｍ（＝１０ｃｍ）以下の範囲にあって近接していれば、それらを１個の光源として扱うこともできる。

本実施形態における撮像素子１１３は、例えば約４８００×３６００画素の構成を有する。この場合、画素ピッチＫは、一例として１．３μｍ程度に設定され得る。また、撮像面から撮像素子上面までの距離、すなわち、撮像面から被写体までの距離Ｌは一例として約１．３μｍに設定され得る。本実施形態では、撮像素子１１３の開口率は２５％であるとする。なお、開口率は２５％に限定されない。

図１９は、１つの光源１０から出た光線の入射角度の分布を誇張して記載した図である。光源１０の真下に位置する領域には垂直に光線が入射している。一方、撮像面の端部に位置する領域には傾斜して光線が入射している。撮像面から光源１０までの距離Ｄが約１ｍに設定されている場合を考える。撮像素子の中央から端部までの距離Ｃは、せいぜい１０ｍｍ（＝１×１０^-2ｍ）である。また、Ｌ＝１×１０^-6ｍである。本来、光源から垂直に光が入射すべきであるのに、撮像面の端部には光が斜めに入射するため、その入射位置は、垂直に入射した場合の入射位置に対してΔｘだけシフトする。上記の数値例では、Ｃ／Ｄ＝Δｘ／Ｌの関係が成立しているため、Δｘ＝（ＬＣ）／Ｄ＝（１×１０^-6×１×１０^-2）／１＝１×１０^-8＝１０ｎｍである。すなわち、フォトダイオードに入射する光線が被写体を通過する領域の位置は、撮像素子の中央か端部かによって、Δｘ＝１０ｎｍよりも小さい範囲でしかシフトしない。画素ピッチＫが１μｍ（＝１×１０^-6ｍ）であるとすると、Δｘ＝１０ｎｍ（＝１×１０^-8ｍ）は画素ピッチＫよりも２桁小さい。このため、撮像面から光源１０までの距離Ｄが撮像面のサイズを考慮して適切な大きさに設定されている限り、被写体を基準にした照射方向は、同じ光源に対して、被写体の位置によらず一定であると考えて良い。

再度、図１７を参照する。本実施形態における画像処理部１２は、照明条件調整部１２１、画像情報取得部１２２、推定演算部１２３、画像構成処理部１２４を備えている。これらは、画像処理部１２を実現するコンピュータの機能ブロックから構成されていても良く、各構成要素はコンピュータプログラムによって実現され得る。記憶装置１３は、光源位置情報サーバ１３１と低分解能画像サーバ１３２とを有する。記憶装置１３は、ハードディスク、半導体メモリ、または光記録媒体であり得、インターネットなどのデジタルネットワークを介して画像処理部１２に接続されるデータサーバであってもよい。

画像処理部１２の照明条件調整部１２１は、照明装置１１１における光源の位置、明るさ、光照射間隔、照度などの照明条件を調整する。画像情報取得部１２２は、照明装置１１１の照明条件が適切に設定された状態で撮像素子１１３を制御し、点灯する光源の切り替えに応じて撮像素子１１３に撮像を行わせる。画像情報取得部１２２は、撮像素子１１３が取得した画像（低分解能画像）のデータを撮像素子１１３から受け取る。また、受け取った画像データに関連付けて照明条件を規定する情報（照射方向、発光強度、照度、波長など）を照明条件調整部１２１から取得する。

光源位置情報サーバ１３１は、画像情報取得部１２２から得た光源位置を示す情報を位置データベースとして格納している。また、光源位置情報サーバ１３１は、図１３に示す行列のデータベースを格納している。後述する推定演算部１２３によって行列の数値を調整した場合は、そのたびにこのデータベースを書き換える。

低分解能画像サーバ１３２は、画像情報取得部１２２を介して得た低分解能画像のデータと、各低分解能画像を取得するときに使用された照明条件を示す情報とを画像データベースとして格納する。後述する画像構成処理が終了すると、低分解能画像のデータは画像データベースから削除されてもよい。

画像処理部１２における推定演算部１２３は、画像情報取得部１２２から得られる撮像終了を示す信号に応答して、記憶装置１３の光源位置情報サーバ１３１および低分解能画像サーバ１３２から光源位置情報および低分解能画像を得る。そして、前述した原理による演算を行って高分解能画像を推定し、推定の妥当性を判断する。ここで、推定が妥当である場合は高分解能画像を出力し、そうでない場合は光源位置情報を変更する。推定動作を行うとき、推定演算部１２３は、光源位置情報サーバ１３１のデータベースを参照し、行列の数値を規定する上記の「割合」を取得し、撮像素子１１３の出力に基づいて高分解能画像を推定する。このとき、前述したように、推定値および誤差が求められる。誤差が基準値（例えば５％）を超えた場合は、「割合」の数値を初期値から他の値に補正する処理が行われてもよい。誤差の比率は、例えば、誤差／｜（Ｓ１、Ｓ２、・・・、Ｓ２５）｜×１００で表され得る。

この誤差を用いて実験装置の校正も同時に行い、次回以降の実験の精度を上げることができる。具体的な校正方法は、例えば図１６のような推定値と３本の直線が引ける場合、平行移動をして３本の直線が全て推定値を通るように修正することで校正をかけ、誤差をなくすことができる。

次に、誤差を評価しながらこの逆行列を解く。条件式は、一般には非常に複雑になる。ただし、計算上、全ての画素の矩形ブロックで計算をして求める高分解能画像のある画素に関して、大きく影響を受ける画素はごく限られた範囲の画素に限られる。図２０に示すように、例えば、画素１２×１２個の矩形ブロック単位で計算を行えば、計算コストを下げて高速に計算できる。

推定演算部１２３の計算を撮像エリアの全体で実行する場合、被写体範囲の外からの光の入射を防ぐ遮光部を設けてもよい。被写体の位置しない領域から光が照射されることを防ぐため、図２１に示すように被写体支持部上に撮像範囲を制限する遮光領域を配置してもよい。また、図２２に示すように、撮像素子１１３の側面に遮光部材を配置してもよい。

画像構成処理部１２４は、推定演算部１２３から送られてくる妥当性が認められた画像情報に基づいて高分解能画像を構成し、色補正、デモザイク処理、階調補正（γ補正）、ＹＣ分離処理、重なった部分の補正等、補正を施す。高分解能画像は不図示のディスプレイに表示されたり、出力部を介して画像取得装置１の外部に出力されたりする。出力部から出力された高分解能画像は、不図示の記録媒体に記録され、また他のディスプレイに表示され得る。

低分解能画像サーバ１３２は、画像情報取得部１２２によって取得された低分解能画像のデータを格納する。推定演算部１２３にて画像を構成する際に、この低分解能画像サーバ１３２のデータベースから必要な低分解能画像のデータを得る。画像構成処理が終了すると、低分解能画像サーバ１３２からは不要なデータが削除され得る。

本実施形態によれば、照射方向の数を（（ｎ＋１）×（ｎ＋１）−１）個以上にすると、ｎ×ｎ倍画素の高分解能画像を得ることができる。したがって、本開示の画像取得装置によれば、焦点合わせに時間がかかる顕微鏡を用いることなく全面積の高倍率の画像が得られるため、被写体が微細な組織を有する病理標本であっても高倍率の画像データを短時間で得ることができる。

次に、図２３を参照して、上記の実施形態に係わる画像取得装置１の動作を説明する。図２３は、画像取得装置１における画像取得の流れを示すフローチャートである。

図２３において、まず、被写体を被写体支持部１１２に配置する（Ｓ２０１）。ここでの被写体は病理検体である。病理検体の代わりに、例えば厚さが数μｍ程度で撮像中に形態が変化しない光透過性の試料（細胞、剥切した組織など）であってもよい。スライドガラスを上下反転させ、撮像素子上面にカバーガラス３２を載せ、その上にサンプルをおいた状態で撮像を行っても良い。

次に、低分解能画像を取得するため、２５個の光源を順番に点灯しながら画像取得をする。具体的には、ｉ＝１と定義し（Ｓ２０２）、ｉ番目の光源のみを点灯する（Ｓ２０３）。ｉ番目の光源のコントラスト調整を行いながら、画像を取得する（Ｓ２０４）。取得した画像のデータを記憶装置内の画像バッファに格納する（Ｓ２０５）。

ｉ＝ｉ＋１と定義し（Ｓ２０６）、ｉが画像取得回数であるＮ＝２５回を超えているか否かを判断する（Ｓ２０７）。ｉが２５回を超えるまで、画像取得を繰り返す。

ｉ＞Ｎを満たす（Ｓ２０７）と判断された場合（ＹＥＳ）、画像構成処理が行われる。具体的には、各低分解能画像から演算により高分解能画像を構成するために必要な画素条件式が作成され（Ｓ２０８）、画素推定演算が行われる（Ｓ２１０）。誤差判定が行われ、誤差が基準値を下回ると判断された場合は、得られた高分解能画像を出力する（Ｓ２１２）。誤差が基準値以上であると判断された場合は、記憶装置に記憶されている数値の補正を行ったうえで、画素条件式が作り直される（Ｓ２０８）。

上記のフローでは、簡単のため、１つの光源位置から１枚の低分解能画像を得る例を説明したが、本開示の実施形態は、この例に限定されない。１つの光源位置にＲＧＢの３つのＬＥＤ光源を配置した場合、１つの光源位置からＲＧＢの３種類の低分解能画像を取得してもよい。それによってフルカラーの低分解能画像を取得すれば、最終的にフルカラーの高分解能画像を得ることが可能になる。

上記の例では、異なる照射方向の数を２５個に設定しているが、照射方向の数は２５個より少なくても多くても良い。

（第二実施形態）
図２４は、本発明の第二実施形態に係わる画像取得装置のブロック図を示す。本実施形態における画像取得装置１が第一実施形態における画像取得装置と異なる点は、画像処理部１２が光源位置の校正時に光源位置を決定する光源位置決定部１２５を更に備えている点にある。このため、本実施形態では、光源位置の調節が可能である。

次に、図２５を参照して、本実施形態に特有の動作を説明する。

工程Ｓ２１０において、誤差が基準値未満であると判断されなかった場合（ＮＯ）、誤差が最も大きかった光源位置情報を補正する（Ｓ２１１）。そして、必要に応じて、修正後の光源位置から被写体に光を照射して低分解能画像を取り直す（Ｓ２０３）。

（第三実施形態）
本実施形態では、逆行列を解くことによって高分解能画像であるベクトルS_jを求めない。その代わりに、一般的な超解像処理を利用して高分解能画像を生成する。逆行列を用いて高分解能化を行うには、高分解能画像の画像サイズをｗ×ｈとするとき、ｗｈ×ｗｈの行列の逆行列を求める必要がある。そのため、画像サイズが増加すると、計算困難に陥る。一方、超解像処理は実時間内での計算が可能である。従って、演算能力が低いコンピュータにおいても、実現しやすい利点がある。

本実施形態の超分解能処理では、以下の数１に示すウィーナフィルタを用いて周波数領域での演算を行う。

ここで、Ｙは以下に説明する拡大画像であり、Ｘは求めたい高分解能画像であり、Ｄは畳み込み割合である。Ｈ（．）は周波数領域への変換を表しており、Ｈ（Ｄ）^-1は数２に示されている。数２の式の右辺の分母におけるΓは、ＳＮ比を表すパラメータである。

図２６を参照してＹの例を説明する。図２６は拡大率２倍の高分解能画像を取得するための拡大画像２８０１の取得方法を示している。なお、Ｙが拡大画像２８０１に対応する。

拡大率２倍の拡大画像２８０１を取得するためには、４方向からの光の照射が必要である。図２６において、低分解能画像２８０２は、真上から照射したときに得られる低分解能画像を表す。低分解能画像２８０３は、Ｘ軸方向のみに異なる距離だけ照明を移動させた際に取得した低分解能画像を表す。低分解能画像２８０４はＹ軸方向のみに異なる距離だけ照明を移動させた際に取得した低分解能画像を表す。低分解能画像２８０５はＸ軸とＹ軸の等分線方向に移動させて撮影した低分解能画像を表す。

以上のように、本実施形態では、ウィーナフィルタを用いた周波数領域での演算を行うことによって超分解能処理を実現する。超分解能処理は、この例に限定されない。任意の処理方法を用いることができる。例えば、超分解能処理として、数３および数４の更新式を利用して求めることもできる。

数３の式は数４の式をＸ_ij ^tで微分することによって得られる。ここで、Ｘ_ij ^tはt回目の繰り返し演算時の画像Ｘの（ｉ，ｊ）番目の画素値を表す。λは更新時のパラメータを表す。画像中のノイズを考慮して、数３の式にＬ２ノルムやＬ１ノルムを加えたコスト関数を利用することもできる。

本実施形態によると、実時間内で高分解能画像を取得することができるようになる。また、逆行列を用いる高分解能化と同様に、図２０に示される限られた範囲内の画素で超分解能処理を実施することも可能である。さらに、画像を小領域に分割して、各小領域おいて、逆行列演算も含めて異なる高分解能化処理を実施することもでき得る。この際、対象物体が画像上に存在しない小領域など、高分解能処理が必要ない場所においては、高分解能処理を実施しないこともあり得る。高分解能画像の取得方法は、計算速度や精度が異なる。そのため、背景付近の重要ではない領域においては、速度重視の演算を行い、撮影対象が小領域全体に映っているようなときには精度が良い処理を実施することで、使用者が見たい領域を重点的に高分解能にすることができる。

（改変例）
図２７は、被写体および撮像素子（以下、「撮像対象」と称する。）１４０を着脱可能に保持する保持装置を備えている改変例の構成を模試的に示している。撮像対象１４０は、被写体と撮像素子とが一体化された「プレパラート」でありえる。この例では、「照明角度調整部」が撮像対象１４０の姿勢を変化させる機構を有している。この機構は、直交する鉛直面内で被写体の向きを回転させることができる２つのゴニオ機構１２０を含んでいる。ゴニオ機構１２０のゴニオ中心１５０は撮像対象１４０における被写体の中央部に位置している。この改変例では、ゴニオ機構１２０が照明光の照射方向を変化させることができるため、光源１０Ｐは固定されていてもよい。この改変例では、光源１０Ｐは平行光を発するように構成されている。なお、図２８に示されるように、この改変例による画像取得装置は複数の平行光光源１０Ｐを有していてもよい。

ここで、光源１０Ｐを固定し、かつ撮影対象１４０を移動させる場合は、撮影対象１４０を固定し、かつ光源１０Ｐを移動させる場合と比較して、撮影時間が短くなる点で好ましい。これは、撮影対象１４０と光源１０Ｐとの距離Ｌ１が、撮影対象１４０を構成する被写体と撮像素子との距離Ｌ２よりも非常に大きいため、それに比例して光源１０Ｐを大きく移動させる必要があるためである。撮影時間が短くなることにより、被写体が秒単位で経時的に変化するもの、例えば、生物試料からのルミネセンスであっても適切な画像を取得できる。

図２９は、被写体の姿勢を変化させる機構がゴニオ機構１２０と回転機構１２２とを備えている改変例の構成を示している。ゴニオ機構１２０による鉛直面内における撮像対象１４０の回転と、回転機構１２２による鉛直軸周りの撮像対象１４０の回転とを組み合わせることにより、撮像対象１４０に対して任意の照射方向から照明光を入射することが可能になる。点１５０は、ゴニオ中心および回転中心に位置している。なお、図３０に示されるように、この改変例による画像取得装置は複数の平行光光源１０Ｐを有していてもよい。

図３１は、光源から放射された光の平行度を上げ、被写体に平行光を入射させる光学系の一例を示している。この例では、光源から出た発散光をコリメートするレンズ１３０がＸＹ移動機構(移動ステージ)１２４に搭載されている。撮像対象１４０は、移動ステージ１２４とともに、水平面内のＸ軸および／またはＹ軸の方向に任意の距離だけ移動させられる。

図３２は、水平面内の所望の方向に所望の距離だけ移動した撮像対象１４０に対して照明光が斜めに入射する様子を示している。光源１０ａの位置が固定されていても、撮像対象１４０の位置を調整することにより、照明光の照射方向を制御できる。なお、図３３に示されるように、この改変例による画像取得装置は複数の光源を有していてもよい。このように複数の光源１０ａ、１０ｂ、１０ｃを有しているとき、撮像対象１４０を移動させる機構は無くてもよいし、図３４に示されるように、ＸＹ移動機構(移動ステージ)１２４を備えていてもよい。図３５、図３６および図３７に示されるように、点灯する光源１０ａ、１０ｂ、１０ｃの位置および撮像対象１４０の位置の一方または両方を変化させることにより、所望の入射角度で照明光を撮像対象１４０に入射できる。

図３８は、２つのゴニオ機構１２０が平行光光源１０Ｐを支持する改変例の構成を模式的に示している。図３９は、ゴニオ機構１２０および回転機構１２２が平行光光源１０Ｐを支持する改変例の構成を模試的に示している。

これらの改変例では、平行光を発する光源を使用したり、光源が発する光の平行度を高める光学系を使用したりしている。しかし、本開示の実施形態は、このような例に限定されない。前述したように、光源と被写体との間隔が十分に広いとき、実質的には平行といえる光が被写体に入射する。

本開示の実施形態において、撮像面内においてフォトダイオードの垂直方向サイズが画素領域の垂直方向サイズに対して１／ｓで表され、かつ、そのフォトダイオードの水平方向サイズが画素領域の水平方向サイズに対して１／ｔで表される。ここで、ｓおよびｔは、いずれも実数であり、整数に限定されない。開口率は、（１／ｓ）×（１／ｔ）が表される。本開示の実施形態では、例えば、撮像面内における垂直方向に対して照射角度がａ通りに異なる照射方向で照明光を被写体に入射し、それぞれ撮像を行う。また、撮像面内における水平方向に対して照射角度がｂ通りに異なる照射方向で照明光を被写体に入射し、それぞれ撮像を行う。ここで、ａおよびｂは、ａ≧ｓ、ｂ≧ｔを満足する整数である。本開示の実施形態によれば、「ａ×ｂ」毎の低分解能画像を取得し、これらの低分解画像に基づいて、分解能が「ａ×ｂ」倍に増加した画像が得られる。なお、撮像素子の開口率である（１／ｓ）×（１／ｔ）とａ×ｂとの積は１以上となる。

本開示による画像取得装置は、被写体および撮像素子を一体的に傾斜させる傾斜機構を含む照明システムを備えていても良い。その場合、光源の位置が固定されていても、傾斜機構によって被写体および撮像素子を回転させることにより、被写体を基準にしたときの照射方向を変化させることができる。このような照明システムによれば、被写体および撮像素子を一体的に傾斜させ、被写体を基準にして複数の異なる照射方向から、順次、照明光を出射することができる。

本開示の一態様による画像取得方法は、被写体を基準にして複数の異なる照射方向から、順次、照明光を出射し、前記照明光で前記被写体を照射する工程と、前記被写体を透過した前記照明光が入射する位置に配置された撮像装置により、前記異なる照射方向に応じて異なる複数の画像を取得する工程と、前記複数の画像に基づいて前記複数の画像の各々よりも分解能の高い前記被写体の高分解能画像を形成する工程とを含む。

また、本開示の画像取得装置は、上述した照明装置および撮像素子、ならびに汎用的なコンピュータを備え、このコンピュータが、照明装置により、被写体を基準にして複数の異なる照射方向から、順次、照明光を出射し、照明光で前記被写体を照射し、被写体を透過した前記照明光が入射する位置に配置された撮像装置により、前記異なる照射方向に応じて異なる複数の画像を取得し、前記複数の画像をーに基づいて前記複数の画像の各々よりも分解能の高い前記被写体の高分解能画像を形成するように構成されていても良い。このような動作は、記録媒体に記録されたコンピュータプログラムによって実行され得る。

被写体に対して光を照射し、姿勢および位置が固定されている光源を用いる場合、被写体を複数の傾斜角度に傾斜させる傾斜機構があれば、被写体を透過した光が入射する位置に配置された撮像素子と被写体と一体的に傾斜機構により傾斜して、複数の傾斜角度に応じて複数の画像を取得することができる。

本開示に係る撮像素子は、焦点調整の手間を省き、高倍率の画像を取得することが可能になる。

１画像取得装置
１０光源
１１撮像処理部
１２画像処理部
１３記憶装置
３０被写体
４０フォトダイオード
４２遮光膜
４４垂直電荷転送路
４６水平電荷転送路
５０画素
１１１照明
１１２被写体支持部
１１３撮像素子
１２１照明条件調整部
１２２画像情報取得部
１２３推定演算部
１２４画像構成処理部
１２５光源位置決定部
１３１光源位置情報サーバ
１３２低分解能画像サーバ
４００半導体基板
４０２配線層
４０６透明層

Claims

被写体に対して光を照射し、姿勢および位置が固定されている光源と、
前記被写体を複数の傾斜角度に傾斜させる傾斜機構と、
撮像素子を着脱可能に保持する保持装置と、
前記撮像素子によって前記複数の傾斜角度に応じて取得された異なる複数の画像に基づいて、前記複数の画像の各々よりも分解能が向上した前記被写体の高分解能画像を形成する画像処理部と、
前記撮像素子の各画素に含まれる複数のサブ画素の上面を通過する光線が前記画素の光電変換部に入射する割合を前記複数の傾斜角度の各々について示すデータを格納するメモリと、
を備え、
前記画像処理部が、前記複数の画像の各々を構成する画素値の、前記複数の傾斜角度に応じた組をベクトルとし、前記メモリから読み出した前記データに基づいて前記被写体の高分解能画像を形成する、画像取得装置に用いられる前記撮像素子であって、
前記撮像素子は、
前記画像取得装置に対して着脱可能に構成されており、
前記撮像素子の撮像面に前記被写体を配置可能な領域である被写体支持部を備え、
前記保持装置によって前記画像取得装置に保持された状態において、前記被写体を透過した前記光が入射する位置に配置され、かつ前記被写体と一体的に前記傾斜機構により傾斜され、前記複数の傾斜角度に応じて異なる前記複数の画像を取得する、
撮像素子。
スライドガラス上に設けられ、
前記スライドガラスの一部を介して前記保持装置によって前記画像取得装置に対して着脱可能に保持される、
請求項１に記載の撮像素子。
前記撮像素子の側面に遮光部材が配置される、
請求項１または２に記載の撮像素子。
前記被写体支持部上に撮像範囲を制限する遮光領域が配置される、
請求項１から３のいずれかに記載の撮像素子。
被写体に対して光を照射し、姿勢および位置が固定されている光源と、
前記被写体を複数の傾斜角度に傾斜させる傾斜機構と、
前記被写体を透過した前記光が入射する位置に配置され、かつ前記被写体と一体的に前記傾斜機構により傾斜される撮像素子によって前記複数の傾斜角度に応じて取得された異なる複数の画像に基づいて、前記複数の画像の各々よりも分解能が向上した前記被写体の高分解能画像を形成する画像処理部と、
前記撮像素子の各画素に含まれる複数のサブ画素の上面を通過する光線が前記画素の光電変換部に入射する割合を前記複数の傾斜角度の各々について示すデータを格納するメモリと、
を備え、
前記画像処理部が、前記複数の画像の各々を構成する画素値の、前記複数の傾斜角度に応じた組をベクトルとし、前記メモリから読み出した前記データに基づいて前記被写体の高分解能画像を形成する、画像取得装置に用いられる前記撮像素子であって、
前記撮像素子は、
前記画像取得装置に対して着脱可能に構成されており、
前記画像取得装置に装着された状態において前記光源に対向する側の面に、前記被写体を配置可能な領域である被写体支持部を備える、
撮像素子。