JP2015128322A

JP2015128322A - 撮像素子

Info

Publication number: JP2015128322A
Application number: JP2015042588A
Authority: JP
Inventors: 安比古足立; Yasuhiko Adachi; 佳州佐藤; Yoshikuni Sato; 本村　秀人; Hideto Motomura; 秀人本村
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2013-06-06
Filing date: 2015-03-04
Publication date: 2015-07-09
Anticipated expiration: 2034-06-05
Also published as: EP3007428A1; US9426363B2; WO2014196203A1; CN105308949B; JPWO2014196203A1; US20150172575A1; JP5789766B2; CN105308949A; JP6307770B2; EP3007428A4

Abstract

【課題】単一の撮像素子を用いて高分解能画像を取得する。【解決手段】本開示のある実施形態による撮像素子は、照明システムと、撮像素子を着脱可能に保持する保持装置と、画像処理部とを有する画像取得装置に用いられる撮像素子である。この撮像素子は、画像取得装置に対して着脱可能であり、撮像面に被写体支持部を備える。撮像素子は、保持装置によって画像取得装置に保持された状態において、被写体を透過した照明光が入射する位置に配置され、異なる照射方向に応じて異なる複数の画像を取得する。画像取得装置の画像処理部は、撮像素子によって取得される複数の画像を合成して、複数の画像の各々よりも分解能の高い高分解能画像を形成する。【選択図】図１５

Description

本願は、撮像素子に関する。

撮像装置に使用される撮像素子には、多数の光電変換部が撮像面内に行および列状に配列された２次元イメージセンサが採用されている。光電変換部は、典型的には、半導体層または半導体基板に形成されたフォトダイオードであり、入射光を受けて電荷を生成する。２次元イメージセンサの分解能(解像度)は、撮像面上における光電変換部の配列ピッチまたは配列密度に依存する。個々の光電変換部の配列ピッチは、可視光の波長程度まで短くなっているため、分解能を更に向上させることは極めて困難である。

撮像素子によって取得される画像は、多数の画素によって規定される。各画素は、１つの光電変換部を含む単位領域によって区画されている。撮像面上において、配線が占有する領域が存在するため、１つの光電変換部の受光面積Ｓ２は、１つの画素の面積Ｓ１よりも小さい。画素の面積Ｓ１に対する受光面積Ｓ２の比率（Ｓ２／Ｓ１）は、「開口率」と呼ばれている。開口率（Ｓ２／Ｓ１）は、例えば２５％程度の値をとり得る。開口率が小さいと、光電変換に用いられる入射光量が少なくなるため、撮像素子が出力する画素信号の質が低下する。撮像面に対向するようにマイクロレンズアレイを配置し、個々のマイクロレンズが個々の光電変換部に対向し、集光する構成を採用すれば、受光面積Ｓ２を実効的に拡大し、開口率（Ｓ２／Ｓ１）を高めて１に近づけることが可能である。しかし、このように開口率（Ｓ２／Ｓ１）を高めても、画素の配列ピッチおよび配列密度は増加しないので、分解能は変化しない。

特許文献１および特許文献２は、複数の撮像素子を用いて撮像装置の分解能を高める技術を開示している。

特公平５−２０３３号公報特開昭６２−１３７０３７号公報

複数の撮像素子を用いて高分解能画像を形成することは難しく、新しい高分解能化技術が求められている。

本開示の一態様による画像取得装置は、被写体を基準にして複数の異なる照射方向から、順次、照明光を出射し、前記照明光で前記被写体を照射する照明システムと、前記被写体を透過した前記照明光が入射する位置に配置され、前記異なる照射方向に応じて異なる複数の画像を取得する撮像素子と、前記複数の画像を合成して、前記複数の画像の各々よりも分解能の高い前記被写体の高分解能画像を形成する画像処理部とを備える。

本開示の一態様による画像取得方法は、被写体を基準にして複数の異なる照射方向から、順次、照明光を出射し、前記照明光で前記被写体を照射する工程と、前記被写体を透過した前記照明光が入射する位置に配置された撮像装置により、前記異なる照射方向に応じて異なる複数の画像を取得する工程と、前記複数の画像を合成して、前記複数の画像の各々よりも分解能の高い前記被写体の高分解能画像を形成する工程とを含む。

本開示の一態様による画像取得装置は、照明装置と、撮像素子と、コンピュータとを備える画像取得装置であって、前記コンピュータは、前記照明装置により、被写体を基準にして複数の異なる照射方向から、順次、照明光を出射し、前記照明光で前記被写体を照射し、前記被写体を透過した前記照明光が入射する位置に配置された撮像装置により、前記異なる照射方向に応じて異なる複数の画像を取得し、前記複数の画像を合成して、前記複数の画像の各々よりも分解能の高い前記被写体の高分解能画像を形成する。

本開示の一態様によるプログラムは、照明装置と、撮像素子と、コンピュータとを備える画像取得装置のためのプログラムであって、前記照明装置により、被写体を基準にして複数の異なる照射方向から、順次、照明光を出射し、前記照明光で前記被写体を照射し、前記被写体を透過した前記照明光が入射する位置に配置された撮像装置により、前記異なる照射方向に応じて異なる複数の画像を取得し、前記複数の画像を合成して、前記複数の画像の各々よりも分解能の高い前記被写体の高分解能画像を形成するように構成されている。

本開示の一態様による画像取得装置は、被写体に対して光を照射し、姿勢および位置が固定されている光源と、前記被写体を複数の傾斜角度に傾斜させる傾斜機構と、前記被写体を透過した前記光が入射する位置に配置され、かつ前記被写体と一体的に前記傾斜機構により傾斜され、前記複数の傾斜角度に応じて複数の画像を取得する撮像素子と、前記複数の画像を合成して、前記複数の画像の各々よりも分解能の高い前記被写体の高分解能画像を形成する画像処理部とを備える。

本開示の実施形態によれば、１つの撮像素子によって得られる複数の低分解能画像を合成することにより、高分解能化を実現できる。

撮像素子におけるフォトダイオードの配列例を模式的に示す平面図撮像素子における一画素と開口領域との関係を模式的に示す平面図撮像素子における一画素と開口領域との関係を模式的に示す断面図本開示による画像取得装置の構成および動作を説明するための断面図本開示による画像取得装置の構成および動作を説明するための断面図本開示の画像取得装置における照明の例を示す図本開示による画像取得装置における照明の例を示す図本開示による画像取得装置における照明の例を示す図本開示による画像取得装置における照明の他の例を示す図本開示における撮像素子における光線入射の例を示す断面図本開示における撮像素子における光線入射の他の例を示す断面図（ａ）は、被写体３０の一部を示す平面図、（ｂ）は、撮像素子１１３のフォトダイオード４０のうち、（ａ）に示されている領域の撮像に係る６個のフォトダイオード４０のみを抽出して模式的に示す平面図（ａ）は、被写体３０を透過してフォトダイオード４０に入射する光線の方向を模式的に示す断面図、（ｂ）は、着目する６個のフォトダイオード４０の配列例を模式的に示す平面図、（ｃ）は、６個のフォトダイオード４０で取得される６個の画素３００ａを模式的に示す図（ａ）は、被写体３０を透過してフォトダイオード４０に入射する光線の方向を模式的に示す断面図、（ｂ）は、着目する６個のフォトダイオード４０の配列を模式的に示す平面図、（ｃ）は、６個のフォトダイオード４０で取得される６個の画素３００ｂを模式的に示す図（ａ）は、被写体３０を透過してフォトダイオード４０に入射する光線の方向を模式的に示す断面図、（ｂ）は、着目する６個のフォトダイオード４０を模式的に示す平面図、（ｃ）は、６個のフォトダイオード４０で取得される６個の画素３００ｃを模式的に示す図（ａ）は、被写体３０を透過してフォトダイオード４０に入射する光線の方向を模式的に示す断面図、（ｂ）は、着目する６個のフォトダイオード４０を模式的に示す平面図、（ｃ）は、６個のフォトダイオード４０で取得される６個の画素３００ｄを模式的に示す図４枚の画像６０ａ、６０ｂ、６０ｃ、６０ｄから高分解能画像６００が合成される様子を示す図（ａ）〜（ｃ）は、重なり合わない２枚の画像６０ａ、６０ｂの合成例を示す図（ａ）〜（ｃ）は、部分的に重なり合う２枚の画像６０ａ、６０ｂの合成例を示す図第一実施形態に係る画像取得装置の概略構成を示すブロック図第一実施形態に係る画像取得装置における光源の位置ずれに起因する光線入射位置の誤差を示す断面図第一実施形態に係る撮像素子における光源位置の例を示す図第一実施形態に係る画像取得装置における点光源から出射された光ビームの広がりに起因する光線入射位置のシフトを示す断面図第一実施形態に係る画像取得装置の動作の一例を示すフローチャート第一実施形態に係る画像取得装置の動作の他の例を示すフローチャート第一実施形態に係る画像取得装置の動作の更に他の例を示すフローチャート第一実施形態に係る画像取得装置における校正用サンプルとその配置を示す図第一実施形態に係る画像取得装置におけるカバーガラスを挿入した場合の図第一実施形態に係る画像取得装置における光の入射方向の他の例を示す断面図本開示の第二実施形態に係る画像取得装置における光源の配置例を示す図第二実施形態に係る画像取得装置における被写体の入射光線位置とフォトダイオードとの対応関係を示す配置図第二実施形態に係る画像取得装置で取得される画像の例第二実施形態に係る画像取得装置で取得される画像の例第二実施形態に係る画像取得装置において行う精度向上処理を説明するための図であり、撮像素子上に配置された被写体における一部のエリアと、そのエリアの下方に位置する撮像面の一部との配置関係を模式的に示す平面図撮像対象である被写体および撮像素子を着脱可能に保持する保持装置を備えている改変例を示す図撮像対象である被写体および撮像素子を着脱可能に保持する保持装置を備えている他の改変例を示す図撮像対象である被写体および撮像素子を着脱可能に保持する保持装置を備えている更に他の改変例を示す図撮像対象である被写体および撮像素子を着脱可能に保持する保持装置を備えている更に他の改変例を示す図撮像対象である被写体および撮像素子を着脱可能に保持する保持装置を備えている更に他の改変例を示す図撮像対象である被写体および撮像素子を着脱可能に保持する保持装置を備えている更に他の改変例を示す図撮像対象である被写体および撮像素子を着脱可能に保持する保持装置を備えている更に他の改変例を示す図撮像対象である被写体および撮像素子を着脱可能に保持する保持装置を備えている更に他の改変例を示す図撮像対象である被写体および撮像素子を着脱可能に保持する保持装置を備えている更に他の改変例を示す図撮像対象である被写体および撮像素子を着脱可能に保持する保持装置を備えている更に他の改変例を示す図撮像対象である被写体および撮像素子を着脱可能に保持する保持装置を備えている更に他の改変例を示す図撮像対象である被写体および撮像素子を着脱可能に保持する保持装置を備えている更に他の改変例を示す図撮像対象である被写体および撮像素子を着脱可能に保持する保持装置を備えている更に他の改変例を示す図本開示の第三実施形態における検体管理装置の全体構成の一例を示す図本開示の第三実施形態における標本像取得装置の断面図本開示の第三実施形態における検体管理装置の構成を示すブロック図本開示の第三実施形態における検体管理方法の処理手順を示すフローチャート本開示の第三実施形態における標本像取得装置の詳細な構成例を示すブロック図本開示の第三実施形態における標本像取得装置の動作の一例を示すフローチャート本開示の第三実施形態における照明方向調整部の構成を示す図本開示の第三実施形態における照明方向調整部の構成を示す図本開示の第三実施形態における標本像取得装置の動作（照明方向の変化）を示す図本開示の第三実施形態における標本像取得装置の動作（照明方向の変化）を示す図本開示の第三実施形態における標本とイメージセンサとの関係を示した斜視図本開示の第三実施形態における照明方向とセンサに入射する光の量の関係を表す行列の例を示す図本開示の第三実施形態における照明方向とセンサに入射する光の量の関係を表す行列の例を示す図病理標本を高倍率（高分解能）で観察した時の画像の例を示す図病理標本を低倍率（低分解能）で観察した時の画像の例を示す図本開示の第三実施形態におけるデータベースの内容の例を示す図本開示の第三実施形態における患者ＩＤにより同一患者の異なる染色の標本の情報を関連付けて格納した例を示す図同一患者で染色が異なる標本の例本開示の第四実施形態における標本像取得装置の動作（標本の移動）を示す図本開示の第四実施形態における標本像取得装置の詳細な構成を示すブロック図

本開示による画像取得装置の実施形態を説明する前に、まず、撮像素子の基本的な構成例を説明する。

図１は、撮像素子１１３の一例であるＣＣＤイメージセンサの撮像面の一部を模式的に示す平面図である。図１に示されるように、撮像面上には複数のフォトダイオード（光電変換部）４０が行および列状に配列されている。図１において、１つの画素５０が点線の矩形領域で示されている。撮像面において多数の画素５０が行および列状に密に並んでいる。

各フォトダイオード４０に入射した光は、フォトダイオード４０内で電荷を生成する。生成される電荷の量は、そのフォトダイオード４０に入射した光の量に応じて変化する。各フォトダイオード４０で生成された電荷は、縦方向に延びる垂直電荷転送路４４に移動し、垂直電荷転送路４４を順次転送されて水平電荷転送路４６に移動する。次に、電荷は横方向に延びる水平電荷転送路４６を転送され、水平電荷転送路４６の一端から画素信号として撮像素子１１３の外部に出力される。電荷転送路４４，４６上には不図示の転送電極が配列されている。なお、本開示の画像取得装置で使用される撮像素子１１３の構成は、上記の例に限定されない。ＣＣＤイメージセンサに代えて、ＭＯＳ型イメージセンサが使用されても良い。

撮像面内におけるフォトダイオード４０の配列ピッチは、垂直方向および水平方向で一致している必要はない。本明細書では、簡単のため、フォトダイオード４０の配列ピッチは、垂直方向および水平方向で等しく、いずれも大きさＫ［μｍ］を有するものとする。

図２は、１つの画素５０と、その画素５０に含まれるフォトダイオード４０を模式的に示す平面図である。この例における各画素のサイズは、Ｋ［μｍ］×Ｋ［μｍ］である。また、フォトダイオード４０のサイズ（受光領域のサイズ）は、Ｐ［μｍ］×Ｐ［μｍ］である。従って、１つの画素の面積はＳ１＝Ｋ×Ｋで表され、１つのフォトダイオード４０の面積はＳ２＝Ｐ×Ｐで表される。なお、本実施形態によれば、分解能は、画素ピッチではなく、フォトダイオード４０のサイズ（受光領域のサイズ）によって決まる。しかし、照明に使用する可視光の波長を考慮すると、本実施形態におけるフォトダイオード４０のサイズＰは、０．１μｍ以上に設定され得る。

本開示の画像取得装置では、個々のフォトダイオード４０に対応するマイクロレンズは設けられていない。このため、各画素５０のうち、フォトダイオード４０の受光領域（Ｐ×Ｐの領域）以外の領域は「遮光領域」であり、遮光領域に入射した光は、光電変換されず、画素信号を形成しない。Ｐ［μｍ］×Ｐ［μｍ］で示される受光領域は、「開口領域」と呼んでも良い。個々の画素５０におけるフォトダイオード４０の位置、形状、および大きさは、図２に示される例に限定されない。

画素領域およびフォトダイオードは、撮像面において典型的には矩形の形状を有している。その場合において、ｎ、ｍを１より大きな実数とすると、撮像面内の水平方向における画素領域のサイズに対するフォトダイオードのサイズの比率を（１／ｎ）で表し、撮像面内の垂直方向における画素領域のサイズに対するフォトダイオードのサイズの比率を（１／ｍ）で表すことができる。このとき、開口率は、（１／ｎ）×（１／ｍ）で表される。ｎ、ｍは、いずれも、２以上の実数であり得る。

図３は、撮像素子１１３に含まれる１つの画素５０の断面構成の例を模式的に示す断面図である。撮像素子は、図３に示されるように、半導体基板４００と、半導体基板４００の表面に形成されたフォトダイオード４０と、半導体基板４００に支持される配線層４０２と、配線層４０２を覆う遮光層４２と、半導体基板４００の光入射側面を被覆する透明層４０６とを備えている。図３では、単一の画素に対応する部分の断面が示されているため、１つのフォトダイオード４０のみが図示されているが、現実には、１つの半導体基板４００に多数のフォトダイオード４０が形成されている。なお、撮像素子１１３がＣＣＤイメージセンサである場合、半導体基板４００には、垂直または水平電荷転送路として機能する不純物拡散層（不図示）が配線層４０２の下部に形成されている。配線層４０２は、電荷転送路上に配列された不図示の電極に接続される。なお、撮像素子１１３がＭＯＳ型イメージセンサの場合は、画素単位でＭＯＳ型トランジスタ（不図示）が半導体基板４００に形成される。ＭＯＳ型トランジスタは対応するフォトダイオード４０の電荷を読み出すためのスイッチング素子として機能する。

撮像素子１１３におけるフォトダイオード４０以外の構成要素は、遮光層４２によって覆われている。図３の例では、遮光層４２によって覆われている領域が黒く塗りつぶされている。

本実施形態に使用され得る撮像素子の構成は、上記の例に限定されず、裏面照射型のＣＣＤイメージセンサまたは裏面照射型のＭＯＳ型イメージセンサであってもよい。

次に、図４Ａおよび図４Ｂを参照しながら、本開示による画像取得装置の概略構成例を説明する。図４Ａおよび図４Ｂは、それぞれ、本開示による画像取得装置の概略構成例を模式的に示す断面図である。

図示されている画像取得装置は、被写体（撮像対象）３０を基準にして複数の異なる光源方向（照射方向）から、順次、照明光を出射し、その照明光で被写体３０を照射する照明装置１１１と、被写体３０を透過した照明光が入射する位置に配置され、異なる光源方向に応じて異なる複数の画像を取得する撮像素子１１３とを備えている。また、この画像取得装置は、異なる光源方向に応じて取得した複数の画像を合成する画像処理部１２を備えており、この画像処理部１２は、撮像素子１１３から得た複数の画像の各々よりも分解能の高い前記被写体の高分解能画像を形成する。画像処理部１２は、汎用または専用のコンピュータによって実現され得る。

撮像素子１１３が第１の画像を取得する時（図４Ａ）、照明装置１１１は、照明光を被写体３０に対して第１の方向から入射させる。また、撮像素子１１３が第２の画像を取得する時（図４Ｂ）、照明装置１１１は、照明光を被写体３０に対して第２の方向から入射させる。図４Ａおよび図４Ｂに示される光線のうち、遮光層４２に入射した光線は画像の取得に利用されていない。言い換えると、照明装置１１１から出射された光のうち、フォトダイオード４０に入射した光線のみによって各画像が取得される。

被写体３０に対する光線の入射方向が異なると、フォトダイオード４０に入射する光線が被写体３０を透過する領域が異なることになる。本開示によれば、被写体３０に対する照明光の入射方向を調整することにより、それぞれ、被写体３０の異なる部分の像を得ることができる。なお、本開示の画像取得装置で撮像可能な被写体３０は、光線を透過することが可能な領域を少なくとも一部に含む物体である。被写体３０は、厚さが数μｍの病理標本を含むスライドであり得る。被写体３０の形状は、プレート状に限定されず、粉末や液体であってもよい。撮像面の法線方向における被写体３０のサイズは、例えば数十μｍ以下である。

次に、図５Ａ、図５Ｂおよび図５Ｃを参照して、照明装置１１１の第１の構成例を説明する。

第１の構成例における照明装置１１１は、複数の光源（照明光源）１０ａ、１０ｂ、１０ｃを有している。これらの光源１０ａ、１０ｂ、１０ｃは、複数の異なる光源方向に対応した異なる位置に配置されており、順次、点灯する。例えば光源１０ａが点灯している時、図５Ａに示されるように、光源１０ａから光が出射し、その光で被写体３０が照射される。図５Ａ〜５Ｃでは、光源１０ａ、１０ｂ、１０ｃからの光が発散しているように示されているが、現実には、光源１０ａ、１０ｂ、１０ｃから撮像素子１１３までの距離は充分に長く、実質的に平行な光が被写体３０および撮像素子１１３に入射すると考えて良い。また、図示されていないレンズなどの光学系により、光源１０ａ、１０ｂ、１０ｃから放射された光が平行光または平行光に近い光に収束されていてもよい。従って、光源１０ａ、１０ｂ、１０ｃは、点光源であってもよいし、面光源であってもよい。被写体３０は、撮像素子１１３の上面の上に置かれている。撮像素子１１３の上面は、図５Ａにおいて破線で示されており、被写体支持部１１２として機能する。

まず、光源１０ａからの光で被写体３０が照射された状態で撮像素子１１３による撮像が行われると、次に、例えば光源１０ｂが点灯し、光源１０ａおよび光源１０ｃが消灯状態になる。このとき、図５Ｂに示されるように光源１０ｂから光が出射し、その光で被写体３０が照射される。光源１０ｂからの光で被写体３０が照射された状態で撮像素子１１３による撮像が行われると、次に、光源１０ｃが点灯し、光源１０ａおよび光源１０ｂが消灯状態になる。このとき、図５Ｃに示されるように光源１０ｃから光が出射し、その光で被写体３０が照射される。この状態で、また撮像素子１１３による撮像が行われる。

図５Ａ〜５Ｃの例では、３つの異なる光源方向から被写体３０が照射され、その都度、撮像が行われるため、合計３枚の画像が取得される。照明装置１１１が有する光源の個数は、３個に限定されない。また、発光波長の異なる複数の光源が同一の光源方向に近接して配置されていても良い。例えば図５Ａの光源１０ａの位置およびその近傍に、赤、緑、および青の光源（ＲＧＢ光源）を配置しておけば、図５Ａに示される状態で赤、緑、および青の光を順次照射し、３枚の画像を取得することが可能になる。このような３枚の画像が取得できれば、それらを重畳するだけでフルカラー画像を得ることができる。このような画像は、タイムシーケンシャルのカラー画像である。

なお、照明装置１１１が有する光源の波長は、可視光域に限定されず、赤外または紫外であってもよい。また、各光源から白色の光が出射されても良いし、シアン、マゼンタ、イエローなどの光が出射されても良い。

次に、図６を参照する。図６は照明装置１１１の第２の構成例を模式的に示している。図６の構成例における照明装置１１１は、移動可能に支持される少なくとも１つの光源１０を有している。この光源１０を移動させることにより、複数の光源方向に含まれる任意の方向から光を出射し、その光で被写体３０を照射することが可能になる。

なお、図５Ａ〜５Ｃの例においても、光源１０ａ、１０ｂ、１０ｃは特定位置に固定されている必要は無く、移動可能に支持されていても良い。更に、固定された１個の光源１０から出た光ビームの光路をミラーなどの駆動光学系を介して変更し、それによって被写体３０に異なる方向から入射させるようにしてもよい。

図５Ａ〜５Ｃの例および図６の例では、図面の紙面に平行な面内で光源方向が変化しているが、光源方向は、この面に対して傾斜する方向であってもよい。

次に図７および図８を参照して、照明光の入射方向について説明する。図７では、着目する中央のフォトダイオード４０に入射する２方向の光が同時に記載されている。これは、例えば、図５Ａの状態における撮像状態と、図５Ｂの状態における撮像状態とを、便宜上、１つの図に示すことに対応している。図７の例では、被写体３０の隣接する２つの領域を通過した光が、いずれも、同一のフォトダイオード４０に入射するように光源方向が調整されている。図５Ｂに示す光源１０ｂから出射された光の被写体３０に対する入射方向（入射の角度および方位）が不適切であると、被写体３０の隣接する領域を透過した光がともに同一のフォトダイオード４０に入射しない。

図７に示すように異なる方向から被写体３０に入射した光で被写体３０の撮像を行えば、被写体３０から「空間的」にサンプリングされる画素情報を増加させることができる。このことは、図７に示す２方向からの光で得られる２枚の画像を単純に足し合わせることにより、高分解能（高解像度）の画像を合成できることを意味する。

なお、異なる方向から被写体３０に入射し、これを透過した光は、同一のフォトダイオード４０に入射する必要は無い。例えば、図８に示されるように、被写体３０の隣接する２つの領域を通過した光が、それぞれ、異なるフォトダイオード４０に入射するように光源の方向が調整されていてもよい。

図７および図８には、撮像面から被写体３０までの距離Ｌと、画素ピッチＫとが示されている。光の入射角度θは、Ｌ、Ｋなどによって表現され得る。この点については、後述する。

次に、図９から図１６を参照しながら、異なる方向から被写体３０に入射する光で複数回の撮像を行って得た複数の画像から高分解能画像を合成する原理を説明する。この例では、撮像素子１１３における画素の開口率が２５％であり、異なる４つの方向から光を被写体３０に入射する。

まず、図９を参照する。図９（ａ）は、被写体３０の一部を示す平面図であり、図９（ｂ）は、撮像素子１１３のフォトダイオード４０のうち、図９（ａ）に示されている領域の撮像に係る６個のフォトダイオード４０のみを抽出して模式的に示す平面図である。本開示によれば、被写体３０の像は、被写体３０を透過する実質的に平行な光線によって取得される。被写体３０と撮像素子１１３との間には結像のためのレンズを配置する必要は無く、被写体３０は撮像素子１１３に近接して配置され得る。撮像素子１１３の撮像面から被写体３０までの距離は、典型的には１ｍｍ以下であり、例えば１μｍ程度に設定され得る。現実には６個よりも遥かに多いフォトダイオード４０で被写体３０の全体が撮像されるが、図では簡単のため、６個のフォトダイオード４０のみが示されている。

次に図１０を参照する。図１０（ａ）は、被写体３０を透過してフォトダイオード４０に入射する光線の方向を模式的に示す断面図であり、図１０（ｂ）は、着目する６個のフォトダイオード４０の配列例を模式的に示す平面図であり、図１０（ｃ）は、６個のフォトダイオード４０で取得される６個の画素３００ａを模式的に示す図である。複数の画素３００ａの各々は、個々のフォトダイオード４０に入射した光の量を示す値（画素値）を持つ。この例では、図１０（ｃ）の画素３００ａから画像６０ａが構成される。

次に図１１を参照する。図１１（ａ）は、被写体３０を透過してフォトダイオード４０に入射する光線の方向を模式的に示す断面図であり、図１１（ｂ）は、着目する６個のフォトダイオード４０の配列を模式的に示す平面図であり、図１０（ｂ）と同じである。図１１（ｃ）は、６個のフォトダイオード４０で取得される６個の画素３００ａを模式的に示す図である。図１１（ｃ）の画素３００ｂから画像６０ｂが構成される。

図１０（ａ）と図１１（ａ）とを比較することによって理解されるように、被写体３０に入射する光の方向を適切に設定することにより、図１０（ａ）の状態と図１１（ａ）の状態とで被写体３０の異なる領域を透過した光がフォトダイオード４０に入射する。その結果、図１０（ｃ）の画像６０ａと図１１（ｃ）の画像６０ｂは、被写体３０の異なる位置に対応する画素情報を含むことができる。

次に図１２および図１３を参照する。図１２（ａ）および図１３（ａ）は、被写体３０を透過してフォトダイオード４０に入射する光線の方向を模式的に示す断面図である。これらの例では、光線は図の紙面に垂直な方向に対して傾斜している。図１２（ｂ）および図１３（ｂ）は、着目する６個のフォトダイオード４０を模式的に示す平面図であり、図１２（ｃ）および図１３（ｃ）は、６個のフォトダイオード４０で取得される６個の画素３００ｃおよび画素３００ｄを模式的に示す図である。図１２（ｃ）の画素３００ｃから画像６０ｃが構成され、図１３（ｃ）の画素３００ｄから画像６０ｄが構成される。

図１４は、４枚の画像６０ａ、６０ｂ、６０ｃ、６０ｄから高分解能画像６００が合成される様子を示している。高分解能画像６００の画素数または画素密度は、４枚の画像６０ａ、６０ｂ、６０ｃ、６０ｄの各々の画素数または画素密度の４倍である。この例では、撮像素子１１３の開口率が２５％であるため、異なる４方向からの光照射によって最大４倍の高分解能化が可能になる。Ｎを２以上の整数するとき、撮像素子１１３の開口率が近似的に１／Ｎに等しければ、最大Ｎ倍の高分解能化が可能になる。

本開示の撮像装置によると、照明光の方向を変えながら複数の低分解能画像を取得する間に、被写体３０が移動したり、変形したりしないことが好ましい。

次に、図１５および図１６を参照する。図１５は、上述した図１０および図１１の状態をまとめて示した図である。図１５に示す状態は、被写体３０に入射する光線の方向が適切に調整されている。このため、図１５（ｃ）に示すように重ね合わされた２枚の画像６０ａ、６０ｂにおける画素３００ａ、３００ｂは、重複することなく、被写体３０の異なる領域に対応している。

図１６（ａ）、図１６（ｂ）、図１６（ｃ）は、図１５（ａ）、図１５（ｂ）、図１５（ｃ）に対応している。ただし、図１６の状態では、被写体３０に入射する光線の方向が適切に調整されていない。このため、図１６（ｃ）に示すように重ね合わされた２枚の画像６０ａ、６０ｂにおける画素３００ａ、３００ｂは、被写体３０の部分的に重なり合う領域に対応している。以上の説明から、被写体３０を照射する光の方向を適切に設定することが重要であることがわかる。また、少なくとも撮像時に照明のための光以外の光が被写体３０に入射しないように、被写体３０および撮像素子１１３は外光を遮蔽する壁面によって取り囲まれ得る。

以下、本開示の実施形態をより詳細に説明する。

（第一実施形態）
図１７を参照しながら、本開示の第一実施形態に係わる画像取得装置を説明する。図１７は本実施形態における画像取得装置のブロック図である。図１７に示すように、画像取得装置１は、照明機能および撮像機能を有する撮像処理部１１と、撮像処理部１１で得られた低分解能画像から高分解能画像を生成して出力する画像処理部１２と、光源位置情報および低分解能画像を記憶する記憶装置１３とを備えている。

撮像処理部１１は、照明装置１１１、被写体支持部１１２、撮像素子１１３、ディスプレイ１１４、出力部１１５を備える。照明装置１１１は、前述した構成を有しており、複数方向から被写体に対して、所定の照度の平行光を照射することができる。この被写体支持部１１２は、撮像素子１１３の撮像面から被写体までの距離が１０ｍｍ以下（典型的には１ｍｍ以下）となるように被写体を支持する。

本実施形態の照明装置１１１は、ＬＥＤを光源として有している。照明装置１１１は、ＲＧＢの３色のＬＥＤを有し、それぞれ４カ所の位置に配置されている。光源としては、ＬＥＤの代わりに、白熱電球、レーザダイオード、ファイバーレーザを用いてもよい。白熱電球を用いる場合、白熱電球から放射された光を平行光に変換するレンズまたは反射鏡を使用しても良い。光源は、赤外光や紫外光を発するものでもよい。光源から放射された光の波長を変換またはフィルタリングするためのカラーフィルタが光路上に配置されていても良い。

照明装置１１１は、図５Ａ〜５Ｃに示すように複数の光源を有していてもよいし、図６に示すように被写体に入射する光の方向を変化させるように移動可能に支持された光源を有していてもよい。

被写体支持部１１２は、撮像中に被写体を支持する部材であり、撮像素子１１３の上面であってもよい。撮像中に被写体の位置が変化しないようにこれらを保持する機構を有していても良い。被写体支持部１１２は、撮像素子１１３上に被写体３０をほとんど隙間なく配置するように構成され得る。

図１８は、撮像素子１１３上に配置された被写体３０と光源１０との配置関係を示す図である。

光源１０と被写体３０との間隔Ｄは例えば１ｍ以上に設定され得る。撮像素子１１３の撮像面から被写体３０までの距離Ｌは、画像のボケを抑制するために、１００μｍ（＝１×１０^-4ｍ）以下、例えば１μｍ（＝１×１０^-6ｍ）に設定される。Ｄ＝１ｍ、Ｌ＝１×１０^-6ｍの場合、光源１０から出て被写体３０の位置Ａを通過する光線は、光源１０の位置が水平横方向にＸｍだけずれると、撮像面上でΔＸｍだけシフトした位置に入射することになる。ΔＸ／Ｘ＝Ｄ／Ｌの関係があるため、ΔＸを０．１μｍ（＝１×１０^-7ｍ）以下に抑制するには、Ｘを０．１ｍ以下に抑制すれば良い。光源１０の位置を調整する際、光源１０の位置ずれＸを０．１ｍ（＝１０ｃｍ）以下にすることは容易である。画素ピッチＫが１μｍ程度の撮像素子１１３を用いる場合、撮像素子１１３から光源１０までの距離を１ｍ程度に設定しておけば、光源の位置ずれＸが数ｃｍ程度発生しても画質に悪影響は及ばない。また上記のことから、特定の光源方向に、赤、緑、および青の光源（ＲＧＢ光源）を配置する場合、それらの複数の光源が０．１ｍ（＝１０ｃｍ）以下の範囲にあって近接していれば、それらを１個の光源として扱うこともできる。

本実施形態における撮像素子１１３は、例えば約４８００×３６００画素の構成を有する。この場合、画素ピッチＫは、一例として１．３μｍ程度に設定され得る。また、撮像面から撮像素子上面までの距離、すなわち、撮像面から被写体までの距離Ｌは一例として約１．３μｍに設定され得る。本実施形態では、撮像素子１１３の開口率は２５％であるとする。

次に、図１９を参照しながら、照明装置１１１の光源１０と撮像素子１１３との間に存在する配置関係の例を有する。

図１９の照明装置１１１は、撮像素子１１３から約１ｍ離れた位置に４個の光源１０Ａ、１０Ｂ、１０Ｃ、１０Ｄを有している。各光源１０Ａ、１０Ｂ、１０Ｃ、１０Ｄからは、約１／１００［ｒａｄ］以下の広がりを持つ光ビームが出射される。これらの光ビームは、いずれも、ほぼ平行光である。図１９では、２行２例に配列された４個の画素に対応する４個のフォトダイオード４０が示されている。このうち、ある１つの着目するフォトダイオード４０に入射する４本の光線が図示されている。４本の光線は、光源１０Ａ、１０Ｂ、１０Ｃ、１０Ｄから出射される光ビームの中心軸（単に「光軸」と称する）に相当する。なお、図１９に示される被写体３０には、便宜上、４行４列に配列された１６個の領域を示す区画線が引かれている。現実の被写体３０には、このような線は引かれていない。被写体３０の区画線は、１つのフォトダイオード４０に入射する光線が、被写体３０のどの領域を透過したかを分かりやすく示すために記載されている。区画線で区分された１６個の領域のうち、各フォトダイオード４０の真上に位置する領域にはハッチングが付加されている。

第１の光源１０Ａは、撮像素子１１３の直上に位置し、その光軸は、撮像面に対して垂直である。すなわち、第１の光源１０Ａの光軸は、撮像面の法線方向に対して平行である。ここで、第１の光源１０Ａの光軸が撮像素子１１３の上面（被写体）と交差する位置を「基準位置」とする。

第２の光源１０Ｂの光軸は、撮像面の法線に対して、Ｙ軸の負の方向に傾斜している。第２の光源１０Ｂの光軸が撮像素子１１３の上面（被写体）と交差する位置は、「基準位置」に対して、Ｙ軸の負の方向にＫ／２だけシフトしている。第３の光源１０Ｃの光軸は、撮像面の法線に対して、Ｘ軸の負の方向に傾斜している。第３の光源１０Ｃの光軸が撮像素子１１３の上面（被写体）と交差する位置は、「基準位置」に対して、Ｘ軸の負の方向にＫ／２だけシフトしている。第４の光源１０Ｄの光軸は、撮像面の法線に対して、Ｘ軸の負の方向からπ／４ラジアンだけ回転した方向に傾斜している。第４の光源１０Ｄの光軸が撮像素子１１３の上面（被写体）と交差する位置は、「基準位置」に対して、Ｙ軸の負の方向にＫ／２、Ｘ軸の負の方向にＫ／２だけシフトしている。

光源１０Ａ、１０Ｂ、１０Ｃ、１０Ｄの位置は、それらの光軸が撮像面の法線に対して、照明光の「照射方向」は、光源および被写体（撮像面）との相対的な配置関係によって決まる。撮像面を基準にし、撮像面に入射する照明光の光線の方向を「照射方向」と定義する。撮像面における水平方向をＸ軸、垂直方向をＹ軸、撮像面の法線方向をＺ軸とするとき、照射方向は、ＸＹＺ座標内のベクトルによって特定され得る。照射方向は任意であり、照射方向の数も任意である。

撮像面に垂直な「照射方向」は、例えばベクトル（０，０，１）によって表現され得る。撮像面から被写体までの距離をＬとすると、撮像面に垂直な「照射方向」は、ベクトル（０，０，１）によって表現され得る。例えば、１６通りの照射方向θ１〜θ１６は、それぞれ、（０，０，Ｌ）、（Ｋ／４，０，Ｌ）、（２Ｋ／４，０，Ｌ）、（３Ｋ／４，０，Ｌ）、（０，Ｋ／４，Ｌ）、（Ｋ／４，Ｋ／４，Ｌ）、（２Ｋ／４，Ｋ／４，Ｌ）、（３Ｋ／４，Ｋ／４，Ｌ）、（０，２Ｋ／４，Ｌ）、（Ｋ／４，２Ｋ／４，Ｌ）、（２Ｋ／４，２Ｋ／４，Ｌ）、（３Ｋ／４，２Ｋ／４，Ｌ）、（０，３Ｋ／４，Ｌ）、（Ｋ／４，３Ｋ／４，Ｌ）、（２Ｋ／４，３Ｋ／４，Ｌ）、（３Ｋ／４，３Ｋ／４，Ｌ）のベクトルで表現され得る。同一の画像が取れる別の角度でも良い。

なお、光源１０Ａ、１０Ｂ、１０Ｃ、１０Ｄから同一のフォトダイオードに入射する光線が被写体に入射する位置は、必ずしもＫ／２だけＸ軸またはＹ軸に平行な方向にシフトしている必要は無い。このシフトの大きさは、奇数×（Ｋ／２）であってもよい。Ｍ、Ｎを奇数とするとき、ベクトル表記で（基準のベクトル、例えば（０，０、Ｌ））＋（ＭＫ/２、ＮＫ/２、０）であり得る。また、後述する第二実施形態のように開口率が１／９の場合、各光源から同一のフォトダイオードに入射する光線が被写体に入射する位置は、Ｋ／３、２Ｋ／３だけＸ軸またはＹ軸に平行な方向にシフトすることになる。

なお、光源１０Ａの光軸は撮像面に垂直に設定されているが、光源１０Ａ、１０Ｂ、１０Ｃ、１０Ｄの光軸が、すべて、撮像面の法線に対して傾斜していても良い。また、図６を参照して説明したように、少なくとも１つの光源１０が可動に支持され、適切な位置に移動して、その位置から所定方向に光を出射する構成を採用してもよい。

図２０は、１つの光源１０から出た光線の入射角度の分布を誇張して記載した図である。光源１０の真下に位置する領域には垂直に光線が入射している。一方、撮像面の端部に位置する領域には傾斜して光線が入射している。撮像面から光源１０までの距離Ｄが約１ｍに設定されている場合を考える。撮像素子の中央から端部までの距離Ｃは、せいぜい１０ｍｍ（＝１×１０^-2ｍ）である。また、Ｌ＝１×１０^-6ｍである。本来、光源から垂直に光が入射すべきであるのに、撮像面の端部には光が斜めに入射するため、その入射位置は、垂直に入射した場合の入射位置に対してΔｘだけシフトする。上記の数値例では、Ｃ／Ｄ＝Δｘ／Ｌの関係が成立しているため、Δｘ＝（ＬＣ）／Ｄ＝（１×１０^-6×１×１０^-2）／１＝１×１０^-8＝１０ｎｍである。すなわち、フォトダイオードに入射する光線が被写体を通過する領域の位置は、撮像素子の中央か端部かによって、Δｘ＝１０ｎｍよりも小さい範囲でしかシフトしない。画素ピッチＫが１μｍ（＝１×１０^-6ｍ）であるとすると、Δｘ＝１０ｎｍ（＝１×１０^-8ｍ）は画素ピッチＫよりも２桁小さい。このため、撮像面から光源１０までの距離Ｄが撮像面のサイズを考慮して適切な大きさに設定されている限り、被写体を基準にした光源方向は、同じ光源に対して、被写体の位置によらず一定であると考えて良い。

再度、図１７を参照する。本実施形態における画像処理部１２は、照明条件調整部１２１、画像情報取得部１２２、光源位置決定部１２３、画像構成処理部１２４を備えている。これらは、画像処理部１２を実現するコンピュータの機能ブロックから構成されていても良く、各構成要素はコンピュータブログラムによって実現され得る。記憶装置１３は、光源位置情報サーバ１３１と低分解能画像サーバ１３２とを有する。記憶装置１３は、ハードディスク、半導体メモリ、または光記録媒体であり得、インターネットなどのデジタルネットワークを介して画像処理部１２に接続されるデータサーバであってもよい。

画像処理部１２の照明条件調整部１２１は、照明装置１１１における光源の位置、明るさ、光照射間隔、照度などの照明条件を調整する。画像情報取得部１２２は、照明装置１１１の照明条件が適切に設定された状態で撮像素子１１３を制御し、点灯する光源の切り替えに応じて撮像素子１１３に撮像を行わせる。画像情報取得部１２２は、撮像素子１１３が取得した画像（低分解能画像）のデータを撮像素子１１３から受け取る。また、受け取った画像データに関連付けて照明条件を規定する情報（光源方向、発光強度、照度、波長など）を照明条件調整部１２１から取得する。

光源位置決定部１２３は、光源位置の校正時に光源位置を決定する。光源位置決定部１２３は、光源位置の校正時に被写体支持部１１２に校正用サンプルを設置して画像情報取得部１２２から得られた画像を用いて光源位置の変更を決定し照明装置１１１の光源位置を変化させる。

光源位置情報サーバ１３１は、光源位置決定部１２３によって決まった光源位置を示す情報を位置データベースとして格納している。光源位置決定部１２３によって光源の位置を調整した場合は、そのたびに位置データベースを書き換える。

低分解能画像サーバ１３２は、画像情報取得部１２２を介して得た低分解能画像のデータと、各低分解能画像を取得するときに使用された照明条件を示す情報とを画像データベースに格納する。本実施形態では、４つの方向からの照明光で被写体を照射して４つの低分解能画像を得る。これらの低分解能画像は、図１４に模式的に示した画像６０ａ〜６０ｄに対応する。後述する画像構成処理が終了すると、低分解能画像のデータは画像データベースから削除されてもよい。

画像処理部１２における画像構成処理部１２４は、画像情報取得部１２２から得られる撮像終了を示す信号に応答して、記憶装置１３の光源位置情報サーバ１３１および低分解能画像サーバ１３２から光源位置情報および低分解能画像を得て、前述した原理による高分解能化を達成する（図１４、図１９）。すなわち、画像６０ａ〜６０ｄを構成する画素値を組み合わせることにより、１枚の高分解能画像を得ることができる。このとき、色補正、デモザイク処理、階調補正（γ補正）、ＹＣ分離処理、重なった部分の補正等、補正の処理を施す。高分解能画像はディスプレイ１１４に表示されたり、出力部１１５を介して画像取得装置１の外部に出力されたりする。出力部１１５から出力された高分解能画像は、不図示の記録媒体に記録されたり、他のディスプレイに表示されたりし得る。

本実施形態では、開口率が２５％の撮像素子１１３を用いて画素数が４倍の高分解能画像（２倍に拡大された画像）を形成しているが、開口率が１／Ｎの撮像素子を用いてＮ枚の低分解能画像を取得し、これらからＮ倍画素数を持つＮ^0.5倍に拡大された高分解能画像を形成することもできる。

本実施形態によれば、低分解能の画像から高分解能の画像を取得できるが、特に高分解能の画像が必要ないときは、低分解能の画像を使用すればよい。本実施形態では、倍率の高いレンズを用いることなく、画像の倍率を簡単に変化させることができる。

次に、図２１Ａを参照して、上記の実施形態にかかわる画像取得装置１の初期化および画像取得の動作を説明する。図２１Ａは、画像取得装置１における画像取得の流れを示すフローチャートである。

［準備ステップ］光源位置の調整
光源位置の初期化を行うために被写体支持部１１２に校正用サンプルを設置し（Ｓ２０１）、光源位置決定処理を実行する（Ｓ２０２）。校正用サンプルとは、あらかじめ二次元情報として各位置における光透過率がわかっているサンプルである。たとえば、図２２に示す校正用サンプル５００は、透明なフィルムから形成されており、表面に格子状に配列された黒いドットパターンを有している。図２２では、校正用サンプル５００のうち、４画素分の領域だけが示されているが、現実の校正用サンプル５００は、撮像素子１１３の撮像面の全体を覆う大きさを有していても良い。ここでは、簡単のため、黒い領域は光を完全に遮光する領域であるとする。

図２２に示されている校正用サンプル５００の４個の黒い領域の形状および位置は、フォトダイオード４０の形状および位置に整合している。また、４個の黒い領域は、それぞれ、４個のフォトダイオード４０の真上に位置しているとする。この状態で、不図示の照明装置１１１の特定の光源から光が出射され、その光で校正用サンプル５００を照射する場合を考える。光源の光軸が撮像面に垂直であれば、光源からの光線は、黒い領域で遮光される。このため、４個のフォトダイオード４０の出力は最低レベルの値を持つことになる。一方、光源の光軸が撮像面に対して僅かに傾斜していれば、黒い領域で遮光されることなく、各フォトダイオード４０に入射する光線が存在する。このため、各フォトダイオード４０の出力は最低レベルよりも高い値を持つことになる。光源の光軸が撮像面に略垂直になるように光源の位置を定めた後、光源の位置を変えながら、各フォトダイオード４０の出力を検出すると、その出力が極小値となるときがある。そのとき、光源の光軸は撮像面に垂直であると決定できる。

上記の例では、４個の黒い領域が完全に遮光する領域であったが、黒い領域の光透過率は０％である必要は無い。また、図２２の例では、４個の黒い領域の配列が４個のフォトダイオード４０の配列に一致しているが、校正サンプル５００のパターンは、そのような例に限定されない。校正サンプル５００のパターンが既知であれば、そのパターンの形状は任意である。

記憶装置１３は、校正用サンプル５００に関連付けて、あらかじめ設定された複数の光源位置に対応するサンプルデータを有している。照明条件調整部１２１は、複数の光源位置から所定の光源位置を選択し、校正用サンプル５００を光で照射する。撮像素子１１３は、所定の光源位置から光が照射された状態で校正用サンプル５００の画像を取得する。光源位置決定部１２３は、こうして取得した画像と、記憶装置１３に格納されているサンプルデータとを比較する。取得した画像とサンプルデータとが一致するまで、光源位置を僅かに変化させて撮像を繰り返し行う。その結果、光源位置を適切に決定することができる。例えば、図１６に示すような光入射ではなく、図１５に示すような光入射が実現するように複数の光源の配置関係を決定することができる。

［高分解能化ステップ］
次に、被写体を被写体支持部１１２に配置する（Ｓ２０３）。ここでの被写体は病理検体である。病理検体の代わりに、例えば厚さが数μｍ程度で撮像中に形態が変化しない光透過性の試料（細胞、剥切した組織など）であってもよい。スライドガラスを上下反転させ、撮像素子上面にカバーガラス３２を載せ、その上にサンプルをおいた状態で撮像を行っても良い。その場合、距離Ｌには、カバーガラス３２の厚さが加算される。このため、光源の位置を再調整してもよい（図２３）。

次に、低分解能画像を取得するため、４つの光源を順番に点灯しながら画像取得をする。具体的には、ｉ＝１と定義し（Ｓ２０４）、ｉ番目の光源のみを点灯する（Ｓ２０５）。ｉ番目の光源のコントラスト調整を行いながら（Ｓ２０６）、ｉ番目の画像（低分解能画像）を取得する（Ｓ２０７）。

その後、ｉ＝ｉ＋１と定義し（Ｓ２０８）、ｉが画像取得回数であるＮ＝４回を超えているか否かを判断する（Ｓ２０９）。ｉが４回を超えるまで、画像取得を繰り返す。

取得したｉ番目の低分解能画像は、画像バッファに格納される。ｉ＞Ｎを満たす（Ｓ２０９）と判断された場合（ＹＥＳ）、画像構成処理が行われる。具体的には、図１４に示したようにＮ枚の低分解能画像を重ね合わせるようにして、各低分解能画像の画素の位置をずらして画素データを合成し、高分解能画像を構成する（Ｓ２１０）。これを高分解能画像出力として送出する（Ｓ２１１）。高分解能画像はディプレイ１１４に出力されたり、外部に送出されたりし得る。

なお、図２４は、開口率が１／９撮像素子を用いて、Ｘ方向およびＹ方向の各々について３倍に拡大した画像を得るときに入射する光線の方向を示す図である。

図２１Ｂは、本実施形態に係る画像取得装置の動作の他の例を示すフローチャートである。この例では、毎回、光源位置を計算によって計算する。このフローでは、ステップＳ３０１で光源照射角度を計算によって求める。ステップＳ３０２において、光源位置を決定する。その後のステップＳ２０５〜Ｓ２１０は、前述したとおりである。

図２１Ｃは、本実施形態に係る画像取得装置の動作の更に他の例を示すフローチャートである。この例では、光源位置を計算によってではなく実験的に決定する。

Ｘ方向とＹ方向で角度調整を行う方法を説明する。ピッチの間隔がＸ方向とＹ方向で異なる場合など、それぞれ実行する必要があるが、説明はＹ方向の場合のみとする。Ｘ方向とＹ方向で調整をしなおす必要がない場合は、一方の調整だけでよく、そこで得られた角度を用いればよい。

図２７、図２８を参照して説明する。図２７は、例えば光源Ｂを点灯させて画像情報取得部１２２によって得た画像を示す。図２８は、例えば光源Ｈを点灯させて画像情報取得部１２２によって得た画像を示す。これらの画像は、校正シートの同じ位置を透過してきた光線によって取得された像である。

図２１Ｃのフローチャートは、Ｙ方向において０．５画素だけずらすような適切な照射角度を求めることを目的としている。このとき、ある照射角度をθ、−θとする。θが求める正しい角度であれば、それぞれから得られた画像は例えば、図２７、図２８に示される一画素ずれた画像のようになる。一方で、θが正しくない場合は、一画素以下、もしくは一画素以上ずれた画像が得られる。これらついて、パラボラフィッティング法やSSD（Sum of Squared Difference）などの任意の方法によってサブピクセルマッチングを行い、適切なθを求め直す。これを繰り返すことにより、任意の許容範囲内で二画像の一画素ずれが適合した時点で角度を決定する。

θは前回の撮影で用いた角度や、単純な計算などから求めた推定値でも適切と考えられる初期値ならなんでも良い。

（第二実施形態）
図２５〜図２９を参照して、本開示による撮像装置の第２の実施形態を説明する。本実施形態では、図２５及び図２６に示すように、光源の数を４個から９個に増やしている。その他の点では、第一実施形態における画像取得装置の構成と同一の構成を備えている。

光源位置決定部１２３は、９個の光源Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈ、Ｉを順次点灯し、その都度、撮像を行う。こうして得られた９枚の画像を合成することにより、２倍に拡大された精度の良い高分解能画像を得ることができる。

前述した図２７の画像と図２８の画像とを取得し、これらを比較し、画素ピッチだけシフトした状態になるように光源位置を決定し、照明装置１１１における光源位置の調整を行う。他の光源についても同様に位置の調整を行うことができる。

次に、図２９を参照して、精度を上げる処理を説明する。本実施形態では、この処理の後、撮影された９枚の画像を用いて２倍に拡大された高分解能画像（画素数は４倍）を得ることができる。

図２９は、撮像素子上に配置された被写体における一部のエリアと、そのエリアの下方に位置する撮像面の一部との配置関係を模式的に示す平面図である。図２９には、４個のフォトダイオード（ＰＤ）４０ａ、４０ｂ、４０ｃ、４０ｄが示されている。被写体の図示されているエリアは、３行３列の９個の領域（１、１）、（１、２）、（１、３）、（２、１）、（２、２）、（２、３）、（３、１）、（３、２）、（３、３）に分けられている。ｊ行ｋ列の領域には（ｊ、ｋ）の参照符号を付している。この例では、４個の領域が全体として１画素の大きさに対応しており、第１実施形態について説明した方法と同様の方法により、最終的に４倍の高分解能化が達成される。

図２５に示される光源Ａから出た斜めの光で被写体を照射したとき、被写体の中央の領域（２、２）を透過した光は、フォトダイオード４０ｄに入射する。光源Ｉから出た斜めの光で被写体を照射したとき、領域（２、２）を透過した光は、フォトダイオード４０ａに入射する。光源Ｃから出た斜めの光で被写体を照射したとき、領域（２、２）を透過した光は、フォトダイオード４０ｃに入射する。光源Ｇから出た斜めの光で被写体を照射したとき、領域（２、２）を透過した光は、フォトダイオード４０ｂに入射する。一方、例えば光源Ｅから出た光で被写体を照射したとき、その光は撮像面に垂直に進行するため、領域（２、２）を透過した後、その真下に入射する。すなわち、領域（２、２）を透過した光は、いずれのフォトダイオードにも入射しない。同様に、光源Ｂ、Ｄ、Ｆ、Ｈから出た光も、領域（２、２）を透過した後、フォトダイオードには入射しない。

９個の光源Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈ、Ｉを順次点灯し、その都度、撮像を行って得た９枚の画像を、それぞれ、画像Ｐ_A、Ｐ_B、Ｐ_C、Ｐ_D、Ｐ_E、Ｐ_F、Ｐ_G、Ｐ_H、Ｐ_Iと表記する。これらの画像Ｐ_A〜Ｐ_Iのうち、４枚の画像Ｐ_A、Ｐ_C、Ｐ_G、Ｐ_Iの各々には、領域（２、２）の透過率を反映した画素値を持つ１つの画素が存在することになる。これらの対応する４個の画素値を平均すれば、領域（２、２）の透過率について、より精度の高い情報が得られる。

図２９では、中央の領域（２、２）に対して、４個のフォトダイオード（ＰＤ）４０ａ、４０ｂ、４０ｃ、４０ｄから延びる４本の太い矢印が記載されている。このことは、４個のフォトダイオード（ＰＤ）４０ａ、４０ｂ、４０ｃ、４０ｄの出力に基づいて、領域（２、２）の画素値を決定できることを意味する。例えば、４個のフォトダイオード（ＰＤ）４０ａ、４０ｂ、４０ｃ、４０ｄの出力（４枚の画像Ｐ_A、Ｐ_C、Ｐ_G、Ｐ_Iから得られる）を全て加算し、４で割れば、平均化された画素値が得られる。ただし、領域（２、２）の画素値を決定するため、４個のフォトダイオード（ＰＤ）４０ａ、４０ｂ、４０ｃ、４０ｄの出力の全てを用いる必要は無い。

次に、被写体の他の領域の画素値の取得について説明する。まず、領域（１、２）、（３、２）について説明する。

光源Ｄから出た光で被写体を照明するとき、領域（１、２）、（３、２）を通過した光は、それぞれ、フォトダイオード４０ｂ、４０ｄに入射する。このときの撮像によって得られる画像は、画像Ｐ_Dである。また、光源Ｆから出た光で被写体を照明するとき、領域（１、２）、（３、２）を通過した光は、それぞれ、フォトダイオード４０ａ、４０ｃに入射する。このときの撮像によって得られる画像は、画像Ｐ_Fである。このように、２枚の画像には、領域（１、２）、（３、２）の各々の透過率を反映した画素値を持つ画素が存在する。これらの対応する画素値を平均化すれば、領域（１、２）、（３、２）の各々の透過率について、精度の高い情報が得られる。

図２９では、例えば領域（１、２）に対して、２個のフォトダイオード（ＰＤ）４０ａ、４０ｂから延びる２本の矢印が記載されている。このことは、２個のフォトダイオード（ＰＤ）４０ａ、４０ｂの出力に基づいて、領域（１、２）の画素値を決定できることを意味する。２個のフォトダイオード（ＰＤ）４０ａ、４０ｂの出力を加算し、２で割れば、平均化された画素値が得られる。領域（３、２）についても同様である。

次に、領域（２、１）、（２、３）について説明する。基本的には、光の方向は異なるが、領域（１、２）、（３、２）について説明したことが成立する。

光源Ｂから出た光で被写体を照明するとき、領域（２、１）、（２、３）を通過した光は、それぞれ、フォトダイオード４０ｃ、４０ｄに入射する。また、光源Ｈから出た光で被写体を照明するとき、領域（２、１）、（２、３）を通過した光は、それぞれ、フォトダイオード４０ａ、４０ｂに入射する。２枚の画像Ｐ_B、Ｐ_Hには、領域（２、１）、（２、３）の各々の透過率を反映した画素値を持つ画素が存在する。これらの対応する画素値を平均化すれば、領域（１、２）、（３、２）の各々の透過率について、精度の高い情報が得られる。

本開示による画像取得装置は、被写体および撮像素子を一体的に傾斜させる傾斜機構を含む照明システムを備えていても良い。その場合、光源の位置が固定されていても、傾斜機構によって被写体および撮像素子を回転させることにより、被写体を基準にしたときの光源方向を変化させることができる。このような照明システムによれば、被写体および撮像素子を一体的に傾斜させ、被写体を基準にして複数の異なる光源方向から、順次、照明光を出射することができる。

（改変例）
図３０は、被写体および撮像素子（以下、「撮像対象」と称する。）１４０を着脱可能に保持する保持装置を備えている改変例の構成を模試的に示している。撮像対象１４０は、被写体と撮像素子とが一体化された「プレパラート」でありえる。この例では、「照明角度調整部」が撮像対象１４０の姿勢を変化させる機構を有している。この機構は、直交する鉛直面内で被写体の向きを回転させることができる２つのゴニオ機構１２０を含んでいる。ゴニオ機構１２０のゴニオ中心１５０は撮像対象１４０における被写体の中央部に位置している。この改変例では、ゴニオ機構１２０が照明光の照射方向を変化させることができるため、光源１０Ｐは固定されていてもよい。この改変例では、光源１０Ｐは平行光を発するように構成されている。なお、図３１に示されるように、この改変例による画像取得装置は複数の平行光光源１０Ｐを有していてもよい。

ここで、光源１０Ｐを固定し、かつ撮影対象１４０を移動させる場合は、撮影対象１４０を固定し、かつ光源１０Ｐを移動させる場合と比較して、撮影時間が短くなる点で好ましい。これは、撮影対象１４０と光源１０Ｐとの距離Ｌ１が、撮影対象１４０を構成する被写体と撮像素子との距離Ｌ２よりも非常に大きいため、それに比例して光源１０Ｐを大きく移動させる必要があるためである。撮影時間が短くなることにより、被写体が秒単位で経時的に変化するもの、例えば、生物試料からのルミネセンスであっても適切な画像を取得できる。

図３２は、被写体の姿勢を変化させる機構がゴニオ機構１２０と回転機構１２２とを備えている改変例の構成を示している。ゴニオ機構１２０による鉛直面内における撮像対象１４０の回転と、回転機構１２２による鉛直軸周りの撮像対象１４０の回転とを組み合わせることにより、撮像対象１４０に対して任意の照射方向から照明光を入射することが可能になる。点１５０は、ゴニオ中心および回転中心に位置している。なお、図３３に示されるように、この改変例による画像取得装置は複数の平行光光源１０Ｐを有していてもよい。

図３４は、光源から放射された光の平行度を上げ、被写体に平行光を入射させる光学系の一例を示している。この例では、光源から出た発散光をコリメートするレンズ１３０がＸＹ移動機構(移動ステージ)１２４に搭載されている。撮像対象１４０は、移動ステージ１２４とともに、水平面内のＸ軸および／またはＹ軸の方向に任意の距離だけ移動させられる。

図３５は、水平面内の所望の方向に所望の距離だけ移動した撮像対象１４０に対して照明光が斜めに入射する様子を示している。光源１０ａの位置が固定されていても、撮像対象１４０の位置を調整することにより、照明光の照射方向を制御できる。なお、図３６に示されるように、この改変例による画像取得装置は複数の光源を有していてもよい。このように複数の光源１０ａ、１０ｂ、１０ｃを有しているとき、撮像対象１４０を移動させる機構は無くてもよいし、図３７に示されるように、ＸＹ移動機構(移動ステージ)１２４を備えていてもよい。図３８、図３９および図４０に示されるように、点灯する光源１０ａ、１０ｂ、１０ｃの位置および撮像対象１４０の位置の一方または両方を変化させることにより、所望の入射角度で照明光を撮像対象１４０に入射できる。

図４１は、２つのゴニオ機構１２０が平行光光源１０Ｐを支持する改変例の構成を模式的に示している。図４２は、ゴニオ機構１２０および回転機構１２２が平行光光源１０Ｐを支持する改変例の構成を模試的に示している。

これらの改変例では、平行光を発する光源を使用したり、光源が発する光の平行度を高める光学系を使用したりしている。しかし、本開示の実施形態は、このような例に限定されない。前述したように、光源と被写体との間隔が十分に広いとき、実質的には平行といえる光が被写体に入射する。

また、被写体に対して光を照射し、姿勢および位置が固定されている光源を用いる場合、被写体を複数の傾斜角度に傾斜させる傾斜機構があれば、被写体を透過した光が入射する位置に配置された撮像素子と被写体と一体的に傾斜機構により傾斜して、複数の傾斜角度に応じて複数の画像を取得することができる。

本開示の例示的な態様によれば、検体管理装置は標本像取得装置と情報処理装置とを備えている。標本像取得装置は、病理標本が置かれる標本支持部と、病理標本の画像を複数の分解能（倍率）のうちの指定された一つの分解能（倍率）で取得するように構成された撮像素子を有する。情報処理装置は、標本像取得装置によって取得された画像の特徴量を求め、その特徴量に基づいて病理標本の患者情報を表示装置に出力させるように構成されている。より詳細には、情報処理装置は、患者の標本画像から算出された特徴量と患者情報とが対応付けられたデータベースを参照して、その画像の特徴量に一致する患者情報を検索する。そして、画像の特徴量に一致する複数の患者情報がデータベースに含まれていた場合は、その画像の分解能よりも高い分解能を有する高分解能画像を取得し、またデータベースを参照して高分解能画像の特徴量に一致する患者情報を検索する。ここで、患者情報は、例えば、患者の氏名、病名、所見、他の検査の情報、臨床情報の少なくとも１つを含む。

本開示の検体管理装置で使用され得る標本像取得装置は、標本支持部に置かれた病理標本から異なる分解能（倍率）で複数の画像の取得が可能である。このような標本像取得装置の一例は、撮像素子であるイメージセンサ上に配置された薄い病理標本を照明光で照射し、病理標本を透過した光に基づいてデジタル画像を取得するように構成された装置である。このような装置によれば、撮像素子と病理標本との間には結像のための対物レンズを配置する必要は無く、撮像素子と病理標本とが近接した状態で複数の画像を取得することができる。その結果、撮像素子が備える微細な画素の配列に基づいて顕微鏡並みの分解能を有する画像を取得することができる。取得する画像の分解能の変更は、撮像素子におけるビニング処理によって行うこともできるし、後述する実施形態について詳しく説明するように、病理標本に入射する照明光の方向を変えて複数の低分解能画像を得て画像処理によって高分解能化してよい。

情報処理装置は、本開示のプログラムがインストールされた汎用コンピュータであっても良い。そのような情報処理装置の典型例は、プロセッサとメモリとを備え、メモリに格納されたプロクラムの命令によって動作する。その結果、プロセッサとメモリとを備える装置が、全体として、後述する各機能ブロックを備える装置として機能し得る。本開示における情報処理装置が備える各機能ブロックは、専用のハードウェア、または、ハードウェアおよびソフトウェアの組み合わせによって実現されていても良い。

患者の標本画像から算出された特徴量と患者情報とが対応付けられたデータベースは、情報処理装置が備える記憶装置に設けられていても良いし、デジタルネットワークを介して情報処理装置に接続され得るデータストレージまたはデータサーバに設けられていても良い。画像の特徴量としては、公知の種々の特徴量が選択可能であり、患者情報の検索は公知のマッチング技術によって実現し得る。

以下、図面を参照しながら本開示の第三実施形態を説明する。

（第三実施形態）
図４３は、本実施形態における検体管理装置の全体の構成例を示す図である。

図示されている検体管理装置は、標本像取得装置１１１０と情報処理装置１２３０とを備えている。標本像取得装置１１１０は、図４４に示されるように、病理標本１０３０が置かれる標本支持部１１００と、病理標本１０３０の画像を複数の分解能（倍率）のうちの指定された一つの分解能（倍率）で取得する撮像素子１２２０とを有する。撮像素子１２２０としては、多数の光電変換部が撮像面内に行および列状に配列された２次元イメージセンサが採用され得る。光電変換部は、典型的には、半導体層または半導体基板に形成されたフォトダイオードであり、入射光を受けて電荷を生成する。２次元イメージセンサの分解能は、撮像面上における光電変換部の配列ピッチまたは配列密度に依存する。個々の光電変換部の配列ピッチは、可視光の波長程度まで短くなっている。撮像素子１２２０の典型例は、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）イメージセンサまたはＭＯＳ（ＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）型イメージセンサである。

情報処理装置１２３０は、標本像取得装置１１１０によって取得された画像の特徴量を求め、その特徴量に基づいて病理標本１０３０の患者情報を出力装置１１７０に出力させるように構成されている。より詳細には、情報処理装置１２３０は、患者の標本画像から算出された特徴量と患者情報とが対応付けられたデータベースを参照して、病理標本１０３０の画像の特徴量に一致する患者情報を検索する。

情報処理装置１２３０は、入力装置１１６０および出力装置１１７０に接続されている。入力装置１１６０は、ユーザが情報処理装置１２３０に対してデータを入力したり、命令を入力したりする装置である。入力装置１１６０は、キーボード、マウス、タッチスクリーンなどであり得る。出力装置１１７０は、画像および文字を表示し得るディスプレイ、プリンタ、スピーカなどであり得る。入力装置１１６０および出力装置１１７０はタッチスクリーンと表示装置とが一体化された装置であってもよい。

情報処理装置１２３０は、画像の特徴量に一致する１つの患者情報がデータベースに含まれていた場合、その患者情報を出力装置１１７０に出力する。また、画像の特徴量に一致する複数の患者情報がデータベースに含まれていた場合、情報処理装置１２３０は、その画像の分解能よりも高い分解能を有する高分解能画像を取得した上で、データベースを参照して高分解能画像の特徴量に一致する患者情報を検索する。更に、画像の特徴量に一致する１つの患者情報がデータベースに含まれていなかった場合、情報処理装置１２３０は、入力装置１１６０から患者情報の入力を受け取り、画像から算出された特徴量と患者情報とを対応付けて前記データベースに格納する。このとき、標本像取得装置１１１０は、最初に取得した画像の分解能よりも高い分解能を有する高分解能画像を取得し、情報処理装置１２３０は、取得した各画像から算出された特徴量と患者情報とを対応付けてデータベースに格納する。

図４５は、本開示の第三実施形態における検体管理装置のブロック図である。図４５に示されるように、本実施形態における検体管理装置は、標本支持部１１００と、標本像取得装置１１１０と、画像特徴量算出部１１２０と、情報検索部１１３０と、患者情報データベース（以下、単に「データベース」と称する。）１１４０と、倍率変更部１１５０と、入力装置１１６０と、出力装置１１７０とを備えている。

患者情報を取得または更新したい病理標本１０３０が標本支持部１１００上に置かれる。病理標本１０３０は、例えば、病理検査で使用されている一般的なスライドであり得る。

標本像取得装置１１１０は、標本支持部１１００に置かれた病理標本１０３０の画像を、予め定められた複数の異なる倍率のうちの１つの倍率で取り込む。画像特徴量算出部１１２０は、標本像取得装置１１１０で取得された標本像から画像特徴量を算出する。情報検索部１１３０は、患者情報と画像特徴量が対応付けられて蓄積されたデータベース１１４０から、画像特徴量算出部１１２０で算出された画像特徴量と一致する患者情報が存在するかを検索する。倍率変更部１１５０は、情報検索部１１３０によって取得した検索結果が複数存在する場合、取得する倍率を高い倍率（高い分解能）に変更し、標本像取得装置１１１０によって再度画像の取り込みを行い、高い倍率での標本の検索を行う。

入力装置１１６０は、情報検索部１１３０によって画像特徴量が一致する患者情報を取得できなかった場合、新規患者の標本として、患者情報の入力を受けつける。出力装置１１７０は、情報検索部１１３０によって画像特徴量が一致する患者情報を取得できた場合、取得された患者情報を出力する。

以下、本開示の実施形態における各部の動作および構成をより詳しく説明する。

＜検体管理装置の動作＞
まず、図４６を参照する。図４６は、検体管理の手順を示すフローチャートである。

ステップＳ１０では、患者情報を参照し、または更新したい標本を標本支持部１１００上に置く。標本支持部１１００は、図４４に示すように、病理標本１０３０がちょうど収まる大きさの凹部を有し得る。このような標本支持部１１００によれば、画像を取り込む際に標本１０３０の位置ずれが生じることを抑制できる。日本では、規格で定められた７６ｍｍ×２６ｍｍのサイズの病理標本が一般的に使用される。標本支持部１１００は、このような大きさの病理標本１０３０がセットされ得る形状を有している。

再び図４６を参照する。ステップＳ１１では、標本像取得装置１１１０によって、予め定められた複数の異なる倍率のうちの１つの倍率によって病理標本１０３０の画像を取得する。図４７は、標本像取得装置１１１０の構成例を示すブロック図である。標本像取得装置１１１０は、照明方向調節部１１２００と、照明装置１２１０と、撮像素子１２２０とを有している。情報処理装置１２３０によって指定された任意の倍率で標本の像（例えば、全体像）を取得する。

異なる倍率の画像を取得する際、逆行列計算部１２４０および行列格納部１２５０を用いて高解像化を行うことができる。逆行列計算部１２４０および行列格納部１２５０は、図４７に例示するように、情報処理装置１２３０内に設けられていても良いが、逆行列計算部１２４０および行列格納部１２５０の一方または両方が標本像取得装置１１１０の内部に設けられていても良い。逆行列計算部１２４０および行列格納部１２５０の動作の詳細については後述する。

次に、図４８を参照しながら、本実施形態における画像取得の処理手順の例を説明する。

まず、ステップＳ１１０において、標本１０３０に照射する平行光照明の角度を照明方向調節部１２００によって調節する。照明方向を調整する方法としては、図４９Ａに示すように、予め定められた角度で光を照射できるように複数の光源を設置しておいても良いし、図４９Ｂに示すように、１つの光源を指定された角度に移動させてもよい。

ステップＳ１１１では、照明装置１２１０によって、ステップＳ１１０で調整された角度で撮影対象の標本に対して平行光を照射する。照明方向の変化の例を図５０Ａおよび図５０Ｂに示す。標本１０３０と撮像素子１２２０とは、図５１に示すように、２次元的な配置関係を有している。図５０Ａおよび図５０Ｂでは、簡単のため、１つのフォトダイオード（ＰＤ）を含む１画素領域の断面を模式的に示している。フォトダイオードＰＤに入射した光は、光電変換により、電気信号に変換される。図５０Ａおよび図５０Ｂにおいて、矢印の太さはＰＤに入射する光の量を表しており、太い矢印ほど多くの光が入射していることを表している。

図５０Ａの例では、真上から平行光を照射している。この場合、フォトダイオードＰＤには標本１０３０中の領域Ｓ２、Ｓ３を透過した光が入射している。一方、図５０Ｂの角度から平行光を照射した場合には、標本１０３０中の領域Ｓ２、Ｓ３、Ｓ４を透過した光がフォトダイオードＰＤに入射している。具体的には、標本１０３０中の領域Ｓ２およびＳ４の各々を透過した光の半分がフォトダイオードＰＤに入射し、領域Ｓ３を透過した光の略全てがフォトダイオードＰＤに入射している。この場合、図５０Ａの場合とは異なる画素値がフォトダイオードＰＤから出力されることになる。

図５０Ａおよび図５０Ｂの例では、１つの照射方向で撮影した画像では、領域Ｓ１、Ｓ２、Ｓ３、Ｓ４それぞれの画素値を求めることはできない。本実施形態における標本像取得装置では、図５０Ａおよび図５０Ｂに示すように、照射方向を変更した状態で撮影した複数の画像から、領域Ｓ１、Ｓ２、Ｓ３、Ｓ４、それぞれの領域を透過した光に対応する画素値を求めることができる。これらの領域Ｓ１、Ｓ２、Ｓ３、Ｓ４は、１つの画素の大きさよりも小さい領域であり、サブ画素領域に相当する。以下、この点をより詳細に説明する。

ここでは、４つの異なる方向１、２、３、４から標本１０３０に光を照射した場合を例にとる。異なる方向１、２、３、４から光が照射された状態で４枚の画像が取得される。４枚の画像を構成する画素のうち、同一の位置に存在する１つの画素に着目する。この着目する画素に含まれるフォトダイオードＰＤの出力を、光照射の方向１、２、３、４について、それぞれ、Ａ１、Ａ２、Ａ３、Ａ４とする。また、標本１０３０における領域Ｓ１、Ｓ２、Ｓ３、Ｓ４の光透過率を、それぞれ、Ｓ１、Ｓ２、Ｓ３、Ｓ４とする。この場合、図５０Ａに示される例では、Ａ１＝０×Ｓ１＋１×Ｓ２＋１×Ｓ３＋０×Ｓ４の式が成立する。また、図５０Ｂに示される例では、Ａ２＝０×Ｓ１＋（１／２）×Ｓ２＋１×Ｓ３＋（１／２）×Ｓ４の式が成立する。図示していない光照射の方向３の例では、Ａ３＝０×Ｓ１＋０×Ｓ２＋（１／２）Ｓ３＋１×Ｓ４が成立し、図示していない光照射の方向４の例では、Ａ４＝（１／２）×Ｓ１＋１×Ｓ２＋（１／２）Ｓ３＋０×Ｓ４が成立しているとする。

以上の例では、透過率Ｓ１、Ｓ２、Ｓ３、Ｓ４は、標本１０３０の組織構造に依存し、未知である。フォトダイオードＰＤの出力Ａ１、Ａ２、Ａ３、Ａ４は、４枚の画像を取得することにより、得られる。従って、４つの未知数Ｓ１、Ｓ２、Ｓ３、Ｓ４についての連立方程式が決まるため、演算により、Ｓ１、Ｓ２、Ｓ３、Ｓ４を求めることが可能になる。

図５２Ａは、上記の例における連立方程式の係数の行列を示している。この行列の逆行列を出力Ａ１、Ａ２、Ａ３、Ａ４のベクトルに演算することにより、１画素よりも狭い領域（サブ画素領域）Ｓ１、Ｓ２、Ｓ３、Ｓ４の光透過率を求めることができる。その結果、４倍の分解能を持つ画像を得ることができる。言い換えると、撮像素子１２２０における画素密度の４倍の画素密度の高分解能画像を得ることができる。

図５２Ａに示す行列の数値は、標本１０３０の組織構造には依存せず、撮像素子１２２０の構造および光照射の方向に依存する。同じ撮像素子１２２０であっても、光照射の方向が変わると、行列の数値が変化する。図５２Ｂは、異なる方向１〜８から光を照射した場合の行列の数値例を示している。この例では、サブ画素領域の個数は８であるため、少なくとも異なる方向１〜８から標本１０３０に光を照射し、各画素について８個の出力を得れば、未知数である８個のサブ画素領域の光透過率を決定することができる。その結果、８倍の分解能を持つ画像を得ることができる。言い換えると、撮像素子１２２０における画素密度の８倍の画素密度の高分解能画像を得ることができる。

本実施形態によれば、こうして画像の高分解能が実現する。言い換えると、照明方向を変えて撮像することにより、標本画像として、分解能（拡大倍率）の異なる画像を得ることができ、対物レンズを用いた焦点合わせが不要である。

ステップＳ１１２では、撮像素子１２２０によって標本１０３０を撮影する。一般的なスキャナ等の装置では、ラインセンサが用いられることが多いが、撮像素子１２２０としてＣＣＤイメージセンサなどのエリアセンサを用いることによって、標本の識別に必要な広範囲の画像を高速に撮影できる。また、本実施形態における標本像取得装置１１１０では、撮影倍率を制御するためのレンズを持たず、照射方向を変更した複数の画像から任意の倍率の画像を生成する。

ステップＳ１１３では、指定された倍率の標本像を生成するために必要な画像が全て揃っているかを判定する。揃っている場合にはステップＳ１１４に進み、揃っていない場合には、ステップＳ１１０に戻り、必要な角度で照射された画像の取り込みを行う。

ステップＳ１１４では、情報処理装置１２３０によって、ステップＳ１１０からステップＳ１１３で撮影された、照射方向の異なる複数の画像から、指定倍率の画像を生成する。指定倍率の画像を生成するために、予め照射方向とフォトダイオードＰＤに入射する光の量の関係を算出しておいた行列を行列格納部１２５０に格納しておく。図５２Ａおよび図５２Ｂは、照明方向とセンサに入射する光の関係を示す行列の例を示す。このような行列は、照射角度とフォトダイオードＰＤの大きさ、求めたい画素の大きさから計算によって求めることが可能である。また、予め画素値がわかっているテスト標本を用いて、角度に応じてどの画素の光がどの程度フォトダイオードＰＤに入ったかを計測することによって実験的に算出しておいても良い。

この照射方向と撮像素子に入射する光の関係を示す行列をＭ、各照射方向によって得られた画素値ベクトルをＡ、求めたい画素値のベクトルをＳとすると、各画素について、ＭＳ＝Ａの関係が成り立つ。ここで行列Ｍ、Ａの値はわかっているため、逆行列計算によってＳの値を求める事ができる。ステップＳ１１４では、行列格納部１２５０から照明方向とフォトダイオードＰＤに入射する光の関係を示す行列を取得し、逆行列計算部１２４０によって各画素値を算出する。以上の構成の標本像取得装置１１１０を用いることにより、任意の倍率で標本の全体像を撮影する。

ステップＳ１２（図４６）では、画像特徴算出部１１２０によって、ステップＳ１１で取得された標本画像から、検体を識別するための画像特徴量を算出する。画像特徴量としては、平均輝度等の色情報、円形度等の形状特徴、ＳＩＦＴ、ＨＯＧ、ＨＬＡＣ等の特徴を用いる。また、病理画像特有の特徴量として、核・細胞間の距離や核・細胞の色の比率といった特徴を用いることも可能である。

病理画像の例を図５３および図５４に示す。図５３は高倍率（例えば、２００倍以上の倍率）で観察した場合の病理標本の例、図５４は低倍率（例えば、１０倍未満の倍率）で観察した時の病理標本の例である。倍率がＮ倍（Ｎは１以上の整数とする）になることは、画像の分解能（１画像を構成する画素数、また画素密度）がＮ×Ｎ倍に増加することに相当する。なお、表示装置の表示画面上の倍率は、撮像素子における画素ピッチに対する表示装置の画面ピッチの比率によって規定される。

病理標本では、図５３に示すように高い倍率で観察した場合、細胞や核が認識できる。標本によって、細胞・核間の配置や距離は異なるため、細胞・核間の平均距離などは標本を識別するための特徴として用いることができる。また、病理標本における観察対象の組織はそのままでは透明なため、染色を行い観察しやすくするのが一般的である。染色の種類としては基本的な染色方法であるＨＥ染色や、特定の検査の目的に合わせて染色を行う各種の免疫染色が存在する。このような染色によって染め分けられた細胞・核の比率も特徴として使用可能である。例えば、免疫染色の１つであるＫｉ−６７では、増殖細胞は赤褐色、それ以外の細胞は青色に染め分けられる。このような比率は診断に使われる指標になるが、病理標本の識別情報としても有用である。また、本ステップでは、病理標本画像の倍率に応じて、重視する画像特徴量を変更しても良い。病理標本の場合、観察する倍率によって画像的な特徴が大きく異なるという特徴がある。図５３のように高い倍率で観察した場合には細胞や核が認識できる画像となり、低倍率では、図５４のように病理切片の全体の形状が捉えられる画像となる。このような特徴を考慮して、低倍率の画像では、円形度、ＳＩＦＴ（Ｓｃａｌｅ−ＩｎｖａｒｉａｎｔＦｅａｔｕｒｅＴｒａｎｓｆｏｒｍ）、ＨＯＧ（ＨｉｓｔｏｇｒａｍｏｆＯｒｉｅｎｔｅｄＧｒａｄｉｅｎｔ）、ＨＬＡＣ（Ｈｉｇｈｅｒ−ｏｒｄｅｒＬｏｃａｌＡｕｔｏＣｏｒｒｅｌａｔｉｏｎ）といった、一般的な形状認識に適した特徴量を中心に用いることができる。また、高倍率の画像では、細胞・核の距離や染色された色の比率のような病理標本特有の特徴を中心に用いることができる。具多的には、画像の分解能が基準値よりも低いとき、円形度、ＳＩＦＴ、ＨＯＧ、ＨＬＡＣのいずれか１つ以上の特徴量を算出取得し、画像の分解能が基準値以上のとき、特徴量に加えて、細胞または核間の平均距離、および／または染色によって染め分けられた色の比率を算出するようにしてもよい。

ステップＳ１３では、情報検索部１１３０によって、ステップＳ１２で算出された画像特徴量と一致する患者データをデータベース１１４０から取得する。データベースの例を図５５に示す。データベースは病理標本画像から算出した画像特徴量、画像特徴量を算出した標本画像の撮影倍率、および患者情報が対応付けられた患者データを記憶する。このような形式で患者情報を保持しておくことで、ステップＳ１２で算出された画像特徴量と一致する画像特徴量を持つ患者データをデータベースから検索することができる。検索の一致条件は、画像特徴量が完全に一致するものとしても良い。また、画像特徴量を例えばベクトルで表現した場合は、ベクトル間のユークリッド距離が予め定められた閾値以下の場合に一致する画像とみなすものとしてもよい。その他、データベースの構成は、図５６に示すような形式であっても良い。図５６の形式では、患者に応じたＩＤを付与することによって、同一患者の異なる染色の検査を関連付けて格納している。現在の病理検査（組織診）では、基本的な染色であるＨＥ（ヘマトキシリン・エオジン）染色の他に、特定の目的の検査を行うための免疫染色が行われることが多い。このような同一患者の異なる染色の標本は、図５７に示した例のように、色は全く異なるものの、標本の形状はほぼ同一であることが多い。これは、同一患者から複数の染色の標本を作成する場合、連続するスライスで作られることが多いためである。このような病理標本の性質を利用すれば、本開示では、検体の標本像を画像として取得しているため、取得された画像の形状的な特徴量を比較することによって、同一患者の異なる染色の標本を自動的に関連付けることが可能である。

ステップＳ１４では、ステップＳ１３の検索の結果、ステップＳ１２で算出した画像特徴量と同一の画像特徴量を持つ患者データが、データベース１１４０中に存在するかを判定する。同一の画像特徴量を持つ患者データが存在しない場合にはステップＳ１５に、存在する場合にはステップＳ１７に進む。

ステップＳ１５では、入力装置１１６０によって、ステップＳ１０において置かれた病理標本に対応する患者情報の記入を求める。ステップＳ１６では、ステップＳ１５で入力された患者情報をステップＳ１１で取得した標本像の倍率および、ステップＳ１２で算出した画像特徴量と関連付けてデータベース１１４０に格納する。

ステップＳ１７では、ステップＳ１３の検索の結果、ステップＳ１２で算出した画像特徴量と同一の画像特徴量を持つ患者情報が、データベース１１４０中に複数存在するかを判定する。データベース中に、画像特徴量が一致する患者情報が複数存在し、１つに特定できない場合にはステップＳ１８に、画像特徴量が一致する患者データが１つのみ存在した場合にはステップＳ１９に進む。

ステップＳ１８では、患者情報が特定できなかった場合、標本像取得装置で取得する倍率を変更し、再度ステップＳ１１に戻る。病理標本の場合、低倍率で形状が似ている場合にも、高倍率の細胞、核レベルで観察すれば必ず識別可能という特徴がある。一方で、ステップＳ１１で標本の取り込みに要する時間は、倍率とトレードオフの関係にある。そのため、はじめは低倍率で識別を試み、認識できない場合に倍率を上げていくと効率がよい。具体的には、ステップＳ１１からステップＳ１７を患者情報が１つに特定できるまで、繰り返し撮影倍率を上げていく。なお、新規標本の患者情報をデータベースに追加する際、画像の特徴量のうち、色に依存しない形状特徴のみを用いて、データベース中に一致する症例がないかを検索し、一致する症例があった場合には、同一患者の異なる染色の標本として関連付けるようにしてもよい。

ステップＳ１９では、出力装置１１７０によって、ステップＳ１３で取得された患者情報を出力する。出力装置１１７０は、表示装置またはプリンタを備えている必要は無い。出力装置１１７０は、外部の表示装置またはプリンタに接続され、それらの装置または機器に信号を出力する装置であってもよい。

本実施形態の構成により、病理標本の正確かつ作業者の負担の少ない検体管理を実現できる。また、本構成の検体管理では、病理スライドにバーコードやＩＣタグを付与する必要がなく、従来のスライドをそのまま使用することが出来る。

（第四実施形態）
次に、図５８および図５９を参照して、本開示の第四実施形態における検体管理装置を説明する。

本実施形態における標本像取得装置１１１０は、標本支持部に置かれた標本１０３０を図５８に示すように移動させながら撮影することによって、高倍率の標本画像を生成するための複数の画像を撮影する。標本像取得装置１１１０以外の構成は、第三実施形態における検体管理装置の構成と同じである。

図５９は、本実施形態における標本像取得装置１１１０のブロック図である。本実施形態では、平行光の照射方向を変えることによって複数の画像を得る代わりに、標本自体を移動させながら撮影することによって、高倍率の画像を構成するための複数の画像を得る。行列格納部１２５０には、照明方向と撮像素子に入射する光の関係を表現する行列を格納する代わりに、移動方向、移動距離と撮像素子に入射する光の関係を表す行列を格納しておく。本構成の標本像取得装置１１１０は、ステップＳ１１０からステップＳ１１４とほぼ同様の処理によって、任意の倍率の画像を取得する機能を実現することができる。ただし、ステップＳ１１０では、平行光の照射角度を変更する代わりに、標本支持部に置かれた標本を移動する。本構成では、病理標本に照射する平行光の方向は一定でよい。ステップＳ１１１からステップＳ１１４は第三実施形態の処理と全く同じ処理を用いることによって、複数の低倍率画像から高倍率の画像を生成することができる。

本開示の画像取得装置によれば、焦点合わせに時間がかかる顕微鏡を用いることなく高倍率の画像が得られるため、被写体が微細な組織を有する病理標本であっても高倍率の画像データを短時間で得ることができる。

本開示の一態様による画像取得方法は、被写体を基準にして複数の異なる光源方向から、順次、照明光を出射し、前記照明光で前記被写体を照射する工程と、前記被写体を透過した前記照明光が入射する位置に配置された撮像装置により、前記異なる光源方向に応じて異なる複数の画像を取得する工程と、前記複数の画像を合成して、前記複数の画像の各々よりも分解能の高い前記被写体の高分解能画像を形成する工程とを含む。

また、本開示の画像取得装置は、上述した照明装置および撮像素子、ならびに汎用的なコンピュータを備え、このコンピュータが、照明装置により、被写体を基準にして複数の異なる光源方向から、順次、照明光を出射し、照明光で前記被写体を照射し、被写体を透過した前記照明光が入射する位置に配置された撮像装置により、前記異なる光源方向に応じて異なる複数の画像を取得し、前記複数の画像を合成して、前記複数の画像の各々よりも分解能の高い前記被写体の高分解能画像を形成するように構成されていても良い。このような動作は、記録媒体に記録されたコンピュータプログラムによって実行され得る。

本開示に係る撮像素子は、焦点調整の手間を省き、高倍率の画像を取得することが可能になる。

１画像取得装置
１０光源
１１撮像処理部
１２画像処理部
１３記憶装置
３０被写体
４０フォトダイオード
４２遮光膜
４４垂直電荷転送路
４６水平電荷転送路
５０画素
６０ａ〜６０ｄ低分解能画像
１１１照明
１１２被写体支持部
１１３撮像素子
１１４ディスプレイ
１１５出力部
１２１照明条件調整部
１２２画像情報取得部
１２３光源位置決定部
１２４画像構成処理部
１３１光源位置情報サーバ
１３２低分解能画像サーバ
３００ａ〜３００ｄ低分解能画像の画素
４００半導体基板
４０２配線層
４０６透明層
６００高分解能画像

Claims

被写体を基準にして複数の異なる照射方向から、順次、照明光を出射し、前記照明光で前記被写体を照射する照明システムと、
撮像素子を着脱可能に保持する保持装置と、
前記撮像素子によって取得される複数の画像を合成して、前記複数の画像の各々よりも分解能の高い前記被写体の高分解能画像を形成する画像処理部と、
を備える画像取得装置に用いられる前記撮像素子であって、
前記撮像素子は、
前記画像取得装置に対して着脱可能に構成されており、
前記撮像素子の撮像面に前記被写体を配置可能な領域である被写体支持部を備え、
前記保持装置によって前記画像取得装置に保持された状態において、前記被写体を透過した前記照明光が入射する位置に配置され、前記異なる照射方向に応じて異なる前記複数の画像を取得する、
撮像素子。
スライドガラス上に設けられ、
前記スライドガラスの一部を介して前記保持装置によって前記画像取得装置に対して着脱可能に保持される、
請求項１に記載の撮像素子。
前記被写体支持部上に撮像範囲を制限する遮光領域が配置される、
請求項１または２に記載の撮像素子。
被写体を基準にして複数の異なる照射方向から、順次、照明光を出射し、前記照明光で前記被写体を照射する照明システムと、
前記被写体を透過した前記照明光が入射する位置に配置される撮像素子によって前記異なる照射方向に応じて取得された異なる複数の画像を合成して、前記複数の画像の各々よりも分解能の高い前記被写体の高分解能画像を形成する画像処理部と、
を備える画像取得装置に用いられる前記撮像素子であって、
前記撮像素子は、
前記画像取得装置に対して着脱可能に構成されており、
前記画像取得装置に装着された状態において前記照明システムからの前記照明光が入射する側の面に、前記被写体を配置可能な被写体支持部を備える、
撮像素子。