JP2017045430A - 画像処理装置、画像処理システム、画像処理方法及びプログラム - Google Patents

Abstract

【課題】画像を用いた病理診断の時間を低減させ得る画像処理装置を提供する。【解決手段】画像処理装置１００は、標本を基準とする複数の照射方向のうち少なくとも１つの照射方向より光を照射して標本をコンタクトイメージセンシング方式で撮影して低解像度画像を生成する撮影装置１０７から低解像度画像を取得する画像取得部１０１と、画像拡大の入力操作に応じて出力のために高解像度画像を必要とするか否かを判定する判定部１０３と、複数枚の低解像度画像に基づいて高解像度画像を生成する画像生成部１０５と、低解像度画像又は高解像度画像に基づき表示用画像を出力する出力部１０６とを備え、高解像度画像が必要な場合に、画像取得部１０１は取得済みでない照射方向の光の照射で撮影された低解像度画像を撮影装置１０７から取得し、出力部１０６は、高解像度画像が生成された場合に、高解像度画像に基づき表示用画像を出力する。【選択図】図１

Description

本発明は、画像処理装置、画像処理システム、画像処理方法及びプログラムに関する。

イメージセンサの上に対象物を直接配置して撮影を行うコンタクトイメージング技術において、イメージセンサの分解能以上の画像を取得するためには、何らかの高解像度化技術が必要となる。例えば、特許文献１では、対象物に対して複数方向から照明を照射し、得られた画像の各画素を再配置することで高分解能を有する画像である高解像度画像を生成する方法が提案されている。

国際公開第２０１４／１９６２０３号

しかし、病理医が検体の画像をディスプレイで確認して病理診断を行う際、上記技術を用いると画像が表示されるまでの時間が増大し、病理診断に要する時間が増大し得る。上記技術による高解像度画像の生成は、複数方向からの照明の照射による撮影を要し、画像データ量を増大させるため、撮影、データ転送、高解像度化の画像処理等において比較的多くの時間を必要とするからである。

そこで本発明は、検体の画像を用いた病理診断に要する時間を低減させ得る画像処理装置を提供する。

本発明の一態様に係る画像処理装置は、撮影装置による撮影結果として生成された１枚の第１解像度画像を前記撮影装置から取得する画像取得部と、ここで、前記撮影装置は、標本を基準とする複数の異なる照射方向のうち少なくとも１つの照射方向より光を照射して前記標本をコンタクトイメージセンシング方式で撮影することで前記第１解像度画像を生成し、前記画像取得部により取得された１枚の第１解像度画像に基づき表示用画像を出力する出力部と、前記表示用画像の拡大に係る入力操作を受け付ける受付部と、前記入力操作に応じて、前記表示用画像の出力のために、前記第１解像度画像よりも解像度の高い第２解像度画像を必要とするか否かを判定する判定部と、前記画像取得部により、複数の異なる照射方向からの光の照射により撮影された複数枚の第１解像度画像が既に取得されている場合に、当該複数枚の第１解像度画像に基づいて第２解像度画像を生成する画像生成部とを備え、前記画像取得部は、前記判定部により第２解像度画像が必要と判定された場合に、既に取得している前記第１解像度画像とは異なる照射方向からの光の照射による撮影結果を含む１枚又は複数枚の第１解像度画像を前記撮影装置から取得し、前記出力部は、前記画像生成部により前記第２解像度画像が生成された場合に、当該第２解像度画像に基づき表示用画像を出力する。

また、本発明の一態様に係る画像処理システムは、撮影装置と画像処理装置とを備える画像処理システムであって、前記撮影装置は、標本を基準とする複数の異なる照射方向のうち少なくとも１つの照射方向より光を照射して前記標本をコンタクトイメージセンシング方式で撮影することで第１解像度画像を生成し、前記画像処理装置は、前記撮影装置による撮影結果として生成された１枚の第１解像度画像を前記撮影装置から取得する画像取得部と、前記画像取得部により取得された１枚の第１解像度画像に基づき表示用画像を出力する出力部と、前記表示用画像の拡大に係る入力操作を受け付ける受付部と、前記入力操作に応じて、前記表示用画像の出力のために、前記第１解像度画像よりも解像度の高い第２解像度画像を必要とするか否かを判定する判定部と、前記画像取得部により、複数の異なる照射方向からの光の照射により撮影された複数枚の第１解像度画像が既に取得されている場合に、当該複数枚の第１解像度画像に基づいて第２解像度画像を生成する画像生成部とを備え、前記画像取得部は、前記判定部により第２解像度画像が必要と判定された場合に、既に取得している前記第１解像度画像とは異なる照射方向からの光の照射による撮影結果を含む１枚又は複数枚の第１解像度画像を前記撮影装置から取得し、前記出力部は、前記画像生成部により前記第２解像度画像が生成された場合に、当該第２解像度画像に基づき表示用画像を出力する。

また、本発明の一態様に係る画像処理方法は、標本を基準とする複数の異なる照射方向のうち少なくとも１つの照射方向より光を照射して前記標本をコンタクトイメージセンシング方式で撮影することで第１解像度画像を生成する撮影装置から１枚の第１解像度画像を取得し、取得した１枚の前記第１解像度画像に基づく表示用画像を表示し、前記表示用画像の拡大に係る入力操作を受け付け、前記入力操作に応じて、前記表示用画像の表示のために、前記第１解像度画像よりも解像度の高い第２解像度画像を必要とするか否かを判定し、第２解像度画像が必要と判定した場合に、既に取得した前記第１解像度画像とは異なる照射方向からの光の照射による撮影結果を含む１枚又は複数枚の第１解像度画像を前記撮影装置から取得し、複数の異なる照射方向からの光の照射により撮影された複数枚の第１解像度画像が既に取得された場合に、当該複数枚の第１解像度画像に基づいて第２解像度画像を生成し、生成した前記第２解像度画像に基づく表示用画像を表示する。

また、本発明の一態様に係るプログラムは、コンピュータに所定画像処理を実行させるためのプログラムであって、前記所定画像処理は、標本を基準とする複数の異なる照射方向のうち少なくとも１つの照射方向より光を照射して前記標本をコンタクトイメージセンシング方式で撮影することで第１解像度画像を生成する撮影装置から１枚の第１解像度画像を取得し、取得した１枚の前記第１解像度画像に基づく表示用画像を表示し、前記表示用画像の拡大に係る入力操作を受け付け、前記入力操作に応じて、前記表示用画像の表示のために、前記第１解像度画像よりも解像度の高い第２解像度画像を必要とするか否かを判定し、第２解像度画像が必要と判定した場合に、既に取得した前記第１解像度画像とは異なる照射方向からの光の照射による撮影結果を含む１枚又は複数枚の第１解像度画像を前記撮影装置から取得し、複数の異なる照射方向からの光の照射により撮影された複数枚の第１解像度画像が既に取得された場合に、当該複数枚の第１解像度画像に基づいて第２解像度画像を生成し、生成した前記第２解像度画像に基づく表示用画像を表示する、処理を含む。

本発明によると、高解像度画像が必要な場合のみ、高解像度画像を生成するため、検体の画像を用いた病理診断に要する時間を低減させ得る。

画像処理システムの構成を示すブロック図である。 従来のプレパラート作成方法を示す図である。 ＣＩＳ方式によるプレパラート作成方法を示す図である。 プレパラートの側面構造を説明する図である。 ＣＩＳ方式プレパラートの側面構造を説明する図である。 イメージセンサ（即ち撮像素子）にパッケージを接続した形態の側面図である。 実施の形態１に係る画像処理システムの動作例を示すフローチャートである。 分解能と撮影位置との関係を表す撮影指示表の一例を示す図である。 低解像度画像の一例を示す図である。 図９の低解像度画像を約３倍に拡大した画像を示す図である。 高解像度画像の一例を示す図である。 撮影の被写体である染色切片の一部を模式的に示す図である。 図１１Ａの領域の撮像に関わるイメージセンサのフォトダイオードを模式的に示す平面図である。 ある方向から染色切片を透過して照射光（即ち照明光）をフォトダイオードに入射させた状態を模式的に示す断面図（其の一）である。 ある方向から染色切片を透過して照射光をフォトダイオードに入射させた状態を模式的に示す断面図（其の二）である。 図１２Ａ及び図１２Ｂに示す照射方向の照射光による撮影で得られるサブ画像としての６個の画素を模式的に示す図である。 別の照射方向から光線をフォトダイオードに入射させた状態を模式的に示す断面図（其の一）である。 別の照射方向から光線をフォトダイオードに入射させた状態を模式的に示す断面図（其の二）である。 図１３Ａ及び図１３Ｂに示す照射方向の照射光による撮影で得られるサブ画像としての６個の画素を模式的に示す図である。 また別の照射方向から光線をフォトダイオードに入射させた状態を模式的に示す断面図（其の一）である。 また別の照射方向から光線をフォトダイオードに入射させた状態を模式的に示す断面図（其の二）である。 図１４Ａ及び図１４Ｂに示す照射方向の照射光による撮影で得られるサブ画像としての６個の画素を模式的に示す図である。 更にまた別の照射方向から光線をフォトダイオードに入射させた状態を模式的に示す断面図である。 図１５Ａに示す照射方向の照射光による撮影で得られるサブ画像としての６個の画素を模式的に示す図である。 ４枚のサブ画像から合成される中間画像を示す図である。 ９枚の低解像度画像から得られる中間画像を示す図である。 実施の形態２に係る画像処理システムの動作例を示すフローチャート図である。 ３種類以上の分解能と撮影位置との関係を表す撮影指示表の一例を示す図である。 ３種類以上の分解能の画像を切り替えるための閾値の設定例を示す図である。 中間画像を表示に利用する場合における画像を切り替えるための閾値の設定例を示す図である。 低解像度画像の例を示す図である。 分解能０．５ｕｍの高解像度画像の例を示す図である。 中間画像の例を示す図である。 分解能０．３ｕｍの高解像度画像の例を示す図である。 画像処理装置のハードウェア構成図である。 画像処理装置をデータサーバ及び複数台のコンピュータを用いて実現する場合の構成例を示す図である。

（本発明の基礎となった知見）
医療における診断業務は病名と病状の把握が目的であり、病名又は病状に応じて治療方針が決定される。病名又は病状を確定するためには、病変部から検体を摘出して細胞レベルで状態観察を行う病理診断が行われる。病理診断では、摘出した検体を顕微鏡で観察できる厚みにスライスすることにより標本が作製される。近年では、標本はイメージセンサで撮影されることで、撮影結果としてデジタル画像が生成され、その標本に係る画像は例えばディスプレイに表示され、病理医に観察される。

通常、病理医は得られた画像中の全てを詳細に観察する訳ではない。例えば生検では、対物レンズ約１０倍程度の俯瞰的な観察のみで診断を確定する検体が約９割にも上る。そのため、全ての検体に対して、例えば対物レンズ約４０倍の画像を撮影により生成することは、無駄に観察までの時間を増大させることになる。

上述した特許文献１では、対象物に対して複数方向から照明を照射し、得られた画像の各画素を再配置することで高解像度画像を生成する方法を提案している。この際、画像の分解能をｎ倍に向上させるにはｎ×ｎ枚の画像が必要となる。例えば、分解能を３倍向上させるためには９枚の画像が必要となる。従って、分解能が３倍の高解像度画像を生成するために、画像１枚の撮影時間の約９倍の撮影時間を要する。また、画像を撮影する撮影装置から高解像度化する画像処理装置へ送られるべき画像のデータ量は、画像１枚のデータ量の９倍になる。１枚２００ＭＢ（メガバイト）の画像であれば、高解像度化のために１．８ＧＢ（ギガバイト）の画像データを転送する必要がある。一日５０症例診断する病理医の場合においては、２００ＭＢ×（５０×０．９）＋１．８ＧＢ×（５０×０．１）＝１８ＧＢのデータ転送量或いはメモリ使用量で十分であるのに、１．８ＧＢ×５０＝９０ＧＢのデータを転送しその分のメモリを使用することとなり、９０ＧＢ−１８ＧＢ＝７２ＧＢが不要なデータとなる。このような検体の標本から画像を生成するための撮影に要する時間、或いは、画像データの転送時間に鑑みれば、病理医が効率的に画像を観察して病理診断を行うために、高解像度画像での診断が不要な症例は、高解像度化の処理を行わないことが望ましい。

そこで、本発明の一態様に係る画像処理装置は、撮影装置による撮影結果として生成された１枚の第１解像度画像を前記撮影装置から取得する画像取得部と、ここで、前記撮影装置は、標本を基準とする複数の異なる照射方向のうち少なくとも１つの照射方向より光を照射して前記標本をコンタクトイメージセンシング方式で撮影することで前記第１解像度画像を生成し、前記画像取得部により取得された１枚の第１解像度画像に基づき表示用画像を出力する出力部と、前記表示用画像の拡大に係る入力操作を受け付ける受付部と、前記入力操作に応じて、前記表示用画像の出力のために、前記第１解像度画像よりも解像度の高い第２解像度画像を必要とするか否かを判定する判定部と、前記画像取得部により、複数の異なる照射方向からの光の照射により撮影された複数枚の第１解像度画像が既に取得されている場合に、当該複数枚の第１解像度画像に基づいて第２解像度画像を生成する画像生成部とを備え、前記画像取得部は、前記判定部により第２解像度画像が必要と判定された場合に、既に取得している前記第１解像度画像とは異なる照射方向からの光の照射による撮影結果を含む１枚又は複数枚の第１解像度画像を前記撮影装置から取得し、前記出力部は、前記画像生成部により前記第２解像度画像が生成された場合に、当該第２解像度画像に基づき表示用画像を出力する。なお、第１解像度画像は、標本を基準とする複数の異なる照射方向のうち少なくとも１つの照射方向より光を照射してその標本をコンタクトイメージセンシング（ＣＩＳ：Contact Image Sensing）方式で撮影することにより生成される１枚の画像（即ち低解像度画像）である。また、第２解像度画像は、例えば、複数枚の低解像度画像から得られた中間画像に対してデコンボリューション演算による超解像処理を行った結果として得られる高解像度画像である。この構成によると、高解像度画像が必要な場合のみ、高解像度画像を生成することができる。これにより、不要な撮影時間、低解像度画像の伝送時間、高解像度画像の生成時間等が省かれ、病理医による検体の画像を用いた病理診断に要する時間が低減され得る。

また、例えば、前記画像処理装置は、更に、前記判定部により第２解像度画像が必要と判定された場合において、前記画像取得部により既に取得された第１解像度画像の撮影に用いられた、前記標本を基準とする光の照射方向とは異なる１又は複数の照射方向からの光の前記標本への照射により撮影することで、１枚又は複数枚の第１解像度画像を生成して送信すべき旨の指示を、前記撮影装置に送信する撮影指示部を備え、前記画像取得部は、前記撮影指示部が前記指示を送信した場合において、既に取得している前記第１解像度画像とは異なる１枚又は複数枚の第１解像度画像を前記撮影装置から取得することとしてもよい。これにより、高解像度画像が必要な場合に撮影装置１０７に撮影（つまり低解像度画像の生成）のための指示がなされるので、撮影装置１０７は、指示を受けた場合にのみ撮影を行うことで不要な撮影を抑制できる。

また、前記判定部は、前記入力操作に応じて、前記表示用画像の拡大に係る拡大率を特定し、特定した当該拡大率が所定閾値より大きい場合に第２解像度画像を必要とすると判定し、当該拡大率が所定閾値より小さい場合に第２解像度画像を必要としないと判定することとしてもよい。これにより、病理診断において画像を拡大するときの拡大率が比較的大きい場合に限って高解像度画像を生成するため、表示用画像の出力までの時間を抑制し得る。

また、前記撮影指示部は、前記判定部により第２解像度画像が必要と判定された場合において、前記拡大率に応じて特定した枚数の第１解像度画像を生成して送信すべき旨の指示を、前記撮影装置に送信することとしてもよい。これにより、拡大率に応じて、それぞれ異なる分解能の高解像度画像を選択的に生成し得るようになる。

また、前記画像生成部は、前記複数枚の第１解像度画像に基づいて前記第２解像度画像を生成する場合に、当該複数枚の第１解像度画像に基づいて当該第１解像度画像より画素数が多い中間画像を生成し、当該中間画像に対してデコンボリューション演算を用いた画像処理を施すことにより前記第２解像度画像を生成し、前記出力部は、前記画像生成部により前記デコンボリューション演算を用いて前記第２解像度画像が生成された場合に、当該第２解像度画像を前記表示用画像として出力することとしてもよい。これにより、病理医は、拡大率を大きくすることで標本（病理標本）の染色切片等の精細な形状を明瞭に観察できるようになる。

また、前記出力部は、前記画像生成部により前記中間画像が生成された場合に、一定条件下で当該中間画像を前記表示用画像として出力することとしてもよい。これにより、高解像度画像の生成の過程で生成する中間画像を表示用画像の形成に有効活用し得る。

また、前記画像取得部は、前記第１解像度画像の前記取得を、前記複数の異なる照射方向のうち当該第１解像度画像に係る撮影において用いられた光の照射方向を識別する照射方向識別情報と当該第１解像度画像とを前記撮影装置から受信することにより行い、前記撮影指示部は、前記画像取得部が既に受信した前記照射方向識別情報に基づいて、新たな撮影に用いられるべき光の照射方向を特定するための情報を生成し、当該情報を含めた前記指示を前記撮影装置に送信することとしてもよい。これにより、画像処理装置が撮影装置から既に取得した低解像度画像と同じ低解像度画像を重複して取得することを防止し得る。

また、前記出力部による前記表示用画像の前記出力は、外部の表示装置への当該表示用画像の送信であることとしてもよい。これにより、画像処理装置は表示装置を有さなくても、外部の表示装置に表示用画像を表示させることで、病理医に標本の画像を観察させ得る。

また、本発明の一態様に係る画像処理システムは、撮影装置と画像処理装置とを備える画像処理システムであって、前記撮影装置は、標本を基準とする複数の異なる照射方向のうち少なくとも１つの照射方向より光を照射して前記標本をコンタクトイメージセンシング方式で撮影することで第１解像度画像を生成し、前記画像処理装置は、前記撮影装置による撮影結果として生成された１枚の第１解像度画像を前記撮影装置から取得する画像取得部と、前記画像取得部により取得された１枚の第１解像度画像に基づき表示用画像を出力する出力部と、前記表示用画像の拡大に係る入力操作を受け付ける受付部と、前記入力操作に応じて、前記表示用画像の出力のために、前記第１解像度画像よりも解像度の高い第２解像度画像を必要とするか否かを判定する判定部と、前記画像取得部により、複数の異なる照射方向からの光の照射により撮影された複数枚の第１解像度画像が既に取得されている場合に、当該複数枚の第１解像度画像に基づいて第２解像度画像を生成する画像生成部とを備え、前記画像取得部は、前記判定部により第２解像度画像が必要と判定された場合に、既に取得している前記第１解像度画像とは異なる照射方向からの光の照射による撮影結果を含む１枚又は複数枚の第１解像度画像を前記撮影装置から取得し、前記出力部は、前記画像生成部により前記第２解像度画像が生成された場合に、当該第２解像度画像に基づき表示用画像を出力する。この構成によると、高解像度画像が必要な場合のみ、高解像度画像を生成することができる。高解像度画像が必要でない場合には、撮影装置から画像処理装置へと１枚の低解像度画像が伝送されて表示用画像の形成に用いられる。このため、複数枚の低解像度画像の伝送時間、高解像度画像の生成時間等が省かれ、病理医による画像を用いた病理診断に要する時間が低減され得る。

また、例えば、前記画像処理システムは、更に表示装置を備え、前記出力部は、前記表示用画像の前記出力を、当該表示用画像を前記表示装置に送信することで行い、前記表示装置は、前記表示用画像を受信して表示することとしてもよい。これにより、画像処理システムにおいて表示装置に表示用画像を表示させることで、病理医に標本の画像を観察させ得る。

また、本発明の一態様に係る画像処理方法は、標本を基準とする複数の異なる照射方向のうち少なくとも１つの照射方向より光を照射して前記標本をコンタクトイメージセンシング方式で撮影することで第１解像度画像を生成する撮影装置から１枚の第１解像度画像を取得し、取得した１枚の前記第１解像度画像に基づく表示用画像を表示し、前記表示用画像の拡大に係る入力操作を受け付け、前記入力操作に応じて、前記表示用画像の表示のために、前記第１解像度画像よりも解像度の高い第２解像度画像を必要とするか否かを判定し、第２解像度画像が必要と判定した場合に、既に取得した前記第１解像度画像とは異なる照射方向からの光の照射による撮影結果を含む１枚又は複数枚の第１解像度画像を前記撮影装置から取得し、複数の異なる照射方向からの光の照射により撮影された複数枚の第１解像度画像が既に取得された場合に、当該複数枚の第１解像度画像に基づいて第２解像度画像を生成し、生成した前記第２解像度画像に基づく表示用画像を表示する。これにより、高解像度画像が必要な場合のみ、高解像度画像を生成して高解像度画像に基づく表示用画像を表示することができ、高解像度画像が必要でない場合においては１枚の低解像度画像に基づく表示用画像を表示することができる。このため、不要な低解像度画像の撮影時間、低解像度画像の伝送時間、高解像度画像の生成時間等が省かれ、病理医による画像を用いた病理診断に要する時間が低減され得る。

また、本発明の一態様に係るプログラムは、コンピュータに所定画像処理を実行させるためのプログラムであって、前記所定画像処理は、標本を基準とする複数の異なる照射方向のうち少なくとも１つの照射方向より光を照射して前記標本をコンタクトイメージセンシング方式で撮影することで第１解像度画像を生成する撮影装置から１枚の第１解像度画像を取得し、取得した１枚の前記第１解像度画像に基づく表示用画像を表示し、前記表示用画像の拡大に係る入力操作を受け付け、前記入力操作に応じて、前記表示用画像の表示のために、前記第１解像度画像よりも解像度の高い第２解像度画像を必要とするか否かを判定し、第２解像度画像が必要と判定した場合に、既に取得した前記第１解像度画像とは異なる照射方向からの光の照射による撮影結果を含む１枚又は複数枚の第１解像度画像を前記撮影装置から取得し、複数の異なる照射方向からの光の照射により撮影された複数枚の第１解像度画像が既に取得された場合に、当該複数枚の第１解像度画像に基づいて第２解像度画像を生成し、生成した前記第２解像度画像に基づく表示用画像を表示する、処理を含む。このプログラムをコンピュータにインストールすれば、コンピュータが撮影装置と通信する画像処理装置として機能し、この画像処理装置により結果的に表示される表示用画像を観察して病理診断する場合に必要な時間が低減され得る。

なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータで読み取り可能なＣＤ−ＲＯＭ等の記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム又は記録媒体の任意な組み合わせで実現されてもよい。

以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、以下で説明する実施の形態は、いずれも本発明の包括的又は具体的な一例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序等は、一例であって本発明を限定するものではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意に付加可能な構成要素である。また、各図は、模式図であり、必ずしも厳密に図示されたものではない。

（実施の形態１）
本実施の形態では、標本（即ち病理検体について病理診断を目的に作製された病理標本）をＣＩＳ方式により撮影することで生成される画像を複数枚利用して高解像度画像を生成する必要があるか否かを判定し、必要な場合のみ高解像度画像を生成する画像処理方法を実行する画像処理システムについて説明する。標本の撮影は、標本を基準とする複数の異なる照射方向のいずれか１つから選択的に光を照射して行われる。

以下、標本を基準とする複数の異なる照射方向のうちいずれか１つから選択的に光を照射して標本をＣＩＳ方式で撮影することにより生成される１枚の画像を「低解像度画像」と呼び、複数枚の低解像度画像から得られた画像を「中間画像」、中間画像に対してデコンボリューション演算による超解像処理を行った画像を「高解像度画像」と呼ぶ。また、標本を基準とする複数の異なる照射方向それぞれからの光の照射を、複数の異なる光照射パターンでの光の照射とも表現する。また、「拡大率」を、画像をディスプレイに表示する際の倍率として定義する。本明細書では、低解像度画像を構成する各画素を、ディスプレイの各画素に対応させて表示するとき（即ち、いわゆるドット・バイ・ドットで表示するとき）の倍率を１００％とする。拡大率は画像を表示する大きさを調整するためのパラメータである。なお、画像の縦方向（即ち垂直方向）及び横方向（即ち水平方向）それぞれについて拡大率を定め得る。また、複数の相異なる光照射パターンは、撮影に用いる光源の標本或いは撮像素子からの相対位置が複数の相異なる位置となるその各位置を区別するものであり、つまり撮像素子への光の入射方向を区別するものである。従って、光照射パターンが異なれば標本或いは撮像素子への光の入射方向が異なる。

＜画像処理システム１０の構成＞
図１は、実施の形態１に係る画像処理システム１０の構成を示すブロック図である。

画像処理システム１０は、検体（即ち病理検体）の組織の一部等をスライドガラスに載置してなる標本をＣＩＳ方式で撮影して画像を生成し、病理医が病理診断に用いることができるように表示するためのシステムである。画像処理システム１０は、図１に示すように、画像処理装置１００、撮影装置１０７及びディスプレイ２０を含んで構成される。

撮影装置１０７は、検体の標本を撮影して低解像度画像を生成して画像処理装置１００に低解像度画像を送信する装置である。撮影装置１０７と有線又は無線により通信可能な画像処理装置１００は、撮影装置１０７が生成した低解像度画像に基づいて、病理医が視認することになる表示用画像を形成して、ディスプレイ２０に表示させるべくその表示用画像を出力（即ちディスプレイ２０に送信）する装置である。画像処理装置１００は、１枚の低解像度画像から表示用画像を形成する機能と、複数枚の低解像度画像から中間画像又は高解像度画像を生成した上でその中間画像又は高解像度画像に基づいて表示用画像を形成する機能とを有する。ディスプレイ２０は、画像処理装置１００から表示用画像を受信して表示する表示装置である。

以下、撮影装置１０７及び画像処理装置１００それぞれについて詳しく説明する。

＜撮影装置１０７＞
撮影装置１０７は、図１に示すように照明部１０８、設置部１０９、照明位置調整部１１０、設置位置調整部１１１及び撮影部１１２を有する。撮影装置１０７は、複数の相異なる光照射パターンのいずれか１つで選択的に光を照射して（即ち標本を基準とする複数の異なる照射方向のいずれかから光を照射して）、標本をＣＩＳ方式で撮影することで低解像度画像を生成する。ＣＩＳ方式では、照明部１０８の光源から、ＣＣＤ（Charge Coupled Device）等のイメージセンサまでの照射光の光路上に合焦のための光学系（例えばレンズ等）を有さない構成で標本を撮影する。ここで、合焦のための光学系には、例えば点光源からの照射光を平行光に変えるコリメートレンズは含まれない。

照明部１０８は、少なくとも光源を備え、複数の光照射パターンのいずれか１つで選択的に光を標本（即ち検体についての標本）に照射する（つまり複数の光源位置のいずれかから照射光を標本に照射する）。１つの光源のみを設け、撮影の都度、その位置を変更して照射光で標本を照射してもよいし、位置が異なる複数の光源を設け、撮影の都度、異なる光源からの照射光で標本を照射してもよい。なお、各光照射パターンにおける光源の位置（即ちイメージセンサに対する相対位置）は、予め定められている。

設置部１０９は、標本を設置し固定するための台座である。設置部１０９は、ＣＩＳ方式で、標本を撮像素子の面に直接載せる。

照明位置調整部１１０は光源の位置を指定し、設置位置調整部１１１は台座の位置を指定する。

撮影部１１２は、照明位置調整部１１０と設置位置調整部１１１にて指定された配置に従って照射光を照射して標本の撮影を実施する。撮影装置１０７では、照明位置調整部１１０及び設置位置調整部１１１が光源と台座との位置を調整することで、照明部１０８が標本に対して真上方向及び斜め方向等の各方向から照射光をそれぞれ照射する。各光照射パターンは、この各方向からの照射光の照射である。なお、各方向からの照射光の照射においてコリメートレンズを用いて照射光を平行光にしてもよいし、光源を標本からある程度離して照射光を実質的な平行光としてもよい。撮影部１１２は、光照射パターン毎に、設置部１０９に設置された標本を撮影し、イメージセンサによって得られた入射光の強さに対応する電気信号をデジタル信号に変換して、１枚のデジタル画像（即ち低解像度画像）を生成する。ＣＩＳ方式により、合焦のためのレンズ等による像の拡大を利用しないので、撮像素子の画素サイズが拡大率、つまり画像分解能を決定する。このため、画像サイズが小さいほど分解能が向上し、ミクロ構造を詳細に撮影することができる。

図２及び図３は、ＣＩＳを用いない方式（従来方式と称する）及びＣＩＳ方式をそれぞれ示す。

図２に示す従来方式では、薄切された病理検体の一部である病理切片２０２をスライドガラス２０３に載せ、スライドガラス２０３ごと染色液２０４に漬けて染色する。病理切片２０２に染色液が付着し、染色切片２０５が得られる。切片の保護と固定のために、封入剤２０６を載せ、カバーガラス２０７を取り付けることで、病理標本であるプレパラート２０１が完成する。

一方、図３に示すＣＩＳ方式では、病理切片２０２をスライドガラス２０３に載せ、スライドガラス２０３ごと染色液２０４に漬けて染色してなる染色切片２０５の保護と固定のために、封入剤２０６を載せ、カバーガラス２０７の代わりにイメージセンサ３０２を取り付けることで、病理標本と撮像素子とを含むプレパラート３０１が完成する。

図４は、プレパラート２０１の側面構造を説明する図である。スライドガラス２０３の上に染色切片２０５が設けられ、更にその上にカバーガラス２０７が設けられ、封入剤２０６によってそれらが固定される。プレパラート２０１を光学顕微鏡にセットして観察する場合、光源４０１をプレパラート２０１の下部に設置して光源４０１が照射光４０２を出射する。照射光４０２がスライドガラス２０３、染色切片２０５、封入剤２０６、カバーガラス２０７を透過して、顕微鏡の対物レンズ４０３へ入射する。

一方、図５は、ＣＩＳ方式のプレパラート３０１の側面構造を説明する図である。ＣＩＳ方式のプレパラート３０１は、カバーガラス２０７の代わりに、イメージセンサ３０２を有する。そのため、図５に示すように、光源４０１から発される照射光４０２は、スライドガラス２０３、染色切片２０５、封入剤２０６を通って、イメージセンサ３０２に到達する。イメージセンサ３０２は染色切片２０５の濃度に応じた信号を出力し、染色切片２０５の像が撮影される。

図６は、イメージセンサ３０２から標本に係る検体の染色切片２０５の像を示す信号を電気的に受け取るために、イメージセンサ３０２に、半導体集積回路のパッケージ６０１を接続した際の側面図である。イメージセンサ３０２とパッケージ６０１とは直接接続され、シリコン貫通電極（ＴＳＶ：Through Silicon Via）構成を用いて電気的に接続される。そしてパッケージ６０１において標本の撮影結果としての画像が得られる。撮影部１１２では、このイメージセンサ３０２及びパッケージ６０１により、スライドガラス２０３に病理検体の一部を載置してなる標本の撮影結果としての低解像度画像が、生成されることになる。

＜画像処理装置１００＞
画像処理装置１００は、図１に示すように画像取得部１０１、受付部１０２、判定部１０３、撮影指示部１０４、画像生成部１０５及び出力部１０６を有する。

画像取得部１０１は、撮影装置１０７による撮影結果として撮影部１１２により生成されたデジタル画像（即ち低解像度画像）を、撮影装置１０７から受信することで取得する。画像取得部１０１は、低解像度画像の取得に際して、撮影装置１０７で複数の相異なる光照射パターンのうちその低解像度画像の撮影において用いられた光照射パターンを識別する光照射パターン識別情報（例えば光照射パターンＡ、光照射パターンＢ等の識別情報）をその低解像度画像と一緒に撮影装置１０７から受信する。この光照射パターン識別情報は、標本を基準とする光の照射方向それぞれを識別する情報であり、言わば照射方向識別情報である。

受付部１０２は、表示用画像の拡大のための入力操作を受け付ける。例えばこの入力操作は、ディスプレイ２０に表示された表示用画像を視認した病理医によりなされる。入力操作は、拡大率を特定するための操作等であり、例えば拡大率を示す拡大率情報の入力、拡大前後の表示領域のサイズを示す操作等である。拡大率情報は、拡大率に予め関連付けられたレベル値等であってもよい。入力操作は、キーボード、タッチパネル、ポインティングデバイス等での操作であり、音声入力等であってもよい。なお、入力操作の主体は、病理医以外の者（例えば研修医、検査技師等）であってもよい。

判定部１０３は、受付部１０２が受け付けた入力操作に応じて、画像処理装置１００が表示用画像を出力するために、低解像度画像よりも解像度の高い高解像度画像を必要とするか否かを判定する。例えば判定部１０３は、入力操作に応じて、表示用画像の拡大に係る拡大率を特定し、特定したその拡大率が予め定められた所定閾値（以下、「閾値ＴＨ」と称する。）以上である場合に高解像度画像を必要とすると判定する。また、その拡大率が閾値ＴＨより小さい場合に高解像度画像を必要としないと判定する。なお、拡大率が閾値ＴＨより大きい場合に高解像度画像を必要とすると判定し、拡大率が閾値ＴＨより小さい場合（或いは閾値ＴＨ以下の場合）に高解像度画像を必要としないと判定することとしてもよい。

撮影指示部１０４は、判定部１０３にて高解像度画像が必要と判定された場合において、高解像度画像を生成するために必要な、不足している低解像度画像の送信を撮影装置１０７へ要請する。即ち、撮影指示部１０４は、画像取得部１０１により既に取得された低解像度画像に対応する光照射パターンとは異なる１又は複数の光照射パターンの光の標本への照射により撮影することで、１枚又は複数枚の低解像度画像を生成して送信すべき旨の指示（即ち撮影指示）を、撮影装置１０７に送信する。この指示に応じて、撮影装置１０７は、撮影部１１２により撮影して画像を生成し画像処理装置１００へと送信する。例えば、撮影指示部１０４は、画像取得部１０１が既に受信した光照射パターン識別情報に基づいて、新たな撮影に用いられるべき光照射パターンを特定するための情報を生成し、その情報を含めた指示を撮影装置１０７に送信する。新たな撮影に用いられるべき光照射パターンを特定するための情報の例としては、既に受信している光照射パターン（例えば光照射パターンＡ）を不要なものとして示す情報、或いは、既に受信している光照射パターン（例えば光照射パターンＡ）を除く別の光照射パターン（例えば必要枚数に応じて光照射パターンＢ〜Ｉ等）を示す情報が挙げられる。撮影指示部１０４が、指示を送信した場合において、撮影装置１０７から送信される低解像度画像を画像取得部１０１が取得する。

画像生成部１０５は、画像取得部１０１により、複数の相異なる光照射パターンの光の照射により撮影された複数枚の低解像度画像が既に取得されている場合にその複数枚の低解像度画像に基づいて高解像度画像を生成する。

出力部１０６は、画像取得部１０１により取得された１枚の低解像度画像に基づいて、その低解像度画像の等倍の表示用画像或いは受付部１０２により入力操作が受け付けられていれば入力操作に応じて特定された拡大率で拡大する拡大処理の結果としての表示用画像を出力する。拡大処理では、拡大率に応じて例えば画像の画素値を補間する演算処理を行う。また、出力部１０６は、画像生成部１０５により高解像度画像が生成された場合においてその高解像度画像に基づき、その高解像度画像を入力操作に応じて特定された拡大率で拡大する拡大処理の結果としての表示用画像を出力する。出力部１０６による表示用画像の出力は、ディスプレイ２０への送信であり、表示用画像は、ディスプレイ２０に受信されて表示されることになる。なお、画像処理装置１００とディスプレイ２０との間に１又は複数の通信装置で構成される有線又は無線の通信ネットワークが介在してもよい。

＜画像処理システム１０の動作（即ち画像処理方法）＞
以下、上述した構成を備える画像処理システム１０の動作例について、図７のフローチャートを用いて説明する。

まず、画像処理装置１００は、拡大率１００％で表示用画像を出力すべく撮影装置１０７に１枚の低解像度画像を撮影させ（ステップＳ１０１）、その撮影結果としての１枚の低解像度画像を、撮影装置１０７から受信して画像取得部１０１により取得する。ステップＳ１０１では、撮影指示部１０４が、例えば図８に示す撮影指示表１６０１を参照して、例えば拡大率１００％に対応して分解能が１．０ｕｍ（μｍ）である画像を取得するためには、黒丸１６０２が示す撮影位置に対応して定められている光照射パターンＡを指定した指示により、撮影装置１０７の撮影部１１２にその光照射パターンＡで識別される相対位置から光を照射して標本を撮影させる。なお、指示に依らずに撮影装置１０７では最初に光照射パターンＡで撮影することとしてもよい。撮影指示表１６０１において複数の光源位置を模式的に示す丸のうち黒丸１６０２が撮影に用いられるべき位置を示し、黒丸１６０２で特定される光照射パターンＡは、例えば、光源を撮像素子の真上に位置付けて撮影することを表す。なお、撮影装置１０７は最初に光照射パターンＡで撮影することとしている場合には、撮影指示部１０４による指示を省略し得る。撮影指示表１６０１では、分解能１．０ｕｍの約１／３の値となる分解能０．３ｕｍの画像を取得するには、光源位置は真上を含む９箇所に順次設定する必要があることを示している。この分解能が０．３ｕｍの画像を取得する場合には、光照射パターンＡに加えて更に８つの光照射パターンＢ〜Ｉそれぞれによる撮影が必要となる。なお、図８の撮影位置は相対的な位置関係が相違することを模式的に表しており、図示した位置は必ずしも正確ではない。撮影装置１０７において光源のみではなく、台座部分を動かして撮影位置を決定してもよい。ステップＳ１０１では、撮影装置１０７の照明位置調整部１１０及び設置位置調整部１１１が光源を台座の所定位置（例えば中央）に設置し、撮影部１１２が、１枚の低解像度画像を撮影により生成して、画像処理装置１００の画像取得部１０１へと送出する。

画像処理装置１００は、撮影装置１０７から取得した低解像度画像に基づいて出力部１０６により表示用画像を形成し、表示用画像をディスプレイ２０に送信することで、ディスプレイ２０に表示用画像としての低解像度画像を表示する（ステップＳ１０２）。これにより、病理医は、拡大率１００％の低解像度画像により、病理検体を俯瞰的に観察できる。

次に、画像処理装置１００は、受付部１０２より病理医等による、拡大率を特定し得る拡大率情報等の入力操作を受け付ける（ステップＳ１０３）。この入力操作により次に表示すべき表示用画像の拡大率が特定（即ち取得）される。

次に、画像処理装置１００の判定部１０３は、ステップＳ１０３において取得された入力操作で特定される拡大率が閾値ＴＨより小さいか否かを判定する（ステップＳ１０４）。これにより画像処理装置１００が表示用画像を出力するために、低解像度画像よりも解像度の高い高解像度画像を必要とするか否かが判定されることになる。ステップＳ１０４において拡大率が閾値ＴＨ未満であれば（ＹＥＳ）、ステップＳ１０５へと遷移し、閾値ＴＨ以上（ＮＯ）であればステップＳ１０６へと遷移する。なお、閾値ＴＨは、表示用画像を形成するために高解像度画像を必要とするか否かを判定するための値である。この閾値ＴＨは、１枚の低解像度画像を何倍程度の拡大まで表示に利用し得るかを表す。閾値ＴＨは、撮影指示表１６０１における分解能と対応して設定され得る。図８に例示する撮影指示表１６０１においては、低解像度画像及び高解像度画像の各分解能が記載されている。図８の例では、高解像度画像の分解能（０．３ｕｍ）は低解像度画像の分解能（１．０ｕｍ）の約１／３となるため、閾値ＴＨは例えば３００％に設定され得る。図９は、低解像度画像の例を示す図である。また、図１０Ａは、図９に示した画像を約３倍に拡大した画像１６０３を示す。

画像処理装置１００は、拡大率が閾値ＴＨ未満の場合にステップＳ１０５で、受付部１０２で取得された病理医等が所望する拡大率に基づいて、出力部１０６で１枚の低解像度画像の拡大処理を実施して表示用画像を形成して出力し、表示用画像をディスプレイ２０に表示させる（ステップＳ１１０）。なお、拡大処理では、線形補間、スプライン（ｓｐｌｉｎｅ）補間等の手法を利用することができ、この拡大処理を実施しても、分解能は向上しない。ディスプレイ２０に表示された画像は病理医に観察される。

一方、拡大率が閾値ＴＨ以上の場合にステップＳ１０６で、画像処理装置１００は、撮影指示部１０４で撮影指示表１６０１に基づいて撮影装置１０７へ指示を送る。即ち、撮影指示部１０４は、撮影指示表１６０１を参照して、例えば拡大率３００％以上に対応して分解能が０．３ｕｍである画像を取得するためには、図８で９箇所の黒丸が示す撮影位置を指定した指示により、撮影装置１０７の撮影部１１２にその各光照射パターンで識別される相対位置から光を照射して標本を撮影させる。なお、図８の９箇所の黒丸が示す撮影位置のうち、黒丸１６０２に対応する、光源を真上にした光照射パターンＡで撮影した画像は既に取得済みであるため、実際には残りの８箇所に対応して定められている光照射パターンＢ〜Ｉを指定した指示により、撮影指示部１０４は、撮影装置１０７に撮影を行わせる。これに応じて撮影装置１０７では、照明位置調整部１１０及び設置位置調整部１１１は指定された光照射パターンに相当する各位置へと照明部１０８及び設置部１０９を移動させる。そして、撮影装置１０７は、撮影部１１２で標本の撮影を行うことにより、合計８枚の低解像度画像を生成して、これらの低解像度画像を画像処理装置１００へと送出する（ステップＳ１０７）。これにより、画像処理装置１００の画像取得部１０１では既に取得済みの１枚の低解像度画像に加えて８枚の低解像度画像を取得することになる。即ち、画像取得部１０１は、判定部１０３により高解像度画像を必要とすると判定された場合に、既に取得している低解像度画像とは異なる光照射パターンの光の照射による撮影結果としての８枚の低解像度画像を撮影装置１０７から取得する。

次に、画像処理装置１００は、画像取得部１０１が新たに得た光照射パターンＢ〜Ｉに対応する８枚の低解像度画像と、事前に取得していた光照射パターンＡ（即ち光源を真上にするパターン）に対応する１枚の低解像度画像とを利用して、画像生成部１０５にて高解像度画像を生成する（ステップＳ１０８）。図１０Ｂは、図９に示した画像に対応した分解能０．３ｕｍの高解像度画像１６０４（即ち９枚の低解像度画像に基づいて生成された高解像度画像）の例を示す。図１０Ｂに示す画像１６０４からは、図９或いは図１０Ａに示す画像よりも詳細な形状等を視認することができる。ステップＳ１０８における高解像度画像の生成方法については後に詳しく説明する。

次に、ステップＳ１０９にて、病理医等が指定した拡大率に基づいて高解像度画像を出力部１０６が拡大処理し、ステップＳ１１０にてディスプレイ２０に表示する。拡大率によっては拡大処理を省略し得る。即ち、出力部１０６は、画像生成部１０５により高解像度画像が生成された場合に、その高解像度画像をそのまま或いは拡大処理して表示用画像として出力する。

次に、画像処理装置１００は、受付部１０２で取得された病理医等が所望する拡大率に基づいて、ステップＳ１０８で生成した高解像度画像に出力部１０６で拡大処理を実施する（ステップＳ１０９）。そして、出力部１０６は、拡大処理の結果として形成される表示用画像を出力し、表示用画像をディスプレイ２０に表示させる（ステップＳ１１０）。ディスプレイ２０に表示された画像は病理医に観察される。

ステップＳ１１０により病理診断のための画像表示は終了する。なお、ステップＳ１１０で表示された画像を観察した病理医により、再び拡大のための入力操作がなされた場合にこれをステップＳ１０３で受け付けるように、ステップＳ１０３〜Ｓ１１０の処理を繰り返し行うこととしてもよい。但し、画像処理装置１００の画像取得部１０１が取得済みの低解像度画像については再度の撮影及び取得をしないこととし得る。また、一旦画像生成部１０５で高解像度画像が生成された後においては、入力操作で特定される拡大率が閾値ＴＨ未満であっても、１枚の低解像度画像に基づき拡大処理をして形成した表示用画像を表示する代わりに高解像度画像に基づき拡大処理をして形成した表示用画像を表示することとしてもよい。

＜高解像度画像の生成方法＞
以下、画像生成部１０５における高解像度画像の生成方法について図１１Ａ〜図１７を用いて説明する。

画像生成部１０５が高解像度画像を生成するために用いる複数枚の低解像度画像は、撮影装置１０７において、複数の相異なる光照射パターンで（つまり照射光の照射方向を変えて）複数回の撮影を実行することにより撮影結果として生成されたものである。この複数枚の低解像度画像を合成して分解能を向上させた高解像度画像を生成する。この際、ＣＩＳ方式は顕微鏡のように合焦用のレンズを利用しないので、光学系のぼけに基づくＰＳＦ（Point Spread Function）を求める必要がない。そのため、従来の光学系を利用した顕微鏡と比べて、レンズによる歪みの影響が少ない画像を取得できる。

図１１Ａは、撮影の被写体である染色切片２０５の一部を模式的に示す図である。図１１Ａに示す染色切片２０５は、上述したように病理切片２０２を染色したものであり、生物組織の薄片（典型的には数十ｕｍ以下の厚さを有する薄片）である。染色切片２０５の画像の取得時、染色切片２０５は、イメージセンサ３０２の撮像面に近接して配置されている。イメージセンサ３０２の撮像面から染色切片２０５までの距離は、典型的には１ｍｍ以下であり、例えば１ｕｍ程度に設定され得る。

図１１Ｂは、イメージセンサ３０２のフォトダイオードのうち、図１１Ａに示されている領域の撮像に関わるフォトダイオードを抽出して模式的に示す図である。ここで説明する例では、イメージセンサ３０２に形成されたフォトダイオード４ｐのうち、６個のフォトダイオードが示されている。なお、参考のために、図１１Ｂでは、互いに直交するｘ方向、ｙ方向及びｚ方向を示す矢印が図示されている。ｚ方向は、撮像面の法線方向を示している。図１１Ｂでは、ｘｙ面内においてｘ軸からｙ軸に向かって４５°回転した方向であるｕ方向を示す矢印も図示されている。他の図面においても、ｘ方向、ｙ方向、ｚ方向又はｕ方向を示す矢印を図示することがある。

イメージセンサ３０２におけるフォトダイオード４ｐ以外の構成要素は、遮光層によって覆われている。遮光層は例えば配線層等を覆う。染色切片２０５を透過した照射光のうち、フォトダイオード４ｐに入射した部分はフォトダイオード４ｐの光電変換の対象となり、画像信号として取得される。図１１Ｂ中、ハッチングされた領域は、遮光層によって覆われている領域を示している。ＣＣＤイメージセンサの撮像面上における１つのフォトダイオードの受光面の面積（Ｓ２）は、そのフォトダイオードを含む単位領域の面積（Ｓ１）よりも小さい。画素の面積Ｓ１に対する受光面積Ｓ２の比率（Ｓ２／Ｓ１）は、「開口率」と呼ばれている。ここでは、開口率が２５％であるとして説明を行う。

図１２Ａ及び図１２Ｂは、染色切片２０５を透過してフォトダイオード４ｐに入射する照射光（即ち光線）の方向を矢線の向きで模式的に示す。図１２Ａ及び図１２Ｂは、撮像面に対して垂直な方向から光線を入射させた状態を示している。図１２Ａ及び図１２Ｂにおいて模式的に示すように、ここでは、染色切片２０５とイメージセンサ３０２との間に合焦（即ち結像）のためのレンズは配置されておらず、染色切片２０５の画像は、染色切片２０５を透過する実質的に平行な光線を用いて取得される。

図１２Ｃは、図１２Ａ及び図１２Ｂに示す照射方向のもとで取得される画像であるサブ画像Ｓａを模式的に示す。図１２Ｃに示すように、サブ画像Ｓａは、６個のフォトダイオード４ｐによって取得される６個の画素Ｐａから構成される。画素Ｐａの各々は、個々のフォトダイオード４ｐに入射した光の量を示す値（即ち画素値）を持つ。画像を構成する各画素は、フォトダイオード４ｐが入射光を得た場合の光電変換により画素値を得る。

図１２Ａ及び図１２Ｂに示すように、撮像面に垂直な方向から染色切片２０５に光を照射したときには、染色切片２０５の全体のうち、フォトダイオード４ｐの直上に位置する領域を透過した光がフォトダイオード４ｐに入射する。この例では、サブ画像Ｓａは、染色切片２０５の全体のうち、領域Ａ１、Ａ２、Ａ３、Ａ４、Ａ５及びＡ６（図１１Ａ参照）の情報を有している。なお、フォトダイオード４ｐの直上に位置しない領域を透過した光は、フォトダイオード４ｐには入射しない。従って、サブ画像Ｓａでは、染色切片２０５の全体のうち、領域Ａ１、Ａ２、Ａ３、Ａ４、Ａ５及びＡ６以外の領域の情報が欠落している。

図１３Ａ及び図１３Ｂは、図１２Ａ及び図１２Ｂに示す照射方向とは異なる照射方向から光線を入射させた状態を示している。図１３Ａ及び図１３Ｂに示す光線は、ｚ方向に対してｘ方向に傾斜している。このとき、染色切片２０５の全体のうち、フォトダイオード４ｐの直上に位置する領域とは異なる領域を透過した光がフォトダイオード４ｐに入射する。

図１３Ｃは、図１３Ａ及び図１３Ｂに示す照射方向のもとで取得される画像であるサブ画像Ｓｂを模式的に示す。図１３Ｃに示すように、サブ画像Ｓｂも、６個のフォトダイオード４ｐによって取得される６個の画素から構成されている。ただし、サブ画像Ｓｂを構成する画素Ｐｂは、染色切片２０５の全体のうち、領域Ａ１、Ａ２、Ａ３、Ａ４、Ａ５及びＡ６とは異なる領域Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５及びＢ６（図１１Ａ参照）に関する画素値を持つ。言い換えれば、サブ画像Ｓｂは、染色切片２０５の全体のうち、領域Ａ１、Ａ２、Ａ３、Ａ４、Ａ５及びＡ６の情報は有しておらず、代わりに、領域Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５及びＢ６の情報を有している。ここでは、例えば領域Ｂ１は、染色切片２０５において領域Ａ１の右側に隣接する領域である（図１１Ａ参照）。

図１２Ａ及び図１２Ｂと、図１３Ａ及び図１３Ｂとを比較することによって理解されるように、照射方向を適切に変更することにより、染色切片２０５の異なる領域を透過した光線をフォトダイオード４ｐに入射させることができる。その結果、サブ画像Ｓａとサブ画像Ｓｂは、染色切片２０５において異なる位置に対応する画素情報を含むことができる。

図１４Ａ及び図１４Ｂは、図１２Ａ及び図１２Ｂに示す照射方向並びに図１３Ａ及び図１３Ｂに示す照射方向とは異なる照射方向から光線を入射させた状態を示している。図１４Ａ及び図１４Ｂに示す光線は、ｚ方向に対してｙ方向に傾斜している。

図１４Ｃは、図１４Ａ及び図１４Ｂに示す照射方向のもとで取得される画像であるサブ画像Ｓｃを模式的に示す。図１４Ｃに示すように、サブ画像Ｓｃは、６個のフォトダイオード４ｐによって取得される６個の画素Ｐｃから構成されている。図示するように、サブ画像Ｓｃは、染色切片２０５の全体のうち、図１１Ａに示す領域Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５及びＣ６の情報を有している。ここでは、例えば領域Ｃ１は、染色切片２０５において領域Ａ１の上側に隣接する領域である（図１１Ａ参照）。

図１５Ａは、図１２Ａ及び図１２Ｂに示す照射方向、図１３Ａ及び図１３Ｂに示す照射方向並びに図１４Ａ及び図１４Ｂに示す照射方向とは異なる照射方向から光線を入射させた状態を示している。図１５Ａに示す光線は、ｚ方向に対して、ｘｙ面内においてｘ軸と４５°の角をなす方向に傾斜している。

図１５Ｂは、図１５Ａに示す照射方向のもとで取得される画像であるサブ画像Ｓｄを模式的に示す。図１５Ｂに示すように、サブ画像Ｓｄは、６個のフォトダイオード４ｐによって取得される６個の画素Ｐｄから構成されている。サブ画像Ｓｄは、染色切片２０５の全体のうち、図１１Ａに示す領域Ｄ１、Ｄ２、Ｄ３、Ｄ４、Ｄ５及びＤ６の情報を有している。ここでは、例えば領域Ｄ１は、領域Ｃ１の右側に隣接する領域である（図１１Ａ参照）。このように、サブ画像Ｓａ、Ｓｂ、Ｓｃ及びＳｄの各々は、染色切片２０５の異なる部分から構成される像を含んでいる。

図１６は、４枚のサブ画像Ｓａ、Ｓｂ、Ｓｃ及びＳｄから合成される高分解能な中間画像ＨＲ１を示している。図１６に示すように、中間画像ＨＲ１の画素数又は画素密度は、４枚のサブ画像Ｓａ、Ｓｂ、Ｓｃ及びＳｄの各々の画素数又は画素密度の４倍である。

例えば、染色切片２０５における、図１１Ａに示す領域Ａ１、Ｂ１、Ｃ１及びＤ１のブロックに着目する。これまでの説明からわかるように、図１６に示すサブ画像Ｓａの画素Ｐａ１は、上述のブロック全体ではなく、領域Ａ１のみの情報を有している。従って、サブ画像Ｓａは、領域Ｂ１、Ｃ１及びＤ１の情報が欠落した画像であるということができる。

しかしながら、染色切片２０５において異なる位置に対応する画素情報を有するサブ画像Ｓｂ、Ｓｃ及びＳｄを用いることにより、図１６に示すように、サブ画像Ｓａにおいて欠落した情報を補完し、ブロック全体の情報を有する中間画像ＨＲ１を形成することが可能である。個々のサブ画像の分解能がイメージセンサ３０２の固有分解能に等しいのに対し、この例では、イメージセンサ３０２の固有分解能より細かい分解能が得られている。

このように、染色切片２０５或いはイメージセンサ３０２を基準にして複数の異なる照射方向から、順次、平行光を照射して病理標本の染色切片２０５の撮像を行うことにより、被写体である染色切片２０５から「空間的」にサンプリングされる画素情報を増加させることができる。得られた複数のサブ画像を合成することにより、複数のサブ画像の各々よりも分解能の高い高解像度画像を形成することが可能である。図１２Ａ〜図１５Ｂを参照して説明した照射方向それぞれが上述した各光照射パターンとして識別される。なお、照射光の照射方向は、図１２Ａ〜図１５Ｂを参照して説明した照射方向に限定されない。

なお、上記の例において、図１６に示すサブ画像Ｓａ、Ｓｂ、Ｓｃ及びＳｄは、染色切片２０５における互いに異なる領域の画素情報を有しており、重なりを有していない。しかしながら、異なるサブ画像間において重なりを有していてもよい。また、上記の例では、染色切片２０５において隣接する２つの領域を通過した光線は、いずれも、同一のフォトダイオードに入射している。しかしながら、照射方向の設定はこの例に限定されない。例えば、染色切片２０５の隣接する２つの領域を通過した光線が、それぞれ、異なるフォトダイオードに入射するように照射方向が調整されていてもよい。

従って、図１６に示した４枚のサブ画像Ｓａ、Ｓｂ、Ｓｃ及びＳｄのように、撮影装置１０７で例えば光の照射方向が相異なる光照射パターンＡ〜Ｄにより撮影して生成された４枚の低解像度画像により、分解能の値が１／２になるような中間画像が得られることになる。

図１７は、分解能の値が１／３になるような中間画像ＨＲ２の取得方法を示す。光照射パターンＡ〜Ｉにより（即ち９方向からの光の照射により）、それぞれ撮影された９枚の低解像度画像１５０２〜１５１０を合成することで、中間画像ＨＲ２が得られることになる。低解像度画像１５０２〜１５１０のそれぞれは画素内容を模式的に示したものであり、各単位矩形内の数値が同一のものはイメージセンサ３０２における同じフォトダイオードで取得された値を表している。低解像度画像１５０２は、真上からの照射光で標本（即ち染色切片２０５）を照射したときに得られる低解像度画像を表す。低解像度画像１５０３及び低解像度画像１５０４は、Ｘ軸方向のみに異なる距離だけ光源を移動させた際に取得した低解像度画像を表す。低解像度画像１５０５及び低解像度画像１５０６はＹ軸方向のみに異なる距離だけ光源を移動させた際に取得した低解像度画像を表す。低解像度画像１５０７は、光源をＸ軸方向に低解像度画像１５０３、Ｙ軸方向に低解像度画像１５０５と同じ距離だけ移動させて撮影した低解像度画像を表す。低解像度画像１５０８は光源をＸ軸方向に低解像度画像１５０４、Ｙ軸方向に低解像度画像１５０５と同じ距離だけ移動させて撮影した低解像度画像を表す。低解像度画像１５０９は、光源をＸ軸方向に低解像度画像１５０３、Ｙ軸方向に低解像度画像１５０６と同じ距離だけ移動させて撮影した低解像度画像を表す。低解像度画像１５１０は光源をＸ軸方向に低解像度画像１５０４、Ｙ軸方向に低解像度画像１５０５と同じ距離だけ移動させて撮影した低解像度画像を表す。

次に、高解像度画像の生成のために、上述の中間画像に対して行う、デコンボリューション演算による超解像処理（「デコンボリューション処理」とも称する。）について説明する。

デコンボリューション演算を用いたデコンボリューション処理とは、次の式１に示すような逆変換処理のことを指す。

但し、＊は畳み込み演算を表し、「Ｉ＾」（「Ｉ」の上に「＾」、以下「Ｉ＾」のように記述する。）が求めたい高解像度画像を表し、「Ｉ」が中間画像を表し、「Ｄ」がデコンボリューション演算に利用するＰＳＦ（Point Spread Function）に対応するフィルタを表す。本実施の形態においては、フィルタ「Ｄ」の値は次の式２に示すガウシアンフィルタを用いて設定する。但し、フィルタ「Ｄ」は式３に示すように任意の値に設定することも可能である。

但し、「σ^２」は分散を表すパラメータであり、「Ｄ（ａ，ｂ）」はａ行ｂ列目のフィルタ値を示す。また、「Ｄ_ｇ」は式３と同じくガウシアンフィルタを表し、「Ｗ」はイメージセンサ（撮像素子）３０２の開口率に基づいて決定され、「Δ」は実際の値と設定値とのずれを表す。例えば、開口率２５％の撮像素子を利用して、分解能の値が１／３倍になるように分解能を向上させたいとき、「Ｗ」は次の式４に示すように設定すればよい。なお、「Δ」の各値は乱数、白色雑音等で設定する。

本実施の形態においては、式１の「Ｉ＾」を求めるために、次の式５に示すようにウィーナフィルタを用いた周波数領域での演算を実施する。

但し、「Ｈ（．）」は周波数領域への変換を表し、「Ｈ（Ｄ）^−１」は、次の式６に示すように求める。

但し、「Γ」はＳＮ比を表すパラメータである。なお、本実施の形態では、デコンボリューション処理として、ウィーナフィルタを用いた周波数領域での演算を利用しているが、デコンボリューション処理はこれに限定されるものではなく、任意の処理方法を用いることができる。例えば、デコンボリューション処理として、次の式７に示す更新式の演算を利用してもよい。

但し、「Ｉ_ａ，ｂ ^ｒ＋１」は、ｒ回目の繰り返し演算の際の座標（ａ，ｂ）の画素値を表し、「ρ」は更新時のパラメータを表す。また、「Ｅ」は次の式８に示す誤差関数を表しており、式７は式８を「Ｉ_ａ，ｂ」で微分することで得られる。また、画像中のノイズを考慮して、式８にＬ２ノルムやＬ１ノルムを加えた式を微分して得られる更新式を利用することもできる。

以上説明したデコンボリューション処理により、画像生成部１０５は、中間画像から高解像度画像を算定（即ち生成）する。即ち、画像生成部１０５は、複数枚の低解像度画像に基づいて高解像度画像を生成する場合に、その複数枚の低解像度画像に基づいて、その低解像度画像より画素数が多い中間画像を生成し、その中間画像に対してデコンボリューション演算を用いた画像処理（即ちぼけの解消等のためのデコンボリューション処理）を施すことにより高解像度画像を生成する。

そして、図７に示したように、画像処理装置１００は、判定部１０３により拡大率に基づいて表示用画像の生成のために高解像度画像が必要であると判定した場合に限って（ステップＳ１０４）、撮影装置１０７に複数枚の低解像度画像に係る撮影（生成）を要請して（ステップＳ１０６）、取得した複数枚の低解像度画像から画像生成部１０５により中間画像を生成し最終的には高解像度画像を生成する。このように、必要な場合に限って高解像度画像を生成するため、光照射パターンを変更して複数枚の低解像度画像を撮影するための時間が抑制できる。また、高解像度画像の生成に必要な複数枚の低解像度画像を撮影装置１０７から画像処理装置１００へと送信（即ちデータ転送）する時間を必要限度に抑制できる。このため、画像処理システム１０は、病理医による、検体の画像を用いた病理診断に要する時間を低減させ得る。なお、画像処理装置１００において、表示するために生成した表示用画像をメモリ、ハードディスク装置等の記憶媒体（即ち記録媒体）に保存することとしてもよい。この場合には、画像処理装置１００は、表示に必要な場合に限って高解像度画像を生成するため、表示用画像を保存するための記憶容量（即ちメモリ使用量等）を抑制することができる。

（実施の形態２）
以下、実施の形態１で示した画像処理システム１０を変形した形態について説明する。本実施の形態における画像処理システムは、実施の形態１で示した画像処理システム１０を構成する画像処理装置１００に、分解能の互いに異なる複数の高解像度画像を選択的に生成する機能を含ませたものである。実施の形態１では高解像度画像を生成するためには、９枚の低解像度画像の撮影を必要とした。本実施の形態の画像処理システムにおいて分解能の互いに異なる複数の高解像度画像のそれぞれを生成するためには、互いに異なる枚数の低解像度画像（即ち相互に異なる光照射パターンで撮影されて生成された画像）が必要となる。

本実施の形態に係る画像処理システムを構成する画像処理装置が、実施の形態１における画像処理装置と相違する点は、複数の閾値（ここでは閾値ＴＨ及び閾値ＴＨ２）を保持しており、受付部１０２により取得された入力操作に応じて特定された拡大率に応じて、それぞれ特定される枚数（即ち相互に異なり得る枚数）の低解像度画像を取得するように撮影装置１０７へと指示する機能を有する点である。なお、ここで説明しない点は実施の形態１と同じであり、実施の形態２に係る画像処理システムの各構成要素を実施の形態１で示した構成要素と同じ符号を用い、適宜説明を省略する。

図１８は、本実施の形態に係る画像処理システムの動作例を示すフローチャートである。なお、図１８のフローチャートは、ステップＳ１７０１が追加されている以外は実施の形態１に係る図７のフローチャートと同じである。従って、ステップＳ１７０１以外のステップについての説明は適宜省略する。

ステップＳ１７０１では、画像処理装置１００は、判定部１０３により、ステップＳ１０３において受付部１０２により受け付けられた入力操作で特定される拡大率に応じて、高解像度画像の選択を行う。この選択は、表示用画像の生成に用いるべき高解像度画像を何枚の低解像度画像で生成される高解像度画像にするかの選択であり、例えば、どの光照射パターンでの撮影により生成された低解像度画像を必要とするかを特定することで行われる。この選択は、入力操作で特定された拡大率と、図１９に例示する撮影指示表１８０１に基づいて実施される。例えば、病理医等による入力操作により特定された拡大率が２５０％であり、図１９に例示するように撮影指示表１８０１に保持されている分解能が１．０ｕｍと０．５ｕｍと０．３ｕｍの３段階に区別されているとする。このとき、図１９の例に対応して、閾値ＴＨは２００％となる。入力操作により特定された拡大率が閾値ＴＨ以上であれば、判定部１０３によりステップＳ１０４でいずれかの高解像度画像が必要となると判定され、次にどの高解像度画像を選択するかを判定する必要がある。この判定のためには、閾値ＴＨ２を定めておく必要がある。図１９の例に対応した閾値ＴＨ２は例えば３００％となる。この閾値ＴＨ２は、分解能の値が０．３ｕｍの高解像度画像が必要か否かを判定する閾値となる。分解能０．３ｕｍの高解像度画像が必要ない場合には分解能０．５ｕｍの高解像度画像が選択されることになる。ここで想定した例においては、病理医等による入力操作により特定された拡大率が２５０％であり、閾値ＴＨ２（３００％）未満であるため、分解能０．３ｕｍの高解像度画像は不要となり、分解能０．５ｕｍの高解像度画像が選択される。

ステップＳ１７０１に続いて、画像処理装置１００は、撮影指示部１０４により、撮影指示表１８０１を参照して選択した高解像度画像に基づいて、撮影装置１０７へ指示を送る（ステップＳ１０６）。即ち、撮影指示部１０４は、撮影指示表１８０１を参照して、例えば拡大率２００％以上３００％未満に対応して分解能が０．５ｕｍである画像を取得するためには、図１９で４箇所の黒丸が示す撮影位置を指定した指示により、撮影装置１０７の撮影部１１２にその各光照射パターンで識別される相対位置から光を照射して標本を撮影させる。なお、図１９で分解能０．５ｕｍに対応する４箇所の黒丸が示す撮影位置のうち、黒丸１６０２に対応する、光源を真上にした光照射パターンＡで撮影した画像は既に取得済みであるため、実際には残りの３箇所に対応して定められている光照射パターン（例えば光照射パターンＢ〜Ｄ）を指定した指示により、撮影指示部１０４は、撮影装置１０７に撮影を行わせる。これに応じて撮影装置１０７では、照明位置調整部１１０及び設置位置調整部１１１は指定された光照射パターンに相当する各位置へと照明部１０８及び設置部１０９を移動させる。そして、撮影装置１０７は、撮影部１１２で標本の撮影を行うことにより、合計３枚の低解像度画像を生成して、これらの低解像度画像を画像処理装置１００へと送出する（ステップＳ１０７）。これにより、画像処理装置１００の画像取得部１０１では既に取得済みの１枚の低解像度画像に加えて３枚の低解像度画像を取得することになる。そして次に、画像処理装置１００は、画像取得部１０１が新たに得た光照射パターンＢ〜Ｄに対応する３枚の低解像度画像と、事前に取得していた光照射パターンＡ（即ち光源を真上にするパターン）に対応する１枚の低解像度画像とを利用して、画像生成部１０５にて高解像度画像を生成する（ステップＳ１０８）。なお、ステップＳ１０３において受付部１０２により受け付けられた入力操作で特定された拡大率が３００％以上であれば、画像生成部１０５により、実施の形態１でのステップＳ１０８と同様に合計９枚の低解像度画像に基づいて高解像度画像が生成される。

このように本実施の形態に係る画像処理装置１００は、複数の相互に異なる分解能の高解像度画像を生成し得る。

なお、本実施の形態では、高解像度画像だけでなく、デコンボリューション処理を行う前の中間画像を、表示用画像の形成に利用するように変形することも可能である。この変形例では、出力部１０６が、画像生成部１０５により中間画像が生成された場合に、一定条件下でその中間画像を表示用画像として出力する。このとき、例えば判定部１０３でデコンボリューション処理を実施するか否かを判定する。図２０及び図２１は、画像と閾値との関係を示す図である。また、図２２Ａ〜図２２Ｄは、それぞれ低解像度画像２１０１、分解能０．５ｕｍの高解像度画像２１０２、中間画像２１０３、分解能０．３ｕｍの高解像度画像２１０４を示す。図２０は、上述した分解能が互いに異なる複数の高解像度画像を生成し得る場合の例を示し、図２１は、中間画像を利用する場合の例を示す。図２１では、閾値ＴＨ３を新たに追加する。これにより、この画像処理システムは、病理医等による入力操作で特定された拡大率が閾値ＴＨ未満の場合に低解像度画像２１０１に基づく表示用画像を表示し、その拡大率が閾値ＴＨ以上閾値ＴＨ３未満の場合に分解能０．５ｕｍの高解像度画像２１０２に基づく表示用画像を表示する。また、拡大率が閾値ＴＨ３以上閾値ＴＨ２未満の場合に分解能０．３ｕｍの高解像度画像の生成過程で生成する中間画像２１０３（実際の分解能は約０．４ｕｍ）に基づく表示用画像を表示し、拡大率が閾値ＴＨ２以上の場合に分解能０．３ｕｍの高解像度画像２１０４に基づく表示用画像を表示する。この構成によると、中間画像を利用することで、より詳細な画像の表示が可能となる。また、図２２Ａ〜図２２Ｄにより、画像の分解能が向上するにつれて、各画像の差が小さくなっていくことが視認できる。これは、各画像の分解能の値の差に対応する。なお、分解能０．３ｕｍの高解像度画像とその中間画像との差は各画像を大きく拡大しなければ、ほとんど視認できない。そのため、中間画像２１０３を利用することで、デコンボリューション処理の時間を短縮しつつ、詳細な画像を迅速に表示することが可能となる。なお、画像処理システムが表示可能な高解像度画像の分解能のバリエーションを更に増加させて、これに対応して閾値を更に増加させてもよい。

（ハードウェア構成）
上述の実施の形態１、２における画像処理システムの構成要素である画像処理装置１００（図１参照）は、例えばコンピュータにより構成される。

図２３は、画像処理装置１００を実現するためのコンピュータの構成図である。即ち、画像処理装置１００は、コンピュータ２２０１と、操作者がコンピュータ２２０１に指示を与えるためのキーボード２２０２及びマウス２２０３と、コンピュータ２２０１で実行されるプログラムを読み取るためのＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）装置２２０５とを含む。図２３には、コンピュータ２２０１の演算結果等の情報を提示するためのディスプレイ２０も付記しているが、上述した画像処理装置１００とは別装置であるディスプレイ２０を、画像処理システムの一形態においては画像処理装置１００が包含してもよい。

コンピュータ２２０１は、ＣＰＵ（Central Processing Unit）２２０８と、ＲＯＭ（Read Only Memory）２２０９と、ＲＡＭ（Random Access Memory）２２１０と、ハードディスク２２１１と、通信モデム２２０６とバス２２１２とを含む。

ＣＰＵ２２０８は、ＣＤ−ＲＯＭ装置２２０５又は通信モデム２２０６を介して読み取られたプログラムを実行する。ＲＯＭ２２０９は、コンピュータ２２０１の動作に必要なプログラムやデータを記憶する。ＲＡＭ２２１０は、プログラム実行時のパラメータ等のデータを記憶する。

ハードディスク２２１１は、プログラム、データ等を記憶する。ハードディスク２２１１は、表示用画像を保存するために用いられ得る。またハードディスク２２１１は、撮影指示表１６０１、１８０１等を保持するために用いられ得る。

通信モデム２２０６は、コンピュータネットワークを介して他のコンピュータとの通信を行う通信インタフェースである。バス２２１２は、ＣＰＵ２２０８、ＲＯＭ２２０９、ＲＡＭ２２１０、ハードディスク２２１１、通信モデム２２０６、ディスプレイ２２０４、キーボード２２０２、マウス２２０３及びＣＤ−ＲＯＭ装置２２０５を相互に接続する。図２３に示したコンピュータ２２０１の構成は一例に過ぎない。例えば、コンピュータ２２０１に接続されているキーボード２２０２、マウス２２０３及びＣＤ−ＲＯＭ装置２２０５は、ディスプレイがタッチパネルになっている場合、通信モデムを利用する場合等においては、取り外してもよい。

例えばキーボード２２０２又はマウス２２０３等によって、病理医等は、拡大のための入力操作（例えば拡大率情報の入力等）を行う。

画像処理装置１００としてのコンピュータが実行するプログラムの全部又は一部は、予めＲＯＭ２２０９に記憶されていてもよいし、例えばコンピュータで読み取り可能な記憶媒体であるＣＤ−ＲＯＭ２２０７に記憶され、ＣＤ−ＲＯＭ装置２２０５で読み取られてＲＡＭ２２１０に格納されてもよい。また、通信ネットワークを通じて通信モデム２２０６で読み取られてＲＡＭ２２１０に格納されてもよい。プログラムは、図７、図１８のフローチャートが示す処理（即ち動作）のうち画像処理装置１００の動作をＣＰＵ２２０８に実行させるための処理（即ち所定画像処理）を定めたコンピュータプログラム（即ち命令列等）である。つまり、ＣＰＵ２２０８は、プログラムを実行することにより、画像取得部１０１、受付部１０２、判定部１０３、撮影指示部１０４、画像生成部１０５及び出力部１０６として機能し得る。なお、各構成要素にそれぞれ対応するＣＰＵが設けられてもよい。一例としては、画像取得部１０１及び撮影指示部１０４のそれぞれは、通信モデム等の撮影装置１０７と通信するための通信回路、メモリ、プログラムを実行するＣＰＵ等により実現される。受付部１０２は、キーボード２２０２、マウス２２０３等の入力装置との接続用のインタフェース回路、メモリ、プログラムを実行するＣＰＵ等により実現される。判定部１０３及び画像生成部１０５のそれぞれは、メモリ、プログラムを実行するＣＰＵ等により実現される。出力部１０６は、ディスプレイ２０へ信号を送信する出力インタフェース、メモリ、プログラムを実行するＣＰＵ等により実現される。なお、画像処理装置１００がディスプレイ２０を包含する場合には出力部１０６はディスプレイ２０を含んで実現され、表示用画像を表示することにより、表示用画像の出力を行い得る。

（他の実施の形態等）
以上のように、本開示に係る技術の例示として実施の形態１、２に係る画像処理システム、画像処理装置等を説明した。しかしながら、本開示に係る技術は、これに限定されず、適宜、変更、置き換え、付加、省略等を行った実施の形態にも適用可能である。例えば、以下のような変形例も本発明の一実施態様に含まれる。

例えば、ディスプレイ２０は、図２３に示すようなＣＲＴ(Cathode Ray Tube)、液晶ディスプイ（ＬＣＤ：Liquid Crystal Display）等の画面を有する装置に限らず、表示用画像を受信して表示する表示装置であれば、プロジェクタその他の表示装置であってもよい。なお、画像処理システム１０は、ディスプレイ２０を含まないこととし、外部のディスプレイ２０に表示用画像を出力することとしてもよい。

また、上述の実施の形態では、画像処理装置１００が光照射パターンの指定により撮影装置１０７に撮影の指示を行う例を示したが、画像処理装置１００が必要な低解像度画像を撮影装置１０７に撮影させて取得するためのインタフェースはいかなるものであってもよい。例えば、画像処理装置１００が、判定部１０３により高解像度画像が必要と判定された場合において、拡大率に応じて特定した枚数の低解像度画像を生成して送信すべき旨の指示を撮影指示部１０４により撮影装置１０７に送信することとし、撮影装置１０７がその指定された枚数の画像それぞれを相異なる方向からの光の照射により撮影して生成した低解像度画像を画像処理装置１００へと送出することとしてもよい。この場合において、撮影装置１０７は、既に送出済みの低解像度画像を重複して画像処理装置１００に送出してもよいが、送出済みの低解像度画像に係る情報を保持しておくことにより、同じ低解像度画像を重複して送出しないこととしてもよい。なお、画像処理装置１００が高解像度画像を生成するために利用する低解像度画像の枚数は、実施の形態１、２で例示した枚数に限られることはない。また、画像取得部１０１は、判定部１０３により高解像度画像が必要と判定された場合（つまり撮影指示部１０４が指示を送信した場合）において、既に取得している低解像度画像とは異なる光照射パターンの光の照射による撮影結果である１枚又は複数枚の低解像度画像を撮影装置１０７から取得してもよいし、更に既に取得している低解像度画像を重複的に取得してもよい。即ち、画像取得部１０１は、判定部１０３により高解像度画像が必要と判定された場合に、既に取得している低解像度画像とは異なる光照射パターンの光の照射による撮影結果を含む１枚又は複数枚の低解像度画像を撮影装置１０７から取得し得る。

また、上述の実施の形態では、判定部１０３により高解像度画像が必要と判定された場合に撮影装置１０７に指示を出す撮影指示部１０４を画像処理装置１００が含む例を示したが、撮影指示部１０４を省略することも可能である。例えば、撮影装置１０７は、光照射パターンＡ〜Ｉのそれぞれの照射方向での照射光で順次撮影して順次低解像度画像を生成して、ハードディスク装置等の記録媒体に逐次生成した低解像度画像を保存することとしてもよい。そして、撮影装置１０７が１枚の低解像度画像を生成した時点で画像処理装置１００はその１枚の低解像度画像を取得（即ち低解像度画像が保存された記録媒体にアクセスして取得）して表示用画像を形成して出力する。次に、病理医等による入力操作に応じて高解像度画像が必要であると判定した場合には、画像処理装置１００は、撮影装置１０７が逐次記録媒体に保存した、未だ取得していない低解像度画像にアクセスして取得する。なお、撮影装置１０７により複数枚の低解像度画像が生成されると想定される時間だけ待ってから画像処理装置１００が低解像度画像を取得してもよい。これにより、撮影指示部１０４を省略しても画像処理装置１００の画像取得部１０１は、複数枚の低解像度画像を取得可能となる。

また、上述の実施の形態では、判定部１０３が、病理医等による拡大のための入力操作で特定される拡大率と閾値ＴＨとを比較することにより、表示用画像の出力のために高解像度画像を必要とするか否かの判断を行う例を示した。判定部１０３は、病理医等により入力操作で得られた情報に基づいて高解像度画像を必要とするか否かを判定すれば足り、拡大率と閾値ＴＨとの比較を必須とするものではない。例えば、拡大率を特定する情報に係る入力操作ではなく、高解像度の詳細画像の観察を所望する旨の入力操作を受け付けるユーザインタフェースを有するように受付部１０２を構成する。そして、病理医等による入力操作が、高解像度の詳細画像の観察を所望する旨を示す操作であった場合に、判定部１０３は、高解像度画像を必要とすると判定してもよい。

また、上述した画像処理システムの動作は、必ずしも、上述の動作手順（例えば図７及び図１８に例示した動作手順等）の通りの順序に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えたりその一部を省略したりすることができる。また、上述した画像処理装置の動作手順の全部又は一部は、電子回路等のハードウェアだけにより実現されても、ソフトウェア（即ちプログラム）を用いて実現されてもよい。

また本発明の一態様としては、上述した画像処理方法であるとしてもよい。この画像処理方法は、例えば、標本を基準とする複数の異なる照射方向のうち少なくとも１つの照射方向より光を照射してその標本をＣＩＳ方式で撮影することで低解像度画像を生成する撮影装置１０７から、１枚の低解像度画像を取得し、取得した１枚の低解像度画像に基づく表示用画像を表示し、表示用画像の拡大に係る入力操作を受け付け、入力操作に応じて、表示用画像の表示のために、低解像度画像よりも解像度の高い高解像度画像を必要とするか否かを判定し、高解像度画像が必要と判定した場合に、既に取得した低解像度画像とは異なる照射方向からの光の照射による撮影結果を含む１枚又は複数枚の低解像度画像を撮影装置１０７から取得し、複数の異なる照射方向からの光の照射により撮影された複数枚の低解像度画像が既に取得された場合に、その複数枚の低解像度画像に基づいて高解像度画像を生成し、生成した高解像度画像に基づく表示用画像を表示する方法である。また、この方法の全部又は一部をコンピュータにより実現するためのコンピュータプログラムであるとしてもよいし、コンピュータプログラムからなるデジタル信号であるとしてもよい。

また、本発明の一態様としては、上記コンピュータプログラム又は上記デジタル信号をコンピュータで読み取り可能な非一時的な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Blu-ray（登録商標） Disc）、半導体メモリ等に記録したものとしてもよい。また、これらの非一時的な記録媒体に記録されている上記デジタル信号であるとしてもよい。また、本発明の一態様としては、上記コンピュータプログラム又は上記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。また、上記プログラム又は上記デジタル信号を上記非一時的な記録媒体に記録して移送することにより、又は上記プログラム若しくは上記デジタル信号を上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

また、図２４に示すように画像処理装置１００を、複数のコンピュータ（即ちコンピュータＡ２３０２及びコンピュータＢ２３０３）とデータサーバ２３０１とを利用して実現してもよい。即ち、データサーバ２３０１上に表示用画像として生成した画像データ或いは撮影指示表１６０１、１８０１等のデータを置き、ネットワーク等を経由してそのデータにコンピュータＡ２３０２がアクセスするようにしてもよい。また、コンピュータＡ２３０２上には上述の画像処理装置１００の一部の構成要素（例えば画像取得部１０１、画像生成部１０５、出力部１０６等）を実装し、コンピュータＢ２３０３上には他の構成要素（例えば受付部１０２、判定部１０３、撮影指示部１０４等）を実装するというように、画像処理装置１００の各ブロックを複数の装置（例えばコンピュータ等）に分割して実装してもよい。また、データサーバ２３０１のデータにアクセス（例えば読み出し、更新等）するコンピュータＡ２３０２は１台に限られず複数台であってもよい。同様に、コンピュータＢ２３０３が複数台であってもよい。また、コンピュータＢ２２０３はディスプレイのみであってもよい。

また、上記実施の形態及び上記変形例で示した各構成要素及び機能或いはこれらと均等な要素及び機能を任意に組み合わせることで実現される形態も本発明の範囲に含まれる。

また、本開示における実施の形態は全ての点で例示であり、制限的なものではない。

本発明に係る画像処理装置等は、検体の画像を用いた病理診断のための画像処理システムに利用し得る。

１０ 画像処理システム
２０ ディスプレイ（表示装置）
１００ 画像処理装置
１０１ 画像取得部
１０２ 受付部
１０３ 判定部
１０４ 撮影指示部
１０５ 画像生成部
１０６ 出力部
１０７ 撮影装置
１０８ 照明部
１０９ 設置部
１１０ 照明位置調整部
１１１ 設置位置調整部
１１２ 撮影部

Claims (12)

1. 撮影装置による撮影結果として生成された１枚の第１解像度画像を前記撮影装置から取得する画像取得部と、ここで、前記撮影装置は、標本を基準とする複数の異なる照射方向のうち少なくとも１つの照射方向より光を照射して前記標本をコンタクトイメージセンシング方式で撮影することで前記第１解像度画像を生成し、
   前記画像取得部により取得された１枚の第１解像度画像に基づき表示用画像を出力する出力部と、
   前記表示用画像の拡大に係る入力操作を受け付ける受付部と、
   前記入力操作に応じて、前記表示用画像の出力のために、前記第１解像度画像よりも解像度の高い第２解像度画像を必要とするか否かを判定する判定部と、
   前記画像取得部により、複数の異なる照射方向からの光の照射により撮影された複数枚の第１解像度画像が既に取得されている場合に、当該複数枚の第１解像度画像に基づいて第２解像度画像を生成する画像生成部とを備え、
   前記画像取得部は、前記判定部により第２解像度画像が必要と判定された場合に、既に取得している前記第１解像度画像とは異なる照射方向からの光の照射による撮影結果を含む１枚又は複数枚の第１解像度画像を前記撮影装置から取得し、
   前記出力部は、前記画像生成部により前記第２解像度画像が生成された場合に、当該第２解像度画像に基づき表示用画像を出力する
   画像処理装置。
2. 前記画像処理装置は、更に、
   前記判定部により第２解像度画像が必要と判定された場合において、前記画像取得部により既に取得された第１解像度画像の撮影に用いられた、前記標本を基準とする光の照射方向とは異なる１又は複数の照射方向からの光の前記標本への照射により撮影することで、１枚又は複数枚の第１解像度画像を生成して送信すべき旨の指示を、前記撮影装置に送信する撮影指示部を備え、
   前記画像取得部は、前記撮影指示部が前記指示を送信した場合において、既に取得している前記第１解像度画像とは異なる１枚又は複数枚の第１解像度画像を前記撮影装置から取得する
   請求項１記載の画像処理装置。
3. 前記判定部は、前記入力操作に応じて、前記表示用画像の拡大に係る拡大率を特定し、特定した当該拡大率が所定閾値より大きい場合に第２解像度画像を必要とすると判定し、当該拡大率が所定閾値より小さい場合に第２解像度画像を必要としないと判定する
   請求項２記載の画像処理装置。
4. 前記撮影指示部は、前記判定部により第２解像度画像が必要と判定された場合において、前記拡大率に応じて特定した枚数の第１解像度画像を生成して送信すべき旨の指示を、前記撮影装置に送信する
   請求項３記載の画像処理装置。
5. 前記画像生成部は、前記複数枚の第１解像度画像に基づいて前記第２解像度画像を生成する場合に、当該複数枚の第１解像度画像に基づいて当該第１解像度画像より画素数が多い中間画像を生成し、当該中間画像に対してデコンボリューション演算を用いた画像処理を施すことにより前記第２解像度画像を生成し、
   前記出力部は、前記画像生成部により前記デコンボリューション演算を用いて前記第２解像度画像が生成された場合に、当該第２解像度画像を前記表示用画像として出力する
   請求項４記載の画像処理装置。
6. 前記出力部は、前記画像生成部により前記中間画像が生成された場合に、一定条件下で当該中間画像を前記表示用画像として出力する
   請求項５記載の画像処理装置。
7. 前記画像取得部は、前記第１解像度画像の前記取得を、前記複数の異なる照射方向のうち当該第１解像度画像に係る撮影において用いられた光の照射方向を識別する照射方向識別情報と当該第１解像度画像とを前記撮影装置から受信することにより行い、
   前記撮影指示部は、前記画像取得部が既に受信した前記照射方向識別情報に基づいて、新たな撮影に用いられるべき光の照射方向を特定するための情報を生成し、当該情報を含めた前記指示を前記撮影装置に送信する
   請求項２記載の画像処理装置。
8. 前記出力部による前記表示用画像の前記出力は、外部の表示装置への当該表示用画像の送信である
   請求項１〜７のいずれか一項に記載の画像処理装置。
9. 撮影装置と画像処理装置とを備える画像処理システムであって、
   前記撮影装置は、標本を基準とする複数の異なる照射方向のうち少なくとも１つの照射方向より光を照射して前記標本をコンタクトイメージセンシング方式で撮影することで第１解像度画像を生成し、
   前記画像処理装置は、
   前記撮影装置による撮影結果として生成された１枚の第１解像度画像を前記撮影装置から取得する画像取得部と、
   前記画像取得部により取得された１枚の第１解像度画像に基づき表示用画像を出力する出力部と、
   前記表示用画像の拡大に係る入力操作を受け付ける受付部と、
   前記入力操作に応じて、前記表示用画像の出力のために、前記第１解像度画像よりも解像度の高い第２解像度画像を必要とするか否かを判定する判定部と、
   前記画像取得部により、複数の異なる照射方向からの光の照射により撮影された複数枚の第１解像度画像が既に取得されている場合に、当該複数枚の第１解像度画像に基づいて第２解像度画像を生成する画像生成部とを備え、
   前記画像取得部は、前記判定部により第２解像度画像が必要と判定された場合に、既に取得している前記第１解像度画像とは異なる照射方向からの光の照射による撮影結果を含む１枚又は複数枚の第１解像度画像を前記撮影装置から取得し、
   前記出力部は、前記画像生成部により前記第２解像度画像が生成された場合に、当該第２解像度画像に基づき表示用画像を出力する
   画像処理システム。
10. 前記画像処理システムは、更に表示装置を備え、
    前記出力部は、前記表示用画像の前記出力を、当該表示用画像を前記表示装置に送信することで行い、
    前記表示装置は、前記表示用画像を受信して表示する
    請求項９記載の画像処理システム。
11. 標本を基準とする複数の異なる照射方向のうち少なくとも１つの照射方向より光を照射して前記標本をコンタクトイメージセンシング方式で撮影することで第１解像度画像を生成する撮影装置から１枚の第１解像度画像を取得し、
    取得した１枚の前記第１解像度画像に基づく表示用画像を表示し、
    前記表示用画像の拡大に係る入力操作を受け付け、
    前記入力操作に応じて、前記表示用画像の表示のために、前記第１解像度画像よりも解像度の高い第２解像度画像を必要とするか否かを判定し、
    第２解像度画像が必要と判定した場合に、既に取得した前記第１解像度画像とは異なる照射方向からの光の照射による撮影結果を含む１枚又は複数枚の第１解像度画像を前記撮影装置から取得し、
    複数の異なる照射方向からの光の照射により撮影された複数枚の第１解像度画像が既に取得された場合に、当該複数枚の第１解像度画像に基づいて第２解像度画像を生成し、
    生成した前記第２解像度画像に基づく表示用画像を表示する
    画像処理方法。
12. コンピュータに所定画像処理を実行させるためのプログラムであって、
    前記所定画像処理は、
    標本を基準とする複数の異なる照射方向のうち少なくとも１つの照射方向より光を照射して前記標本をコンタクトイメージセンシング方式で撮影することで第１解像度画像を生成する撮影装置から１枚の第１解像度画像を取得し、
    取得した１枚の前記第１解像度画像に基づく表示用画像を表示し、
    前記表示用画像の拡大に係る入力操作を受け付け、
    前記入力操作に応じて、前記表示用画像の表示のために、前記第１解像度画像よりも解像度の高い第２解像度画像を必要とするか否かを判定し、
    第２解像度画像が必要と判定した場合に、既に取得した前記第１解像度画像とは異なる照射方向からの光の照射による撮影結果を含む１枚又は複数枚の第１解像度画像を前記撮影装置から取得し、
    複数の異なる照射方向からの光の照射により撮影された複数枚の第１解像度画像が既に取得された場合に、当該複数枚の第１解像度画像に基づいて第２解像度画像を生成し、
    生成した前記第２解像度画像に基づく表示用画像を表示する、処理を含む
    プログラム。