JP2023178168A

JP2023178168A - 顕微鏡システム及びデータ処理方法

Info

Publication number: JP2023178168A
Application number: JP2022159896A
Authority: JP
Inventors: 尚新田; Takashi Nitta; 武昭杉村; Takeaki Sugimura; 晶荒船; Akira Arafune
Original assignee: Cybo KK
Current assignee: Cybo KK
Priority date: 2022-08-09
Filing date: 2022-10-04
Publication date: 2023-12-14

Abstract

【課題】３次元顕微鏡画像を、３次元の画像情報を保持したまま従来よりも高い圧縮率で圧縮し、データの保存や転送を容易にする顕微鏡システムを提供する。【解決手段】顕微鏡システムは、焦点面における検体Ｓの画像を取得する顕微鏡２０と、顕微鏡２０が取得した画像を撮像する撮像部３０と、焦点面を顕微鏡２０の光軸方向に移動する焦点面移動機構４０と、撮像部３０が撮像した複数の画像の画像データを圧縮して、圧縮画像データを生成する圧縮部６０と、制御部５０であって、焦点面を所定の焦点座標に移動する焦点面制御信号を焦点面移動機構４０に送信し、複数の画像を撮像するタイミングを指示する複数の撮像タイミング信号を撮像部３０に送信し、複数の撮像タイミング信号の数を示すレイヤー数データを圧縮部６０に送信する、制御部５０と、を有する。【選択図】図１

Description

本発明は、顕微鏡システム及びデータ処理方法に関する。

顕微鏡検査は、がんや感染症の診断や食品検査などに広く利用されている。検査を行う
人材の不足や検査品質の向上などの課題に対応するために、顕微鏡画像をデジタル化して
、人工知能を利用した検査の効率化や、画像データを遠隔地に転送する遠隔検査などが試
みられている。

細胞などの微細な対象物の顕微鏡観察画像をデジタルデータとして記録したい場合、顕
微鏡にデジタルカメラを取り付けて顕微画像を撮像する。そして、得られた画像のデジタ
ルデータを、カメラに取り付けた記録デバイスに直接書き込んだり、デジタルカメラをコ
ンピュータ等に接続してコンピュータに転送したりする。特に、人工知能技術を顕微鏡検
査に応用するため、顕微鏡画像のデジタル化が進んでいる。

撮像対象物がデジタルカメラで撮像可能な視野に入りきらない場合、検体を載せたステ
ージを移動させて位置を変えながら、撮像を繰り返す。これにより、デジタルカメラの視
野より広い領域をデジタルデータとして記録できる。また、対象物と対物レンズとの間の
距離を変えながら撮像を繰り返すことにより、対象物の奥行方向の情報を含む積層画像を
記録できる。例えば、病理組織検体をスライド全体にわたりデジタル化するホールスライ
ドスキャナが実用化されている（非特許文献１）。

ホールスライドスキャナを用いた場合、例えば、１ピクセル当たり２５０ｎｍの分解能
で１５ｍｍ角の領域をデジタル化する。これにより、６万ピクセル×６万ピクセルの膨大
なデジタル画像が得られる。さらに、奥行き方向に３０層の３次元撮像を行うと、６万ピ
クセル×６万ピクセル×３０レイヤーの膨大なデジタル画像が得られる。このような膨大
なデジタル画像は、データ保存や転送などの際に、大量の保存領域や通信帯域を必要とす
るため、扱いにくい。そのため、膨大なデジタル画像を圧縮処理して記録することがある
。

圧縮には、ＬＺＷ、ＪＰＥＧ、ＪＰＥＧ２０００等、ロスレス圧縮あるいはロッシー圧
縮が一般に用いられる。典型的には、ＬＺＷでは、３～５倍程度で圧縮できる。ＪＰＥＧ
２０００では、１５～２０倍程度で圧縮できる。例えば、ＪＰＥＧ２０００では、１５Ｇ
Ｂ程度の検体データを３００ＭＢ程度に圧縮できる（非特許文献１）。

Ｚレイヤー顕微鏡画像を圧縮する方法として、例えば、特許文献１や特許文献２が提案
されている。しかし、特許文献１や特許文献２の方法では、圧縮効果が限定的であり、ま
た、圧縮のエンコードやデコードに要する処理時間やコストなどが課題となり、広く活用
されるには至っていない。

一方、映画などの動画圧縮においては、ＭＰＥＧ－２以降、Ｈ.２６４／ＡＶＣ、Ｈ.２
６５／ＨＥＶＣ、ＡＶ１などの各種圧縮技術が開発されている。例えば、映画のインター
ネット配信など、大量データを転送、記録する手段として広く活用されている。

顕微鏡の撮像において高分解能の立体画像を取得する場合、膨大なデータの扱いが問題
となる。例えば、細胞診やＦＩＳＨ法（Fluorescence in situ hybridization法）による
染色体検査などの顕微鏡検査では、検体の立体的な撮像が必要となる。細胞診の検体では
、細胞の塊が立体的に配置されているため、３次元でのデジタル化が必要となる。そのた
め、ホールスライドスキャナでスライド上の検体全域にわたって３次元でのデジタル化を
行うと、データ量がさらに膨大となる。同様に、ＦＩＳＨ法では、染色体に結合した蛍光
プローブの配置や数を測定する。蛍光プローブは、核内に立体的に配置されるため、３次
元での撮像が必要となる。そのため、大量の細胞についてデータを取得すると、データ量
は膨大になる。

また、スフェロイドやオルガノイドなどの細胞の塊を大量に撮像したり、時間を追って
その変化を撮像したりすると、データ量は膨大になる。すると、データの保管のためにス
トレージ増設などの設備投資が必要となる。また、データの転送や記録に時間がかかり、
待ち時間が増える。そのため、３次元顕微画像のデジタル化は、一部で実施されるにとど
まり、顕微鏡検査の現場で広く実用されていない（非特許文献２）。

ＪＰＥＧやＪＰＥＧ２０００などの２次元画像のデータ圧縮方法を、３次元画像中の個
々の２次元レイヤーに適用しても、３次元ホールスライド画像には十分な圧縮効率が得ら
れない。また、ＪＰＥＧ２０００は、比較的圧縮性能が高いが、対応できないコンピュー
タがあるなどの理由により利用されないことも多い。また、高度な圧縮技術では、コンピ
ュータの負荷が大きくなる。そのため、圧縮や復元に要する計算時間が長く、実用的では
ない。

３次元画像の代わりに、３次元の画像からフォーカスの合った部分のみを重ね合わせた
２次元画像を合成して、１つの２次元画像として記録する方法なども試みられている。し
かし、これを細胞診に応用すると、多数の細胞が重積した細胞塊では、多くの細胞の画像
が同じ個所に重ね合わされる。そのため、細胞核の構造など細胞内部の詳細構造が見えに
くく、正確な判断が難しい。また、細胞診において、複数の細胞の配置に異常が生じる構
造異形を識別するためには、立体のままの情報を確認する必要があり、２次元画像に圧縮
する方法は適さない。

特開２００７－１１９７７号公報特開２０１４－２９５２８号公報

Digital Imaging and Communications in Medicine (DICOM) Supplement 145: Whole Slide Microscopic Image IOD and SOP Classes Prepared by: DICOM Standards Committee, Working Groups 26, Pathology VERSION 9: For WG-06 meeting 2009/10/28 Ewen David McAlpine, Liron Pantanowitzk, and Pamela M. Michelow. Challenges Developing Deep Learning Algorithms in Cytology. Acta Cytologica 2021(65)301-309（DOI: 10.1159/000510991）

本発明は、３次元顕微鏡画像を、３次元の画像情報を保持したまま従来よりも高い圧縮
率で圧縮し、データの保存や転送を容易にする顕微鏡システム及びデータ処理方法を提供
することを目的とする。

本発明の第１の観点は、
焦点面における検体の画像を取得する顕微鏡と、
前記顕微鏡が取得した前記画像を撮像する撮像部と、
前記焦点面を前記顕微鏡の光軸方向に移動する焦点面移動機構と、
前記撮像部が撮像した複数の前記画像の画像データを圧縮して、圧縮画像データを生成
する圧縮部と、
制御部であって、
前記焦点面を所定の焦点座標に移動する焦点面制御信号を前記焦点面移動機構に送信
し、
複数の前記画像を撮像するタイミングを指示する複数の撮像タイミング信号を前記撮
像部に送信し、
前記複数の撮像タイミング信号の数を示すレイヤー数データを前記圧縮部に送信する
、
制御部と、
を有する、顕微鏡システムである。

本発明の第２の観点は、
焦点面における検体の画像を顕微鏡で撮像部に結像し、
前記焦点面を前記顕微鏡の光軸方向に沿って、所定の焦点座標に移動し、
撮像タイミング信号に基づいて、前記画像を前記撮像部が撮像し、
前記撮像タイミング信号の数を示すレイヤー数データを圧縮部に送信し、
前記撮像部が撮像した複数の前記画像の画像データを前記圧縮部が圧縮して圧縮画像デ
ータを生成する、
データ処理方法である。

本発明の顕微鏡システム及びデータ処理方法によれば、３次元顕微鏡画像を、３次元の
画像情報を保持したまま従来よりも高い圧縮率で圧縮し、データを容易に保存や転送でき
る。

実施形態のデータ処理システムの概略構成図３次元の顕微鏡画像を取得する方法を示す図単一スポット撮像時のフローチャート３次元の顕微鏡画像を取得する方法を示す図３次元の顕微鏡画像を取得する方法を示す図顕微鏡画像のブロック分割の説明図イントラレイヤー予測の説明図インターレイヤー予測の説明図タイリング処理の説明図タイリング処理の説明図照明ムラがある状態でのタイリング処理の説明図輝度補正後のタイリング処理の説明図フォーカス補正の説明図実施例の圧縮後の積層画像サイズを示すグラフ

以下、本実施形態の顕微鏡システムおよびデータ処理方法について、図面を参照して説
明する。図１は、本実施形態のデータ処理システムの概略構成図を示す。本実施形態のデ
ータ処理システムは、顕微鏡２０と、撮像部３０と、焦点面移動機構４０と、制御部５０
と、圧縮部６０と、を有する。データ処理システムは、更に、ステージ１０と、ステージ
移動機構４２と、画像バッファ５５と、記憶部７０と、送信部８０と、を有してもよい。
また、データ処理システムは、照明２２を有してもよい。

撮像対象物である検体Ｓは、ステージ１０に載置される。図１に示す例において、ステ
ージ１０は、ＸＹ平面に平行である。
顕微鏡２０は、焦点面における検体Ｓの画像を取得する。顕微鏡２０は、レンズなどの
光学系を有する。
撮像部３０は、撮像タイミング信号に基づいて、顕微鏡２０が取得した画像を撮像する
。撮像部３０は、例えば、デジタルカメラである。

焦点面移動機構４０は、焦点面制御信号に基づいて、顕微鏡２０の焦点面を光軸方向に
移動する。光軸方向は、ステージ１０に直交する。図１に示す例において、光軸方向をＺ
方向とする。本実施形態の光軸方向（Ｚ方向）は、鉛直方向であるが、光軸方向は、鉛直
方向に限られない。
ステージ移動機構４２は、ステージ移動制御信号に基づいて、顕微鏡２０とステージ１
０とを光軸方向に直交する方向（ＸＹ方向）に相対的に移動する。

画像バッファ５５は、撮像部３０と圧縮部６０との間に配置されてもよい。画像バッフ
ァ５５は、撮像部３０の出力側の一部として構成されてもよい。また、画像バッファ５５
は、圧縮部６０の入力側の一部として構成してもよい。画像バッファ５５は、撮像部３０
が撮像した複数の画像の画像データを一時的に保存する。
また、撮像部３０の出力側の一部として第１の画像バッファ５５が構成されるとともに
、圧縮部６０の入力側の一部として第２の画像バッファ５５が構成されてもよい。

圧縮部６０は、撮像部３０が撮像した複数の画像データ、もしくは、画像バッファ５５
に一時的に保存された複数の画像の画像データを圧縮して、圧縮画像データを生成する。
圧縮画像データは、撮像位置データを有する。
記憶部７０は、圧縮部６０が生成した圧縮画像データを記憶する。
送信部８０は、圧縮画像データを外部に送信する。

制御部５０は、撮像部３０、焦点面移動機構４０、ステージ移動機構４２、圧縮部６０
、記憶部７０、送信部８０を制御する。
具体的には、制御部５０は、焦点面を所定の焦点座標（Ｚ座標）に移動する焦点面制御
信号を焦点面移動機構４０に送信する。制御部５０は、画像を撮像するタイミングを指示
する撮像タイミング信号を撮像部３０に送信する。制御部５０は、焦点座標を有する撮像
位置データを圧縮部６０に送信する。制御部５０は、この複数の撮像タイミング信号の数
を示すレイヤー数データを圧縮部６０に送信する。ここで、レイヤー数データとは、１つ
のスポットにおけるＺ方向の撮像数を示すデータである。１つのスポットにおけるＺ方向
の撮像数は、予め設定される。

制御部５０は、撮像部３０が撮像した画像の画像データを圧縮部６０が適切に受け取り
、適切なフォーマットで圧縮処理を行うように制御する。制御部５０は、顕微鏡２０とス
テージ１０とを光軸方向に直交する方向（ＸＹ方向）に相対的に移動させるステージ移動
制御信号をステージ移動機構４２に送信する。制御部５０は、焦点面制御信号及びステー
ジ移動制御信号に基づき、焦点座標が所定の座標となるタイミングで撮像タイミング信号
を撮像部３０に送信する。これにより、撮像部３０は、所望の焦点面における検体Ｓの画
像を撮像できる。

制御部５０は、検体Ｓの識別情報を圧縮部６０に送信してもよい。制御部５０は、圧縮
画像データを記憶部７０に保存するように制御してもよい。制御部５０は、圧縮画像デー
タを外部に送信するように、送信部８０を制御してもよい。制御部５０は、記憶部７０に
保存する圧縮画像データや、送信部８０から外部に送信する圧縮画像データに、撮像条件
などの付加情報を付加してもよい。

ここで、図２Ａを参照して、３次元の顕微鏡画像について説明する。図２Ａは、３次元
の顕微鏡画像を取得する方法の一例を示す。３次元の顕微鏡画像は、顕微鏡２０において
、異なる焦点面を有する複数のレイヤー（Ｌ１～Ｌ５）の平面画像を奥行方向に積層する
ことにより得られる。例えば、ＣＣＤやＣＭＯＳなどのエリアセンサを搭載した撮像部３
０を用いて、エリアセンサに検体Ｓ上の焦点面の画像を結像する光学系において、顕微鏡
２０の対物レンズと検体Ｓとの距離を少しずつ変化させながら撮像を繰り返す。これによ
り、複数のレイヤー（Ｌ１～Ｌ５）の平面画像を連続的に取得して、３次元の顕微鏡画像
が得られる。

ここで平面画像は、例えば、レイヤー１層あたり２５０ｎｍや５００ｎｍなどのレイヤ
ー間距離で撮像を繰り返す。レイヤー間距離は、典型的には、２００ｎｍから２μｍ程度
である。
なお、焦点面付近における被写界深度は、光学系によって定まる。そのため、レイヤー
間距離と被写体深度とが概ね同等程度となるように、光学系を設定することが好ましい。
例えば、対物レンズの開口数や照明光の開口数によって、被写体深度が決まる。透過光に
より撮像する場合、検体Ｓに入射する透過照明光の開口を、開口絞りによって調整できる
。

顕微鏡２０の光学系の全部、もしくは対物レンズを含む光学系の一部を、垂直ステージ
（Ｚステージ）で光軸方向に移動させることで、検体Ｓと対物レンズとの間の距離を変化
させる。または、検体Ｓを搭載したステージ１０を垂直ステージに載せて光軸方向に移動
させることで、検体Ｓと対物レンズとの間の距離を変化させてもよい。
垂直ステージは、単一のステージでもよい。また、垂直ステージは、光学系を退避させ
る粗動ステージと、対物レンズと検体の間の距離を微調整する微動ステージなど、２種類
以上のステージを組み合わせた構成でもよい。積層画像のレイヤー間距離に対して十分な
精度で、垂直ステージは微動動作できる。

撮像時の垂直ステージの位置は、オートフォーカス処理により細胞像が結像する位置を
検出して決定することが好ましい。具体的には、撮像した画像のフォーカシングの程度を
数値化し、その値を垂直ステージ位置について評価し、最もフォーカスしている位置を撮
像時の垂直ステージの位置としてもよい。また、レーザなどを用いた距離センサで検体Ｓ
と顕微鏡２０との距離を計測して、垂直ステージを最適な距離に移動してもよい。

積層画像の撮影範囲は、フォーカス位置を基準として検体Ｓの特性を考慮して決定する
。例えば、細胞診検体の場合、多くの細胞はスライドガラス直上に定着しており、その上
に細胞が積層している構造であることが想定される。この場合、画像から判断したフォー
カス位置をスライドガラス直上と想定して、スライドガラス表面から、積層している細胞
の高さに対して十分な撮像範囲とレイヤー間距離を設定する。

検体Ｓの種類によって、制御部５０は、フォーカス位置、撮像範囲、レイヤー間距離の
パラメータを予め取得する。スライドの種類もしくはフォーカス処理により取得された画
像データの内容と、垂直ステージの位置によって、制御部５０は、フォーカス位置、撮像
範囲、レイヤー間距離のパラメータを切り替える。これにより、適切な３次元画像を復元
するのに必要十分な品質の画像を効率的に取得できる。
取得した複数個所の積層画像を統合するため、制御部５０は、撮像時に、垂直ステージ
位置のデータを記録する。例えば、制御部５０は、ステージ１０に搭載されたエンコーダ
を用いて、垂直ステージ位置を検出する。また、制御部５０は、ステージ１０の原点位置
からの移動量を積算して、垂直ステージ位置を検出してもよい。また、制御部５０は、ス
テージ１０を動作させるステッピングモータのパルスや、ステッピングモータのコントロ
ーラに入力される制御パルスをデジタル回路により監視して、垂直ステージ位置を検出し
てもよい。

図２Ａに示す例において、焦点面の移動が完了して停止した後に、画像を撮像してもよ
い。また、焦点面を連続的に移動させ、焦点面が所定の位置に到達したタイミングで画像
を撮像してもよい。後者の撮像方法は、前者の撮像方法よりも高速に画像を撮像できる。
なお、後者の撮像方法において、撮像部３０の露光時間中における焦点面の移動距離が
光学系の被写体深度に対して十分に大きいと、画像がぼけることがある。これを避けるた
め、光学系の被写体深度に合わせて撮像部３０の露光時間と焦点面の移動速度とを設定す
ることが好ましい。また、焦点面の移動速度をより高速にしたい場合は、照明２２にフラ
ッシュランプを用いることにより、焦点面の移動による画像のボケを削減できる。

制御部５０は、顕微鏡２０とステージ１０とを光軸方向に直交する方向に相対的に移動
させるステージ移動制御信号を送信する。また、制御部５０は、焦点面を所定の焦点座標
に移動する焦点面制御信号を送信する。垂直ステージが撮像したい特定の位置に移動した
ら、制御部５０は、撮像部３０に対して、撮像タイミング信号を送信する。撮像部３０は
、撮像タイミング信号を受信したタイミングで、画像を撮像する。

ここで、図２Ｂは、単一スポット撮像時のフローチャートを示す。まず、制御部５０が
撮像条件を設定する（ステップＳ１）。そして、制御部５０は、設定した撮像条件を、撮
像部３０と、焦点面移動機構４０に対して設定する。使用する場合は画像バッファ５５に
対しても撮像条件を設定する。

具体的には、制御部５０は、撮像部３０に対して、露光時間、撮像のタイミング、１つ
のスポットにおけるＺ方向の撮像数などを設定する。これにより、撮像部３０は、所望の
撮像タイミング信号のタイミングで撮像する。
また、制御部５０は、焦点面移動機構４０に対して、フォーカス位置、移動範囲、レイ
ヤー間距離などを設定する。これにより、焦点面移動機構４０は、所望の焦点面制御信号
のタイミングで動作する。

次に、制御部５０が圧縮部６０の設定を行う（ステップＳ２）。具体的には、制御部５
０は、１つのスポットにおけるＺ方向の撮像数、圧縮品質などを決定する圧縮パラメータ
を設定する。

続いて、１つのスポットにおけるＺ方向の撮像を開始する（ステップＳ３）。具体的に
は、制御部５０が焦点面移動機構４０に対して焦点面制御信号を送信するとともに、制御
部５０が撮像部３０に対して撮像タイミング信号を送信する。ここで、焦点面制御信号と
撮像タイミング信号は、同期している。そのため、焦点面移動機構４０が所定の位置に移
動したタイミングで、撮像部３０が撮像できる。また、撮像部３０が撮像した各画像と、
各レイヤーを関連付けられる。
なお、制御部５０は、必ずしも一定の時間間隔で撮像タイミング信号を送信しなくても
よい。

撮像部３０が撮像した画像の画像データは、圧縮部６０に転送される。（ステップＳ４
）このとき、画像データを画像バッファ５５に一時的に保存してもよい。画像バッファ５
５に一時的に保存された画像データは、順次、圧縮部６０に転送されてもよい。また、撮
像タイミング信号の間隔が短い場合、１つのスポットにおけるＺ方向の撮像数の画像デー
タは、まとめて圧縮部６０に転送されてもよい。画像バッファ５５を使用することで、撮
像とその後の処理を分割して並列化することができることから、撮像から保存に至る全体
の処理を高速化することができる。

圧縮部６０は、受信した画像データの枚数を検出し、所定時間内に１つのスポットにお
けるＺ方向の撮像数の画像データを受信したか否かを判断する。例えば、圧縮部６０は、
最初の画像データを受信してから３秒以内に３０枚の画像データを受信したか否かを判断
する。
所定時間内に１つのスポットにおけるＺ方向の撮像数の画像データを受信しなかった場
合、圧縮部６０は、エラー処理を行う（ステップＳ６）。具体的には、撮像タイミング信
号の数に比べて撮像数が少ない場合が有り得る。これは、撮像部３０が撮像タイミング信
号を適切に処理できず、一部のレイヤーについて撮像できていない可能性がある。そのた
め、圧縮部６０は、エラー処理として、同じスポットに対して再度撮像を行うか、タイム
アウト処理を行うほか、受信した画像データを圧縮して保存するなど、その後の処理に必
要となる処理をおこなう。

所定時間内に１つのスポットにおけるＺ方向の撮像数の画像データを受信した場合、圧
縮部６０は、転送された複数の画像データを圧縮して、圧縮画像データを生成する（ステ
ップＳ７）。画像バッファ５５に画像が一時的に保存されている場合は、画像バッファ５
５から画像データを読み出して、圧縮画像データを生成してもよい。
そして、圧縮画像データは、記憶部７０に転送される。記憶部７０は、転送された圧縮
画像データを記憶する（ステップＳ８）。
このようにして、単一スポットの撮像を行う。

複数スポットを撮像する場合は、１つの撮像位置での撮影が完了したら、制御部５０は
、次の撮像位置にステージ１０を移動して、撮像タイミング信号を送信する。複数の垂直
ステージ位置で連続して撮像することで、積層画像が得られる。この際、各撮像位置にお
いて、図２Ｂで示したステップＳ３～Ｓ８を行う。

垂直ステージ位置をリアルタイムに把握することで、高精度かつ遅延なく積層画像を取
得できる。撮像部３０がグローバルシャッタ―のイメージセンサである場合、シャッター
のタイミングは、全画素について同一である。そのため、撮像時の垂直ステージ位置は、
全画素について同一となる。
一方、撮像部３０がローリングシャッターのイメージセンサの場合、シャッターのタイ
ミングは、画素によって異なる。そのため、シャッターの動作タイミングから各画素のＺ
位置を推定できる。または、露光時間をローリングシャッターの移動時間より十分に長く
し、撮像タイミング信号から一定の遅延時間後に顕微鏡照明をパルス動作させることで、
ストロボ露光により、全画素で同一のシャッタータイミングで露光できる。このようにし
て撮像された各レイヤーの垂直ステージの撮像位置情報は、画像情報と共に保存される。
このとき、照明の絞りや光源の強度、撮像部３０のシャッタースピードやゲイン、ホワイ
トバランスなどの情報も記録されることが好ましい。

図３は、顕微鏡観察の対象となる検体Ｓが撮像部３０の視野よりも大きい場合に、３次
元の顕微鏡画像を取得する方法を示す。図３に示すように、検体Ｓを載せたステージ１０
を水平面上に移動して位置を変えながら、各位置での立体撮像を繰り返す。なお、検体Ｓ
を固定した状態で、顕微鏡２０の全体や顕微鏡２０の光学系を検体Ｓに対して移動させて
もよい。すなわち、顕微鏡２０とステージ１０が、光軸方向に直交する方向に相対的に移
動すればよい。
このとき、隣接するスポットをわずかに重複させることにより、撮像後に隣接するスポ
ットの画像を貼り合わせ、１枚の大きな画像を形成できる。

図４は、顕微鏡２０の対物レンズと検体Ｓとの距離を少しずつ変化させながら撮像を繰
り返す間に、検体Ｓの水平面上の位置を連続的に移動させて、３次元の顕微鏡画像を取得
する方法を示す。
図３のように移動と停止を返す方法では、停止後に検体Ｓが完全に静止してから撮像を
開始することが好ましい。そのため、待ち時間が発生する。これに対し、図４のように、
奥行方向とともに水平面上の移動を連続的に行いながら撮像を行うことで、移動後の停止
による揺れの影響を避けられる。これにより、待ち時間を削減し、高速で撮像できる。

顕微鏡２０と照明などの光学系と、検体Ｓを保持するステージ１０とを、２軸のステー
ジ１０（Ｘステージ、Ｙステージ）で水平方向に相対的に移動して、複数回の撮像を行う
。これにより、検体Ｓの撮像範囲の任意の位置を撮像できる。
予め検体Ｓ内の複数位置のフォーカス位置を取得し、その結果から、焦点面を推定する
。ここで、焦点面とは、複数位置におけるフォーカス位置との距離の総和が最小となる平
面である。これにより、ステージ１０の任意の撮像位置におけるフォーカス位置を計算で
きる。
なお、焦点面の推定には、他の最適化法を用いても良いし、光学特性から推定される焦
点面は、平面に限られない。また、直前もしくはそれ以前のステージ１０の位置における
フォーカス位置と撮像範囲から、現在の位置での焦点面を推定して、フォーカス位置を計
算できる。

また、それまでの撮像データから画像処理によりフォーカス位置を取得し、その結果を
反映してフォーカス位置を修正して撮像してもよい。これにより、全ての撮像位置につい
て、適切な焦点面と撮像範囲を含む積層画像を撮像できる。

複数個所の積層画像を統合するため、制御部５０は、撮像データと合わせて、ステージ
１０の位置を記録する。ステージ１０に搭載されたエンコーダを用いて、ステージ１０の
位置を検出する。また、ステージ１０の原点位置からの移動量を積算して取得して、ステ
ージ１０の位置を記録してもよい。

撮像部３０の解像度は、例えば、幅４０００ピクセル×高さ３０００ピクセルである。
典型的な縦横のピクセル数は、各々１０００～１００００程度である。細胞の観察には、
１ピクセルあたりのピクセルサイズが１５０ｎｍ～３０００ｎｍ程度となるように、光学
倍率を設定することが好ましい。

ここで、ピクセルサイズとは、１ピクセルあたりの検体Ｓ上の距離である。ピクセルサ
イズは、撮像部３０が有するＣＣＤやＣＭＯＳなどのセンサ上の画素サイズと光学倍率に
よって決定される。使用するセンサや光学倍率を変えることで、ピクセルサイズを調整で
きる。細胞や組織などの顕微鏡撮像において、通常の２０倍対物レンズや４０倍対物レン
ズに相当する画像を得るためには、例えば、ピクセルサイズが５００ｎｍや２５０ｎｍと
なるように光学倍率などを調整することが好ましい。

なお、光学的な分解能は、光学系の対物レンズの開口数および媒質の屈折率などに応じ
て変わる。ピクセルサイズは、光学系の分解能と同等程度かそれ以上となるように設計す
ることが好ましい。また、ラインセンサや単チャネル検出器を用いて、空間をスキャンす
ることで、３次元顕微鏡画像を取得することも可能である。

撮像部３０は、白黒画像、又は、カラー画像を取得する。カラー画像は、赤緑青（ＲＧ
Ｂ）などのカラー情報を有する。カラー画像を取得する場合、撮像部３０のイメージセン
サの各画素上には、赤緑青のカラーフィルターが、例えば、ベイヤー配列で配置される。
撮像部３０がＲＧＢのカラー画像を取得する場合、取得したＲＧＢデータに対して、以下
に示す線形変換を行うことにより、ＹＵＶデータやＹＣｂＣｒデータに変換できる。ここ
で、Ｙは画像の輝度成分であり、Ｕ、ＶもしくはＣｂ、Ｃｒは色差成分である。

顕微鏡２０で細胞を観察する場合、細胞や細胞内部の構造の輪郭線や点在する微粒子を
観察するために、輝度成分は高い解像度を有することが好ましい。他方、色差成分は、解
像度がやや低くても問題無い場合がある。例えば、ヘマトキシンで青色に染色された細胞
核を観察する場合、輪郭線が高解像度で得られていれば、細胞核であることが分かる程度
の色情報が得られれば足りる。すなわち、ＲＧＢ画像を輝度成分と色差成分に分離するＹ
ＵＶデータやＹＣｒＣｂデータへの変換により、輝度成分は高解像度で保持しつつ、色差
成分は解像度を落とすクロマサンプリングを行う。これにより、細胞などの観察を阻害せ
ずにデータを圧縮できる。クロマサンプリングの例として、輝度成分Ｙはオリジナルの解
像度のままで、色差成分Ｕ、Ｖの水平方向の解像度を半分に落とす４：２：２や、色差成
分Ｕ、Ｖの水平および垂直方向の解像度を各々半分に落とす４：２：０などがある。

圧縮部６０は、３次元の顕微鏡画像を圧縮する。圧縮部６０は、各レイヤーの画像をブ
ロック分割する。また、圧縮部６０は、ブロック単位で、イントラレイヤー予測、インタ
ーレイヤー予測、エントロピー符号化などの手法により、データを圧縮する。カラーの顕
微鏡画像をブロック分割する場合、ＹＵＶ変換およびクロマサンプリングされた顕微鏡画
像が好ましい。

以下、図５を参照して、圧縮部６０によるブロック分割について説明する。例えば、４
０００ピクセル×３０００ピクセルなどの大きな画像は、まずブロック分割を行うことで
、圧縮のための各種演算を行いやすくなる。ブロック分割は、例えば、４ピクセル×４ピ
クセル、８ピクセル×８ピクセル、１６ピクセル×１６ピクセル、３２ピクセル×３２ピ
クセル、６４ピクセル×６４ピクセル、１２８ピクセル×１２８ピクセルなど、異なるブ
ロックサイズを組み合わせることができる。

圧縮部６０は、必ずしも正方形のブロックに分割する必要はない。例えば、圧縮部６０
は、長方形のブロックに分割してもよい。圧縮部６０は、画像全体を均一にブロック分割
しなくてもよい。例えば、圧縮部６０は、複雑な細胞構造を有する領域Ｒ１では、小さな
ブロックに分割して、緻密に符号化を行う。一方、圧縮部６０は、単調な画像パターンの
領域Ｒ２では、大きなブロックに分割して、データ圧縮効果を高めることができる。細胞
診などの検体Ｓは、細胞が存在しない領域Ｒ３も含まれる。圧縮部６０は、細胞が存在し
ない領域Ｒ３を大きなブロックに分割し、細胞核など精密な構造観察が必要な領域Ｒ１を
小さなブロックに分割することで、データ圧縮効果が効果的に高まる。

以下、図６を参照して、圧縮部６０によるイントラレイヤー予測について説明する。イ
ントラレイヤー予測では、圧縮部６０は、輝度値の分布を適当な数式モデルにあてはめて
、各レイヤーの各ブロック内の画像を予測する。そして、圧縮部６０は、元の画像を予測
値と残差とで表現することにより、データ量を圧縮する。

イントラレイヤー予測では、圧縮部６０は、隣接参照画素から、予測ブロック内の画素
の輝度値を予測する。図６は、イントラレイヤー予測の一例であるＰｌａｎａｒ予測の説
明図である。Ｐｌａｎａｒ予測では、圧縮部６０は、図６においてａ、ｂ、ｃ、ｄで示す
隣接参照画素の輝度値を参照し、１つの画素Ｚの輝度値ｚを予測する。ここで、ｘ方向に
おいて、画素Ｚは、予測ブロックをｘ_１：ｘ_２に内分した位置にある。また、ｙ方向にお
いて、画素Ｚは、予測ブロックをｙ_１：ｙ_２に内分した位置にある。また、画素ｃ’と画
素ｃの輝度値が同じであり、画素ｄ’と画素ｄの輝度値が同じであると仮定する。

以下の数式に示すように、圧縮部６０は、輝度値ｂ、ｃを用いたｘ方向の線形予測から
、予測値ｚ_１を計算する。また、圧縮部６０は、輝度値ａ、ｄを用いたｙ方向の線形予測
から、予測値ｚ_２を計算する。そして、圧縮部６０は、予測値ｚ_１、ｚ_２の平均値ｚをＰ
ｌａｎａｒ予測値とする

なお、圧縮部６０は、ＤＣ予測やＡｎｇｕｌａｒ予測など、Ｐｌａｎａｒ予測以外の方
法でイントラレイヤー予測を行ってもよい。
また、圧縮部６０は、各予測ブロックに対して圧縮性能の高い予測方法を個別に選定で
きる。これにより、画像全体に対して、高い圧縮効果が得られる。なお、ＹＵＶ変換など
によってカラー画像を輝度成分と色差成分に分離している場合、輝度成分および色差成分
の各々に対して、イントラレイヤー予測を適用できる。

以下、図７を参照して、圧縮部６０によるインターレイヤー予測について説明する。イ
ンターレイヤー予測では、圧縮部６０は、複数のレイヤーにまたがった画像の変位を予測
する。細胞などの顕微鏡画像においては、近傍のレイヤーの画像のパターンが類似する。
そのため、圧縮部６０は、近傍レイヤーの画像を用いたインターレイヤー予測を行い、対
象となるレイヤーの画像を、予測と残差とに分けて符号化する。予測の精度が高ければ、
残差情報が非常に小さくなる。そのため、予測と残差情報を使用して目的フレームを符号
化することで、単独で圧縮した際よりデータサイズが少なくなり、高い圧縮効果が得られ
る。

対象となる３次元の顕微鏡画像のうちの一部は、インターレイヤー予測を用いずに、レ
イヤー単体で符号化した基準レイヤーとする。一連の積層画像に対して、少なくとも１つ
の基準レイヤーを設定することが好ましい。図３のように複数のスポットを連続して撮像
する場合は、各スポットに対して少なくとも１つの基準レイヤーを設定することが好まし
い。積層画像のうち任意のレイヤーを基準レイヤーとする。例えば、中央付近、最上端、
最下端のレイヤー、あるいはスライドガラス直上の面を撮像したレイヤーを基準レイヤー
にできる。

基準レイヤー以外のレイヤー画像は、予測レイヤーとする。予測レイヤーは、近傍画像
からの予測値と残差で符号化する。圧縮部６０は、図７においてＡで示される矢印のよう
に、上方又は下方に隣接した１つの画像から、予測レイヤーを予測する。また、圧縮部６
０は、上方および下方の双方向を含めた複数の隣接する画像を参照して、予測レイヤーを
予測してもよい。

大きな画像に対しては、顕微鏡画像をブロック分割したブロック単位で、インターレイ
ヤー予測を行うことが好ましい。ここで用いるブロックは、上述のインターレイヤー予測
に用いたブロックと同じものを用いてもよいし、そのブロックを例えば８ピクセル×４ピ
クセル、４ピクセル×８ピクセル、８ピクセル×８ピクセルなどの小さなブロックに分割
したものを用いてもよい。

なお、例えば、細胞の表面が斜めに傾斜した箇所などについては、図７においてＢで示
される矢印のように、参照するレイヤー上の同一位置から離れた箇所の画像、すなわち、
斜め下や斜め上の画像を参照して予測することにより、効果的に画像データを圧縮できる
ことがある。また、圧縮部６０は、図７においてＣで示される矢印のように、２つ以上離
れたレイヤーの画像を参照して、予測レイヤーを予測してもよい。予測のために参照する
ブロックの位置やレイヤーは、ブロックごとに適宜組み合わせて探索できることが好まし
い。

圧縮部６０は、分割した各ブロックに対して、イントラレイヤー予測とインターレイヤ
ー予測を組み合わせることで、効果的にデータを圧縮できる。従来のＪＰＥＧやＪＰＥＧ
２０００などは、２次元画像を一つずつ圧縮するものである。これに対し、細胞の３次元
顕微鏡画像においてレイヤーを少しずつ移動した場合、隣接するレイヤーの画像は類似度
が高い。そのため、インターレイヤー予測により、効率的に圧縮できる。

圧縮部６０は、更に、イントラレイヤー予測およびインターレイヤー予測を経たデータ
に対して、直交変換を行ってもよい。直交変換は、画像の情報を周波数領域に変換して、
データを圧縮する。圧縮部６０は、画像をブロック分割したブロック単位で、直交変換を
行うことが好ましい。ブロックのサイズは、例えば、４ピクセル×４ピクセル、８ピクセ
ル×８ピクセル、１６ピクセル×１６ピクセル、３２ピクセル×３２ピクセルである。
直交変換には、例えば、離散コサイン変換や離散サイン変換である。ブロックによって
は、変換を行わなくてもよい。なお、離散コサイン変換や離散サイン変換は、実数精度で
はなく整数精度で行うことが好ましい。これにより、環境に依存せず、一定した結果が得
られ、演算が高速になる。

圧縮部６０は、更に、各ブロックのデータをエントロピー符号化によって圧縮してもよ
い。エントロピー符号化の方式は、例えば、ハフマン符号やコンテキスト適応可変長符号
化（ＣＡＶＬＣ）、コンテキスト適応算術符号化（ＣＡＢＡＣ）である。

上記の通り、圧縮部６０が３次元顕微鏡画像を圧縮することにより、画像の劣化を抑え
つつ、データ容量を削減できる。一方、大量の入力画像に対して複雑な計算処理を行うた
め、圧縮の計算処理に要する時間が長くなる。そのため、計算処理の高速化が求められる
。
計算処理に要する時間を短縮するためには、未圧縮の画像データの転送や保存を減らす
ことが好ましい。そのため、３次元画像を撮像したら、速やかに圧縮を行い、データ容量
を速やかに削減する。３次元の顕微鏡画像は、例えば、ＣＭＯＳなどのエリアセンサを搭
載した撮像部３０を用いて、複数レイヤーの平面画像を連続して撮像することで取得でき
る。この場合、撮像部３０の内部、もしくは撮像部３０から画像データの信号を受け取っ
たコンピュータ内部において、速やかに画像データを圧縮することが好ましい。

また、撮像部３０の内部で各平面画像をＹＵＶ変換して４：２：２や４：２：０などに
クロマサンプリングを行い、更に、コンピュータ内部で複数の平面画像からなる３次元画
像に対する圧縮計算を行うなど、処理を分担することもできる。また、例えば、撮像部３
０がベイヤー配列のＲＧＢ画素を有するカラーセンサーを搭載したものである場合、ベイ
ヤー配列の生データをそのままコンピュータに転送し、コンピュータ上でＹＵＶ変換やク
ロマサンプリングを行った後に、更なる圧縮処理を行ってもよい。

複数レイヤーの平面画像の積層からなる３次元顕微鏡画像の圧縮計算は、専用の集積回
路などのハードウェアを活用することで、高速に実行できる。例えば、撮像部３０の内部
のＩＳＰ（Image Signal Processor）は、ベイヤー配列のデモザイキング処理の他、画像
の色補正処理、正規化処理、クロッピング処理、レンズの収差補正処理、ノイズ除去処理
などを行う並列ハードウェアを搭載している。これらの機能により、圧縮の際に圧縮率や
データサイズなどの品質を高めるための画像最適化処理を施してから、３次元画像を撮像
部３０から出力して転送できる。この際、処理要素あたりの処理時間を１フレームの取得
時間以下にして分割したハードウェアとすることや、カメラと処理要素の間、処理要素と
出力の間にバッファを構成することで、リアルタイム処理を妨げずに高速化ができる構成
としてもよい。

撮像部３０からの出力には、ＵＳＢ３．０、ＵＳＢ３．１、ＭＩＰＩ、Ｅｔｈｅｒｎｅ
ｔなどの高速インタフェースが用いられる。このような圧縮のための画像処理のためのハ
ードウェアは、撮像部３０の内部に限らず、撮像部３０から画像データを受け取ったコン
ピュータもしくはＳｏＣ（System on Chip）内に設置してもよい。
転送された画像は、チップ上のフレームバッファもしくはＳＲＡＭの他、コンピュータ
に接続されたＤＲＡＭなどのメモリ上に保持される。圧縮のための画像処理には、撮像部
３０の内部と同様に集積されたハードウェアであるＩＳＰを用いる他、並列に集積される
ＧＰＵ（Graphics processing unit）を用いることもできる。ＧＰＵには、汎用的な画像
処理が可能な並列演算器アレイの他、演算器と高速でデータの転送が可能なＶＲＡＭ（Vi
deo RAM）、画像処理のためのグラフィックスパイプラインが集積されており、ソフトウ
エア処理によりハードウェア処理に類似したリアルタイム処理を実現できる。

また、画像処理のためにＳｏＣ内部に集積されているＦＰＧＡ（Field programmable g
ate array）を用いて、必要な並列ハードウェアを実装してもよい。画像最適化処理後の
データは、チップ上のＲＡＭもしくは接続されたＤＲＡＭなどに保持される。画像最適化
が完了した画像データの圧縮処理には、チップ上に集積されているハードウェアエンコー
ダを用いるほか、ＧＰＵやＦＰＧＡに実装されたエンコード処理を用いてもよい。これら
のエンコーダを用いる場合、画像データは、前段の画像最適化処理でエンコードに適した
画像サイズとフレーム数に分割もしくはクロップされ、チップ上のＲＡＭへのデータの格
納もしくはエンコーダが接続されたデータ転送バスへのデータ転送を起点として圧縮処理
を実行する。

処理単位は、画像の類似度が高く、高い圧縮品質が得られる同一箇所の積層画像が好ま
しいが、それに限定されるものではない。複数個所の積層画像をまとめてエンコードする
ことで、効率を向上させてもよい。このとき、エンコーダも含めて複数の演算器を同時に
使用し、途中経過のデータをチップ上のＲＡＭもしくは接続されているＤＲＡＭに画像バ
ッファ５５を構成して保存して受け渡すことで、データの転送時間と演算時間をオーバー
ラップさせて全体の処理時間を短縮させる。これにより、リアルタイム処理を実現できる
。

撮像部３０の出力側の一部として画像バッファ５５が構成される場合、撮像部３０の撮
像タイミング信号の間隔が撮像部３０からのデータ出力レートより短い場合でも、画像信
号を画像バッファ５５に保存し、並行して出力することができる。これにより、撮像速度
をセンサ上限まで向上する。

また、圧縮部６０が入力側の一部として画像バッファ５５が構成される場合、画像バッ
ファ５５に指定枚数の画像がそろったタイミングで、圧縮部６０が圧縮処理を実行できる
。これにより、効率的な処理を行うことができる。
また、撮像部３０の出力画像の形式と、圧縮部６０が必要とする画像の形式が異なる場
合に、圧縮部６０の入力側に複数の画像バッファを用意して、並列に変換処理を行っても
よい。これにより、撮像部３０の入力フレームレートと、圧縮部６０の動作フレームレー
トを、ハードウェアの取りうる最大の値に保ちながら、リアルタイム処理を実現できる。

圧縮処理の内容によっては、処理の一部もしくは全体をＣＰＵによるソフトウエア処理
で実行することもある。この場合、エンコーダへのデータの入出力は、ＣＰＵがアクセス
可能のメモリ領域で行うことで、ソフトウエアとエンコーダのパイプライン動作により、
リアルタイム処理を行う。
圧縮が完了したデータは、チップ上のＲＡＭもしくは接続されたＤＲＡＭなどに保持さ
れた後、ＳＳＤやＨＤＤなどの外部ストレージに保存される。また、圧縮後にバッファを
介すことなく、データ転送バスから直接外部ストレージに書き込まれてもよい。外部スト
レージへのアクセスには時間を要するため、圧縮が完了したデータを保存が必要なタイミ
ングで書き込むことが好ましい。また、必要に応じて、圧縮データに対して、追加の符号
化処理や計算処理を行ってもよい。

図２Ａを参照して説明した通り、制御部５０は、撮像部３０による撮像と同期して検体
Ｓと顕微鏡２０の対物レンズとの間の距離を変化させる。このとき、制御部５０は、各レ
イヤーの垂直ステージの位置情報を、各レイヤーの画像とともに記録することが好ましい
。また、図３や図４に示すように、検体Ｓの水平面上の位置を移動させながら撮像を繰り
返し、撮像対象の検体Ｓの全体もしくは特定の部分の３次元顕微鏡画像を取得してもよい
。この場合、垂直ステージの位置情報に加えて、ステージ１０の位置情報（Ｘ座標、Ｙ座
標）も記録することで、全体の撮像時間を短縮しながら、各層により異なる位置の画像を
正確に配置して統合できる。垂直ステージやステージ１０の位置情報は、各画像を撮像す
るタイミングで取得し、生成した圧縮画像とともに記録することが好ましい。例えば、垂
直ステージを移動させながら撮像した積層画像におけるレイヤー間の距離の情報は、デコ
ンボリューション計算などにおいて必要となる場合がある。また、図３のように複数スポ
ットで撮像する場合、各スポットの位置情報は、各スポットの画像を貼り合わせて全体の
画像を取得する場合などに有用である。

なお、撮像の情報は、例えば、ステージ位置の他、対物レンズの倍率や種類、光学フィ
ルタやダイクロイックミラーなどの光学素子の有無や種類、カメラの露光時間、ＩＳＯ感
度、ゲイン、ホワイトバランスなどの設定値、照明光の強度や絞りの位置などである。

また、複数の検体Ｓを連続して撮像するため、制御部５０は、例えば、検体Ｓに付与さ
れた番号など、撮像した検体Ｓの情報も取得することが好ましい。撮像対象とする検体Ｓ
がスライドグラスの場合、スライドグラスのラベル部に検体Ｓの情報を記入することが一
般的である。そのため、スライドグラス全体の画像を撮像して一緒に記録することで、ス
ライドガラスの情報と撮像した検体Ｓの積層画像が紐づけられる。

このとき、個人情報を保護するため、制御部５０は、特定の部分を指定してスライドラ
ベルの一部の情報を除外して保存してもよい。また、撮像に用いた装置に付与された番号
や機種名、撮像を行ったユーザの情報なども必要となることがある。制御部５０は、これ
らの情報を、生成した圧縮画像と一体で管理し、保存や転送を行う際に添付してもよい。
また、制御部５０は、これらの情報を別途データベース等に格納し、レコードに一意に割
り当てられたＩＤ番号を、生成した圧縮画像とともに記録してもよい。

制御部５０は、撮像時だけでなく、既に撮像済みの顕微鏡画像を圧縮する際に圧縮画像
へ情報を付加してもよい。既に取得された顕微鏡積層画像について、位置情報、撮像情報
、検体Ｓに関する情報などが付加されていれば、垂直スタック画像を圧縮した圧縮データ
と、撮像情報や検体情報を合わせて記録することで、圧縮画像をデコードした後にタイリ
ングやデコンボリューションなどの処理を適切に行ったり、目的とする検体Ｓの画像を正
しく選んで観察したりできる。
また、積層画像の位置情報は、既存の顕微鏡２０で取得された際に記録されている位置
情報を用いる他、積層画像を配置して貼り合わせ、その一致度から各画像の位置を推定し
て位置情報を生成してもよい。撮像情報についても、個々の画像の背景や細胞の輝度情報
や色情報から推定した情報などを付加してもよい。

制御部５０は、圧縮した３次元画像を記憶部７０に保存する。また、制御部５０は、圧
縮した３次元画像を、送信部８０からサーバーやクラウド上のストレージなどにネットワ
ークを介して転送する。圧縮によりデータサイズが小さくなり、より円滑にデータを転送
できる。また、データ転送により、外部の計算機リソースにアクセスし、多人数や遠隔地
からアクセス可能となる。
圧縮した３次元画像を、デコード計算で積層した２次元画像に復元することにより、容
易に閲覧でき、画像処理計算に用いることができる。例えば、デコードした３次元画像を
入力として、深層学習などの人工知能による画像処理を行うことで、特定の種類の細胞を
自動的に検出し、また、検出した細胞を分類することもできる。閲覧などの処理に使用し
ない間は、データを圧縮ファイルの形式で保存し、必要になった際に都度デコードしても
よい。

デコード演算のためには、まずデータを圧縮画像データと、画像に付加して保存した座
標データや撮像情報データ、検体情報データとに分離する。分離後の圧縮画像データには
、１つ以上の箇所の積層画像が圧縮画像として含まれる。これを、各箇所、各層の２次元
画像データにデコード演算により復元する。データの分離およびデコード計算は、サーバ
ーやクラウド上のストレージから読み込まれたデータに対して、サーバーやクラウド上に
準備したＣＰＵ、ＧＰＵ、デコード用のハードウェア、デコード用のハードウェアを実装
したＦＰＧＡなどを用いる。クラウドの場合は、デコード演算に要求される時間とデータ
処理量に応じた計算リソースを動的に割り当てることで、デコード演算を高速かつ安価に
実施できる。デコードを行うとデータサイズは大きくなる。そのため、デコード後の画像
は、大きな容量のメモリに保持したうえで後段の処理を行うか、大容量もしくは分散した
ストレージに保存することが好ましい。

デコード後の画像は、１スポットもしくは複数スポットの積層画像データである。デコ
ード後の画像が複数スポットの積層画像であり、複数スポットの画像を貼り合わせて１つ
の大きな画像に統合する場合には、各スポットの画像をタイル状に貼り合わせてタイリン
グ処理を行う。図８、図９は、タイリング処理の一例を示す図である。タイリング処理で
は、隣接するスポットにおける重なり領域の画像を比較し、両者の画像パターンが一致す
る位置で画像を結合する。このとき、比較を行う隣接スポットの画像がぼけていると、正
確な位置決めが難しい。そのため、各スポットの平面画像の中から焦点が合っている画像
を選定し、選定した画像を用いて、隣接スポットの画像比較を行い、各スポットのタイリ
ング後の画像位置を決定することが好ましい。その後、積層画像の各レイヤーについて、
隣接スポットの画像を貼り合わせる画像統合の処理を行う。これにより、各スポットの積
層画像を貼り合わせた統合した積層画像が得られる。このとき、統合処理後のレイヤー数
は、撮像時のレイヤー数を上限として、焦点が合っている領域が含まれている画像のレイ
ヤーのみを統合してもよい。

タイリング処理を行う際、事前に標本全体の輝度情報やカラー情報を調整し、閲覧やそ
の後のデータ処理に適した画像とするための画像処理を行うことが好ましい。特に、図１
０に示すように、照明ムラなどにより画像中の位置によって輝度やコントラストが異なる
場合、そのままタイリング処理を行うと貼り合わせ箇所に輝度のずれが生じ、見た目に違
和感を与えることがある。これを避けるために、図１１に示すように、各スポットの画像
全体の輝度やコントラストが概ね同一のレベルにそろうよう、輝度およびコントラストを
予め調整することが好ましい。

顕微鏡２０の光軸が対象物に対して完全に直交していない場合、撮像した画像中の位置
によって画像フォーカスの具合が異なる場合がある。このような場合は、積層画像の中か
ら同一フォーカス面の画像を合成するフォーカス処理により、画像全体のフォーカス具合
が均一化された積層画像に変換できる。
また、タイリング処理の前もしくは後のいずれかにおいて、積層画像に対してデコンボ
リューション計算を行い、焦点ずれによるボケを削減した画像を取得してもよい。

統合処理により、標本全体について、閲覧やその後のＡＩ解析に適した１レイヤー以上
の統合画像データが得られる。統合処理におけるデータ依存性は、隣接した撮像位置との
間のみである。そのため、統合処理を並列に実行し、処理を高速化できる。このため、統
合処理に使用する画像ストレージ領域を分散して、並列のＣＰＵもしくはＧＰＵなどの演
算器を用いて、並列に入出力と処理を実行できる。ストレージへのデータ入出力の実行時
間が問題となる場合は、１レイヤーもしくは複数レイヤーの画像をメモリ上にマッピング
して、並列に処理を実行してもよい。

統合処理後の複数レイヤーの画像は、１ピクセルの解像度が２５０ｎｍである場合、標
本領域の大きさが２０ｍｍ×２０ｍｍの場合、８００００×８００００ピクセルの大きさ
となる。そのため、４Ｋモニタを使用しても表示できるのは１辺の長さの比で全体の約１
／２０となり、そのまま閲覧することは現実的ではない。また、実際に画像を閲覧する場
合、標本全体から詳細を拡大、縮小しながら、移動して閲覧することが望ましい。このた
め、フルサイズの画像から、段階的に縮小した画像を作成し、それを分割して保存するこ
とで、任意の倍率の任意の場所の画像を高速に読み出すことが有用である。例えば、元の
画像サイズから、１／２、１／４、１／８と縮小していき、更に各サイズの画像を２５６
ピクセル角や５１２ピクセル角などの小さなブロックに分割する。これにより、読み出し
の画像サイズを小さくして、高速に読み出し可能となる。

このように、段階的に解像度を変えた一連の画像は、画像ピラミッドなどと呼ばれる。
画像ピラミッドの一例として、例えば、マイクロソフト社が発表したDeep Zoom File For
matは、各ピラミッドの各ブロック画像を個別のＪＰＥＧ形式やＰＮＧ形式などの画像フ
ァイルとして保持し、更に画像全体の大きさや各ブロックのサイズなど画像ピラミッドの
読み出しに必要となる情報をＸＭＬ形式で保持したものである。

なお、画像ピラミッドはこれらに限らず、例えば、バイナリ形式で複数の倍率の画像を
分割して連結して保存し、読み出し用のインデックスヘッダを設けて、ヘッダへのアクセ
スにより読み出し場所を特定して必要なデータを高速に読み出すデータ構成としても良い
。また、ここで保存されるバイナリは、デコード後のビットマップ画像の他、デコード品
質を妨げない程度に圧縮されたＪＰＥＧ形式もしくはその他の圧縮形式の画像でもよい。
また、画像と付随して画像に付加されている撮影情報や、座標情報、３Ｄレイヤー情報、
フォーカス位置情報、画像解析により得られている細胞に関する情報を一緒に読み出せる
ようにしてもよい。

画像の読み出しのためには、高速に画像を読み出すためのソフトウエアならびにＡＰＩ
を提供することができる。ソフトウエアは、単一もしくは複数の画像読み出し処理を実行
可能で、必要に応じて画像形式を変換して出力する。画像の読み出しの際には、ソフトウ
エアに対して必要な画像のＸ、Ｙ、Ｚ位置、解像度、画像形式を指定して、読み出しのコ
マンドを送出する。これにより、バイナリ形式の画像から、必要な画像データを取得する
ことができる。また、画像に付随した情報を必要な形式に変換して出力できる。Ｚ位置を
含む入力パラメータに対して、リアルタイムで該当箇所の画像を出力することで、顕微鏡
２０の操作と同等のユーザインタフェースを３Ｄ撮像データに対して提供できる。

表示や解析のためにＷｅｂアプリケーションからサーバーやクラウドからデータを読み
出すためには、検体Ｓの識別情報とデータを取得する位置、必要な画像情報を符号化した
ＵＲＩをＷｅｂアプリケーション側よりリクエストとして送出し、サーバー・クラウド側
から応答として必要な情報と画像データを転送する。この通信は、データのセキュリティ
を確保するため、暗号化やアクセストークンにより保護して、必要な認証に基づいてデー
タの送受信が実行される。もしくは、認証機能を有するデータ取得ＡＰＩとして、サーバ
ー・クラウド側で実現される。この画像データへのアクセスは、１回のアクセスでは単一
の標本に対して表示や解析のために限られた領域の画像データを取得するためのものであ
る。そのため、サーバー側で必要となる画像データの依存性は極めて低い。このため、分
散ストレージや並列アクセスが可能なＡＰＩサーバー、Ｗｅｂサーバーを利用することで
、複数ユーザからの多数のアクセスに対して短時間で応答が可能なスケーラブルなシステ
ムを実現できる。このような画像の読み出しのために、必要な画像の識別情報とＸ、Ｙ、
Ｚ位置、解像度、画像形式、読み出すユーザの組織情報、認証情報を入力パラメータとし
て、画像と付随する情報を必要な形式で出力するＡＰＩを構成し、並列で動作させる。こ
れにより、Ｗｅｂアプリケーションにおいても、顕微鏡２０の操作と同等のユーザインタ
フェースを３Ｄ撮像データに対して提供することができる。

デコードした３次元画像をコンピュータ画面上に表示する際には、奥行き上の位置を前
後に切り替えて表示することで、あたかも顕微鏡２０で奥行きを前後に移動したかのよう
な見せ方をすることができる。奥行きの切り替えには、切り替えのスライダーやボタンな
どのユーザインタフェースを画面上に用意して操作する他、マウスのトラックホイールや
、キーボードへのキーバインド、さらに顕微鏡２０のフォーカスリングと同様のダイヤル
状デバイスを利用して奥行きを切り替える。これにより、顕微鏡２０と類似の操作感にで
きる。また、同様のユーザインタフェースを用いて、水平面上の位置や拡大倍率を観察者
が自在に変更してもよい。

３次元表示を行う場合、デコードした画像に対してデコンボリューション処理を行うこ
とで、より明瞭な表示結果が得られる。また、３次元画像の各レイヤーから焦点が合った
部位のみを繋げて表示することにより、１枚の２次元画像を合成して表示できる。

このように、３次元画像に対して顕微鏡２０と類似のインタフェースを実現するほか、
３次元の顕微鏡画像に対して視点や向き、拡大倍率を自在に変更したり、断層画像を見せ
たり、３次元ディスプレイ上に表示したりできる。例えば、１つの表示形式として複数の
レイヤー画像をその３次元位置を保持して仮想空間上に配置し、各ボクセルに対してその
輝度情報や色情報に応じた色、透過率、もしくは反射率、もしくはその角度分布などを設
定する。この仮想空間に対して、１つ以上の任意の点の照明と、任意の点の視点を設ける
ことで、任意の方向から見た細胞の３次元画像を表示できる。

また、ピクセル画像を点群に変換し、点群を３次元座標上に配置して、それぞれの点群
の透過度や反射率、その方向を定めることで、３次元画像を表示できる。
また、例えば、細胞質や細胞核などの特定の領域を抽出もしくはセグメンテーションし
てボクセルデータとして連結し、その表面に対して透過率と反射率を設定して画像を表示
するボリュームレンダリングにより、３次元データを表示できる。
また、ボリュームレンダリングの表面情報のみを抽出し、その表面の法線方向のベクト
ルと、その位置の画像情報から、ボクセル情報を表面のポリゴン情報に変換し、ポリゴン
で構成された３次元モデルとして表示できる。

これらの画像データの変換や表示の際には、画像に対してデコンボリューション処理に
より表示したい３Ｄ位置以外のデータを分離する処理を行う他、表示したい領域や強調し
たい領域を指定して、その部分を特徴的に表示することもできる。例えば、核の情報を抽
出、強調することにより、核の形状、核の内部の核小体、クロマチンなどの細胞診に重要
な領域を強調表示して判断しやすくなる。また、その形状を分析することにより、物理的
な計測結果を一緒に表示できる。

図１３は、各層の画像を従来の静止画像として保存した場合と積層画像として圧縮して
保存した場合の比較を示す。５４７２×３４６８ピクセルの３０層の画像を用いて、各層
をＪＰＥＧ画像（品質１００）で保存した場合と、積層画像として圧縮して保存した場合
の、各積層画像のデータサイズと、ＪＰＥＧ画像に対する積層圧縮画像のピーク信号対雑
音比ＰＳＮＲを調べた。画像１～３のＪＰＥＧ画像のデータサイズは、それぞれ、３０４
ＭＢ、３０６ＭＢ、３００ＭＢである。積層圧縮後の画像サイズは、圧縮の際のパラメー
タにより、必要とされる画質や画像サイズに対して可変である。この結果、ＰＳＮＲはＪ
ＰＥＧ画像と比較して見分けをつけるのが一般的に困難な４０以上の水準を維持しながら
、画像サイズをＪＰＥＧ画像の合計と比較して１／１６～１／１００に大きく削減できた
。

１０ステージ
２０顕微鏡
２２照明
３０撮像部（カメラ）
４０焦点面移動機構
４２ステージ移動機構
５０制御部
５５画像バッファ
６０圧縮部
７０記録部
８０送信部
Ｓ検体

Claims

焦点面における検体の画像を取得する顕微鏡と、
前記顕微鏡が取得した前記画像を撮像する撮像部と、
前記焦点面を前記顕微鏡の光軸方向に移動する焦点面移動機構と、
前記撮像部が撮像した複数の前記画像の画像データを圧縮して、圧縮画像データを生成
する圧縮部と、
制御部であって、
前記焦点面を所定の焦点座標に移動する焦点面制御信号を前記焦点面移動機構に送信
し、
複数の前記画像を撮像するタイミングを指示する複数の撮像タイミング信号を前記撮
像部に送信し、
前記複数の撮像タイミング信号の数を示すレイヤー数データを前記圧縮部に送信する
、
制御部と、
を有する、顕微鏡システム。
前記圧縮部は、
所定時間内に前記レイヤー数データに基づく撮像数の前記画像データを受信しなかった場
合に、エラー処理を行う、
請求項１に記載の顕微鏡システム。
前記検体が載置されるステージと、
前記顕微鏡と前記ステージとを前記光軸方向に直交する方向に相対的に移動するステー
ジ移動機構と、
を更に有し、
前記制御部は、前記顕微鏡と前記ステージとを前記光軸方向に直交する方向に相対的に
移動させるステージ移動制御信号を前記ステージ移動機構に送信する、
請求項１又は２に記載の顕微鏡システム。
前記圧縮部が生成した前記圧縮画像データを記憶する記憶部を更に有する、
請求項１～３のいずれかに記載の顕微鏡システム。
前記制御部は、前記焦点面制御信号及び前記ステージ移動制御信号に基づき、前記焦点
座標が所定の座標となるタイミングで前記撮像タイミング信号を前記撮像部に送信する、
請求項３又は４に記載の顕微鏡システム。
前記記憶部は、撮像位置データを、前記圧縮画像データとともに記録する、
請求項１～５のいずれかに記載の顕微鏡システム。
焦点面における検体の画像を顕微鏡で撮像部に結像し、
前記焦点面を前記顕微鏡の光軸方向に沿って、所定の焦点座標に移動し、
撮像タイミング信号に基づいて、前記画像を前記撮像部が撮像し、
前記撮像タイミング信号の数を示すレイヤー数データを圧縮部に送信し、
前記撮像部が撮像した複数の前記画像の画像データを前記圧縮部が圧縮して圧縮画像デ
ータを生成する、
データ処理方法。
所定時間内に前記レイヤー数データに基づく個数の前記画像データを受信しなかった場
合に、前記圧縮部は、エラー処理を行う、
請求項７に記載のデータ処理方法。
ステージ移動制御信号に基づいて、前記検体が載置されるステージと前記顕微鏡とを、
前記光軸方向に直交する方向に相対的に移動する、
請求項７又は８に記載のデータ処理方法。
前記圧縮画像データを記憶する、
請求項７～９のいずれかに記載のデータ処理方法。
前記焦点座標が所定の座標となるタイミングで、前記撮像タイミング信号を前記撮像部
に送信する、
請求項７～１０のいずれかに記載のデータ処理方法。