JP2015154324A

JP2015154324A - 撮像システム、撮像装置、画像処理装置

Info

Publication number: JP2015154324A
Application number: JP2014027534A
Authority: JP
Inventors: 佐々木　亨; Toru Sasaki; 亨佐々木
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2014-02-17
Filing date: 2014-02-17
Publication date: 2015-08-24
Also published as: EP2908286A1; CN104853086A; US20150234171A1

Abstract

【課題】非可逆圧縮した画像データの継ぎ合わせ処理の精度を向上するための技術を提供する。
【解決手段】撮像装置が、被写体の複数のエリアを、隣接するエリアの端部が互いに重なるように、撮像し、前記複数のエリアそれぞれに対し、当該エリアの画像データと、当該エリアと当該エリアに隣接するエリアの間の重なり部分のデータである周辺データとを生成し、前記画像データを非可逆圧縮する。画像処理装置が、前記複数のエリアそれぞれの、非可逆圧縮された画像データと周辺データを取得し、隣接する二つのエリアの画像データを継ぎ合わせる処理に用いるパラメータを、当該二つのエリアの周辺データを用いて決定し、前記非可逆圧縮された画像データを復号し、復号された前記複数のエリアの画像データを前記パラメータを用いて継ぎ合わせる。
【選択図】図１

Description

本発明は、画像の継ぎ合わせ機能を有する顕微鏡撮像システムに関する。

近年、病理医の不足や遠隔地医療等の問題を解消するため、病理標本画像を用いた診断の重要性が高まっている。病理標本画像は、電動ステージを備えた顕微鏡や医療用スライドスキャナ（以後、顕微鏡撮像システムと呼ぶ）により取得されるが、診断に耐えうる高精度な画像を取得するためには多くの技術課題を克服する必要がある。

技術課題の一つとして、画像の継ぎ合わせに関する問題が知られている。デジタル顕微鏡の対物レンズで結像できる標本の範囲は、標本全体と比べて小さく、通常は１００分の１以下である。そのため、標本全体を画像化するには、位置の異なる複数の画像を撮像して継ぎ合わせる必要がある。

一般的に、電動ステージにより標本を一定間隔ずつ動かしながら撮像を繰り返し、複数の画像データが取得される（一回の撮像で取得される画像データを「タイル」と呼ぶ）。このとき、ステージのガタ等の影響で位置ずれが生じ、像が影響を受ける。その結果、タイルを並べるだけでは継ぎ目に差異が生じて全体を表す画像データ（以後、「全体画像」と呼ぶ）が得られない。そのため、隣接するタイルの周辺部が重なるようにタイルを取得し、重複箇所の形状が一致するように位置ずれ補正を行ってから全体画像を合成するのが一般的である。また、対物レンズの歪曲収差や像の回転等の補正も行われている。

また、多数のタイルを継ぎ合わせる場合には、近傍に位置するタイルのみから位置ずれを推定することができず、広範囲に相当する多数のタイルを保持して位置ずれ推定を行う必要がある。この方法はグローバルレジストレーションとして知られている。病理標本の全体画像を作成するには、一般的な構成（１／１．８インチのイメージセンサと２０倍対物レンズ）を用いた場合、２万枚以上のタイルが必要である。このように多数のタイルを保持し処理するために、顕微鏡撮像システムは、記憶容量が大きく高速アクセス可能なメモリやハードディスク、計算負荷の大きい位置ずれ量推定処理を実行できるＣＰＵを備える必要がある。しかしながら、ハードウェア規模の増大は、装置の大きさやコストの観点から望ましくない。

特許文献１に開示されている顕微鏡撮像システムでは、画像ストライプ（ステージを動かしながらラインセンサで取得した横長の区画）を順番に撮像し、隣接する画像ストライプが得られたタイミングで位置ずれ推定を行う。画像ストライプは、イメージセンサにより取得されるタイルの１００倍以上の大きさの領域に相当する。イメージセンサを使用した顕微鏡撮像システムと比較すると、継ぎ目の数が大幅に減ることになり、グローバルレジストレーションを実施する必要が無い。結果として、顕微鏡撮像システムのハードウェアを小規模に保っている。

顕微鏡撮像システム以外のスキャナ装置においても、継ぎ合わせ処理実行のために装置内ハードウェア規模が大きくなる場合が考えられる。特許文献２に開示されているハンドスキャナは、本体を紙上で動かし、本体に搭載されているラインセンサにより、紙に記載されている画像情報を取得する装置である。手で保持して動かすために、装置本体は極力小さくする必要がある。上記ハンドスキャナは、一定区間スキャンしたデータを一つのタイルとし、タイルを圧縮してからＰＣに送信する。ハンドスキャナの位置データをタイルに付加して送り、ＰＣ内で位置データを基にタイルを継ぎ合わせる。通常、スキャナ装置
とＰＣ間で行われるデータ通信の転送レートは低いが、タイルを圧縮して送ることで、スキャナ装置内でタイルを蓄える必要が無い。計算負荷の大きい継ぎ合わせ処理をＰＣ上で実行して小規模のハードウェア構成を実現している。

また、継ぎ合わせ処理内で行われる位置ずれ推定処理は、複数画像を用いた画像高精細化処理でも用いられる。継ぎ合わせ処理を用いた装置と同様にハードウェア規模の増大が伴う可能性がある。特許文献３に開示されている画像処理装置は、低解像度の全体像に対し、圧縮した高解像度部分像を位置合わせして貼り合わせることで、高精細画像を生成する。高精細化する前の圧縮した状態で保存、通信を行うことで、メモリ等のハードウェア規模を小さく保っている。

特表２００８−５１１８９９号公報（ＷＯ２００６／０２８４３９）特開平１１−７３４９４号公報（ＵＳ６２５９８２６Ｂ１）特開２００９−０４８４８７号公報

課題の説明の前に、装置構成に関する用語を定義する。顕微鏡撮像システムでは、イメージセンサにより撮像した画像データに対し、ノイズ補正処理等の計算負荷の小さく軽い処理から、継ぎ合わせ処理のように重い処理まで施す必要がある。以後、二つの装置（各々撮像装置、画像処理装置と呼ぶこととする）により構成され、各装置において処理を分担する顕微鏡撮像システムを取り扱う。撮像装置は、イメージセンサによる画像データ取得とセンサノイズ補正等の比較的軽い処理を担当し、画像処理装置は継ぎ合わせ処理等の比較的重い処理を担当する。画像処理装置には、ワークステーションやサーバー等の外部計算機や、市販のマザーボードによる実装を想定している。

顕微鏡撮像システムにおいて撮像装置のハードウェア規模を小さく保ちながら、継ぎ合わせ処理をワークステーション等の画像処理装置で実行するためには、撮像装置で取得したタイルを滞りなく画像処理装置に転送する必要がある。イメージセンサの画素数が多い場合や複数のイメージセンサを用いる場合には、データ転送レートが低いデータ伝送路（撮像装置と画像処理装置間のケーブル）がボトルネックとなるため、撮像装置側でタイルに圧縮処理を施す必要がある。顕微鏡撮像システムでは取り扱うデータが非常に大きいことから、１／１０以下の圧縮率（圧縮前のデータサイズを１としたときの圧縮後のデータサイズの割合）を達成できる非可逆圧縮が必須となる。

しかしながら、非可逆圧縮処理を施したタイルを復号すると、圧縮前タイルに存在しなかったノイズ（以後の説明ではアーチファクトと呼ぶ）が発生する。位置ずれ推定時には、重複撮像されているタイルの周辺部と隣接タイルの周辺部の一致度を計算するが、アーチファクトが影響し推定値に誤差が混入する。我々が行ったシミュレーションでは、非圧縮のタイルを用いれば位置ずれ推定に成功するが、ＪＰＥＧ圧縮（圧縮率４％）を施した場合に位置ずれ推定結果が異なる割合は、全試行の１０％に及んでいる。また、位置ずれ推定結果の差は、１０％の内、５％は１画素程度の微小差であったが、残りの５％は比較的大きい位置ずれ推定誤差であり、２０画素以上になる場合も確認している。

この課題を解決するために、特許文献２に開示されている方法のように、ステージの位置変動を測定しそのデータをもとに継ぎ合わせ処理を行うことも考え得る。しかしながら、ステージの位置変動の測定には高価な測定器が必要なため、コスト増大につながる。また、歪曲等の変形要因の測定は測定器の設置自体が難しい。

また、特許文献３に開示されている方法のように、圧縮データの代わりにタイルの縮小画像データを送ることで課題を解決することも考えられる。しかし、全体の縮小像をあらかじめ取得する必要があり、縮小像取得のための対物レンズの導入によりコスト増大につながる。また、タイルの縮小像からは縮小前画像に含まれていた高周波成分が除去されており、位置ずれ推定精度の低下も懸念される。

本発明は上記課題に鑑みなされたものであり、非可逆圧縮した画像データの継ぎ合わせ処理の精度を向上するための技術を提供することを目的とする。本発明のさらなる目的は、コストやハードウェア規模の増大を招くことなく、非可逆圧縮した画像データの継ぎ合わせ処理の精度を向上するための技術を提供することにある。

本発明の第一態様は、撮像装置と画像処理装置を有する撮像システムであって、前記撮像装置は、被写体の複数のエリアを、隣接するエリアの端部が互いに重なるように、撮像する撮像手段と、前記複数のエリアそれぞれに対し、前記撮像手段で得られたデータから、当該エリアの画像データと、当該エリアと当該エリアに隣接するエリアの間の重なり部分のデータである周辺データとを生成する生成手段と、前記画像データを非可逆圧縮する非可逆圧縮手段と、を有し、前記画像処理装置は、前記複数のエリアそれぞれの、非可逆圧縮された画像データと周辺データを取得する取得手段と、隣接する二つのエリアの画像データを継ぎ合わせる処理に用いるパラメータを、当該二つのエリアの周辺データを用いて決定する決定手段と、前記非可逆圧縮された画像データを復号し、復号された前記複数のエリアの画像データを前記決定手段で決定された前記パラメータを用いて継ぎ合わせる合成手段と、を有することを特徴とする撮像システムを提供する。

本発明の第二態様は、被写体の複数のエリアを、隣接するエリアの端部が互いに重なるように、撮像する撮像手段と、前記複数のエリアそれぞれに対し、前記撮像手段で得られたデータから、当該エリアの画像データと、当該エリアと当該エリアに隣接するエリアの間の重なり部分のデータである周辺データとを生成する生成手段と、前記画像データを非可逆圧縮する非可逆圧縮手段と、非可逆圧縮された前記画像データ、及び、前記周辺データを出力する出力手段と、を有することを特徴とする撮像装置を提供する。

本発明の第三態様は、隣接するエリアの端部が互いに重なるように設定された被写体の複数のエリアそれぞれについて、非可逆圧縮された画像データと、隣接するエリアの間の重なり部分のデータである周辺データとを取得する取得手段と、隣接する二つのエリアの画像データを継ぎ合わせる処理に用いるパラメータを、当該二つのエリアの周辺データを用いて決定する決定手段と、前記非可逆圧縮された画像データを復号し、復号された前記複数のエリアの画像データを前記決定手段で決定された前記パラメータを用いて継ぎ合わせる合成手段と、を有することを特徴とする画像処理装置を提供する。

本発明の第四態様は、撮像装置と画像処理装置を有する撮像システムの制御方法であって、前記撮像装置が、被写体の複数のエリアを、隣接するエリアの端部が互いに重なるように、撮像する工程と、前記撮像装置が、前記複数のエリアそれぞれに対し、前記撮像工程で得られたデータから、当該エリアの画像データと、当該エリアと当該エリアに隣接するエリアの間の重なり部分のデータである周辺データとを生成する工程と、前記撮像装置が、前記画像データを非可逆圧縮する工程と、前記画像処理装置が、前記複数のエリアそれぞれの、非可逆圧縮された画像データと周辺データを取得する工程と、前記画像処理装置が、隣接する二つのエリアの画像データを継ぎ合わせる処理に用いるパラメータを、当該二つのエリアの周辺データを用いて決定する工程と、前記画像処理装置が、前記非可逆圧縮された画像データを復号し、復号された前記複数のエリアの画像データを前記決定工
程で決定された前記パラメータを用いて継ぎ合わせる工程と、を有することを特徴とする撮像システムの制御方法を提供する。

本発明の第五態様は、撮像装置の制御方法であって、被写体の複数のエリアを、隣接するエリアの端部が互いに重なるように、撮像する工程と、前記複数のエリアそれぞれに対し、前記撮像手段で得られたデータから、当該エリアの画像データと、当該エリアと当該エリアに隣接するエリアの間の重なり部分のデータである周辺データとを生成する工程と、前記画像データを非可逆圧縮する工程と、非可逆圧縮された前記画像データ、及び、前記周辺データを出力する工程と、を有することを特徴とする撮像装置の制御方法を提供する。

本発明の第六態様は、画像処理装置の制御方法であって、隣接するエリアの端部が互いに重なるように設定された被写体の複数のエリアそれぞれについて、非可逆圧縮された画像データと、隣接するエリアの間の重なり部分のデータである周辺データとを取得する工程と、隣接する二つのエリアの画像データを継ぎ合わせる処理に用いるパラメータを、当該二つのエリアの周辺データを用いて決定する工程と、前記非可逆圧縮された画像データを復号し、復号された前記複数のエリアの画像データを前記決定工程で決定された前記パラメータを用いて継ぎ合わせる工程と、を有することを特徴とする画像処理装置の制御方法を提供する。

本発明により、非可逆圧縮した画像データの継ぎ合わせ処理の精度を向上することが可能になる。

第１実施形態の顕微鏡撮像システムの構成図。第１実施形態の撮像処理ボードの構成図。第１実施形態のタイル取得の流れの説明図。第１実施形態の撮像装置での画像取得処理のシーケンス図。第１実施形態の撮像装置での画像補正処理シーケンス図。第１実施形態の撮像装置でのデータクリップ・圧縮処理のシーケンス図。第１実施形態の撮像状態管理テーブルの図。第１実施形態のセンサ補正処理と周辺データクリップ処理の説明図。第１実施形態の色変換・ＹＣ分離処理と圧縮処理の説明図。第１実施形態の画像処理装置のデータ受信プロセスのシーケンス図。第１実施形態の位置ずれ・変形推定プロセスのシーケンス図。第１実施形態の画像合成プロセスのシーケンス図。第１実施形態の画像処理状態管理テーブルを説明する図。第１実施形態の位置合わせに用いるパッチを説明する図。第１実施形態の継ぎ合わせ処理を説明する図。第２実施形態の顕微鏡撮像システムの構成図。第２実施形態の撮像処理ボードの構成図。第２実施形態の画像処理ボードの構成図。第２実施形態の撮像装置でのデータクリップ・圧縮処理のシーケンス図。第２実施形態の周辺データの可逆圧縮処理を説明する図。第２実施形態のデータ受信コントローラのシーケンス図。第２実施形態の位置ずれ・変形推定コントローラのシーケンス図。第２実施形態の画像合成コントローラのシーケンス図。第２実施形態の周辺データの可逆復号処理を説明する図。第３実施形態のデータクリップ・圧縮処理のシーケンス図。第４実施形態のデータ受信プロセスのシーケンス図。

［第１実施形態］
本発明の第１の実施形態について、図１を用いて説明する。顕微鏡撮像システム１０１は、撮像装置１０２と画像処理装置１０３から構成される。

撮像装置１０２は、対物レンズ１１１、標本保持部１１２、三軸ステージ１１３、イメージセンサ１１４、撮像処理ボード１１５、標本選択部１１６、ハロゲンランプ１１７、電動フィルタホイール１１８より構成される。電動フィルタホイール１１８は、６種類のカラーフィルタを搭載でき、通常の撮像では３種類のカラーフィルタＲＧＢを用いる。

画像処理装置１０３は、市販されているワークステーションに必要な画像処理プログラムをインストールすることにより構成される。上記ワークステーションは、システム全体動作の制御装置１０４としても使用する。撮像装置１０２と画像処理装置１０３（制御装置１０４）の間はネットワークケーブル１０５により接続され、双方向にデータを転送できる。撮像装置１０２と画像処理装置１０３の間は高速シリアルバスなど他の方式のデータ伝送路で接続してもよいし、有線でなく無線のデータ伝送路で接続してもよい。また、図１では撮像装置１０２と画像処理装置１０３が近くに配置されているように示されているが、撮像装置１０２と画像処理装置１０３が遠隔地に配置され、両装置の間がインターネット等の広域ネットワークで接続されていてもよい。逆に、撮像装置１０２と画像処理装置１０３とが一つの筐体内に収められており、顕微鏡撮像システム１０１が一台の装置の外観を呈していてもよい。

撮像装置１０２の撮像処理ボード１１５の構成について図２を用いて説明する。撮像処理ボード１１５は、メモリ１３２、センサ補正部１３４、周辺データクリップ部１３５、色変換・ＹＣ分離部１３６、圧縮部１３７、カメラリンクインターフェース１３８、通信インターフェース１３９を有する。また撮像処理ボード１１５は、タイル取得コントローラ１４５、補正処理コントローラ１４６、データクリップ・圧縮処理コントローラ１４７を有する。符号１５０はデータバス制御信号（占有許可信号、占有可否問い合わせなど）を示し、符号１５１は制御信号（処理開始指示、処理完了通知など）を示し、符号１５２はデータの流れを示す。各コントローラは、調停回路１４０からデータバスの占有許可を表わす信号（以後、「データバス占有許可信号」と呼ぶ）を取得した後、データバス１４１により接続された各構成要素に処理開始指示１５１を送り、構成要素毎の画像処理を実行する。

顕微鏡撮像システム１０１における撮像の流れについて説明する。利用者は、先ず、撮像対象となる複数の標本を標本選択部１１６に挿入する。標本選択部１１６において、各標本のサムネール画像が撮像され、制御装置１０４に送られる。利用者は、ディスプレイ上に表示されたサムネール画像から、顕微鏡画像の撮影を行う標本（被写体）と撮像範囲を選択する。

＜タイルの取得＞
次に、図３に記載されている手順に従い、タイルの取得を行う。顕微鏡撮像システム１０１は、被写体である標本を複数の撮像エリアに分けて撮像を行う。タイルは、各々の撮像エリアから取得される部分画像データをいう。本実施形態では、タイルの継ぎ合わせ処理のために、隣接する撮像エリアの端部が互いに重なるように各エリアの位置（つまり各エリアを撮像するときの撮像位置）を制御し、隣接する二つのタイルに被写体の同じ部分の画像情報が含まれるようにする。以後、タイルの端部領域であって、隣接タイルと重複する部分をタイルの周辺部と呼ぶ。

状態テーブル作成工程２０１では、制御装置１０４において、選択された標本の番号と撮像範囲を元に、状態テーブルを作成する。状態テーブルは、初期状態（以後、状態を表わす数値を「状態番号」と呼び、初期状態を状態番号０とする）から最終状態（状態番号Ｎとする）までの三軸ステージのｘ，ｙ座標値を記録したテーブルである。つまり、状態番号０〜Ｎは、標本の撮像範囲全体を（Ｎ＋１）個の撮像エリアに分割して撮像する場合の、各撮像エリアの番号を表しているともいえる。本明細書において、光軸に垂直な平面を為す２座標軸に沿った座標をｘ，ｙ座標、光軸に沿った座標はｚ座標とする。

ステージ駆動工程２０２では、制御装置１０４において、状態番号０におけるｘ，ｙ座標値を状態テーブルから取得し、上記ｘ，ｙ座標値の位置への駆動指示を三軸ステージ１１３に送り、ステージを駆動する。

合焦位置検出工程２０３では、上記ステージ駆動終了後に合焦位置検出を行う。まず制御装置１０４から、三軸ステージ１１３をｚ座標軸方向に微小距離駆動しながら複数枚のタイルを取得する指示を三軸ステージ１１３とイメージセンサ１１４に送り、同じ撮像エリアからｚ方向の焦点位置が異なる複数枚のタイルを取得する。このように得られたタイルのそれぞれは、標本内の異なる高さ（深さ）の層を画像化したデータに相当しており、以後、「層画像」と呼ぶこととする。本実施形態では、複数の層画像の中心部において、フォーカスアルゴリズムの一つである正規化分散を適用し、ピントのあうステージ高さ（合焦ｚ座標値と呼ぶ）を算出する。

タイル取得工程２０４では、得られた合焦ｚ座標値の高さに三軸ステージ１１３を駆動し、電動フィルタホイール１１８によりカラーフィルタを切り替えることでＲＧＢ各色に対応するタイル（以後、「単色タイル」と呼ぶ）を順番に取得する。単色タイルは撮像処理ボード１１５のメモリ１３２に保持される。

次に、状態番号Ｓを１ずつ増やしながら、ステージ駆動工程２０２、合焦位置検出工程２０３、タイル取得工程２０４を繰り返し、全ての状態番号（撮像エリア）に対応する単色タイルを取得する。なお、本実施形態では、状態番号毎（撮像エリア毎）に合焦ｚ座標値を決定したが、標本内の同じ高さ（深さ）の層を画像化したい場合には、すべての状態番号（撮像エリア）で同じｚ座標値を用いてもよい。例えば、状態番号０の場合のみ合焦位置検出工程２０３を実行し、状態番号１以降は合焦位置検出工程２０３を省略してもよい。

＜撮像装置内で行われる画像処理（構成要素間で行われるデータ交換）＞
撮像装置内画像処理は、複数の構成要素間でデータ交換しながら実行される。最初に、構成要素間で行われるデータ交換について図４、図５、図６を用いて説明し、その後、処理を担当する構成要素内で実行される画像処理（以後、「個別処理」と呼ぶ）について説明する。

構成要素間で行われるデータ交換の順序は、撮像状態管理テーブル３０１を用いて管理される。撮像状態管理テーブル３０１は、撮像処理ボードのメモリ１３２に割り当てられた配列である。撮像状態管理テーブル３０１のインデックスは、単色タイルの取得順（今後、「単色タイル番号」と呼ぶ）に対応している。撮像状態管理テーブル３０１の値は撮像状態に対応する数値（以後、「撮像状態値」と呼ぶ）である。

図７を用いて上記撮像状態について説明する。撮像状態値は０〜５の値をとる。各値は、０：未取得状態４０１、１：取得完了状態４０２、２：補正実行状態４０３、３：補正完了状態４０４、４：クリップ実行状態４０５、５：クリップ完了状態４０６を表す。未
取得状態４０１は単色タイルが未取得である状態である。取得完了状態４０２は、単色タイルが取得されているが、後述するセンサ補正処理５０１は施されていない状態である。補正実行状態４０３は、単色タイルに対して後述するセンサ補正処理５０１を実行中である状態である。補正完了状態４０４は、後述するセンサ補正処理５０１の実行が完了した状態である。クリップ実行状態４０５は後述する周辺データクリップの実行中の状態を表し、クリップ完了状態４０６は周辺データクリップの完了後の状態を表す。

今後、単色タイル番号に対する撮像状態値を撮像状態管理テーブル３０１に設定することを、撮像状態管理テーブルの「更新」と呼び、単色タイル番号に対応する撮像状態値を読みだすことを「検索」と呼ぶ。更新、検索、およびそれらを組み合わせた手続き（検索結果に応じた条件付き更新等）の実行中は、並行して実行される処理に割り込みをかけられないよう、調停回路１４０により調停が行われる。また、特定のインデックスに対し、特定の値が得られるまで撮像状態管理テーブル３０１の検索を一定時間間隔で行う、あるいは、特定の値になったことが別の処理から通知されるまで待機することを、撮像状態管理テーブル３０１の「監視」と呼ぶ。

まず、図４に示されるように、制御装置１０４は、撮像処理ボード１１５に単色タイルの取込開始指示を送る。タイル取得コントローラ１４５は、通信インターフェース１３９の特定のポートに取込開始指示が来ているのを確認後、カメラリンクインターフェース１３８を介してイメージセンサ１１４に取得開始を指示する。コントローラ１４５は、画像データ（単色タイル）を取得後、画像データをメモリ１３２に保存する。コントローラ１４５は、画像データ保存後、撮像状態管理テーブル３０１の値を１（取得完了状態４０２）に更新する。

一方、図５に示されるように、補正処理コントローラ１４６は、タイル取得開始と同時に単色タイル番号０に対する撮像状態管理テーブル３０１の監視を開始する。コントローラ１４６は、撮像状態管理テーブル３０１の値が１（取得完了状態４０２）であるのを確認後、その値を２（補正実行状態４０３）に更新する。その後、コントローラ１４６は、センサ補正部１３４に単色タイルの先頭アドレスを送り、後述するセンサ補正処理５０１の実行を指示する。コントローラ１４６は、センサ補正処理後、撮像状態管理テーブル３０１の値を３（補正完了状態４０４）に更新し、監視対象とする単色タイル番号を１増加させて監視を続行する。

また、図６に示されるように、データクリップ・圧縮処理コントローラ１４７も、タイル取得開始と同時に撮像状態管理テーブル３０１の監視を開始する。コントローラ１４７は、同じ状態番号に属する複数の単色タイル番号（例えば、状態番号ｐに対するＲＧＢ各色の単色タイル番号は３ｐ，３ｐ＋１，３ｐ＋２である）に対する値を順番に検索する。コントローラ１４７、全ての単色タイル番号の撮像状態値が３（補正完了状態４０４）の場合に、それらの値を４（クリップ実行状態４０５）へ更新した後に作業を開始する。まず、コントローラ１４７は、周辺データクリップ部１３５に特定の色のセンサ補正後単色タイルの先頭アドレスを送り、後述する周辺データクリップ処理の実行を指示する。上記センサ補正後単色タイルの色は任意に選択できるが、目視で観察する標本に対しては目の被視感度曲線に近い分光透過率を持つ色（ＲＧＢ三原色の場合にはＧ）を選択すればよい。後述する周辺データクリップ処理の生成物である周辺データは、ネットワーク経由で画像処理装置１０３に転送される。

なお、周辺データクリップ処理に用いる単色タイルの色はＧに限らない。例えば、標本選択部１１６で取得したサムネール画像を解析し、最もコントラストの高い色を選択してもよい。あるいは、複数色の単色タイルを用いてもよいし、複数色の単色タイルを合成したデータを用いてもよい。

続けて、コントローラ１４７は、同じ状態番号に属するセンサ補正後単色タイルの先頭アドレスを色変換・ＹＣ分離部１３６に送り、色変換処理を実行する。色変換・ＹＣ分離部１３６の出力データ（以後、「ＹＣ分離後タイル」と呼ぶ）は圧縮部１３７に送られ、圧縮処理が実行される。圧縮部１３７の出力データ（以後、「圧縮タイル」と呼ぶ）は、通信インターフェース１３９を経由し、画像処理装置１０３に転送される。コントローラ１４７は、圧縮タイルの転送後、同じ状態番号に属する単色タイル番号に対して撮像状態管理テーブル３０１の値を５（クリップ完了状態４０６）に更新し、監視対象とする単色タイル番号を３増加させて監視を続行する。
状態番号Ｎの単色タイルに対する画像処理が終了後、撮像状態管理テーブル３０１の値を０（未取得状態４０１）にリセットし、撮像装置内画像処理は終了する。

＜撮像装置内で行われる画像処理（個別処理）＞
次に、個別処理について説明する。
センサ補正処理５０１について図８Ａに示すフローチャートを用いて説明する。メモリ１３２から読みだされた単色タイルデータに対し、傷欠陥補正工程５０２、パターンノイズ抑制工程５０３、ゲイン調整工程５０４、照明ムラ補正工程５０５、歪曲・回転補正工程５０６の順で実施し、出力値をメモリ１３２上に記録する。傷欠陥補正工程５０２は、イメージセンサの傷や画素欠陥に起因するノイズを除去する処理である。パターンノイズ抑制工程５０３は、イメージセンサのハードウェアに起因して発生するパターンノイズを除去する処理である。ゲイン調整工程５０４は、露光時間が足りない場合などに画素値にゲイン（定数）を乗ずることで画像全体の輝度レベルを上げる処理である。照明ムラ補正工程５０５は、視野の中央部と周辺部のあいだの照明ムラに起因する輝度ムラを補正する処理である。歪曲・回転補正工程５０６は、対物レンズの収差補正やステージとイメージセンサの相対回転ずれなどを補正する処理である。各工程は、一般的な画像処理において行われ、よく知られているため説明は省略する。

周辺データクリップ処理６０１について、図８Ｂに示すフローチャートを用いて説明する。クリップ工程６０２では、上記センサ補正後単色タイルの先頭アドレスから画素値のラスタスキャンを行い、別のメモリ領域にデータをコピーする。その際、図８Ｃに示すように、左右周辺部Ｍ画素、上下周辺部Ｎ画素のいずれにも該当しない中心部（黒色の領域）のデータはコピーしない。このように周辺部のみコピーしたデータを、今後、周辺データと呼ぶ。ヘッダ情報付加工程６０３では、周辺データにヘッダ情報（状態番号、クリップした領域の幅Ｍ，Ｎ、単色タイルのｘ，ｙ方向画素数）を付加する。

色変換・ＹＣ分離処理７０１について図９Ａに記載のフローチャートを用いて説明する。色補正工程７０２では、各色のセンサ補正後単色タイルの画素値に対して式１に与えられる線形演算を行うことにより、ＲＧＢ三原色に相当する画素値（以後、ＲＧＢ値と呼ぶ）を算出する。

ここで、Ｐ_１〜Ｐ_３は、同じ状態番号に属する三つのセンサ補正後単色タイルにおいて、同一位置で得られる画素値、ａ_１１〜ａ_３３は色補正行列の係数である。色補正行列の係数は、カラーバランスやカラーフィルタの分光透過率に応じて事前に与えられる。

輝度色差分離工程７０３では、式２に従い、上記ＲＧＢ値から輝度成分Ｙと二つの色差
成分Ｃｂ、Ｃｒを算出する。

色差成分サンプリング工程７０４においては、ＹＣＣ値の色差成分Ｃｂ，Ｃｒの間引き処理を行い、データを削減する。通常は１画素間隔で間引くが、画質を保ちたい場合には、この工程は実施しない。
以上の工程を実行して得られた、Ｙ成分および間引き処理が行われた色差成分Ｃｂ，Ｃｒ毎の画像データが得られる。上記画像データを一つにまとめたデータを出力（ＹＣ分離後タイル）とする。

圧縮処理８０１について、図９Ｂに記載のフローチャートを用いて説明する。本実施の形態で用いる圧縮処理８０１は、ＤＣＴ方式のＪＰＥＧ圧縮処理である。ＤＣＴ方式のＪＰＥＧ圧縮処理は一般に良く知られているため、工程の詳細は省略して概要のみ述べる。ＤＣＴ工程８０２では、ＹＣ分離後タイルを８×８画素のブロックに分割し、各ブロックに対してＤＣＴを実行する。量子化工程８０３では、各ブロックのＤＣＴ係数の量子化を行う。ハフマン符号化工程８０４では、量子化されたＤＣＴ係数をハフマン符号化により圧縮する。ヘッダ情報付加工程８０５では、処理後のデータにヘッダ情報（状態番号、単色タイルのｘ，ｙ方向画素数、色差成分Ｃｒ，Ｃｂの間引き間隔、量子化工程で用いた量子化テーブル等）を付加して、出力データ（圧縮タイル）とする。

＜画像処理装置内で行われる画像処理（構成要素間で行われるデータ交換）＞
画像処理装置内で行われる画像処理も、複数の構成要素（プログラムで実行される複数のプロセスと、共有メモリに割り当てられた状態管理用のテーブル）の間でデータ交換しながら実行される。撮像装置内画像処理の説明と同様に、上記データ交換について図１０、図１１、図１２を用いて説明し、その後、構成要素内で実行される個別処理について説明する。

画像処理装置１０３のメインメモリには、異なるプロセスがアクセスできる共有メモリ領域が確保されている。共有メモリ領域には、四つの配列と一つの変数が割り当てられている。

図１３を用いて上記配列および変数と、それらで表現される画像処理の実行状態について説明する。第１の配列は、複数のプロセスを管理するための配列であり、今後、プロセス管理テーブル９０１と呼ぶ。第２、第３の配列は、ローカルアライメント処理の実行を管理するための配列であり、今後、アライメント管理テーブル９０２，９０３と呼ぶ。ここで、ローカルアライメント処理は、隣接する２つのタイルにおいて、一方のタイルを基準としたときの他方のタイルの位置ずれ・変形を、各々の周辺データを用いて計算する処理である。ローカルアライメント処理の詳細は後述する。第４の配列は、隣接タイルの状態番号検索に用いる配列であり、今後、状態番号リンクテーブル９０４と呼ぶ。変数は、グローバルアライメントの実行状態を示す変数であり、今後、グローバルアライメント実行状態変数９０５と呼ぶ。ここで、グローバルアライメント処理は、ローカルアライメント処理により得られた２タイル間の相対的位置ずれ・変形を基に、各タイルに与える位置ずれ・変形を算出する処理である。グローバルアライメント処理の詳細は後述する。

プロセス管理テーブル９０１、アライメント管理テーブル９０２、９０３のインデック
スは状態番号であり、各テーブルの値は、プロセス内で実行されている画像処理の進行を表わす状態（以後、画像処理実行状態と呼ぶ）に対応する数値である。

プロセス管理テーブル９０１の画像処理実行状態は、０〜６の値をとる。各値は、０：未取得状態９２１、１：周辺データ受信済み状態９２２、２：圧縮タイル受信済み状態９２３、３：復号実行状態９４０、４：復号完了状態９４１、５：変形補正実行状態９４２、６：変形補正完了状態９４３を表す。未取得状態９２１は、撮像装置からデータが送信されていない状態である。周辺データ受信済み状態９２２は、撮像装置から周辺データを受信した状態である。圧縮タイル受信済み状態９２３は、周辺データと圧縮タイルの両方を受信した状態である。復号実行状態９４０は、後述する復号処理を実行中である状態である。復号完了状態９４１は、復号の実行が完了した状態である。変形補正実行状態９４２は、後述する変形補正処理を実行中である状態である。変形補正完了状態９４３は、変形補正の実行が完了した状態である。

アライメント管理テーブル９０２、９０３の画像処理実行状態は、０〜３の値をとる。各値は、０：ローカルアライメント未実行状態９３０、１：ローカルアライメント実行不能状態９３１、２：ローカルアライメント実行状態９３２、３：ローカルアライメント完了状態９３３を表す。ローカルアライメント未実行状態９３０は、ローカルアライメント処理が実行されていない状態である。ローカルアライメント実行不能状態９３１は、隣接タイルが無い等の理由でローカルアライメント処理が実行できない状態である。ローカルアライメント実行状態９３２は、ローカルアライメント処理を実行中である状態である。ローカルアライメント完了状態９３３は、ローカルアライメント処理の実行が完了した状態である。

グローバルアライメント実行状態変数９０５の画像処理実行状態は、０〜２の値をとる。各値は、０：グローバルアライメント未実行状態９３５、１：グローバルアライメント実行状態９３６、グローバルアライメント完了状態９３７を表す。グローバルアライメント未実行状態９３５は、グローバルアライメント処理が実行されていない状態である。グローバルアライメント実行状態９３６は、グローバルアライメント処理を実行中である状態である。グローバルアライメント完了状態９３７は、グローバルアライメント処理の実行が完了した状態である。

プロセス管理テーブル９０１の値は、インデックス（状態番号）に対するタイルの状態を表し、初期値は０（未取得状態９２１）である。アライメント管理テーブル９０２の値は、インデックスに対するタイルの上部にある隣接タイルと、状態番号に対するタイルとの間で行われるローカルアライメントの実行状態を表わす。アライメント管理テーブル９０３の値は、インデックスに対するタイルの左部にある隣接タイルと、状態番号に対するタイルとの間で行われるローカルアライメントの実行状態を表わす。アライメント管理テーブル９０２、９０３の初期値は、０（ローカルアライメント未実行状態９３０）あるいは、１（ローカルアライメント実行不能状態９３１）である。隣接タイルが存在しない、あるいは撮像回数を減らすために隣接タイルの取得を省略するような場合にローカルアライメント実行不能状態９３１に設定する。

プロセス管理テーブル９０１に対して、撮像状態管理テーブル３０１と同様の操作（更新、検索、およびそれらを組み合わせた手続き）を実行できる。また、プロセス管理テーブル９０１とアライメント管理テーブル９０２、９０３に対して、ローカルアライメント処理の実行に関わる２種類の操作（今後、アライメント状態監視、アライメント状態更新と呼ぶ）を実行できる。上記操作を実行中は、他のプロセスが各テーブルにアクセスできないように、ロック取得による調停が行なわれる。

状態番号リンクテーブル９０４のインデックスは状態番号であり、状態番号リンクテーブル９０４の値は、インデックスに相当するタイルの上下左右に位置するタイルの状態番号を４要素とするベクトルである。
グローバルアライメント実行状態変数９０５は、グローバルアライメントの実行状態を保持する変数である。初期値は、０（グローバルアライメント未実行状態９３５）である。

上記複数のプロセスは、内部で実行される処理により３種類に分類できる。今後、各々をデータ受信プロセス、位置ずれ・変形推定プロセス、画像合成プロセスと呼ぶ。画像処理装置のハードウェアリソースによっては、各々の種類のプロセス数を増やし、処理を高速化することも可能である。本実施形態では、各プロセスが独立にプロセス管理テーブル９０１の検索、監視を行う方式を採用しているが、プロセス管理テーブル９０１へのアクセスがボトルネックになり処理効率が低下する場合がある。そのような場合には、プロセス管理テーブル９０１の検索を行い、検索結果に基づいて子プロセスに処理命令を発行する専用のプロセスを設け、子プロセスに上記の３種類の処理を実行させる構成を用いても良い。この構成は、プロデューサーコンシューマーデザインパターンとして一般に知られる。

図１０を用いてデータ受信プロセス１００１と構成要素間で行われるデータ交換について説明する。データ受信プロセス１００１は、ネットワークの特定のポートを監視し、撮像装置１０２が送信してきたデータ（周辺データまたは圧縮タイル）を受信し、メインメモリに格納する。上記データが周辺データの場合は、プロセス管理テーブル９０１の値を１（周辺データ受信済み状態９２２）に更新し、圧縮タイルの場合は２（圧縮タイル受信済状態９２３）に更新する。終了後、ポートの監視状態に戻る。

図１１を用いて位置ずれ・変形推定プロセス１００２と構成要素間で行われるデータ交換について説明する。位置ずれ・変形推定プロセス１００２の実行開始時には、処理対象とする状態番号（以後、「対象状態番号」と呼ぶ）を１あるいは所定の値に初期化する。次に、プロセス管理テーブル９０１とアライメント管理テーブル９０２、９０３に対して、アライメント状態監視操作を実行する。

以下に、アライメント状態監視操作について説明する。まず、対象状態番号に対するタイルへの画像処理実行状態が、０（未取得状態９２１）ではない（１以上である）ことを確認する。次に、アライメント管理テーブル９０２、９０３により、対象状態番号に対するタイルと上下左右に隣接する４タイルとの間でのローカルアライメント処理の実施状態を検索する。上、左に隣接するタイルのローカルアライメント実施状態はアライメント管理テーブル９０２、９０３から直接得られる。一方、下、右に位置するタイルのローカルアライメント実施状態は、状態番号リンクテーブル９０４を用いて、下、右のタイルの状態番号を得てから、アライメント管理テーブル９０２、９０３を用いることで得られる。

隣接タイルのローカルアライメント実施状態が０（ローカルアライメント未実行状態９３０）であった場合、プロセス管理テーブル９０１により、上記隣接タイルの画像処理実行状態を取得する。画像処理実行状態が０（未取得状態９２１）ではない場合には、アライメント管理テーブル９０２、９０３の値を、２（ローカルアライメント実行状態９３２）に更新する。

上記アライメント状態監視操作の終了後、画像処理実行状態が２（ローカルアライメント実行状態９３２）に更新された隣接タイルと、対象状態番号に対するタイルに対して、ローカルアライメント処理を実行する。
ローカルアライメント処理の実行後には、アライメント状態更新操作を実行する。アラ
イメント状態更新操作は、アライメント管理テーブル９０２、９０３の値を更新する操作であり、ローカルアライメントを実施した隣接タイルに対する値を３（ローカルアライメント完了状態９３３）に更新する。

対象状態番号がＮ（最終状態）の場合には、ローカルアライメント処理の実行後に、グローバルアライメント処理を実行する。グローバルアライメント処理の出力データは、各タイルに対する幾何補正用のパラメータであり、今後、「位置ずれ・変形推定量」と呼ぶ。実行開始時には、グローバルアライメント実行状態変数９０５の値を１（グローバルアライメント実行状態９３６）に更新した後、グローバルアライメント処理を実行する。実行後、グローバルアライメント実行状態変数９０５の値を２（グローバルアライメント完了状態９３７）に更新する。

図１２を用いて画像合成プロセス１００３と構成要素間で行われるデータ交換について説明する。位置ずれ・変形推定プロセス１００２と同様に、プロセス開始時に対象状態番号を１あるいは所定の値に初期化する。初期化後、対象状態番号に対応する値が２（圧縮タイル受信済み状態９２３）になるまで、プロセス管理テーブル９０１を監視する。状態の変化を確認後、プロセス管理テーブル９０１の値を３（復号実行状態９４０）に更新し、対象状態番号に対応する圧縮データに対して後述する復号処理を実行する。以後、復号処理の出力画像データを復号タイルと呼ぶ。復号処理実行後、プロセス管理テーブル９０１の値を４（復号完了状態９４１）に更新する。

次に、画像合成プロセス１００３は、グローバルアライメント実行状態変数９０５の監視を行う。グローバルアライメント実行状態変数９０５の数値が２（グローバルアライメント完了状態９３７）になるのを確認後に、プロセス管理テーブル９０１の値を５（変形補正実行状態９４２）に更新し、変形補正処理を対象状態番号に対する復号タイルに施す。変形補正処理の出力は、対象状態番号に対応する位置ずれ・変形補正後タイルとその縮小画像データであり、それらは、画像処理装置１０３のメインメモリに保持される。変形補正処理の終了後に、画像合成プロセス１００３は、プロセス管理テーブル９０１の値を６（変形補正完了状態９４３）に更新する。対象状態番号がＮではない場合には、対象状態番号を更新してプロセス管理テーブル９０１の監視状態に戻る。更新する数値は、位置ずれ・変形推定プロセスの場合と同じである。

一方、対象状態番号がＮである場合には、全ての状態番号に対するプロセス管理テーブル９０１の値が６（変形補正完了状態９４３）になったことを確認後、後述する画像合成処理を実行する。画像合成処理の結果、後述する合成後画像データが得られ、合成後画像データはハードディスクに保存される。
合成後画像データのハードディスクへの保存後、共有メモリに割り当てた全てのテーブル及び変数と、全てのプロセスが保持する状態番号を初期化することで、画像処理装置内で行われる画像処理が終了する。

＜画像処理装置内で行われる画像処理（個別処理）＞
次に、画像処理装置内で行われる各画像処理の詳細について説明する。
ローカルアライメント処理は、隣接する２つのタイルにおいて、一方のタイルを基準としたときの他方のタイルの位置ずれ・変形を、各々の周辺データを用いて計算する処理である。以後、基準となるタイルを「基準タイル」、基準ではないタイルを「比較タイル」と呼ぶ。隣接タイルが左右に配置されている場合には、左側のタイルを基準タイルとし、上下の場合には上側のタイルを基準タイルとする。上記位置ずれ・変形は、式３により与えられるアフィン変換で表現できると仮定している。

ｘ，ｙは基準タイル内の画素位置を表す座標値、ｘ’，ｙ’は比較タイル内の画素位置を表す座標値である。ｍ１１〜ｍ２２は変形に関する行列成分、ｓ１，ｓ２は位置ずれに関する行列成分、ｔ１，ｔ２は基準タイルの中心を原点としたときの比較タイルの中心座標である。

ローカルアライメント処理は、Feature-based registration手法に基づいている。Feature-based registrationでは、まず、隣接する二つのタイルにおいて重複して撮像された周辺データから、コーナーや直線のような特徴の位置を抽出する。次に、各々のタイルに属する同一特徴の位置の差を最小化する位置ずれ・変形のパラメータを、最小二乗法により算出する。

しかしながら、本実施形態の撮像対象である病理標本画像中には、コーナーや直線のように位置検出に適した特徴はほとんど存在しない。このような場合には、図１４に示すように、周辺データに矩形の微小区画（以後、パッチと呼ぶ）を設け、パッチ内の模様を特徴として利用することが一般的に行われている。本実施形態においては、パッチを特徴として利用したFeature-based registrationを採用する。

ローカルアライメント処理１０１１の流れについて、図１５Ａに記載のフローチャートを用いて説明する。パッチ位置ずれ検出工程１０１２では、まず、基準タイルの周辺データからパッチを取得する。パッチの位置は任意に選択しても、事前に与えても良いが、パッチ内に細かい模様（テクスチャ）を含む必要がある。次に、比較タイルの周辺データにおいて、上記パッチの位置を推定する。推定位置は、式４により与えられる正規化相関関数により得られる。

ここで、Ｉ_０（ｘ）は基準タイルのパッチにおいて位置ｘに存在する画素の画素値、Ｉ_１（ｘ）は比較タイルのパッチにおいて位置ｘに存在する画素の画素値、ｉはパッチ内の画素の番号、Ｎはパッチ内の画素数である。ｕは両パッチの位置ずれを表すベクトルである。正規化相関関数が最大の値を示すｕをパッチ間位置ずれとして用いる。

位置ずれ・変形パラメータ推定工程１０１３では、以下の式に従って式３で与えられる位置ずれ・変形関数の係数を推定する。

ここで、Ｇ（Ｍ）は行列Ｍの一般逆行列を返す関数である。一般逆行列は、非正方行列に対して機能する疑似的な逆行列であり、様々な種類がある。本実施形態においては、最小二乗解を求める際に一般的に用いられるＧ（Ｍ）＝［Ｍ^ＴＭ］^−１Ｍ^Ｔとする。ｘ_ｉ，ｙ_ｉ（ただし、ｉ＝１，２，…，Ｐ）は、基準タイル内にＰ個存在するパッチの中心座標、ｘ’_ｉ，ｙ’_ｉ（ｉ＝１，２，…，Ｐ）は、比較タイルから推定した基準タイルのパッチの中心座標推定値である。ｍ_１１，ｍ_１２，ｍ_２１，ｍ_２２，ｓ_１，ｓ_２，ｔ_１，ｔ_２は、式３の係数である。式４により得られる位置ずれｕの要素は（ｘ’_ｉ−ｘ_ｉ，ｙ’_ｉ−ｙ_ｉ）（ただし、ｉ＝１，２，…，Ｐ）であり、ｔ_１，ｔ_２は既知であることから、位置ずれ・変形関数の係数ｍ_１１，ｍ_１２，ｍ_２１，ｍ_２２，ｓ_１，ｓ_２を計算できる。得られた位置ずれ・変形関数の係数は、メインメモリに保存される。

グローバルアライメント処理は、ローカルアライメント処理により得られた２タイル間の相対的位置ずれ・変形を基に、各タイルに与える位置ずれ・変形を算出する処理である。最も単純な処理として、左上に存在するタイルに変形を与えず、周辺に存在するタイルの位置ずれ・変形を順番に決定する処理が考えられる。しかしながら、左上タイルが絶対座標に対して微小回転していた場合に、右下のタイルの位置が大きくずれる可能性がある。また、途中の相対的位置ずれ・変形推定値の精度が低い場合には、右下タイルとその隣接タイルとの間に隙間が生じる可能性がある。本実施の形態で採用したグローバルアライメント処理は、これらの問題の発生を抑制した手法である。

グローバルアライメント処理１０２１について、図１５Ｂに記載のフローチャートを用いて説明する。初期値算出工程１０２２では、一つのタイルを基準とした位置ずれ・変形量を、２タイル間の相対的位置ずれ・変形を基に算出する。例えば、四つのタイルが横に並んで配置されている状況において最左タイルを基準とする場合、２タイル間の相対的位置ずれを基にして、最右タイルの位置ずれ・変形量は以下の式で与えられる。

ここで、Ａ_ｉ，ｋ（ｘ）は、ｉ番目のタイルを基準としたときのｋ番目のタイルの位置ずれ・変形を表すアフィン変換（式３）である。Ｍ_ｉ，ｋ，ｓ_ｉ，ｋ，ｔ_ｉ，ｋは、各々、ｉ番目のタイルを基準としたときのｋ番目のタイルの変形を表す行列、位置ずれを表すベクトル、中心位置を表すベクトルである。アフィン変換の合成関数はアフィン変換であり、さらに、中心位置を表すベクトルｔ_１，４が事前に与えられることから、未知数であるＭ_１，４、ｓ_１，４を決めることができる。

初期値算出工程１０２２により得られた位置ずれ・変形量に基づいてタイルを継ぎ合わせた場合、式６の算出に用いた複数のタイルの継ぎ合わせは良好であるが、算出に用いていないタイルとの間には継ぎ目が現れやすい。最適化工程１０２３では、初期値算出工程
１０２２により得られた各タイルの位置ずれ・変形量の調整を行い、継ぎ目を抑制する。具体的には、基準タイルから離れたタイルにおいては、複数の異なる経路において式６の算出を行い、得られた値の平均値を位置ずれ・変形量として採用する。結果として、隣接タイル間に隙間を発生させずに、各タイルの位置ずれ・変形量を決定できる。

復号処理１０３１について、図１５Ｃに記載のフローチャートを用いて説明する。復号処理１０３１はＤＣＴ方式のＪＰＥＧ復号処理である。ＤＣＴ方式のＪＰＥＧ復号処理は一般に良く知られているため、工程の詳細は省略して概要のみ述べる。ハフマン復号工程１０３２では、圧縮データにハフマン復号処理を施して量子化後ＤＣＴ係数を求める。逆量子化工程１０３３では、量子化後ＤＣＴ係数から連続ＤＣＴ係数を求める。ＩＤＣＴ工程１０３４では、ＤＣＴ係数からＹＣ分離後タイルを復元する。

変形補正処理１０４１について、図１５Ｄに記載のフローチャートを用いて説明する。アフィン変換工程１０４２では、まず、以下の式７に基づいて、アフィン変換処理後タイルの画素（以後、「注目画素」と呼ぶ）に対応する補正対象タイル内の点の座標値を計算する。

ただし、ｘ，ｙは注目画素の座標値、ｘ’，ｙ’は補正対象タイル内における注目画素の座標値（ただし、原点は基準タイルの中心点）である。ｔ’_１，ｔ’_２は補正に用いるタイルの中心点の座標値（ただし、原点は基準タイルの中心）である。ｍ’_１１〜ｍ’_２２、ｓ’_１、ｓ’_２は、グローバルアライメント処理１０２１により得られたタイル毎の位置ずれ・変形量である。

次に、補正対象タイル内における注目画素の値を近傍画素補間により求める。アフィン変換処理後タイルにおいて、注目画素をラスタスキャンすることで、アフィン変換処理後タイル内の全画素値を得る。

倍率変換工程１０４３では、アフィン変換処理後のタイルに所定の倍率を掛けた画像データを生成する。あらかじめ異なる倍率を与えられた画像データを作成することで、表示時の倍率変換処理を簡略化するのが目的である。ガンマ補正工程１０４４では、アフィン変換処理後のタイルと倍率変換処理後のタイルにガンマ補正を施す。倍率変換工程１０４３とガンマ補正工程１０４４は必要なければ省略しても良い。

画像合成処理１０５１について、図１５Ｅに記載のフローチャートを用いて説明する。画像データ収集工程１０５２では、対象状態番号がＮ以下の画像合成プロセスにおいて生成されたタイルを同じ倍率毎に収集する。整形工程１０５３では、隣接タイルの重複領域を適切に処理した後に一つの画像データに整形する。画像フォーマットは、表示プログラムに依存して決められる。例えば、表示プログラムがＪＰＥＧ圧縮データの表示と、異なる倍率の切り替え表示に対応している場合には、倍率毎に異なるＪＰＥＧ圧縮データを一つのＺＩＰ圧縮フォルダにまとめたフォーマットを採用する。
以上のように、顕微鏡撮像システムの出力である合成後画像データを生成することができる。

このように、本発明の第１実施形態は、タイルの周辺データを非圧縮の状態で、また画像データを非可逆圧縮した状態で画像処理装置に転送し、周辺データを用いて推定した位置ずれ・変形量に基づいて圧縮データを合成する顕微鏡撮像システム、である。この構成
により、撮像装置のハードウェア規模を小規模に保ちながら、正確な継ぎ合わせ処理と高速な処理が可能となる。

また本実施形態では、撮像装置から画像処理装置への周辺データの転送と、圧縮タイルの転送とが非同期に行われる。詳しくは、周辺データが先に画像処理装置へ転送され、撮像装置がタイルデータの生成、非可逆圧縮、転送を行っている時間を利用して、画像処理装置が位置ずれ・変形推定量の計算を並列に実行する。言い換えると、画像処理装置は、周辺データを先に取得し、タイルデータが取得可能となるまでのタイムラグを利用して、タイルの継ぎ合わせに用いるパラメータの決定処理を行う。したがって、画像処理装置は、撮像装置から圧縮タイルを受信すると直ぐに画像合成処理を開始することができる。これにより効率的な（つまり高速な）継ぎ合わせ処理を実現している。特に本実施形態では、周辺データに色変換やＹＣ分離などの処理を施さない（ＲＡＷデータをそのまま用いる）ので、周辺データの作成にかかる撮像装置の負荷を最小限にできるとともに、周辺データを画像処理装置に早いタイミングで転送可能である。

［第２実施形態］
本発明の第２実施形態について説明する。第２実施形態は、状態番号毎（撮像エリア毎）に複数層のタイル（以後、ｚスタックデータと呼ぶ）を取得し、層毎にタイルを継ぎ合わせることにより、標本全面の３次元構造を取得する顕微鏡撮像システムである。第１実施形態と類似した構成を持つが、画像処理装置としてワークステーションを用いず、画像処理ボード上に実装されている点が異なる。また、周辺データに可逆圧縮をかけて画像処理装置に転送する点も異なる。

図１６に示すように、第２実施形態の顕微鏡撮像システム１１０１は、撮像装置１１０２と画像処理装置１１０３から構成される。撮像装置１１０２の構成は、第１実施形態と同じである（第１実施形態と同一の構成要素には図１と同一の符号を付す。）。画像処理装置１１０３は、撮像装置１１０２と同じ筐体内にある画像処理ボード１１１９で構成されている。撮像装置１１０２の撮像処理ボード１１１５と画像処理ボード１１１９は、ネットワークケーブル１１０５により接続され、双方向にデータを転送できる。第１実施形態とは異なり、制御装置１１０４は画像処理装置１１０３とは別となっており、ＰＣのマザーボードを使用する。制御装置１１０４も撮像装置１１０２と同じ筐体内に据え付けられている。顕微鏡撮像システム１１０１には、ディスプレイ１１２１がディスプレイケーブル１１２２を介して接続されている。

撮像処理ボード１１１５の構成について図１７を用いて説明する。第１実施形態における撮像処理ボード１１５（図２）とほぼ同じ構成であるが、非可逆圧縮部１１３７と可逆圧縮部１１５３を備える点が異なる。第１実施形態と同一の構成要素については図２と同一の符号を付し、詳しい説明を省略する。

画像処理ボード１１１９の構成について図１８を用いて説明する。画像処理ボード１１１９は、メモリ１１６１、通信インターフェース１１６２、周辺データ復号部１１６３、ローカルアライメント部１１６４、グローバルアライメント部１１６５、タイル復号部１１６６、変形補正部１１６７、画像合成部１１６８を有する。また、画像処理ボード１１１９は、データ受信コントローラ１１６９、位置ずれ・変形推定コントローラ１１７０、画像合成コントローラ１１７１を有する。符号１１７４はデータバス制御信号（占有許可信号、占有可否問い合わせなど）を示し、符号１１７５は制御信号（処理開始指示、処理完了通知など）を示し、符号１１７６はデータの流れを示す。各コントローラは、調停回路１１７２からデータバス占有許可信号を取得した後、データバス１１７３により接続された各構成要素に処理開始指示を送り、構成要素毎の画像処理を実行する。

＜タイルの取得＞
本実施形態の顕微鏡撮像システムにおける撮像の流れは、図３に示す第１実施形態とほぼ同じである。第１実施形態と内容が異なる、タイル取得工程２０４のみ説明する。第２実施形態におけるタイル取得工程２０４では、合焦位置検出工程２０３で得られた合焦ｚ座標値を基準に、タイルを取得する複数の層の高さ（深さ）を決定する。例えば、合焦ｚ座標値を中心にして上下に層を設定してもよいし、合焦ｚ座標値の下側（又は上側）に複数の層を設定してもよい。以後、タイルを取得する層の数を「層数」、各層の番号を「層番号」と呼ぶ。なお、隣接する層同士の間隔は対物レンズの被写界深度よりも小さくなるように設定すればよい。タイル取得工程２０４では、各層の高さに三軸ステージを駆動し、各ステージ高さにおいて、電動フィルタホイール１１８によりカラーフィルタを切り替えて撮像することで、単色タイルを取得する。第１実施形態においては、一つの状態番号（撮像エリア）に対する単色タイル数は３であったが、本実施形態においては、一つの状態番号に対する単色タイル数は３×Ｈ（ただし、Ｈは層数）となる。なお、合焦ｚ座標値と各層の高さは、状態番号毎（撮像エリア毎）に決定してもよいし、すべての状態番号（撮像エリア）で同じ値を用いてもよい。

＜撮像装置内で行われる画像処理＞
本実施形態の顕微鏡撮像システムにおける画像処理内容は、第１実施形態とほぼ同じである。異なる点は、データクリップ・圧縮処理コントローラ１４７により制御される構成要素に可逆圧縮部１１５３が追加され、画像処理に可逆圧縮処理が追加されたことである。

データクリップ・圧縮処理コントローラ１４７により制御される構成要素間のデータ交換について、図１９を用いて説明する。データクリップ・圧縮処理コントローラ１４７は、タイル取得開始と同時に撮像状態管理テーブル３０１の監視を開始する。同じ状態番号に属する複数の単色タイル番号に対する値を順番に検索し、全て補正完了状態４０４の場合に、クリップ実行状態４０５に更新した後に作業を開始する。例えば、層数がＨの場合には、状態番号ｐに対するＲＧＢ各色の単色タイル番号は、３Ｈｐ，３Ｈｐ＋１，…，３Ｈｐ＋３Ｈ−２，３Ｈｐ＋３Ｈ−１である。

まず、コントローラ１４７は、周辺データクリップ部１３５に特定の色、及び、特定の層番号のセンサ補正後単色タイルの先頭アドレスを送り、周辺データクリップ処理の実行を指示する。上記センサ補正後単色タイルの色を任意に選択できるのは、第１実施形態と同じである。上記特定の層番号も任意に選択できるが、細かいテクスチャが含まれる層やコントラストが高い層の層番号を選択するとよい。例えば、合焦位置検出工程２０３で得られた合焦ｚ座標値と同じ高さにある層の層番号を選択するとよい。

周辺データクリップ処理の生成物である周辺データは、可逆圧縮部１１５３に送信され、後述する可逆圧縮処理を施される。可逆圧縮後の周辺データは、ネットワーク経由で画像処理装置１１０３に転送される。なお、本実施形態では、一層のみの周辺データを用いるが、二層以上の周辺データを用いることもできる。あるいは、二層以上の周辺データを合成（例えば深度合成）して高コントラストの周辺データを作成してもよい。

次に色変換・ＹＣ分離部１３６により実行される色変換処理は、第１実施形態と同じである。ＹＣ分離後タイルは非可逆圧縮部１１３７に送られ、非可逆圧縮処理が実行される。非可逆圧縮処理は、第１実施形態と同じくＤＣＴ方式のＪＰＥＧ圧縮とする。非可逆圧縮部１１３７の出力データである圧縮タイルは、通信インターフェース１３９を経由し、画像処理装置１１０３に転送される。転送後、撮像状態管理テーブル３０１の値を５（クリップ完了状態４０６）に更新し、監視対象とする単色タイル番号を３Ｈ増加させて（ただし、Ｈは層数）監視を続行する。

次に、可逆圧縮部１１５３で行なわれる可逆圧縮処理１２０１について、図２０に記載のフローチャートを用いて説明する。可逆圧縮処理１２０１は、ｓｐａｔｉａｌ方式のＪＰＥＧ圧縮処理である。ｓｐａｔｉａｌ方式のＪＰＥＧ圧縮処理は一般に良く知られているため、工程の詳細は省略して概要のみ述べる。２次元予測工程１２０２では、周辺データ内の各画素において、近傍画素による予測値を計算する。ハフマン符号化工程１２０３では、予測値と画素値の差分によってハフマン符号化を実行する。結果として非可逆圧縮した周辺データが得られる。

＜画像処理装置内で行われる画像処理＞
本実施形態の画像処理装置１１０３で行われる画像処理は、第１実施形態とは異なり、画像処理ボード１１１９上の構成要素の連携により実行されるが、処理内容はほぼ同じである。

第１実施形態と同じく、画像処理装置１１０３のメモリ１１６１にはプロセス管理テーブル、二種類のアライメント管理テーブル、状態番号リンクテーブル、グローバルアライメント実行状態変数が割り当てられ、それらがプロセス制御に用いられる。

第１実施形態において、データ受信プロセス、位置ずれ・変形推定プロセス、画像合成プロセスに関して行われたデータ交換は、データ受信コントローラ１１６９、位置ずれ・変形推定コントローラ１１７０、画像合成コントローラ１１７１が担当する。各々について、図２１、図２２、図２３を用いて説明する。

図２１を用いて、データ受信コントローラ１１６９と構成要素間で行われるデータ交換を説明する。データ受信コントローラ１１６９は、通信インターフェース１１６２の特定のポートを監視し、撮像装置１１０２が送信してきたデータ（可逆圧縮後周辺データまたは圧縮タイル）を受信する。圧縮タイルの場合、コントローラ１１６９は、データをそのままメモリ１１６１に格納し、プロセス管理テーブル９０１の値を２（圧縮タイル受信済状態９２３）に更新する。一方、可逆圧縮後周辺データの場合は、コントローラ１１６９は、周辺データ復号部１１６３に可逆圧縮後周辺データを送り、後述する可逆復号処理を実行する。結果として得られた周辺データをメモリ１１６１に格納する。その後、コントローラ１１６９は、プロセス管理テーブル９０１の値を１（周辺データ受信済み状態９２２）に更新する。終了後、ポートの監視状態に戻る。

次に、図２２を用いて位置ずれ・変形推定コントローラ１１７０と構成要素間で行われるデータ交換について説明する。位置ずれ・変形推定コントローラ１１７０は、第１実施形態において説明した対象状態番号を保持するレジスタを持っている。位置ずれ・変形推定コントローラ１１７０の動作開始時に、上記レジスタを０あるいは所定の値に初期化し、対象状態番号に対する位置ずれ・変形推定処理が完了後に、レジスタの値を一定値増加させて更新する。

位置ずれ・変形推定コントローラ１１７０と構成要素の間のデータ交換は、第１実施形態において、位置ずれ・変形推定プロセス１００２と構成要素の間で行なわれたものと同じである。ローカルアライメント処理とグローバルアライメント処理は、ローカルアライメント部１１６４およびグローバルアライメント部１１６５を使って実行する。

次に、図２３を用いて画像合成コントローラ１１７１と構成要素との間で行われるデータ交換について説明する。画像合成コントローラ１１７１も、第１実施形態において説明した対象状態番号を保持するレジスタを持ち、第１実施形態と同様に初期化、更新を行う。データ交換手順は、図１２において、画像合成プロセス１００３を画像合成コントロー
ラ１１７１に置き換えたものと同じである。復号処理と変形補正処理は、タイル復号部１１６６、変形補正部１１６７において実行する。画像合成処理は、画像合成部１１６８により実行する。

個別処理の内容は、第１実施形態とほぼ同じであるが、図２４に示す可逆復号処理１３０１を周辺データ復号部１１６３において実行する点が異なる。可逆復号処理１３０１は一般に良く知られているため、工程の詳細は省略する。ハフマン復号工程１３０２では、可逆圧縮された周辺データに対し、圧縮時に行ったハフマン符号化の逆演算を行い、予測値と画素値の差分値を得る。画素値復元工程１３０３では、圧縮時の２次元予測で得られた符号列と上記差分値から画素値を復元する。

また、画像合成処理の出力ファイルである合成後画像データのファイルフォーマットをｚスタックデータに対応させる必要がある点も、第１実施形態と異なる。例えば、表示プログラムが深度切り替えに対応している場合には、層毎に異なるＪＰＥＧ圧縮データを一つのＺＩＰ圧縮フォルダにまとめたフォーマットを採用する。
以上のように、顕微鏡撮像システムの出力である合成後画像データを生成することができる。合成後画像データは、メモリ１１６１又は外部記憶装置１１７７に格納される。

このように、本発明の第２実施形態では、ｚスタックデータの中の一層のタイルの周辺データに可逆圧縮を施した状態、且つ、画像データを非可逆圧縮した状態で画像処理装置に転送する。そして、画像処理装置において、復号した周辺データを用いて推定した位置ずれ・変形量に基づいて圧縮データを合成する。この構成により、撮像装置のハードウェア規模を小規模に保ちながら、ｚスタックデータの正確な継ぎ合わせ処理と高速な処理が可能となる。

また本実施形態でも、第１実施形態と同様、撮像装置から画像処理装置への周辺データの転送と、圧縮タイルの転送とが非同期に行われる。したがって、画像処理装置は、撮像装置から圧縮タイルを受信すると直ぐに画像合成処理を開始することができる。これにより効率的な（つまり高速な）継ぎ合わせ処理を実現している。特に本実施形態では、周辺データに可逆圧縮を施して転送しているので、周辺データの転送量及び転送時間を短縮することが可能である。
また一層分の周辺データのみ転送し、これを複数層のｚスタックデータの継ぎ合わせ処理に共通に用いるので、周辺データの転送量及び転送時間を短縮できるとともに、位置ずれ・変形推定処理の負荷を低減することもできる。

［第３実施形態］
本発明の第３実施形態について説明する。第３実施形態は撮像装置であり、分割撮像を行った後に、非可逆圧縮を施したタイルと、非可逆圧縮を施した周辺データを送信する機能を有することを特徴とする。構成は、第１実施形態の撮像装置とほぼ同じであるが、撮像処理ボードにて、周辺データクリップ後に、非可逆圧縮処理を実行する点が異なる。

装置構成は図１に示す撮像装置１０２と同じであり、説明を省略する。撮像処理ボードについても、構成は図２と同一であるが、データクリップ・圧縮処理コントローラ１４７により行われる構成要素間データ交換が異なる。

本実施形態の構成要素間データ交換について図２５を用いて説明する。データクリップ・圧縮処理コントローラ１４７は、周辺データクリップ部１３５による周辺データクリップ処理の前に、色変換・ＹＣ分離部１３６に色変換処理とＹＣ分離処理の実行を指示する。次に、コントローラ１４７は、周辺データクリップ部１３５に、ＹＣ分離後の輝度成分（Ｙ成分）に対する周辺データクリップ処理の実行を指示する。

周辺データクリップ処理の実行完了通知を受け取った後、データクリップ・圧縮処理コントローラ１４７は、周辺データクリップ処理後の輝度成分に対する非可逆圧縮処理の実行を圧縮部１３７に指示する。周辺データに対する圧縮率は、圧縮タイルの圧縮率より大きくなるように（情報の削減割合が圧縮タイルに比べて小さくなるように）設定する。過去のシミュレーション結果では、ＪＰＥＧ圧縮の圧縮率が２７％の場合、位置ずれ推定に失敗する確率は約１％で、圧縮率が４％の場合に失敗する確率は約１０％であった。圧縮タイルの圧縮率は５％程度が良く用いられることから、周辺データに対する圧縮率を６〜３０％程度にすることで、位置ずれ推定の成功率が高まり、スティッチング（継ぎ合わせ）の精度も向上する。圧縮部１３７では、非可逆圧縮処理の実行後に、圧縮後周辺データを通信インターフェース経由で外部に送信する。
続けて行われるＹＣ分離後タイルに対する処理は、第１実施形態と同じである。

このように、本発明の第３実施形態は、分割画像を撮像し、分割画像とその周辺データに圧縮率の異なる非可逆圧縮を施すことを特徴とする撮像装置である。非可逆圧縮を施しているが、情報の削減割合が小さいため、アーチファクトの少ない周辺データを利用できるため、外部装置において高精度スティッチング処理の実行が可能になる。また、第１実施形態（非圧縮）や第２実施形態（可逆圧縮）に比べて周辺データの転送量及び転送時間を短縮できるという利点もある。

［第４実施形態］
本発明の第４実施形態について説明する。第４実施形態は、非可逆圧縮された分割画像と周辺データを基にして、高精度に分割画像の継ぎ合わせ処理を実行する画像処理装置である。構成は第１実施形態における画像処理装置と同じである。

画像処理内容もほぼ第１実施形態と同じであるが、図２６に示すように、データ受信プロセスに関する処理が異なる。データ受信プロセスは、通信インターフェースからデータを受信後にデータ種類の判定を行い、受信データが圧縮後周辺データである場合には、非可逆復号処理を実施する。復号後の周辺データは、メモリに保存される。本実施形態では、第３実施形態の撮像装置が送信するデータのように、周辺データに施された非可逆圧縮処理の情報削減の割合が、タイルに施された非可逆圧縮処理よりも低いことを前提としている。復号後の周辺データからは情報が削減されていないため、周辺データから位置ずれ・変形量推定を高精度に実行できる。結果として、高精度な合成画像を生成できる。

このように、本発明の第４実施形態は、非可逆圧縮された周辺データを基にして、タイルの位置ずれ・変形量推定を行うことで、高精度にタイルを継ぎ合わせることができる画像処理装置である。

［その他の実施形態］
上記実施形態で述べた各構成を適宜組み合わせることもできる。例えば、第１実施形態の撮像システム（図１）の構成で、第２実施形態のようなｚスタックデータの撮像及び合成を行うこともできるし、第２実施形態のような周辺データの可逆圧縮や、第３及び第４実施形態のような周辺データの非可逆圧縮を行ってもよい。また、第２実施形態の撮像システム（図１６）の構成で、第１実施形態のような単一層の撮像及び合成を行うこともできるし、第１実施形態のように周辺データを非圧縮にしたり、第３及び第４実施形態のような周辺データの非可逆圧縮を行ってもよい。また、第３実施形態の撮像装置において、周辺データを非圧縮又は可逆圧縮してもよい。その場合、第４実施形態の画像処理装置では、周辺データの圧縮の有無や圧縮形式に応じて処理を変えればよい。

記憶装置に記録されたプログラムを読み込み実行することで前述した実施形態の機能を
実現するシステムや装置のコンピュータ（又はＣＰＵ、ＭＰＵ等のデバイス）によっても、本発明を実施することができる。また、例えば、記憶装置に記録されたプログラムを読み込み実行することで前述した実施形態の機能を実現するシステムや装置のコンピュータによって実行されるステップからなる方法によっても、本発明を実施することができる。この目的のために、上記プログラムは、例えば、ネットワークを通じて、又は、上記記憶装置となり得る様々なタイプの記録媒体（つまり、非一時的にデータを保持するコンピュータ読取可能な記録媒体）から、上記コンピュータに提供される。従って、上記コンピュータ（ＣＰＵ、ＭＰＵ等のデバイスを含む）、上記方法、上記プログラム（プログラムコード、プログラムプロダクトを含む）、上記プログラムを非一時的に保持するコンピュータ読取可能な記録媒体は、いずれも本発明の範疇に含まれる。

１０１：顕微鏡撮像システム
１０２：撮像装置
１０３：画像処理装置
１１４：イメージセンサ
１１５：撮像処理ボード

Claims

撮像装置と画像処理装置を有する撮像システムであって、
前記撮像装置は、
被写体の複数のエリアを、隣接するエリアの端部が互いに重なるように、撮像する撮像手段と、
前記複数のエリアそれぞれに対し、前記撮像手段で得られたデータから、当該エリアの画像データと、当該エリアと当該エリアに隣接するエリアの間の重なり部分のデータである周辺データとを生成する生成手段と、
前記画像データを非可逆圧縮する非可逆圧縮手段と、を有し、
前記画像処理装置は、
前記複数のエリアそれぞれの、非可逆圧縮された画像データと周辺データを取得する取得手段と、
隣接する二つのエリアの画像データを継ぎ合わせる処理に用いるパラメータを、当該二つのエリアの周辺データを用いて決定する決定手段と、
前記非可逆圧縮された画像データを復号し、復号された前記複数のエリアの画像データを前記決定手段で決定された前記パラメータを用いて継ぎ合わせる合成手段と、を有する
ことを特徴とする撮像システム。
前記撮像装置と前記画像処理装置とがデータ伝送路で接続されており、
前記非可逆圧縮された画像データ、及び、前記周辺データは、前記データ伝送路を介して前記撮像装置から前記画像処理装置へ送信される
ことを特徴とする請求項１に記載の撮像システム。
前記非可逆圧縮された画像データよりも先に前記周辺データが前記撮像装置から前記画像処理装置へ送信され、
前記撮像装置において前記画像データの生成、非可逆圧縮、及び、前記画像処理装置への送信が行われている時間を利用して、前記決定手段による前記パラメータの決定処理が行われる
ことを特徴とする請求項２に記載の撮像システム。
前記周辺データは、圧縮処理を施されずに、前記撮像装置から前記画像処理装置へ送信される
ことを特徴とする請求項２又は３に記載の撮像システム。
前記撮像装置は、前記周辺データを可逆圧縮する可逆圧縮手段をさらに有しており、
前記周辺データは、前記可逆圧縮手段により可逆圧縮されて、前記撮像装置から前記画像処理装置へ送信される
ことを特徴とする請求項２又は３に記載の撮像システム。
前記撮像装置は、前記非可逆圧縮手段の非可逆圧縮よりもデータが削減されない非可逆圧縮を前記周辺データに施す第２の非可逆圧縮手段をさらに有し、
前記周辺データは、前記第２の非可逆圧縮手段により非可逆圧縮されて、前記撮像装置から前記画像処理装置へ送信される
ことを特徴とする請求項２又は３に記載の撮像システム。
前記周辺データは、単色のデータである
ことを特徴とする請求項１〜６のうちいずれか１項に記載の撮像システム。
前記撮像手段は、前記複数のエリアそれぞれに対し、複数の層の撮像を行い、
前記生成手段は、前記撮像手段で得られたデータから、前記複数の層に対応する複数枚の画像データと、一つの層のみに対応する周辺データとを生成し、
前記一つの層のみに対応する周辺データを用いて決定されたパラメータが、前記複数の層それぞれの画像データの継ぎ合わせ処理に用いられる
ことを特徴とする請求項１〜７のうちいずれか１項に記載の撮像システム。
被写体の複数のエリアを、隣接するエリアの端部が互いに重なるように、撮像する撮像手段と、
前記複数のエリアそれぞれに対し、前記撮像手段で得られたデータから、当該エリアの画像データと、当該エリアと当該エリアに隣接するエリアの間の重なり部分のデータである周辺データとを生成する生成手段と、
前記画像データを非可逆圧縮する非可逆圧縮手段と、
非可逆圧縮された前記画像データ、及び、前記周辺データを出力する出力手段と、を有する
ことを特徴とする撮像装置。
前記周辺データは、画像処理装置において、前記複数のエリアの画像データを継ぎ合わせる処理に用いるパラメータを決定するために用いられる
ことを特徴とする請求項９に記載の撮像装置。
前記画像データの生成、非可逆圧縮、及び、出力が行われている時間を利用して、前記画像処理装置が前記パラメータを決定する処理を実行できるように、
前記出力手段は、前記非可逆圧縮された画像データよりも先に前記周辺データを出力する
ことを特徴とする請求項１０に記載の撮像装置。
前記出力手段は、前記周辺データを、圧縮処理を施さずに出力する
ことを特徴とする請求項９〜１１のうちいずれか１項に記載の撮像装置。
前記周辺データを可逆圧縮する可逆圧縮手段をさらに有し、
前記出力手段は、前記可逆圧縮手段により可逆圧縮した周辺データを出力する
ことを特徴とする請求項９〜１１のうちいずれか１項に記載の撮像装置。
前記非可逆圧縮手段の非可逆圧縮よりもデータが削減されない非可逆圧縮を前記周辺データに施す第２の非可逆圧縮手段をさらに有し、
前記出力手段は、前記第２の非可逆圧縮手段により非可逆圧縮した周辺データを出力する
ことを特徴とする請求項９〜１１のうちいずれか１項に記載の撮像装置。
前記周辺データは、単色のデータである
ことを特徴とする請求項９〜１４のうちいずれか１項に記載の撮像装置。
前記撮像手段は、前記複数のエリアそれぞれに対し、複数の層の撮像を行い、
前記生成手段は、前記撮像手段で得られたデータから、前記複数の層に対応する複数枚の画像データと、一つの層のみに対応する周辺データとを生成し、
前記出力手段は、非可逆圧縮された前記複数枚の画像データ、及び、前記一つの層のみに対応する周辺データを出力する
ことを特徴とする請求項９〜１５のうちいずれか１項に記載の撮像装置。
隣接するエリアの端部が互いに重なるように設定された被写体の複数のエリアそれぞれについて、非可逆圧縮された画像データと、隣接するエリアの間の重なり部分のデータである周辺データとを取得する取得手段と、
隣接する二つのエリアの画像データを継ぎ合わせる処理に用いるパラメータを、当該二つのエリアの周辺データを用いて決定する決定手段と、
前記非可逆圧縮された画像データを復号し、復号された前記複数のエリアの画像データを前記決定手段で決定された前記パラメータを用いて継ぎ合わせる合成手段と、を有することを特徴とする画像処理装置。
前記取得手段は、前記非可逆圧縮された画像データよりも先に前記周辺データを取得し、
前記決定手段は、前記非可逆圧縮された画像データが取得可能となるまでの時間を利用して、前記パラメータの決定処理を行う
ことを特徴とする請求項１７に記載の画像処理装置。
前記周辺データは、圧縮処理が施されていないデータである
ことを特徴とする請求項１７又は１８に記載の画像処理装置。
前記周辺データは、可逆圧縮が施されたデータである
ことを特徴とする請求項１７又は１８に記載の画像処理装置。
前記周辺データは、前記画像データに施されている非可逆圧縮よりもデータが削減されない非可逆圧縮を施されたデータである
ことを特徴とする請求項１７又は１８に記載の画像処理装置。
前記周辺データは、単色のデータである
ことを特徴とする請求項１７〜２１のうちいずれか１項に記載の画像処理装置。
前記取得手段は、前記複数のエリアそれぞれについて、複数の層に対応する複数枚の非可逆圧縮された画像データと、一つの層のみに対応する周辺データとを取得し、
前記決定手段は、前記複数の層それぞれの画像データを継ぎ合わせる処理に用いるパラメータを、前記一つの層のみに対応する周辺データを用いて決定する
ことを特徴とする請求項１７〜２２のうちいずれか１項に記載の画像処理装置。
撮像装置と画像処理装置を有する撮像システムの制御方法であって、
前記撮像装置が、被写体の複数のエリアを、隣接するエリアの端部が互いに重なるように、撮像する工程と、
前記撮像装置が、前記複数のエリアそれぞれに対し、前記撮像工程で得られたデータから、当該エリアの画像データと、当該エリアと当該エリアに隣接するエリアの間の重なり部分のデータである周辺データとを生成する工程と、
前記撮像装置が、前記画像データを非可逆圧縮する工程と、
前記画像処理装置が、前記複数のエリアそれぞれの、非可逆圧縮された画像データと周辺データを取得する工程と、
前記画像処理装置が、隣接する二つのエリアの画像データを継ぎ合わせる処理に用いるパラメータを、当該二つのエリアの周辺データを用いて決定する工程と、
前記画像処理装置が、前記非可逆圧縮された画像データを復号し、復号された前記複数のエリアの画像データを前記決定工程で決定された前記パラメータを用いて継ぎ合わせる工程と、を有する
ことを特徴とする撮像システムの制御方法。
撮像装置の制御方法であって、
被写体の複数のエリアを、隣接するエリアの端部が互いに重なるように、撮像する工程と、
前記複数のエリアそれぞれに対し、前記撮像手段で得られたデータから、当該エリアの画像データと、当該エリアと当該エリアに隣接するエリアの間の重なり部分のデータである周辺データとを生成する工程と、
前記画像データを非可逆圧縮する工程と、
非可逆圧縮された前記画像データ、及び、前記周辺データを出力する工程と、を有することを特徴とする撮像装置の制御方法。
画像処理装置の制御方法であって、
隣接するエリアの端部が互いに重なるように設定された被写体の複数のエリアそれぞれについて、非可逆圧縮された画像データと、隣接するエリアの間の重なり部分のデータである周辺データとを取得する工程と、
隣接する二つのエリアの画像データを継ぎ合わせる処理に用いるパラメータを、当該二つのエリアの周辺データを用いて決定する工程と、
前記非可逆圧縮された画像データを復号し、復号された前記複数のエリアの画像データを前記決定工程で決定された前記パラメータを用いて継ぎ合わせる工程と、を有する
ことを特徴とする画像処理装置の制御方法。