JP2012060394A - 画像取得装置 - Google Patents
画像取得装置 Download PDFInfo
- Publication number
- JP2012060394A JP2012060394A JP2010201280A JP2010201280A JP2012060394A JP 2012060394 A JP2012060394 A JP 2012060394A JP 2010201280 A JP2010201280 A JP 2010201280A JP 2010201280 A JP2010201280 A JP 2010201280A JP 2012060394 A JP2012060394 A JP 2012060394A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- image
- area
- imaging target
- light receiving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/48—Increasing resolution by shifting the sensor relative to the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
- H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Facsimile Scanning Arrangements (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Microscoopes, Condenser (AREA)
- Image Input (AREA)
Abstract
【課題】複数の離散的に配置された2次元撮像素子群を用いて大画面を撮像する装置において、最少の移動回数で撮像対象領域全体を撮像することで撮像時間を短縮する。
【解決手段】複数の撮像素子は、一定のピッチでX方向に並べられた複数の撮像素子からなる奇数行と、奇数行と同じピッチで奇数行に対して1/2位相ずらしてX方向に並べられた奇数行よりも1多い数の撮像素子からなる偶数行とが、一定のピッチでY方向に交互に並ぶように配置されている。偶数行の両端の撮像素子の受光領域がそれぞれ撮像対象領域像のX方向の両端を含んでおり、第1行の撮像素子の受光領域から最終行の撮像素子の受光領域までを含む領域のY方向の長さは、撮像対象領域像のY方向の長さよりも大きい。
【選択図】図4
【解決手段】複数の撮像素子は、一定のピッチでX方向に並べられた複数の撮像素子からなる奇数行と、奇数行と同じピッチで奇数行に対して1/2位相ずらしてX方向に並べられた奇数行よりも1多い数の撮像素子からなる偶数行とが、一定のピッチでY方向に交互に並ぶように配置されている。偶数行の両端の撮像素子の受光領域がそれぞれ撮像対象領域像のX方向の両端を含んでおり、第1行の撮像素子の受光領域から最終行の撮像素子の受光領域までを含む領域のY方向の長さは、撮像対象領域像のY方向の長さよりも大きい。
【選択図】図4
Description
本発明は、画像取得装置に関し、特に,複数の離散的に配置された2次元撮像素子を用いて大画面を撮像する画像取得装置に関する。
近年、病理分野において、プレパラートに載置された被検試料を撮像しデジタル化してディスプレイ上での病理診断を可能とするバーチャルスライド装置が注目を集めている。バーチャルスライド装置による病理診断のデジタル化により、プレパラート上の被検試料の光学顕微鏡像をデジタルデータとして取り扱える。それによって、遠隔診断の迅速化、患者へのデジタル画像を使った説明、希少症例の共有化、教育・実習の効率化、などのメリットが得られると期待されている。
光学顕微鏡での操作をバーチャルスライド装置によるデジタル化で実現するためには、プレパラート上の被検試料全体をデジタル化する必要がある。被検試料全体のデジタル化により、バーチャルスライド装置で作成したデジタルデータをPCやWSで動作するビューワソフトで観察することができる。光学像のデジタル化には撮像素子を用いる。被検試料上の0.5μmを撮像素子の1画素に対応させる場合、プレパラート上の被検試料の大きさが15mm×15mmとすると、被検試料全体のデジタル化には9億画素(30000画素×30000画素)が必要となる。ここで撮像素子に要求される有効受光領域の大きさを考えると、対物レンズの倍率が6倍の場合は90mm×90mm、倍率8倍の場合は120mm×120mmとなる。これを実現できる単体の2次元多画素大判撮像素子はコストが高くなる。そのためバーチャルスライド装置では、数十万から数百万程度の画素数を有する2次元撮像素子、または、数千程度の画素数を有する1次元撮像素子を用いて被検試料の領域を複数に分割して撮像することが一般的である。
2次元撮像素子1個を用いたタイリング方式は、被検試料に対して2次元撮像素子を相対的に移動させながら複数回撮像し、複数枚の撮像画像を隙間なく貼り合わせることで被検試料全体の撮像画像を取得するものである。この単体2次元撮像素子によるタイリング方式では、被検試料の領域分割数が多くなるほど撮像に時間を要するという課題がある。
この課題を解決するための技術として以下の技術が提案されている(特許文献1参照)。特許文献1では、対物レンズの視野内に収まるように設けられた複数の2次元撮像素子からなる撮像素子群を有しており、この撮像素子群の位置と被検試料の位置を相対的に変化させながら複数回撮像することで1画面全体を撮像する技術を開示している。これにより撮像時間の短縮を行っている。さらに、撮像素子群の位置と被検試料の位置の相対的変化を1軸方向に限定することで、移動機構の簡略化と移動時間の短縮を行っている。
この課題を解決するための技術として以下の技術が提案されている(特許文献1参照)。特許文献1では、対物レンズの視野内に収まるように設けられた複数の2次元撮像素子からなる撮像素子群を有しており、この撮像素子群の位置と被検試料の位置を相対的に変化させながら複数回撮像することで1画面全体を撮像する技術を開示している。これにより撮像時間の短縮を行っている。さらに、撮像素子群の位置と被検試料の位置の相対的変化を1軸方向に限定することで、移動機構の簡略化と移動時間の短縮を行っている。
しかしながら、特許文献1には、複数の2次元撮像素子を用いた配置における制約事項の言及がされてない。実際には、シリコンウエハサイズ、パッケージサイズ、パッケージ間の干渉、センサ保持基板、センサ保持機構などの制約のために、2次元撮像素子間に不感領域を確保した配置をしなければならない。特に、数百万画素程度までの2次元撮像素子では、受光領域に対して受光領域以外の不感領域が占める割合が大きく、制約事項の影
響が大きい。撮像素子群の位置と被検試料の位置の相対的変化を1軸方向に限定する場合、上述の不感領域を考慮し、且つ、撮像対象領域が正方形(または正方形に近い形状)の場合には、移動回数が増える傾向にあり、撮像に時間を要する。
響が大きい。撮像素子群の位置と被検試料の位置の相対的変化を1軸方向に限定する場合、上述の不感領域を考慮し、且つ、撮像対象領域が正方形(または正方形に近い形状)の場合には、移動回数が増える傾向にあり、撮像に時間を要する。
ここで、移動機構については、2次元撮像素子群側ではなくプレパラート側に設けたほうが、光学倍率が寄与しない分だけ移動距離を短くできるため、移動機構を簡素化できる利点がある。特許文献1では撮像対象領域像外に2次元撮像素子が配置されているため、移動機構をプレパラート側に設ける場合には撮像光学系の有効視野を大きくしなければならず、撮像光学系の大型化、コストアップに繋がる。
本発明は、このような問題点に鑑みてなされたものであり、複数の離散的に配置された2次元撮像素子群を用いて大画面を撮像する装置において、最少の移動回数で撮像対象領域全体を撮像することで撮像時間を短縮することを目的とする。
本発明の第1態様は、
被検試料を支持する支持プレートと、
前記支持プレートに設けられた撮像対象領域に光を照射する光源と、
それぞれが受光領域を有する複数の撮像素子が結像面にX方向とY方向の2次元的に離散的に配置された撮像手段と、
前記撮像対象領域からの光を導光して、前記撮像手段の結像面に前記撮像対象領域に対応する撮像対象領域像を形成する撮像光学系と、
前記撮像対象領域像に対する各撮像素子の撮像領域の位置を変えて複数回の撮像を行うために、前記撮像対象領域像と前記複数の撮像素子とをY方向に相対移動させる移動手段と、
複数回の撮像で得られた各撮像領域の画像を合成して前記撮像対象領域全体の画像を生成する合成手段と、
を有し、
前記撮像光学系の有効視野は、前記撮像対象領域像よりも大きく、
前記撮像対象領域像のX方向の長さをx1、Y方向の長さをy1、
前記撮像素子のX方向の長さをx2、Y方向の長さをy2、
前記受光領域のX方向の長さをx3、Y方向の長さをy3、とした場合に、
1.5<x2/x3<2.0、
1.5<y2/y3<2.0、
x3≧x1/m (mは3以上の奇数)、を満たし、
前記複数の撮像素子は、2×x1/mのピッチでX方向に並べられた(m−1)/2個の撮像素子からなる奇数行と、2×x1/mのピッチで奇数行に対して1/2位相ずらしてX方向に並べられた(m+1)/2個の撮像素子からなる偶数行とが、y2以上2×y3以下のピッチでY方向に交互に並ぶように配置されており、
第1行の撮像素子の受光領域から最終行の撮像素子の受光領域までを含む領域のY方向の長さは、前記撮像対象領域像のY方向の長さy1よりも大きい
画像取得装置を提供するものである。
被検試料を支持する支持プレートと、
前記支持プレートに設けられた撮像対象領域に光を照射する光源と、
それぞれが受光領域を有する複数の撮像素子が結像面にX方向とY方向の2次元的に離散的に配置された撮像手段と、
前記撮像対象領域からの光を導光して、前記撮像手段の結像面に前記撮像対象領域に対応する撮像対象領域像を形成する撮像光学系と、
前記撮像対象領域像に対する各撮像素子の撮像領域の位置を変えて複数回の撮像を行うために、前記撮像対象領域像と前記複数の撮像素子とをY方向に相対移動させる移動手段と、
複数回の撮像で得られた各撮像領域の画像を合成して前記撮像対象領域全体の画像を生成する合成手段と、
を有し、
前記撮像光学系の有効視野は、前記撮像対象領域像よりも大きく、
前記撮像対象領域像のX方向の長さをx1、Y方向の長さをy1、
前記撮像素子のX方向の長さをx2、Y方向の長さをy2、
前記受光領域のX方向の長さをx3、Y方向の長さをy3、とした場合に、
1.5<x2/x3<2.0、
1.5<y2/y3<2.0、
x3≧x1/m (mは3以上の奇数)、を満たし、
前記複数の撮像素子は、2×x1/mのピッチでX方向に並べられた(m−1)/2個の撮像素子からなる奇数行と、2×x1/mのピッチで奇数行に対して1/2位相ずらしてX方向に並べられた(m+1)/2個の撮像素子からなる偶数行とが、y2以上2×y3以下のピッチでY方向に交互に並ぶように配置されており、
第1行の撮像素子の受光領域から最終行の撮像素子の受光領域までを含む領域のY方向の長さは、前記撮像対象領域像のY方向の長さy1よりも大きい
画像取得装置を提供するものである。
本発明の第2態様は、
被検試料を支持する支持プレートと、
前記支持プレートに設けられた撮像対象領域に光を照射する光源と、
それぞれが受光領域を有する複数の撮像素子が結像面にX方向とY方向の2次元的に離散的に配置された撮像手段と、
前記撮像対象領域からの光を導光して、前記撮像手段の結像面に前記撮像対象領域に対応する撮像対象領域像を形成する撮像光学系と、
前記撮像対象領域像に対する各撮像素子の撮像領域の位置を変えて複数回の撮像を行うために、前記撮像対象領域像と前記複数の撮像素子とをY方向に相対移動させる移動手段と、
複数回の撮像で得られた各撮像領域の画像を合成して前記撮像対象領域全体の画像を生成する合成手段と、
を有し、
前記撮像光学系の有効視野は、前記撮像対象領域像よりも大きく、
前記撮像素子のサイズは前記受光領域のサイズに対して1.5倍よりも大きく、且つ、2倍よりも小さく、
前記複数の撮像素子は、一定のピッチでX方向に並べられた複数の撮像素子からなる奇数行と、奇数行と同じピッチで奇数行に対して1/2位相ずらしてX方向に並べられた奇数行よりも1多い数の撮像素子からなる偶数行とが、一定のピッチでY方向に交互に並ぶように配置されており、
偶数行の両端の撮像素子の受光領域がそれぞれ前記撮像対象領域像のX方向の両端を含んでおり、
第1行の撮像素子の受光領域から最終行の撮像素子の受光領域までを含む領域のY方向の長さは、前記撮像対象領域像のY方向の長さよりも大きい画像取得装置を提供するものである。
被検試料を支持する支持プレートと、
前記支持プレートに設けられた撮像対象領域に光を照射する光源と、
それぞれが受光領域を有する複数の撮像素子が結像面にX方向とY方向の2次元的に離散的に配置された撮像手段と、
前記撮像対象領域からの光を導光して、前記撮像手段の結像面に前記撮像対象領域に対応する撮像対象領域像を形成する撮像光学系と、
前記撮像対象領域像に対する各撮像素子の撮像領域の位置を変えて複数回の撮像を行うために、前記撮像対象領域像と前記複数の撮像素子とをY方向に相対移動させる移動手段と、
複数回の撮像で得られた各撮像領域の画像を合成して前記撮像対象領域全体の画像を生成する合成手段と、
を有し、
前記撮像光学系の有効視野は、前記撮像対象領域像よりも大きく、
前記撮像素子のサイズは前記受光領域のサイズに対して1.5倍よりも大きく、且つ、2倍よりも小さく、
前記複数の撮像素子は、一定のピッチでX方向に並べられた複数の撮像素子からなる奇数行と、奇数行と同じピッチで奇数行に対して1/2位相ずらしてX方向に並べられた奇数行よりも1多い数の撮像素子からなる偶数行とが、一定のピッチでY方向に交互に並ぶように配置されており、
偶数行の両端の撮像素子の受光領域がそれぞれ前記撮像対象領域像のX方向の両端を含んでおり、
第1行の撮像素子の受光領域から最終行の撮像素子の受光領域までを含む領域のY方向の長さは、前記撮像対象領域像のY方向の長さよりも大きい画像取得装置を提供するものである。
本発明によれば、複数の離散的に配置された2次元撮像素子群を用いて大画面を撮像する装置において、最少の移動回数で撮像対象領域全体を撮像できるため、撮像時間を短縮できる。
(画像取得装置の構成)
本発明の実施形態を、図面を参照しながら説明する。
図1(a)〜図1(c)は、画像取得装置の撮像に関わる概略構成を説明する模式図である。この画像取得装置は、プレパラート103上の被検試料の光学顕微鏡像を高解像度のデジタル画像として取得するための装置である。
図1(a)に模式的に示すように、画像取得装置は、光源101、照明光学系102、移動機構10、撮像光学系104、撮像部105、現像・補正部106、合成部107、圧縮部108、伝送部109を備えて構成される。光源101は撮像用の照明光を発生する手段であり、RGB3色の発光波長を有する光源、例えばLED(発光ダイオード)やLD(レーザーダイオード)等が好ましく用いられる。光源101と撮像部105は同期して動作する。光源101ではRGBを順次発光させ、撮像部105は光源101の発光タイミングに同期して露光しRGBそれぞれの画像を取得する。RGB各画像から1枚の撮像画像の生成は後段の現像・補正部106で行う。撮像シーケンスについて詳しくは図9、図14で説明する。照明光学系102は、光源101の光を効率良くプレパラート103上の撮像対象領域110aに導光する。
本発明の実施形態を、図面を参照しながら説明する。
図1(a)〜図1(c)は、画像取得装置の撮像に関わる概略構成を説明する模式図である。この画像取得装置は、プレパラート103上の被検試料の光学顕微鏡像を高解像度のデジタル画像として取得するための装置である。
図1(a)に模式的に示すように、画像取得装置は、光源101、照明光学系102、移動機構10、撮像光学系104、撮像部105、現像・補正部106、合成部107、圧縮部108、伝送部109を備えて構成される。光源101は撮像用の照明光を発生する手段であり、RGB3色の発光波長を有する光源、例えばLED(発光ダイオード)やLD(レーザーダイオード)等が好ましく用いられる。光源101と撮像部105は同期して動作する。光源101ではRGBを順次発光させ、撮像部105は光源101の発光タイミングに同期して露光しRGBそれぞれの画像を取得する。RGB各画像から1枚の撮像画像の生成は後段の現像・補正部106で行う。撮像シーケンスについて詳しくは図9、図14で説明する。照明光学系102は、光源101の光を効率良くプレパラート103上の撮像対象領域110aに導光する。
プレパラート103は、病理診断の対象となる被検試料を支持する支持プレートであり、被検試料をスライドグラスに載置し、マウント液を使ってカバーグラスで封入したものである。図1(b)には、プレパラート103とその上に設定された撮像対象領域110aのみを図示している。プレパラートは76mm×26mm程度の大きさであり、ここでは撮像対象領域として20mm×20mmを想定している。
撮像光学系104は、プレパラート103上の撮像対象領域110aからの透過光を拡大して導光し、撮像部105面上に撮像対象領域110aの実像である撮像対象領域像110bを形成する。また、撮像光学系の有効視野112は、撮像素子群111a〜111q、及び、撮像対象領域110bを包含する大きさである。
撮像部105は、X方向とY方向の2次元的に離散的に配置された複数の2次元撮像素子で形成される撮像手段である。図1(c)は、撮像素子群111a〜111q、結像面での撮像対象領域像110b、撮像光学系の有効視野112、の3者のそれぞれの位置関係を模式的に図示している。撮像素子群111a〜111qと撮像光学系の有効視野112の位置関係は固定であるが、結像面での撮像対象領域像110bは、プレパラート側に設けた移動機構10により前述2者に対して相対位置が変化する。本実施形態では、移動機構を簡便な構成としてコストを抑え、且つ、精度を上げるために、移動軸は1軸とする。すなわち、撮像素子群111a〜111qと結像面での撮像対象領域像110bの相対位置を1軸方向(Y方向)に移動させて複数回の撮像が行われ、複数のデジタルデータ(
RAWデータ)が得られる。
撮像光学系104は、プレパラート103上の撮像対象領域110aからの透過光を拡大して導光し、撮像部105面上に撮像対象領域110aの実像である撮像対象領域像110bを形成する。また、撮像光学系の有効視野112は、撮像素子群111a〜111q、及び、撮像対象領域110bを包含する大きさである。
撮像部105は、X方向とY方向の2次元的に離散的に配置された複数の2次元撮像素子で形成される撮像手段である。図1(c)は、撮像素子群111a〜111q、結像面での撮像対象領域像110b、撮像光学系の有効視野112、の3者のそれぞれの位置関係を模式的に図示している。撮像素子群111a〜111qと撮像光学系の有効視野112の位置関係は固定であるが、結像面での撮像対象領域像110bは、プレパラート側に設けた移動機構10により前述2者に対して相対位置が変化する。本実施形態では、移動機構を簡便な構成としてコストを抑え、且つ、精度を上げるために、移動軸は1軸とする。すなわち、撮像素子群111a〜111qと結像面での撮像対象領域像110bの相対位置を1軸方向(Y方向)に移動させて複数回の撮像が行われ、複数のデジタルデータ(
RAWデータ)が得られる。
現像・補正部106は、撮像部105で取得したデジタルデータの現像処理、補正処理を行う。機能としては、黒レベル補正、DNR(Digital Noise Reduction)、画素欠陥補正、撮像素子の個体ばらつきやシェーディングに対する輝度補正、現像処理、ホワイトバランス処理、強調処理、などを含む。合成部107は、現像・補正部106から出力される複数の撮像画像を繋ぎ合わせる処理を行う。機能としては、レジストレーション補正、特徴点抽出、位置合わせ、つなぎ目補正、合成処理後の画像に対するガンマ補正などを含む。合成部107のつなぎ目補正は、全ての画素に対して処理を行うわけではなく、繋ぎ合わせ処理が必要な領域のみに対して処理を行う。合成処理について詳しくは図10〜図12で説明する。
圧縮部108は、合成部107から出力されるブロック画像毎に逐次圧縮処理を行う。伝送部109は、圧縮ブロック画像の信号をPC(Personal Computer)やWS(Work Station)に出力する。PCやWSへの信号伝送では、ギガビット・イーサネットなどの大容量の伝送が可能な通信規格を用いるとよい。
PCやWSでは、送られてくる圧縮ブロック画像毎に順次ストレージに格納する。取得した被検試料の撮像画像の閲覧にはビューワソフトを用いる。ビューワソフトは閲覧領域の圧縮ブロック画像を読み出して伸張しディスプレイに表示する。以上の構成により、20mm角相当の被検試料の高解像大画面撮像と取得画像の表示が実現できる。
圧縮部108は、合成部107から出力されるブロック画像毎に逐次圧縮処理を行う。伝送部109は、圧縮ブロック画像の信号をPC(Personal Computer)やWS(Work Station)に出力する。PCやWSへの信号伝送では、ギガビット・イーサネットなどの大容量の伝送が可能な通信規格を用いるとよい。
PCやWSでは、送られてくる圧縮ブロック画像毎に順次ストレージに格納する。取得した被検試料の撮像画像の閲覧にはビューワソフトを用いる。ビューワソフトは閲覧領域の圧縮ブロック画像を読み出して伸張しディスプレイに表示する。以上の構成により、20mm角相当の被検試料の高解像大画面撮像と取得画像の表示が実現できる。
(撮像部)
ここで、撮像分解能、光学倍率、大画面撮像レンズ、撮像素子サイズについて、具体的な数値情報で説明を行い、本発明の主旨である撮像素子群の配置に言及する。
ここで、撮像分解能、光学倍率、大画面撮像レンズ、撮像素子サイズについて、具体的な数値情報で説明を行い、本発明の主旨である撮像素子群の配置に言及する。
病理診断で観察対象となる細胞は大きさ数μm〜数十μm程度であるためプレパラート上では数百nm程度の分解能が必要とされる。本実施形態では、撮像素子1画素がプレパラート上の375nm角に対応する構成で説明を行う。撮像対象領域として20mm角を想定しているため、撮像部105としては少なくとも28億画素(53k画素×53k画素)を必要とする。
また、前述のようにプレパラート上の解像力を固定した場合、撮像光学系の光学倍率と撮像部105の画素ピッチには相関があり、画素ピッチ3.0μmの場合は光学倍率8倍、画素ピッチ3.75μmの場合は光学倍率10倍となる。撮像素子の画素狭ピッチ化は光学倍率を小さくできるため、撮像光学系の小型化、コストダウンに貢献する。一方で、画質を低下させずに撮像素子の画素狭ピッチ化を行うことは半導体プロセスや画素構造の改善に依存する。そのため、撮像光学系の光学倍率と撮像素子の画素ピッチは、撮像光学系の小型化及びコストダウンと画質とがバランスするように決められる。本実施形態では、画素ピッチ3.0μm、光学倍率8倍として説明を行う。
また、前述のようにプレパラート上の解像力を固定した場合、撮像光学系の光学倍率と撮像部105の画素ピッチには相関があり、画素ピッチ3.0μmの場合は光学倍率8倍、画素ピッチ3.75μmの場合は光学倍率10倍となる。撮像素子の画素狭ピッチ化は光学倍率を小さくできるため、撮像光学系の小型化、コストダウンに貢献する。一方で、画質を低下させずに撮像素子の画素狭ピッチ化を行うことは半導体プロセスや画素構造の改善に依存する。そのため、撮像光学系の光学倍率と撮像素子の画素ピッチは、撮像光学系の小型化及びコストダウンと画質とがバランスするように決められる。本実施形態では、画素ピッチ3.0μm、光学倍率8倍として説明を行う。
光学倍率8倍の場合、結像面での撮像対象領域像110bは160mm×160mmとなり、撮像部105面上の結像面での撮像光学系の有効視野112の直径は226.3mmとなる。このことからも、前述の移動機構は撮像部105側よりもプレパラート103側に設けたほうが、移動機構で制御する移動距離を短くできて簡便な機構にできることがいえる。
次に、160mm角の撮像対象領域像110bを撮像するための撮像素子について説明する。本実施形態では20mm角の撮像対象領域を包含する大画面撮像レンズを用いるが、前述の160mm角の撮像対象領域像110bを領域分割せずに撮像できるほどの2次元多画素大判撮像素子は、画素欠陥などによる歩留まり低下の影響が大きくコストが高くなる。そのため、複数の2次元撮像素子を用いて、160mm角の撮像対象領域像110bを分割して撮像する構成とするのが現実的である。一方で、後段での合成処理による画質劣化を極力少なくするためには、なるべく撮像素子のサイズを大きくすることが望ましい。
これらを鑑みて、撮像部105の撮像素子群111a〜111q(の受光領域)は撮像光学系の有効視野112内に配置される構成とするのが実用的である。
この場合の撮像素子個々の位置は、外周側にある撮像素子と、内側にあり上下左右を他の撮像素子と隣接する撮像素子に大別される。ここで受光領域以外の領域を不感領域と定義すると、外周側にある撮像素子は不感領域を撮像対象領域像110bの外側にもっていくなど、不感領域を考慮せずにすむ工夫ができる。一方、内側にある撮像素子は周囲を撮像素子に囲まれているために、不感領域の配置を考慮する必要がある。
この場合の撮像素子個々の位置は、外周側にある撮像素子と、内側にあり上下左右を他の撮像素子と隣接する撮像素子に大別される。ここで受光領域以外の領域を不感領域と定義すると、外周側にある撮像素子は不感領域を撮像対象領域像110bの外側にもっていくなど、不感領域を考慮せずにすむ工夫ができる。一方、内側にある撮像素子は周囲を撮像素子に囲まれているために、不感領域の配置を考慮する必要がある。
以上の点に鑑み、大画面撮像レンズ、プレパラートの1軸移動、正方形(または正方形に近い形状)の撮像対象領域という条件のもとで、不感領域を考慮しつつ撮像素子群を好適に配置することで最も少ない移動回数で撮像対象領域を撮像可能な構成を提案する。
(撮像素子の構成)
図2(a)は、2次元撮像素子の概略構成を説明する模式図である。
図2(a)は2次元撮像素子を側面から見た断面図である。2次元撮像素子は、ダイ201、ガラス202、モールド樹脂203、ボンディングワイヤ204、インターポーザ電極205、インターポーザ206、ピン207を備えて構成される。ダイ201はシリコンウエハをダイシングして生成される。
図2(a)は、2次元撮像素子の概略構成を説明する模式図である。
図2(a)は2次元撮像素子を側面から見た断面図である。2次元撮像素子は、ダイ201、ガラス202、モールド樹脂203、ボンディングワイヤ204、インターポーザ電極205、インターポーザ206、ピン207を備えて構成される。ダイ201はシリコンウエハをダイシングして生成される。
ダイ201には、受光領域、撮像したアナログ信号を読み出すための読み出し回路、読み出しノイズを低減するCDS回路、アナログ信号をデジタル信号に変換するAD変換回路、撮像した信号を読み出すためのインタフェース回路などが形成されている。ガラス202は、ダイ201、ボンディングワイヤ204やその接続などを衝撃などから保護し、2次元撮像素子の受光領域への導光を確保するためのものである。モールド樹脂203は、ダイ201、ボンディングワイヤ204やその接続などを衝撃や外光などから保護するものである。ボンディングワイヤ204は、ダイ201とインターポーザ電極205を接続するためのものである。インターポーザ206は、外部端子であるピン207とダイ201との電気的接続を仲介する基板である。ピン207は外部基板との接続を行う外部端子であり、格子状に剣山のように配列している。
図2(b)は別の構成の2次元撮像素子を側面から見た断面図である。図2(b)の2次元撮像素子は、図2(a)の構成からガラス202とモールド樹脂203を除いたものである。保護部材を除いたことでインターポーザ206を短くでき、全体寸法を小さく抑えることができる。
図3(a)、図3(b)は、2次元撮像素子の受光領域と不感領域の寸法を説明する図である。
図3(a)は2次元撮像素子を上面から見たときの模式図である。受光領域301a、ダイ302a、回路部303a、パッケージ枠304aに関わる寸法について説明する。ダイ302aは、図2(a)で説明したダイ201と同等であり、ダイ302a上に有効受光領域301a、回路部303aが形成されている。回路部303aには、読み出しノイズを低減するCDS回路、アナログ信号をデジタル信号に変換するAD変換回路、撮像した信号を読み出すためのインタフェース回路などが含まれる。
図3(a)は2次元撮像素子を上面から見たときの模式図である。受光領域301a、ダイ302a、回路部303a、パッケージ枠304aに関わる寸法について説明する。ダイ302aは、図2(a)で説明したダイ201と同等であり、ダイ302a上に有効受光領域301a、回路部303aが形成されている。回路部303aには、読み出しノイズを低減するCDS回路、アナログ信号をデジタル信号に変換するAD変換回路、撮像した信号を読み出すためのインタフェース回路などが含まれる。
ここで、具体的な数値情報を用いて寸法の説明を行う。結像面での撮像対象領域像110bの160mm角を7×7のブロックに分割すると、1ブロックは22.9mm×22.9mmとなる。この1ブロックを単体撮像素子の受光領域に対応させるとし、後段の合成処理のための画素として、2次元撮像素子の周囲に64画素分を確保すると、単体撮像素子の受光領域301aは23.3mm×23.3mmとなる。ダイ302aは、回路部303aの大きさを考慮して、32.8mm×26.8mm程度となる。パッケージ枠304aは、図2(a)で説明したダイ201とインターポーザ206との関係から44.5mm×37.5mm程度となる。すなわち、2次元撮像素子において、不感領域を含むパッケージ枠と受光領域との長軸方向の寸法の割合は、1.91:1(=44.5:23.3)となる。ただし、ここで示した数値は一例であり、例えば、回路部303aの大きさはAD変換回路の分解能に依存して変わり、また、受光領域301aの大きさは画素ピッチによって変わる。
図3(b)は図3(a)の回路部303aのCDS回路、AD変換回路、インタフェース回路に相当する回路群を別のダイとして構成した例である。受光領域301b、ダイ302b、パッケージ枠304b、アナログ出力回路部305a、305bで構成される受光部パッケージと、ダイ302c、回路部303b、パッケージ枠304cで構成される出力部パッケージの2パッケージからなる。受光領域301bは図3(a)と同様で23.3mm×23.3mmとなる。ダイ302bは、アナログ出力回路部305a、305bの大きさを考慮して、26.8mm×26.8mm程度となる。パッケージ枠304bは、37.5mm×37.5mm程度となる。すなわち、2次元撮像素子において、不感領域を含むパッケージ枠と受光領域との軸方向の寸法の割合は、1.61:1(=37.5:23.3)となる。
ここで、図3(a)、図3(b)で説明した撮像素子について補足する。本実施形態では画素ピッチ3.0μmを想定しているため、前述の1ブロック(22.9mm×22.9mm)は7624画素×7624画素となる。これに合成処理のための重複領域である128画素を加えると、受光領域の画素数は60M画素(7752画素×7752画素)である。
(撮像素子の配置)
図4は、複数の撮像素子の配置を説明する模式図である。図1(c)と同様であるが、パッケージ枠304bを明示的に図示してある。パッケージ枠304bの大きさは、図3(b)で説明したように、2次元撮像素子が2パッケージで構成される場合を想定している。不図示の出力部パッケージは、受光部パッケージの受光領域に対して奥行き方向裏側に配置される構成となる。この場合、2次元撮像素子の軸方向におけるパッケージ枠304bと受光領域301bとの寸法の割合は、1.61:1である。
図4は、複数の撮像素子の配置を説明する模式図である。図1(c)と同様であるが、パッケージ枠304bを明示的に図示してある。パッケージ枠304bの大きさは、図3(b)で説明したように、2次元撮像素子が2パッケージで構成される場合を想定している。不図示の出力部パッケージは、受光部パッケージの受光領域に対して奥行き方向裏側に配置される構成となる。この場合、2次元撮像素子の軸方向におけるパッケージ枠304bと受光領域301bとの寸法の割合は、1.61:1である。
このようにパッケージ枠304bのサイズが受光領域301bに対して1.5倍よりも大きい場合、4回以下の撮像回数で撮像対象領域全体を撮像するには撮像素子の配置を工夫する必要がある(図16及び図17を参照して後ほど詳しく説明する)。そこで、本実施形態では、以下のような撮像素子の配置を採用する。
説明を簡単にするため、撮像対象領域像110bのX方向の長さをx1、Y方向の長さをy1、撮像素子(パッケージ枠304b)のX方向の長さをx2、Y方向の長さをy2、受光領域301bのX方向の長さをx3、Y方向の長さをy3とおく。そして、本配置を適用する前提として、撮像素子のサイズが受光領域301bのサイズに対して1.5倍よりも大きく、且つ、2倍よりも小さいこと、すなわち、1.5<x2/x3<2.0、
1.5<y2/y3<2.0 であることを条件とする。これは、1.5倍以下の場合は配置の工夫が必要ないためであり(図16参照)、2.0倍以上の場合はX方向に隣接する撮像素子同士が干渉して本配置をとることができないためである。
1.5<y2/y3<2.0 であることを条件とする。これは、1.5倍以下の場合は配置の工夫が必要ないためであり(図16参照)、2.0倍以上の場合はX方向に隣接する撮像素子同士が干渉して本配置をとることができないためである。
図4に示すように、移動方向(Y方向)と直交する方向(X方向)について、撮像対象領域像110bをm個の列(mは3以上の奇数)に分割し、各列に複数の撮像素子を互いに干渉しないように互い違いに配置する。図4は、m=7の例である。また、各列には、移動方向(Y方向)に沿って、撮像素子が撮像対象領域像110bの外側にまで配置されている(ただし、撮像素子の受光領域301bの少なくとも一部が有効視野112の内部にある必要がある)。このとき、各撮像素子の受光領域301bが各列の撮像領域をカバーするために、受光領域301bのX方向の幅x3が、x3≧x1/m を満たすように、x3及びmの値を設定する。なお、x1/mは各列の撮像領域のX方向の幅に相当し、受光領域301bの幅x3と撮像領域の幅(x1/m)との差は、合成処理のための重複領域の幅に相当する。
言い換えると、本実施形態の撮像素子群は、一定のピッチでX方向に並べられた(m−1)/2個の撮像素子からなる奇数行と、一定のピッチでX方向に並べられた(m+1)/2個の撮像素子からなる偶数行とが、交互に並ぶように配置されている。奇数行と偶数行の配列の位相は1/2位相ずれており、偶数行の隣接する受光領域301bの間にちょうど奇数行の受光領域301bが位置している。各行のX方向のピッチは、2×x1/mに設定され、偶数行の両端の受光領域がそれぞれ撮像対象領域像110bのX方向の両端を含むようになっている。また、各行のY方向のピッチは、撮像素子のY方向の長さy2以上であり、且つ、受光領域301bのY方向の長さy3の2倍の2×y3以下に設定される。これは、Y方向のピッチがy2より小さくなると、奇数行と偶数行の撮像素子が干渉するからであり、逆に2×y3より大きくなると、同じ列の受光領域同士の間隔が受光領域3個分よりも大きく開き、撮像回数を4回以下にすることができないからである。そ
して、第1行の撮像素子の受光領域から最終行の撮像素子の受光領域までを含む領域のY方向の長さは、撮像対象領域像110bのY方向の長さy1よりも大きい(つまり、第1行と最終行の少なくとも一方は撮像対象領域像110bの外側にはみ出ている)。
して、第1行の撮像素子の受光領域から最終行の撮像素子の受光領域までを含む領域のY方向の長さは、撮像対象領域像110bのY方向の長さy1よりも大きい(つまり、第1行と最終行の少なくとも一方は撮像対象領域像110bの外側にはみ出ている)。
以上の配置を採用することで、図4の場合は、4回の撮像回数(プレパラートの移動回数は3回)で、撮像対象領域全体を撮像することができる。
(撮像対象領域の撮像手順)
図5(a)から図5(e)は、1軸の複数回撮像で撮像対象領域全体を撮像していく流れを説明する模式図である。
図5(a)は、撮像素子群111a〜111q、結像面での撮像対象領域像110bの位置関係を模式的に図示してある。撮像素子群111a〜111qと結像面での撮像対象領域像110bは、プレパラート側に設けた移動機構により相対位置が矢印方向(Y方向)に変化する。図5(b)から図5(e)は、撮像対象領域像110bを撮像素子群111a〜111qでどのように撮像していくかの変遷を示す図である。
図5(b)には1回目の撮像で取得するエリアを黒ベタで示している。1回目の撮像位置では光源の発光波長を切り替えてRGBの各画像を取得する。図5(c)には移動機構によりプレパラートを移動させた後の、2回目の撮像で取得するエリアを斜線(左下がり斜線)で示している。図5(d)には3回目の撮像で取得するエリアを逆斜線(右下がり斜線)で、図5(e)には4回目の撮像で取得するエリアを網掛けで示している。
以上より、撮像素子群により4回の撮像(移動機構によるプレパラート移動回数が3回)で撮像対象領域全体を隙間なく撮像することができる。
図5(a)から図5(e)は、1軸の複数回撮像で撮像対象領域全体を撮像していく流れを説明する模式図である。
図5(a)は、撮像素子群111a〜111q、結像面での撮像対象領域像110bの位置関係を模式的に図示してある。撮像素子群111a〜111qと結像面での撮像対象領域像110bは、プレパラート側に設けた移動機構により相対位置が矢印方向(Y方向)に変化する。図5(b)から図5(e)は、撮像対象領域像110bを撮像素子群111a〜111qでどのように撮像していくかの変遷を示す図である。
図5(b)には1回目の撮像で取得するエリアを黒ベタで示している。1回目の撮像位置では光源の発光波長を切り替えてRGBの各画像を取得する。図5(c)には移動機構によりプレパラートを移動させた後の、2回目の撮像で取得するエリアを斜線(左下がり斜線)で示している。図5(d)には3回目の撮像で取得するエリアを逆斜線(右下がり斜線)で、図5(e)には4回目の撮像で取得するエリアを網掛けで示している。
以上より、撮像素子群により4回の撮像(移動機構によるプレパラート移動回数が3回)で撮像対象領域全体を隙間なく撮像することができる。
図6(a)から図6(d)は、画像合成を考慮した1軸の複数回撮像で撮像対象領域全体を撮像する流れを説明する模式図である。図6(a)から図6(d)は、図5(b)から図5(e)に対応する図であるが、移動機構によるプレパラート移動量が異なる。後段の合成処理を簡易なシーケンスで行うために、撮像素子の水平読み出し方向(X方向)と移動方向(Y方向)は直交しており、X方向に隣り合う撮像領域のY方向の位置及びY方向の読み出し画素数は概略一致している。また、撮像素子群が撮像対象領域像をY方向に沿って順々に埋めるように撮像素子群111a〜111qと結像面での撮像対象領域像110bを相対的に移動させる制御を行う。合成処理について詳しくは図10〜図12で説明する。
図6(a)には1回目の撮像で取得するエリアを黒ベタで示している。図6(b)には移動機構によりプレパラートを移動させた後の、2回目の撮像で取得するエリアを斜線(左下がり斜線)で示している。図6(c)には3回目の撮像で取得するエリアを逆斜線(右下がり斜線)で、図6(d)には4回目の撮像で取得するエリアを網掛けで示している。
図5(e)では、水平方向(X方向)の合成処理は96箇所で、垂直方向(Y方向)の合成処理は52箇所で必要となる。一方、図6(d)では、水平方向の合成処理は48箇所で、垂直方向の合成処理は49箇所で必要となる。そのため、図6(a)から図6(d)で示す読み取り方法では、後段の合成処理の処理回数が少なくてすみ、合成処理のシーケンスを簡単にすることができる。
(撮像素子の好適な画素数)
図7(a)から図7(f)は、簡易な制御、構成を可能とする撮像素子の画素数を説明する模式図である。
図7(a)は、撮像素子群111a〜111q、撮像光学系の有効視野112、結像面での撮像対象領域像110bの位置関係を模式的に図示してある。図5(a)とは、個々の受光領域のY方向の長さ、すなわち、画素数が異なっている。
図6(a)には1回目の撮像で取得するエリアを黒ベタで示している。図6(b)には移動機構によりプレパラートを移動させた後の、2回目の撮像で取得するエリアを斜線(左下がり斜線)で示している。図6(c)には3回目の撮像で取得するエリアを逆斜線(右下がり斜線)で、図6(d)には4回目の撮像で取得するエリアを網掛けで示している。
図5(e)では、水平方向(X方向)の合成処理は96箇所で、垂直方向(Y方向)の合成処理は52箇所で必要となる。一方、図6(d)では、水平方向の合成処理は48箇所で、垂直方向の合成処理は49箇所で必要となる。そのため、図6(a)から図6(d)で示す読み取り方法では、後段の合成処理の処理回数が少なくてすみ、合成処理のシーケンスを簡単にすることができる。
(撮像素子の好適な画素数)
図7(a)から図7(f)は、簡易な制御、構成を可能とする撮像素子の画素数を説明する模式図である。
図7(a)は、撮像素子群111a〜111q、撮像光学系の有効視野112、結像面での撮像対象領域像110bの位置関係を模式的に図示してある。図5(a)とは、個々の受光領域のY方向の長さ、すなわち、画素数が異なっている。
図7(b)は、後段の合成処理のための移動軸方向(Y方向)の画素数を重複領域Bと
して図示している。本実施形態では簡単のため、重複領域Bを移動軸方向の上下それぞれにB/2ずつ割振っている。重複領域は、複数の画像をつなぎ合わせるときに、位置合わせやつなぎ目補正の処理で必要となる領域である。重複領域の具体例は図11で説明する。
図7(a)、(b)より、撮像回数N回(N>2)で撮像対象領域全体を撮像する場合、撮像対象領域像110bの移動軸方向の長さをy1とし、合成処理のための最大重複領域をBとすると、受光領域のY方向の長さy3は、
y1/(M×N) ≦ y3 ≦ y1/(M×N)+B、 M;正の整数
で表現される。
して図示している。本実施形態では簡単のため、重複領域Bを移動軸方向の上下それぞれにB/2ずつ割振っている。重複領域は、複数の画像をつなぎ合わせるときに、位置合わせやつなぎ目補正の処理で必要となる領域である。重複領域の具体例は図11で説明する。
図7(a)、(b)より、撮像回数N回(N>2)で撮像対象領域全体を撮像する場合、撮像対象領域像110bの移動軸方向の長さをy1とし、合成処理のための最大重複領域をBとすると、受光領域のY方向の長さy3は、
y1/(M×N) ≦ y3 ≦ y1/(M×N)+B、 M;正の整数
で表現される。
Mは任意の移動軸方向の1列に着目したときの撮像素子の数であり、列により撮像素子数が異なる場合には、最小の数を選ぶ。本実施形態では、奇数列の撮像素子の数は2であり、偶数列の撮像素子の数は3であるため、M=2となる。なお、Mは、「撮像素子群の偶数行の数」、あるいは、「撮像素子群の奇数列における撮像素子の数」ということもできる。
(M×N)は、撮像対象領域像の移動軸方向の長さy1を1個の受光領域で分割する数
を表しており、重複領域を考慮しなければ、y3=y1/(M×N)が、画像生成に必要な最低限の受光領域サイズとなる。
(M×N)は、撮像対象領域像の移動軸方向の長さy1を1個の受光領域で分割する数
を表しており、重複領域を考慮しなければ、y3=y1/(M×N)が、画像生成に必要な最低限の受光領域サイズとなる。
ここで、具体的な数値情報を適用すると、本実施形態では、y1=160mm、N=4回、M=2、B=0.384mm(128画素×0.003mm)であるため、
20mm ≦ y3 ≦ 20.384mm
となる。画素数に換算すると、
6671(画素) ≦ y3(画素) ≦ 6799(画素)
となる。ただし、画素ピッチ3μmの撮像素子でy1=160mmを7分割することを考えるため、分割後の画素数が整数となるように、画素数換算の場合には、撮像対象領域像の移動軸方向の長さを160mmではなく、160.104mm(画素ピッチ3μmで53368画素)として考えている。
20mm ≦ y3 ≦ 20.384mm
となる。画素数に換算すると、
6671(画素) ≦ y3(画素) ≦ 6799(画素)
となる。ただし、画素ピッチ3μmの撮像素子でy1=160mmを7分割することを考えるため、分割後の画素数が整数となるように、画素数換算の場合には、撮像対象領域像の移動軸方向の長さを160mmではなく、160.104mm(画素ピッチ3μmで53368画素)として考えている。
図7(c)には1回目の撮像で取得するエリアを黒ベタで示している。図7(d)には移動機構によりプレパラートを移動させた後の、2回目の撮像で取得するエリアを斜線(左下がり斜線)で示している。図7(e)には3回目の撮像で取得するエリアを逆斜線(右下がり斜線)で、図7(f)には4回目の撮像で取得するエリアを網掛けで示している。図5(e)、図6(d)と異なり、重複して撮像する領域を少なくできるため、後段での制御、回路を簡略化できる。
以上のように撮像素子のY方向の長さ(画素数)を規定することで、撮像素子の画素数を画像生成に好適な値とすることができ、制御、構成を簡略化できる。
以上のように撮像素子のY方向の長さ(画素数)を規定することで、撮像素子の画素数を画像生成に好適な値とすることができ、制御、構成を簡略化できる。
図8は、撮像領域の説明図である。図6で説明した複数回撮像での撮像対象領域全体の撮像を示している。ここまでは結像面での撮像対象領域像110bとして160mm×160mmの正方形の領域を考えてきたが、4回の撮像で包含できる撮像領域という観点からすると正方形である必要はなく矩形領域を撮像対象領域と考えることができる。図8の1点鎖線領域801は余裕分として考えることができ、この範囲内で撮像領域を増減させても撮像回数に影響を与えない。
(撮像処理の流れ)
図9(a)、(b)は、撮像対象領域全体の撮像の流れを説明するフローチャートである。
図9(a)は複数回撮像で撮像対象領域全体を撮像する処理フローを示している。
ステップS901では、撮像エリアの設定を行う。撮像対象領域として20mm角を想
定しているが、プレパラート上の被検試料の位置に合わせて20mm角の位置を設定する。
ステップS902では、1回目の撮像(N=1)を行う初期位置へプレパラートを移動させる。図6を例にすると、撮像素子群111a〜111qと結像面での撮像対象領域像110bの相対位置が図6(a)で示す状態となるようにプレパラートを移動させる。
ステップS903では、N回目のRGB各画像の撮像を行う。
ステップS904では、撮像対象領域全体の撮像が終了したか否かを判断する。撮像対象領域全体の撮像が終了していなければ、S905へ進む。撮像対象領域全体の撮像が終了していれば、すなわち、本実施形態の場合にはN=4の場合には、処理を終了する。
ステップS905では、撮像素子群と撮像対象領域像の相対位置がN回目(N>2)の撮像を行う位置となるように、移動機構によりプレパラートを移動させる。
図9(a)、(b)は、撮像対象領域全体の撮像の流れを説明するフローチャートである。
図9(a)は複数回撮像で撮像対象領域全体を撮像する処理フローを示している。
ステップS901では、撮像エリアの設定を行う。撮像対象領域として20mm角を想
定しているが、プレパラート上の被検試料の位置に合わせて20mm角の位置を設定する。
ステップS902では、1回目の撮像(N=1)を行う初期位置へプレパラートを移動させる。図6を例にすると、撮像素子群111a〜111qと結像面での撮像対象領域像110bの相対位置が図6(a)で示す状態となるようにプレパラートを移動させる。
ステップS903では、N回目のRGB各画像の撮像を行う。
ステップS904では、撮像対象領域全体の撮像が終了したか否かを判断する。撮像対象領域全体の撮像が終了していなければ、S905へ進む。撮像対象領域全体の撮像が終了していれば、すなわち、本実施形態の場合にはN=4の場合には、処理を終了する。
ステップS905では、撮像素子群と撮像対象領域像の相対位置がN回目(N>2)の撮像を行う位置となるように、移動機構によりプレパラートを移動させる。
図9(b)はS903における単色画像撮像処理をさらに分解した処理フローを示している。なお、本実施形態ではローリングシャッタ方式の撮像素子を用いた場合の説明を行う。
ステップS906では、単色光源(R光源、G光源、または、B光源)の発光を開始し、プレパラート上の撮像対象領域に光を照射する。
ステップS907では、撮像素子群の露光と単色画像信号(R画像信号、G画像信号、または、B画像信号)の読み出しを行う。ローリングシャッタ方式のため、撮像素子群の露光と信号読み出しはライン毎に行われる。単色光源の点灯タイミングと撮像素子群の露光タイミングは同期して動作するように制御される。単色光源は撮像素子の1ライン目の露光開始に合わせて発光を開始し、最終ラインの露光が終了するまで発光している。このとき撮像素子群は撮像を行う撮像素子のみ動作させれば良い。例えば図6(b)の場合では斜線(左下がり斜線)で示される撮像素子のみが動作すれば良く、最終行の3つの撮像素子は撮像対象領域像外にあるため、動作させる必要はない。
ステップS908では、撮像素子の全ラインに対して露光と信号読み出しが終了したかどうかを判断する。全ライン終了するまでは、S907に戻って処理を継続する。全ライン終了すれば、S909へ進む。
ステップS909では、RGB画像の撮像が全て終了したかどうかを判断する。RGB各画像の撮像が終了していなければS906へ戻り、終了していれば処理を終了する。
ステップS906では、単色光源(R光源、G光源、または、B光源)の発光を開始し、プレパラート上の撮像対象領域に光を照射する。
ステップS907では、撮像素子群の露光と単色画像信号(R画像信号、G画像信号、または、B画像信号)の読み出しを行う。ローリングシャッタ方式のため、撮像素子群の露光と信号読み出しはライン毎に行われる。単色光源の点灯タイミングと撮像素子群の露光タイミングは同期して動作するように制御される。単色光源は撮像素子の1ライン目の露光開始に合わせて発光を開始し、最終ラインの露光が終了するまで発光している。このとき撮像素子群は撮像を行う撮像素子のみ動作させれば良い。例えば図6(b)の場合では斜線(左下がり斜線)で示される撮像素子のみが動作すれば良く、最終行の3つの撮像素子は撮像対象領域像外にあるため、動作させる必要はない。
ステップS908では、撮像素子の全ラインに対して露光と信号読み出しが終了したかどうかを判断する。全ライン終了するまでは、S907に戻って処理を継続する。全ライン終了すれば、S909へ進む。
ステップS909では、RGB画像の撮像が全て終了したかどうかを判断する。RGB各画像の撮像が終了していなければS906へ戻り、終了していれば処理を終了する。
以上の処理ステップにしたがって、RGB各画像の4回撮像により撮像対象領域全体の撮像を行う。
(画像合成)
図10は、画像合成方法を説明する機能ブロック図である。画像合成を簡単に説明するために、2次元撮像素子群の機能ブロック、合成処理に関わる機能ブロックを分解して示している。2次元撮像素子1001a〜q、カラーメモリ1002a〜q、現像・補正部1003a〜q、センサメモリ1004a〜q、メモリ制御部1005、水平方向合成部1006、垂直方向合成部1007、水平合成メモリ1008、垂直合成メモリ1009、圧縮部1010、伝送部1011を備えて構成される。
図10は、画像合成方法を説明する機能ブロック図である。画像合成を簡単に説明するために、2次元撮像素子群の機能ブロック、合成処理に関わる機能ブロックを分解して示している。2次元撮像素子1001a〜q、カラーメモリ1002a〜q、現像・補正部1003a〜q、センサメモリ1004a〜q、メモリ制御部1005、水平方向合成部1006、垂直方向合成部1007、水平合成メモリ1008、垂直合成メモリ1009、圧縮部1010、伝送部1011を備えて構成される。
図10〜12の説明は、図6、または、図7で説明したように、撮像素子の水平読み出し方向(X方向)と移動方向(Y方向)は直交しており、X方向に隣り合う撮像領域のY方向の位置及びY方向の読み出し画素数は概略一致しているとする。
2次元撮像素子1001a〜qは、図4で説明した17個の2次元撮像素子群に対応する。図6、または、図7で説明したように、撮像素子群111a〜111qと結像面での撮像対象領域像110bの相対位置を変化させながら撮像対象領域全体を撮像する。カラーメモリ1002a〜qは、2次元撮像素子1001a〜qそれぞれに付属するRGB各
画像信号を格納するためのメモリである。後段の現像・補正部1003a〜qでは、RGB3色の画像信号を必要とするため、少なくとも、R画像信号、G画像信号とB画像信号の内、少なくとも2色が格納できるメモリ容量を必要とする。
現像・補正部1003a〜qは、R画像信号、G画像信号とB画像信号から現像処理、補正処理を行う。機能としては、黒レベル補正、DNR(Digital Noise Reduction)、画素欠陥補正、撮像素子の個体ばらつきやシェーディングに対する輝度補正、現像処理、ホワイトバランス処理、強調処理、などを含む。
センサメモリ1004a〜qは、現像・補正した画像信号を一時格納するフレームメモリである。
メモリ制御部1005は、センサメモリ1004a〜qに格納されている画像信号に対してメモリ領域を指定し、圧縮部1010、水平方向合成部1006、垂直方向合成部1007のいずれかへ画像信号を転送する制御を行う。メモリ制御の動作について詳しくは図12で説明する。
水平方向合成部1006は、水平方向の画像ブロックの合成処理を行う。垂直方向合成部1007は、垂直方向の画像ブロックの合成処理を行う。水平合成メモリ1008は、水平合成処理後の画像信号を一時格納するメモリである。垂直合成メモリ1009は、垂直合成処理後の画像信号を一時格納するメモリである。
圧縮部1010は、センサメモリ1004a〜q、水平合成メモリ1008、垂直合成メモリ1009から転送されてくる画像信号を転送ブロックごとに逐次圧縮処理を行う。伝送部1011は、圧縮ブロック画像の電気信号を光信号に変換しPCやWSに出力する。
画像信号を格納するためのメモリである。後段の現像・補正部1003a〜qでは、RGB3色の画像信号を必要とするため、少なくとも、R画像信号、G画像信号とB画像信号の内、少なくとも2色が格納できるメモリ容量を必要とする。
現像・補正部1003a〜qは、R画像信号、G画像信号とB画像信号から現像処理、補正処理を行う。機能としては、黒レベル補正、DNR(Digital Noise Reduction)、画素欠陥補正、撮像素子の個体ばらつきやシェーディングに対する輝度補正、現像処理、ホワイトバランス処理、強調処理、などを含む。
センサメモリ1004a〜qは、現像・補正した画像信号を一時格納するフレームメモリである。
メモリ制御部1005は、センサメモリ1004a〜qに格納されている画像信号に対してメモリ領域を指定し、圧縮部1010、水平方向合成部1006、垂直方向合成部1007のいずれかへ画像信号を転送する制御を行う。メモリ制御の動作について詳しくは図12で説明する。
水平方向合成部1006は、水平方向の画像ブロックの合成処理を行う。垂直方向合成部1007は、垂直方向の画像ブロックの合成処理を行う。水平合成メモリ1008は、水平合成処理後の画像信号を一時格納するメモリである。垂直合成メモリ1009は、垂直合成処理後の画像信号を一時格納するメモリである。
圧縮部1010は、センサメモリ1004a〜q、水平合成メモリ1008、垂直合成メモリ1009から転送されてくる画像信号を転送ブロックごとに逐次圧縮処理を行う。伝送部1011は、圧縮ブロック画像の電気信号を光信号に変換しPCやWSに出力する。
以上の構成により、2次元撮像素子1001a〜qで離散的に取得した画像から合成処理により撮像対象領域全体の画像を生成することができる。ここでの合成機能は、レジストレーション補正、特徴点抽出、位置合わせ、つなぎ目補正、合成処理後の画像に対するガンマ補正などを含むが、各処理は汎用技術を利用できるため、詳細説明は割愛する。
図11は、画像合成領域を説明する模式図である。図6、または、図7で説明したように、画像取得は2次元撮像素子1001a〜qにより離散的に順次行われる。
図11(a)は、撮像対象領域全体と、撮像対象領域全体の1部を切り出した図である。ここでは時間概念をなくし、撮像対象領域が空間的にどのように分割されて撮像されているかを示している。破線は各撮像画像の重複領域を示している。簡単のため、撮像対象領域全体の一部を切り出した図で説明を行う。ここで、単体2次元撮像素子で1回に撮像される領域は領域1(A、B、D、E)、領域2(B、C、E、F)、領域3(D、E、G、H)、領域4(E、F、H、I)であり、それぞれ異なる時間に撮像される。正確には、領域1の上部と左部、領域2の上部と右部、領域3の左部と下部、領域4の右部と下部にも重複領域用の画素があるため撮像領域に含まれるが、画像合成の説明に注力するためにここでは省略する。
図11(a)は、撮像対象領域全体と、撮像対象領域全体の1部を切り出した図である。ここでは時間概念をなくし、撮像対象領域が空間的にどのように分割されて撮像されているかを示している。破線は各撮像画像の重複領域を示している。簡単のため、撮像対象領域全体の一部を切り出した図で説明を行う。ここで、単体2次元撮像素子で1回に撮像される領域は領域1(A、B、D、E)、領域2(B、C、E、F)、領域3(D、E、G、H)、領域4(E、F、H、I)であり、それぞれ異なる時間に撮像される。正確には、領域1の上部と左部、領域2の上部と右部、領域3の左部と下部、領域4の右部と下部にも重複領域用の画素があるため撮像領域に含まれるが、画像合成の説明に注力するためにここでは省略する。
具体的な数値情報を当てはめると、合成処理のための画素として2次元撮像素子の周囲に64画素分を想定しているので、領域(B、E、H)、及び、領域(D、E、F)は幅0.192mm(64画素×3μm)である。また、単体の2次元撮像素子の重複領域を除く受光領域の幅1101は22.9mmである。図11(a)、(b)では重複領域を誇張して表現している。
図11(b)は、領域1〜4が図6、または、図7で説明したように(b−1)〜(b−4)の時間順序で取得された場合、撮像領域がどのように画像として取得されていくかを示している。(b−1)では領域1(A、B、D、E)が撮像され画像として取得される。(b−2)では領域2(B、C、E、F)が撮像され画像として取得される。ここで、領域(B、E)は重複して撮像された領域であり、水平方向の画像合成処理が行われる
領域である。(b−3)では領域3(D、E、G、H)が撮像され画像として取得される。ここで、領域(D、E)は重複して撮像された領域である。(b−2)において領域(A、B、C、D、E、F)の1枚の撮像画像が得られていると考えて、領域(D、E)に対しては垂直方向の画像合成処理が行われる。ここで、X方向を2次元撮像素子の水平読み出し方向としているため、垂直方向の画像合成処理は領域3(D、E、G、H)を全て取得する必要なく処理を開始できる。(b−4)では領域4(E、F、H、I)が撮像され画像として取得される。ここで、領域(E、F、H)は重複して撮像された領域である。(b−3)において領域(A、B、C、D、E、F、G、H)の1枚の撮像画像が得られていると考えて、領域(E、F)に対する垂直方向の画像合成処理、領域(E、H)に対する水平方向の画像合成処理が順次行われる。ここで、X方向を2次元撮像素子の水平読み出し方向としているため、垂直方向の画像合成処理は領域4(E、F、H、I)を全て取得する必要なく処理を開始できる。
領域である。(b−3)では領域3(D、E、G、H)が撮像され画像として取得される。ここで、領域(D、E)は重複して撮像された領域である。(b−2)において領域(A、B、C、D、E、F)の1枚の撮像画像が得られていると考えて、領域(D、E)に対しては垂直方向の画像合成処理が行われる。ここで、X方向を2次元撮像素子の水平読み出し方向としているため、垂直方向の画像合成処理は領域3(D、E、G、H)を全て取得する必要なく処理を開始できる。(b−4)では領域4(E、F、H、I)が撮像され画像として取得される。ここで、領域(E、F、H)は重複して撮像された領域である。(b−3)において領域(A、B、C、D、E、F、G、H)の1枚の撮像画像が得られていると考えて、領域(E、F)に対する垂直方向の画像合成処理、領域(E、H)に対する水平方向の画像合成処理が順次行われる。ここで、X方向を2次元撮像素子の水平読み出し方向としているため、垂直方向の画像合成処理は領域4(E、F、H、I)を全て取得する必要なく処理を開始できる。
X方向に隣り合う撮像領域のY方向の読み出し画素数は概略一致しているため、領域(A〜I)ごとに画像合成処理を行うことができ、撮像対象領域全体に対しても容易に適用範囲を拡張することができる。撮像素子群が撮像対象領域像をY方向に沿って順々に埋めるように撮像領域を取得するため、簡易なメモリ制御で画像合成処理が実現できる。
以上、撮像対象領域全体の一部を切り出した領域で説明したが、画像合成を行う領域、及び、合成方向の説明は適用範囲を広げて撮像対象領域全体に対して行うことができる。
以上、撮像対象領域全体の一部を切り出した領域で説明したが、画像合成を行う領域、及び、合成方向の説明は適用範囲を広げて撮像対象領域全体に対して行うことができる。
(画像合成の動作フロー)
図12は、画像合成の動作フローを説明する模式図である。各機能ブロックの時間軸が示してあり、時間経過に対して図11で説明した領域A〜Iがどのように処理されていくかを示してある。RGBの順で光源を発光させて撮像する例を示している。ここでの制御はメモリ制御部1005で行われる。
図12は、画像合成の動作フローを説明する模式図である。各機能ブロックの時間軸が示してあり、時間経過に対して図11で説明した領域A〜Iがどのように処理されていくかを示してある。RGBの順で光源を発光させて撮像する例を示している。ここでの制御はメモリ制御部1005で行われる。
(a)では、1回目のR画像、G画像が撮像され、それぞれカラーメモリ1002d〜qに格納されている状況で、B画像が撮像されて順次読み出されている。現像・補正部1003d〜qでは、2次元撮像素子1001d〜qから読み出されるB画像と同期するように、カラーメモリ1102d〜qからR画像とG画像を読み出し、順次、現像・補正処理を行っていく。現像・補正処理が行われた画像は、順次センサメモリ1004d〜qに格納される。ここで格納される画像は、領域(A、B、D、E)である。
(b)では、(a)でセンサメモリ1004d〜qに格納された領域(A、B、D、E)の内、領域(A)の画像を圧縮部1010へ転送する。領域(A)に対しての合成処理は行わない。
(b)では、(a)でセンサメモリ1004d〜qに格納された領域(A、B、D、E)の内、領域(A)の画像を圧縮部1010へ転送する。領域(A)に対しての合成処理は行わない。
(c)では、2回目のR画像、G画像が撮像され、それぞれカラーメモリ1002a〜nに格納されている状況で、B画像が撮像されて順次読み出されている。現像・補正部1003a〜nでは、2次元撮像素子1001a〜nから読み出されるB画像と同期するように、カラーメモリ1002a〜nからR画像とG画像を読み出し、順次、現像・補正処理を行っていく。現像・補正処理が行われた画像は、順次センサメモリ1004a〜nに格納される。ここで格納される画像は、領域(B、C、E、F)である。
(d)では、(c)でセンサメモリ1004a〜nに格納された領域(B、C、E、F)の内、領域(C)の画像を圧縮部1010へ転送する。領域(C)に対しての合成処理は行わない。
(e)では、領域(B、E)の画像がセンサメモリ1004a〜qから読み出され、水平方向の画像合成処理が行われる。
(f)では、水平方向の画像合成処理後の画像が順次水平合成メモリ1108に格納される。
(g)では、水平合成メモリ1108に格納されている領域(B)の画像を圧縮部10
10へ転送する。
(d)では、(c)でセンサメモリ1004a〜nに格納された領域(B、C、E、F)の内、領域(C)の画像を圧縮部1010へ転送する。領域(C)に対しての合成処理は行わない。
(e)では、領域(B、E)の画像がセンサメモリ1004a〜qから読み出され、水平方向の画像合成処理が行われる。
(f)では、水平方向の画像合成処理後の画像が順次水平合成メモリ1108に格納される。
(g)では、水平合成メモリ1108に格納されている領域(B)の画像を圧縮部10
10へ転送する。
(h)では、3回目のR画像、G画像が撮像され、それぞれカラーメモリ1002d〜qに格納されている状況で、B画像が撮像されて順次読み出されている。現像・補正部1003d〜qでは、2次元撮像素子1001d〜qから読み出されるB画像と同期するように、カラーメモリ1002d〜qからR画像とG画像を読み出し、順次、現像・補正処理を行っていく。現像・補正処理が行われた画像は、順次センサメモリ1004d〜qに格納される。ここで格納される画像は、領域(D、E、G、H)である。
(i)では、(h)でセンサメモリ1004d〜qに格納された領域(D、E、G、H)の内、領域(G)の画像を圧縮部1010へ転送する。領域(G)に対しての合成処理は行わない。
(j)では、領域(D、E)の画像がセンサメモリ1004d〜q、及び、水平合成メモリ1008から読み出され、垂直方向の画像合成処理が行われる。
(k)では、垂直方向の画像合成処理後の画像が順次垂直合成メモリ1009に格納される。
(l)では、垂直合成メモリ1009に格納されている領域(D)の画像を圧縮部1010へ転送する。
(i)では、(h)でセンサメモリ1004d〜qに格納された領域(D、E、G、H)の内、領域(G)の画像を圧縮部1010へ転送する。領域(G)に対しての合成処理は行わない。
(j)では、領域(D、E)の画像がセンサメモリ1004d〜q、及び、水平合成メモリ1008から読み出され、垂直方向の画像合成処理が行われる。
(k)では、垂直方向の画像合成処理後の画像が順次垂直合成メモリ1009に格納される。
(l)では、垂直合成メモリ1009に格納されている領域(D)の画像を圧縮部1010へ転送する。
(m)では、4回目のR画像、G画像が撮像され、それぞれカラーメモリ1002a〜nに格納されている状況で、B画像が撮像されて順次読み出されている。現像・補正部1003a〜nでは、2次元撮像素子1001a〜nから読み出されるB画像と同期するように、カラーメモリ1002a〜nからR画像とG画像を読み出し、順次、現像・補正処理を行っていく。現像・補正処理が行われた画像は、順次センサメモリ1004a〜nに格納される。ここで格納される画像は、領域(E、F、H、I)である。
(n)では、(m)でセンサメモリ1004a〜nに格納された領域(E、F、H、I)の内、領域(I)の画像を圧縮部1010へ転送する。領域(I)に対しての合成処理は行わない。
(o)では、領域(E、F)の画像がセンサメモリ1004a〜n、及び、垂直合成メモリ1009から読み出され、垂直方向の画像合成処理が行われる。
(p)では、垂直方向の画像合成処理後の画像が順次垂直合成メモリ1009に格納される。
(q)では、垂直合成メモリ1009に格納されている領域(F)の画像を圧縮部1010へ転送する。
(r)では、領域(E、H)の画像がセンサメモリ1004a〜q、及び、垂直合成メモリ1009から読み出され、水平方向の画像合成処理が行われる。
(s)では、水平方向の画像合成処理後の画像が順次水平合成メモリ1008に格納される。
(t)では、水平合成メモリ1008に格納されている領域(E、H)の画像を順次圧縮部1010へ転送する。
(n)では、(m)でセンサメモリ1004a〜nに格納された領域(E、F、H、I)の内、領域(I)の画像を圧縮部1010へ転送する。領域(I)に対しての合成処理は行わない。
(o)では、領域(E、F)の画像がセンサメモリ1004a〜n、及び、垂直合成メモリ1009から読み出され、垂直方向の画像合成処理が行われる。
(p)では、垂直方向の画像合成処理後の画像が順次垂直合成メモリ1009に格納される。
(q)では、垂直合成メモリ1009に格納されている領域(F)の画像を圧縮部1010へ転送する。
(r)では、領域(E、H)の画像がセンサメモリ1004a〜q、及び、垂直合成メモリ1009から読み出され、水平方向の画像合成処理が行われる。
(s)では、水平方向の画像合成処理後の画像が順次水平合成メモリ1008に格納される。
(t)では、水平合成メモリ1008に格納されている領域(E、H)の画像を順次圧縮部1010へ転送する。
以上のように、メモリ制御部1005がメモリ転送を制御することで逐次合成処理を行い、撮像対象領域全体の画像を逐次圧縮部1010へ転送することができる。
ここでは、領域(A)、(C)、(G)、(I)は合成処理を行わずに圧縮するシーケンスを説明したが、領域(A)、(C)、(G)、(I)と合成処理を行った領域を繋ぎ合わせてから圧縮するシーケンスも実現できる。
ここでは、領域(A)、(C)、(G)、(I)は合成処理を行わずに圧縮するシーケンスを説明したが、領域(A)、(C)、(G)、(I)と合成処理を行った領域を繋ぎ合わせてから圧縮するシーケンスも実現できる。
(撮像時間)
ここからは、撮像対象領域全体の撮像に要する時間について説明する。前述の通り、不感領域(パッケージ枠)を考慮しつつ撮像素子群を好適に配置することで最少の移動回数で撮像対象領域を撮像することが本発明の主旨である。そこで、移動回数を少なくするこ
とが撮像時間の短縮にどれほど効果があるか、について説明を行う。
ここからは、撮像対象領域全体の撮像に要する時間について説明する。前述の通り、不感領域(パッケージ枠)を考慮しつつ撮像素子群を好適に配置することで最少の移動回数で撮像対象領域を撮像することが本発明の主旨である。そこで、移動回数を少なくするこ
とが撮像時間の短縮にどれほど効果があるか、について説明を行う。
図13は、2次元CMOSイメージセンサのシャッタ方式を説明する図である。上段の縦軸は2次元撮像素子の水平ラインであり、横軸は時間である。下段には読み出し信号のタイミングが示してあり、上段と下段の時間軸は一致している。
本実施形態ではローリングシャッタ方式を想定しているため、ライン毎に読み出し時間に時間ズレを生じる。水平1ライン目と水平最終ラインとでは読み出し時間が1フレーム分弱ずれることになる。また、ローリングシャッタ方式でRGB各画像を時間遅延なく順次撮像するためには、該当フレームの水平1ライン目から水平最終ラインまでの露光期間内で光源発光波長を切り替えられないため、露光時間は1フレーム期間に対して短くなる。図13ではフレームレート1fps(1000msec)に対して、露光時間200msecの場合を示している。光源発光時間は各波長で1000msec弱であり、時間遅延なく順次波長を切り替えてRGB各画像の撮像を行う。2次元撮像素子からの読み出し信号も同様に、時間遅延なく順次RGB各画像信号が出力される。
以上、説明した光源制御、露光制御を行うことで、2次元撮像素子から時間遅延なく順次RGB各画像信号を出力できる。
本実施形態ではローリングシャッタ方式を想定しているため、ライン毎に読み出し時間に時間ズレを生じる。水平1ライン目と水平最終ラインとでは読み出し時間が1フレーム分弱ずれることになる。また、ローリングシャッタ方式でRGB各画像を時間遅延なく順次撮像するためには、該当フレームの水平1ライン目から水平最終ラインまでの露光期間内で光源発光波長を切り替えられないため、露光時間は1フレーム期間に対して短くなる。図13ではフレームレート1fps(1000msec)に対して、露光時間200msecの場合を示している。光源発光時間は各波長で1000msec弱であり、時間遅延なく順次波長を切り替えてRGB各画像の撮像を行う。2次元撮像素子からの読み出し信号も同様に、時間遅延なく順次RGB各画像信号が出力される。
以上、説明した光源制御、露光制御を行うことで、2次元撮像素子から時間遅延なく順次RGB各画像信号を出力できる。
ここでは、2次元撮像素子として2次元CMOSイメージセンサを利用する場合について説明した。CMOSイメージセンサはCCDイメージセンサと比較して高速動作が可能なため、撮像時間を短縮するには有利である。また、シャッタ方式としてグローバルシャッタ方式ではなくローリングシャッタ方式を採用する場合について説明した。これは、ローリングシャッタ方式がノイズ低減に有利であり、撮像画像の画質向上に寄与するからである。本発明ではCMOSイメージセンサやローリングシャッタ方式で設定したがこれに限定されるものではなく、CCDイメージセンサや、CMOSイメージセンサのグローバルシャッタ方式やメカシャッタ方式においても実現可能である。
図14は、撮像対象領域全体の撮像シーケンスを説明するタイムチャートである。各RGBに対する光源発光とその露光、各RGB画像信号の読み出し、プレパラート移動、それぞれの時間軸が示してあり、時間経過に対するシーケンスが示してある。図9で説明した撮像の流れを説明するフローチャートを時間軸で示したものである。
2次元撮像素子のフレームレートが1fps(1000msec)の場合には、1回目撮像でのRGB画像信号の読み出しには3.0secを要する。移動機構によりプレパラートを3mm程度移動させる必要があるが、ここでの移動時間を2.2secと仮定すると、撮像対象領域全体では18.6secで撮像を行うことができる。
ここで、プレパラート移動回数を1回減らす、すなわち、撮像回数を1回減らすことを考えると、5.2sec(=3.0sec+2.2sec)だけ撮像時間を短縮できる。本実施形態での数値を用いると、これは全撮像時間の28%(=5.2sec/18.6sec)である。
すなわち、最少の移動回数で撮像対象領域を撮像することができれば、撮像時間の大幅な短縮が可能であることがわかる。
なお、本実施形態では、RGBの3波長を有する光源によるカラーシーケンシャル撮像を想定しているが、撮像方式はこれに限定されるものではなく、白色光源と、RGBベイヤー配列、もしくは、補色配列をもつ2次元撮像素子による撮像でも良い。
ここで、プレパラート移動回数を1回減らす、すなわち、撮像回数を1回減らすことを考えると、5.2sec(=3.0sec+2.2sec)だけ撮像時間を短縮できる。本実施形態での数値を用いると、これは全撮像時間の28%(=5.2sec/18.6sec)である。
すなわち、最少の移動回数で撮像対象領域を撮像することができれば、撮像時間の大幅な短縮が可能であることがわかる。
なお、本実施形態では、RGBの3波長を有する光源によるカラーシーケンシャル撮像を想定しているが、撮像方式はこれに限定されるものではなく、白色光源と、RGBベイヤー配列、もしくは、補色配列をもつ2次元撮像素子による撮像でも良い。
<比較例>
ここまでは、撮像回数(プレパラート移動回数)を最少(本実施形態では4回)とするため、移動軸と直交する軸上(X軸上)では、撮像素子群は結像面での撮像対象領域像110bを奇数個(本実施形態では7個)で分割するように配置されている例を説明した(図4参照)。ここからは、比較例1として、移動軸と直交する軸上(X軸上)で、撮像素
子群が結像面での撮像対象領域像110bを偶数個(例えば6個)で分割するように配置されている例の説明を行う。
ここまでは、撮像回数(プレパラート移動回数)を最少(本実施形態では4回)とするため、移動軸と直交する軸上(X軸上)では、撮像素子群は結像面での撮像対象領域像110bを奇数個(本実施形態では7個)で分割するように配置されている例を説明した(図4参照)。ここからは、比較例1として、移動軸と直交する軸上(X軸上)で、撮像素
子群が結像面での撮像対象領域像110bを偶数個(例えば6個)で分割するように配置されている例の説明を行う。
図15(a)から図15(e)は、撮像対象領域像を2次元撮像素子で偶数分割した場合の、1軸の複数回撮像で撮像対象領域全体を撮像する方法を説明する模式図である。図15(a)は、撮像素子群151a〜151l、結像面での撮像対象領域像110bの位置関係を模式的に図示している。撮像素子群151a〜151lと結像面での撮像対象領域像110bは、プレパラート側に設けた移動機構により相対位置が矢印方向(Y方向)に変化する。図15(b)から図15(e)は、撮像対象領域像110bを撮像素子群151a〜151lがどのように撮像していくかの変遷を示す図である。図15(b)には1回目の撮像で取得するエリアを黒ベタで示している。1回の撮像では光源の発光波長を切り替えてRGB各画像を取得する。図15(c)には移動機構によりプレパラートを移動させた後の、2回目の撮像で取得するエリアを斜線(左下がり斜線)で示している。図15(d)には3回目の撮像で取得するエリアを逆斜線(右下がり斜線)で、図15(e)には4回目の撮像で取得するエリアを網掛けで示している。矢印で示した3ヶ所の白抜き領域は、4回の撮像(移動機構によるプレパラート移動回数が3回)で撮像できない領域である。
これは、偶数分割の場合には、結像面での撮像対象領域像110bの4隅の何れかの角に2次元撮像素子が位置するためで、奇数分割の場合のように、移動軸(Y軸)上において、撮像素子群を結像面での撮像対象領域像110bの外側に配置できないためである。
以上より、撮像対象領域像を2次元撮像素子で偶数分割する場合、撮像対象領域全体を撮像するには、撮像素子群により5回撮像(移動機構によるプレパラート移動回数が4回)が必要となり、撮像により時間を要してしまう。
以上より、撮像対象領域像を2次元撮像素子で偶数分割する場合、撮像対象領域全体を撮像するには、撮像素子群により5回撮像(移動機構によるプレパラート移動回数が4回)が必要となり、撮像により時間を要してしまう。
次に、別の比較例2、3を用いて、不感領域を含んだ撮像素子サイズが有効受光領域のサイズに対して縦横それぞれで1.5倍よりも大きい場合の問題について説明する。このような制約がある場合、結像面での撮像対象領域像110b内にのみ撮像素子群を配置すると、3回や4回の撮像(プレパラート移動回数が2回や3回)では、撮像対象領域全体を撮像することができない。
図16、図17は、結像面での撮像対象領域像110b内に撮像素子群を配置した場合に、1軸の複数回撮像で撮像対象領域全体を撮像することを説明する模式図である。
図16は、撮像素子のY方向の長さをT、不感領域を含んだ撮像素子のY方向の長さをSとするとき、S/T=1.5となる場合の比較例2である。
図16(a)は、撮像素子群の一部を切り出して、撮像素子サイズと受光領域の割合を模式的に図示している。図16(b)から(e)は、撮像対象領域像110bを撮像素子群がどのように撮像していくかの変遷を示す図である。図16(b)には1回目撮像で取得するエリアを黒ベタで示している。1回の撮像では光源の発光波長を切り替えてRGB各画像を取得する。図16(c)には移動機構によりプレパラートを移動させた後の、2回目撮像で取得するエリアを斜線(左下がり斜線)で示している。図16(d)には3回目撮像で取得するエリアを逆斜線(右下がり斜線)で、図16(e)には4回目撮像で取得するエリアを網掛けで示している。
以上はS/T=1.5の場合で説明したが、S/T≦1.5の場合には、4回以下の撮像回数(移動機構によるプレパラート移動回数が3回以下)で撮像対象領域全体を撮像できる。
図16(a)は、撮像素子群の一部を切り出して、撮像素子サイズと受光領域の割合を模式的に図示している。図16(b)から(e)は、撮像対象領域像110bを撮像素子群がどのように撮像していくかの変遷を示す図である。図16(b)には1回目撮像で取得するエリアを黒ベタで示している。1回の撮像では光源の発光波長を切り替えてRGB各画像を取得する。図16(c)には移動機構によりプレパラートを移動させた後の、2回目撮像で取得するエリアを斜線(左下がり斜線)で示している。図16(d)には3回目撮像で取得するエリアを逆斜線(右下がり斜線)で、図16(e)には4回目撮像で取得するエリアを網掛けで示している。
以上はS/T=1.5の場合で説明したが、S/T≦1.5の場合には、4回以下の撮像回数(移動機構によるプレパラート移動回数が3回以下)で撮像対象領域全体を撮像できる。
これに対し、図17は、S/T>1.5となる場合の比較例3である。
図17(a)は、撮像素子群、結像面での撮像対象領域像110bの位置関係を模式的
に図示している。図17(b)から(e)は、撮像対象領域像110bを撮像素子群がどのように撮像していくかの変遷を示す図である。図17(b)には1回目撮像で取得するエリアを黒ベタで示している。1回の撮像では光源の発光波長を切り替えてRGB各画像を取得する。図17(c)には移動機構によりプレパラートを移動させた後の、2回目撮像で取得するエリアを斜線(左下がり斜線)で示している。図17(d)には3回目撮像で取得するエリアを逆斜線(右下がり斜線)で、図17(e)には4回目撮像で取得するエリアを網掛けで示している。矢印で示した3ヶ所の白抜き領域は、4回撮像(移動機構によるプレパラート移動回数が3回)で撮像できない領域である。
これは、結像面での撮像対象領域像110b内にのみ撮像素子群を配置するという制約のために、列2に配置できる撮像素子の数が、図16に比べて図17では少なくなるからである。
図17(a)は、撮像素子群、結像面での撮像対象領域像110bの位置関係を模式的
に図示している。図17(b)から(e)は、撮像対象領域像110bを撮像素子群がどのように撮像していくかの変遷を示す図である。図17(b)には1回目撮像で取得するエリアを黒ベタで示している。1回の撮像では光源の発光波長を切り替えてRGB各画像を取得する。図17(c)には移動機構によりプレパラートを移動させた後の、2回目撮像で取得するエリアを斜線(左下がり斜線)で示している。図17(d)には3回目撮像で取得するエリアを逆斜線(右下がり斜線)で、図17(e)には4回目撮像で取得するエリアを網掛けで示している。矢印で示した3ヶ所の白抜き領域は、4回撮像(移動機構によるプレパラート移動回数が3回)で撮像できない領域である。
これは、結像面での撮像対象領域像110b内にのみ撮像素子群を配置するという制約のために、列2に配置できる撮像素子の数が、図16に比べて図17では少なくなるからである。
したがって、不感領域を含んだ撮像素子サイズが有効受光領域に対して1.5倍よりも大きい場合で、且つ、結像面での撮像対象領域像110b内にのみ撮像素子群を配置した場合は、撮像対象領域全体の画像を取得するのに5回の撮像が必要となる。これは、S/T>1.5の場合には撮像素子群の配置が難しくなり、本実施形態で説明したような配置の工夫が必要となることを示している。
以上述べたように、本実施形態の撮像素子の配置によれば、プレパラートの1軸移動、S/T>1.5の不感領域の存在などの条件のもとで、最少の移動回数で撮像対象領域全体を撮像することができ、撮像時間の短縮が可能となる。
10:移動機構、101:光源、103:プレパラート、105:撮像部、107:合成部、110a:撮像対象領域、110b:撮像対象領域像、111a〜111q:撮像素子、112:有効視野、301a,301b:受光領域
Claims (7)
- 被検試料を支持する支持プレートと、
前記支持プレートに設けられた撮像対象領域に光を照射する光源と、
それぞれが受光領域を有する複数の撮像素子が結像面にX方向とY方向の2次元的に離散的に配置された撮像手段と、
前記撮像対象領域からの光を導光して、前記撮像手段の結像面に前記撮像対象領域に対応する撮像対象領域像を形成する撮像光学系と、
前記撮像対象領域像に対する各撮像素子の撮像領域の位置を変えて複数回の撮像を行うために、前記撮像対象領域像と前記複数の撮像素子とをY方向に相対的に移動させる移動手段と、
複数回の撮像で得られた各撮像領域の画像を合成して前記撮像対象領域全体の画像を生成する合成手段と、
を有し、
前記撮像光学系の有効視野は、前記撮像対象領域像よりも大きく、
前記撮像対象領域像のX方向の長さをx1、Y方向の長さをy1、
前記撮像素子のX方向の長さをx2、Y方向の長さをy2、
前記受光領域のX方向の長さをx3、Y方向の長さをy3、とした場合に、
1.5<x2/x3<2.0、
1.5<y2/y3<2.0、
x3≧x1/m (mは3以上の奇数)、を満たし、
前記複数の撮像素子は、2×x1/mのピッチでX方向に並べられた(m−1)/2個の撮像素子からなる奇数行と、2×x1/mのピッチで奇数行に対して1/2位相ずらしてX方向に並べられた(m+1)/2個の撮像素子からなる偶数行とが、y2以上、2×y3以下のピッチでY方向に交互に並ぶように配置されており、
第1行の撮像素子の受光領域から最終行の撮像素子の受光領域までを含む領域のY方向の長さは、前記撮像対象領域像のY方向の長さy1よりも大きい
ことを特徴とする画像取得装置。 - 前記複数の撮像素子の受光領域の少なくとも一部が、前記有効視野の内部に配置されていることを特徴とする請求項1に記載の画像取得装置。
- 前記移動手段は、前記支持プレートを移動させることを特徴とする請求項1または2に記載の画像取得装置。
- X方向に隣接する2つの撮像領域のY方向の位置およびY方向の読み出し画素数が一致することを特徴とする請求項1〜3のいずれか1項に記載の画像取得装置。
- 前記移動手段は、各撮像素子の撮像領域が前記撮像対象領域像をY方向に沿って順々に埋めるように、前記撮像対象領域像と前記複数の撮像素子とをY方向に相対的に移動させることを特徴とする請求項1〜4のいずれか1項に記載の画像取得装置。
- 撮像対象領域全体を撮像するための撮像回数をN(Nは2以上の整数)、
合成処理のためにY方向に隣接する2つの撮像領域に設ける重複領域の最大の長さをB、
複数の撮像素子の偶数行の数をM、とした場合に、
前記撮像素子の受光領域のY方向の長さy3は、
y1/(M×N) ≦ y3 ≦ y1/(M×N)+B
を満たすことを特徴とする請求項1〜5のうちいずれか1項に記載の画像取得装置。 - 被検試料を支持する支持プレートと、
前記支持プレートに設けられた撮像対象領域に光を照射する光源と、
それぞれが受光領域を有する複数の撮像素子が結像面にX方向とY方向の2次元的に離散的に配置された撮像手段と、
前記撮像対象領域からの光を導光して、前記撮像手段の結像面に前記撮像対象領域に対応する撮像対象領域像を形成する撮像光学系と、
前記撮像対象領域像に対する各撮像素子の撮像領域の位置を変えて複数回の撮像を行うために、前記撮像対象領域像と前記複数の撮像素子とをY方向に相対的に移動させる移動手段と、
複数回の撮像で得られた各撮像領域の画像を合成して前記撮像対象領域全体の画像を生成する合成手段と、
を有し、
前記撮像光学系の有効視野は、前記撮像対象領域像よりも大きく、
前記撮像素子のサイズは前記受光領域のサイズに対して1.5倍よりも大きく、且つ、2倍よりも小さく、
前記複数の撮像素子は、一定のピッチでX方向に並べられた複数の撮像素子からなる奇数行と、奇数行と同じピッチで奇数行に対して1/2位相ずらしてX方向に並べられた奇数行よりも1つ多い数の撮像素子からなる偶数行とが、一定のピッチでY方向に交互に並ぶように配置されており、
偶数行の両端の撮像素子の受光領域がそれぞれ前記撮像対象領域像のX方向の両端を含んでおり、
第1行の撮像素子の受光領域から最終行の撮像素子の受光領域までを含む領域のY方向の長さは、前記撮像対象領域像のY方向の長さよりも大きい
ことを特徴とする画像取得装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010201280A JP2012060394A (ja) | 2010-09-08 | 2010-09-08 | 画像取得装置 |
US13/226,911 US8605144B2 (en) | 2010-09-08 | 2011-09-07 | Imaging apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010201280A JP2012060394A (ja) | 2010-09-08 | 2010-09-08 | 画像取得装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012060394A true JP2012060394A (ja) | 2012-03-22 |
Family
ID=45770445
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010201280A Withdrawn JP2012060394A (ja) | 2010-09-08 | 2010-09-08 | 画像取得装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8605144B2 (ja) |
JP (1) | JP2012060394A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013168348A1 (ja) * | 2012-05-10 | 2013-11-14 | ソニー株式会社 | 情報処理装置、情報処理方法、情報処理プログラム、画像取得装置、画像取得システム、および画像取得・閲覧システム |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013152454A (ja) * | 2011-12-27 | 2013-08-08 | Canon Inc | 画像処理装置、画像処理システム、画像処理方法および画像処理プログラム |
JP2014029460A (ja) * | 2012-07-05 | 2014-02-13 | Canon Inc | 顕微鏡装置及びその制御方法 |
EP3588940B1 (en) | 2013-07-04 | 2023-03-22 | Nikon Corporation | Electronic apparatus, method for controlling electronic apparatus, and control program |
JP6305175B2 (ja) | 2014-04-10 | 2018-04-04 | キヤノン株式会社 | 画像処理装置、画像処理方法、画像処理システム |
WO2018016151A1 (ja) * | 2016-07-22 | 2018-01-25 | ソニー株式会社 | 画像処理装置と画像処理方法 |
JP2018037925A (ja) * | 2016-09-01 | 2018-03-08 | セイコーエプソン株式会社 | スキャナー、画像データの生成方法 |
US20210144483A1 (en) * | 2019-11-07 | 2021-05-13 | Innovative Interface Laboratory Corp. | Single-axis actuator, acoustic wave generator and its array |
CN114125335B (zh) * | 2022-01-26 | 2022-04-15 | 深圳市先地图像科技有限公司 | 一种图像处理方法、存储介质及相关设备 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009003016A (ja) | 2007-06-19 | 2009-01-08 | Nikon Corp | 顕微鏡、画像取得システム |
JP2009063656A (ja) | 2007-09-04 | 2009-03-26 | Nikon Corp | 顕微鏡システム |
JP2009063657A (ja) | 2007-09-04 | 2009-03-26 | Nikon Corp | 顕微鏡システム |
JP2009063658A (ja) | 2007-09-04 | 2009-03-26 | Nikon Corp | 顕微鏡システム |
-
2010
- 2010-09-08 JP JP2010201280A patent/JP2012060394A/ja not_active Withdrawn
-
2011
- 2011-09-07 US US13/226,911 patent/US8605144B2/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013168348A1 (ja) * | 2012-05-10 | 2013-11-14 | ソニー株式会社 | 情報処理装置、情報処理方法、情報処理プログラム、画像取得装置、画像取得システム、および画像取得・閲覧システム |
Also Published As
Publication number | Publication date |
---|---|
US8605144B2 (en) | 2013-12-10 |
US20120057014A1 (en) | 2012-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2012060394A (ja) | 画像取得装置 | |
JP5751986B2 (ja) | 画像生成装置 | |
US9288382B2 (en) | Imaging apparatus and solid-state imaging device | |
JP4900723B2 (ja) | 画像処理装置、画像処理プログラムおよび表示装置 | |
JP4706882B2 (ja) | 撮像装置 | |
US9661210B2 (en) | Image pickup device and image pickup apparatus | |
JP2004191893A (ja) | 撮像装置 | |
JP2012138891A (ja) | 撮像装置 | |
JP5156148B2 (ja) | 撮像装置及び撮像方法 | |
JP2015154413A (ja) | 情報処理装置、情報処理方法、情報処理システム、および撮像装置 | |
JP2017169111A (ja) | 撮像制御装置、および撮像制御方法、ならびに撮像装置 | |
CN104469194A (zh) | 图像处理装置及其控制方法 | |
CN104041004A (zh) | 摄像设备及其控制方法和摄像系统 | |
JP2007124295A (ja) | 撮像手段駆動装置、撮像手段駆動方法、および信号処理装置 | |
JP2004007413A (ja) | 画像入力装置及びその方法 | |
JP2017103752A (ja) | イメージセンサおよび撮像装置 | |
JP2016131326A (ja) | 固体撮像装置 | |
JP4538337B2 (ja) | 固体撮像素子 | |
JP2017120971A (ja) | 固体撮像素子及び撮像装置 | |
US20140285692A1 (en) | Image capturing apparatus and method of controlling the same | |
JP2005286565A (ja) | 固体撮像素子及び固体撮像素子の駆動方法 | |
US11962920B2 (en) | Imaging device, method of driving imaging device, and electronic equipment | |
JP2015008343A (ja) | 撮像装置および撮像画像の形成方法 | |
JP4332906B2 (ja) | ラインセンサカメラ | |
JP6821723B2 (ja) | 撮像装置およびその制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20131203 |