JP2014022987A - 半導体素子、顕微鏡装置、及び、顕微鏡装置の制御方法 - Google Patents
半導体素子、顕微鏡装置、及び、顕微鏡装置の制御方法 Download PDFInfo
- Publication number
- JP2014022987A JP2014022987A JP2012160730A JP2012160730A JP2014022987A JP 2014022987 A JP2014022987 A JP 2014022987A JP 2012160730 A JP2012160730 A JP 2012160730A JP 2012160730 A JP2012160730 A JP 2012160730A JP 2014022987 A JP2014022987 A JP 2014022987A
- Authority
- JP
- Japan
- Prior art keywords
- digital
- line
- line sensors
- output
- semiconductor element
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Microscoopes, Condenser (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
【課題】顕微鏡装置における被写界深度の調整を容易にするための技術を提供する。
【解決手段】顕微鏡装置の撮像手段として、互いに平行に配置された複数のラインセンサと、前記複数のラインセンサのそれぞれに対応して設けられ、各ラインセンサの出力をディジタル信号に変換する複数のアナログディジタル変換器と、前記複数のアナログディジタル変換器から出力される複数のディジタル信号に対して、演算処理を施すディジタル演算器と、を有する半導体素子を用いる。
【選択図】図1
【解決手段】顕微鏡装置の撮像手段として、互いに平行に配置された複数のラインセンサと、前記複数のラインセンサのそれぞれに対応して設けられ、各ラインセンサの出力をディジタル信号に変換する複数のアナログディジタル変換器と、前記複数のアナログディジタル変換器から出力される複数のディジタル信号に対して、演算処理を施すディジタル演算器と、を有する半導体素子を用いる。
【選択図】図1
Description
本発明は、検体を撮像してディジタル画像データを取得する顕微鏡装置に関する。
近年、病理分野においては、光学顕微鏡の代替として、被検試料(検体)を撮像して得られたディジタル画像をディスプレイ上で観察・診断するシステムが注目を集めている。このシステムは、ディジタル顕微鏡システムやバーチャル・スライド・システムなどと呼ばれている。一般に検体の厚みに対して顕微鏡の光学系の被写界深度は極めて狭いため、検体画像を取得する際に次のような工夫が行われることがある。例えば、被写界深度を拡大してぼけの少ない画像を取得する操作(深度拡大)、物体側の合焦位置を少しずつ変えた複数枚の2次元画像データを取得する操作(Zスタック)などである。なお、後者で得られた2次元画像データ群を本明細書では「Zスタック画像データ」と呼び、Zスタック画像データを構成する各層の2次元画像データを「レイヤー画像データ」と呼ぶ。
時間遅延積分(TDI)駆動が可能な撮像装置を用いて被写界深度の拡大を行うシステムについては、特表2004−507743号公報(特許文献1)、特開2011−059515号公報(特許文献2)に開示されている。
特許文献1では、検出および分析のために物体または粒子を撮像するシステム及び方法、より詳細には、細胞などの物体の3次元構造、内容、分光組成を分析するためのシステムおよび方法が開示されている。このシステムでは、物体面に対して斜めの焦点面をもつ時間遅延積分(TDI)検出器を用いて、相対移動する物体を撮影(走査)する。このとき、TDIクロックを物体の移動と同期することによって被写界深度が拡大された画像が得られる。一方、TDIクロックを物体の移動と非同期とすることによって断層画像が得られる。
特許文献2のシステムは、TDI駆動が可能な撮像装置と、撮像光学系と、試料を走査して観察画像を取得する走査部と、試料での撮像の焦点が光軸方向に振動周波数fsで振動するように制御する焦点振動制御装置とを有する。そして、焦点振動制御装置は、撮像装置におけるTDI駆動での撮像期間Tiの逆数1/Tiを基本周波数として、振動周波数fsが基本周波数の自然数倍に略一致するように、振動周波数fsを設定する。上記構成によって被写界深度を広げることを可能とすることを開示している。
本発明者らは、特許文献1、2の方法によりディジタル顕微鏡装置の被写界深度の拡大を行う場合には、以下のような課題があることを見出した。
すなわち、特許文献1では、物体面に対して斜めの焦点面をもつTDI検出器を用いることにより被写界深度の拡大ができることを開示している。しかしながら、拡大後の被写界深度の深さは、TDI検出器の傾斜角度及びTDI段数に依存して決まってしまい、被写界深度の深さ(拡大率)を自由に調整することはできなかった。
一方、特許文献2では、被写界深度を拡大するために、撮像の焦点が光軸方向に振動する機構(焦点振動制御装置)が必要であった。そして、更に焦点振動制御装置の振動周波数を撮像期間の逆数である基本周波数の整数倍に制御する複雑な機構が必要であった。また、被写界深度の変更は振動の振幅を調整することによって原理的には行える。しかしそのためには、焦点振動制御装置に振動の振幅を制御する複雑な機構が更に必要となり、設計の困難さやコストの上昇という問題がある。
本発明は上記実情に鑑みてなされたものであって、ディジタル顕微鏡装置における被写界深度の調整を容易にするための技術を提供することを目的とする。
本発明の第1態様は、互いに平行に配置された複数のラインセンサと、前記複数のラインセンサのそれぞれに対応して設けられ、各ラインセンサの出力をディジタル信号に変換する複数のアナログディジタル変換器と、前記複数のアナログディジタル変換器から出力される複数のディジタル信号に対して、演算処理を施すディジタル演算器と、を有する半導体素子である。
本発明の第2態様は、検体を撮像してディジタル画像データを取得するための光学系及び撮像手段を備えた顕微鏡装置において、第1態様に係る半導体素子が、前記撮像手段として用いられている顕微鏡装置である。
本発明の第3態様は、検体を撮像してディジタル画像データを取得する顕微鏡装置の制御方法であって、前記検体に対する光軸方向の合焦位置が互いに異なる複数のラインセンサと前記検体とを相対的に移動させながら、前記複数のラインセンサによって光軸に垂直な面内における検体上の同じ位置を順に撮像するステップと、各ラインセンサから得られる複数ライン分のディジタル信号をピクセル毎に合成することによって、被写界深度が拡大された1ライン分の合成ディジタル信号を生成するステップと、を含む顕微鏡装置の制御方法である。
本発明によれば、ディジタル顕微鏡装置の被写界深度の調整を容易化することができる。さらに、本発明によれば、被写界深度の調整を容易化可能な複数のラインセンサを有する半導体素子を低コストで実現できる。
本発明は、ディジタル顕微鏡システムに適用される顕微鏡装置に関するものであり、詳しくは、被写界深度の調整を容易に実現できる顕微鏡装置の構成(特に撮像手段の構成)並びに顕微鏡装置の制御方法に関するものである。具体的には、顕微鏡装置の撮像手段として、平行に配置された複数のラインセンサと、各ラインセンサから得られる複数ライン
分のディジタル信号に対して演算処理を施すディジタル演算器とが実装された半導体素子を用いる。このような半導体素子を用いることで、光軸に垂直な面内における検体上の同じ位置について、光軸方向の合焦位置(深さ)が少しずつ異なる複数ライン分のディジタル信号(ディジタル画像データ)を得ることができる。そして、ディジタル演算器によってこれら複数ライン分のディジタル信号をピクセル毎に合成することで、オリジナルよりも被写界深度が拡大された合成ディジタル信号を生成することができる。また、合成する際の各ラインの重み(係数又は合成比率ともいう)を適宜調整できるようにすれば、合成ディジタル信号の被写界深度を所望の深さに容易に調整できるようになる。
分のディジタル信号に対して演算処理を施すディジタル演算器とが実装された半導体素子を用いる。このような半導体素子を用いることで、光軸に垂直な面内における検体上の同じ位置について、光軸方向の合焦位置(深さ)が少しずつ異なる複数ライン分のディジタル信号(ディジタル画像データ)を得ることができる。そして、ディジタル演算器によってこれら複数ライン分のディジタル信号をピクセル毎に合成することで、オリジナルよりも被写界深度が拡大された合成ディジタル信号を生成することができる。また、合成する際の各ラインの重み(係数又は合成比率ともいう)を適宜調整できるようにすれば、合成ディジタル信号の被写界深度を所望の深さに容易に調整できるようになる。
本発明の実施形態について説明する前に、本発明を説明する上で基本となるTDI駆動が可能なCCDラインセンサを用いた顕微鏡装置、及び、TDI駆動が可能なCCDラインセンサを用いて被写界深度を拡大する方法について説明する。また、光軸方向に合焦位置を変えて取得した2次元画像データ群(Zスタック画像データ)についても説明する。
(TDI駆動が可能なCCDラインセンサを用いた顕微鏡装置)
図5にTDI駆動が可能なCCDラインセンサを用いたディジタル顕微鏡装置を模式的に示す。図5において、1aはTDI駆動が可能な撮像ブロック、1a−1、1a−2、1a−3は撮像ブロック1aの3本のラインセンサ、100は検体を有するプレパラート、100aは検体上の注目する部分、101は対物レンズ等の光学系を示す。プレパラート100とは、スライドグラス上に検体(試料)を載置し、マウント液やカバーグラスにより検体を固定したものであり、スライドとも呼ばれる。図5において、紙面に垂直な方向(紙の厚み方向)が、ラインセンサ1a−1、1a−2、1a−3の主走査方向である。主走査方向に対し垂直な方向である紙面の左右方向が、ラインセンサ1a−1、1a−2、1a−3の副走査方向である。ラインセンサ1a−1、1a−2、1a−3はTDI駆動可能なCCDラインセンサで実現されている。
図5にTDI駆動が可能なCCDラインセンサを用いたディジタル顕微鏡装置を模式的に示す。図5において、1aはTDI駆動が可能な撮像ブロック、1a−1、1a−2、1a−3は撮像ブロック1aの3本のラインセンサ、100は検体を有するプレパラート、100aは検体上の注目する部分、101は対物レンズ等の光学系を示す。プレパラート100とは、スライドグラス上に検体(試料)を載置し、マウント液やカバーグラスにより検体を固定したものであり、スライドとも呼ばれる。図5において、紙面に垂直な方向(紙の厚み方向)が、ラインセンサ1a−1、1a−2、1a−3の主走査方向である。主走査方向に対し垂直な方向である紙面の左右方向が、ラインセンサ1a−1、1a−2、1a−3の副走査方向である。ラインセンサ1a−1、1a−2、1a−3はTDI駆動可能なCCDラインセンサで実現されている。
図5において、TDI駆動が可能なCCDラインセンサを用いたディジタル顕微鏡装置による検体の撮像は、以下の様に行う。プレパラート100は不図示のステージ上に保持されており、プレパラート100を保持したステージと、撮像ブロック1a及び光学系101とが副走査方向(図5の矢印)に相対移動しながら、検体の撮像が行われる。説明を簡単にするため、以下、検体上の注目部分100aの像の処理についてのみ説明するが、検体上のその他の部分も同様に撮像され、撮像ブロック1aからは2次元の撮像データが得られる。
まず第1の時刻にラインセンサ1a−1が、注目部分100aの像を受光し、電荷を発生する。プレパラート100が副走査方向(矢印方向)に相対移動し、次の時刻(第2の時刻)にラインセンサ1a−2が、注目部分100aの像を受光し、電荷を発生する。プレパラート100の相対移動に同期して、第1の時刻にラインセンサ1a−1が発生した電荷は副走査方向に移動し、第2の時刻にラインセンサ1a−2が発生した電荷にアナログ的に加算される。プレパラート100が副走査方向(矢印方向)にさらに相対移動し、次の第3の時刻に、ラインセンサ1a−3が注目部分100aの像を受光し、電荷を発生する。プレパラート100の相対移動に同期して、ラインセンサ1a−1及び1a−2の電荷の和が副走査方向に移動し、第3の時刻にラインセンサ1a−3が発生した電荷にアナログ的に加算される。この各ラインセンサの電荷を副走査方向に移動するクロックをTDIクロックとも記す。検体の副走査方向の移動とTDIクロックを同期させることで、複数のラインセンサ1a−1、1a−2、1a−3で得られた、検体上の同じ位置(注目部分100a)の像に対応する電荷を互いに加算できる。これにより、出力される信号レベルを大きくすることができるので、シグナルノイズレシオ(S/N比)を向上させることが可能となる。
以上説明した様に、TDI駆動が可能なCCDラインセンサを用いたディジタル顕微鏡装置は、単一のラインセンサを用いたディジタル顕微鏡装置に比べ、出力信号のS/N比を向上できる利点がある。
(TDI駆動が可能なCCDラインセンサを用いた被写界深度の拡大)
図6(a)〜図6(c)にTDI駆動が可能なCCDラインセンサを利用して被写界深度を拡大する方法を模式的な図を示す。図6(a)〜図6(c)において、図5で使用した同じ符号については、説明を省略する。図6(c)の符号102はガラス等の材料からなる真空(空気)より大きな屈折率を持つ透明部材である。
図6(a)〜図6(c)にTDI駆動が可能なCCDラインセンサを利用して被写界深度を拡大する方法を模式的な図を示す。図6(a)〜図6(c)において、図5で使用した同じ符号については、説明を省略する。図6(c)の符号102はガラス等の材料からなる真空(空気)より大きな屈折率を持つ透明部材である。
図6(a)の顕微鏡装置でも、図5で説明したのと同様に、プレパラート100の副走査方向の移動に同期したTDIクロックにより、検体上の注目部分100aに対応するラインセンサ1a−1、1a−2、1a−3の電荷がアナログ的に加算され出力される。ここで図5の装置と異なる点は、プレパラート100が光軸と垂直な平面に設置されているが、撮像ブロック1aが光軸と垂直な平面に対して副走査方向に斜めに設置されている点である。より詳しくは、撮像ブロック1aのラインセンサ1a−1、1a−2、1a−3は主走査方向に対しては光軸と垂直な平面と平行に設置されているが、副走査方向には光軸と垂直な平面に対し斜めに設置されている。このように撮像ブロック1aを配置することにより、ラインセンサ1a−1、1a−2、1a−3の光軸方向の合焦位置を互いに異ならせることができる。つまり、ラインセンサ1a−1、1a−2、1a−3からは、同じ撮像位置(例えば注目部分100a)における異なる深さの画像が得られる。よって、これらのラインセンサ1a−1、1a−2、1a−3の電荷を加算することで、異なる深さの画像を合成するのと同じ効果が得られ、被写界深度の深い画像を得ることができる。
図6(b)において、図6(a)との違いは、プレパラート100が光軸と垂直な平面に対して副走査方向に斜めに設置されている点である。より詳しくは、プレパラート100が主走査方向については合焦面と平行に、副走査方向については合焦面に対して斜めに設置されている。このような光学的な位置にプレパラート100を設置することによって、ラインセンサ1a−1、1a−2、1a−3の光軸方向の合焦位置は、プレパラート上で異なる位置となる。よって、図6(a)の装置と同様に、ラインセンサ1a−1、1a−2、1a−3の電荷を加算することで、被写界深度の深い画像を取得することができる。もちろん、図6(a)と図6(b)を組み合わせた構成、すなわち、撮像ブロック1aとプレパラート100の両方を斜めに設置する構成でも、同じ結果を得ることができる。
図6(c)においては、図5と同様にプレパラート100と撮像ブロック1aの両方が光軸と垂直な平面(合焦面)に対して平行に配置されている。図5との違いは、透明部材102を有する点である。透明部材102は屈折率が真空(空気)より大きい部材であり、主走査方向に対しては厚さの変化が無く、副走査方向には厚さの変化を有する。つまり、透明部材102は、光学系101からラインセンサ1a−1、1a−2、1a−3まで光路長(光学距離)を互いに異ならせるための光学部品である。その結果、図6(a)と同様に、ラインセンサ1a−1、1a−2、1a−3を各々異なる合焦位置に設定できる。よって、図6(a)の装置と同様に、ラインセンサ1a−1、1a−2、1a−3の電荷を加算することで、被写界深度の深い画像を取得することができる。
以上説明したように、TDI駆動が可能な複数のCCDラインセンサを利用することで、被写界深度の拡大を図ることができる。図6(a)〜図6(c)では3つのCCDラインセンサについて説明したが、CCDラインセンサの数は他の数であっても良い。被写界深度の拡大の程度(被写界深度をどの程度まで拡げるか)は、CCDラインセンサの数と、各CCDラインセンサの合焦位置の間隔により決定できる。例えば図6(b)の構成であれば、撮像ブロック1aに実装するCCDラインセンサの数と、プレパラート100の
傾斜角とによって、最終的に得られる画像の被写界深度が決まる。もちろん、CCDラインセンサの数が多いほど、またプレパラート100の傾きが大きいほど、被写界深度が拡大する。
傾斜角とによって、最終的に得られる画像の被写界深度が決まる。もちろん、CCDラインセンサの数が多いほど、またプレパラート100の傾きが大きいほど、被写界深度が拡大する。
(Zスタック画像データ)
初めに、ディジタル顕微鏡装置により撮像されたZスタック画像データについて説明する。
図7は、Zスタック画像データを簡便に説明するための模式図であり、3つのレイヤー画像から構成されるZスタック画像データを模式的に示している。もちろん、レイヤー画像の数は3つに限るものではなく、観察者の要求するレイヤー数(所望のレイヤー数)でZスタック画像データを作成することができる。
初めに、ディジタル顕微鏡装置により撮像されたZスタック画像データについて説明する。
図7は、Zスタック画像データを簡便に説明するための模式図であり、3つのレイヤー画像から構成されるZスタック画像データを模式的に示している。もちろん、レイヤー画像の数は3つに限るものではなく、観察者の要求するレイヤー数(所望のレイヤー数)でZスタック画像データを作成することができる。
図7において、200a,200b,200cは各層のレイヤー画像データを模式的に示す。各々のレイヤー画像データ200a,200b,200cは、合焦位置を変えて撮影されたものであり、各レイヤー画像データには検体の断面に相当する検体像201a,201b,201cが現れている。各レイヤー画像データ200a〜200cは2次元画像データであり、各々の画素は、例えばRGB、8bitのデータにより構成される。このZスタック画像データは、検体の3次元構造を表す3次元画像データということができる。つまり、X,Y方向が各レイヤー画像の平面方向に対応し、Z方向が奥行き方向(光軸方向)に対応する。
Zスタック画像データは、観察用ソフトウエアであるビューアによって表示する。ビューアでは、例えば観察者がマウス等のポインティングデバイスにより指定した層の画像データを表示したり、画像処理によって被写界深度(画像のボケ量)を擬似的に変えたり、あるいは検体を3次元的に表示したりすることができる。これにより、観察者が検体の3次元構造の観察を好適に行うことを可能にする。
各レイヤー(合焦位置)の間隔は、例えば顕微鏡装置の光学系の被写界深度よりやや狭く選ぶと良い。合焦位置の間隔を被写界深度よりやや狭く選べば、少なくとも1つの層ではピントの合った画像データを取得できる。もし合焦位置の間隔を被写界深度より広く選べば、どの層も検体のピントが合っていない可能性があるため、検体の撮像には不向きである。
更に、Zスタック画像データを取得するディジタル顕微鏡装置の一例を図8(a)〜図8(c)に示す。図8(a)〜図8(c)において、図6(a)〜図6(c)で説明した符号の説明は省略する。図8(a)〜図8(c)において、1は複数の撮像ブロックからなる撮像ユニットであり、1a、1b、1cはそれぞれ撮像ブロックである。図8(a)〜図8(c)において、図6(a)〜図6(c)との大きな違いは、一つの撮像ユニット1が複数の撮像ブロック1a〜1cから構成される点である。すなわち各撮像ブロック1a、1b、1cから、合焦位置の異なる2次元画像データがプレパラート100の副走査方向の移動に伴って得られる点である。各撮像ブロック1a、1b、1cで得られる2次元画像データがそれぞれ、Zスタック画像データを構成するレイヤー画像データとなる。つまり、図8(a)〜図8(c)の撮像装置では、撮像ユニットの合焦位置を光軸に垂直な平面に対し副走査方向に斜めになるように設置したことで、3つのレイヤーで構成されるZスタック画像データを略同時に得ることができる。ここで「略同時」と記載した理由は、撮像素子(ラインセンサ)の副走査方向の位置に違いがあるため、レイヤー毎に、撮像開始時刻及び撮像終了時刻に若干の時間ずれがあるからである。すなわち厳密には層毎の画像データの取得時刻は同時にはならないが、1回のスキャン(副走査、つまり、検体と撮像素子群の相対的な移動)で複数のレイヤー画像データが得られるため、「同じスキャンで」という意味で「略同時に」という表現を使用する。なお、各撮像ブロック1a、
1b、1cはそれぞれ、図6(a)〜図6(c)と同様、複数本のラインセンサで構成されているので、各レイヤー画像は(単一のラインセンサで得られる画像に比べ)被写界深度が拡大された画像である。すなわち、図8(a)〜図8(c)の撮像装置は、被写界深度が深い複数のレイヤー画像で構成されたZスタック画像データを略同時に(1回の副走査で)取得できるという利点を有している。
1b、1cはそれぞれ、図6(a)〜図6(c)と同様、複数本のラインセンサで構成されているので、各レイヤー画像は(単一のラインセンサで得られる画像に比べ)被写界深度が拡大された画像である。すなわち、図8(a)〜図8(c)の撮像装置は、被写界深度が深い複数のレイヤー画像で構成されたZスタック画像データを略同時に(1回の副走査で)取得できるという利点を有している。
<第1の実施形態>
本発明の第1の実施形態は、複数のラインセンサが形成された撮像ブロックを実装した半導体素子を使用したディジタル顕微鏡装置を実現する好適な形態である。
本発明の第1の実施形態は、複数のラインセンサが形成された撮像ブロックを実装した半導体素子を使用したディジタル顕微鏡装置を実現する好適な形態である。
図1は、本発明の第1の実施形態の顕微鏡装置に適用される撮像ブロックを構成する回路ブロックを模式的に示す図である。図1は、n個(以降、n段とも記す。nは2以上の整数。)のラインセンサを有する撮像ブロック1aを構成する回路ブロックを示している。
図1に示すように、半導体素子には、第1段〜第n段のn個のラインセンサ1a−1〜1a−nと、各ラインセンサ1a−1〜1a−nの出力をディジタル信号に変換するn個のアナログディジタル変換器(A/D変換器)2−1〜2−nが設けられている。A/D変換器2−1〜2−nの後段には、A/D変換器2−1〜2−nからそれぞれ出力されるディジタル信号に対して演算処理を施すディジタル演算器が形成されている。本実施形態では、ディジタル演算器は次のように構成される。すなわち、第1段〜第n段のそれぞれに、各A/D変換器の出力に対し第1の係数を乗算するn個の乗算器(演算器)3−1〜3−nと、各乗算器からの出力を1ライン分のパラレルデータに変換するn個のシフトレジスタ5−1〜5−nが設けられる。第1段〜第n−1段のそれぞれには、パラレルデータを記憶し次の段へと(つまり、副走査方向に)パラレルデータを転送するn−1個のパラレルラッチ回路6−1〜6−(n−1)が設けられる。第2段〜第n段のそれぞれには、各シフトレジスタから出力されるパラレルデータと前の段のパラレルラッチ回路から転送されるパラレルデータとを加算するn−1個の加算器7−2〜7−nが設けられる。第n段の加算器7−nの後段には、加算器7−nから出力されるパラレルデータをシリアルデータに変換して出力する出力段シフトレジスタ8が設けられている。また、9は除算器、10は除算に用いる第3の係数を記憶する第3のレジスタ、11は出力端子である。4−1〜4−nは、各ラインに乗算する第1の係数を格納する第1のレジスタである。例えば、撮像ブロック1aは、1つの半導体チップに実現されている。すなわち、主走査方向に平行に形成される複数のラインセンサ、A/D変換器を初めとする他の回路も1つの半導体チップに実装されている半導体素子である。
図1の構成の撮像ブロック1aに形成されたラインセンサ1a−1〜1a−nは、図6(a)で説明した様に、光軸に垂直な平面に対して副走査方向に斜めに実装されている。前述したように、副走査方向のプレパラート100の相対移動に同期して各ラインセンサ1a−1〜1a−nが各々電荷を発生し、電流または電圧のアナログ信号を出力する。各レジスタは不図示の制御用コンピュータに接続され、制御用コンピュータから書き込みができる。各レジスタの値は、後述する所望の特性になるように制御用コンピュータから設定される。
図1において、ラインセンサ1a−1〜1a−nは、前述したTDI駆動におけるCCDラインセンサと便宜上同じ符号を使用した。本発明の第1の実施形態においては、ラインセンサ以外の回路も1つの半導体チップに実装することを容易にするため、ラインセンサ1a−1〜1a−n及び他の回路をCMOSプロセスで実現すると好適である。
本発明の第1の実施形態の動作の説明を以降に記す。
第1の時刻に、検体上の注目部分100aの像がラインセンサ1a−1で受光されたとする。ラインセンサ1a−1は光電変換を行い、前述した様に注目部分100aの像(の明るさ)に対応する電流または電圧のアナログ信号を出力する。出力されたアナログ信号はA/D変換器2−1により例えば12bit幅のディジタルデータに変換される。変換されたディジタルデータには、乗算器3−1において、第1のレジスタ4−1に記憶されている係数K1が乗じられる。乗算器3−1の出力はシフトレジスタ5−1にシリアル入力される。シフトレジスタ5−1は、主走査方向にデータをシフトし、1ライン分のデータをパラレル出力する。そして次のラインセンサ1a−2が注目部分100aの撮像を行う時刻(第2の時刻)より前に、パラレルラッチ回路6−1はシフトレジスタ5−1のパラレル出力をラッチする。
第1の時刻に、検体上の注目部分100aの像がラインセンサ1a−1で受光されたとする。ラインセンサ1a−1は光電変換を行い、前述した様に注目部分100aの像(の明るさ)に対応する電流または電圧のアナログ信号を出力する。出力されたアナログ信号はA/D変換器2−1により例えば12bit幅のディジタルデータに変換される。変換されたディジタルデータには、乗算器3−1において、第1のレジスタ4−1に記憶されている係数K1が乗じられる。乗算器3−1の出力はシフトレジスタ5−1にシリアル入力される。シフトレジスタ5−1は、主走査方向にデータをシフトし、1ライン分のデータをパラレル出力する。そして次のラインセンサ1a−2が注目部分100aの撮像を行う時刻(第2の時刻)より前に、パラレルラッチ回路6−1はシフトレジスタ5−1のパラレル出力をラッチする。
第2の時刻では、プレパラート100が副走査方向に相対移動し、検体上の注目部分100aの像がラインセンサ1a−2により光電変換され、対応するアナログ信号が出力される。出力されたアナログ信号はA/D変換器2−2により例えば12bit幅のディジタルデータに変換される。変換されたディジタルデータには、乗算器3−2において、第1のレジスタ4−2に記憶されている係数K2が乗じられる。乗算器3−2の出力はシフトレジスタ5−2にシリアル入力される。シフトレジスタ5−2は、主走査方向にデータをシフトし、1ライン分のデータをパラレル出力する。加算器7−2は、シフトレジスタ5−2のパラレル出力と、第2の時刻より前にパラレルラッチ回路6−1にラッチされたシフトレジスタ5−1のパラレル出力とを加算する。そして第3の時刻より前に、パラレルラッチ回路6−2は加算器7−2のパラレル出力をラッチする。
同様に、第iの時刻では(2≦i≦n−1)、注目部分100aの像がラインセンサ1a−iにより光電変換され、対応するアナログ信号が出力される。出力されたアナログ信号はA/D変換器2−iにより例えば12bit幅のディジタルデータに変換される。変換されたディジタルデータには、乗算器3−iにより第1のレジスタ4−iに記憶されている係数Kiが乗じられる。乗算器3−iの出力はシフトレジスタ5−iにシリアル入力される。シフトレジスタ5−iは、主走査方向にデータをシフトし、1ライン分のデータをパラレル出力する。加算器7−iは、シフトレジスタ5−iのパラレル出力と、第iの時刻より前にパラレルラッチ回路6−(i−1)にラッチされたシフトレジスタ5−(i−1)のパラレル出力とを加算する。そして第i+1の時刻より前に、パラレルラッチ回路6−iは加算器7−iのパラレル出力をラッチする。
第nの時刻では、注目部分100aの像がラインセンサ1a−nにより光電変換され、対応するアナログ信号が出力される。出力されたアナログ信号はA/D変換器2−nにより例えば12bit幅のディジタルデータに変換される。変換されたディジタルデータには、乗算器3−nにより第1のレジスタ4−nに記憶されている係数Knが乗じられる。乗算器3−nの出力はシフトレジスタ5−nにシリアル入力される。シフトレジスタ5−nは、主走査方向にデータをシフトし、1ライン分のデータをパラレル出力する。加算器7−nは、シフトレジスタ5−nのパラレル出力と、第nの時刻より前にパラレルラッチ回路6−(n−1)にラッチされたシフトレジスタ5−(n−1)のパラレル出力とを加算する。そして第n+1の時刻より前に、出力段シフトレジスタ8は加算器7−nの出力をパラレル入力し、各ピクセルのデータをシリアル出力する。出力段シフトレジスタ8の出力は除算器9に順次入力される。除算器9において各ピクセルの値が第3のレジスタ10に記憶されている係数D1nで除算され、注目部分100aを含む1ライン分(主走査1回分)の画像データSoutとして出力端子11に出力される。
注目部分100a以外の部分の画像データも、同様に計算され出力される。例えば、注目部分100aを通るラインを第1のライン、第1のラインの次に撮像されるラインを第2のラインと呼ぶ。各ラインセンサ1a−1〜1a−nでは、第1のラインよりも1タイ
ミングずつ遅れて、第2のラインの撮像が行われる。例えば、1段目のラインセンサ1a−1では、(2段目のラインセンサ1a−2が第1のラインを撮像するタイミングである)第2の時刻に、第2のラインが撮像される。そして、第2のラインのデータは乗算器3−1により係数が乗算された後、次段の加算器7−2に出力される第1のラインのデータとちょうど入れ替わるように、パラレルラッチ回路6−1にラッチされる。以降同様に、第3の時刻に2段目のラインセンサ1a−2、第4の時刻に3段目のラインセンサ1a−3、・・・第n+1の時刻にn段目のラインセンサ1a−nの撮像がそれぞれ実行される。そして、第1のラインの場合と同様、nライン分のデータに係数を乗じて加算した後、所定の係数で除算することで、第2のラインの画像データとして出力する。以上の処理を、検体上のすべてのラインについて繰り返すことで、検体全体の2次元画像データを得ることができる。
ミングずつ遅れて、第2のラインの撮像が行われる。例えば、1段目のラインセンサ1a−1では、(2段目のラインセンサ1a−2が第1のラインを撮像するタイミングである)第2の時刻に、第2のラインが撮像される。そして、第2のラインのデータは乗算器3−1により係数が乗算された後、次段の加算器7−2に出力される第1のラインのデータとちょうど入れ替わるように、パラレルラッチ回路6−1にラッチされる。以降同様に、第3の時刻に2段目のラインセンサ1a−2、第4の時刻に3段目のラインセンサ1a−3、・・・第n+1の時刻にn段目のラインセンサ1a−nの撮像がそれぞれ実行される。そして、第1のラインの場合と同様、nライン分のデータに係数を乗じて加算した後、所定の係数で除算することで、第2のラインの画像データとして出力する。以上の処理を、検体上のすべてのラインについて繰り返すことで、検体全体の2次元画像データを得ることができる。
ここで、シフトレジスタ5−1〜5−n、パラレルラッチ回路6−1〜6−(n−1)、出力段シフトレジスタ8のbit幅は、いずれもオーバフローしない様に決定するとよい。例えば、A/D変換器2−1〜2−nの出力が12bit、第1のレジスタ4−1〜4−nの係数K1〜Knが1以下の回路の場合、出力段シフトレジスタ8のbit幅は、
12+Rp(ln(n)) [bit]
と決めると良い。ここで、ln()は2を底とする対数(2進対数)を表し、Rp()は小数点以下を切り上げる関数を表す。
12+Rp(ln(n)) [bit]
と決めると良い。ここで、ln()は2を底とする対数(2進対数)を表し、Rp()は小数点以下を切り上げる関数を表す。
例えば、8段のラインセンサを用いる場合(n=8)、出力段シフトレジスタ8のbit幅は、15bit必要となる。
しかしながら、段数が256段の様に多い場合は、必要とするbit幅が大きくなる。そのため回路の規模が大きくなり半導体チップの面積(以降ダイサイズとも記す)が大きくなる、すなわちコストが上がる弊害が生じる。そのため、このように段数が多い場合は、要求されるbit幅により設計すると良い。例えば、出力のbit幅が16bitと要求されている場合は、出力段シフトレジスタ8のbit幅を16bitと決定する。
更に、これらの関係を数式の形で示し説明する。
第1の時刻における注目部分100aのラインセンサ1a−1のアナログ出力をe1、A/D変換後の出力をE1とする。同様に、第2の時刻における注目部分100aのラインセンサ1a−2のアナログ出力をe2、A/D変換後の出力をE2とする。同様に、第iの時刻における注目部分100aのラインセンサ1a−iのアナログ出力をei、A/D変換後の出力をEiとする。同様に、第nの時刻における注目部分100aのラインセンサ1a−nのアナログ出力をen、A/D変換後の出力をEnとする。第1のレジスタの係数はK1〜Kn、第3のレジスタの係数はD1nであるから、前述した計算は、撮像ブロック1aの出力ディジタルデータをDoとすると、
である。式1)を変形すれば、
となる。ここで、
と選べば、出力を正規化した係数Kiのディジタルフィルタを実現できることが解る。
第1の時刻における注目部分100aのラインセンサ1a−1のアナログ出力をe1、A/D変換後の出力をE1とする。同様に、第2の時刻における注目部分100aのラインセンサ1a−2のアナログ出力をe2、A/D変換後の出力をE2とする。同様に、第iの時刻における注目部分100aのラインセンサ1a−iのアナログ出力をei、A/D変換後の出力をEiとする。同様に、第nの時刻における注目部分100aのラインセンサ1a−nのアナログ出力をen、A/D変換後の出力をEnとする。第1のレジスタの係数はK1〜Kn、第3のレジスタの係数はD1nであるから、前述した計算は、撮像ブロック1aの出力ディジタルデータをDoとすると、
である。式1)を変形すれば、
となる。ここで、
と選べば、出力を正規化した係数Kiのディジタルフィルタを実現できることが解る。
説明してきたように、ラインセンサのディジタル出力Eiの副走査方向の加算は、プレパラートの副走査方向の相対移動と同期して行う。その結果、光軸方向に垂直な平面内での位置(X座標、Y座標)が同じであるが、合焦位置(Z深さ)が異なる、複数の画像データが合算されることになる。このとき、各ラインのデータは、合焦位置毎に設定された係数Kiを掛けたのち合計される。この処理は、光軸方向(Z方向)に対するディジタルフィルタ処理と言い換えることができる。すなわち、本発明の第1の実施形態による撮像ブロックを実装した半導体素子により、係数Kiを持つZ方向のディジタルフィルタを実現することができる。ディジタルフィルタの特性は、第1のレジスタ4−1〜4−nの係数K1〜Knを書き換えることにより、自由に変更することができる。
図2(a)〜図2(e)は、第1のレジスタ4−1〜4−nに記憶されている係数K1〜Knの具体的な例を示す表である。より詳しくは、図2(a)〜図2(e)は、n=7すなわち7段のラインセンサを用いた場合の係数値の一例を示している。例えば、深い被写界深度を実現する場合は、図2(a)に示すような係数を第1のレジスタ4−1〜4−7に記憶することにより実現できる。また、やや浅い被写界深度を実現するためには、図2(b)や図2(c)に示すような係数を第1のレジスタ4−1〜4−7に記憶することにより実現できる。図2(b)の特性は、図2(c)の特性に比べ、Z方向の変化が急峻な特性になる。さらに、光学系101の特性で決まる浅い被写界深度を実現するためには、図2(d)に示すような係数を第1のレジスタ4−1〜4−7に記憶することにより実現できる。また、図2(e)に示すような係数を第1のレジスタ4−1〜4−7に記憶することによって、Z方向の輝度変化の高い周波数成分を強調することが可能である。例えば、Z方向の輝度変化のエッジ成分等を強調したい場合に好適である。
以上まとめると、被写界深度の浅い画像を要求された場合は、係数Kiの変化が激しい、すなわち分散が大きい係数Kiを設定すると好適である。また被写界深度が深い画像を要求された場合は、係数Kiの変化がなだらか、すなわち分散が小さい係数Kiを設定すると好適である。このように、本実施形態によれば、第1のレジスタの係数Kiを書き換えるだけで、撮像装置の光学系の特性、特に被写界深度を、ユーザ(観察者)の望む特性に簡単に変更することができるようになる。
また、本発明の第1の実施形態を用いることによって、異なる顕微鏡装置の光学特性(被写界深度など)を、第1のレジスタの係数Kiを書き換えることで、容易に一致させることができるという利点もある。例えば、図6(a)の構成において、撮像ブロック1aの傾斜角度が異なる2つの撮像装置があったと仮定する。それぞれ256段のラインセンサを有しており、装置1の傾斜角度が装置2の傾斜角度の半分であるとする。例えば、装置1において、256段全ての係数K1〜256を1に設定した場合には、装置2では、1〜128段の係数K1〜K128を1に設定し、残りの係数K129〜256を0に設定することで、装置1と2の被写界深度を同等にできる。係数を0に設定するということは、対応するラインセンサの稼働をオフにする(撮像を行わない)ことに相当する。
以上述べたように、本実施形態の構成は、各ラインセンサの第1の係数Kiの値を調整することで、被写界深度に代表される光学系の特性を制御したり、利用するラインセンサの選択を実現している。制御の自由度や柔軟性は、撮像装置に実装されているラインセン
サの段数が多いほど、高くなる。したがって、所望の段数(例えば、要求スペックから決まる最小限の段数)よりも多い数のラインセンサを実装しておくことで、顕微鏡装置の利便性や拡張性を向上することができる。また、複数段のラインセンサを実装した半導体素子を設計する際には、なるべく多い数のラインセンサを実装するとよい。そうすると、複数機種の顕微鏡装置に同じ半導体素子を流用できるようになるので、トータルコストを低減することができる。
サの段数が多いほど、高くなる。したがって、所望の段数(例えば、要求スペックから決まる最小限の段数)よりも多い数のラインセンサを実装しておくことで、顕微鏡装置の利便性や拡張性を向上することができる。また、複数段のラインセンサを実装した半導体素子を設計する際には、なるべく多い数のラインセンサを実装するとよい。そうすると、複数機種の顕微鏡装置に同じ半導体素子を流用できるようになるので、トータルコストを低減することができる。
<第2の実施形態>
本発明の第2の実施形態は、第1の実施形態よりも回路ブロックのハードウエアを簡略化した実施形態である。第1の実施形態のディジタル演算回路では、ライン毎の合成の重みを調整するために、各ラインセンサの出力に対し乗算器3−1〜3−nで第1の係数を乗算する構成を採用している。この部分は、係数の乗算に相当する処理が行えれば、乗算器以外の回路構成により実現することができる。第2の実施形態では、乗算器をビットシフト回路で置き換えた例を示す。また同様に、第1の実施形態の除算器9についても、係数の除算に相当する処理が可能な他の回路構成(例えばビットシフト回路)に代替することができる。
本発明の第2の実施形態は、第1の実施形態よりも回路ブロックのハードウエアを簡略化した実施形態である。第1の実施形態のディジタル演算回路では、ライン毎の合成の重みを調整するために、各ラインセンサの出力に対し乗算器3−1〜3−nで第1の係数を乗算する構成を採用している。この部分は、係数の乗算に相当する処理が行えれば、乗算器以外の回路構成により実現することができる。第2の実施形態では、乗算器をビットシフト回路で置き換えた例を示す。また同様に、第1の実施形態の除算器9についても、係数の除算に相当する処理が可能な他の回路構成(例えばビットシフト回路)に代替することができる。
図3に第2の実施形態の撮像ブロックを構成する回路ブロックを示す。図3において、図1で示した符号については説明を省略する。図3において、12−1〜12−nはビットシフト回路、13は出力段ビットシフト回路であり、それぞれ不図示の第2のレジスタ、第4のレジスタに記憶されている内容により、ビットシフト量が決定される。図3において、ビットシフト回路12−1〜12−nは、不図示の第2のレジスタに格納されている第2の係数に従ってビットシフト量を調整する。例えば第2の係数が0ならビットシフト無し、1なら1ビット右にビットシフトを、2なら2ビット右にシフトを、rならrビット右にシフトする回路である。ビットシフト回路は、2のr乗分の1を乗算する回路と等価であり、係数の取りうる値の制約があるが、乗算器に比べ必要なハードウエア量が少なくなる利点がある。
図3において、出力段ビットシフト回路13は、不図示の第4のレジスタに格納されている第4の係数に従ってビットシフト量を調整する。例えば第4の係数が0ならビットシフト無し、1なら1ビット右にビットシフトを、2なら2ビット右にシフトを、sならsビット右にシフトする回路である。このビットシフト回路は、2のs乗で除算する回路と等価であり、係数の取りうる値の制約があるが、除算器に比べ必要なハードウエア量が少なくて済む利点がある。
このように、第1の実施形態で必要であった、乗算器3−1〜3−n、除算器9を、簡単なハードウエアで構成できるビットシフト回路で実現できる。これにより半導体チップのダイサイズを小さくでき、コストの低減が可能となる。また、図3において、出力段ビットシフト回路13自体は更に削除可能である。この演算は画像データ毎の演算であるので、画像データを受ける画像処理回路が除算やビットシフトを行うようにすれば、図1や図3の回路ブロックから除算器9や出力段ビットシフト回路13を削除できる。
本発明の第2の実施形態は、半導体素子のコスト低減を実現するために好適な実施形態である。すなわち、第2の実施形態の構成であれば、係数の乗算に相当する処理、及び、係数の除算に相当する処理を簡単なハードウエアで構成できるビットシフト回路で実現できる。そして、ゲート数の少ない構成のハードウエアを実現できるので、現在主流であるCMOSプロセスを使用した論理回路で実現した場合、半導体素子のダイサイズを小さくする効果とともに、消費電力の低減効果が得られる。消費電力の低減は、半導体素子の発熱に直結している。そのため、第2の実施形態では半導体素子の放熱機構のコストダウンを実現することも可能とする。
以上説明した様に、本発明の第2の実施形態のディジタル顕微鏡装置では、本発明の第1の実施形態と同様な効果が実現できる。さらに、本発明の第2の実施形態では、回路規模の大きな乗算器および除算器を回路規模の小さなビットシフト回路で実現した。さらに、除算器や、除算器の代替の出力段ビットシフト回路自体も省略することが可能であることを示した。その結果、第2の実施形態によれば、第1の実施形態と同じ機能をもつディジタル顕微鏡装置を、より低コストに実現できるという効果がある。
<第3の実施形態>
本発明の第3の実施形態は、複数の回路ブロックが1つの半導体チップに実装されている半導体素子を用いる点に特徴を有する。各々の回路ブロックは、第1の実施形態(図1)や第2の実施形態(図3)で述べたものと同じである。全てのブロックのラインセンサが平行に並ぶように(つまり各ブロックの主走査方向が一致するように)、複数の回路ブロックがチップ上に配置される。
本発明の第3の実施形態は、複数の回路ブロックが1つの半導体チップに実装されている半導体素子を用いる点に特徴を有する。各々の回路ブロックは、第1の実施形態(図1)や第2の実施形態(図3)で述べたものと同じである。全てのブロックのラインセンサが平行に並ぶように(つまり各ブロックの主走査方向が一致するように)、複数の回路ブロックがチップ上に配置される。
本実施形態の半導体素子を図8(a)の構成に適用した場合、撮像ユニット1が1チップの半導体素子で構成され、撮像ブロック1a〜1cがそれぞれチップ上に実装された回路ブロックに対応することになる。そして、図8(a)に示した様に、複数の回路ブロックが実装された半導体素子(撮像ユニット1)を、光軸に垂直な平面に対して斜めに配置することにより、合焦位置の異なる複数レイヤーの画像データ(Zスタック画像データ)を略同時に取得することができる。もちろん、図8(b)や図8(c)の構成における撮像ユニット1に、本実施形態の半導体素子を適用することもできる。
撮像ブロックを構成する回路ブロック内の複数のラインセンサの間隔は、光学系の被写界深度を調整するために適した間隔に決定される。多くの場合、光学系101の被写界深度より狭く設定すると好適である。一方、回路ブロック間のラインセンサの間隔はZスタック画像データの合焦位置の間隔に依存して決定される。一般的に、光学系101の被写界深度よりやや狭く設定すると良い。すなわち、回路ブロック内のラインセンサの間隔と、回路ブロック間のラインセンサの間隔は同じであっても良いが異なっていても良い。一般的に、回路ブロック内のラインセンサの間隔を、回路ブロック間のラインセンサの間隔よりも狭く選ぶと好適である。また、回路ブロック内のラインセンサの間隔と、回路ブロック間のラインセンサの間隔を同じにし、1つのラインセンサの出力を異なる撮像ブロックのシフトレジスタに入力し処理を行っても良い。
このように、1つの半導体チップに複数の回路ブロックを実装することによって、被写界深度の調整を可能とし、更にZスタック画像データを略同時に取得できるディジタル顕微鏡装置を実現できる。一般的に被写界深度の調整は、複数のZ位置の画像データで個別に調整する要求はないので、レジスタの係数は全ての回路ブロックのディジタル演算器で共通となるように設定すると好適である。さらには、全ての回路ブロックのディジタル演算器が同じレジスタを共用する(同じレジスタを参照する)と好ましい。それによって、制御コンピュータがアクセスするレジスタを少なくすることができる。第1〜第4のレジスタの全て、あるいは1つ以上のレジスタの係数又はレジスタ自体を共通化すると良い。
以上説明した様に、本発明の第3の実施形態のディジタル顕微鏡装置は、1つの半導体チップに複数の回路ブロックを実装した半導体素子を用いている。これにより、第1及び第2の実施形態と同様、第1のレジスタの係数を書き換えることにより、被写界深度などの光学系の特性を容易に変更することができる。さらに本実施形態では、複数の回路ブロックにより、複数のレイヤー(合焦位置)の2次元画像データを略同時に取得することができるという利点もある。
もちろん、第1の実施形態や第2の実施形態に示した一つの回路ブロックが実装された半導体素子を複数用いることでも、複数のレイヤーの2次元画像データを略同時に取得することが可能である。しかしながら、本実施形態のように一つの半導体チップで複数のレイヤーの撮像を可能にしたことで、撮像ユニットの構成の簡易化、コストの削減、位置精度の向上などさまざまな利点を享受できる。
<第4の実施形態>
前述した様に、本発明の第1、第2、第3の実施形態で説明した半導体素子を用いることによって、被写界深度の調整をローコストで容易に行うことを可能にする効果、略同時に複数のレイヤーの画像データを取得することが可能となる効果がある。
前述した様に、本発明の第1、第2、第3の実施形態で説明した半導体素子を用いることによって、被写界深度の調整をローコストで容易に行うことを可能にする効果、略同時に複数のレイヤーの画像データを取得することが可能となる効果がある。
第4の実施形態では、本発明で重要な撮像ブロック、撮像ユニットを構成する半導体素子、および半導体素子の効果について記す。
本発明の撮像ブロック、撮像ユニットを構成する半導体素子は、前述したように、各レジスタの係数を適宜設定することによって、いろいろな種類の光学系に対応して被写界深度の調整ができる。すなわち本発明の半導体素子は、いろいろなディジタル顕微鏡装置に対して使用可能である。
一般に、半導体素子の開発は、設計時間及びマスク等のイニシャルコストが多くかかる。そのため、開発する半導体素子の種類を少なくし、同じ半導体素子の数を多く作ることによりコストの低減を図ることが可能となる。すなわち、本発明の第1〜第3の実施形態で説明した撮像ブロック、撮像ユニットを実装した半導体素子の共通化を実現することによって、半導体素子自体のコストの低減が可能となる。
また、本発明の第1〜第3の実施形態で説明した用途以外の使い方も本発明の半導体素子は可能である。このような用途を増やすことによって、更に半導体素子のコストを下げることができる。例えば、本発明の半導体素子は、図5のように、複数のラインセンサを焦点面に平行に配置する構成のディジタル顕微鏡装置へも適用できる。このような、ディジタル顕微鏡装置では、係数を選ぶことにより明るさの調整も可能である。例えば、256段のラインセンサを持つ半導体素子について説明する。光量が非常に大きい場合、例えば、第1段の第1のレジスタの係数を1とし、以降の段の第1のレジスタの係数を0とすれば、一つのラインセンサの出力から画像が生成される。もし光量が少ない場合(例えば1/265の光量の場合)は、例えば第1のレジスタの係数は全て1とすることによって、256個のラインセンサの出力が加算されるので、光量が少ない場合であっても同等の出力レベルを得ることができる。
以上、説明した様に、本発明の半導体素子を用い、適宜最適な係数を設定することにより、様々な種類・構成のディジタル顕微鏡装置に好適に対応できる。このように同じ構成の半導体素子を多種の装置に流用することができれば、半導体素子の開発を少ない種類に限定することができる。その結果、ディジタル顕微鏡装置に使用する撮像ブロック、撮像ユニットを実装した半導体素子の開発期間、イニシャルコストを下げることが可能となる。すなわち、ディジタル顕微鏡装置に使用する半導体素子のコストを下げる効果がある。
<第5の実施形態>
本発明に係る撮像ブロックや撮像ユニットの最も好適な実現形態は、前述した図1、図3に示した回路ブロックを1つの半導体チップに実装する形態である。なぜならば、半導体チップからの配線が多い場合は、ボンディングワイヤー用のパッドが多く必要とされ、パッドの要求から半導体チップのダイサイズが大きくなる。半導体素子の場合、ダイサイズはコストに直結するため、パッド数が増加するとコストが高くなる。撮像ブロックもし
くは撮像ユニットを構成する回路ブロックを1つの半導体チップに実装することによって、半導体チップの入出力配線の増加を抑えることができるので、コスト増加を抑えた撮像ブロック、撮像ユニットを実現できる。
本発明に係る撮像ブロックや撮像ユニットの最も好適な実現形態は、前述した図1、図3に示した回路ブロックを1つの半導体チップに実装する形態である。なぜならば、半導体チップからの配線が多い場合は、ボンディングワイヤー用のパッドが多く必要とされ、パッドの要求から半導体チップのダイサイズが大きくなる。半導体素子の場合、ダイサイズはコストに直結するため、パッド数が増加するとコストが高くなる。撮像ブロックもし
くは撮像ユニットを構成する回路ブロックを1つの半導体チップに実装することによって、半導体チップの入出力配線の増加を抑えることができるので、コスト増加を抑えた撮像ブロック、撮像ユニットを実現できる。
しかしながら、本発明の構成は上記の構成に限定されない。例えば、回路ブロックは図1、図3で示した機能を有していればどのような実装方法でもよく、1つの半導体チップに実装されていなくてもよい。マルチチップモジュールやマルチチップパッケージ等と呼ばれている複数の半導体チップにより、図1、図3に示した回路ブロックを実現した半導体素子であっても本発明は好適に実現できる。
本発明の第5の実施形態は、マルチチップモジュールやマルチチップパッケージと呼ばれている複数の半導体チップを実装した半導体素子について説明する。より詳しくは、図1、図3に示した回路ブロックを2つの半導体チップで実現する好適な実施形態について説明する。
図4は本発明の第5の実施形態の撮像ブロックを構成する回路ブロックの詳細を示す図である。図4において図1と同じ符号の説明は省略する。図4において14−1〜14−n、15−1〜15−nは半導体チップのパッドであり、16はラインセンサ1a−1〜1a−nを形成する半導体チップであり、17はA/D変換器2−1〜2−n以降の回路を形成する半導体チップである。図4の構成において、2つの半導体チップは、例えば、配線が印刷されたセラミック基板上に実装され、ボンディングワイヤー等で、パッド14−1とパッド15−1、・・・パッド14−nとパッド15−nが接続される。このような実装方法はマルチチップモジュールや、マルチチップパッケージ等と呼ばれている。また、実装方法は垂直方法に半導体チップを実装する方法であってもかまわない。この実装方法はスタック型マルチチップパッケージと呼ばれている。
第5の実施形態における回路ブロックの動作は第1の実施形態と同じであるので、回路ブロックの動作の説明は省略する。第5の実施形態ではラインセンサ1a−1〜1a−nとA/D変換器2−1〜2−nの間にパッドを設け2つの半導体チップに回路ブロックを分けた。他の分割方法も考えられるが、2つの半導体チップにそれぞれ適したプロセスを使用できる点、及び、2つの半導体チップ間の配線数(すなわちパッド数)を少なくできることから、図4に示した様に半導体チップに回路ブロックを分割し形成するのが好適である。2つの半導体チップにそれぞれ適したプロセスは具体的には、ラインセンサに対してはCCDを作成するプロセス、A/D変換器以降の回路に対してはCMOSプロセスを選ぶことによって、光電変換やディジタル信号処理に最適なプロセスを選択して半導体素子を実現できる利点がある。また、別の選択としては、両方ともCMOSプロセスを使用するが、ラインセンサに対して露光線幅の比較的太い(ゲート線幅の)プロセスルールを用い、A/D変換器以降の回路に対しては露光線幅の細いプロセスルールを用いる方法もある。ラインセンサは受光部分の制約から微細なプロセスは必要ないので製造コストの低い露光線幅の比較的太いプロセスルールを用い、A/D変換器以降の回路については、高速かつ低消費電力でダイサイズの小さなCMOSプロセスを選ぶことによって、コストの削減や消費電力の削減が可能である利点がある。なお、本発明では、このように複数の半導体チップを1つのモジュールやパッケージに実装したデバイスも半導体素子と呼ぶこととする。
第5の実施形態によれば、第4の実施形態同様、被写界深度の調整、あるいは、明るさの調整が可能な半導体素子を提供できる。もちろん第1〜第3の実施形態同様に、被写界深度を調整可能なディジタル顕微鏡装置に好適な半導体素子を提供できる。さらに、複数の半導体チップにそれぞれ好適なプロセスを使用することが可能となる利点がある。
1a−1〜1a−n:ラインセンサ
2−1〜2−n:アナログディジタル変換器
3−1〜3−n:乗算器
4−1〜4−n:第1のレジスタ
5−1〜5−n:シフトレジスタ
6−1〜6−(n−1):パラレルラッチ回路
7−2〜7−n:加算器
8:出力段シフトレジスタ
2−1〜2−n:アナログディジタル変換器
3−1〜3−n:乗算器
4−1〜4−n:第1のレジスタ
5−1〜5−n:シフトレジスタ
6−1〜6−(n−1):パラレルラッチ回路
7−2〜7−n:加算器
8:出力段シフトレジスタ
Claims (16)
- 互いに平行に配置された複数のラインセンサと、
前記複数のラインセンサのそれぞれに対応して設けられ、各ラインセンサの出力をディジタル信号に変換する複数のアナログディジタル変換器と、
前記複数のアナログディジタル変換器から出力される複数のディジタル信号に対して、演算処理を施すディジタル演算器と、
を有することを特徴とする半導体素子。 - 前記ディジタル演算器は、前記複数のラインセンサから得られる複数ライン分のディジタル信号をピクセル毎に合成して、1ライン分の合成ディジタル信号を出力する演算器である
ことを特徴とする請求項1に記載の半導体素子。 - 前記複数のラインセンサは、第1段から第n段のn個(nは2以上の整数)のラインセンサから構成され、
前記複数のアナログディジタル変換器は、第1段から第n段のそれぞれに設けられており、
前記ディジタル演算器は、
第1段から第n段のそれぞれに設けられ、各アナログディジタル変換器から出力されるディジタル信号に対し係数の乗算に相当する処理を行うn個の演算器と、
第1段から第n段のそれぞれに設けられ、各演算器からの出力を1ライン分のパラレルデータに変換するn個のシフトレジスタと、
第1段から第n−1段のそれぞれに設けられ、パラレルデータを記憶し次の段へと転送するn−1個のパラレルラッチ回路と、
第2段から第n段のそれぞれに設けられ、各シフトレジスタから出力されるパラレルデータと前の段のパラレルラッチ回路から転送されるパラレルデータとを加算するn−1個の加算器と、
第n段の加算器から出力されるパラレルデータをシリアルデータに変換する出力段シフトレジスタと、を有する
ことを特徴とする請求項1又は2に記載の半導体素子。 - 前記ディジタル演算器は、第1段から第n段のそれぞれに設けられ、第1の係数を格納するn個の第1のレジスタをさらに有し、
前記演算器は、前記第1のレジスタに格納されている第1の係数を前記ディジタル信号に乗算する乗算器である
ことを特徴とする請求項3に記載の半導体素子。 - 前記ディジタル演算器は、第1段から第n段のそれぞれに設けられ、第2の係数を格納するn個の第2のレジスタをさらに有し、
前記演算器は、前記第2のレジスタに格納されている第2の係数に従って前記ディジタル信号をビットシフトする回路である
ことを特徴とする請求項3に記載の半導体素子。 - 前記ディジタル演算器は、
第3の係数を格納する第3のレジスタと、
前記出力段シフトレジスタの出力を前記第3のレジスタに格納された第3の係数により除算する除算器と、をさらに有する
ことを特徴とする請求項3〜5のうちいずれか1項に記載の半導体素子。 - 前記ディジタル演算器は、
第4の係数を格納する第4のレジスタと、
前記第4のレジスタに格納されている第4の係数に従って、前記出力段シフトレジスタの出力をビットシフトする回路と、をさらに有する
ことを特徴とする請求項3〜5のうちいずれか1項に記載の半導体素子。 - 少なくとも前記複数のラインセンサを含む回路ブロックが、1つの半導体チップにより形成されている
ことを特徴とする請求項1〜7のうちいずれか1項に記載の半導体素子。 - 1つの半導体チップに複数の回路ブロックが形成されており、
前記複数の回路ブロックのすべてのラインセンサが互いに平行になるように配置されている
ことを特徴とする請求項8に記載の半導体素子。 - 前記ディジタル演算器が、前記複数の回路ブロックのそれぞれに設けられており、
前記複数の回路ブロックそれぞれのディジタル演算器が、前記演算処理で用いる係数が格納されているレジスタを共用している
ことを特徴とする請求項9に記載の半導体素子。 - 検体を撮像してディジタル画像データを取得するための光学系及び撮像手段を備えた顕微鏡装置において、
請求項1〜10のうちいずれか1項に記載の半導体素子が、前記撮像手段として用いられている
ことを特徴とする顕微鏡装置。 - 前記半導体素子の複数のラインセンサは、前記検体に対する光軸方向の合焦位置が互いに異なるように配置されており、
前記半導体素子と前記検体とを相対的に移動させながら、前記複数のラインセンサによって光軸に垂直な面内における検体上の同じ位置を順に撮像し、各ラインセンサで得られたディジタル信号を前記ディジタル演算器で合成することによって、被写界深度が拡大されたディジタル画像データが生成される
ことを特徴とする請求項11に記載の顕微鏡装置。 - 前記複数のラインセンサの前記検体に対する光軸方向の合焦位置を互いに異ならせるために、前記半導体素子を光軸に垂直な面に対して斜めに実装した
ことを特徴とする請求項11又は12に記載の顕微鏡装置。 - 前記ディジタル演算器は、
前記複数のラインセンサから得られる複数ライン分のディジタル信号をピクセル毎に合成して、1ライン分の合成ディジタル信号を出力する演算器であり、
複数ライン分のディジタル信号を合成する際の各ラインの重みを調整することによって、1ライン分の合成ディジタル信号の被写界深度を調整する
ことを特徴とする請求項11〜13のうちいずれか1項に記載の顕微鏡装置。 - 検体を撮像してディジタル画像データを取得する顕微鏡装置の制御方法であって、
前記検体に対する光軸方向の合焦位置が互いに異なる複数のラインセンサと前記検体とを相対的に移動させながら、前記複数のラインセンサによって光軸に垂直な面内における検体上の同じ位置を順に撮像するステップと、
各ラインセンサから得られる複数ライン分のディジタル信号をピクセル毎に合成するこ
とによって、被写界深度が拡大された1ライン分の合成ディジタル信号を生成するステップと、
を含むことを特徴とする顕微鏡装置の制御方法。 - 複数ライン分のディジタル信号を合成する際の各ラインの重みを調整することによって、合成ディジタル信号の被写界深度が調整される
ことを特徴とする請求項15に記載の顕微鏡装置の制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012160730A JP2014022987A (ja) | 2012-07-19 | 2012-07-19 | 半導体素子、顕微鏡装置、及び、顕微鏡装置の制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012160730A JP2014022987A (ja) | 2012-07-19 | 2012-07-19 | 半導体素子、顕微鏡装置、及び、顕微鏡装置の制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014022987A true JP2014022987A (ja) | 2014-02-03 |
Family
ID=50197417
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012160730A Pending JP2014022987A (ja) | 2012-07-19 | 2012-07-19 | 半導体素子、顕微鏡装置、及び、顕微鏡装置の制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014022987A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018097707A1 (en) * | 2016-11-25 | 2018-05-31 | Teledyne Dalsa B.V. | Method for reconstructing a 2d image from a plurality of x-ray images |
JP2019507384A (ja) * | 2016-02-22 | 2019-03-14 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 生物試料の向上された被写界深度の合成2d画像を生成するシステム |
JP2019512188A (ja) * | 2016-02-22 | 2019-05-09 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 被写体の向上された被写界深度の合成2d画像を生成する装置 |
-
2012
- 2012-07-19 JP JP2012160730A patent/JP2014022987A/ja active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019507384A (ja) * | 2016-02-22 | 2019-03-14 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 生物試料の向上された被写界深度の合成2d画像を生成するシステム |
JP2019512188A (ja) * | 2016-02-22 | 2019-05-09 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 被写体の向上された被写界深度の合成2d画像を生成する装置 |
WO2018097707A1 (en) * | 2016-11-25 | 2018-05-31 | Teledyne Dalsa B.V. | Method for reconstructing a 2d image from a plurality of x-ray images |
KR20190139828A (ko) * | 2016-11-25 | 2019-12-18 | 텔레다인 달사 비.브이. | 복수의 엑스선 영상들로부터 2d 영상을 재구성하기 위한 방법 |
US11195309B2 (en) | 2016-11-25 | 2021-12-07 | Teledyne Dalsa B.V. | Method for reconstructing a 2D image from a plurality of X-ray images |
KR102662878B1 (ko) | 2016-11-25 | 2024-05-07 | 텔레다인 달사 비.브이. | 복수의 엑스선 영상들로부터 2d 영상을 재구성하기 위한 방법 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8830340B2 (en) | System and method for high performance image processing | |
Kitamura et al. | Reconstruction of a high-resolution image on a compound-eye image-capturing system | |
JP2014071207A (ja) | 画像処理装置、撮像システム、画像処理システム | |
JP5704975B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JPWO2009101798A1 (ja) | 複眼撮像装置、測距装置、視差算出方法及び測距方法 | |
US9332195B2 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
Hahne et al. | Embedded FIR filter design for real-time refocusing using a standard plenoptic video camera | |
JP2012168049A (ja) | 距離画像生成装置および距離画像生成方法 | |
JP2014022987A (ja) | 半導体素子、顕微鏡装置、及び、顕微鏡装置の制御方法 | |
US20130250091A1 (en) | Image processing apparatus, image processing system, image processing method, and program | |
Schmitz et al. | A 1000 frames/s vision chip using scalable pixel-neighborhood-level parallel processing | |
KR20140107469A (ko) | 화상 처리장치, 화상 처리 시스템, 화상 처리방법 및 기억매체 | |
Tanida et al. | Compact image capturing system based on compound imaging and digital reconstruction | |
WO2011132280A1 (ja) | 撮像装置及び撮像方法 | |
KR20150130069A (ko) | 빔 포밍 장치, 빔 포밍 방법, 초음파 영상 장치 및 초음파 프로브 | |
JP4829924B2 (ja) | 立体画像変換装置およびそのプログラム | |
KR20120111092A (ko) | 촬상 장치 | |
US20140063295A1 (en) | Image processing apparatus, integrated circuit, program, imaging apparatus, and display apparatus | |
Odstrcil et al. | Low cost alternative of high speed visible light camera for tokamak experiments | |
Sheng et al. | 32-Channel transmit beamformer with high timing resolution for high-frequency ultrasound imaging systems | |
Xu et al. | Digital domain dynamic path accumulation method to compensate for image vibration distortion for CMOS-time-delay-integration image sensor | |
Shi et al. | Image super-resolution for ultrafast optical time-stretch imaging | |
JP2007034052A (ja) | レーザ顕微鏡、レーザ顕微鏡の制御方法 | |
Cadenas et al. | C-slow retimed parallel histogram architectures for consumer imaging devices | |
Gao et al. | Simulation and optimization of optical performance of time-delay-integration complementary metal-oxide-semiconductor image sensor based on hybrid charge-digital accumulation architecture |