JP2017068302A - 画像作成装置および画像作成方法 - Google Patents
画像作成装置および画像作成方法 Download PDFInfo
- Publication number
- JP2017068302A JP2017068302A JP2015189251A JP2015189251A JP2017068302A JP 2017068302 A JP2017068302 A JP 2017068302A JP 2015189251 A JP2015189251 A JP 2015189251A JP 2015189251 A JP2015189251 A JP 2015189251A JP 2017068302 A JP2017068302 A JP 2017068302A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- image
- pixel
- target region
- original
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000003384 imaging method Methods 0.000 claims abstract description 358
- 230000003287 optical effect Effects 0.000 claims abstract description 102
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 10
- 238000005286 illumination Methods 0.000 claims description 33
- 238000012545 processing Methods 0.000 claims description 21
- 230000002093 peripheral effect Effects 0.000 claims description 18
- 239000002131 composite material Substances 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 16
- 239000000203 mixture Substances 0.000 claims description 12
- 230000015556 catabolic process Effects 0.000 abstract description 6
- 238000006731 degradation reaction Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 12
- 230000006866 deterioration Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 239000007788 liquid Substances 0.000 description 11
- 230000014509 gene expression Effects 0.000 description 7
- 230000015572 biosynthetic process Effects 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 239000002609 medium Substances 0.000 description 5
- 230000005499 meniscus Effects 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 230000005484 gravity Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000894006 Bacteria Species 0.000 description 1
- 241000723554 Pontia occidentalis Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003153 chemical reaction reagent Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007876 drug discovery Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000001963 growth medium Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
【課題】複数の原画像を継ぎ合わせて合成する技術において、撮像系の光学特性に起因する画像品質の劣化の影響を抑えた合成画像を作成することのできる技術を提供する。【解決手段】撮像手段の光学特性に応じて、撮像される画像の各画素に与える重みが予め設定される。一定の閾値以上の重みを有する領域を抽出したマスクMを用いて、ウェルW内部の撮像対象領域の全体がマスクされるような配置を決定する。このマスク配置に対応する割り付けで複数の原画像が撮像され、各原画像の画素が重み付けされた上で合成される。【選択図】図8
Description
この発明は、複数の原画像を合成して、撮像手段の撮像視野よりも大きい撮像対象領域の画像を作成する技術に関するものである。
撮像手段の撮像視野よりも広範囲の画像が必要なとき、撮像対象領域を複数に分割して撮像した原画像から合成画像を作成することがある。この場合、複数の原画像をどのように合成するかが合成画像の画像品質に大きく影響する。一般的には、隣り合う原画像の一部を互いに重複させて撮像し、重なり合う部分に適宜の画像処理を施して原画像同士を継ぎ合わせることで、画像の継ぎ目を目立ちにくくする工夫がなされている。
例えば特許文献1に記載の技術では、重複部分を設けた2つの画像を合成する際に、それぞれの画像において重複部分に対応する画素の画素データに重み付けをして加算し、画像の端部ほど重みを小さくすることで、継ぎ目が目立たないようにしている。また、特許文献2に記載の技術では、微小な時間間隔を空けて撮像された複数の画像を位置合わせして合成する際に、一の画像を基準画像、他の複数の画像を参照画像として、基準画像との間で位置合わせを行う領域を参照画像ごとに異ならせることで、合成後の画像の不自然さの解消が図られている。
上記従来技術では特に考慮されていないが、広い撮像対象領域を複数の原画像に分割して合成する場合、原画像が特殊な撮像条件、例えば広角の撮像視野での撮像やハイパーセントリック特性を有する撮像光学系を用いた撮像により得られたものであるとき、撮像光学系の光学特性に起因する画像品質の不均一さが個々の原画像に含まれ得る。例えば、明るさのムラ、ボケ、歪みなどの画質劣化が特に画像の周縁部に現れやすい。このため、原画像を撮像する際の撮像視野の重ね合わせ方を適切に設定しなければ、劣化した画像同士を継ぎ合わせることとなってしまい、必ずしも所期の画像品質の合成画像を得ることができないという問題がある。
この発明は上記課題に鑑みなされたものであり、複数の原画像を継ぎ合わせて合成する技術において、撮像系の光学特性に起因する画像品質の劣化の影響を抑えた合成画像を作成することのできる技術を提供することを目的とする。
この発明にかかる画像作成装置の一の態様は、上記目的を達成するため、二次元の撮像視野を有し、前記撮像視野よりも広範囲の撮像対象領域に対する前記撮像視野の位置を互いに異ならせて、かつ位置の隣り合う前記撮像視野を互いに一部重複させて複数回撮像を行い、前記撮像対象領域を複数の原画像に分割して撮像する撮像手段と、前記複数の原画像を合成して、前記撮像対象領域を表す単一の合成画像を作成する画像合成手段とを備え、前記画像合成手段は、前記原画像内における位置と当該位置の画素に与える重みとが前記撮像手段の光学特性に応じて関連付けられた重み付けルールに基づき、個々の前記原画像内の各画素に対し重み付けを行い、重み付けされた複数の前記原画像を、前記撮像対象領域の同一位置に対応する画素が互いに重なるように合成し、前記原画像内の画素のうち前記重み付けルールによって所定の閾値以上の重みを与えられる画素を有効画素と定義したとき、前記撮像手段は、前記撮像対象領域内の全ての位置が前記原画像の少なくとも1つにおいて前記有効画素として表されるように、前記撮像対象領域において前記撮像視野を重複させて撮像を行う。
また、この発明にかかる画像作成方法の一の態様は、上記目的を達成するため、二次元の撮像視野を有する撮像手段により、前記撮像視野よりも広範囲の撮像対象領域に対する前記撮像視野の位置を互いに異ならせて、かつ位置の隣り合う前記撮像視野を互いに一部重複させて複数回撮像を行い、前記撮像対象領域を複数の原画像に分割して撮像する撮像工程と、前記複数の原画像を合成して、前記撮像対象領域を表す単一の合成画像を作成する合成工程とを備え、前記合成工程では、前記原画像内における位置と当該位置の画素に与える重みとが前記撮像手段の光学特性に応じて関連付けられた重み付けルールに基づき、個々の前記原画像内の各画素に対し重み付けを行い、重み付けされた複数の前記原画像を、前記撮像対象領域の同一位置に対応する画素が互いに重なるように合成し、前記原画像内の画素のうち前記重み付けルールによって所定の閾値以上の重みを与えられる画素を有効画素と定義したとき、前記撮像工程では、前記撮像対象領域内の全ての位置が前記原画像の少なくとも1つにおいて前記有効画素として表されるように、前記撮像対象領域において前記撮像視野を重複させて撮像を行う。
このように構成された発明では、部分的に重なるように撮像された複数の原画像の各画素に対し、撮像手段の光学特性に応じた重み付けルールに基づく重みが与えられる。これにより、原画像内の各画素が持つ重みを異ならせることができる。そのため、撮像手段の光学特性に起因して画像情報の劣化または欠損を生じる部分の画素の重みが他の部分より小さくなるようにすれば、当該部分は合成画像に反映されにくくなる。
一方、複数の原画像に適用される重み付けルールが単一であっても、撮像位置が異なる複数の原画像間では、撮像対象領域内の同一位置に対応する画素にそれぞれ与えられる重みは必ずしも同じでない。このため、原画像の撮像段階において相互の重なり部分が適切でなければ、合成画像において部分的に画像情報の欠落が生じることがあり得る。すなわち、小さな重みしか与えられていない画素同士を重ね合わせたとしても、有効な画像情報は合成画像に反映されない。そこで、本発明では、撮像段階において合成時の重み付けルールが考慮されている。すなわち、撮像対象領域の全体が、少なくとも1つの原画像において所定の閾値以上の重みを有する画素によってカバーされる。より厳密には、そのような関係となるように、重み付けルールに応じて個々の撮像における撮像視野が設定される。
したがって、1つの原画像において閾値未満の重みが与えられている画素に対しては、別の原画像のいずれかにおいて閾値以上の重みが与えられることになる。このため、原画像の合成に際しては、全ての画素において、大きな重みが与えられた画素の画像情報が合成画像により強く反映されることとなり、画像情報の欠落が回避される。
以上のように、本発明によれば、複数の原画像を継ぎ合わせて合成する技術において、複数の原画像を構成する各画素に対して撮像手段の光学特性に応じた重み付けがなされ、しかも、撮像対象領域の全体が少なくとも1つの原画像において閾値以上の重みを有する画素によって表されるように、原画像の撮像時における撮像視野の重ね合わせ方が定められている。そのため、撮像系の光学特性に起因する画像品質の劣化の影響を抑えた合成画像を作成することができる。
図1は本発明にかかる画像作成方法を適用可能な撮像装置の概略構成を示す図である。この撮像装置1は、ウェルプレートWPの上面に形成されたウェルWと称される窪部に注入された液体中で培養される細胞、細胞コロニー、細菌等(以下、「細胞等」と称する)の生試料を撮像する装置である。
ウェルプレートWPは、創薬や生物科学の分野において一般的に使用されているものであり、平板状のプレートの上面に、断面が略円形の筒状に形成され底面が透明で平坦なウェルWが複数設けられている。1つのウェルプレートWPにおけるウェルWの数は任意であるが、例えば96個(12×8のマトリクス配列)のものを用いることができる。各ウェルWの直径および深さは代表的には数mm程度である。なお、この撮像装置1が対象とするウェルプレートのサイズやウェルの数はこれらに限定されるものではなく任意であり、例えば6ないし384穴のものが一般的に使用されている。また、複数ウェルを有するウェルプレートに限らず、例えばディッシュと呼ばれる平型の容器で培養された細胞等の撮像にも、この撮像装置1を使用することが可能である。
ウェルプレートWPの各ウェルWには、培地Mとしての液体が所定量注入され、この液体中において所定の培養条件で培養された細胞等が、この撮像装置1の撮像対象物となる。培地は適宜の試薬が添加されたものでもよく、また液状でウェルWに投入された後ゲル化するものであってもよい。後述するように、この撮像装置1では、例えばウェルWの内底面で培養された細胞等を撮像対象とすることができる。常用される一般的な液量は、50ないし200マイクロリットル程度である。
撮像装置1は、ウェルプレートWPを保持するホルダ11と、ホルダ11の上方に配置される照明部12と、ホルダ11の下方に配置される撮像部13と、これら各部の動作を制御するCPU141を有する制御部14とを備えている。ホルダ11は、試料を培地Mとともに各ウェルWに担持するウェルプレートWPの下面周縁部に当接してウェルプレートWPを略水平姿勢に保持する。
照明部12は、ホルダ11により保持されたウェルプレートWPに向けて照明光を出射する。照明光の光源としては、例えば白色LED(Light Emitting Diode)を用いることができる。光源と適宜の照明光学系とを組み合わせたものが、照明部12として用いられる。照明部12により、ウェルプレートWPに設けられたウェルW内の細胞等が上方から照明される。
ホルダ11により保持されたウェルプレートWPの下方に、撮像部13が設けられる。撮像部13には、ウェルプレートWPの直下位置に図示を省略する撮像光学系が配置されており、撮像光学系の光軸は鉛直方向に向けられている。図1は側面図であり、図の上下方向が鉛直方向を表す。
撮像部13により、ウェルW内の細胞等が撮像される。具体的には、照明部12から出射されウェルWの上方から液体に入射した光が撮像対象物を照明し、ウェルW底面から下方へ透過した光が、撮像部13の対物レンズ131を含む撮像光学系を介して撮像素子132の受光面に入射する。撮像光学系により撮像素子132の受光面に結像する撮像対象物の像が、撮像素子132により撮像される。撮像素子132は二次元の受光面を有するエリアイメージセンサであり、例えばCCDセンサまたはCMOSセンサを用いることができる。
撮像部13は、制御部14に設けられたメカ制御部146により水平方向および鉛直方向に移動可能となっている。具体的には、メカ制御部146がCPU141からの制御指令に基づき駆動機構15を作動させ、撮像部13を水平方向に移動させることにより、撮像部13がウェルWに対し水平方向に移動する。また鉛直方向への移動によりフォーカス調整がなされる。撮像視野内に1つのウェルWの全体が収められた状態で撮像されるときには、メカ制御部146は、光軸が当該ウェルWの中心と一致するように、撮像部13を水平方向に位置決めする。
また、駆動機構15は、撮像部13を水平方向に移動させる際、図において点線矢印で示すように照明部12を撮像部13と一体的に移動させる。すなわち、照明部12は、その光中心が撮像部13の光軸と略一致するように配置されており、撮像部13が水平方向に移動するとき、これと連動して移動する。これにより、どのウェルWが撮像される場合でも、当該ウェルWの中心および照明部12の光中心が常に撮像部13の光軸上に位置することとなり、各ウェルWに対する照明条件を一定にして、撮像条件を良好に維持することができる。
撮像部13の撮像素子132から出力される画像信号は、制御部14に送られる。すなわち、画像信号は制御部14に設けられたADコンバータ(A/D)143に入力されてデジタル画像データに変換される。CPU141は、受信した画像データに基づき適宜画像処理を実行する。制御部14はさらに、画像データを記憶保存するための画像メモリ144と、CPU141が実行すべきプログラムやCPU141により生成されるデータを記憶保存するためのメモリ145とを有しているが、これらは一体のものであってもよい。CPU141は、メモリ145に記憶された制御プログラムを実行することにより、後述する各種の演算処理を行う。
その他に、制御部14には、インターフェース(IF)部142が設けられている。インターフェース部142は、ユーザからの操作入力の受け付けや、ユーザへの処理結果等の情報提示を行うユーザインターフェース機能のほか、通信回線を介して接続された外部装置との間でのデータ交換を行う機能を有する。ユーザインターフェース機能を実現するために、インターフェース部142には、ユーザからの操作入力を受け付ける入力受付部147と、ユーザへのメッセージや処理結果などを表示出力する表示部148とが接続されている。
なお、制御部14は、上記したハードウェアを備えた専用装置であってもよく、またパーソナルコンピュータやワークステーション等の汎用処理装置に、後述する処理機能を実現するための制御プログラムを組み込んだものであってもよい。すなわち、この撮像装置1の制御部14として、汎用のコンピュータ装置を利用することが可能である。汎用処理装置を用いる場合、撮像装置1には、撮像部13等の各部を動作させるために必要最小限の制御機能が備わっていれば足りる。
図2はこの撮像装置によるウェル撮像を示す図である。より具体的には、図2(a)はウェル撮像時の光の進路を示す図であり、図2(b)はウェルと撮像視野との関係を示す図である。撮像対象物たる細胞等を担持するウェルWには、液状で注入された培地Mが入っている。したがって、ウェルWの上方から入射する照明光Lは培地Mの液面を介して撮像対象物に入射する。液面は一般に下に凸のメニスカスを形成しており、これにより照明光Lは屈折しウェルWの中心から外向きに曲げられる。照明光Lがこの種の撮像装置において広く用いられるテレセントリック照明であるとき、その光中心以外では、照明光の主光線が光中心から離れる外向きの方向に曲げられることになる。ウェルWの中心付近では屈折は小さく、ウェルWの周縁部に近いほど屈折も大きくなる。
このように外向きに曲げられた光を効率よく集光し撮像素子132に導くために、この実施形態における対物レンズ131を含む撮像光学系の光学特性は、その主光線が、一般的なメニスカスにより曲げられる照明光の主光線の傾きと同程度の傾きを有するものとされている。このような光学特性は、物体側ハイパーセントリック特性とも呼ばれる。この撮像光学系では、対物レンズ131の光軸から離れた位置において主光線が斜め外向きとなるような光についても、効率よく集光して撮像素子132に結像させることができる。このため、この撮像光学系は、図2(b)に示すように1つのウェルW全体を撮像視野Vに収めて撮像する場合に好適なものである。この点については、例えば本願出願人が先に開示した特開2015−118036号公報にも記載されている。
図2(b)に示すように1つのウェルW全体を撮像視野Vに含めることができるのは、比較的口径の小さなウェルWを低倍率で撮像する場合である。一方、より口径の大きなウェル(例えば6ウェルプレートにおけるウェル)に担持された撮像対象物を撮像する場合や、高倍率での撮像を行う場合などには、撮像対象とする領域のサイズが撮像視野のサイズに対して相対的に大きくなり、撮像対象領域であるウェルW全体を撮像視野Vに含めることができない場合もあり得る。
図3は撮像視野のサイズよりも撮像対象領域のサイズが大きい場合の撮像を示す図である。ここでは、これまで説明してきたよりも口径の大きなウェルW全体を撮像対象領域として、その内部の撮像対象物を撮像する場合について説明する。ディッシュと呼ばれる大口径の浅型容器に担持された撮像対象物を撮像する場合や、小口径のウェルであってもより高倍率で撮像する場合のように、撮像対象領域のサイズが相対的に撮像視野Vのサイズよりも大きくなる場合については同様の考え方を適用することができる。
撮像対象領域が撮像視野Vよりも広いとき、当該領域を複数の画像に分割して撮像し、それらの画像を画像処理によって合成することで、撮像すべき領域の全体を表す画像を作成することが考えられる。この場合、作成された画像において所期の画像品質を確保するためには、合成前の個々の画像の品質をより良好なものとしておく必要がある。このために留意すべき事項について、次に説明する。
図3に示すように、撮像領域VがウェルWの周縁部Wpから離れた中央部の領域のみを含む場合、培地M表面のメニスカスが光路に及ぼす影響は十分小さい。このため、テレセントリック照明では、対物レンズ131の光軸付近に入射する光は集光されて撮像素子132に入射するのに対し、光軸から離れた位置では入射光と光学系との主光線の傾きの違いに起因するミスマッチが生じる。
すなわち、光軸から離れた位置では、対物レンズ131側では液面での屈折を前提として、図に点線で示すように主光線が外向きに傾いた光を受光する構成となっているのに対し、ウェルWを通過した光はメニスカスによる屈折を受けず直進するため、入射光における主光線の傾きと、受光側での主光線の傾きとが一致していない。このことに起因して、特に撮像視野Vの周縁部で画質の劣化、具体的には画像が暗くなったり明るさのムラが生じたりすることがある。
撮像部13の物理的な撮像視野Vのうち必要な画像品質を確保することのできる領域を実効的な撮像視野と考えると、上記のように、物理的な撮像視野Vのうち、実効的な撮像視野として使用できるのは主として中央部分であり、これに比べて周縁部では画質の低下が問題となり得る。つまり、このような状態で撮像された画像では、画像の中央領域、より厳密には画像内で対物レンズ131の光軸中心Cに対応する位置を中心としてその周囲に広がる領域で画質が良好となる一方、それより外側の領域では画質が低下している可能性がある。
図4は画像の周縁部での画質低下の実例を示す図である。図4(a)は、ウェルプレートWPに代えて、ガラス板上に小さなドットが規則的に配列されてなる画質評価用のグリッドパターンを撮像対象物として撮像し得られた画像の例と、その部分拡大図である。画像の中央部分では各ドットが明瞭に、かつ一定の配列ピッチで現れているが、画像の周縁部、特に矩形の画像領域の隅部においては、画像が暗く、ドットの輪郭が不明瞭で、その形状や配列ピッチも乱れている。
図4(b)はこのような画像を単純に継ぎ合わせた場合の問題点を示している。図4(a)に示すように周縁部、特に隅部に画質の低下した領域を含む画像を例えば4枚継ぎ合わせたとすると、図4(b)に円で囲んだ領域のように、画質の低下した領域同士が隣接し、これらを合成した画像において所期の画像品質を得られないことがある。前述の従来技術のように、複数の画像を一部が重複するように撮像し重なり部分を適宜の画像処理により合成することで継ぎ目を目立たなくすることも行われるが、元の画像における画質低下を補償するものではない。
合成後の画像品質という点では、複数の画像から画質低下のない中央部分のみを抽出して組み合わせればよいが、1つの画像から抽出される有効な領域は狭くなり、より多くの画像が必要となるので、撮像や合成処理に要する時間が長くなって現実的ではない。また、撮像の際に画像同士の重なりをどの程度取ればよいかという点についても定量的な指標は特にない。
このように、複数の画像を継ぎ合わせて撮像対象領域全体をカバーする画像を作成することを前提にしたとき、撮像すべき画像の数と画像品質との間にはトレードオフがあり、画像間の重なりをどの程度確保すればよいか、また得られた画像をどのように合成するかについて、これまで明確な基準を有する手法は確立されていなかった。
この実施形態の撮像装置1では、撮像対象領域が撮像部13の撮像視野Vよりも大きな場合には、撮像対象領域の互いに異なる位置で複数回撮像を行うことで複数の原画像を取得し、それらの原画像を合成することで撮像対象領域全体の画像を作成する。このとき、複数の原画像を部分的に重なるようにして撮像するが、その重なりの程度は、後の合成段階での処理内容が反映されたものとなっている。以下、本実施形態における画像合成の原理および実際の処理内容について説明する。
上記したように、撮像された原画像においては、撮像光学系の光軸中心Cに近い中心部で一定の画像品質が得られ、周縁部では画質の低下が見られる。言い換えれば、原画像のうち光軸中心Cに近い領域の画像情報は信頼性が高く、光軸中心Cから離れた周縁部では画像情報の信頼性が低い。このことから、画像を合成する際、複数の画像の重なり部分では、信頼性の高い画像情報を有する画素に大きな重みを与える一方、信頼性の低い画像情報を有する画素にはより小さな重みを与えて合成するようにすれば、合成後の画素では信頼性の高い画素の画像情報がより強く反映されるようになり、合成画像の画像品質を向上させることが可能となる。
図5は画素への重みの与え方を示す図である。なお、以降の図において画像の方向を表す場合、二次元画像における一般的な座標設定に倣い、画像の左上を原点(0,0)として横方向をX座標、縦方向をY座標とする。
図5(a)は画像品質の変化を模式的に示す図である。同図に示すように、画像の明るさや歪み、ボケなど画像品質を表す指標は、光軸中心Cからある程度の距離までは概ね一定であるが、それより遠くなると次第に低下してゆく。よって、このような特性を反映させた重み付けを行えばよい。すなわち、図5(b)に示すように、原画像中の各画素のうち光軸中心Cから一定の距離D以内にある画素には一定の重み(例えば1)を与え、これより遠くでは光軸中心Cから離れるにつれて次第に重みが小さくなり、最終的には重みが0となるような重み係数Wtを設定する。
撮像光学系の性質上、一般的には重み係数Wtの値が撮像光学系の光軸中心Cに対して回転対称となるように、各画素位置の重み係数Wtを設定すればよいと考えられる。このようにして画素位置ごとの重み係数Wtをマッピングした重み付けマップを予め作成しておく。重み付けマップは事前に撮像光学系の評価を行うことによって得られる。例えば図4(a)に示したグリッドパターンのようなテストチャートを用いてテスト撮像を行い、画素ごとの画質の劣化度合いを定量的に評価して、その結果を画素位置に対応させてマッピングしたものを重み付けマップとすることができる。なお、光学系の構成によっては重み係数Wtが回転対称性を有していない場合もあり得る。
例えばウェルWに入射する照明光の光量分布が一様でないなど、照明光学系側に光学特性の不均一さがあるような場合でも、上記のような事前評価により照明光学系の特性も含んだ重み付けマップとすることができる。この場合、重み付けマップは照明光学系、撮像光学系双方の光学特性を反映したものとなる。
そして、図5(c)に示すように、原画像Imの各画素の画素値P(x,y)に対し、その画素位置に応じて重み付けマップMwから求めた重み係数Wt(x,y)を乗じることで、重み付けされた画像Iwにおける各画素の画素値Pw(x,y)が決定される。これにより、原画像Imに撮像光学系の光学特性に基づく重み付けを与えた画像Iwが得られる。このようにして重み付けされた画像Iwでは、光軸中心Cに近い中央部では原画像Imの画素値P(x,y)がそのまま維持される。一方、周縁部では原画像Imの持つ画素値の重みが減じられて小さな値となる。重み付けされた各画素の画素値Pw(x,y)は、次の(式1)により表すことができる。
図6は重み付けマップの表現例を示す図である。図6(a)はXY平面に対する重み係数Wtの値を三次元マップとして表したものである。一般的には、このような三次元マップを用いて任意の分布形状を有する重み係数Wtをマップ空間内の曲面として表現することが可能である。撮像光学系の光学特性が回転対称性を有していない場合でも、非対称な曲面として表現することが可能である。マップをメモリ145に格納し利用するには、X座標値およびY座標値に対するルックアップテーブルとして記憶させておけばよい。
図6(b)は重み係数Wtを多段階に量子化して二次元マップとして表現した例を示す。光軸中心Cを中心とする所定距離内の領域には重み係数Wtに対し値1が設定される。その外側の領域には0.7、さらに外側の領域には0.5というように、光軸中心Cから離れた領域ほど小さな値が重み係数Wtとして設定される。この場合、原画像Imにおける各画素に対応する重み係数Wtは、当該画素位置の光軸中心Cからの距離に応じて段階的に設定される。また、距離の関数として表現されてもよい。このような態様では、メモリ145に記憶させるべき情報の量を大きく低減することが可能である。
その他、画像における座標位置から当該位置の画素に与える重みが導き出せる態様であれば、任意の形式でマップを表現しメモリ145に格納しておくことができる。なお、複数の原画像が同一の撮像条件で撮像される場合、それらに対して重み付けマップMwは1セットであってよいが、例えば、複数の原画像が異なる照明条件または撮像条件で撮像される場合には、条件ごとに重み付けマップMwが用意されることが望ましい。
このような重み付けの考え方に基づき、原画像撮像時の画像の重なりの程度および画像合成時の計算方法が定められる。まず撮像時の原画像の重ね方について説明する。画像情報の信頼性の高い画素ほど大きな重みが与えられる。したがって、撮像対象領域の全体が一定値以上の重みを与えられた画素のみで占められるようになれば、それらの画素を抽出して画像を再構成することで、撮像対象領域の全体を所定の画像品質で表した画像を作成することができる。
すなわち、重み付けマップMwにおいて重み係数Wtが所定の閾値以上である領域を抽出した仮想的なマスクを設定し、該マスクにより撮像対象領域の全体を覆うことができるようなマスクの配置を考えればよい。このときのマスクの数および配置が、撮像対象領域全体を表すために必要な原画像の数および配置を表すことになる。このようなマスクは、重み付けマップMwを上記の閾値を用いて2値化することによって得られる。
図7は重み付けマップから作成されるマスクを例示する図である。図7(a)に例示するマスクM1は、重み係数Wtに対して比較的大きな閾値Th1(例えば0.9)が設定された例である。一方、図7(b)はより小さな閾値Th2(例えば0.7)が設定されたマスクM2の例を示す。これらの図において斜線を付した部分が閾値以上の重みを有する部分を示しており、この部分が撮像対象領域をマスクする。
閾値の設定値が大きい場合、マスクされる領域内で画像品質は高いレベルが保証されるが、マスクされる面積は小さい。このことは、撮像領域全体をカバーするのに多くの画像を必要とすることを意味する。例えば閾値を1に設定すれば画質低下が無視できるレベルとなるが、その分必要となる画像の枚数が多くなり処理時間が長くなる。
これに対し、閾値の設定値が小さい場合、マスクされる面積が大きくなるので必要な画像の数は少なくて済む。ただし、画質が若干低下した部分も合成画像に用いられることとなり、これが合成後の画像の品質にも反映されることになる。求められる画像の品質に応じて閾値が定められればよい。以下の説明では、マスクMとして図7(b)に示すマスクM2が用いられるものとする。
図8は原画像の割り付け例を示す図である。重み付けマップMwから作成されるマスクMで撮像対象領域であるウェルW全体をカバーするためのマスクの配置は無数にあり得るが、マスク同士の重なり部分の面積ができるだけ小さいことが望ましい。また、ウェルWに対する撮像部13の位置を変えながら順次原画像を撮像することを考えると、撮像部13の移動経路ができるだけ簡潔で、かつその長さが短いことが望ましい。
撮像装置1が撮像部13をマスクM(または原画像)の辺方向であるX方向およびY方向にそれぞれ移動させるものであるとすると、マスクMの配置もこれらの方向に沿ったものであることが好ましい。このような観点から、例えば図8に示すような配置が考えられる。
図8において、黒丸印で示される点P1〜P10はマスクM(または原画像)の重心位置を示している。一般的な撮像方法では、原画像の重心位置は当該原画像が撮像されるときの光軸中心Cの位置と一致している。また実線矢印は撮像部13の走査移動の軌跡、より正確にはウェルWの撮像対象領域上における撮像部13の光軸中心Cの軌跡を示している。また白丸印Ps,Peは撮像部13の走査移動の始点および終点を示している。
図8に示す例では、10枚のマスクMにより撮像対象領域であるウェルWの内部領域の全体がカバーされる。10枚のマスクMはX方向に3列に並んでおり、左側すなわち最も(−X)側の列は3枚、中央の列は4枚、右側すなわち最も(+X)側の列は3枚のマスクによりそれぞれ構成される。各列において、隣り合うマスクM同士は一部が重複している。マスク形状はX方向およびY方向において等方的であり、マスクMの配列ピッチはX方向、Y方向で同じである。
また、中央の列における各マスクMのY方向の配列は、左右の各列における各マスクMのY方向の配列に対して、配列ピッチの半分だけY方向にずれている。したがって、1つの列に含まれる1つのマスクの重心位置(例えば点P3)と、隣の列に含まれる最近傍の2つのマスクの重心位置(例えば点P4,P5)とを互いに結ぶと正三角形になる。別の言い方をすると、1つのマスクの重心位置と、当該マスクに部分的に重なる複数のマスクそれぞれの重心位置との距離は、これらの複数のマスクの間で同じになっている。
このような配置とすることで、回転対称な撮像光学系による撮像で原画像の隅部に現れる画質の低下した部分を他の原画像で効果的にカバーすることができる。より一般的には、隣り合う列の間では、原画像の位置を各列内での原画像の並ぶ方向に沿って異ならせることにより、隣り合う列の間で原画像の隅部同士が重なってしまうのを防止することができる。画質評価に基づく重み付けの結果から定量的に求められたマスクに対応した原画像の配置とすることで、重ね合わせにおいて画質の劣化した部分が集中してしまうのを回避して、一定レベル以上の画像品質を確保することが可能となる。
図8のマスク配置は撮像時の原画像の割り付けを示しているから、撮像時には撮像光学系の光軸中心Cが各マスクMの重心に対応する点P1〜P10を順次通過するように、撮像部13の走査移動レシピを設定すればよい。設定された走査移動レシピにしたがい撮像部13を走査移動させながら、撮像光学系の光軸中心Cが点P1〜P10のいずれかに到達する度に撮像を行うようにすれば、撮像対象領域であるウェルW全体をカバーする原画像を取得することができる。この意味において、点P1〜P10のそれぞれに対応する、つまり光軸中心Cが点P1〜P10それぞれと一致するときの撮像部13の位置を、以下では「撮像位置」と称する。
図9はこの実施形態における撮像処理を示すフローチャートである。CPU141が予め作成された制御プログラムに基づいて装置各部に所定の動作を行わせ、図9に示す撮像処理を実行することにより、複数の原画像が取得される。最初に、メカ制御部146からの制御指令に応じて作動する駆動機構15により、撮像部13が所定のスタート位置に位置決めされる(ステップS101)。図8に示す始点Psは、このときの対物レンズ131の光軸位置に対応する。なお、ここでは撮像部13の走査移動についてのみ説明するが、前記した通り、照明光の光中心と対物レンズ13の光軸とが常に一致するように、撮像部13の移動に伴って照明部12も移動する。
続いて、予め設定された走査移動レシピに基づき、ウェルWに対する撮像部13の走査移動が開始される(ステップS102)。撮像部13が終点Peに対応する終了位置に到達すれば、処理は終了する(ステップS103)。終了位置に到達するまでの間は、撮像部13が点P1〜P10に対応する撮像位置のいずれかに到達する度に(ステップS104)、ステップS105、S106が実行されて撮像が行われる。撮像部13がどの位置にあるかについては、例えば撮像部13に装着されたポジションセンサ(図示せず)からの出力信号に基づき検出することができる。
撮像部13が撮像位置に到達すると、照明部12の光源が所定時間点灯されることで撮像対象物がストロボ照明され、これと同期して撮像素子132が撮像を行うことで、1枚の画像が取得される(ステップS105)。撮像素子132から出力される画像信号をADコンバータ143によりデジタル化して得られた画像データは画像メモリ144に記憶される(ステップS106)。撮像部13が終了位置に到達するまで上記処理が繰り返されることで、点P1〜P10の各々に対応する撮像位置での撮像が行われ、10枚の原画像が取得される。
ストロボ照明下で撮像が行われるため、撮像のために撮像部13の走査移動を一時的に停止させる必要はなく、メカ制御部146は走査移動レシピにしたがい一定速度で撮像部13を走査移動させればよい。各点P1〜P10を結ぶ経路の長さが最小となるように走査移動レシピを最適化することで、撮像に要する時間を短縮することができる。
この実施形態の走査移動レシピでは、撮像部13が始点Psに対応するスタート位置から所定距離だけY方向に移動して1列(左列)分の原画像を撮像した後、X方向に一定量だけ移動し、再びY方向に移動しながら1列(中央列)分の原画像を撮像する。さらにX方向に一定量だけ移動し、Y方向に移動しながら1列(右列)分の原画像を撮像し、最終的に終点Peに対応する終了位置に到達する。このように、この実施形態では撮像部13はY方向の移動とX方向移動とを交互に実行することで必要な枚数の原画像を取得する。
次に、こうして得られた複数の原画像を合成し撮像対象領域全体に対応する画像を作成する処理について説明する。この割り付け例では10枚の原画像が取得されるが、以下、より一般化する場合には原画像の数をK枚(Kは2以上の整数)とし、各原画像を符号Ik(k=1,2,…,K)により表すこととする。この例ではK=10である。
図10は画像の合成処理を示すフローチャートである。最初に、取得されたK枚の原画像に対し、単独の原画像ごとに実行可能な各種の補正処理、例えばシェーディング補正、ディストーション補正、デコンボリューション補正などが実施される(ステップS201)。これらの補正は必要に応じ実施され、省かれてもよい。続いて、補正された原画像Ikが、ウェルWの同一位置に対応する画素同士の位置が一致するように、仮想的な二次元マップ平面上で重ね合わせられ(ステップS202)、そのうちウェルW全体をカバーするウェル領域が切り出される(ステップS203)。
図11はウェル領域の切り出しを説明するための図である。仮想マップ平面上で重ねられた原画像Ik(この例ではk=1〜10)が占める領域のうち、ウェルW全体および最小限のウェル外の領域を含む矩形領域が、ウェル領域Rwとして切り出される。ウェルW全体を表す画像を作成するという目的では、以後の処理はウェル領域Rw内について行われ、他の領域は不要となる。説明の便宜上、ウェル領域Rwに対して新たに座標系を設定する。XY座標系と区別するために新たな座標系をX’Y’座標系とし、該座標系内の点を座標(x’,y’)により表す。
図10に戻って合成処理について説明する。続いて画素ごとの合成処理が実行される。まず、ウェル領域Rw内で処理対象となる画素の座標(x’,y’)の初期値が、ウェル領域Rw左上隅の原点(0,0)に設定される(ステップS204、S205)。そして、合成後の画像において当該座標点(x’,y’)に対応する画素の画素値が算出される(ステップS206)。当該座標点(x’,y’)を占める画素を有する原画像が1つしかないときには、当該原画像における当該画素の(重み付けしない)画素値がそのまま合成後の画素値とされる。一方、当該座標点(x’,y’)を占める画素を有する原画像が複数ある場合には、それらの原画像から抽出される画素の画素値に基づく計算により、合成後の画素値が求められる。
原画像Ikの各画素には、当該画素の画像情報の信頼性に応じた重みが与えられている。したがって、複数の原画像が重なる場合、重みの大きい画素の画素値ほど強く合成後の画素値に反映されるようにすればよい。原理的には、重なり合う画素の画素値を重み付けして合計した値により、合成後の画素値Po(x’,y’)を表すことができる。具体的には下記の(式2)による。
(式2)において、符号Pwk(x’,y’)は、座標点(x’,y’)にある原画像Ikの画素に対し(式1)で重み付けされた画素値Pw(x’,y’)を表す。なお、当該座標位置に画素を有していない原画像Ikの画素値Pwk(x’,y’)は0とされる。
この場合、例えば比較的大きな重みを与えられた画素同士が重なっている領域では他の領域に比べ画素値が大きくなりすぎることがあるから、下記の(式3)のように、重なる画素の重み係数Wtの合計値により正規化されることがより好ましい。
(式3)において、符号Pk(x’,y’)は、座標点(x’,y’)に位置する画素として原画像Ikから抽出される画素の画素値であり、原画像Ikが当該位置に画素を有していない場合には値が0とされる。また、符号Wtk(x’,y’)は、画素値Pk(x’,y’)に対し重み付けマップMwに基づいて作用させる重み係数である。重み付けマップMw自体は各原画像に対して共通であるが、各原画像Ikが仮想マップ平面において互いに異なる位置にマッピングされるため、各原画像Ikに作用させる重み付けマップMwも仮想マップ平面上で原画像の位置に連動させる必要がある。
XYマップ平面における原画像IkをX’Y’マップ平面に写像するために必要な座標変換を重み付けマップMwに対しても施すことにより、重み付けマップMwをX’Y’マップ平面における原画像Ikの位置に合わせることができる。このようにした結果、座標点(x’,y’)における重み係数Wtの値は必ずしも一意とならず、当該座標点を複数の原画像が占める場合には、対応する原画像Ikごとに個別の値が存在することとなる。これらを区別するために、添え字kを用いて、原画像Ikのうち座標点(x’,y’)を占める画素の画素値Pk(x’,y’)に対応する重み係数を、符号Wtk(x’,y’)により表している。原画像Ikが座標点(x’,y’)に画素を有していないとき、対応する重み係数Wtk(x’,y’)の値は0とされる。
(式3)に基づく正規化を行うと、仮に小さな重みを与えられた画素同士が重なるようなケースでは、(式3)の分母の値が小さくなり却って画素値が強調されてしまうことがあり得る。しかしながら、本実施形態では、互いに重なる原画像のうち少なくとも1つは閾値以上の重みを有するものとなるように原画像の割り付けを決定しているため、このような問題は生じない。
このようにして(式2)または(式3)のいずれかによりウェル領域Rw内の座標点(x’,y’)の画素値が求められると、座標値x’を1つインクリメントすることで対象画素を右隣に移行させ、座標位置がウェル領域Rwの右端に到達するまで画素値Po(x’,y’)の計算を繰り返す(ステップS207、S208)。これにより、合成後の画像における横方向の画素列1列分の画素値が求まる。
上記のような1列分の画素値の計算を、座標値y’を1つずつインクリメントしながらウェル領域Rwの下端に達するまで繰り返すことで(ステップS209、S210)、合成後の画像におけるウェル領域Rw内の全ての画素の画素値が決定される。こうして算出された画素値に基づきウェル領域Rwに対応する画像を再構成することにより(ステップS211)、ウェルWを部分的に撮像した複数の原画像からウェルW全体を表す合成画像を作成することができる。
画像の合成に際して、原画像が重なる部分の処理については上記以外の方法も考えられる。例えば、重なり合う画素のうち最も大きな重みを与えられたものの画素値を採用することが考えられる。ただしこの場合には、重複部分の端において画像内容のつながりが不自然となり継ぎ目が目立つことがあり得る。
一方、例えば重複部分に重みが1の画素がある場合には、画素値を加工せず重み1の画素値をそのまま採用することも考えられる。当該画素について見れば画質低下が問題とならないため、画像情報を最大限に保存するという点においてはこの方法が有効である。この場合も周辺の画素とのつながりが問題となり得る。画像情報の保存と合成画像のスムーズさとのいずれを優先するかにより、合成方法については適宜選択することが可能である。
以上のように、この実施形態では、撮像装置1の撮像視野Vよりも広範囲の撮像対象領域の画像が必要な場合、撮像対象領域を複数に分割して撮像を行う。このとき、複数の原画像をスムーズに継ぎ合わせるために、隣り合う原画像が部分的に重複するように撮像される。原画像間の重なりは、後の画像合成での処理内容が反映されたものとなっている。
すなわち、この実施形態では、撮像部13の光学特性に起因して各原画像の周縁部に生じる画質低下を考慮して、原画像の各画素に重みを与える重み係数Wtを表した重み付けマップMwが用意される。複数の原画像が重複する部分では、それぞれの原画像から抽出される画素の重みに応じて合成後の画素値が算出される。具体的には、各画素の画素値に重み係数を乗じて合計することで、大きな重みが与えられた画素の画素値ほど合成後の画素値に強く反映されるようにする。
そして、分割して撮像を行う際の原画像の割り付けは、撮像領域の全体が、少なくとも1つの原画像において所定の閾値以上の重みが与えられた画素によって占められるように定められる。こうすることによって、原画像において一定レベル以上の画像品質を有する画素の画像情報を用いて撮像領域全体の画像情報を決定することができる。そのため、重みの小さい、つまり画像情報に対する信頼性の低い画素のみから再構成された画素は存在せず、合成後の画像の品質を良好なものとすることができる。
以上説明したように、上記実施形態では、照明部12が本発明の「照明部」として、撮像部13が本発明の「撮像部」として、また駆動機構15が本発明の「移動部」としてそれぞれ機能しており、これらが一体的に本発明の「撮像手段」として機能している。また、撮像素子132が本発明の「エリアイメージセンサ」に、対物レンズ131を含む撮像光学系が「ハイパーセントリック光学系」にそれぞれ相当している。また、制御部14が本発明の「画像合成手段」として機能している。
また、上記実施形態では画像のY方向に対応する撮像部13の移動方向が本発明の「第1走査方向」に相当し、この方向への撮像部13の移動およびその途中での撮像が本発明の「主走査処理」に相当している。また、X方向に対応する方向が本発明の「第2走査方向」に相当し、この方向への撮像部13の移動が本発明の「副走査処理」に相当する。
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態の撮像部13はハイパーセントリック光学系を有するものである。この撮像部13では、メニスカスの影響がない場合に画像の周縁部において画質低下が生じやすいため、本発明の効果が特に効果的である。しかしながら、例えばレンズの収差やケラレ、照明光のムラ等に起因して画像の周縁部に画質低下が起こりやすいという問題は、このような撮像光学系以外の各種の光学系でも生じるものである。本発明は、このような種々の撮像光学系を有する装置に適用可能である。
また、上記実施形態は、ウェルWに担持される細胞等の生試料を撮像する撮像装置であるが、本発明にかかる撮像装置が撮像対象物とするものはこれらに限定されるものではなく任意である。液面を介した撮像でなくても、例えば広角レンズを使用した撮像した画像では周縁部の歪みが大きくなる傾向があるため、本発明が特に有効に機能する事例であるといえる。
また、上記した原画像の割り付けは単なる一例であり、目的に応じて、また本発明の趣旨に沿って適宜に設定されるべきものである。
また、上記実施形態は1組の撮像部13を撮像対象領域に対し走査移動しながら複数の原画像を撮像するものであるが、複数の原画像が異なる撮像手段によって撮像されてもよい。この場合、撮像手段ごとに特性の差異があるため、重み付けマップについても撮像手段ごとに用意されることが望ましい。
また、上記実施形態の説明では、本発明にかかる「重み付けルール」を重み付けマップMwとして説明しているが、重み付けルールをどのような形式で表現し装置に実装するかは任意であり、前記したようにルックアップテーブル、関数の他、場合分けによる条件分岐で重み係数が導出される構成であってもよい。
以上、具体的な実施形態を例示して説明してきたように、この発明において、重み付けルールにより与えられる重みは、原画像の中央部の画素において周縁部の画素よりも大きくなるように設定されてもよい。一般的な撮像光学系では画像の中央部で最も画質が良好であり、周縁部ではこれより画質が低下する。このような性質を反映した重み付けを行うことで、撮像光学系の特性に起因する画質の低下の影響を効果的に抑制することが可能になる。
また例えば、重み付けルールにより与えられる重みは、原画像のうち撮像手段の光学中心に対応する位置から所定距離以内にある画素については閾値以上の一定値である一方、所定距離よりも遠い画素については光学中心から離れるほど小さくなるように設定されてもよい。画像の中央部分で一定の重みが与えられることにより、無用な画像の加工が抑制されて、原画像の画像品質を維持することができる。
この場合、重み付けルールにより与えられる重みの大きさは、例えば光学中心に対して回転対称性を有するものであってもよい。撮像光学系が光軸に対し回転対称な特性を有するレンズの組み合わせにより構成される場合、その光学特性も光軸に対し回転対称性を有する。これを反映した重み付けを行うことで、重み付けルールをより簡単な表現によって記述することができ、重み付けのための処理を簡単にすることができる。
また例えば、画像合成においては、撮像対象領域の同一位置に対応する画素を含む原画像が複数あるとき、それらの原画像各々における当該位置に対応する画素の画素値に重み付けルールに基づく重み付けの大きさに応じた係数を乗じて合計した値を、合成画像において当該位置に対応する画素の画素値とするようにしてもよい。このような構成によれば、大きな重みが与えられた画素ほどその画素値が強く結果に反映されることになり、重みの小さい、したがって画質劣化を大きい画素の影響を抑えることができる。
また例えば、撮像手段は、撮像視野内の光学像を電気信号に変換するエリアイメージセンサを有するものであってもよい。二次元の撮像視野をエリアイメージセンサで一度に撮像する構成では、撮像光学系においても二次元の光学像を結像させる機能が必要となり、そのような構成では撮像視野の周縁部に画質低下が現れやすい。このような場合に本発明の技術思想を適用することで、画質低下の影響を抑えた合成画像を作成することが可能になる。
この場合、撮像手段は、撮像視野内の撮像対象領域から出射される光をエリアイメージセンサに導くハイパーセントリック光学系を有するものであってもよい。このような撮像光学系では特に画像の周縁部に画質劣化が出やすいので、本発明の効果が顕著なものとなる。
また例えば、撮像手段は、撮像視野内を撮像する撮像部と、撮像部を撮像対象領域に対して相対移動させる移動部とを有するものであってもよい。このような構成によれば、1組の撮像部により複数の原画像を撮像することが可能である。
この場合さらに、撮像手段は、移動部による撮像部の撮像対象領域に対する相対移動に同期して間欠点灯し撮像対象領域を照明する照明部を有するものであってもよい。このような構成では、照明部が点灯する間のみ撮像部に光学像が受光されるため、移動部による撮像部の移動を停止させることなく静止画像を取得することができる。そのため、撮像部を位置的に停止させて撮像を行う構成に比べて撮像に要する時間を短くすることが可能である。
また、この発明にかかる撮像方法において、撮像工程では、撮像手段を、撮像対象領域に対し相対的に第1走査方向に一定速度で走査移動させながら間欠的に撮像を行うことで、第1走査方向に沿って並ぶ複数の原画像を取得する主走査処理と、撮像手段を、撮像対象領域に対し相対的に、第1走査方向に直交する第2走査方向に移動させる副走査処理とを交互に実行することで、第1走査方向および第2走査方向のそれぞれにおいて複数の原画像を取得し、第2走査方向において隣り合う原画像の間では、第1走査方向における位置が互いに異なっていてもよい。このような構成では、第2走査方向に隣り合う原画像の位置を第1走査方向に異ならせることで、画質劣化が大きい原画像の隅部同士が重なり合うことが防止される。
この発明は、撮像手段の撮像視野より広い領域を複数画像に分割して撮像し、それらを合成した画像を作成する技術全般に適用することが可能であり、撮像対象物は特に限定されない。
1 撮像装置(画像作成装置)
12 照明部(撮像手段、照明部)
13 撮像部(撮像手段、撮像部)
14 制御部(画像合成手段)
15 駆動機構(撮像手段、移動部)
131 対物レンズ
132 撮像素子(エリアイメージセンサ)
Mw 重み付けマップ
Rw ウェル領域
W ウェル
WP ウェルプレート
Wt 重み係数
12 照明部(撮像手段、照明部)
13 撮像部(撮像手段、撮像部)
14 制御部(画像合成手段)
15 駆動機構(撮像手段、移動部)
131 対物レンズ
132 撮像素子(エリアイメージセンサ)
Mw 重み付けマップ
Rw ウェル領域
W ウェル
WP ウェルプレート
Wt 重み係数
Claims (11)
- 二次元の撮像視野を有し、前記撮像視野よりも広範囲の撮像対象領域に対する前記撮像視野の位置を互いに異ならせて、かつ位置の隣り合う前記撮像視野を互いに一部重複させて複数回撮像を行い、前記撮像対象領域を複数の原画像に分割して撮像する撮像手段と、
前記複数の原画像を合成して、前記撮像対象領域を表す単一の合成画像を作成する画像合成手段と
を備え、
前記画像合成手段は、前記原画像内における位置と当該位置の画素に与える重みとが前記撮像手段の光学特性に応じて関連付けられた重み付けルールに基づき、個々の前記原画像内の各画素に対し重み付けを行い、重み付けされた複数の前記原画像を、前記撮像対象領域の同一位置に対応する画素が互いに重なるように合成し、
前記原画像内の画素のうち前記重み付けルールによって所定の閾値以上の重みを与えられる画素を有効画素と定義したとき、
前記撮像手段は、前記撮像対象領域内の全ての位置が前記原画像の少なくとも1つにおいて前記有効画素として表されるように、前記撮像対象領域において前記撮像視野を重複させて撮像を行う画像作成装置。 - 前記重み付けルールにより与えられる重みは、前記原画像の中央部の画素において前記周縁部の画素よりも大きい請求項1に記載の画像作成装置。
- 前記重み付けルールにより与えられる重みは、前記原画像のうち前記撮像手段の光学中心に対応する位置から所定距離以内にある画素については前記閾値以上の一定値である一方、前記所定距離よりも遠い画素については前記光学中心から離れるほど小さくなる請求項1または2に記載の画像作成装置。
- 前記重み付けルールにより与えられる重みの大きさは、前記光学中心に対して回転対称性を有する請求項3に記載の画像作成装置。
- 前記画像合成手段は、前記撮像対象領域の同一位置に対応する画素を含む前記原画像が複数あるとき、それらの前記原画像各々における当該位置に対応する画素の画素値に前記重み付けルールに基づく重み付けの大きさに応じた係数を乗じて合計した値を、前記合成画像において当該位置に対応する画素の画素値とする請求項1ないし4のいずれかに記載の画像作成装置。
- 前記撮像手段は、前記撮像視野内の光学像を電気信号に変換するエリアイメージセンサを有する請求項1ないし5のいずれかに記載の画像作成装置。
- 前記撮像手段は、前記撮像視野内の前記撮像対象領域から出射される光を前記エリアイメージセンサに導くハイパーセントリック光学系を有する請求項6に記載の画像作成装置。
- 前記撮像手段は、前記撮像視野内を撮像する撮像部と、前記撮像部を前記撮像対象領域に対して相対移動させる移動部とを有する請求項1ないし7のいずれかに記載の画像作成装置。
- 前記撮像手段は、前記移動部による前記撮像部の前記撮像対象領域に対する相対移動に同期して間欠点灯し前記撮像対象領域を照明する照明部を有する請求項8に記載の画像作成装置。
- 二次元の撮像視野を有する撮像手段により、前記撮像視野よりも広範囲の撮像対象領域に対する前記撮像視野の位置を互いに異ならせて、かつ位置の隣り合う前記撮像視野を互いに一部重複させて複数回撮像を行い、前記撮像対象領域を複数の原画像に分割して撮像する撮像工程と、
前記複数の原画像を合成して、前記撮像対象領域を表す単一の合成画像を作成する合成工程と
を備え、
前記合成工程では、前記原画像内における位置と当該位置の画素に与える重みとが前記撮像手段の光学特性に応じて関連付けられた重み付けルールに基づき、個々の前記原画像内の各画素に対し重み付けを行い、重み付けされた複数の前記原画像を、前記撮像対象領域の同一位置に対応する画素が互いに重なるように合成し、
前記原画像内の画素のうち前記重み付けルールによって所定の閾値以上の重みを与えられる画素を有効画素と定義したとき、
前記撮像工程では、前記撮像対象領域内の全ての位置が前記原画像の少なくとも1つにおいて前記有効画素として表されるように、前記撮像対象領域において前記撮像視野を重複させて撮像を行う画像作成方法。 - 前記撮像工程では、
前記撮像手段を、前記撮像対象領域に対し相対的に第1走査方向に一定速度で走査移動させながら間欠的に撮像を行うことで、前記第1走査方向に沿って並ぶ複数の前記原画像を取得する主走査処理と、
前記撮像手段を、前記撮像対象領域に対し相対的に、前記第1走査方向に直交する第2走査方向に移動させる副走査処理と
を交互に実行することで、前記第1走査方向および前記第2走査方向のそれぞれにおいて複数の前記原画像を取得し、
前記第2走査方向において隣り合う前記原画像の間では、前記第1走査方向における位置が互いに異なる請求項10に記載の画像作成方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015189251A JP2017068302A (ja) | 2015-09-28 | 2015-09-28 | 画像作成装置および画像作成方法 |
PCT/JP2016/069135 WO2017056599A1 (ja) | 2015-09-28 | 2016-06-28 | 画像作成装置および画像作成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015189251A JP2017068302A (ja) | 2015-09-28 | 2015-09-28 | 画像作成装置および画像作成方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017068302A true JP2017068302A (ja) | 2017-04-06 |
Family
ID=58423328
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015189251A Pending JP2017068302A (ja) | 2015-09-28 | 2015-09-28 | 画像作成装置および画像作成方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2017068302A (ja) |
WO (1) | WO2017056599A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019044408A1 (ja) | 2017-08-31 | 2019-03-07 | 富士フイルム株式会社 | 画像処理装置、方法およびプログラム |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114594107B (zh) * | 2022-05-09 | 2022-08-16 | 武汉精立电子技术有限公司 | 扫描路径的优化方法、应用及半导体材料表面的检测方法 |
CN116306764B (zh) * | 2023-03-22 | 2023-11-14 | 北京京瀚禹电子工程技术有限公司 | 一种基于机器视觉的电子元器件计数系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62140174A (ja) * | 1985-12-13 | 1987-06-23 | Canon Inc | 画像合成方法 |
JP2010134374A (ja) * | 2008-12-08 | 2010-06-17 | Olympus Corp | 顕微鏡システム及び該動作方法 |
JP2012003214A (ja) * | 2010-05-19 | 2012-01-05 | Sony Corp | 情報処理装置、情報処理方法、プログラム、撮像装置、及び光学顕微鏡を搭載した撮像装置 |
JP2015055849A (ja) * | 2013-09-13 | 2015-03-23 | オリンパス株式会社 | 撮像装置、顕微鏡システム、撮像方法及び撮像プログラム |
-
2015
- 2015-09-28 JP JP2015189251A patent/JP2017068302A/ja active Pending
-
2016
- 2016-06-28 WO PCT/JP2016/069135 patent/WO2017056599A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62140174A (ja) * | 1985-12-13 | 1987-06-23 | Canon Inc | 画像合成方法 |
JP2010134374A (ja) * | 2008-12-08 | 2010-06-17 | Olympus Corp | 顕微鏡システム及び該動作方法 |
JP2012003214A (ja) * | 2010-05-19 | 2012-01-05 | Sony Corp | 情報処理装置、情報処理方法、プログラム、撮像装置、及び光学顕微鏡を搭載した撮像装置 |
JP2015055849A (ja) * | 2013-09-13 | 2015-03-23 | オリンパス株式会社 | 撮像装置、顕微鏡システム、撮像方法及び撮像プログラム |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019044408A1 (ja) | 2017-08-31 | 2019-03-07 | 富士フイルム株式会社 | 画像処理装置、方法およびプログラム |
JPWO2019044408A1 (ja) * | 2017-08-31 | 2020-02-27 | 富士フイルム株式会社 | 画像処理装置、方法およびプログラム |
US11127180B2 (en) * | 2017-08-31 | 2021-09-21 | Fujifilm Corporation | Image processing apparatus, method, and program |
Also Published As
Publication number | Publication date |
---|---|
WO2017056599A1 (ja) | 2017-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6389721B2 (ja) | 撮像装置および撮像方法 | |
US9088729B2 (en) | Imaging apparatus and method of controlling same | |
US10182185B2 (en) | Image generation device, image generation method, recording medium, and method for generating an in-focus image based on feature points | |
US9046680B2 (en) | Scanning illumination microscope | |
JP6692660B2 (ja) | 撮像装置 | |
JP6739061B2 (ja) | 画像生成装置、画像生成方法及びプログラム | |
WO2017056599A1 (ja) | 画像作成装置および画像作成方法 | |
JP2013137635A (ja) | 画像表示装置および画像表示方法 | |
JP2019074323A (ja) | ディスプレイパネル検査装置およびディスプレイパネル検査方法 | |
JP6685148B2 (ja) | 撮像装置および撮像方法 | |
US20050013478A1 (en) | Microscope system | |
CN104603668A (zh) | 图像处理装置、图像处理程序及图像处理方法 | |
US20200098094A1 (en) | Image processing method and image processing apparatus | |
US20210116692A1 (en) | Sample observation device | |
US10168523B2 (en) | Image generating system, image generating method, and image generating apparatus | |
JP2010056992A (ja) | 画像補正装置、および、画像補正方法、および、プログラム、および、記録媒体 | |
US10921577B2 (en) | Endoscope device | |
JP6215894B2 (ja) | 画像処理方法およびシェーディング基準データ作成方法 | |
JP7053588B2 (ja) | 斜面顕微鏡を用いてプレビュー画像を形成する方法ならびに斜面顕微鏡および斜面顕微鏡用の画像形成装置 | |
JP2017068349A (ja) | 画像処理方法および制御プログラム | |
JP6276220B2 (ja) | 撮像装置および撮像方法 | |
JP2017045430A (ja) | 画像処理装置、画像処理システム、画像処理方法及びプログラム | |
US11810273B2 (en) | Image processing method, image processing apparatus and imaging apparatus | |
JP6985966B2 (ja) | 撮像方法および撮像装置 | |
JP2012047485A (ja) | ワーク外形形状検出方法及び画像処理システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20170725 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180626 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181127 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190528 |