JP2013246052A

JP2013246052A - 距離測定装置

Info

Publication number: JP2013246052A
Application number: JP2012120044A
Authority: JP
Inventors: Hideaki Takahashi; 秀彰高橋
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2012-05-25
Filing date: 2012-05-25
Publication date: 2013-12-09
Also published as: WO2013175816A1

Abstract

【課題】瞳色分割された光から得られた複数色の色画像に基づく距離測定精度をより高くすることができる距離測定装置を提供する。
【解決手段】被写体像を結像する撮像光学系１０と、撮像光学系１０の瞳を色分割する瞳色分割フィルタ１４と、結像された被写体像を光電変換して画像を出力するカラーの撮像素子１１と、撮像素子１１から出力された画像を色分離して得られる複数の色画像に配列されている画素の補間画素を生成する画素補間演算部３５と、色分離して得られた色画像と画素補間演算部３５により生成された補間画素とを合成して複数の補間色画像を生成し、複数の補間色画像における被写体像の相対的なずれ量を検出して被写体距離に関する情報を生成する画素ずれ検出部３３および距離演算部３４と、を備えた距離測定装置。
【選択図】図１

Description

本発明は、被写体の距離情報を取得する距離測定装置に関する。

例えば特開２００１−１７４６９６号公報には、部分瞳毎に異なる分光特性をもたせた瞳色分割用フィルタを撮影光学系に介在させることにより、色による瞳分割を行うカラー撮像装置が記載されている。この瞳色分割用フィルタを介してカラー撮像素子に結像された被写体像は、カラー撮像素子により撮像されて画像信号として出力される。この画像信号は、色分離されて、瞳色分割された色信号間の相対的なずれ量を検知することにより、距離情報が生成される。この距離情報は、被写体までの距離自体であっても構わないが、例えばオートフォーカス（ＡＦ）を目的とする場合には、フォーカシングずれ方向とフォーカシングずれ量の両フォーカシング情報であっても良い。

こうした距離情報を取得することができる距離測定装置は、顕微鏡やデジタルカメラ等の各種の装置や機器に利用可能であり、例えば顕微鏡に用いた場合には、被写体（標本ともいう）の高さ測定を行うことができるようになる。

具体的に、瞳色分割される色が赤（Ｒ）と青（Ｂ）であるとすると（本発明に係る図３〜図７等参照）、ＲとＢのずれ量を撮像エリア内における複数点で測定することにより、測定した複数点間の相対的な高さ距離を求めることができる。さらに、合焦位置を基準とした絶対距離を求めることも可能である。

例えば、本発明に係る図８に示すような被写体６の高さを、本発明に係る図３に示すような瞳色分割用フィルタを用いた顕微鏡によって測定する場合を考える。ここに、被写体６の上面は、本発明に係る図９に示すようになっている。

顕微鏡の撮像光学系を図８に示す白いプレート６ａ面に合焦させた場合には、撮像素子に結像される黒い箱状物体６ｂ上の白色印刷物「１」の光学被写体像６ｉ中のＲ成分の被写体像ＩＭＧｒおよびＢ成分の被写体像ＩＭＧｂは、本発明に係る図１０に示すような二重像となる。従って、撮像素子により撮像して得られるカラー画像の内の、Ｒ信号の像とＢ信号の像も、図１０と同様となる。

このＲＢ二重像のずれ量を図１０のラインＡ部分で測定する場合を考える。顕微鏡の撮像素子として、本発明に係る図２に示すようなベイヤー配列のセンサを用いると、ラインＡ部分におけるＲＢ二重像は、例えば図２１に示すようになる。ここに、図２１はベイヤー配列センサ上に結像するＲＢ二重像の一例を示す図である。

図２１に示す水平方向に１〜６まで並んだ２×２画素の基本配列から、Ｒ画素の画素値とＢ画素の画素値をそれぞれ取得すると、例えば図２２に示すようになる。ここに、図２２は図２１のＲＢ二重像から取得したＲ画素の画素値とＢ画素の画素値を示す線図である。ここに、実線で結ばれた黒丸がＲ画素の画素値を示し、点線で結ばれた黒四角がＢ画素の画素値を示している。

この図２２に示したようなデータに対して、例えば正規化相互相関演算（ＺＮＣＣ：Zero-mean Normalized Cross-Correlation）（本発明の実施形態に係る下記の数式１参照）を行って、相関値から画素のずれ量を算出する。

このＺＮＣＣから求められるずれ量は画素座標単位であるため、サブピクセルの補間演算（例えば、等角直線フィッティングやパラボラフィッティング等のサブピクセル推定方法）を行って、より高精度にずれ量を算出する。こうして算出したずれ量は、撮像光学系および瞳色分割用フィルタの構成に基づいて比例換算することができるために、合焦位置からの高さ方向の距離が求められる。

しかし、ベイヤー配列上においてはＲ画素とＢ画素の水平方向位置（および垂直方向位置）が離散的であることから、図２２に示したような場合には、Ｒの波形形状とＢの波形形状が異なってしまい、正確なずれ量を検出することができなくなってしまう。

また、例えば特開２００８−１２２８３５号公報には、２つのデータ列の相関度を演算する際にＤＣ成分またはＡＣ成分を抽出し、抽出した成分の信号レベルを揃えることで相関関係を正確に検出する相関演算方法、相関演算装置、焦点検出装置および撮像装置が記載されている。

しかし、図２２に示したような場合には、Ｒの波形形状とＢの波形形状がそもそも異なっているために、特開２００８−１２２８３５号公報に記載の技術をもってしても十分な効果を得ることができるとは考えられない。

そして、ｚを被写体高さ（ｍｍ）、ｘをＲＢ二重像のずれ量（ピクセル）としたときに、撮像光学系および瞳色分割用フィルタ構成により得られる比例換算式が例えば、本発明の実施形態に係る数式２に示す「ｚ＝０．１５ｘ」であって、かつ必要とされるｚ方向の精度（測距分解能）が０．０５ｍｍである場合には、画素のずれ量を０．３３ピクセル以下の精度で検出する必要がある。

特開２００１−１７４６９６号公報特開２００８−１２２８３５号公報

上述したように、各色の画素が離散的に配置されている、例えばベイヤー配列のような撮像素子では、各色画像の波形形状が異なってしまうことがあり、このときにはずれ量の検出精度が低下してしまう。従って、ずれ量の検出精度、ひいては距離測定精度をより高くする技術が望まれている。

本発明は上記事情に鑑みてなされたものであり、瞳色分割された光を撮像して得られた複数色の色画像に基づき被写体距離に関する情報を取得する際に、距離測定精度をより高くすることができる距離測定装置を提供することを目的としている。

上記の目的を達成するために、本発明の一態様による距離測定装置は、被写体像を結像する撮像光学系と、前記撮像光学系の光路上に配置され、該撮像光学系の複数の部分瞳に互いに異なる分光特性を備えさせることにより該撮像光学系の瞳を色分割する瞳色分割光学系と、前記瞳色分割光学系を介して前記撮像光学系により結像された被写体像を光電変換して、複数の画素が配列された画像を出力するカラーの撮像素子と、前記撮像素子から出力された画像を色分離して得られる複数の色画像の内の、異なる部分瞳に係る複数の色画像に配列されている画素の補間画素を生成する画素補間部と、前記異なる部分瞳に係る複数の色画像と、前記画素補間部により生成された補間画素と、を合成することにより複数の補間色画像を生成し、前記複数の補間色画像における被写体像の相対的なずれ量を検出して、前記ずれ量に基づき被写体距離に関する情報を生成する距離情報生成部と、を具備し、前記画素補間部は、少なくとも前記ずれ量を検出する方向であるずれ検出方向に、前記補間画素を生成する。

本発明の距離測定装置によれば、瞳色分割された光を撮像して得られた複数色の色画像に基づき被写体距離に関する情報を取得する際に、距離測定精度をより高くすることが可能となる。

本発明の実施形態１における距離測定装置の構成を示すブロック図。上記実施形態１における撮像素子の画素配列を説明するための図。上記実施形態１における瞳色分割フィルタの一構成例を説明するための図。上記実施形態１において、合焦位置よりも遠距離側にある被写体を撮像するときの被写体光束集光の様子を示す平面図。上記実施形態１において、合焦位置よりも遠距離側にある被写体上の１点からの光により形成されるボケの形状を色成分毎に示す図。上記実施形態１において、合焦位置よりも近距離側にある被写体を撮像するときの被写体光束集光の様子を示す平面図。上記実施形態１において、合焦位置よりも近距離側にある被写体上の１点からの光により形成されるボケの形状を色成分毎に示す図。上記実施形態１における被写体を示す斜視図。上記実施形態１の被写体における黒い箱状物体の上面を示す図。上記実施形態１において、撮像素子に結像される白色印刷物のＲ成分の光学被写体像およびＢ成分の光学被写体像がずれている様子を示す図。上記実施形態１において、ラインＡ上の画素配列に対する白色印刷物「１」のＲ画像およびＢ画像の画素値と、補間画素値および合成値とを示す図。本発明の実施形態２における距離測定装置の構成を示すブロック図。上記実施形態２において、ラインＡ上の画素配列に対する白色印刷物「１」のＲ画像およびＢ画像の画素値と、シフト画素値および合成値とを示す図。本発明の実施形態３における距離測定装置の構成を示すブロック図。上記実施形態３における撮像光学系の光学的条件を説明するための図。本発明の実施形態４における距離測定装置の構成を示すブロック図。上記実施形態４において、ユーザがモニタの画面上において被写体の測定位置を指定する様子を示す図。本発明の実施形態５における距離測定装置の構成を示すブロック図。上記実施形態５において、撮像素子の撮像面に結像している元画像中のＲ成分およびＢ成分の被写体像の様子を示す図およびラインＡの部分拡大図。上記実施形態５において、撮像素子の撮像面に結像しているシフト画像が元画像に対して傾きかつやや大きくなったときのＲ成分およびＢ成分の被写体像の様子を示す図およびラインＡの部分拡大図。従来において、ベイヤー配列センサ上に結像するＲＢ二重像の一例を示す図。従来において、図２１のＲＢ二重像から取得したＲ画素の画素値とＢ画素の画素値を示す線図。

以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］

図１から図１１は本発明の実施形態１を示したものであり、図１は距離測定装置１の構成を示すブロック図である。

距離測定装置１は、被写体像を撮像して得た画像に基づき、被写体までの距離に関する情報を生成するものである。この距離測定装置１の適用例としては、例えば工業用顕微鏡、デジタルカメラ、デジタルビデオカメラ、カメラ付携帯電話、カメラ付携帯情報端末（カメラ付ＰＤＡ）、カメラ付パーソナルコンピュータ、監視カメラ、内視鏡などが挙げられるが、勿論これらに限定されるものではない。

なお、以下においては、工業用顕微鏡を想定した撮像装置に適用された距離測定装置１を説明する。

まず、被写体６は、距離を測定する対象であり、例えば顕微鏡の分野においては標本とも呼ばれる。

そして、距離測定装置１は、被写体６までの距離を測定するものであり、例えば、鏡筒２と、コントローラ３と、パーソナルコンピュータ（ＰＣ）４と、モニタ５と、を備えている。

鏡筒２は、撮像光学系１０と、撮像素子１１と、瞳色分割フィルタ１４と、リング照明１６と、撮像素子制御部２１と、ズーム制御部２２と、フォーカス制御部２３と、フォーカス駆動機構２４と、を備えている。

撮像光学系１０は、光学的な被写体像を撮像素子１１上に結像するためのものであり、例えば、ズームレンズ１２と、絞り１３と、対物レンズ１５と、を備えている。ここに、ズームレンズ１２は、撮像光学系１０の焦点距離を変化させてズーム（結像倍率の変更）を行うためのものである。また、絞り１３は、撮像光学系１０を通過する光束の通過範囲を変化させて、撮像素子１１上に結像される被写体像の明るさを調整するものである。なお、この絞り１３の開口径を変化させることにより、撮像光学系１０の瞳径も変化する。さらに、対物レンズ１５は、撮像光学系１０におけるパワーを主として担う光学素子である。

撮像素子１１は、複数の画素（撮像画素）を配列して構成され、瞳色分割フィルタ１４を介して撮像光学系１０により結像された被写体像を光電変換して、複数の画素（画像画素）が配列された画像を出力するものである。ここに、撮像素子１１は、被写体像を、複数の波長帯（例えば、ＲＧＢが挙げられるが、これに限るものではない）光毎にそれぞれ受光して光電変換し、電気信号として出力するカラー撮像素子となっている。

カラー撮像素子の構成としては、オンチップの素子カラーフィルタを備えた単板の撮像素子でも良いし、ＲＧＢ各色光への色分離を行うダイクロイックプリズムを用いた３板式であっても良いし、同一の画素位置で半導体の深さ方向位置に応じてＲＧＢの撮像情報を取得可能な方式の撮像素子であっても良いし、複数の波長帯光の撮像情報を画素単位で取得可能であればどのようなものでも構わない。

ただし、本実施形態においては、撮像素子１１が、例えば図２に示すような原色ベイヤー配列の素子カラーフィルタをオンチップで備えた単板の撮像素子であるものとする。ここに図２は、撮像素子１１の画素配列を説明するための図である。

原色ベイヤー配列のカラーフィルタは、図２に示すように、一方の対角方向にＢ画素とＲ画素が配列され、他方の対角方向にＧ画素がそれぞれ配列された２×２画素を基本配列して、この基本配列が敷き詰められたフィルタ構成となっている。

また、撮像素子１１は、ＣＭＯＳセンサやＣＣＤセンサ等の撮像素子を広く適用することができるが、被写体までの距離を測定することを目的とする場合には全画素を読み出す必要がないために、所望の画素を読み出すことができるＣＭＯＳセンサを採用すると好適である。

瞳色分割フィルタ１４は、撮像光学系１０の光路上に配置され、撮像光学系１０の瞳における複数の部分瞳に互いに異なる分光特性を備えさせることにより撮像光学系１０の瞳を色分割する瞳色分割光学系である。従って、瞳色分割フィルタ１４は、部分瞳毎に通過させる光の帯域制限を行っているために、帯域制限フィルタと呼ぶこともできる。

瞳色分割フィルタ１４は、具体的には、例えば図３に示したような構成となっている。ここに図３は、瞳色分割フィルタ１４の一構成例を説明するための図である。

図３に示す瞳色分割フィルタ１４は、撮像光学系１０の瞳が、第１の部分瞳と第２の部分瞳とに２分されており、例えば、左半分がＧ（緑）成分およびＲ（赤）成分を通過させＢ（青）成分を遮断するＲＧフィルタ１４ｒ、右半分がＧ成分およびＢ成分を通過させＲ成分を遮断するＧＢフィルタ１４ｂとなっている。従って、瞳色分割フィルタ１４は、撮像光学系１０の絞り１１の開口（ひいては瞳）を通過する光に含まれるＧ成分を全て通過させ、Ｒ成分を開口の左半分の部分瞳だけ通過させ、Ｂ成分を開口の残り右半分の部分瞳だけ通過させる。

なお、分光特性のミスマッチによる光量ロスの発生や、距離測定精度の低下を防ぐために、瞳色分割フィルタ１４のＲＧＢ各分光透過特性と、撮像素子１１の素子フィルタ（図２参照）のＲＧＢ各分光透過特性とは、同一または可能な限り近似していることが望ましい。

リング照明１６は、被写体６に照明光を照射する照明装置である。このリング照明１６は、撮像光学系１０の光路を遮蔽しない光路周りの周辺部に、例えばＬＥＤ等の光源を複数リング状に配置したものとなっており、被写体に照明の影がほぼ生じない利点を備えている。なお、ここでは上述したように工業用顕微鏡を想定しているためにリング照明１６を設けているが、他の照明装置を用いても良いし、照明装置を設けることなく自然光を利用しても構わない。

撮像素子制御部２１は、撮像素子１１を制御するものであり、撮像素子１１の駆動制御と、撮像素子１１からの読出制御と、を行う。また、撮像素子制御部２１は、撮像素子１１がアナログ撮像素子である場合には、撮像素子１１から読み出した信号のＡ／Ｄ変換も行う。

ズーム制御部２２は、ズームレンズ１２を光軸方向に移動させ、撮像光学系１０の焦点距離を変化させる制御を行う。

フォーカス制御部２３は、撮像光学系１０により結像される被写体６の光学像が、撮像素子１１の撮像面に位置する（つまり合焦する）ように、フォーカス駆動機構２４を制御するものである。

フォーカス駆動機構２４は、フォーカス制御部２３からの制御信号に基づいて、撮像光学系１０のフォーカス位置を調整する駆動を行う。フォーカス駆動機構２４は、工業用顕微鏡を例に挙げれば、例えば上述した鏡筒２自体を光軸方向に移動、つまり被写体６から離隔させる方向または近接させる方向に移動させる鏡筒駆動機構として構成される。また、フォーカス駆動機構２４は、デジタルカメラを例に挙げれば、例えば上述した対物レンズ１５に含まれるフォーカスレンズを光軸方向に移動させる機構として構成される。

コントローラ３は、上述した鏡筒２と接続されていて、この距離測定装置１のシステム全体の制御を行うものであり、システムコントローラ３１と、メモリ３２と、画素ずれ検出部３３と、距離演算部３４と、画素補間演算部３５と、を備えている。

システムコントローラ３１は、コントローラ３内の各演算部等や鏡筒２内の各制御部等を含む、この距離測定装置１の全体を統括的に制御するものである。また、システムコントローラ３１は、撮像素子１１から出力された画像を複数の色画像に色分離する処理等も行う。

メモリ３２は、鏡筒２から受信した画像信号を一時的にバッファリングするためのものであり、例えばＳＤＲＡＭ等を備えて構成されている。

画素補間演算部３５は、撮像素子１１から出力された画像を色分離して得られる複数の色画像の内の、異なる部分瞳に係る複数の色画像に配列されている画素の補間画素を、少なくとも相対的なずれ量を検出する方向であるずれ検出方向に生成する画素補間部である。具体的に、本実施形態の画素補間演算部３５は、撮像素子１１から読み出されＡ／Ｄ変換された１枚の画像をシステムコントローラ３１により色分離して得られるＲ，Ｇ，Ｂ各色画像の内の、ずれ検出の対象となるＲ色画像およびＢ色画像に対して補間演算を行いＲ補間画素とＢ補間画素とを生成するものとなっている。

画素ずれ検出部３３は、異なる部分瞳に係る複数の色画像と、画素補間演算部３５により生成された補間画素と、を合成することにより複数の補間色画像を生成し、複数の補間色画像における被写体像の相対的なずれ量を検出するものであり、距離情報生成部の一部である。具体的に、本実施形態の画素ずれ検出部３３は、システムコントローラ３１により色分離されたＲ色画像と画素補間演算部３５により生成されたＲ補間画素とを合成することによりＲ補間色画像を生成し、システムコントローラ３１により色分離されたＢ色画像と画素補間演算部３５により生成されたＢ補間画素とを合成することによりＢ補間色画像を生成する。そして、画素ずれ検出部３３は、生成したＲ補間色画像およびＢ補間画素における被写体像のずれ量を検出する。

距離演算部３４は、画素ずれ検出部３３により検出されたずれ量に基づき、被写体距離に関する情報（被写体までの距離自体であっても構わないし、フォーカシングのずれ方向およびずれ量などであっても良い。前者は例えば被写体の形状（高さ）を測定する場合に好適であり、後者は例えば被写体への合焦を行う場合に好適である。）を生成するものであり、距離情報生成部の他の一部である。

ＰＣ４は、上述したコントローラ３と接続されていて、この距離測定装置１のユーザインタフェースを兼ねたソフトウェアである制御アプリケーション４１を有している。

モニタ５は、コントローラ３からＰＣ４を介して送信された被写体６の画像信号や、制御アプリケーション４１に関するアプリケーション情報を表示するものである。

従って、ユーザは、モニタ５の表示を観察しながら、ＰＣ４に備えられている入力デバイス（キーボードやマウス等）を用いることにより、この距離測定装置１を操作することになる。

次に、上述したような距離測定装置１において取得される各色画像の空間的な位置ズレについて、図４〜図７を参照して説明する。ここに、図４は合焦位置よりも遠距離側にある被写体を撮像するときの被写体光束集光の様子を示す平面図、図５は合焦位置よりも遠距離側にある被写体上の１点からの光により形成されるボケの形状を色成分毎に示す図、図６は合焦位置よりも近距離側にある被写体を撮像するときの被写体光束集光の様子を示す平面図、図７は合焦位置よりも近距離側にある被写体上の１点からの光により形成されるボケの形状を色成分毎に示す図である。

まず、被写体が合焦位置にあるときには、被写体上の１点から放射された光は、どの色成分であるかに関わらず、撮像素子１１上の１点に集光され、点像としての被写体像を形成する。従って、色間に位置ズレは発生せず、色にじみのない被写体像が結像される。

これに対して、被写体ＯＢＪｆが例えば合焦位置よりも遠距離側にある場合には、被写体ＯＢＪｆ上の１点から放射された光により、図４、図５に示すように、Ｇ成分については円形ボケをなす被写体像ＩＭＧｇが形成され、Ｒ成分については右半分の半円形ボケをなす被写体像ＩＭＧｒが形成され、Ｂ成分については左半分の半円形ボケをなす被写体像ＩＭＧｂが形成される。従って、合焦位置よりも遠距離側にある被写体ＯＢＪｆを撮像したときには、Ｒ成分の被写体像ＩＭＧｒが右側にずれ、Ｂ成分の被写体像ＩＭＧｂが左側にずれたボケ画像が形成され、このボケ画像におけるＲ成分とＢ成分の左右位置は、撮像素子１１から見たときの瞳色分割フィルタ１４におけるＲ成分透過領域（ＲＧフィルタ１４ｒ）とＢ成分透過領域（ＧＢフィルタ１４ｂ）の左右位置と逆である。また、Ｇ成分の被写体像ＩＭＧｇについては、図５に示すように、Ｒ成分の被写体像ＩＭＧｒとＢ成分の被写体像ＩＭＧｂとにまたがったボケ画像となる。そして、被写体ＯＢＪｆが合焦位置から遠距離側へ離れるほど、ボケが大きくなって、Ｒ成分の被写体像ＩＭＧｒの重心位置ＣｒとＢ成分の被写体像ＩＭＧｂの重心位置Ｃｂとの離間距離、Ｒ成分の被写体像ＩＭＧｒの重心位置ＣｒとＧ成分の被写体像ＩＭＧｇの重心位置Ｃｇとの離間距離、およびＧ成分の被写体像ＩＭＧｇの重心位置ＣｇとＢ成分の被写体像ＩＭＧｂの重心位置Ｃｂとの離間距離が大きくなることになる。

一方、被写体ＯＢＪｎが例えば合焦位置よりも近距離側にある場合には、被写体ＯＢＪｎ上の１点から放射された光により、図６、図７に示すように、Ｇ成分については円形ボケをなす被写体像ＩＭＧｇが形成され、Ｒ成分については左半分の半円形ボケをなす被写体像ＩＭＧｒが形成され、Ｂ成分については右半分の半円形ボケをなす被写体像ＩＭＧｂが形成される。従って、合焦位置よりも近距離側にある被写体ＯＢＪｎを撮像したときには、Ｒ成分の被写体像ＩＭＧｒが左側にずれ、Ｂ成分の被写体像ＩＭＧｂが右側にずれたボケ画像が形成され、このボケ画像におけるＲ成分とＢ成分の左右位置は、撮像素子１１から見たときの瞳色分割フィルタ１４におけるＲ成分透過領域（ＲＧフィルタ１４ｒ）とＢ成分透過領域（ＧＢフィルタ１４ｂ）の左右位置と同じである。また、Ｇ成分の被写体像ＩＭＧｇがＲ成分の被写体像ＩＭＧｒとＢ成分の被写体像ＩＭＧｂとにまたがったボケ画像となる（図７参照）のは、この近距離側においても同様である。そして、被写体ＯＢＪｎが合焦位置から近距離側へ離れるほど、ボケが大きくなって、Ｒ成分の被写体像ＩＭＧｒの重心位置ＣｒとＢ成分の被写体像ＩＭＧｂの重心位置Ｃｂとの離間距離、Ｒ成分の被写体像ＩＭＧｒの重心位置ＣｒとＧ成分の被写体像ＩＭＧｇの重心位置Ｃｇとの離間距離、およびＧ成分の被写体像ＩＭＧｇの重心位置ＣｇとＢ成分の被写体像ＩＭＧｂの重心位置Ｃｂとの離間距離が大きくなることになる。

従って、撮像光学系１０の瞳領域を通過する際の重心位置が異なる２つの色画像の組み合わせに対して、相関性に基づきずれ量（位相差量）を算出すれば、被写体距離を算出することが可能である。そして本実施形態においては、重心位置同士の離間距離が最も大きいＲ成分の被写体像ＩＭＧｒとＢ成分の被写体像ＩＭＧｂとのずれ量を検出することにする。この場合には、Ｒ成分の被写体像ＩＭＧｒとＧ成分の被写体像ＩＭＧｇとのずれ量、あるいはＧ成分の被写体像ＩＭＧｇとＢ成分の被写体像ＩＭＧｂとのずれ量を検出する場合よりも、高精度の検出が可能になると考えられるためである。

次に、被写体６は、本実施形態においては、図８に示すような形状であるものとする。ここに、図８は被写体６を示す斜視図である。

すなわち、被写体６は、白いプレート６ａ上に、高さのある黒い箱状物体６ｂが配置されているものとする。そして、この黒い箱状物体６ｂの上面には、一例としての白色印刷物「１」が形成されている。図９は被写体６における黒い箱状物体６ｂの上面を示す図である。

撮像光学系１０を白いプレート６ａ面に合焦させた場合には、撮像素子１１に結像される黒い箱状物体６ｂ上の白色印刷物「１」の光学被写体像６ｉ中のＲ成分の被写体像ＩＭＧｒおよびＢ成分の被写体像ＩＭＧｂは、図１０に示すような二重像となる。ここに、図１０は撮像素子１１に結像される白色印刷物のＲ成分の光学被写体像ＩＭＧｒおよびＢ成分の光学被写体像ＩＭＧｂがずれている様子を示す図である。

従って、撮像素子１１により黒い箱状物体６ｂ上の白色印刷物「１」を撮像して得られたカラー画像の内の、Ｒ信号の像（Ｒ画像）とＢ信号の像（Ｂ画像）も、図１０と同様の二重像となる。

このＲ画像およびＢ画像は、コントローラ３を介してＰＣ４へ送信され、制御アプリケーション４１によって、モニタ５上に表示される（なお、モニタ５に表示する画像としては、Ｒ画像とＢ画像のずれを補正した画像、あるいは瞳色分割フィルタ１４を介することなく撮像された画像であっても構わない（単に被写体を観察するためであれば、こうしたずれのない画像である方が好ましい））。さらに、モニタ５上には、制御アプリケーション４１に係る操作画面も表示される。

そして、ユーザがマウス等を操作することにより、制御アプリケーション４１に対して白色印刷物「１」が形成された黒い箱状物体６ｂの上面の高さを測定する指示入力がなされたものとする。

このＲ画像とＢ画像のずれ量を、図１０に示す水平なラインＡの部分で測定する場合を考える。そして、以下では適宜、水平方向をＸ方向、垂直方向をＹ方向と称する。

説明を簡略化するために、ラインＡ上における、［（Ｘ方向の３２画素）×（ベイヤー配列におけるＲ−Ｇｒ行および次のＧｂ−Ｂ行でなるＹ方向の２画素）］のみについて考える。ここに、Ｇｒは水平ラインにおけるＲ画素間に配置されたＧ画素、Ｇｂは水平ラインにおけるＢ画素間に配置されたＧ画素である。

図１１はラインＡ上の画素配列に対する白色印刷物「１」のＲ画像およびＢ画像の画素値と、補間画素値および合成値とを示す図である。

なお、実際の撮像素子１１には画素間に物理的な不感領域（例えば、電気回路に電荷が発生するのを抑制するために遮光膜等で覆われた領域）があるが、本実施形態では簡単のために無視し、各画素の開口率が１００％であるものとして説明する。

そして画素値に関して、例えばＲ画素の開口全部（１００％）にＲ画像が結像しているときの画素値を１００とし、Ｒ画素にＲ画像が全く結像していないときの画素値を０として、中間値については、Ｒ画素の開口の何％にＲ画像が結像しているかに比例した画素値をとるものとする。

まず、図１１に示した例においては、白色印刷物「１」のＲ画像とＢ画像のＸ方向のずれ量が、Ｘ方向の画素ピッチを単位として、３．４画素となっている。従って、検出結果として得られるずれ量が、この実際のずれ量である３．４画素と等しいことが最も望ましい。

撮像素子１１は上述したようにベイヤー配列であるために、Ｒ画素間およびＢ画素間にはそれぞれＧ画素（Ｇｒ画素またはＧｂ画素）が配置されている。従って、取得されるＲ画素の画素値およびＢ画素の画素値は、水平方向に１画素飛びの離散的な配置になるだけでなく、さらに、水平方向および垂直方向に各１画素ずつずれた配置となる。

そして、座標ＸのＲ画素値をＲ（Ｘ）、Ｂ画素値をＢ（Ｘ）としたときに、取得された画素値が、Ｒ（９）＝Ｒ（１１）＝Ｒ（１３）＝Ｒ（１５）＝１００でそれ以外のＲ（Ｘ）＝０、Ｂ（１２）＝６０、Ｂ（１４）＝Ｂ（１６）＝Ｂ（１８）＝１００、Ｂ（２０）＝４０でそれ以外のＢ（Ｘ）＝０となったものとする。

ここで、得られたデータをそのまま用いて、例えば次の数式１に示すような正規化相互相関演算（ＺＮＣＣ：Zero-mean Normalized Cross-Correlation）
［数１］

によりずれ量の相関値を求めた場合には、以下の表１に示すような結果が得られる。
［表１］

なお、この表１の左欄における像ずれ量は、Ｒ画素およびＢ画素が水平方向に１画素飛び（２ピクセル毎）に配置されているのに対応して、２ピクセル（より正確には２画素ピッチ）を単位としている。

また、ここではずれ量の相関値を求めるのに正規化相互相関演算（ＺＮＣＣ）を用いたが、勿論これに限定されるものではなく、ＳＳＤ（Sum of Squared Difference）やＳＡＤ（Sum of Absolute Difference）等の他の演算を用いても構わない。

この表１から、像ずれ量が１となる相関値０．９２が最も高い相関値であり、２番目に高い相関値は像ずれ量が２となる相関値０．８０である。従って、真のずれ量は、像ずれ量１と２の中間であると推定される。

そこで、より高い精度でずれ量を算出するために、得られた相関値を用いてサブピクセル補間を行う。サブピクセル補間演算としては、上述したように、等角直線フィッティングやパラボラフィッティング等が知られているが、ここでは例えば、得られた相関値の比を用いて等角直線フィッティングを行うものとする。

この場合には、像ずれ量が０，１，２となる相関値の比から、
補間値＝（０．３４−０．８０）／（２×（０．３４−０．９２））＝０．４
となり、位相差検出方向の画素ピッチを単位として、ずれ量は１．４画素であると算出される（以下、単に「画素」あるいは「ピクセル」と記載しても、ずれ量や画素間隔等の単位はより正確には画素ピッチであるものとする）。

上述したように、演算に用いたＲの画素間隔およびＢの画素間隔は、撮像素子１１上の実際の（色成分に関わらず１画素と考えたときの）画素間隔の２倍であり、しかもＲ画素とＢ画素とは水平方向に１画素ずれているために、この点を補正すると、
ずれ量＝１．４×２＋１＝３．８画素
が得られる。

上述したように実際のずれ量は３．４画素であるから、得られたデータをそのまま用いた場合に算出される像ずれ量である３．８画素には、０．４画素の検出誤差が発生していることになる。

次に、画素補間演算部３５により補間演算を行って、補間画素を生成した場合について説明する。

画素補間演算部３５は、Ｒ−Ｇｒ行におけるＧｒ画素位置に相当するＲ画素値、およびＧｂ−Ｂ行におけるＧｂ画素位置に相当するＢ画素値を補間演算して推定する。本実施形態においては、説明を簡略化するために、Ｒ補間画素値として両隣のＲ画素値の平均値を算出し、Ｂ補間画素値として両隣のＢ画素値の平均値を算出するものとする（図１１の該当箇所参照）。

画素ずれ検出部３３は、元のＲ画素値と、画素補間演算部３５により算出されたＲ補間画素値とを合成してＲ補間色画像（図１１のＲ画素合成値を参照）を生成し、同様に、元のＢ画素値と算出されたＢ補間画素値とを合成してＢ補間色画像（図１１のＢ画素合成値を参照）を生成する。

そして、生成した補間色画像（Ｒ補間色画像およびＢ補間色画像）を用いて、画素ずれ検出部３３が上記数式１に示したようなＺＮＣＣによりずれ量の相関値を求めた場合には、以下の表２に示すような結果が得られる。
［表２］

なお、この表２の左欄における像ずれ量は、補間色画像が水平方向に１画素毎（１ピクセル毎）に配置されているのに対応して、１ピクセル（より正確には１画素ピッチ）を単位としている。

この表２から、像ずれ量が４画素となる相関値０．９７が最も高い相関値であり、２番目に高い相関値は像ずれ量が３画素となる相関値０．９４である。従って、真のずれ量は、３画素と４画素の中間であると推定される。

そこで、画素ずれ検出部３３は、より高い精度でずれ量を算出するために、得られた相関値を用いてサブピクセル補間を行う。ここでは上述と同様に、得られた相関値の比を用いて等角直線フィッティングを行うものとする。

すると、像ずれ量が３画素、４画素、５画素となる相関値の比から、
補間値＝（０．９４−０．８６）／（２×（０．８６−０．９７））＝−０．３６
となり、ずれ量は（４−０．３６）＝３．６４画素であると算出される。

補間色画像を用いた場合に算出される像ずれ量である３．６４画素は、実際のずれ量である３．４画素に対して、０．２４画素の検出誤差が発生していることになる。つまり、上述した補間なしの場合（得られたデータをそのまま用いた場合）の検出誤差０．４よりも、高精度にずれ量を演算することができたことになる。そして、この０．２４画素の検出誤差は、上記背景技術において説明したような、０．３３ピクセル以下のずれ量の精度をも満たすものとなっている。

なお、上述では、画素補間演算部３５における補間をＸ方向両隣の２画素の平均値により行ったが、Ｘ方向に近接するより多くの画素に基づいて画素値を推定する方法を用いても良いし、Ｘ方向に限らず、縦方向（Ｙ方向）や斜め方向の画素値を用いて推定する方法を用いても構わない。さらに、複数枚の画像に基づいて超解像技術等を用いた推定方法を用いても構わない。

距離演算部３４は、画素ずれ検出部３３により算出された相対的なずれ量を、撮像光学系１０および瞳色分割フィルタ１４の構成に基づいて得られる比例換算式を用いて、被写体の高さ方向の距離情報に変換する。

ここに、被写体高さをｚ（ｍｍ）、ずれ量をｘ（ピクセル）であるとすると、撮像光学系１０および瞳色分割フィルタ１４構成により得られる比例換算式が、本実施形態では例えば、以下の数式２
［数２］
ｚ＝０．１５ｘ
となるものとする。なお、被写体高さｚは「被写体距離に関する情報」の一例である。

このときには、画素ずれ検出部３３により算出されたずれ量ｘ＝３．６４を代入すると、被写体高さｚとして０．５４６ｍｍが得られる。なお、実際のずれ量ｘ＝３．４から得られる被写体高さｚは０．５１ｍｍであるから、本実施形態の距離測定装置１の測定高さ誤差は０．０３６ｍｍとなる。

この数値は、合焦位置からのずれ量を示すものであり、現在黒い箱状物体６ｂの下面（すなわち、図８に示した白いプレート６ａ面）を合焦位置にしている場合には、黒い箱状物体６ｂの高さを示すことになる。

制御アプリケーション４１が複数の測定点を設定することができるものであるとした場合には、設定された複数の測定点間の差分を算出して表示することにより、ユーザは観察被写体の所望の点の高さ情報を取得することが可能となる。

なお、本実施形態（および以下の実施形態）では、各種の演算部等をコントローラ３内のハードウェア構成として記載しているが、これに限定されるものではなく、ＰＣ４内等におけるソフトウェア構成としても構わない（この場合には、ＰＣ４がコントローラ３の機能を兼ねるようにすることができるために、コントローラ３を省略しても良い）。

さらに、上述では工業用顕微鏡を想定しているために、距離測定装置１が、鏡筒２とコントローラ３とＰＣ４とモニタ５とを含んで構成される例を説明したが、距離測定装置１が例えばデジタルカメラ等である場合には、これらが一体であっても構わない。すなわち、距離測定装置１がデジタルカメラ等である場合には、鏡筒２がカメラのレンズ鏡筒やレンズ駆動機構、コントローラ３およびＰＣ４がカメラのＣＰＵや画像処理部、モニタ５がカメラに設けられている液晶モニタなどとなる。

このような実施形態１によれば、相対的なずれ量を演算する方向にサンプリング数を増やすことができる。具体的には、ずれ量検出の対象となるＲ画素およびＢ画素を、ずれ量演算方向である水平方向に増やすことができる。これにより、ずれ量の検出精度を向上することが可能となる。その結果、被写体に対する測距精度を向上することができる。

また、サンプリング数の増加を、画素の補間演算により行っているために、撮像素子１１を移動する機構等（下記の実施形態２等参照）が不要である利点がある。このとき、撮像素子１１から得られる画像データの内の、必要箇所のみを補間演算するようにすれば、演算負荷を軽減することも可能となる。また、補間画素値を隣接する画素値の平均値により算出する場合には、演算が簡便であり、高速処理も可能となる。

こうして本実施形態の距離測定装置によれば、瞳色分割された光をカラーの撮像素子で撮像して得られた複数色の色画像に基づき被写体距離に関する情報を取得する際に、距離測定精度をより高くすることができる。
［実施形態２］

図１２および図１３は本発明の実施形態２を示したものであり、図１２は距離測定装置１の構成を示すブロック図、図１３はラインＡ上の画素配列に対する白色印刷物「１」のＲ画像およびＢ画像の画素値と、シフト画素値および合成値とを示す図である。

この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

実施形態１では補間画素を演算により求めたが、本実施形態では撮像素子１１をシフトさせて複数回の撮像を行うことにより補間画素を得るものとなっている。

すなわち、本実施形態の距離測定装置１は、上述した実施形態１の図１に示した構成に対して、鏡筒２に素子シフト部１７および素子シフト制御部２５を追加し、コントローラ３から画素補間演算部３５を取り除いた構成となっている。

ここに、素子シフト部１７および素子シフト制御部２５は、画素補間部であって、撮像素子１１を、撮像光学系１０の光軸に垂直な面内におけるずれ検出方向に平行移動する素子移動部となっている。

素子シフト部１７は、撮像素子１１を、少なくともずれ量を検出する方向（例えば、水平な画素配列方向）に微小移動するためのものである。具体的には、素子シフト部１７として、ピエゾ圧電素子等を用いて撮像素子１１を移動することができる機構系を採用することが考えられる。また、距離測定装置１が素子駆動方式の手ぶれ補正機構を備えたデジタルカメラ等である場合には、この手ぶれ補正機構を素子シフト部１７として利用しても構わない。

素子シフト制御部２５は、素子シフト部１７の駆動を制御するものである。

なお、本実施形態においても、被写体が図８、図９等に示したような形状であり、得られるＲＢ二重像が図１０に示すようになり、ラインＡ上におけるＲ画像とＢ画像との実際のずれ量が３．４画素である等の被写体条件は、上述した実施形態１と同様であるものとする。

次に、本実施形態において被写体距離に関する情報を測定する際の動作を説明する。

ユーザが制御アプリケーション４１を介して測定開始の指示を入力すると、システムコントローラ３１は、距離測定装置１の画像撮影に係る各制御系を統括制御して、撮像素子１１によりまず元画像の撮影を行わせる。

こうして撮影された元画像は、メモリ３２に一時的に蓄積される。

元画像の撮影が完了したら、次に、システムコントローラ３１は、素子シフト制御部２５に対して撮像素子１１をシフトさせる命令を送信する。

素子シフト制御部２５は、この命令を受けると、駆動信号を生成して素子シフト部１７へ送信する。

素子シフト部１７は、この駆動信号を受けると、撮像素子１１をずれ量を検出する方向、ここでは画素配列のＸ方向へ、１画素分（より正確には、１水平画素ピッチ分）右シフトさせる。このシフトの結果、例えばＸ方向座標１にあったＲ画素はＸ方向座標２へ移動し、他の画素も同様にＸ方向座標が１増加する位置へ移動する。

こうして１画素分の右シフトが完了したら、システムコントローラ３１は、距離測定装置１の画像撮影に係る各制御系を統括制御して、撮像素子１１によりシフト画像の撮影を行わせる。

こうして撮影されたシフト画像も、メモリ３２に一時的に蓄積される。

画素ずれ検出部３３は、メモリ３２に記憶された元画像のＲ画素値とシフト画像のＲ画素値とを合成してＲ補間色画像（図１３のＲ画素合成値を参照）を生成し、同様に、元画像のＢ画素値とシフト画像のＢ画素値とを合成してＢ補間色画像（図１３のＢ画素合成値を参照）を生成する。

そして、生成した補間色画像（Ｒ補間色画像およびＢ補間色画像）を用いて、画素ずれ検出部３３が上記数式１に示したようなＺＮＣＣによりずれ量の相関値を求めた場合には、以下の表３に示すような結果が得られる。
［表３］

なお、この表３の左欄における像ずれ量は、補間色画像が水平方向に１画素毎（１ピクセル毎）に配置されているのに対応して、１ピクセル（より正確には１画素ピッチ）を単位としている。

この表３から、像ずれ量が３画素となる相関値０．９７が最も高い相関値であり、２番目に高い相関値は像ずれ量が４画素となる相関値０．９２である。従って、真のずれ量は、３画素と４画素の中間であると推定される。

すると、像ずれ量が２画素、３画素、４画素となる相関値の比から、
補間値＝（０．７４−０．９２）／（２×（０．７４−０．９７））＝０．３９
となり、ずれ量は（３＋０．３９）＝３．３９画素であると算出される。

撮像素子１１のシフトにより得られた補間色画像を用いた場合に算出される像ずれ量である３．３９画素は、実際のずれ量である３．４画素に対して、０．０１画素の検出誤差が発生していることになる。つまり、上述したような、得られたデータをそのまま用いた場合（表１に示した場合）の検出誤差０．４よりも、極めて高精度にずれ量を演算することができたことになり、さらに実施形態１の補間により得られた補間色画像を用いた場合（表２に示した場合）の検出誤差０．２４画素よりも高精度にずれ量を演算することができたことになる。そして、この０．０１画素の検出誤差は、上記背景技術において説明したような、０．３３ピクセル以下のずれ量の精度を満たすものとなっている。

距離演算部３４は、画素ずれ検出部３３により算出されたずれ量を、撮像光学系１０および瞳色分割フィルタ１４の構成に基づいて得られる比例換算式を用いて、被写体の高さ方向の距離情報に変換する。

本実施形態においても、比例換算式が上述した数式２に示すものになるとすると、画素ずれ検出部３３により算出されたずれ量ｘ＝３．３９を代入すれば、被写体高さｚとして０．５０９ｍｍが得られる。なお、実際のずれ量ｘ＝３．４から得られる被写体高さｚ＝０．５１ｍｍと比較すれば、本実施形態の距離測定装置１の測定高さ誤差は０．００１ｍｍとなる。

なお、上述では、１ピクセルずらして２枚の静止画像を取得する場合を説明したが、例えば２／３ピクセルずらして３枚の静止画像を取得しても構わないし、さらにより多くの静止画像を取得するようにしても良い。

また、元画像の画素と補間画像の画素とを等間隔に配置する必要はないため、シフト後の画像が元画像と完全には一致しないという条件を満たせば（例えば、シフト量を（２の倍数）画素としない等）、シフト量も適宜で構わない。

そして、上述では画像の取得を静止画撮影的に行っているが、撮像素子１１を継続的に移動（シフト）させながら、元画像に引き続いて１つ以上のシフト画像を動画撮影的に順次取得するようにしても構わない。
また、本実施形態では、撮像素子１１をシフトさせて複数回の撮像を行うことにより補間画素を得る実施形態を説明したが、撮像光学系１０をシフトさせて複数回の撮影を行っても良い。この場合、素子シフト部１７および素子シフト制御部２５は、撮像光学系１０をシフトさせる。
あるいは、撮像光学系１０と撮像素子１１の両方をシフトさせて複数回の撮影を行っても良い。この場合、素子シフト部１７および素子シフト制御部２５は、撮像光学系１０と撮像素子１１をシフトさせる。

このような実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、素子移動部である素子シフト部１７および素子シフト制御部２５により撮像素子１１を平行移動して、ずれ検出方向の位置が異なる複数枚の画像を撮像素子１１から取得し、取得された複数枚の画像を色分離して得られる複数枚の色画像であって、同一色に係る色画像同士を、画素ずれ検出部３３が合成することにより補間色画像を生成するようにしている。その結果、補間演算で得られる画素値よりも正確な実測値を得ることができるために、より高精度に被写体距離に関する情報を取得することが可能となる。
［実施形態３］

図１４および図１５は本発明の実施形態３を示したものであり、図１４は距離測定装置１の構成を示すブロック図、図１５は撮像光学系１０の光学的条件を説明するための図である。

この実施形態３において、上述の実施形態１，２と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

本実施形態は、上述した実施形態２と同様に撮像素子１１をシフトさせて複数回の撮像を行うことにより補間画素を得るが、このときの撮像素子１１のシフト量を、撮像光学系１０の光学的条件に基づいて設定するものとなっている。

すなわち、本実施形態の距離測定装置１は、上述した実施形態２の図１２に示した構成に対して、コントローラ３に素子シフト量演算部３６を追加した構成となっている。

この素子シフト量演算部３６は、２枚の画像を取得する間の撮像素子１１の平行移動量（シフト量）を、撮像光学系１０の光学的条件に基づいて演算する移動量演算部である。

従って、素子移動部である素子シフト部１７および素子シフト制御部２５は、素子シフト量演算部３６により演算された平行移動量だけ、撮像光学系１０を平行移動することになる。

撮像光学系１０は、図１５に模式的に示すような光学的条件を備えている。ここに、図１５において、撮像光学系１０の光軸をＯとして示している。

また、Ｄは撮像光学系１０における絞り１３の絞り径を示している（従って、Ｄ／２が光軸Ｏから絞り１３までの半径である）。ＬＧは、光軸Ｏから瞳色分割フィルタ１４における例えばＲＧフィルタ１４ｒの重心位置までの距離（重心距離）を示している。ただし、光軸ＯからＧＢフィルタ１４ｂの重心位置までの距離（重心距離）も、同様にＬＧであるものとする。

なお、本実施形態においても、図３に示したような、ＲＧフィルタ１４ｒおよびＧＢフィルタ１４ｂがそれぞれ半円状をなすフィルタ（図中上部側Ｒ透過下部側Ｂ透過）を用いており、
ＬＧ＝４×（Ｄ／２）／（３π）＝（２Ｄ）／（３π）
となる。従って、重心距離ＬＧは、絞り径Ｄの大きさに依存する。

また、撮像光学系１０の焦点距離をｆとする。この焦点距離ｆは、ズームレンズ１２の移動により変化する量である。

焦点位置から絞り１３の絞り半径Ｄ／２を見込む角度をθとすると、撮像光学系１０の開口数ＮＡ（Numerical Aperture）は、
ＮＡ＝ｓｉｎθ
により表される。なお、図１５を見れば分かるように、この開口数ＮＡは、より正確には物体側ＮＡであり、絞り１３の絞り径Ｄの大きさに依存する（絞り径Ｄが小さくなればＮＡも小さくなり、絞り径Ｄが大きくなればＮＡも大きくなる）。

さらに、焦点位置から撮像素子１１の撮像面１１ａまでの距離と光学倍率の乗数をＺとする。

撮像素子１１の撮像面１１ａ（焦点位置からＺの光学的距離に位置する）におけるＲ被写体像とＢ被写体像のずれ量は、撮像面１１ａにおけるＲＧフィルタ１４ｒの重心位置の像とＧＢフィルタ１４ｂの重心位置の像との距離であり、図示のＸとなる（従って、Ｘ／２が光軸ＯからＲＧフィルタ１４ｒの重心位置の像、またはＧＢフィルタ１４ｂの重心位置の像までの距離である）。

図１５に示したような幾何学的関係から、次の数式３に示す比例関係が得られる。
［数３］
（Ｘ／２）：Ｚ＝ＬＧ：ｆ

距離測定装置１を使用する際に、例えば観察倍率を変更すると、実際の撮像光学系１０の場合には、ズームレンズ１２を制御すると同時に絞り１３を調整することになる。このために観察倍率を変更すると、撮像光学系１０における焦点距離ｆ、重心距離ＬＧ、ＮＡ値等の光学的条件が変化する。

さらに、撮像光学系１０を構成する光学レンズは、一般的には複数のレンズを組み合わせて所望の特性を得るように構成されているために、任意のズーム倍率におけるＲ被写体像とＢ被写体像とのずれ量Ｘを単純な数式で表現することは困難である。

一方、例えば工業用顕微鏡を用いて被写体（標本）の高さ測定を行う際に必要とされる分解能（従って、この分解能は光軸方向の分解能である）の決定の仕方は、以下の（１）または（２）の例に挙げるようなものである。
（１）どの観察倍率であっても一定の分解能（例えば０．０５ｍｍ以上の分解能）が得られる
（２）設定されている観察倍率の光学的条件に基づいて決定される焦点深度（ＤＯＦ：Depth Of Focus）を基準とする分解能（例えば１／２ＤＯＦであり、より一般にはｋを所定係数として（ｋ×ＤＯＦ））が得られる

素子シフト量演算部３６は、上述したような光学的条件（条件パラメータおよび光学パラメータ）を入力値として、被写体６の高さ方向における（１）、（２）等に示したような必要な精度の分解能を得るための、撮像素子１１のシフト量を取得する。

この素子シフト量演算部３６によるシフト量の取得方法としては、上記各パラメータを入力として算術演算により行っても構わないし、上記各パラメータに対するルックアップテーブル（ＬＵＴ）を予め作成しておいて素子シフト量演算部３６内に記憶しておき、距離測定時にこのＬＵＴを参照する方式であっても良い。

例えば（２）の分解能を採用してＬＵＴを作成する場合には、以下のような手順となる。

まず、撮像光学系１０の構成に基づいて、ズーム倍率や開口数ＮＡや絞り径Ｄなどの各種の光学的条件を１つ決定する。

すると、この光学的条件に基づいて焦点深度（ＤＯＦ）が決定される。

次に、この焦点深度（ＤＯＦ）に基づいて、（２）において必要とされる分解能（ｋ×ＤＯＦ）を決定する。

さらに、分解能（ｋ×ＤＯＦ）を検出するために必要なずれ量の検出精度を求め、求めたずれ量以下の値（例えば、求めたずれ量に１以下の所定値（なお、この所定数をあまり小さくすると、必要な精度よりも過剰に高精度を求めることになるために、１もしくは１に近い所定値とすることが好ましい）を乗算した値）を撮像素子１１のシフト量として設定する。

このような手順を、撮像光学系１０の光学的条件、例えばズーム倍率を変更しながら、繰り返して行う。

これにより、撮像光学系１０が取り得る各種の光学的条件に応じた撮像素子１１のシフト量のＬＵＴが作成される。

なお、実際の撮像素子１１のシフト量の決定に際しては、撮像光学系１０の光学的条件だけでなく、撮像素子１１の画素ピッチ（画素ピッチよりも過剰に細かい精度で撮像素子１１をシフトさせても実用的でないため）や、その他撮像系全体（撮像光学系１０、瞳色分割フィルタ１４、撮像素子１１等を含む撮像系全体）の各種の条件に応じた制限を課すことになる。

このようにして決定される撮像素子１１のシフト量の一例は、次の表４に示すようなものとなる。
［表４］
光学倍率シフト量
０．７倍１画素
１．０倍２／３画素
２．０倍１／２画素

ここに、シフト量における単位とした「画素」は、より正確には、上述したようにシフト方向の画素ピッチである。

従って、例えば光学倍率が０．７倍であるときには、元画像を撮影した後に、Ｒ画素およびＢ画素を１画素分（例えば右に）シフトし（このときには、元画像撮影時のＧ画素の位置にＲ画素およびＢ画素が位置することになる）、この状態でシフト画像を撮影し、元画像とシフト画像とを合成して補間色画像を生成し、生成した補間色画像に基づき相対的なずれ量を算出することになる。

また、光学倍率が１．０倍であるときには、元画像を撮影した後に、２／３画素分（例えば右に）シフトし、この状態でシフト画像を撮影し、さらに２／３画素分（例えば右に）シフトし（このときには、元画像撮影位置から４／３画素分シフトしていることになる）、この状態でシフト画像を撮影し、元画像と２枚のシフト画像とを合成して補間色画像を生成し、生成した補間色画像に基づきずれ量を算出することになる。

さらに、光学倍率が２．０倍であるときには、元画像を撮影した後に、１／２画素分（例えば右に）シフトし、この状態で第１のシフト画像を撮影し、さらに１／２画素分（例えば右に）シフトし（元画像撮影位置から１画素分のシフト量）、この状態で第２のシフト画像を撮影し、続いて１／２画素分（例えば右に）シフトし（元画像撮影位置から３／２画素分のシフト量）、この状態で第３のシフト画像を撮影し、４枚の画像、すなわち元画像と第１〜第３のシフト画像とを合成して補間色画像を生成し、生成した補間色画像に基づき相対的なずれ量を算出することになる。

そして、素子シフト量演算部３６は、例えば表４に示したようなＬＵＴを参照して、撮像光学系１０の現在の光学倍率が例えば０．８５倍未満であるときには０．７倍の光学倍率欄を参照してシフト量を決定し、光学倍率が０．８５倍以上１．５倍未満であるときには１．０倍の光学倍率欄を参照してシフト量を決定し、光学倍率が１．５倍以上であるときには２．０倍の光学倍率欄を参照してシフト量を決定する、等を行う。

このような実施形態３によれば、上述した実施形態２とほぼ同様の効果を奏するとともに、撮像光学系１０の光学的条件に基づいて撮像素子１１をシフトさせる量を決定するようにしたために、補間色画像を生成するためのシフト画像を、精度不足や過剰な精度を伴うことなく、適切な精度で効率的に取得することが可能となる。

そして、光軸方向の量である焦点深度に所定係数を掛けた値に基づいて、撮像素子１１の光軸に垂直な面内のシフト量を演算する場合には、例えば工業用顕微鏡に好適な構成となる。

また、ＬＵＴを参照する方式を採用すれば、撮像光学系１０の光学的条件を変更する毎に演算を行う必要がなく、処理負荷を軽減して応答性を高めることができる。
［実施形態４］

図１６および図１７は本発明の実施形態４を示したものであり、図１６は距離測定装置１の構成を示すブロック図、図１７はユーザがモニタ５の画面上において被写体の測定位置を指定する様子を示す図である。

この実施形態４において、上述の実施形態１〜３と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

本実施形態は、上述した実施形態２と基本的に同様の構成であるが、被写体のどの部分を距離測定の対象とするかを、ユーザが指定することができ、かつ撮像素子１１上における距離測定の対象部分のみを読み出すことができるようにしたものとなっている。

従って、本実施形態における撮像素子１１は、任意の画素を読み出すことができる構成のものを採用しており、具体例としてはＣＭＯＳセンサ等が挙げられる（なお、ＣＣＤセンサは原理的に部分読み出しを行うことができないために、本実施形態では採用していない）。

そして、本実施形態の距離測定装置１は、上述した実施形態２の図１２に示した構成に対して、コントローラ３に読出領域演算部３７を追加した構成となっている。

この読出領域演算部３７は、シフト画像を撮影して撮像素子１１から画素情報を読み出す際に、画素ずれ検出部３３によりずれ量を検出する画素領域を演算して設定する画素領域設定部である。

そして、撮像素子制御部２１は、シフト画像について、この読出領域演算部３７により演算された画素領域の画素値のみを読み出すように、撮像素子１１を駆動する。

元画像の撮影が完了すると、撮影された元画像は、コントローラ３を介してＰＣ４へ送信され、制御アプリケーション４１によりモニタ５の画面５ａに表示される。このとき、モニタ５の画面５ａに「測定部分を指定してください」等のメッセージを合わせて表示しても良い。

そして、図１７に示すように、ユーザがマウス等の入力デバイスを操作して画面５ａ上のポインタ５ｐを移動し、測定したい部分（図示の例では、黒い箱状物体６ｂにおける白色印刷物「１」のほぼ中央部分）上で確定操作することにより、測定対象部分上の１点（測定点）が指定される。指定された測定点は、制御アプリケーション４１から読出領域演算部３７へ送信される。

読出領域演算部３７は、測定点の情報を受信すると、後段のシフト撮影時に撮像素子１１から読み出しを行う画素領域を演算する。

この画素領域の演算は、具体的には、測定点を含むラインおよびこのラインに隣接するライン（この選択の仕方をすれば、一方のラインはＲ画素を含むライン、他方のラインはＢ画素を含むラインとなる）における、測定点を中心とした左右の一定範囲に含まれるＲ画素およびＢ画素を領域として算出することが一例として挙げられる。

より具体的な一例を説明する。

まず、撮像素子１１が、Ｘ方向４０００画素、Ｙ方向３０００画素の画素配列をもつセンサであるものとする。そして、この撮像素子１１上の画素の座標を、左上角を（Ｘ：Ｙ）＝（１：１）、右下角を（Ｘ：Ｙ）＝（４０００：３０００）として設定することにする。

このような座標系において、ユーザにより指定された測定点が（２０００：１５００）であり、この測定点がＧｂ−Ｂ行におけるＢ画素であったものする。

すると、読出領域演算部３７は、Ｒ画素を含むラインとして、測定点を含むラインに隣接する第１４９９ラインまたは第１５０１ラインの何れか一方を選択する。ここでは例えば、第１４９９ラインを選択したものとする。

さらに、読出領域演算部３７は、第１５００ラインにおいて、測定点を中心とした例えば３２画素の範囲（具体的には、Ｘ座標が１９８５〜２０１６の範囲）を選択し、選択した画素範囲とＸ座標が同一の第１４９９ラインにおける画素範囲（この例では３２画素の範囲）をさらに選択する。なお、ここで選択された画素範囲が実施形態２で述べたラインＡに相当し、つまりユーザが指定した測定点を含むようにラインＡを設定することになる。

このような処理の結果、読出領域演算部３７により選択された画素範囲に含まれるＲ画素およびＢ画素は、次のようになる。
Ｒ画素Ｂ画素
（１９８５：１４９９）（１９８６：１５００）
（１９８７：１４９９）（１９８８：１５００）
・・
・・
・・
（２０１５：１４９９）（２０１６：１５００）

こうして読出領域演算部３７は、選択された画素範囲に含まれるＲ画素およびＢ画素を画素領域に設定して、設定した画素領域の情報を撮像素子制御部２１へ送信する。

すると、撮像素子制御部２１は、受信した画素領域、つまり１６画素のＲ画素および１６画素のＢ画素の合計３２画素のみを読み出すように、撮像素子１１からの読み出しアドレスを生成して、撮像素子１１を読出制御する。

こうしてシフト画像については、上述したような撮像素子１１のシフトを行いながら、ずれ量を検出するために必要な画素のみが撮像素子１１から読み出されることになる。こうして読み出された画素値は、上述と同様に、メモリ３２に格納される。

その後のずれ量の演算等に関しては、上述した実施形態２と同様である。

なお、上述では、説明を簡略化するために、指定された測定点を中心としたＸ方向の３２画素の画素範囲のＲ画素とＢ画素を一義的に読み出すようにしているが、元画像を撮影した後に、元画像中の被写体の状態に基づいて、より相関演算に適した領域のみを読み出し対象とする画素領域に設定するようにしても良い。

例えば、元画像における指定された測定点を含むライン、および該ラインに隣接するラインについて、測定点の近傍におけるＲ画素およびＢ画素のエッジ検出を行い、検出されたエッジを含む領域内のＲ画素およびＢ画素を画素領域に設定するようにしても良い。

また、ユーザに測定点を水平方向において（より一般には、瞳色分割フィルタ１４により瞳が分割されている方向において）２点指定してもらい、指定された２点を結ぶ線分上のＲ画素およびＢ画素を画素領域に設定するようにしても構わない。

そして、上述では選択された画素範囲に含まれるＲ画素およびＢ画素のみを読み出し対象として、読み出しに要する時間を極力短くするようにしているが、読出時間が幾らか（例えば２倍程度に）長くなっても構わないのであれば、選択された画素範囲の全体（つまり、ずれ量演算に用いないＧｒ画素およびＧｂ画素も含む画素範囲）を読み出し対象の画素領域に設定しても構わない。この場合には、撮像素子１１の読出制御が幾らか容易になる利点がある。

このような実施形態４によれば、上述した実施形態２と同様の高精度な被写体高さ測定機能を維持しつつ、さらに、より高速な演算処理が可能となる。
［実施形態５］

図１８から図２０は本発明の実施形態５を示したものであり、図１８は距離測定装置１の構成を示すブロック図、図１９は撮像素子１１の撮像面１１ａに結像している元画像に係る被写体像６ｉ中のＲ成分の被写体像ＩＭＧｒおよびＢ成分の被写体像ＩＭＧｂの様子を示す図およびラインＡの部分拡大図、図２０は撮像素子１１の撮像面１１ａに結像しているシフト画像に係る被写体像６ｉが元画像に対して傾きかつやや大きくなったときのＲ成分の被写体像ＩＭＧｒおよびＢ成分の被写体像ＩＭＧｂの様子を示す図およびラインＡの部分拡大図である。

この実施形態５において、上述の実施形態１〜４と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

本実施形態は、上述した実施形態２と基本的に同様の構成であるが、撮像素子１１をシフトする前後において、該シフトを除いた、撮像素子１１に対する被写体６の相対的な動きが生じたか否かを判定して、動きが生じている場合には、正確な距離測定を行うことができないために不要な演算処理を行わないようにしたものとなっている。

すなわち、本実施形態の距離測定装置１は、上述した実施形態２の図１２に示した構成に対して、コントローラ３にシフト画像比較演算部３８を追加した構成となっている。

このシフト画像比較演算部３８は、少なくとも画素ずれ検出部３３によりずれ量を検出する画素領域において、撮像素子１１をシフト移動する前に取得した元画像と、撮像素子１１をシフト移動した後に取得した画像である画素シフト画像と、の一致性を比較する画像比較部である。

具体的に、図１９は、撮像素子１１の撮像面１１ａに結像している元画像に係る被写体像６ｉを示しており、ラインＡ上における、Ｒ成分の被写体像ＩＭＧｒの画像部分ＡＲと、Ｂ成分の被写体像ＩＭＧｂの画像部分ＡＢとには、図示のようなずれ量が生じている。

一方、図２０は、撮像素子１１の撮像面１１ａに結像しているシフト画像（元画像を撮影した後に、撮像素子１１をＸ方向に例えば１画素分シフトして得た画像）に係る被写体像６ｉを示している。図示のように、被写体像６ｉは、図１９の元画像に比して、ＸＹ平面における時計回りに幾らか回転し、かつ大きさがやや大きくなっている。ここに、被写体像６ｉの大きさがやや大きくなったのは、被写体６が鏡筒２に近接する方向（高さ方向における上方向）に幾らか移動したためであると考えられる。

こうして被写体像６ｉが回転しかつ大きくなったために、ラインＡ上における、Ｒ成分の被写体像ＩＭＧｒの画像部分ＡＲと、Ｂ成分の被写体像ＩＭＧｂの画像部分ＡＢとに生じているずれ量は、図１９の元画像に比して大きくなっている。

このような、撮像素子１１に対する被写体６の相対的な動き（ただし、シフトによる動きを除く）が生じた前後に撮影された元画像とシフト画像とを合成して補間色画像を生成し、生成した補間色画像に基づきずれ量を算出しても、正確なずれ量を得ることはできず、つまり正確な距離測定を行うことができない。

そこで、シフト画像比較演算部３８により、元画像とシフト画像とを比較して、補間色画像を生成するのに不適切な画像ずれが検出された場合には、補間色画像の生成や、補間色画像に基づく画素ずれ検出部３３および距離演算部３４による被写体距離に関する情報の生成を中止するようにしている。

元画像を撮影した後に、メモリ３２に格納された元画像に係るＲ色画像とＢ色画像に基づき、画素ずれ検出部３３によりラインＡ上におけるずれ量を演算する。

次に、上述した実施形態２において説明したように撮像素子１１をシフトさせてから、シフト画像を撮影する。

そして、メモリ３２に格納されたシフト画像に係るＲ色画像とＢ色画像に基づき、画素ずれ検出部３３によりラインＡ上におけるずれ量を演算する。

シフト画像比較演算部３８は、元画像に基づき得られたずれ量と、シフト画像に基づき得られたずれ量とを比較して、両者の差が−１画素以上かつ＋１画素以下であるか否かを判定する。

システムコントローラ３１は、シフト画像比較演算部３８により得られた差が−１画素以上かつ＋１画素以下である場合には、不用意な動きは生じていないと判定して、元画像とシフト画像とを合成して補間色画像を生成する処理、および補間色画像に基づく高精度なずれ量の検出を画素ずれ検出部３３に行わせる。さらに、システムコントローラ３１は、検出したずれ量に基づいて被写体距離に関する情報を生成する処理を、距離演算部３４に行わせる。

一方、システムコントローラ３１は、シフト画像比較演算部３８により得られた差が、−１画素よりも小さいか、あるいは＋１画素よりも大きい場合には、不用意な動きが生じたと判定して、制御アプリケーション４１を介してユーザへその旨を通知する。

そして、システムコントローラ３１は、画素ずれ検出部３３による補間色画像の生成処理、および補間色画像に基づくずれ量の検出処理を中止させる。従って、距離演算部３４による、補間色画像から得られたずれ量に基づく被写体距離に関する情報の生成も自動的に中止される。

さらに、システムコントローラ３１は、補間色画像に基づく高精度な処理に代えて、元画像のみに基づき画素ずれ検出部３３の処理および距離演算部３４の処理を行わせて、被写体距離に関する情報を生成させる。

なお、不用意な動きが生じたことをユーザへ通知する際には、参考値として、元画像のみから求めた被写体距離に関する情報と、シフト画像のみから求めた被写体距離に関する情報と、を合わせて通知するようにしても良い。この場合には、システムコントローラ３１は、さらに、シフト画像のみに基づき画素ずれ検出部３３の処理および距離演算部３４の処理を行わせて、被写体距離に関する情報を生成させることになる。

なお、上述では、画素配列中のＧ画素を距離検出に用いないことを考慮して、差が−１画素以上かつ＋１画素以下であるか否かを判定するようにしたが、判定条件はこれに限定されるものではなく、被写体条件等を考慮した他の判定条件を採用しても良いし、被写体条件に応じて判定条件を可変制御するようにしても構わない。

また、上述では、元画像とシフト画像の同座標におけるそれぞれのずれ量演算結果に基づいて不用意な動きがあったか否かを判定したが、この技術に限定されるものではなく、画像マッチング等を行って被写体の移動ベクトルを検出する比較方法などの、既知の他の技術を適宜用いるようにしても構わない。

このような実施形態５によれば、上述した実施形態２とほぼ同様の効果を奏するとともに、撮像素子１１に対する被写体６の相対的な動きが不用意に生じたか否かを判定して、不用意な動きが生じたと判定されたときには該当画像の合成を中止し、補間色画像に基づくその後の処理も中止するようにしたために、不要な演算処理による無駄な負荷の増加を抑制し、かつ誤った被写体距離に関する情報をユーザに与えるのを防止することができる。

また、不用意な動きが生じたと判定されたときにはユーザにその旨を通知するようにしたために、再度精密な測定をする機会をユーザに与えることができる。

なお、実施形態２を基本としている上述した実施形態３〜５の構成は、適宜組み合わせるようにしても構わないのは勿論である。

さらに、上述では主として距離測定装置について説明したが、距離測定装置を上述したように制御する制御方法であっても良いし、コンピュータに距離測定装置を上述したように制御させるための制御プログラム、該制御プログラムを記録するコンピュータにより読み取り可能な記録媒体、等であっても構わない。

そして、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

１…距離測定装置
２…鏡筒
３…コントローラ
４…パーソナルコンピュータ（ＰＣ）
５…モニタ
５ａ…画面
５ｐ…ポインタ
６…被写体
６ａ…プレート
６ｂ…黒い箱状物体
６ｉ…被写体像
１０…撮像光学系
１１…撮像素子
１１ａ…撮像面
１２…ズームレンズ
１３…絞り
１４…瞳色分割フィルタ（瞳色分割光学系）
１４ｂ…ＧＢフィルタ
１４ｒ…ＲＧフィルタ
１５…対物レンズ
１６…リング照明
１７…素子シフト部（画素補間部、素子移動部）
２１…撮像素子制御部
２２…ズーム制御部
２３…フォーカス制御部
２４…フォーカス駆動機構
２５…素子シフト制御部（画素補間部、素子移動部）
３１…システムコントローラ
３２…メモリ
３３…画素ずれ検出部（距離情報生成部）
３４…距離演算部（距離情報生成部）
３５…画素補間演算部（画素補間部）
３６…素子シフト量演算部（移動量演算部）
３７…読出領域演算部（画素領域設定部）
３８…シフト画像比較演算部（画像比較部）
４１…制御アプリケーション

Claims

被写体像を結像する撮像光学系と、
前記撮像光学系の光路上に配置され、該撮像光学系の複数の部分瞳に互いに異なる分光特性を備えさせることにより該撮像光学系の瞳を色分割する瞳色分割光学系と、
前記瞳色分割光学系を介して前記撮像光学系により結像された被写体像を光電変換して、複数の画素が配列された画像を出力するカラーの撮像素子と、
前記撮像素子から出力された画像を色分離して得られる複数の色画像の内の、異なる部分瞳に係る複数の色画像に配列されている画素の補間画素を生成する画素補間部と、
前記異なる部分瞳に係る複数の色画像と、前記画素補間部により生成された補間画素と、を合成することにより複数の補間色画像を生成し、前記複数の補間色画像における被写体像の相対的なずれ量を検出して、前記ずれ量に基づき被写体距離に関する情報を生成する距離情報生成部と、
を具備し、
前記画素補間部は、少なくとも前記ずれ量を検出する方向であるずれ検出方向に、前記補間画素を生成することを特徴とする距離測定装置。
前記画素補間部は、前記撮像光学系と前記撮像素子との少なくとも一方を、前記撮像光学系の光軸に垂直な面内における前記ずれ検出方向に平行移動する素子移動部を備え、前記素子移動部により前記撮像光学系と前記撮像素子との少なくとも一方を平行移動して、前記ずれ検出方向の位置が異なる複数枚の画像を前記撮像素子から取得することにより前記補間画素を生成し、
前記距離情報生成部は、取得された複数枚の画像を色分離して得られる複数枚の色画像であって、同一色に係る色画像同士を合成することにより、前記補間色画像を生成することを特徴とする請求項１に記載の距離測定装置。
複数枚の画像を取得する間の前記撮像光学系と前記撮像素子との少なくとも一方の平行移動量を、前記撮像光学系の光学的条件に基づいて演算する移動量演算部をさらに具備し、
前記素子移動部は、前記移動量演算部により演算された平行移動量だけ、前記撮像光学系と前記撮像素子との少なくとも一方を平行移動することを特徴とする請求項２に記載の距離測定装置。
前記移動量演算部が平行移動量を演算するために用いる前記撮像光学系の光学的条件は、該撮像光学系の焦点深度を含むことを特徴とする請求項３に記載の距離測定装置。
前記移動量演算部は、前記焦点深度に所定係数を掛けた値に基づいて、前記撮像光学系と前記撮像素子との少なくとも一方の平行移動量を演算することを特徴とする請求項４に記載の距離測定装置。
前記距離情報生成部により前記ずれ量を検出する画素領域を設定する画素領域設定部をさらに具備し、
前記撮像光学系と前記撮像素子との少なくとも一方を平行移動した後は、前記画素領域設定部により設定された画素領域のみを前記撮像素子から読み出すことを特徴とする請求項２に記載の距離測定装置。
少なくとも前記距離情報生成部により前記ずれ量を検出する画素領域において、前記撮像光学系と前記撮像素子との少なくとも一方を平行移動する前に取得した画像と、平行移動した後に取得した画像であるシフト画像と、を比較する画像比較部をさらに具備し、
前記画像比較部により、前記画像と前記シフト画像とを比較して、前記補間色画像を生成するのに不適切な画像ずれが検出された場合には、前記補間色画像に基づく前記距離情報生成部による被写体距離に関する情報の生成を中止することを特徴とする請求項２に記載の距離測定装置。
前記画素補間部は、１枚の画像を色分離して得られる色画像に対して補間演算を行うことにより、前記補間画素を生成する画素補間演算部を備えることを特徴とする請求項１に記載の距離測定装置。