JP2000316120A - 全焦点撮像装置 - Google Patents

Abstract

(57)【要約】 【課題】 観察対象のほぼ完全な合焦点画像（全ての部
分に焦点が合っている画像）を準リアルタイムで提供す
ること。 【解決手段】 本発明の全焦点撮像装置は、高速で焦点
位置Ｆが変更可能な可変焦点レンズ装置１と、ＣＣＤ素
子３１と、画像メモリ４１、画像処理手段４２および制
御手段４３をもつマイクロコンピュータ４と、液晶ディ
スプレイ５とから主に構成されている。可変焦点レンズ
装置１とＣＣＤ素子３１とにより、焦点位置Ｆが少しず
つ異なった多数枚の画像が撮像され、画像メモリ４１に
記憶される。これらの画像の各画素のうちから合焦点画
素が画像処理手段４２によって選択され、合焦点画素だ
けからなる観察対象の合焦点画像が生成されて、液晶デ
ィスプレイ５に表示される。それゆえ、観察対象のほぼ
完全な合焦点画像を準リアルタイムで提供することがで
きる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、光学顕微鏡、電子
顕微鏡、光学望遠鏡、電子カメラなどの撮像装置の技術
分野に属し、特に合焦点技術の技術分野に属する。

【０００２】

【従来の技術】従来の技術としては、特開平９−２３０
２５２号公報に、大まかに分けて次の二つの撮像技術が
開示されている。

【０００３】第一の撮像技術は、観察対象に対する焦点
位置（レンズから合焦点面までの距離）を高速で往復さ
せつつ画像をリアルタイムで表示し、焦点のあった輪郭
が鮮明な部分だけが網膜残像として視認されることを利
用している。同技術は、生理的な残像現象を巧妙に利用
して、観察対象の全体に渡って焦点が合った画像をリア
ルタイムで観察者に視認させることができるので、観察
対象に動きがある場合などにも好適な撮像技術である。

【０００４】しかしながら、同技術には、焦点が合って
いないぼやけた画像も網膜に結像し、焦点が合っている
瞬間よりも焦点が合っていない時間の方が長いのが普通
であるので、ややぼやけた感じを視覚から受けるという
不都合があった。すなわち、同技術によっては、観察対
象の全ての部分について焦点が合った完全な合焦点画像
は得られず、視覚上でもややぼやけた感じがするうえ
に、目が疲れやすいという不都合もあった。また、合焦
点画像は視認されるだけで、合焦点画像を写真撮影した
りプリントしたりすることはできないという不都合もあ
った。

【０００５】第二の撮像技術は、前述の第一の撮像技術
を応用し、二つの撮像装置を視差をもって観察対象に向
けて撮像した画像をそれぞれ左右の目に表示し、観察対
象を両眼視するものである。同技術によれば、立体感の
ある画像をリアルタイムで視認することができるという
効果がある。

【０００６】しかしながら、同技術にも、前述の第一の
撮像技術と同様の不都合があり、完全な合焦点画像を提
供することはできない。また、いずれの撮像技術によっ
ても、観察対象の立体数値モデルを生成することができ
ないので、断面形状を示す端面図を提示したり多方向か
らの俯瞰画像を連続的に合成して表示したりすることは
できない。

【０００７】

【発明が解決しようとする課題】以上のような現況に鑑
み、本発明は、観察対象の各部に焦点があった合焦点画
像を準リアルタイムで生成することを第一の課題とし、
観察対象の立体形状を示す立体数値モデルを生成して多
様な表示形態を可能とすることを第二の課題とする。本
発明では、これら第一の課題および第二の課題のうちい
ずれかが解決されていればよいものとする。

【０００８】

【課題を解決するための手段】上記課題を解決するため
に、発明者らは以下の手段を発明した。

【０００９】（第１手段）本発明の第１手段は、請求項
１記載の全焦点撮像装置である。

【００１０】ここで、可変焦点レンズ、アクチュエータ
および駆動手段には、光学撮像装置や電子顕微鏡などに
採用されている公知技術のうちいずれを採用することも
でき、さらに新たに開発される可変焦点レンズ系を採用
することもできる。公知の可変焦点レンズのうちでは、
前述の公報にも開示されていたように、圧電アクチュエ
ータで液封レンズの焦点距離を変化させる可変焦点レン
ズ装置を採用することが、作動速度の面からいって好ま
しい。

【００１１】一方、撮像手段としては、光学撮像手段で
あればＣＣＤ素子やＣＭＯＳイメージャ等の固体撮像素
子を用いることが小型化の点からは望ましいが、撮像管
の出力をデジタル処理してもよく、使用目的に応じて多
様な撮像手段から選択することができる。なお、画素の
配列は正方形の格子状の配列が最も一般的であるが、そ
の他の配列であっても構わず、たとえば、長方形の格子
状の配列であったり、ハニカム状の配列などであっても
よい。

【００１２】また、画像メモリには、各種の記憶装置を
採用することができるが、なるべく大容量の画像情報を
高速で書き込み読み出しができるメモリが望ましいの
で、半導体ＲＡＭなどのソリッドステートメモリの採用
が望ましい。画像処理手段は、現況ではＶＬＳＩなどの
半導体ＭＰＵが最も有力であるが、将来的には光演算素
子やバイオ演算素子などの新演算素子を採用することも
あり得る。画像処理手段が合焦点画素を判定する方法に
は様々な手法の適用が考えられるが、代表的なものを後
述の第２手段ないし第１１手段において説明する。画像
処理手段によって選定された合焦点画素からなる合焦点
画像や、選定された合焦点画像の焦点位置情報に基づい
て生成される立体数値モデルは、前述の画像メモリの所
定の記憶領域や表示装置の付属メモリなどの所定のメモ
リに記録される。

【００１３】さらに、制御手段には、前述の画像処理手
段と同様に各種の演算素子を採用することができるばか
りではなく、制御手段のハードウェアは、画像処理手段
と兼用であっても良い。

【００１４】なお、本手段は、画像処理手段で生成され
た合焦点画像または立体数値モデルの映像を提供する表
示装置をも有することが望ましい。表示装置があれば、
合焦点画像または立体数値モデルの映像をすぐに観察者
に見せることができるから、使用態様としては表示装置
があった方がよいのだが、表示装置なしで製造販売する
場合もあるので、表示装置は必須構成要素から外されて
いる。表示装置としては、準リアルタイム性の要求か
ら、ＣＲＴ、液晶ディスプレイおよびプラズマディスプ
レイなどを採用することができるが、準リアルタイム性
の要求がなければ、その他にもプリンターなどの印画手
段を採用しても良い。

【００１５】すなわち、以上の各構成要素には、ありと
あらゆる採用可能な各種手段のうちから、使用目的や各
種条件に合致した最適な構成要素の組み合わせを選定す
ることができる。

【００１６】本手段は、以上のように構成されているの
で、以下のような作用効果を発揮することができる。

【００１７】本手段では、撮像手段から出力された焦点
位置の異なる複数の画像が画像メモリに格納され、画像
処理手段によって各画素について合焦点の判定がなさ
れ、これらの画像のうちから合焦点画素が抽出される。

【００１８】合焦点画像が必要な場合には、画像処理手
段は、これらの合焦点画素で画像を埋め尽くすことによ
り、観察対象の各部に焦点が合っている合焦点画像を、
何らかのメモリ上に合成して提供することができる。こ
こで、ディスプレイ等の表示装置が本手段に接続されて
いれば、合焦点画像を表示装置に提示することができ
る。

【００１９】また、立体数値モデルが必要な場合には、
画像処理手段は、各合焦点画素がもつ焦点位置情報を当
該画素の高さ方向の位置として、各画素の縦横高さの三
次元位置を特定することにより、立体数値モデルを生成
して所定のメモリに格納することができる。観察対象の
立体数値モデルがあれば、画像処理手段等に画像合成機
能をもたせておき、等高線地図状の等高面図や、断面形
状を示す端面図や、方向を変えながら連続的に俯瞰図を
表示する動画などの立体形状を示す多様な表示データの
生成が可能である。そして、ディスプレイ等の表示装置
が本手段に接続されていれば、このような多様な表示デ
ータを画像として観察者に見せることが可能になる。

【００２０】なお、光学系の可変焦点レンズ装置につい
ては、液封レンズの焦点距離を圧電アクチュエータで変
化させることにより、数百Ｈｚ程度の応答速度を持つも
のがすでに開発されており、大抵のリアルタイム性の要
求に対しては対応可能である。また、撮像手段としてＣ
ＣＤ素子を採用すれば、やはり大抵のリアルタイム性の
要求に対しては対応可能である。なぜならば、毎秒３０
画像のビデオレートでカラー撮像するＣＣＤ素子が普及
しており、試作品レベルであれば、十分な輝度の観察対
象に対しては毎秒数百画像のレートで撮像し、画素毎の
画像信号として出力することが可能だからである。

【００２１】一方、画像処理手段の処理速度について
は、解像度（画素数）にもよるが、合焦点画素判定アル
ゴリズムの演算負荷と画像処理手段の演算処理能力との
トレードオフで決まる。それゆえ、単一のＭＰＵで画像
処理を行う場合には、当面はＭＰＵの演算処理速度がリ
アルタイム性に関するボトルネックとなるものと考えら
れる。しかし、近い将来には、ＭＰＵの演算処理速度の
向上とアルゴリズムの改良とにより、かなりの程度まで
は画像処理手段の処理速度のリアルタイム性が得られる
ようになろう。ただし、出願時点においても、リアルタ
イム性の要求が重要であれば、多数のＭＰＵによる並列
処理を行うことにより処理速度のリアルタイム性を向上
させることができる。なお、画像メモリに関しても、必
要に応じて複数のメモリを使用することにより、高速大
容量の要求を満たすことができる。それゆえ、画像処理
手段等に関しても、かなりの程度までのリアルタイム性
の要求に応じることができる。

【００２２】したがって本手段によれば、観察対象の各
部に焦点が合った合焦点画像を準リアルタイムで提供可
能にすることと、観察対象の立体形状を示す立体数値モ
デルを生成して多様な表示形態を可能とすることのう
ち、少なくとも一方を実現することができるという効果
がある。すなわち、要求仕様に応じて、前述の第一の課
題と第二の課題とのうち、いずれか一方または両方を解
決可能な全焦点撮像装置を提供することができる。

【００２３】なお、使用形態としては、ディスプレイ等
の表示装置が本手段に接続されていて、すぐに観察者に
画像を見せることができることが望ましい。ここで、デ
ィスプレイを含んだ全焦点撮像システム全体をもって、
本手段の全焦点撮像装置であるとしてもよい。

【００２４】（第２手段）本発明の第２手段は、請求項
２記載の全焦点撮像装置である。

【００２５】本手段では、各画素の輝度は合焦点時に極
大値または極小値を取るとの知見に基づき、画像処理手
段による合焦点画素の判定は、各画素がもつ輝度の焦点
位置に関する差分値の正負反転によって行われる。

【００２６】すなわち、判定される画素の輝度が周囲の
輝度よりも高い場合、その画素に焦点が合っている画像
では、輝度がその前後の画像での当該画素の輝度よりも
高いので、当該画素の前後を調べれば輝度の極大値が得
られる。それゆえ、当該画素の前後では輝度の差分値が
正から負へと反転しているので、それぞれの画素がもつ
輝度の焦点位置に関する差分値の正負反転によって合焦
点画素の判定を行うことができる。

【００２７】逆に、判定される画素の輝度が周囲の輝度
よりも低い場合、その画素に焦点が合っている画像で
は、輝度がその前後の画像での当該画素の輝度よりも低
いので、当該画素の前後を調べれば輝度の極小値が得ら
れる。それゆえ、当該画素の前後では輝度の差分値が負
から正へと反転しているので、やはり、それぞれの画素
がもつ輝度の焦点位置に関する差分値の正負反転によっ
て合焦点画素の判定を行うことができる。

【００２８】以上のように本手段では、それぞれの画素
について、その周囲の画素との相関関係を省みることな
く、当該画素単独で輝度の変化を観測することにより、
当該画素の輝度の差分値の正負反転をもって合焦点の判
定がなされる。それゆえ、画像処理手段において、合焦
点画素の判定に要する演算負荷が極めて小さいので、リ
アルタイム性を向上させることができ、安価な画像処理
手段を採用することが可能になる。

【００２９】したがって本手段によれば、前述の第１手
段の効果に加えて、画像処理のリアルタイム性の向上
と、画像処理手段のコストダウンとのうち少なくとも一
方が得られるという効果がある。

【００３０】なお、当該画素の輝度が周囲と同等である
場合には、画像信号が単色であれば周囲と同程度の輝度
なのであるから、当該画素で焦点が合っている必要はな
くなり、適当な画像の中から選んで合焦点画素に代える
ことができる。逆に、画像信号が光の三原色（ＲＧＢ）
等に分かれた複数の輝度信号をもっている場合には、そ
のうち適当な色の輝度信号をもって同様の合焦点判定を
行い、輝度は周囲と同じでも色合いが異なる画素の合焦
点判定を行うことができる。

【００３１】（第３手段）本発明の第３手段は、請求項
３記載の全焦点撮像装置である。本手段は、実験を重ね
た結果、各画素の輝度は合焦点時以外にも極大値または
極小値を取ることがあり得るとの知見に基づいて発明さ
れた。

【００３２】本手段では、前述の第２手段において、差
分値の正負反転箇所が複数ある場合には、正負反転箇所
のうち極大値および極小値を取る箇所のうち一方を選択
することによって合焦点判定が画素毎に行われる。そし
てさらに、その一方が複数ある場合には、最も突出した
値の箇所が選定されることによって、画素毎に合焦点判
定が行われる。

【００３３】すなわち、多数の実験の結果、焦点位置が
合っている場合だけではなく、その近傍において正負反
転が逆の極大値または極小値が現れることがあることが
分かった。そこで、合焦点判定のロジックを簡素にする
ために、極大値と極小値とが両方現れた場合には、その
一方だけを選定してその位置を合焦点位置とするように
した。

【００３４】すると、厳密には誤判定も起こりうるが、
経験上、極大値と極小値とが両方現れた場合には両者の
焦点位置は互いに近傍にあるので、誤判定された場合で
も、焦点位置は完全に合焦点位置にはなくともその近傍
にある。それゆえ、極めて簡素な判定ロジックでありな
がら、仮に誤判定した場合でもほぼ焦点の合った画素が
選定されるので、おおむね大過ない合焦点画像が得られ
る。

【００３５】さらに、選定される極大値と極小値との一
方が複数の焦点位置で得られる場合には、最も合焦点位
置が選定される確率が高くなるように、最も突出した値
で合焦点判定がなされるようにした。その結果、合焦点
判定の精度が簡素な判定ロジックによっても向上する。
なお、選定するようにこれらの焦点位置が互いに近傍に
あるとは限らないが、このようなロジックによっても誤
判定が起こるくらいであれば、当該画素の近傍ではコン
トラストが小さいと考えられるので、やはりおおむね大
過ない合焦点画像が得られる。

【００３６】したがって本手段によれば、前述の第２手
段の効果に加えて、輝度の差分値の正負反転箇所が複数
検出された場合にも、合焦点判定のロジックが比較的簡
素に構成されており、演算負荷を小さくして高速処理が
できながら、おおむね大過ない合焦点画像が得られると
いう効果がある。

【００３７】（第４手段）本発明の第４手段は、請求項
４記載の全焦点撮像装置である。本手段は、発明者らが
実験を重ねた結果、コントラストが大きな明部と暗部と
の境界線上では、合焦点位置を中心に輝度の傾きが大き
くなるという知見に基づいて発明されたものである。

【００３８】本手段では、前述の第１手段において、画
像処理手段による合焦点画素の判定は、各画素がもつ輝
度の焦点位置に関する差分値の絶対値が最大値を取るこ
とを判定基準として行われる。すなわち、焦点位置の移
動に関して当該画素の輝度の変化が最も著しかった焦点
位置をもって合焦点位置と判定される。その結果、コン
トラストが大きな明部と暗部との境界線上で正確な合焦
点判定がなされるようになる。

【００３９】したがって本手段によれば、前述の第１手
段の効果に加えて、コントラストが大きな明部と暗部と
の境界線上で正確な合焦点判定がなされるようになると
いう効果がある。

【００４０】（第５手段）本発明の第５手段は、請求項
５記載の全焦点撮像装置である。

【００４１】本手段では、前述の第１手段において、焦
点があった画像では空間周波数が極大値を取るとの知見
に基づき、画像処理手段による合焦点画素の判定は、各
画素およびその周辺画素の形成する区画がもつ空間周波
数の焦点位置に関するピーク判定によって行われる。す
なわち、当該画素とその周辺画素に焦点が合った場合に
は、輝度または各色の輝度の分布がもつ空間周波数が極
大値になる。その結果、合焦点判定が行われる画素の周
囲の画素に関する輝度情報も使用されて当該画素の合焦
点判定が行われるので、より精密な合焦点判定が行われ
るようになる。

【００４２】したがって本手段によれば、当該画素だけ
でなく周囲の画素をも含んだ区画で合焦点判定が行われ
るので、より精密な合焦点判定が行われるようになると
いう効果がある。

【００４３】なお、空間周波数は、厳密に演算される必
要は必ずしもなく、簡易化した演算アルゴリズムをもっ
て近似的に算出されても良い。また、空間周波数を算出
するに当たっては、仮に画素が正方格子状に配列されて
いるのであれば、当該画素を中心とする３×３の９個の
画素を取って演算する方法が、演算量の増大防止と精密
な合焦点判定とに有用である。しかし、５×５，７×
７，・・・というように、より広い領域に渡って空間周
波数を算出するようにしても良い。逆に、当該画素の全
周囲の画素を含んだ空間周波数を算出する代わりに、縦
方向の空間周波数と横方向の空間周波数との和だけを取
って演算量を低減してもよい。同様に、Ｘ字状に斜め二
方向の空間周波数の和だけを取って演算量を低減しても
よい。

【００４４】（第６手段）本発明の第６手段は、請求項
６記載の全焦点撮像装置である。

【００４５】本手段では、前述の第１手段において、画
像処理手段による合焦点画素の判定は、焦点があった画
像ではエントロピーが極小値を取るとの発明者らの知見
に基づき、各画素およびその周辺画素の形成する区画が
もつエントロピーの焦点位置に関する最小判定によって
行われる。すなわち、当該画素とその周辺画素の形成す
る区画に焦点が合った場合には、輝度または各色の輝度
の分布がもつエントロピーが極小値を取る。その結果、
合焦点判定が行われる画素の周囲の画素に関する輝度情
報も使用されて当該画素の合焦点判定が行われるので、
より精密な合焦点判定が行われるようになる。

【００４６】したがって本手段によれば、当該画素だけ
でなく周囲の画素をも含んだ区画で合焦点判定が行われ
るので、より精密な合焦点判定が行われるようになると
いう効果がある。

【００４７】なお、エントロピーの算出方法にはいくつ
かあるが、エントロピーは厳密に演算される必要は必ず
しもなく、簡易化した演算アルゴリズムをもって近似的
に算出されても良い。

【００４８】また、エントロピーの極小値を求めるにあ
たっては、全ての焦点位置の同一区画について求める必
要はなく、極小値を求める公知の数値計算方法を採用し
て、焦点位置に関してとびとびにエントロピーを算出し
てもよい。こうすれば、演算負荷を減らすことができる
ので、合焦点判定に要する演算処理時間が短縮されて有
利である。

【００４９】（第７手段）本発明の第７手段は、請求項
７記載の全焦点撮像装置である。本発明は、合焦点判定
を行うべき当該画素を含む小さな区画では、合焦点時に
は最も明るい画素と最も暗い画素とのコントラストが最
大になるとの知見が得られたので、この知見に基づいて
発明された。

【００５０】本手段では、前述の第１手段において、画
像処理手段による合焦点画素の判定は、各画素およびそ
の周辺画素の形成する区画における各画素の輝度の最大
値と最小値との差である輝度振幅の最大判定によって行
われる。輝度振幅は、最も明るい画素と最も暗い画素と
のコントラストであるので、輝度振幅が最大になった焦
点位置をもって、その区画は合焦点位置にあり、その区
画のおそらく中央にある当該画素も合焦点位置にあると
判定される。

【００５１】本手段での合焦点判定アルゴリズムの特徴
は、区画中の各画素の輝度の間で複雑な計算をする必要
が全くなく、単に各画素の輝度のうちでの最大値と最小
値とを探し出し、その差を取ることであるから、極めて
簡素な処理であることである。それゆえ、同アルゴリズ
ムの開発が容易であるばかりではなく、同アルゴリズム
を処理するデジタル演算手段の演算負荷は極めて低くな
り、安価な演算手段を使っても高速処理が可能になる。
それでいながら、かなり高い信頼性で合焦点判定が行わ
れる。

【００５２】したがって本手段によれば、前述の第１手
段の効果に加えて、安価な演算手段を使っても高速処理
が可能になるうえに、かなり高い信頼性で合焦点判定が
行われるという効果がある。

【００５３】（第８手段）本発明の第８手段は、請求項
８記載の全焦点撮像装置である。本発明は、合焦点判定
を行うべき当該画素の周辺では、焦点位置が合うとシャ
ープな画像が得られるので、離散コサイン変換係数の値
が最大になるとの知見に基づいてなされている。

【００５４】本手段では、前述の第１手段において、画
像処理手段による合焦点画素の判定は、各画素およびそ
の周辺画素の形成する区画における離散コサイン変換係
数の最大判定によって行われる。ここで、離散コサイン
変換処理を行うＬＳＩは、ＭＰＥＧの画像処理用にすで
に開発されて市場に出回っており、費用をかけて新たに
専用ＬＳＩを開発することなく、ＭＰＥＧ処理用ＬＳＩ
の既製品を安く購入して使用することができる。しか
も、既製品にはテレビ画像用ものが多いので、毎秒３０
回などの高いビデオレートでの処理が安価な既製品よっ
て可能である。それゆえ、このような画像処理手段をも
つ本手段の全焦点撮像装置は、高速処理が可能であるう
えに比較的廉価に製造することができる。

【００５５】したがって本手段によれば、前述の第１手
段の効果に加えて、合焦点判定を高速で行うことができ
ながら、製品を比較的安価に提供することができるとい
う効果がある。

【００５６】なお、離散コサイン変換係数の極大値を求
めるにあたっては、全ての焦点位置の同一区画について
求める必要はなく、極大値を求める公知の数値計算方法
を採用して、焦点位置に関してとびとびに離散コサイン
変換係数を算出してもよい。こうすれば、演算負荷を減
らすことができるので、合焦点判定に要する演算処理時
間が短縮されて有利である。

【００５７】（第９手段）本発明の第９手段は、請求項
９記載の全焦点撮像装置である。

【００５８】本手段では、前述の第１手段において、画
像処理手段による合焦点画素の判定は、複数の画素から
なる区画毎に行われ、その区画における空間周波数、エ
ントロピー、輝度振幅および離散コサイン変換係数のう
ちいずれかを判定基準にして行われる。すなわち、前述
の第５手段ないし第８手段においては、たとえ周囲の区
画をも検討対象としても合焦点判定は画素毎に行われる
のに対し、本手段では、複数の画素からなる区画毎に合
焦点判定が行われる。

【００５９】それゆえ、画素毎に合焦点判定がなされた
精緻な合焦点画像は得られないが、小さな区画毎に焦点
があった比較的鮮明な画像が得られる。しかも、合焦点
判定に要する演算処理負荷は、区画を形成する画素の数
が増えるほど、劇的に低下する。たとえば、２×２の画
素からなる区画では演算負荷が１／４に減り、３×３の
区画では演算負荷が１／９と約一桁も低減される。その
結果、合焦点判定に関して高速処理が可能になる。

【００６０】したがって本手段によれば、前述の第１手
段の効果に加えて、前述の第５手段ないし第８手段に比
べて合焦点判定に要する演算負荷が大幅に低下し、高速
処理が可能なるという効果がある。

【００６１】なお、空間周波数、エントロピー、輝度振
幅および離散コサイン変換係数のうちいずれを合焦点判
定の指標にするかによって、発揮される特徴は異なる。
それぞれの特徴は、前述の第５手段ないし第８手段の説
明ですでに明らかにされているので、ここでは説明を省
く。

【００６２】（第１０手段）本発明の第１０手段は、請
求項１０記載の全焦点撮像装置である。

【００６３】本手段では、前述の第１手段において、画
像処理手段による合焦点画素の判定は、各画素と複数の
画素からなる区画とのうち一方に、複数の互いに異なる
判定法を適用して行われる。ここで、各画素に対する合
焦点判定の各種方法については、前述の第２手段ないし
第８手段に説明されており、区画毎の合焦点判定の各種
方法については、前述の第９手段に説明されている。

【００６４】本手段では、合焦点判定を、単一の判定法
でなく複数の判定法を組み合わせて行い、複数の合焦点
判定を複合的に利用して、より信頼性の高い合焦点判定
を行うことができる。複数の合焦点判定を複合的に利用
する方法としては、平均値を採る方法、多数決で決める
方法、集団から外れた値を棄却して標準偏差を減らし残
りの固まった値の中で平均を取る方法などがある。複数
の合焦点判定方法を組み合わせて用いることにより、そ
れぞれの方法に固有の合焦点判定の偏りを是正し、合焦
点位置の判定精度を向上させることができる。

【００６５】したがって本手段によれば、前述の第１手
段の効果に加えて、第２手段ないし第９手段よりも合焦
点判定の信頼性が向上し、合焦点判定に誤判定が少なく
なるので、より鮮明な合焦点画像やより正確な立体数値
モデルが得られるようになるという効果がある。

【００６６】（第１１手段）本発明の第１１手段は、請
求項１１記載の全焦点撮像装置である。

【００６７】本手段では、前述の第１手段において、画
像処理手段による合焦点画素の判定は、二段階の合焦点
判定を行って画素または区画の合焦点位置の精度を向上
させることが目的である。ここで、第一段階は、単数ま
たは複数の画素からなる区画とその周辺の複数の区画と
にそれぞれ合焦点判定を行う段階である。次の第二段階
は、当該区画とその周辺の区画とからなる大区画に関し
て合焦点判定を行い当該区画の合焦点判定を改める段階
である。この際、第一段階と第二段階とでは、同一の合
焦点判定方法を用いてもよいし、互いに異なる合焦点判
定方法を用いてもよい。

【００６８】すなわち、第一段階では、合焦点判定を行
うべき区画とその周囲の区画とについて、それぞれいっ
たん合焦点判定が行われる。すると、当該区画だけでは
なくその周囲の区画についてもおおむね正しい合焦点判
定が行われているので、第二段階では、そのうえで周囲
の区画も含めて改めて当該区画の合焦点判定が行われ
る。その結果、周囲の区画でもおおむね正確な合焦点位
置が得られているので、当該区画の合焦点判定はより精
密になり、よりいっそう正確な合焦点位置が得られるよ
うになる。

【００６９】したがって本手段によれば、前述の第１手
段の効果に加えて、画素または区画の合焦点位置の精度
がよりいっそう向上し、極めて鮮明な合焦点画像や極め
て正確な立体数値モデルが得られるという効果がある。

【００７０】（第１２手段）本発明の第１２手段は、請
求項１２記載の全焦点撮像装置である。本手段は、前述
の第１手段の構成のうちから、複数枚分の画像をできる
だけ短時間で撮像することを追求した構成をしている。

【００７１】本手段では、液封レンズおよび圧電アクチ
ュエータの組み合わせからなる可変焦点レンズ装置と、
駆動手段としての可変焦点レンズ駆動回路と、撮像手段
としての固体撮像素子とが装備されている。これらの構
成要素は、前述のように数百Ｈｚ程度での作動が可能で
あるから、かなりの程度まで短時間で複数枚の画像の撮
像が可能になる。

【００７２】その結果、動きがある観察対象に対して
も、ほとんど瞬間的に複数枚分の画像を撮像することが
可能になり、写真でいうところの長時間露光によるぶれ
を最低限に抑制することができる。たとえば、ピラミッ
ド状の観察対象が回転している場合には、撮像に長時間
がかかってしまうと、合焦点画像では観察対象の稜線が
螺旋状にねじれて写ってしまう。しかし、本手段のよう
にごく短時間で多数枚分の撮像を行うことができれば、
合焦点画像でも観察対象の稜線はほとんどねじれること
がない。

【００７３】したがって本手段によれば、前述の第１手
段の効果に加えて、ごく短時間で多数枚分の撮像ができ
るので、時間的に変化する観察対象に対しても合焦点画
像のぶれを抑制することができるという効果がある。

【００７４】（第１３手段）本発明の第６手段は、請求
項６記載の全焦点撮像装置である。本手段は、前述の第
１手段の構成のうちからリアルタイム性が高い構成を選
定したものであり、合焦点画像をリアルタイムで表示す
ることを追求している。

【００７５】本手段では、前述の第１２手段と同様に、
液封レンズおよび圧電アクチュエータの組み合わせから
なる可変焦点レンズ装置と、駆動手段としての可変焦点
レンズ駆動回路と、撮像手段としての固体撮像素子とが
装備されている。これらの構成要素は、前述のように数
百Ｈｚ程度での作動が可能であるから、かなりの程度ま
でのリアルタイム性の要求に応えることができる。

【００７６】一方、画像処理手段は、新しい画像が取り
込まれる度に、リアルタイムで合焦点画素の判定を行
い、制御手段は、これらの合焦点画素を逐次更新するこ
とにより表示装置に合焦点画像を表示する。すなわち、
画像処理手段により合焦点画素が抽出されると、即座に
制御装置によって表示装置に表示中の合焦点画像のうち
当該画素が更新される。それゆえ、表示装置に表示中の
合焦点画像は、全て最新の合焦点画素から構成されてお
り、ほとんどリアルタイムでの合焦点画像の表示が可能
になる。

【００７７】したがって本手段によれば、前述の第１２
手段の効果に加えて、時間的に変化する観察対象に対し
ても、ほとんどリアルタイムで合焦点画像を提供するこ
とできるという効果がある。

【００７８】（第１４手段）本発明の第１４手段は、請
求項１４記載の全焦点撮像装置である。

【００７９】本手段では、前述の第１２手段において、
圧電アクチュエータに印加される電圧の測定値に基づい
て、可変焦点レンズ装置の焦点位置が算出される。すな
わち、可変焦点レンズ装置の焦点位置は液封レンズのレ
ンズ形状で決まり、このレンズ形状は圧電アクチュエー
タの変位で決まり、この変位は印加電圧で決まる。それ
ゆえ、圧電アクチュエータへの印加電圧の測定値に基づ
いて、可変焦点レンズ装置の焦点位置を算出することが
できる。その結果、互いに異なる焦点位置で撮像された
複数枚分の画像のそれぞれについて、焦点位置を付与す
ることが可能になる。

【００８０】したがって本手段によれば、前述の第１２
手段の効果に加えて、測定値に基づいて可変焦点レンズ
装置の焦点位置を各画像に付与することができ、正確な
立体数値モデルを生成することが可能になるという効果
がある。

【００８１】（第１５手段）本発明の第１５手段は、請
求項１５記載の全焦点撮像装置である。

【００８２】本手段では、前述の第１２手段において、
圧電アクチュエータに注入および放電される電荷量の測
定値に基づいて、可変焦点レンズ装置の焦点位置が算出
される。すなわち、可変焦点レンズ装置の焦点位置は液
封レンズのレンズ形状で決まり、同レンズ形状は圧電ア
クチュエータの変位で決まり、同変位は圧電アクチュエ
ータに注入されている電荷量で決まる。それゆえ、圧電
アクチュエータに印加されている電荷量の測定値に基づ
いて、可変焦点レンズ装置の焦点位置を算出することが
できる。その結果、互いに異なる焦点位置で撮像された
複数枚分の画像のそれぞれについて、焦点位置を付与す
ることが可能になる。

【００８３】したがって本手段によれば、前述の第１２
手段の効果に加えて、測定値に基づいて可変焦点レンズ
装置の焦点位置を各画像に付与することができ、正確な
立体数値モデルを生成することが可能になるという効果
がある。

【００８４】（第１６手段）本発明の第１６手段は、請
求項１６記載の全焦点撮像装置である。

【００８５】本手段では、前述の第１２手段において、
圧電アクチュエータの変位の測定値に基づいて、可変焦
点レンズ装置の焦点位置が算出される。すなわち、可変
焦点レンズ装置の焦点位置は液封レンズのレンズ形状で
決まり、同レンズ形状は圧電アクチュエータの変位で決
まる。それゆえ、圧電アクチュエータの変位の測定値に
基づいて、可変焦点レンズ装置の焦点位置を算出するこ
とができる。その結果、互いに異なる焦点位置で撮像さ
れた複数枚分の画像のそれぞれについて、焦点位置を付
与することが可能になる。

【００８６】したがって本手段によれば、前述の第１２
手段の効果に加えて、測定値に基づいて可変焦点レンズ
装置の焦点位置を各画像に付与することができ、正確な
立体数値モデルを生成することが可能になるという効果
がある。

【００８７】（第１７手段）本発明の第１７手段は、請
求項１７記載の全焦点撮像装置である。

【００８８】本手段では、前述の第１手段において、可
変焦点レンズ装置の焦点位置は、制御手段が駆動手段に
与える信号に基づいて算出算出されるので、何らセンサ
等を付加することなく、焦点位置の算出が可能である。

【００８９】したがって本手段によれば、前述の第１手
段の効果に加えて、可変焦点レンズ装置の焦点位置を各
画像に付与することができ、正確な立体数値モデルを生
成することが可能になるという効果がある。また、前述
の第１４手段ないし第１６手段と異なり、何らセンサを
付加する必要がないので、これらの手段よりも安価にな
るという効果もある。

【００９０】（第１８手段）本発明の第１８手段は、請
求項１８記載の全焦点撮像装置である。

【００９１】本手段では、前述の第１手段において、画
像メモリは、画像信号を一列の画素からなるライン状の
区画に分割して格納するラインメモリである。ラインメ
モリは、回路規模が小さく安価なうえに、素子サイズも
消費電力も小さいので、その分だけ全焦点撮像装置を小
型かつ安価にしその消費電力を低減することができる。
それゆえ、内視鏡やマイクロマシンなどの小型軽量化要
求の高い用途に対しても、その要求に応えやすくなる。

【００９２】したがって本手段によれば、前述の第１手
段の効果に加えて、コストダウンと小型軽量化と消費電
力低減とが可能になるという効果がある。

【００９３】（第１９手段）本発明の第１９手段は、請
求項１９記載の全焦点撮像装置である。

【００９４】本手段では、前述の第１手段において、画
像メモリは、画像信号を二次元の広がりがあるフレーム
状の区画ごと格納するフレームメモリである。フレーム
メモリは、ある程度大きな二次元の広がりをもった区画
ごと、画像信号を一度に格納してしまい、一度に読み出
すことができるので、高速処理が可能になる。なお、フ
レームメモリとしては、一画面または複数画面をそっく
りそのまま格納できるだけの容量をもったものを採用す
ることが処理速度の点から望ましい。

【００９５】したがって本手段によれば、前述の第１手
段の効果に加えて、高速処理が可能になるという効果が
ある。

【００９６】（第２０手段）本発明の第２０手段は、請
求項２０記載の全焦点撮像装置である。すなわち、本手
段の全焦点撮像装置において、画像処理手段は、合焦点
画像および立体数値モデルのうち少なくとも後者を生成
するデジタル演算手段である。そしてこの画像処理手段
は、立体数値モデルの生成にあたって空間的な高周波ノ
イズを除去するノイズ除去フィルタをもつことを特徴と
する。

【００９７】すなわち、ノイズ除去フィルタなしで画像
処理が行われると、観察対象のエッジ部分や段差部分な
ど、合焦点位置が位置によって急変している部分では、
合焦点判定に誤差が生じやすく、このような誤差は空間
的な高周波成分として現れる。その結果、立体数値モデ
ルのエッジ部分や段差部分などがささくれ立ってしま
い、立体数値モデルのデータに観察対象にはない乱れが
形成されてしまうことが多い。

【００９８】そこで本手段では、ノイズ除去フィルタに
よって空間的な高周波成分を取り除き、立体数値モデル
から高周波ノイズを除去することにより、観察対象の立
体数値モデルをより滑らかで正確なものにすることが可
能になる。

【００９９】したがって本手段によれば、前述の第１手
段の効果に加えて、段差やエッジのある観察対象に対し
ても、その立体数値モデルをより滑らかで正確なものに
することが可能になるという効果がある。

【０１００】（第２１手段）本発明の第２１手段は、請
求項２１記載の全焦点撮像装置である。本手段は、前述
の第２０手段をより具体的に特定したものであり、立体
数値モデルを空間周波数領域に変換してフィルタリング
をかけるところに特徴がある。

【０１０１】本手段では、前述の第２０手段において、
ノイズ除去フィルタは、立体数値モデルをいったん空間
周波数成分に変換する正変換と、空間周波数成分から高
周波成分を除去するフィルタリングと、高周波成分が除
去された空間周波数成分を再び立体数値モデルに戻す逆
変換とを行うデジタルフィルタである。空間周波数成分
にフィルタリングをかけるので、空間周波数のうちノイ
ズが多い高周波成分だけを除去することが可能になると
もに、フィルタリングに様々な手法を適用することが可
能になり有効な選択肢が増える。

【０１０２】したがって本手段によれば、前述の第２０
手段の効果に加えて、空間周波数のうちノイズが多い高
周波成分だけを除去することが可能になるともに、フィ
ルタリングに様々な手法を適用することが可能になり有
効な選択肢が増えるという効果がある。

【０１０３】（第２２手段）本発明の第２２手段は、請
求項２２記載の全焦点撮像装置である。本手段は、前述
の第２１手段の変換方法を選択的に特定するものであ
る。

【０１０４】本手段では、前述の第２１手段において、
正変換の方法は、離散コサイン変換法、離散サイン変換
法、フーリエ変換法および高速フーリエ変換法のうちい
ずれかであり、当然逆変換の方法は、正変換の方法に対
応する方法である。これらの方法のうち、離散コサイン
変換法を採用した場合には、正変換および逆変換に、既
製品のＭＰＥＧの圧縮処理ＬＳＩおよび解凍処理ＬＳＩ
を用いることができるので、開発期間が短縮されるうえ
に安価である。また、高速フーリエ変換法を使用した場
合にも、市販の専用チップを採用できるので、安価にす
ますことができる。

【０１０５】したがって本手段によれば、前述の第２１
手段の効果に加えて、前述のような特定の変換方法を選
択することにより、製品をより安価に提供できるように
なるという効果がある。

【０１０６】（第２３手段）本発明の第２３手段は、請
求項２３記載の全焦点撮像装置である。本手段は、前述
の第２０手段をより具体的に特定したものである。

【０１０７】本手段では、前述の第２０手段において、
ノイズ除去フィルタは、立体数値モデルに対して移動平
均および全平均のうち一方を取ることにより高周波ノイ
ズを除去するデジタルフィルタである。すなわち、本手
段では前述の第２１手段ないし第２２手段と異なり、立
体数値モデルを空間周波数成分に正変換することも、フ
ィルタリングされた空間周波数成分を立体数値モデルに
逆変換することもない。それゆえ、正変換および逆変換
の演算処理を行う必要がないので、演算負荷が大幅に低
減され、立体数値モデルのフィルタリング処理の大幅な
高速化と、製品のコストダウンとが可能になる。

【０１０８】したがって本手段によれば、前述の第２０
手段の効果に加えて、立体数値モデルのフィルタリング
処理の大幅な高速化と、製品のコストダウンとが可能に
なるという効果がある。

【０１０９】（第２４手段）本発明の第２４手段は、請
求項２４記載の全焦点撮像装置である。本手段も、前述
の第２０手段をより具体的に特定したものである。

【０１１０】本手段では、前述の第２０手段において、
ノイズ除去フィルタは、画像信号を複数の画素からなる
区画毎にまとめ、各区画内で最も発生頻度が高い輝度値
および輝度値の平均値のうち一方で、区画内の各画素の
各画像信号を統一するデジタルフィルタである。すなわ
ち前述の第２３と同様に、立体数値モデルを空間周波数
成分に正変換することも、フィルタリングされた空間周
波数成分を立体数値モデルに逆変換することもない。そ
ればかりではなく、所定の区画内の輝度を、最も発生頻
度が高い輝度値および輝度値の平均値のうち一方で統一
してしまうだけであるので、やはり演算負荷が小さくな
る。その結果、演算負荷が大幅に低減され、立体数値モ
デルのフィルタリング処理の大幅な高速化と、製品のコ
ストダウンとが可能になる。

【０１１１】したがって本手段によっても、前述の第２
３手段と同様に、立体数値モデルのフィルタリング処理
の大幅な高速化と、製品のコストダウンとが可能になる
という効果がある。

【０１１２】（第２５手段）本発明の第２５手段は、請
求項２５記載の全焦点撮像装置である。

【０１１３】本手段では、前述の第１手段において、制
御手段は、駆動手段を制御して焦点位置を連続的に移動
させ、撮像手段を制御して焦点位置の移動中に連続撮影
させる。ここで、必要とされる焦点位置の移動速度は、
一枚の画像の撮影に必要な撮像手段の露光時間と、必要
な画像の枚数と、被写界深度などとによって異なる。焦
点位置の移動速度への要求がかなり高くても、前述の第
１２手段で説明したような可変焦点レンズ装置を使用す
ると、焦点位置の移動速度の要求にはたいてい応えるこ
とができるようになる。すると、ごく短時間のうちに焦
点位置の異なる多数の画像を撮像することができ、動き
の激しい観察対象やごく短いシャッターチャンスしかな
い観察対象に対しても、全焦点画像や立体数値モデルの
生成が可能になる。

【０１１４】したがって本手段によれば、前述の第１手
段の効果に加えて、動きの激しい観察対象やごく短いシ
ャッターチャンスしかない観察対象に対しても、全焦点
画像や立体数値モデルの生成が可能になるという効果が
ある。

【０１１５】なお、焦点位置の移動パターンとしては、
正弦波状、三角波状およびノコギリ波状など、多様なパ
ターンがあり得るので、可変焦点レンズ等の種類と使用
目的とに合わせて最も適した移動パターンを選ぶとよ
い。

【０１１６】（第２６手段）本発明の第２６手段は、請
求項２６記載の全焦点撮像装置である。

【０１１７】本手段では、前述の第１手段において、制
御手段は、駆動手段を制御して焦点位置を階段状に時間
変化させ、撮像手段を制御して焦点位置の各停止時に撮
像させる。すると、撮像手段が撮像している間は焦点位
置を固定しておくことができるので、前述の第２５手段
ほど短時間での全焦点撮像はできないが、撮像される多
数の画像の一枚一枚において焦点ぶれがなくなる。その
結果、より鮮明な合焦点画像やより正確な立体数値モデ
ルが生成されるようになる。

【０１１８】したがって本手段によれば、前述の第１手
段の効果に加えて、撮像される多数の画像の一枚一枚か
ら焦点ぶれがなくなって、より鮮明な合焦点画像やより
正確な立体数値モデルが生成されるという効果がある。

【０１１９】（第２７手段）本発明の第２７手段は、請
求項２７記載の全焦点撮像装置である。本手段は、前述
の第２５手段の長所と第２６手段の長所とを組み合わ
せ、短い撮像時間でより鮮明な合焦点画像やより正確な
立体数値モデルが生成されるようにしたものである。

【０１２０】本手段では、前述の第１手段において、制
御手段は、焦点位置を連続的に移動させつつ連続撮像す
るプレビュー動作と、このプレビュー動作の間に観察対
象が存在する焦点位置の範囲を判定する範囲判定処理
と、この範囲において焦点位置を階段状に移動させつつ
焦点位置の各停止時に撮像する本撮像動作とを行うよう
制御を行う。

【０１２１】先ず、プレビュー動作では、前述の第２５
手段で説明したように、焦点位置は高速で連続的に移動
させられ、その間に撮像手段は複数枚の焦点位置が異な
る画像をごく短時間のうちに連続撮像する。そして、範
囲判定処理では、これらの画像で合焦点判定を行うこと
により、プレビュー動作での焦点位置の移動範囲のう
ち、どの範囲に観察対象が存在するのかが判定される。
ここで、範囲判定処理は、プレビュー動作が済んでから
行われてもよいが、撮像時間の短縮要求が高い場合には
プレビュー動作と並行してリアルタイムまたは準リアル
タイムで行われることが望ましい。範囲判定処理によっ
て観察対象の存在範囲が明らかになったら、次に本撮像
動作が行われる。すなわち、焦点位置の移動可能範囲の
うち観察対象が存在する範囲にわたって焦点位置が階段
状に移動し、その際、焦点位置の各停止時に撮像が行わ
れる。

【０１２２】このようにプレビュー動作と本撮像動作と
の二段階に分けて撮像することにより、プレビュー動作
で得た画像に基づいて撮像すべき焦点位置の範囲が限定
されるので、本撮像動作が短時間で済む。その結果、プ
レビュー動作も本撮像動作も短時間で済むので、全体の
撮像時間も短くて済みながら、本撮像動作で焦点位置を
固定した焦点ぶれのない画像が撮像されるので、より鮮
明な合焦点画像やより正確な立体数値モデルが得られ
る。

【０１２３】あるいは、本撮像動作の撮像時間はあまり
短くならないが、本撮像動作での焦点位置の移動ステッ
プを小刻みにし、より多数枚の画像を撮像してよりいっ
そう鮮明な合焦点画像やよりいっそう正確な立体数値モ
デルが得られるようにしてもよい。

【０１２４】したがって本手段によれば、前述の第１手
段の効果に加えて、短い撮像時間のうちに、より鮮明な
合焦点画像やより正確な立体数値モデルが得られるとい
う効果がある。

【０１２５】（第２８手段）本発明の第２８手段は、請
求項２８記載の全焦点撮像装置である。

【０１２６】本手段では、前述の第１手段において、制
御手段は、駆動手段を制御し、可変焦点レンズの被写界
深度に応じて焦点位置の移動速度を調整する。すなわ
ち、一枚の画像を撮像する間に、被写界深度の範囲内で
しか焦点位置が移動していなければ、その画像ではほと
んど焦点ぶれが生じず、焦点位置を連続的に移動させて
いても焦点位置を階段状に移動させて静止時に撮像した
場合に準ずる鮮明な画像が撮像される。それゆえ、焦点
位置を連続的に移動させて短時間で連続撮像されていて
も、比較的長時間をかけて焦点位置を階段状に移動させ
て静止時に撮像した場合に準ずる鮮明な画像が得られ
る。その結果、短時間のうちに鮮明な合焦点画像や正確
な立体数値モデルが生成される。

【０１２７】したがって本手段によれば、前述の第１手
段の効果に加えて、被写界深度の範囲内で各画像が撮像
されるよう焦点位置の移動速度が適正に調整されていれ
ば、短時間のうちに鮮明な合焦点画像や正確な立体数値
モデルを生成することができるという効果がある。

【０１２８】（第２９手段）本発明の第２９手段は、請
求項２９記載の全焦点撮像装置である。

【０１２９】本発明のように、合焦点画像を選択して観
察対象の全体に焦点の合った合焦点画像を作成したり合
焦点位置に基づいて立体数値モデルを生成しようとする
と、各画素または各区画について合焦点判定ができるこ
とが必須である。ところが、光学軸方向の位置が異なっ
ていても（つまり高低差があっても）、周囲との輝度や
色彩のコントラストがないと、合焦点判定が正確にでき
なくなるので、合焦点位置を正確に検出することができ
なくなる。

【０１３０】すると、合焦点画像の生成においては、多
少のピンぼけがあっても周囲とコントラストがなけれ
ば、合焦点画像とほぼ同様の画像が得られるので、問題
は少ない。しかし、立体数値モデルの生成にあたって
は、合焦点判定が正確にできないと合焦点位置の検出に
誤差を生じるので、立体数値モデルの表す形状が実際の
観察対象とは異なってしまい、不都合である。

【０１３１】本手段は、このような不都合をなくすため
に、観察対象においてコントラストがなくても正確な合
焦点判定ができ、精密な立体数値モデルを生成すること
を目的に、発明者らが工夫を凝らしたものである。

【０１３２】本手段では、前述の第１手段において、少
なくとも焦点位置に結像する光学マーカを観察対象に投
影するマーカ投影手段をさらに有する。マーカ投影手段
が、焦点位置に結像する光学マーカを観察対象に投影す
ると、観察対象のうち撮像時の焦点位置にある部分にだ
け光学マーカが鮮明に投影される。それゆえ、通常の照
明下においてはコントラストがない観察対象の表面に
も、焦点位置においてだけ鮮明なコントラストが生じる
ようになり、正確な合焦点判定ができるようになる。そ
の結果、観察対象の表面に投影された光学マーカを観察
することにより、精密な立体数値モデルを生成すること
が可能になる。

【０１３３】したがって本手段によれば、前述の第１手
段の効果に加えて、観察対象自体にコントラストがなく
ても正確な合焦点判定ができ、精密な立体数値モデルを
生成することができるという効果がある。

【０１３４】なお、マーカ投影手段は、焦点位置にだけ
鮮明に結像する光学マーカを投影するものであってもよ
い。あるいは、平行光線を生じて焦点位置だけでなく無
限遠にまで鮮明に結像する光学マーカや、スリット等を
通した光学マーカを投影するものであってもよい。

【０１３５】ところで、合焦点判定をできるようにする
ために光学マーカを用いると、立体数値モデルの生成に
はよいが、合焦点画像には光学マーカまでもが撮像され
て邪魔になるという不都合が起こりうる。そこで発明者
らは、合焦点画像を撮像する際に光学マーカの像が邪魔
になることを避ける目的で、以下の第３０手段および第
３１手段を発明した。

【０１３６】（第３０手段）本発明の第３０手段は、請
求項３０記載の全焦点撮像装置である。

【０１３７】本手段では、前述の第２９手段において、
マーカ投影手段は、光学マーカを点滅させることがで
き、制御手段は、光学マーカの点滅に同期して撮像手段
および画像処理手段を制御して、光学マーカの投影中に
合焦点判定を行い、光学マーカの消灯中に画像メモリへ
の画像信号の取り込みを行う。すなわち、光学マーカの
点灯中に合焦点判定が行われ、光学マーカの消灯中に合
焦点画像のうち合焦点部分の画像信号の取り込みが行わ
れる。その結果、観察対象自体にコントラストがなくて
も正確な合焦点判定ができ、精密な立体数値モデルを生
成することができるだけではなく、光学マーカが写って
いない合焦点画像を生成することもできるようになる。

【０１３８】したがって本手段によれば、前述の第２９
手段の効果が得られながら、光学マーカが写っていない
合焦点画像を生成することができるようになるという効
果がある。

【０１３９】（第３１手段）本発明の第３１手段は、請
求項３１記載の全焦点撮像装置である。すなわち、本手
段は、前述の第２９手段において、光学マーカの波長帯
に感度を有するマーカ撮像手段をさらに有する全焦点撮
像装置である。そしてさらに、本手段には、マーカ投影
手段は、撮像手段の撮像波長帯域を外れた波長帯で光学
マーカを投影し、画像処理手段は、マーカ撮像手段から
得られた画像信号に基づいて合焦点判定を行うという特
徴がある。

【０１４０】本手段では、マーカ投影手段は、撮像手段
の撮像波長帯域を外れた波長帯で光学マーカを投影する
ので、撮像手段には光学マーカ感知されず合焦点画像に
は光学マーカが写らない。一方、本手段には光学マーカ
の波長帯に感度を有するマーカ撮像手段が装備されてい
るので、マーカ撮像手段によって撮像される光学マーカ
のぼやけ具合を検討することによって、合焦点判定をす
ることが可能になっている。

【０１４１】しかも本手段では、前述の第３０手段と異
なって、光学マーカを点灯したまま合焦点画像の撮像を
行っても合焦点画像に光学マーカが写らないので、光学
マーカを点滅させる必要がなくなる。それゆえ、第３０
手段よりも短時間で合焦点判定および撮像が可能にな
り、その結果、合焦点画像の撮像に要する時間が第３０
手段よりも短縮される。

【０１４２】したがって本手段によれば、前述の第３０
手段と同様の効果が得られるばかりではなく、第３０手
段よりも合焦点画像の撮像に要する時間が短縮されると
いう効果がある。

【０１４３】

【発明の実施の形態】本発明の全焦点撮像装置の実施の
形態については、当業者に実施可能な理解が得られるよ
う、以下の実施例で明確かつ十分に説明する。

【０１４４】［実施例１］ （実施例１の構成）本発明の実施例１としての全焦点撮
像装置は、図１に示すように、可変焦点レンズ装置１
と、その焦点位置を変更する可変焦点レンズ駆動回路２
と、撮像手段３と、マイクロコンピュータ４と、液晶デ
ィスプレイ５とを有する。

【０１４５】可変焦点レンズ装置１は、観察対象に対す
る焦点位置が可変である可変焦点レンズ１１と、可変焦
点レンズ１１の焦点位置（合焦点面Ｆの位置）を変更す
る複数のアクチュエータ１２と、固定レンズ１３とから
主に構成されている。ここで、可変焦点レンズ１１は、
表裏の差圧によって曲率が可変な一対の透明弾性膜とこ
れらの透明弾性膜によって形成される内部空間に封入さ
れた透明液体とをもつ液封レンズ１１である。また、複
数のアクチュエータ１２は、それぞれ複数の圧電素子
（圧電バイモルフ）が積層されてなる圧電アクチュエー
タ１２である。そして、液封レンズ１１と圧電アクチュ
エータ１２と固定レンズ１３とは、互いに一体に組み付
けられて可変焦点レンズ装置１を形成している。可変焦
点レンズ装置１は、観察対象を拡大して撮像手段３に結
像する機能をもつ顕微鏡である。なお、可変焦点レンズ
装置１の構成は、前述の特開平９−２３０２５２号公報
に開示されている可変焦点レンズ部と同様であるので、
可変焦点レンズ装置１の詳しい構成を知りたい場合に
は、同公報を参照されたい。

【０１４６】可変焦点レンズ駆動回路２は、これらの圧
電アクチュエータ１２に適正な電圧を印加し、全ての圧
電アクチュエータ１２を同期して駆動する駆動手段であ
る。また、撮像手段３は、可変焦点レンズ１１を通して
結像した画像を画素毎の画像信号として出力する機能を
もち、固体撮像素子としてのＣＣＤ素子３１とＣＣＤ駆
動回路３２とから構成されている。そして、ＣＣＤ素子
３１の撮像面は、液封レンズ１１および固定レンズ１３
を通して観察対象が結像する位置に、可変焦点レンズ装
置１に対して固定されている。

【０１４７】マイクロコンピュータ４は、撮像手段３か
らの画像信号を複数枚分に渡って格納可能な画像メモリ
４１と、これら複数枚分の画像信号のうち最も焦点が合
っているものを画素毎に判定して抽出し一枚の合焦点画
像を生成する画像処理手段４２と、全焦点撮像装置全体
を制御する制御手段４３とを有する。ここで、画像処理
手段４２による合焦点画素の判定は、各画素およびその
周辺画素がもつ空間周波数の焦点位置に関するピーク判
定によって行われる。また、画像メモリ４１はフレーム
メモリであって、画像信号を一枚分ずつまとめて高速で
入出力することができる。

【０１４８】液晶ディスプレイ５は、前記合焦点画像を
提供する表示装置であり、マイクロコンピュータ４の制
御手段４３によって提供される画像を表示する。すなわ
ち、マイクロコンピュータ４の制御手段４３は、前述の
可変焦点レンズ駆動回路２、固体撮像素子３、画像メモ
リ４１、画像処理手段４２、および液晶ディスプレイ５
を適正に同期して制御する機能をもつ。

【０１４９】（実施例１の作用効果）本実施例の全焦点
撮像装置は、以上のように構成されているので、以下の
ような作用効果を発揮する。

【０１５０】先ず、観察対象の一例として、図２に示す
ように、大中小の円筒体が重ねられ、互いに高さが異な
る上面、中間面および低面がある物体を定め、同物体の
直上から可変焦点レンズ装置１で観察するものとする。

【０１５１】次に、可変焦点レンズ装置１の焦点位置
は、図３に示すように、所定の時間をおいて段階的に所
定のピッチで階段状に変更される。このような焦点位置
の変更は、再び図１に示すように、マイクロコンピュー
タ４の制御手段４３によって制御される可変焦点レンズ
駆動回路２によって、可変焦点レンズ装置１の圧電アク
チュエータ１２が駆動され、液封レンズ１１の度数が変
更されて行われる。ここで、非常に小型の圧電アクチュ
エータ１２で液封レンズ１１の度数を変える応答速度は
非常に速く、全ストロークの往復運動を数百Ｈｚの振動
数で行うことができるので、焦点位置のわずかな変更は
数十マイクロ秒程度で可能である。

【０１５２】この際、ＣＣＤ素子３１の撮影レートも数
百Ｈｚ程度まで上げることができ、しかも制御手段４３
によって可変焦点レンズ装置１の焦点位置の変動に同期
して撮像するように制御されている。すなわち、再び図
３に示すように、可変焦点レンズ装置１の焦点位置が一
定に保たれている間に、ＣＣＤ素子３１による撮像が行
われる。

【０１５３】それゆえ、図４に示すように、焦点位置が
少しずつ異なる多数枚分の画像が撮像され、順次、マイ
クロコンピュータ４の制御手段４３を経て画像メモリ４
１に記録される（図１参照）。ここで、可変焦点レンズ
装置１によって変更される焦点位置のストロークの範囲
に、観察対象の全体が入っているように可変焦点レンズ
装置１は調製されているものとする。すると、これらの
多数枚分の画像のうちには、観察対象の上面に焦点位置
が合っている（合焦点している）ものと、観察対象の中
間面に合焦点しているものと、観察対象の低面に合焦点
しているものとが含まれているはずである。

【０１５４】以上のようにして所定の焦点位置のストロ
ークの範囲で多数枚分の画像の撮像が行われると、観察
対象の全ての部分に合焦点した（ピントがあった）合焦
点画像を得るためには、どの画像のどの画素が合焦点画
素であるかを判定しなくてはならない。この合焦点判定
には、マイクロコンピュータ４の画像処理手段４２が当
たる。

【０１５５】すなわち、画像処理手段４２による合焦点
画素の判定は、焦点位置が少しずつ異なる多数枚分の画
像のうち、各画素およびその周辺画素がもつ空間周波数
の焦点位置に関するピーク判定によって行われる。

【０１５６】たとえば、図５に示すように、合焦点判定
が行われるべき画素の座標が（ｉ，ｊ）であるとし、当
該画素を中心にして５画素×５画素の区画を想定する。
すると、同区画内の任意の画素は、座標（ｐ，ｑ）で特
定されるので、次の数１に従い、ｋ＝２と置いて同区画
内の輝度の擬似的な空間周波数Ｖ（ｉ，ｊ）を算出する
ことができる。

【０１５７】

【数１】

【０１５８】ただし、Ｙ（ｐ，ｑ）は各画素のもつ輝度
である。

【０１５９】ある画像において、座標（ｉ，ｊ）の画素
を中心とする区画に焦点が合った場合には、輝度Ｙ
（ｐ，ｑ）の分布がもつ空間周波数Ｖ（ｉ，ｊ）は、極
大値を取る。その結果、合焦点判定が行われる画素の周
囲の画素に関する輝度情報も使用されて、当該画素の合
焦点判定が行われるので、より精密な合焦点判定が行わ
れる。なお、この合焦点判定の際、全ての画像について
空間周波数Ｖ（ｉ，ｊ）を求める必要はなく、数値計算
の常套手段としての極大値を求めるアルゴリズムを使用
して、演算負荷を低減することができる。

【０１６０】ここで、空間周波数Ｖ（ｉ，ｊ）を求める
区画を５×５としたが、発明者らの知見として、ＣＣＤ
素子３１の解像度と同等程度に非常にきめの細かい画像
に対しては、３×３の区画を採用し、ｋ＝１として前記
数１を算出すると良い。一方、ＣＣＤ素子３１の解像度
に比較してずっと濃淡のきめが粗い画像に対しては、７
×７，９×９，・・・のように、空間周波数Ｖ（ｉ，
ｊ）を算出する区画を広く取っておく方が、適正な合焦
点判定をすることが可能になる。なお、同区画は、必ず
しも正方形であることを要しない。

【０１６１】以上のようにして合焦点判定されて選別さ
れた画素は、制御手段４３によって画像メモリ４１のう
ち他のアドレスに画素配置に従って記録される。すなわ
ち、図６に示すように上面に焦点があった画像と、図７
に示すように中間面に焦点が合った画像と、図８に示す
ように低面に焦点があった画像とのうちから、合焦点部
分の画素だけが選択的に抽出される。そして、画像メモ
リ４１に画素配置に従って記録されるので、図９に示す
ように、観察対象の全ての部分に焦点があった合焦点画
像が画像メモリ４１の中に生成される。

【０１６２】すなわち、全ての画素について合焦点判定
が完了すると、画像メモリ４１には新たに一枚の合焦点
画像（観察対象の全ての部分に焦点があった画像）が生
成される。この合焦点画像は、生成され次第、制御手段
４３により液晶ディスプレイ５に映し出されるので、ほ
とんど時間遅れなしに、合焦点画像による観察対象の観
察を行うことが可能になる。なお、画像処理手段４２を
並列処理プロセッサで形成すれば、この時間遅れをより
いっそう短縮することができる。

【０１６３】また、図３を参照して説明した前述の多画
像撮像シーケンスは、焦点位置を往復させながら繰り返
し行うことができ、その度に新たな合焦点画像が生成さ
れて液晶ディスプレイ５に表示される。それゆえ、液晶
ディスプレイ５には準リアルタイムで合焦点画像が提供
されるので、観察対象に動きがある場合にも、準リアル
タイムでの観察対象の動作なり形状なりを合焦点画像で
観察することが可能になる。

【０１６４】さらに、画像処理手段４２には、何枚目の
画像から取り出した画素であるかを判別して等高線地図
のようにグラデーションを付けて当該画素に着色し、色
分けした等高面図を画像メモリ４１に記録する機能も付
与されている。その結果、準リアルタイムで観察対象の
合焦点画像を観察することができるばかりではなく、観
察対象の高さ方向の位置情報が色分けで盛り込まれた等
高面図をも準リアルタイムで液晶ディスプレイ５に表示
させることができる。それゆえ、観察者は観察対象の高
さ方向の形状や動きについても、準リアルタイムで情報
を得て立体的に観察対象の動きなり形状なりを認識する
ことができるようになる。

【０１６５】したがって、本実施例の全焦点撮像装置に
よれば、観察対象の合焦点画像を準リアルタイムの動画
で表示することができるので、合焦点画像による準リア
ルタイムでの観察対象の観察が可能になるという効果が
ある。

【０１６６】そればかりではなく、観察対象の高さ方向
の位置情報が色分けで盛り込まれた等高面図をも準リア
ルタイムで液晶ディスプレイ５に表示させることができ
る。それゆえ、観察者は観察対象の各部の高さ方向の位
置についても、準リアルタイムで情報を得て立体的に観
察対象の動きや形状を認識することができるようになる
という効果がある。

【０１６７】（実施例１の変形態様１）本実施例の変形
態様１として、図１０に示すように、正方形の区画では
なく、合焦点判定を行う画素を中心とする十字状の区画
について、次の数２に従って擬似的な空間周波数Ｖ
（ｉ，ｊ）を算出する全焦点撮像装置の実施も可能であ
る。

【０１６８】

【数２】

【０１６９】本変形態様によれば、演算負荷を減らすこ
とができるので、より高速の処理が可能になり、観察の
リアルタイム性が向上するという効果がある。

【０１７０】なお、このように十字状に区画を取る代わ
りに、Ｘ字状に区画を取って空間周波数Ｖ（ｉ，ｊ）を
算出することもでき、本変形態様とほぼ同等の効果を挙
げることができる。

【０１７１】（実施例１の変形態様２）本実施例の変形
態様２として、画像処理手段４２による合焦点画素の判
定は、各画素がもつ輝度の焦点位置に関する差分値の正
負反転によって行われる全焦点撮像装置の実施が可能で
ある。

【０１７２】すなわち、図１１の上半部に示すように、
判定される画素の輝度が周囲の輝度よりも高い場合、そ
の画素に焦点が合っている画像では、輝度がその前後の
画像での当該画素の輝度よりも高いので、当該画素の前
後を調べれば輝度の極大値が得られる。それゆえ、当該
画素の前後では輝度の差分値が正から負へと反転してい
るので、それぞれの画素がもつ輝度の焦点位置に関する
差分値の正負反転によって合焦点画素の判定を行うこと
ができる。

【０１７３】逆に、図１１の下半部に示すように、判定
される画素の輝度が周囲の輝度よりも低い場合、その画
素に焦点が合っている画像では、輝度がその前後の画像
での当該画素の輝度よりも低いので、当該画素の前後を
調べれば輝度の極小値が得られる。それゆえ、当該画素
の前後では輝度の差分値が負から正へと反転しているの
で、やはり、それぞれの画素がもつ輝度の焦点位置に関
する差分値の正負反転によって合焦点画素の判定を行う
ことができる。

【０１７４】もちろん、輝度の極大値または極小値を探
索する上で、通常の数値計算で使われる探索アルゴリズ
ムを採用することにより、全ての画像について輝度を調
べる必要がなくなるので、演算負荷を低減することがで
きる。

【０１７５】以上のように、本変形態様の全焦点撮像装
置では、それぞれの画素について、その周囲の画素との
相関関係を省みることなく、当該画素単独で輝度の変化
を観測することにより、当該画素の輝度の差分値の正負
反転をもって合焦点の判定がなされる。それゆえ、画像
処理手段４２において、合焦点画素の判定に要する演算
負荷が極めて小さいので、リアルタイム性を向上させる
ことができ、安価な画像処理手段４２を採用することが
可能になる。

【０１７６】したがって、本変形態様の全焦点撮像装置
によれば、実施例１の効果に加えて、画像処理のリアル
タイム性が向上し、画像処理手段４２をコストダウンす
ることができるという効果がある。

【０１７７】そこでさらに、撮像手段３の露光時間と画
像処理手段４２の演算処理時間とを十分に短縮すること
ができるのであれば、焦点位置を階段状に変更する代わ
りに連続的に変更させて、リアルタイム性をよりいっそ
う向上させることも可能になる。

【０１７８】（実施例１の変形態様３）本実施例の変形
態様３として、画像処理手段４２による合焦点画素の判
定は、各前記画素およびその周辺画素がもつエントロピ
ーの焦点位置に関する最小判定によって行われる全焦点
撮像装置の実施が可能である。

【０１７９】すなわち、当該画素とその周辺画素に焦点
が合った場合には、輝度または各色の輝度の分布がもつ
エントロピーが極小値を取る。その結果、合焦点判定が
行われる画素の周囲の画素に関する輝度情報も使用され
て当該画素の合焦点判定が行われるので、より精密な合
焦点判定が行われるようになる。

【０１８０】より詳しく説明すると、合焦点時には、図
１２に示すように鮮明な画像が得られ、当該区画におい
て各画素が互いに同じ輝度をもつ確率が大きくなり、エ
ントロピーは最小になって極小値を取る。逆に、焦点位
置が合焦点位置から大きく外れていると、図１３に示す
ようにぼうっとしてコントラストが少なくなり、当該区
画において各画素が互いに同じ輝度をもつ確率が大きく
なってエントロピーは大きくなる。すなわち、合焦点位
置から焦点位置が離れるにつれてエントロピーは増大す
る。

【０１８１】本変形態様においてエントロピーを算出す
る演算式としては、次の数３を採用している。

【０１８２】

【数３】

【０１８３】ここで、Ｐｉはデータｉの発生確率であっ
て、たとえば、輝度が０〜２５５の２５６階調で当該区
画中に輝度ｉの画素がｎ個あるとすれば、Ｐｉ＝ｎ／２
５６である。

【０１８４】そればかりではなく、たとえば２×２なり
３×３のように、小さな区画毎にエントロピーを算出
し、画素毎ではなく区画毎に合焦点判定を行うようにす
れば、区画毎の合焦点判定が可能になる。その結果、画
素毎の合焦点判定が不要になり、区画毎に合焦点判定の
演算処理が行われるので、画像処理手段４２の演算負荷
が低減されて画像処理のリアルタイム性が向上するうえ
に、画像処理手段４２をコストダウンすることができる
という効果がある。

【０１８５】なお、エントロピーの算出方法にはいくつ
かあるが、エントロピーは厳密に演算される必要は必ず
しもなく、簡易化した演算アルゴリズムをもって近似的
に算出されても良い。

【０１８６】（実施例１の変形態様４）本実施例の変形
態様４として、画像処理手段４２による合焦点画素の判
定は、各画素およびその周辺画素の形成する区画におけ
る各画素の輝度の最大値と最小値との差である輝度振幅
の最大判定によって行われる全焦点撮像装置の実施が可
能である。本変形態様は、合焦点判定を行うべき当該画
素を含む小さな区画では、合焦点時には最も明るい画素
と最も暗い画素とのコントラストが最大になるとの知見
に基づいている。

【０１８７】ここで、図１４に示すように、たとえば５
×５の画素からなる正方形の区画内で輝度振幅を測るも
のとしよう。すると、図１５に示すように、輝度振幅Δ
は、最も明るい画素の輝度（最大輝度）ｆmax と最も暗
い画素の輝度（最小輝度）ｆmin との差Δ＝Ｆmax−Ｆm
inである。それゆえ、輝度振幅Δが最大になった焦点位
置をもって、その区画は合焦点位置にあり、その区画の
中央にある画素は、合焦点位置にあるものと判定され
る。

【０１８８】本変形態様での合焦点判定アルゴリズムの
特徴は、区画中の各画素の輝度の間で複雑な計算をする
必要が全くなく、単に各画素の輝度のうちでの最大値ｆ
maxと最小値ｆmin とを探し出し、その差Δ＝Ｆmax−Ｆ
minを取ることであるから、極めて簡素な処理であるこ
とである。それゆえ、同アルゴリズムの開発が容易であ
るばかりではなく、同アルゴリズムを処理するデジタル
演算手段の演算負荷は極めて低くなり、安価な演算手段
を使っても高速処理が可能になる。それでいながら、か
なり高い信頼性で合焦点判定が行われる。

【０１８９】したがって、本変形態様によれば、前述の
実施例１の効果に加えて、安価な演算手段を使っても高
速処理が可能になるうえに、かなり高い信頼性で合焦点
判定が行われるという効果がある。

【０１９０】（実施例１の変形態様５）本実施例の変形
態様５として、画像処理手段４２による合焦点画素の判
定は、各画素およびその周辺画素の形成する区画におけ
る離散コサイン変換係数の最大判定によって行われる。
本変形態様は、合焦点判定を行うべき当該画素の周辺で
は、焦点位置が合うとシャープな画像が得られるので、
離散コサイン変換係数の値が最大になるとの知見に基づ
いている。

【０１９１】本変形態様では、図１６に示すように、合
焦点判定をする区画において、いったん輝度値マトリク
スを離散コサイン変換により空間周波数マトリクスに変
換した後、次の数４に従って離散コサイン変換係数Ｄが
算出される。

【０１９２】

【数４】

【０１９３】そして、焦点位置が合って鮮明な画像が得
られ、合焦点判定をする区画においてコントラストが最
大になると、離散コサイン変換係数Ｄは最大になること
が知られている。逆に、焦点位置が外れて画像がぼやけ
てくるに従って、コントラストは小さくなり、離散コサ
イン変換係数Ｄが低下してくることも知られている。そ
れゆえ、離散コサイン変換係数Ｄの最大値が得られた焦
点位置をもって、合焦点位置と判定される。

【０１９４】ここで、離散コサイン変換処理を行うＬＳ
Ｉは、ＭＰＥＧの画像処理用にすでに開発されて市場に
出回っており、費用をかけて新たに専用ＬＳＩを開発す
ることなく、ＭＰＥＧ処理用ＬＳＩの既製品を安く購入
して使用することができる。しかも、既製品にはテレビ
画像用ものが多いので、毎秒３０回などの高いビデオレ
ートでの処理が安価な既製品よって可能である。それゆ
え、このような画像処理手段をもつ本変形態様の全焦点
撮像装置は、高速処理が可能であるうえに比較的廉価に
製造することができる。

【０１９５】したがって、本変形態様の全焦点撮像装置
によれば、合焦点判定を比較的高速で正確に行うことが
できながら、製品を比較的安価に提供することができる
という効果がある。

【０１９６】なお、離散コサイン変換係数Ｄの極大値を
求めるにあたっては、全ての焦点位置の同一区画につい
て求める必要はなく、極大値を求める公知の数値計算方
法を採用して、焦点位置に関してとびとびに離散コサイ
ン変換係数Ｄを算出してもよい。こうすれば、演算負荷
を減らすことができるので、合焦点判定に要する演算処
理時間が短縮されていっそう有利である。

【０１９７】（実施例１の変形態様６）本実施例の変形
態様６として、画像処理手段４２による合焦点画素の判
定は、複数の画素からなる区画毎に行われる全焦点撮像
装置の実施が可能である。本変形態様では、たとえば、
その区画における空間周波数、エントロピー、輝度振幅
および離散コサイン変換係数のうちいずれかを判定基準
にして行われる。すなわち、実施例１およびその変形態
様１，３〜５においては、たとえ周囲の区画をも検討対
象としても合焦点判定は画素毎に行われるのに対し、本
手段では、複数の画素からなる区画毎に合焦点判定が行
われる。

【０１９８】それゆえ、画素毎に合焦点判定がなされた
精緻な合焦点画像は得られないが、小さな区画毎に焦点
があった比較的鮮明な画像が得られる。しかも、合焦点
判定に要する演算処理負荷は、区画を形成する画素の数
が増えるほど、劇的に低下する。たとえば、２×２の画
素からなる区画では演算負荷が１／４に減り、３×３の
区画では演算負荷が１／９と約一桁も低減される。その
結果、合焦点判定に関して高速処理が可能になる。

【０１９９】したがって、本変形態様の全焦点撮像装置
によれば、たとえば前述の変形態様３や変形態様５より
も合焦点判定に要する演算負荷が大幅に低下し、高速処
理が可能なるという効果がある。

【０２００】なお、空間周波数、エントロピー、輝度振
幅および離散コサイン変換係数のうちいずれを合焦点判
定の指標にするかによって、発揮される特徴は異なる。
それぞれの特徴は、前述の各変形態様の説明ですでに明
らかにされているので、ここでは説明を省く。

【０２０１】（実施例１の変形態様７）本実施例の変形
態様７として、画像処理手段４２による合焦点画素の判
定は、各画素と複数の画素からなる区画とのうち一方
に、複数の互いに異なる判定法を適用して行われる全焦
点撮像装置の実施が可能である。ここで、各画素に対す
る合焦点判定の各種方法については、前述の実施例１お
よびその変形態様１〜５に説明されており、区画毎の合
焦点判定の各種方法については、前述の変形態様６に説
明されている。

【０２０２】本変形態様では、合焦点判定を単一の判定
法でなく複数の判定法を組み合わせて行うことにより、
複数の合焦点判定を複合的に利用して、より信頼性の高
い合焦点判定を行うことができる。複数の合焦点判定を
複合的に利用する方法としては、平均値を採る方法、多
数決で決める方法、集団から外れた値を棄却して標準偏
差を減らし残りの固まった値の中で平均を取る方法など
がある。複数の合焦点判定方法を組み合わせて用いるこ
とにより、それぞれの方法に固有の合焦点判定の偏りを
是正し、合焦点位置の判定精度を向上させることができ
る。

【０２０３】したがって、本変形態様の全焦点撮像装置
によれば、前述の実施例１およびその変形態様１〜６よ
りも合焦点判定の信頼性が向上し、合焦点判定に誤判定
が少なくなる。その結果、より鮮明な合焦点画像やより
正確な立体数値モデルが得られるようになるという効果
が得られる。

【０２０４】（実施例１の変形態様８）本実施例の変形
態様８として、画像処理手段４２による合焦点画素の判
定は、二段階の合焦点判定を行って、画素または区画の
合焦点位置の精度を向上させる全焦点撮像装置の実施が
可能である。ここで、二段階のうち最初の第一段階は、
単数または複数の画素からなる区画とその周辺の複数の
区画とに、それぞれ合焦点判定を行う段階である。次の
第二段階は、当該区画とその周辺の区画とからなる大区
画に関して合焦点判定を行い、当該区画の合焦点判定を
改める段階である。この際、第一段階と第二段階とで
は、同一の合焦点判定方法を用いてもよいし、互いに異
なる合焦点判定方法を用いてもよい。

【０２０５】すなわち、第一段階では、図１７に示すよ
うに、合焦点判定を行うべき区画とその周囲の区画とに
ついて、それぞれいったん合焦点判定が行われる。この
合焦点判定は、一枚の画像のうち全ての区画に対して均
等に行われる。すると、当該区画（領域１）だけではな
く、その周囲の区画（領域２〜９）についてもおおむね
正しい合焦点判定が行われている。

【０２０６】そして第二段階では、図１８に示すよう
に、第一段階の合焦点判定データが得られたうえで周囲
の区画も含めた区画（領域１〜９）からなる大区画につ
いて、改めて当該区画（領域１）の合焦点判定が行われ
る。それゆえ、領域１の合焦点位置は、領域２〜９の合
焦点位置にも基づいて改められる。すなわち、当該区画
（領域１）の合焦点判定にあたっては、隅の方から順に
合焦点判定が行われ、すでに第二段階の合焦点判定が終
わった領域では、第一段階の合焦点位置から第二段階の
合焦点位置にアップデートされる。その結果、周囲の領
域２〜９でもおおむね正確な合焦点位置が得られている
ので、当該区画（領域１）の合焦点判定はより精密にな
り、よりいっそう正確な合焦点位置が得られるようにな
る。

【０２０７】したがって、本変形態様の全焦点撮像装置
によれば、画素または区画の合焦点位置の精度がよりい
っそう向上し、極めて鮮明な合焦点画像や極めて正確な
立体数値モデルが得られるという効果がある。

【０２０８】（実施例１の変形態様９）本実施例の変形
態様９として、制御手段４３（図１参照）は、駆動手段
としての可変焦点レンズ駆動回路２を制御して焦点位置
を連続的に移動させ、撮像手段３を制御して焦点位置と
しての合焦点面Ｆの移動中に連続撮影させる全焦点撮像
装置の実施が可能である。ここで、焦点位置の移動パタ
ーンとしては、図１９に示すように、ノコギリ波状のパ
ターンが採用され、一定の速度で焦点位置が移動するよ
うになっている。

【０２０９】この際、必要とされる焦点位置の移動速度
は、一枚の画像の撮影に必要な撮像手段の露光時間と、
必要な画像の枚数と、被写界深度などとによって異な
る。焦点位置の移動速度への要求がかなり高くても、前
述の実施例１で説明したような可変焦点レンズ装置１を
使用すると、焦点位置の移動速度に関するたいていの要
求には応えることができるようになる。すると、ごく短
時間のうちに焦点位置の異なる多数の画像を撮像するこ
とができ、動きの激しい観察対象やごく短いシャッター
チャンスしかない観察対象に対しても、全焦点画像や立
体数値モデルの生成が可能になる。

【０２１０】そのうえで、本変形態様では鮮明な合焦点
画像が得られるように、制御手段４３は、駆動手段２を
制御し、可変焦点レンズとしての液封レンズ１１の被写
界深度に応じて焦点位置の移動速度を調整するようにな
っている。すなわち、本変形態様のように、一枚の画像
を撮像する間に、被写界深度の範囲内でしか焦点位置が
移動していなければ、その画像ではほとんど焦点ぶれが
生じず、焦点位置を連続的に移動させていても焦点位置
を階段状に移動させて静止時に撮像した場合に準ずる鮮
明な画像が撮像される。それゆえ、焦点位置を連続的に
移動させて短時間で連続撮像されていても、比較的長時
間をかけて焦点位置を階段状に移動させて静止時に撮像
した場合に準ずる鮮明な画像が得られる。その結果、短
時間のうちに鮮明な合焦点画像や比較的正確な立体数値
モデルが生成される。

【０２１１】したがって、本変形態様の全焦点撮像装置
によれば、動きの激しい観察対象やごく短いシャッター
チャンスしかない観察対象に対しても、短時間のうちに
鮮明な全焦点画像や比較的精密な立体数値モデルの生成
が可能になるという効果がある。

【０２１２】（実施例１の変形態様１０）本実施例の変
形態様１０として、制御手段４３は、駆動手段２を適正
に制御することにより、図２０に示すように焦点位置Ｆ
を階段状に時間変化させ、撮像手段を制御して焦点位置
の各停止時に撮像させる全焦点撮像装置の実施が可能で
ある。

【０２１３】すると、撮像手段が撮像している間は焦点
位置を固定しておくことができるので、前述の変形態様
９ほど短時間での全焦点撮像はできないが、撮像される
多数の画像の一枚一枚において焦点ぶれがなくなる。そ
の結果、より鮮明な合焦点画像やより正確な立体数値モ
デルが生成されるようになる。

【０２１４】したがって、本変形態様の全焦点撮像装置
によれば、撮像される多数の画像の一枚一枚から焦点ぶ
れがなくなって、より鮮明な合焦点画像やより正確な立
体数値モデルが生成されるという効果がある。

【０２１５】（実施例１の変形態様１１）本実施例の変
形態様１１は、前述の変形態様９の長所と変形態様１０
の長所とを組み合わせ、短い撮像時間でより鮮明な合焦
点画像やより正確な立体数値モデルが生成されるように
した全焦点撮像装置である。すなわち、本変形態様の全
焦点撮像装置の特徴は、プレビュー動作と範囲判定処理
と本撮像動作とが行われることである。

【０２１６】つまり、制御手段４３は、再び図１９の一
過程に示すように、焦点位置Ｆを素早く連続的に移動さ
せつつ連続撮像するプレビュー動作と、このプレビュー
動作の間に観察対象が存在する焦点位置Ｆの範囲を判定
する範囲判定処理と、再び図２０の一過程に示すよう
に、この範囲において焦点位置を階段状に移動させつつ
焦点位置の各停止時に撮像する本撮像動作とを行うよう
制御を行う。

【０２１７】先ず、プレビュー動作では、前述の変形態
様９で説明したように、焦点位置Ｆは高速で連続的に移
動させられ、その間に撮像手段３は複数枚の焦点位置が
異なる画像をごく短時間のうちに連続撮像する。この
際、焦点位置Ｆの移動速度は、被写界深度の範囲を大き
く超えていてもかまわない。プレビュー動作の目的は、
観察対象の存在する焦点位置の範囲を調べることにある
からである。

【０２１８】そして、範囲判定処理では、これらの画像
で合焦点判定を行うことにより、プレビュー動作での焦
点位置Ｆの移動範囲のうち、どの範囲に観察対象が存在
するのかが判定される。ここで、範囲判定処理は、プレ
ビュー動作が済んでから行われてもよいが、撮像時間の
短縮要求が高い場合にはプレビュー動作と並行してリア
ルタイムまたは準リアルタイムで行われることが望まし
い。範囲判定処理によって観察対象の存在範囲が明らか
になったら、次に本撮像動作が行われる。すなわち、焦
点位置の移動可能範囲のうち観察対象が存在する範囲に
わたって焦点位置が階段状に移動し、その際、焦点位置
の各停止時に撮像が行われる。

【０２１９】このようにプレビュー動作と本撮像動作と
の二段階に分けて撮像することにより、プレビュー動作
で得た画像に基づいて撮像すべき焦点位置の範囲が限定
されるので、本撮像動作が短時間で済む。その結果、プ
レビュー動作も本撮像動作も短時間で済むので、全体の
撮像時間も短くて済みながら、本撮像動作で焦点位置を
固定した焦点ぶれのない画像が撮像されるので、より鮮
明な合焦点画像やより正確な立体数値モデルが得られ
る。

【０２２０】あるいは、本撮像動作の撮像時間はあまり
短くならないが、本撮像動作での焦点位置の移動ステッ
プを小刻みにし、より多数枚の画像を撮像してよりいっ
そう鮮明な合焦点画像やよりいっそう正確な立体数値モ
デルが得られるようにしてもよい。

【０２２１】したがって、本変形態様の全焦点撮像装置
によれば、短い撮像時間のうちに、より鮮明な合焦点画
像やより正確な立体数値モデルが得られるようになると
いう効果がある。

【０２２２】（実施例１の変形態様１２）本実施例の変
形態様１２として、ＣＣＤ素子３１をモノクロ画像では
なくカラー画像を出力するものとした全焦点撮像装置の
実施が可能である。すなわち、前述の実施例１の記載で
は、各画素の輝度だけに注目していたので、暗黙のうち
にＣＣＤ素子３１はモノクロであることを前提にしてい
たが、本変形態様のようにカラーのＣＣＤ素子３１で実
施例１を構成することも可能である。あるいは、前述の
実施例１の各変形態様に対しても、カラー撮像として本
変形態様を適用することができる。

【０２２３】本変形態様によれば、観察対象を自然色画
像で準リアルタイム観察することが可能になるので、色
彩をもつ観察対象や色彩に変化がある観察対象を観察す
るのに都合が良いという効果がある。そればかりではな
く、ＲＧＢ三色の合成輝度によっては合焦点判定ができ
ない画素についても、ＲＧＢ三色のうちいずれかの輝度
で合焦点判定を行うことにより、輝度が同等でも色彩が
異なる部分の合焦点判定ができるようになるという効果
もある。

【０２２４】なお、本変形態様は、前述の実施例１だけ
にではなく、前述の各変形態様にも全て適用可能であ
る。

【０２２５】［実施例２］ （実施例２の構成）本発明の実施例２としての全焦点撮
像装置は、液晶ディスプレイ５への合焦点画像の動画の
表示のリアルタイム性（高速性ないし即時性）を追求し
たものである。本実施例の全焦点撮像装置の構成は、再
び図１に示すように、画像処理手段４２および制御手段
４３のソフトウェアの違いを除き、前述の実施例１の変
形態様２とほとんど同一である。

【０２２６】本実施例の全焦点撮像装置の特徴は、画像
処理手段４２がリアルタイムで合焦点画素の判定を行
い、制御手段４３がこれらの合焦点画素を逐次更新する
ことにより液晶ディスプレイ５に合焦点画像を表示する
ことである。

【０２２７】（実施例２の作用効果）本実施例の全焦点
撮像装置では、ＣＣＤ素子３１からの画像が取り込まれ
る毎に、画像処理手段４２は、各画素の輝度の差分値の
正負反転をもって当該画素の合焦点判定を行う。そし
て、一枚の画像のうち合焦点画素が検出されると、その
合焦点画素をもって、画像メモリ４１の当該画素の領域
がアップデートされる。画像メモリ４１の合焦点画像に
相当する記憶領域には、こうしてリアルタイムの合焦点
画素による最新の合焦点画像が形成され、この最新の合
焦点画像は、合焦点画素のアップデートの度に液晶ディ
スプレイ５に表示される。それゆえ、焦点位置が少しず
つ異なる多数枚分の画像からなるワンセットの画像デー
タの撮像を終えるのを待たずに、一枚の画像の撮像の度
にほぼリアルタイムで観察対象の全ての部分に焦点があ
った動画が提供される。

【０２２８】また、本実施例はリアルタイム性を重視し
た構成であるから、焦点位置のスキャンとその間での多
数枚分の画像の撮影とは、最短時間で行えるようにする
必要がある。それゆえ、可変焦点レンズ装置１の焦点位
置は、階段状ではなく連続的に移動しつつ、ＣＣＤ素子
３１の撮像は同素子の露光性能が許す限り高速で連続撮
像するように運用される。

【０２２９】したがって、本実施例の全焦点撮像装置に
よれば、最短時間で画像が撮像される度に、最新の合焦
点画素をもって構成された合焦点画像が準リアルタイム
で液晶ディスプレイ５に提供され、リアルタイム性が格
段に向上するという効果がある。

【０２３０】なお、本実施例の全焦点撮像装置は、ハー
ドウェアの構成が実施例１と同様であるから、観察者の
操作等により、画像処理手段４２および制御手段４３の
ソフトウェアを実施例１と同様のソフトウェアに切替え
ることができる。それゆえ、本実施例の全焦点撮像装置
は、本実施例に特有のリアルタイム性が高い運用が可能
であるばかりではなく、実施例１と同様の運用も可能で
ある。したがって、本実施例の全焦点撮像装置は、実施
例１に新たなソフトウェアが付加されている分のコスト
アップだけで、実施例１とほぼ同等の価格でありながら
実施例１よりも多機能であるという効果をも有する。

【０２３１】（実施例２の変形態様１）本実施例の変形
態様１として、画像メモリ４１が一枚の画像分だけしか
容量のない記憶容量が小さなＲＡＭで構成された全焦点
撮像装置の実施が可能である。すなわち、前述の本実施
例の全焦点撮像装置では、画像メモリ４１の容量が多数
枚分の画像を格納するほど大きい必要がなく、合焦点画
像一枚分の記憶容量があれば機能するので、画像メモリ
４１を記憶容量が小さく安価なＲＡＭ（ラインメモリ）
で賄うことができる。それゆえ、本変形態様の構成によ
れば、画像メモリ４１を安価にすることができるので、
実施例１と同様の運用はできなくなるが、実施例１より
も安価に全焦点撮像装置を構成することができるという
コストダウン効果がある。また、メモリボードが小型化
されるので、実施例１より小型軽量化することができる
という効果もある。

【０２３２】なお、本変形態様においては、画像メモリ
４１は液晶ディスプレイ５に付属の専用画像ＲＡＭとす
る構成も可能である。

【０２３３】（実施例２のその他の変形態様）本実施例
の全焦点撮像装置に対しても、実施例１の変形態様２に
対する実施例１およびその変形態様１，９〜１２に相当
する変形態様の実施が可能であり、それぞれに特有の作
用効果が得られる。

【０２３４】［実施例３］ （実施例３の構成および作用効果）本発明の実施例３と
しての全焦点撮像装置も、再び図１に示すように、前述
の実施例１とほぼ同様の構成をしている。

【０２３５】ただし、本実施例の全焦点撮像装置では、
再び図３に示すような撮像過程を一回だけ行い、再び図
４に示すような焦点位置が少しずつ異なる多数枚分の画
像のそれぞれに、焦点位置を示す情報が付加されて画像
メモリ４１に記録される。すなわち、そのように制御手
段４３のソフトウェアが構成されている。焦点位置を示
す情報は、制御手段４３から可変焦点レンズ駆動回路２
に送られる印加電圧を指定する信号をもとに生成され、
合焦点面Ｆ（図１参照）の可変焦点レンズ装置１からの
距離を示す値である。

【０２３６】そればかりではなく、制御手段４３のソフ
トウェアには、各合焦点画素の縦横のもつ座標および焦
点位置情報に基づいて、観察対象の三次元立体数値モデ
ルを生成する機能が付与されている。すなわち、画像処
理手段４２は、制御手段４３が駆動手段としての可変焦
点レンズ駆動回路２に与える信号に基づいて、可変焦点
レンズ装置１の焦点位置に関する情報を算出する焦点位
置検出機能をもつ。そして、画像処理手段４２は、各焦
点位置での画像のうち合焦点画素はどれであるかを判定
し、制御手段４３は、合焦点画素と判定された画素に前
述の焦点位置情報を付与して、同画素の平面内での位置
とその高さとの情報を合成する。すると、各合焦点画素
に関する縦、横、高さの位置情報が揃い、観察対象の立
体形状を示す立体数値モデルが合成されるので、制御手
段４３は、画像メモリ４１の他の領域に、この立体数値
モデルを格納する。

【０２３７】その結果、観察対象の立体数値モデルをも
とに、様々な表示形式で観察対象の立体図を液晶ディス
プレイ５に表示することが可能になる。たとえば、全焦
点撮像装置の操作装置に付属のマウスなどで合焦点画像
を横切る線分を設定すれば、この線分に沿って垂直に切
断された切断端面図を、図２１に示すように、液晶ディ
スプレイ５に表示することができる。あるいは、適当な
俯角を決めておいて、図２２に示すように、観察対象の
俯瞰図を連続的に全周囲から眺めるように液晶ディスプ
レイ５に動画を表示することも可能である。また、同様
の手法で、俯角や方位角などが連続的に変化する動画を
液晶ディスプレイ５に表示することもできる。

【０２３８】したがって、本実施例の全焦点撮像装置に
よれば、観察対象の立体数値モデルを生成することがで
きるので、各種の立体表示を行って観察対象の形状の把
握を容易にすることができるという効果がある。

【０２３９】なお、本実施例の全焦点撮像装置も、ソフ
トウェアの構成は別として、ハードウェアの構成は実施
例１とおおむね同様であるから、スイッチの切替等によ
り、実施例１と同様の運用をすることも可能である。す
ると、実施例１と同様に、合焦点画像も得られるように
なる。

【０２４０】（実施例３の変形態様１）本実施例の全焦
点撮像装置では、立体数値モデルを生成する機能をもつ
ことが要点であるから、焦点位置（合焦点面Ｆの位置）
をより正確に計測して各画像に付与し、観察対象の高さ
方向の形状をより精密に計測したいとの要求が生じう
る。それゆえ、本実施例の変形態様１として、液封レン
ズ１１（図１参照）の内部の透明液体の圧力を計測する
圧力センサ（図略）を装備し、もって液封レンズ１１の
度数をより精密に計測する構成の全焦点撮像装置の実施
が可能である。

【０２４１】本変形態様によれば、焦点位置Ｆをより正
確に計測して各画像に付与し、観察対象の各合焦点画素
の高さがより精密な立体数値モデルが生成されるという
効果がある。

【０２４２】なお、圧力センサに温度補償機能を付与し
て、さらに焦点位置Ｆの計測精度を高めても良い。ある
いは、液封レンズ１１を構成する透明弾性膜の歪みなり
曲率なりを直接計測する計測手段を備えた構成とし、さ
らなる高精度を追求することも可能である。

【０２４３】（実施例３の変形態様２）本実施例の変形
態様２として、可変焦点レンズ装置１の焦点位置を、制
御手段４３から可変焦点レンズ駆動回路２に与える信号
から算出する代わりに、電圧センサの測定値に基づいて
算出する全焦点撮像装置の実施が可能である。すなわち
本変形態様は、可変焦点レンズ駆動回路２から圧電アク
チュエータ１２に印加される電圧を計測する電圧センサ
（図略）をさらに有し、画像処理手段４２は、この電圧
センサから得られる測定値に基づいて、可変焦点レンズ
装置１の焦点位置を算出する焦点位置検出機能をもつ。

【０２４４】それゆえ本変形態様では、圧電アクチュエ
ータ１２に印加される電圧の測定値に基づいて、可変焦
点レンズ装置１の焦点位置が算出される。すなわち、可
変焦点レンズ装置１の焦点位置は液封レンズ１１のレン
ズ形状で決まり、同レンズ形状は圧電アクチュエータ１
２の変位で決まり、同変位は印加電圧で決まる。それゆ
え、圧電アクチュエータ１２への印加電圧の測定値に基
づいて、可変焦点レンズ装置１の焦点位置を算出するこ
とができるようになる。その結果、互いに異なる焦点位
置で撮像された複数枚分の画像のそれぞれについて、焦
点位置の情報を付与することが可能になる。

【０２４５】したがって本変形態様によれば、前述の実
施例３の効果に加えて、測定値に基づいて可変焦点レン
ズ装置の焦点位置を各画像に付与することができ、正確
な立体数値モデルを生成することが可能になるという効
果がある。

【０２４６】（実施例３の変形態様３）本実施例の変形
態様３として、可変焦点レンズ装置１の焦点位置を、制
御手段４３から可変焦点レンズ駆動回路２に与える信号
から算出する代わりに、電荷量センサの測定値に基づい
て算出する全焦点撮像装置の実施が可能である。すなわ
ち本変形態様は、圧電アクチュエータ１２に注入および
放電される電荷量を計測する電荷量センサ（図略）をさ
らに有し、画像処理手段４２は、この電荷量センサから
得られる測定値に基づいて、可変焦点レンズ装置１の焦
点位置を算出する焦点位置検出機能をもつ。

【０２４７】本変形態様では、圧電アクチュエータ１２
に注入および放電される電荷量の測定値に基づいて、可
変焦点レンズ装置１の焦点位置が算出される。すなわ
ち、可変焦点レンズ装置１の焦点位置は液封レンズ１１
のレンズ形状で決まり、同レンズ形状は圧電アクチュエ
ータ１２の変位で決まり、同変位は圧電アクチュエータ
１２に注入されている電荷量で決まる。それゆえ、圧電
アクチュエータ１２に印加されている電荷量の測定値に
基づいて、可変焦点レンズ装置１の焦点位置を算出する
ことができるようになる。その結果、互いに異なる焦点
位置で撮像された複数枚分の画像のそれぞれについて、
焦点位置の情報を付与することが可能になる。

【０２４８】したがって本変形態様によれば、前述の実
施例３の効果に加えて、測定値に基づいて可変焦点レン
ズ装置１の焦点位置を各画像に付与することができ、正
確な立体数値モデルを生成することが可能になるという
効果がある。

【０２４９】（実施例３の変形態様４）本実施例の変形
態様４として、可変焦点レンズ装置１の焦点位置を、制
御手段４３から可変焦点レンズ駆動回路２に与える信号
から算出する代わりに、変位センサの測定値に基づいて
算出する全焦点撮像装置の実施が可能である。すなわち
本変形態様は、圧電アクチュエータ１２の変位に関して
計測する変位センサ（図略）をさらに有し、画像処理手
段４２は、この変位センサから得られる測定値に基づい
て焦点位置を算出する焦点位置検出機能をもつ。

【０２５０】ここで、圧電アクチュエータ１２の変位セ
ンサとしては、圧電アクチュエータ１２を構成する圧電
バイモルフまたは圧電ユニモルフの表面に一体的に形成
された歪ゲージを採用することが、小型化の要求から好
ましい。このような歪ゲージについては、特願平１０−
２４６１９８号に詳しく記載されているので、参考にさ
れたい。

【０２５１】本変形態様では、圧電アクチュエータ１２
に注入および放電される電荷量の測定値に基づいて、可
変焦点レンズ装置１の焦点位置が算出される。すなわ
ち、可変焦点レンズ装置１の焦点位置は液封レンズ１１
のレンズ形状で決まり、同レンズ形状は圧電アクチュエ
ータ１２の変位で決まる。それゆえ、圧電アクチュエー
タ１２の変位の測定値に基づいて、可変焦点レンズ装置
１の焦点位置を算出することができる。その結果、互い
に異なる焦点位置で撮像された複数枚分の画像のそれぞ
れについて、焦点位置を付与することが可能になる。

【０２５２】したがって本変形態様によれば、前述の実
施例３の効果に加えて、測定値に基づいて可変焦点レン
ズ装置の焦点位置を各画像に付与することができ、正確
な立体数値モデルを生成することが可能になるという効
果がある。

【０２５３】（実施例３の変形態様５）本実施例の変形
態様３として、画像処理手段４２は、合焦点画像および
立体数値モデルを生成するデジタル演算手段であって、
立体数値モデルの生成にあたって空間的な高周波ノイズ
を除去するノイズ除去フィルタをもつ全焦点撮像装置の
実施が可能である。

【０２５４】本変形態様の全焦点撮像装置の全体構成
を、図２３に示す。図２３は、図１に示した前述の実施
例１とは異なる印象を与えるが、実際には実施例１の構
成を異なった表現のブロック図で表したに過ぎない（構
成についての詳細な説明は、後述の実施例４の項に譲
る）。ただし、本変形態様では、画像処理手段４２に特
徴がある。

【０２５５】すなわち、画像処理手段４２は、全焦点演
算ロジック４２１、ノイズ除去フィルタ４２２、三次元
マップ生成ロジック４２３および画像データ再構築ロジ
ック４２４をもつ。画像処理手段４２が、合焦点判定を
行う全焦点演算ロジック４２１と、信頼すべき立体数値
モデルを生成する三次元マップ生成ロジック４２３との
間に、立体数値モデルの高周波ノイズを除去するノイズ
除去フィルタ４２２をもつ点で、本変形態様は実施例１
と構成が異なっている。

【０２５６】もしも、実施例１のようにノイズ除去フィ
ルタなしで画像処理が行われると、図２４に示すよう
に、観察対象のエッジ部分や段差部分など、合焦点位置
が位置によって急変している部分では、合焦点判定に誤
差が生じやすく、このような誤差は空間的な高周波成分
として現れる。その結果、全焦点演算ロジック４２１で
は、立体数値モデルのエッジ部分や段差部分などが高周
波ノイズのためにささくれ立ってしまい、立体数値モデ
ルのデータに観察対象にはない乱れが形成されてしまう
ことが多い。

【０２５７】そこで本変形態様では、同じく図２４に示
すように、ノイズ除去フィルタ４２２によって空間的な
高周波成分を取り除くことによって、立体数値モデルか
ら高周波ノイズを除去することができる。その結果、三
次元マップ生成ロジック４２３に図示されているよう
に、観察対象の立体数値モデルをより滑らかで正確なも
のにすることができるようになる。

【０２５８】ここで、ノイズ除去フィルタ４２２は、立
体数値モデルを離散コサイン変換により空間周波数領域
に変換したうえで、ローパスフィルタをかけ、逆変換し
て、高周波ノイズによるささくれが取れた立体数値モデ
ルを再構築する。すなわち、ノイズ除去フィルタ４２２
は、立体数値モデルをいったん空間周波数成分に変換す
る正変換と、空間周波数成分から高周波成分を除去する
フィルタリングと、高周波成分が除去された空間周波数
成分を再び立体数値モデルに戻す逆変換とを行うデジタ
ルフィルタである。空間周波数成分にフィルタリングを
かけるので、空間周波数のうちノイズが多い高周波成分
だけを除去することが可能になるともに、フィルタリン
グに様々な手法を適用することが可能になり有効な選択
肢が増える。

【０２５９】また、ノイズ除去フィルタ４２２は、正変
換および逆変換に、離散コサイン変換法を採用してい
る。それゆえ、ノイズ除去フィルタ４２２には、既製品
のＭＰＥＧの圧縮処理ＬＳＩおよび解凍処理ＬＳＩを用
いることができるので、開発期間が短縮されるうえにコ
ストダウンが可能になる。

【０２６０】したがって、本変形態様の全焦点撮像装置
によれば、前述の実施例３の効果に加えて、段差やエッ
ジのある観察対象に対しても、その立体数値モデルをよ
り滑らかで正確なものにすることが可能になるという効
果がある。

【０２６１】（実施例３の変形態様６）本実施例の変形
態様６として、前述の変形態様５に対してノイズ除去フ
ィルタ４２２（図２３参照）の構成を簡素化した全焦点
撮像装置の実施が可能である。本変形態様では、ノイズ
除去フィルタ４２２は、立体数値モデルに対して移動平
均を取ることにより高周波ノイズを除去するデジタルフ
ィルタである。

【０２６２】すなわち、本変形態様では、前述の変形態
様５と異なって、立体数値モデルを空間周波数成分に正
変換することも、フィルタリングされた空間周波数成分
を立体数値モデルに逆変換することもない。それゆえ、
正変換および逆変換の演算処理を行う必要がないので、
演算負荷が大幅に低減され、立体数値モデルのフィルタ
リング処理の大幅な高速化と、製品のコストダウンとが
可能になる。

【０２６３】したがって、本変形態様の全焦点撮像装置
によれば、前述の変形態様５の効果に加えて、立体数値
モデルのフィルタリング処理の大幅な高速化と、製品の
コストダウンとが可能になるという効果がある。

【０２６４】（実施例３の変形態様７）本実施例の変形
態様７として、前述の変形態様６と同様に、前述の変形
態様５に対してノイズ除去フィルタ４２２の構成を簡素
化した全焦点撮像装置の実施が可能である。ただし本変
形態様では、ノイズ除去フィルタ４２２（図２３参照）
は、画像信号を複数の画素からなる区画毎にまとめ、各
区画内で最も発生頻度が高い輝度値で区画内の各画素の
各画像信号を統一するデジタルフィルタである。すなわ
ち、本変形態様では、前述の変形態様６と同様に、立体
数値モデルを空間周波数成分に正変換することも、フィ
ルタリングされた空間周波数成分を立体数値モデルに逆
変換することもない。そればかりではなく、所定の区画
内の輝度を、最も発生頻度が高い輝度値で統一してしま
うだけであるので、やはり画像処理手段４２の演算負荷
が小さくなる。その結果、演算負荷が大幅に低減され、
立体数値モデルのフィルタリング処理の大幅な高速化
と、製品のコストダウンとが可能になる。

【０２６５】したがって、本変形態様の全焦点撮像装置
によっても、前述の変形態様６とおおむね同様に、立体
数値モデルのフィルタリング処理の大幅な高速化と、製
品のコストダウンとが可能になるという効果がある。

【０２６６】（実施例３のその他の変形態様）本実施例
の全焦点撮像装置に対しても、前述の実施例１に対する
その各種変形態様や、実施例１に対する実施例２と同様
の変形態様の実施が可能であり、それぞれに特有の作用
効果が得られる。

【０２６７】［実施例４］ （実施例４の構成）本発明の実施例４としての全焦点撮
像装置は、図２５に示すように、可変焦点レンズ（図中
では高速焦点調節機構）１と、可変焦点レンズ駆動回路
（図中では焦点調節駆動回路）２と、撮像手段（図中で
は固体撮像素子）３とを有する。本実施例の全焦点撮像
装置はさらに、マイクロコンピュータ（図中では全焦点
ビジョンロジック部）４と、三次元マップ表示回路５１
および全焦点画像表示回路５２（図１では省略）と、液
晶ディスプレイ５とを有する。

【０２６８】マイクロコンピュータ４は、画像データ取
り込みロジック４０と画像メモリ４１と画像処理手段４
２とをもち、画像処理手段４２は、全焦点演算ロジック
４２１、三次元マップ生成ロジック４２３および画像デ
ータ再構築ロジック４２４をもつ。

【０２６９】（実施例４の作用効果）本実施例の全焦点
撮像装置は、実施例１と比較して全焦点演算ロジック４
２１に特徴があるので、全焦点演算ロジック４２１の作
用効果について説明を集中することにする。

【０２７０】全焦点演算ロジック４２１は、合焦点判定
を行うロジックである。すなわち、各画素の輝度は合焦
点時に極大値または極小値を取るとの知見に基づき、画
像処理手段による合焦点画素の判定は、全焦点演算ロジ
ック４２１によって、各画素がもつ輝度の焦点位置に関
する差分値の正負反転が検出されることにより行われ
る。

【０２７１】すなわち、判定される画素の輝度が周囲の
輝度よりも高い場合、その画素に焦点が合っている画像
では、輝度がその前後の画像での当該画素の輝度よりも
高いので、当該画素の前後を調べれば輝度の極大値が得
られる。たとえば、白色の部分（明部）と黒色の部分
（暗部）との境目付近の明部では、図２６に示すよう
に、焦点位置が合焦点位置にあるときに輝度値はピーク
を形成する。それゆえ、合焦点位置の前後では、手前か
ら奥に行くに従って輝度の差分値が正から負へと反転し
ているので、それぞれの画素がもつ輝度の焦点位置に関
する差分値の正負反転によって合焦点画素の判定を行う
ことができる。

【０２７２】逆に、判定される画素の輝度が周囲の輝度
よりも低い場合、その画素に焦点が合っている画像で
は、輝度がその前後の画像での当該画素の輝度よりも低
いので、当該画素の前後を調べれば輝度の極小値が得ら
れる。たとえば、明部と暗部との境目付近の暗部では、
図２７に示すように、焦点位置が合焦点位置にあるとき
に輝度値は負のピークを形成する。それゆえ、合焦点位
置の前後では、焦点位置が手前から奥に移動するに従っ
て輝度の差分値が負から正へと反転しているので、やは
り、それぞれの画素がもつ輝度の焦点位置に関する差分
値の正負反転によって合焦点画素の判定を行うことがで
きる。

【０２７３】ただし、暗部と明部との境界線の真上に合
焦点判定をすべき画素がくる場合には、焦点位置が合焦
点位置にある場合には輝度は極大値や極小値を形成せ
ず、輝度の傾きが最大になる。そこで、本来ならば合焦
点判定すべき画素が暗部と明部との境界線上にかかって
いるか否かを判定したうえで、境界線上の場合には輝度
値の差分値最大をもって合焦点判定を行うべきである。
しかし、それでは演算処理の負荷が増えてしまうので、
本実施例では以下のような簡易化した合焦点判定ロジッ
クを採用している。

【０２７４】すなわち、本実施例の画像処理手段４２
は、図２９のフローチャートに示すようにごく簡素な合
焦点判定ロジックに従って合焦点位置の判定を行ってい
る。先ず、処理ステップＳ１で、画像メモリ４１に格納
された焦点位置が互いに異なる複数枚の画像から、同一
座標にある画素の輝度値がサンプリングされる。次に、
処理ステップＳ２で最大値（Ｍａｘ）と最小値（Ｍｉ
ｎ）とが抽出された後、判断ステップＳ３では、最大値
の焦点位置と最小値の焦点位置とで、輝度値の差分値の
符号が反転しているか否かが判定される。

【０２７５】そして、最大値と最小値とのうち一方だけ
で輝度値の差分値が正負反転している場合には、正のピ
ークか負のピークかのうち一方だけが形成されているわ
けである。それゆえ、Ａ判定がなされ、処理ステップＳ
４で、輝度値のピークが形成されている焦点位置をもっ
て合焦点位置とする。

【０２７６】逆に、最大値と最小値との両方で輝度値の
差分値が正負反転している場合には、正のピークと負の
ピークとが両方とも形成されているわけである。それゆ
え、Ｂ判定がなされ、処理ステップＳ５で、負のピーク
は除外され、輝度値が正のピークを形成している焦点位
置をもって合焦点位置とする。なお、処理ステップＳ５
では、本実施例とは逆に正のピークを除外してもよく、
要するに正負の両ピークのうち一方に合焦点位置がある
と判定するわけである。

【０２７７】このように簡易な判定をすると、図３０に
示すように、正負の両ピークがある旨のＢ判定された場
合には、合焦点判定に誤判定する場合（図中でＮＧと表
記）もありうる。しかしながら、発明者らが実験を重ね
て得た見地によれば、合焦点判定に誤判定が出た場合で
も、多くの場合には、合焦点位置はその近くにあり、大
きな誤差は生じない。

【０２７８】また、合焦点判定に誤判定が起こるのは主
に明部と暗部との境界線上であるから、合焦点画像では
その画素が黒く出ても白く出ても、画素が十分に細かけ
ればほとんど見た目では違いがないので、合焦点画像に
不都合はほとんどでない。一方、立体数値モデルでは、
明部と暗部との境界線上に誤差が出ることになるが、こ
れは空間的な高周波ノイズを生じるので、前述のノイズ
除去フィルタ４２２を導入することにより不都合を排除
することができる。

【０２７９】以上のように、本実施例の全焦点撮像装置
では、それぞれの画素について、その周囲の画素との相
関関係を省みることなく、当該画素単独の輝度値の変化
に基づいてごく簡素な判定ロジックで合焦点判定がなさ
れる。すなわち、合焦点判定がなされるべき画素の輝度
値の変化を観測することにより、当該画素の輝度の差分
値の正負反転をもって合焦点の判定がなされる。それゆ
え、本実施例では、画像処理手段４２において、合焦点
画素の判定に要する演算負荷が極めて小さいので、リア
ルタイム性を向上させることができ、安価な画像処理手
段を採用することが可能になる。

【０２８０】したがって、本実施例の全焦点撮像装置に
よれば、前述の実施例１とほぼ同様に、高い画像処理の
リアルタイム性と画像処理手段４２のコストダウンとが
得られるという効果がある。

【０２８１】（実施例４の各種変形態様）本実施例の全
焦点撮像装置に対しても、実施例１に対するその各変形
態様に相当する変形態様の実施が可能である。そればか
りではなく、実施例１に対する実施例２および実施例３
ならびにそれぞれの各変形態様に相当する変形態様の実
施も可能である。

【０２８２】［実施例５］ （実施例５の必要性）本発明のように、合焦点画像を選
択して観察対象の全体に焦点の合った合焦点画像を作成
したり合焦点位置に基づいて立体数値モデルを生成しよ
うとすると、各画素または各区画について合焦点判定が
できることが必須である。ところが、光学軸方向の位置
が異なっていても（つまり高低差があっても）、周囲と
の輝度や色彩のコントラストがないと、合焦点判定が正
確にできなくなるので、合焦点位置を正確に検出するこ
とができなくなる。

【０２８３】すると、合焦点画像の生成においては、多
少のピンぼけがあっても周囲とコントラストがなけれ
ば、合焦点画像とほぼ同様の画像が得られるので、問題
は少ない。しかし、立体数値モデルの生成にあたって
は、合焦点判定が正確にできないと合焦点位置の検出に
誤差を生じるので、立体数値モデルの表す形状が実際の
観察対象とは異なってしまい、不都合である。

【０２８４】そこで、実施例５の全焦点撮像装置は、こ
のような不都合をなくすために、観察対象においてコン
トラストがなくても正確な合焦点判定がなされ、精密な
立体数値モデルが生成されることを解決すべき課題とし
ている。

【０２８５】（実施例５の構成）本発明の実施例５とし
ての全焦点撮像装置は、要部としての光学系を図３１に
示すように、実施例１の構成に加え、焦点位置Ｆに結像
する光学マーカを観察対象に投影するマーカ投影手段６
をさらに有する。

【０２８６】マーカ投影手段６は、点光源であるマーカ
光源６１と、同光源からの光を収束させる投影レンズ６
２と、鮮明な明暗のある光学マーカを形成するスリット
が切られたマスク６３と、マーカ光源６１からの光を可
変焦点レンズ装置１の光軸に合致させるハーフミラー６
４とをもつ。すなわち、マーカ投影手段６は、可変焦点
レンズ装置１の光軸上の焦点位置に、マスク６３のスリ
ット形状に合致したマーカ投影像Ｍを結像する光学投影
手段である。

【０２８７】また、マーカ投影手段６は、マーカ光源６
１の点滅によって光学マーカを点滅させることができ
る。そして、制御手段４３は、光学マーカの点滅に同期
して撮像手段３および画像処理手段４２を制御して、光
学マーカの投影中に合焦点判定を行い、光学マーカの消
灯中に画像メモリへの画像信号の取り込みを行う。

【０２８８】（実施例５の作用効果）本実施例の全焦点
撮像装置は、以上のような構成をもつので、以下のよう
な作用効果を発揮する。

【０２８９】マーカ投影手段６は、焦点位置Ｆに結像す
るように、光学マーカを観察対象に投影する。すると、
観察対象のうち撮像時の焦点位置Ｆにある部分にだけ光
学マーカの投影像Ｍが鮮明に投影される。それゆえ、通
常の照明下においてはコントラストがないような単一色
の観察対象の表面にも、焦点位置Ｆにおいてだけは、鮮
明なコントラストをもったマーカ投影像Ｍが生じるよう
になり、正確な合焦点判定ができるようになる。その結
果、観察対象の表面に投影された光学マーカを観察する
ことにより、精密な立体数値モデルを生成することが可
能になる。

【０２９０】すなわち、光学マーカの点灯中に合焦点判
定が行われ、光学マーカの消灯中に合焦点画像のうち合
焦点部分の画像信号の取り込みが行われる。その結果、
観察対象自体にコントラストがなくても正確な合焦点判
定ができ、精密な立体数値モデルを生成することができ
るだけではなく、光学マーカが写っていない合焦点画像
を生成することもできるようになる。

【０２９１】したがって、本実施例の全焦点撮像装置に
よれば、前述の実施例１の効果に加えて、観察対象自体
にコントラストがなくても正確な合焦点判定ができ、精
密な立体数値モデルを生成することができるという効果
がある。そればかりではなく、光学マーカの投影像Ｍが
写っていない合焦点画像をも生成することができるとい
う効果がある。

【０２９２】（実施例５の各種変形態様）本実施例の全
焦点撮像装置に対しても、実施例１に対するその各種変
形態様に対応する変形態様の実施が可能であり、それぞ
れの構成に応じた特徴を持つようになる。同様に、実施
例１に対する実施例２〜４およびそれぞれの各変形態様
に対応する変形態様の実施が可能であり、それぞれの構
成に応じた特徴を持つようになる。

【０２９３】［実施例６］ （実施例６の構成）本発明の実施例６としての全焦点撮
像装置は、要部としての光学系を図３２に示すように、
実施例５で説明したマーカ投影手段６に加え、マーカ撮
像手段７をさらに有する。

【０２９４】マーカ投影手段６は、前述の実施例５のそ
れとほぼ同一であるが、マーカ光源６１は単一の波長で
発光する発光ダイオード（ＬＥＤ）である。

【０２９５】一方、マーカ撮像手段７は、実施例１のＣ
ＣＤ素子３１に相当する第一固体撮像素子７１と、その
ハーフミラー７３および光学フィルタ７４と、ハーフミ
ラー７３を透過してきた光線によって撮像する第二固体
撮像素子７２とをもつ。ここで、光学フィルタ７４は、
マーカ光源６１の波長を含む狭い波長帯の光線だけを遮
断する特性を持つので、第一固体撮像素子７１には光学
マーカの投影像Ｍが写らない。

【０２９６】そこで、第二固体撮像素子７２は、光学マ
ーカの投影像Ｍが写り込んだ観察対象の像を撮像し、焦
点位置検出用の画像データを出力する機能を持つ。逆
に、第一固体撮像素子７１は、光学フィルタによって光
学マーカの投影像Ｍが遮断されるので、光学マーカの写
っていない観察対象を撮像し、合焦点画像を生成するた
めの多数枚の画像データを出力する機能を持つ。

【０２９７】（実施例６の作用効果）本実施例の全焦点
撮像装置は、以上のように構成されているので、以下の
ような作用効果を発揮する。

【０２９８】すなわち、本実施例では、マーカ撮像手段
７の第二固体撮像素子７２によって撮像される光学マー
カの投影像Ｍのぼやけ具合を検討することによって、合
焦点判定をすることが可能になっている。

【０２９９】しかも本実施例では、前述の実施例５と異
なって、光学マーカを点灯したまま合焦点画像の撮像を
行っても、第一固体撮像素子７１によって撮像される画
像に光学マーカの投影像Ｍが写らないので、マーカ光源
６１を点滅させる必要がなくなる。それゆえ、第一固体
撮像素子７１による撮像と第二固体撮像素子７２による
撮像とを同時に行うことができ、実施例５よりも短時間
で合焦点判定および撮像をすることが可能になる。その
結果、合焦点画像の撮像と立体数値モデルの構成とに要
する時間が実施例５よりも短縮される。

【０３００】したがって本手段によれば、前述の実施例
５と同様の効果が得られるばかりではなく、実施例５よ
りも短時間で合焦点画像の撮像と立体数値モデルの構成
とが行えるという効果がある。

【０３０１】（実施例６の変形態様１）本実施例の変形
態様１として、図３３に示すように、本実施例の構成を
簡素化した全焦点撮像装置の実施が可能である。

【０３０２】本変形態様では、マーカ投影手段６は、撮
像手段３のＣＣＤ素子３１がもつ撮像波長帯域を外れた
波長帯で光学マーカを投影し、画像処理手段４２は、マ
ーカ撮像手段７の近赤外ＣＣＤ素子７５から得られた画
像信号に基づいて合焦点判定を行う。すなわち、マーカ
投影手段６のマーカ光源６１は、近赤外線を発光するＧ
ａＡｓ系のＬＥＤであり、マーカ撮像手段７の近赤外Ｃ
ＣＤ素子７５は、可視光線の帯域に感度がなく近赤外光
線にのみ感度を有する。逆に、撮像手段３のＣＣＤ素子
３１は、近赤外帯域には感度を有せず、可視光線の帯域
にのみ感度を有している。

【０３０３】それゆえ、マーカ投影手段６のＣＣＤ素子
３１は、撮像手段３の撮像波長帯域を外れた波長帯で光
学マーカを投影するので、撮像手段には光学マーカは感
知されず合焦点画像には光学マーカが写らない。一方、
近赤外ＣＣＤ素子７５は、近赤外線で投影される光学マ
ーカの波長帯に感度を有するので、マーカ撮像手段７の
近赤外ＣＣＤ素子７５によって撮像される光学マーカの
ぼやけ具合を検討することにより、合焦点判定をするこ
とが可能になっている。

【０３０４】したがって、本変形態様の全焦点撮像装置
によれば、光学フィルタ７４が不要であって、より簡素
な構成でありながら、前述の実施例６と同様の効果が得
られる。すなわち、実施例６よりも小型軽量化およびコ
ストダウンが可能になるという効果がある。

【０３０５】なお、さらなる変形態様として、ハーフミ
ラー７３にコーティングを施し、特定の波長の光線だけ
を反射させるようにした全焦点撮像装置の実施も可能で
あり、本変形態様とほぼ同様の効果が得られる。

【０３０６】（実施例６の各種変形態様）本実施例の全
焦点撮像装置に対しても、実施例５に対するその各種変
形態様に相当する変形態様の実施が可能であり、それぞ
れの構成に応じた特徴を持つようになる。

【図面の簡単な説明】

【図１】 実施例１としての全焦点撮像装置の構成を示
すブロック図

【図２】 実施例１の観察対象の一例の形状を示す斜視
図

【図３】 実施例１での焦点位置と撮像タイミングとの
関係を示すグラフ

【図４】 実施例１で撮像された多数枚分の画像信号を
示す模式図

【図５】 実施例１で空間周波数を算出する範囲の一例
を示す平面図

【図６】 実施例１での撮像画像中の上面部に合焦点し
た画像を示す図

【図７】 実施例１での撮像画像中の中間面部に合焦点
した画像を示す図

【図８】 実施例１での撮像画像中の低面部に合焦点し
た画像を示す図

【図９】 実施例１で生成された合焦点画像を示す図

【図１０】実施例１の変形態様１での空間周波数算出範
囲を示す平面図

【図１１】実施例１の変形態様２での当該画素の輝度の
変化を示すグラフ

【図１２】実施例１の変形態様３での合焦点時の区画を
示す概念図

【図１３】実施例１の変形態様３での非合焦点時の区画
を示す概念図

【図１４】実施例１の変形態様４における区画での画素
配列を示す平面図

【図１５】実施例１の変形態様４における輝度振幅を示
すグラフ

【図１６】実施例１の変形態様５における離散コサイン
変換を示す概念図

【図１７】実施例１の変形態様８での合焦点判定第一段
階を示す模式図

【図１８】実施例１の変形態様８での合焦点判定第二段
階を示す模式図

【図１９】実施例１の変形態様９での焦点位置の移動パ
ターンを示すグラフ

【図２０】実施例１の変形態様１０での焦点位置移動パ
ターンを示すグラフ

【図２１】実施例３で得られる観察対象の端面図

【図２２】実施例３で得られる観察対象の俯瞰図

【図２３】実施例３の変形態様５のノイズ除去フィルタ
を示すブロック図

【図２４】実施例３の変形態様５のノイズ除去フィルタ
を作用を示す模式図

【図２５】実施例４としての全焦点撮像装置の構成を示
すブロック図

【図２６】焦点位置による画素がもつ輝度値の変化を例
示するグラフ

【図２７】焦点位置による画素がもつ輝度値の変化を例
示するグラフ

【図２８】焦点位置による画素がもつ輝度値の変化を例
示するグラフ

【図２９】実施例４での合焦点判定ロジックを示すフロ
ーチャート

【図３０】実施例４での合焦点判定ロジックの判定結果
を示す一覧図

【図３１】実施例５としての全焦点撮像装置の光学系の
構成を示す模式図

【図３２】実施例６としての全焦点撮像装置の光学系の
構成を示す模式図

【図３３】実施例６の変形態様１の全焦点撮像装置の光
学系を示す模式図

【符号の説明】

１：可変焦点レンズ装置 １１：液封レンズ（可変焦点レンズとして） １２：圧電アクチュエータ（アクチュエータとして） １３：固定レンズ ２：可変焦点レンズ駆動回路（駆動手段として） ３：撮像手段 ３１：ＣＣＤ素子（固体撮像素子として） ３２：Ｃ
ＣＤ駆動回路 ４：マイクロコンピュータ ４０：画像データ取り込み手段 ４１：画像メモリ（フレームメモリ） ４２：画像処理手段 ４２１：全焦点演算ロジック（合焦点判定を行う） ４２２：ノイズ除去フィルタ ４２３：立体数値モデル生成ロジック （三次元マップデータ生成ロジック） ４２４：合焦点画像生成ロジック （画像データ再構築ロジック） ４３：制御手段 ５：液晶ディスプレイ（表示装置） ５１：立体数値モデル表示回路（三次元マップ表示回
路） ５２：合焦点画像表示回路（全焦点画像表示回路） ６：マーカ投影手段 ６１：マーカ光源 ６２：投影レンズ ６３：マスク ６４：ハーフミラー ７：マーカ撮像手段 ７１：第一固体撮像素子 ７２：第二固体撮像素子 ７３：ハーフミラー ７４：光学フィルタ ７５：マーカ用固体撮像素子 Ｆ：合焦点面（焦点位置） Ｍ：マーカ投影像

───────────────────────────────────────────────────── フロントページの続き (72)発明者 川原 伸章 愛知県刈谷市昭和町１丁目１番地 株式会 社デンソー内 Ｆターム(参考） 2H052 AA13 AB05 AB29 AD09 AF14 AF21 AF25 5C022 AB27 AB28 AB29 AB64 AC00 AC54 AC69 AC74 AC78

Claims (31)

【特許請求の範囲】
1. 【請求項１】観察対象に対する焦点位置が可変である可
   変焦点レンズと、 この可変焦点レンズのこの焦点位置を変更するアクチュ
   エータと、 このアクチュエータを駆動する駆動手段と、 この可変焦点レンズを通して結像した実像を画素毎の画
   像信号として出力する撮像手段と、 この画像信号をこの焦点位置の変更に伴って得られる複
   数枚分に渡って格納可能な画像メモリと、 これら複数枚分の画像信号のうち最も焦点が合っている
   ものを画素毎に判定して抽出し、この観察対象の各部に
   焦点があった一枚の合焦点画像と、この観察対象の立体
   形状を示す一つの立体数値モデルとのうち、少なくとも
   一方を生成する画像処理手段と、 この駆動手段、この撮像手段、この画像メモリおよびこ
   の画像処理手段のうち少なくとも前三者を同期して制御
   する制御手段と、を有することを特徴とする全焦点撮像
   装置。
2. 【請求項２】前記画像処理手段による合焦点画素の判定
   は、各前記画素がもつ輝度の前記焦点位置に関する差分
   値の正負反転によって行われる、 請求項１記載の全焦点撮像装置。
3. 【請求項３】前記差分値の正負反転箇所が複数ある場合
   には、該正負反転箇所のうち極大値および極小値を取る
   箇所のうち一方を選択することによって前記判定が行わ
   れ、さらに該一方が複数ある場合には、最も突出した値
   の箇所が選定されることによって前記判定が行われる、 請求項２記載の全焦点撮像装置。
4. 【請求項４】前記画像処理手段による合焦点画素の判定
   は、各前記画素がもつ輝度の前記焦点位置に関する差分
   値の絶対値が最大値を取ることを判定基準として行われ
   る、 請求項１記載の全焦点撮像装置。
5. 【請求項５】前記画像処理手段による合焦点画素の判定
   は、各前記画素およびその周辺画素の形成する区画がも
   つ空間周波数の前記焦点位置に関するピーク判定によっ
   て行われる、 請求項１記載の全焦点撮像装置。
6. 【請求項６】前記画像処理手段による合焦点画素の判定
   は、各前記画素およびその周辺画素の形成する区画がも
   つエントロピーの前記焦点位置に関する最小判定によっ
   て行われる、 請求項１記載の全焦点撮像装置。
7. 【請求項７】前記画像処理手段による合焦点画素の判定
   は、各前記画素およびその周辺画素の形成する区画にお
   ける各画素の輝度の最大値と最小値との差である輝度振
   幅の最大判定によって行われる、 請求項１記載の全焦点撮像装置。
8. 【請求項８】前記画像処理手段による合焦点画素の判定
   は、各前記画素およびその周辺画素の形成する区画にお
   ける離散コサイン変換係数の最大判定によって行われ
   る、 請求項１記載の全焦点撮像装置。
9. 【請求項９】前記画像処理手段による合焦点画素の判定
   は、複数の画素からなる区画毎に行われ、該区画におけ
   る空間周波数、エントロピー、輝度振幅および離散コサ
   イン変換係数のうちいずれかを判定基準にして行われ
   る、 請求項１記載の全焦点撮像装置。
10. 【請求項１０】前記画像処理手段による合焦点画素の判
    定は、各前記画素と複数の画素からなる区画とのうち一
    方に、複数の互いに異なる判定法を適用して行われる、 請求項１記載の全焦点撮像装置。
11. 【請求項１１】前記画像処理手段による合焦点画素の判
    定は、単数または複数の画素からなる区画とその周辺の
    複数の区画とにそれぞれ合焦点判定を行う第一段階と、
    当該区画とその周辺の該区画とからなる大区画に関して
    合焦点判定を行い当該区画の合焦点判定を改める第二段
    階とを経て行われる、 請求項１記載の全焦点撮像装置。
12. 【請求項１２】前記可変焦点レンズは、表裏の差圧によ
    って曲率が可変な透明弾性膜とこの透明弾性膜によって
    形成される内部空間に封入された透明液体とをもつ液封
    レンズであり、前記アクチュエータは、圧電素子からな
    る圧電アクチュエータであって、この液封レンズとこの
    圧電アクチュエータとは、互いに一体に組み付けられて
    可変焦点レンズ装置を形成しており、 前記駆動手段は、この圧電アクチュエータに駆動電圧を
    印加する可変焦点レンズ駆動回路であり、前記撮像手段
    は、固体撮像素子である、 請求項１記載の全焦点撮像装置。
13. 【請求項１３】前記画像処理手段は、リアルタイムで合
    焦点画素の判定を行い、 前記制御手段は、これらの合焦点画素を逐次更新するこ
    とにより前記合焦点画像を生成する、 請求項１２記載の全焦点撮像装置。
14. 【請求項１４】前記駆動手段から前記圧電アクチュエー
    タに印加される電圧を計測する電圧センサをさらに有
    し、 前記画像処理手段は、前記電圧センサから得られる測定
    値に基づいて前記焦点位置を算出する焦点位置検出機能
    をもつ、 請求項１２記載の全焦点撮像装置。
15. 【請求項１５】前記圧電アクチュエータに注入および放
    電される電荷量を計測する電荷量センサをさらに有し、 前記画像処理手段は、前記電荷量センサから得られる測
    定値に基づいて前記焦点位置を算出する焦点位置検出機
    能をもつ、 請求項１２記載の全焦点撮像装置。
16. 【請求項１６】前記圧電アクチュエータの変位に関して
    計測する変位センサをさらに有し、 前記画像処理手段は、前記変位センサから得られる測定
    値に基づいて前記焦点位置を算出する焦点位置検出機能
    をもつ、 請求項１２記載の全焦点撮像装置。
17. 【請求項１７】前記画像処理手段は、前記制御手段が前
    記駆動手段に与える信号に基づいて前記焦点位置を算出
    する焦点位置検出機能をもつ、 請求項１記載の全焦点撮像装置。
18. 【請求項１８】前記画像メモリは、前記画像信号を一列
    の前記画素からなるライン状の区画に分割して格納する
    ラインメモリである、 請求項１記載の全焦点撮像装置。
19. 【請求項１９】前記画像メモリは、前記画像信号を二次
    元の広がりがあるフレーム状の区画ごと格納するフレー
    ムメモリである、 請求項１記載の全焦点撮像装置。
20. 【請求項２０】前記画像処理手段は、前記合焦点画像お
    よび前記立体数値モデルのうち少なくとも後者を生成す
    るデジタル演算手段であり、該立体数値モデルの生成に
    あたって空間的な高周波ノイズを除去するノイズ除去フ
    ィルタをもつ、 請求項１記載の全焦点撮像装置。
21. 【請求項２１】前記ノイズ除去フィルタは、前記立体数
    値モデルをいったん空間周波数成分に変換する正変換
    と、該空間周波数成分から高周波成分を除去するフィル
    タリングと、該高周波成分が除去された空間周波数成分
    を再び立体数値モデルに戻す逆変換とを行うデジタルフ
    ィルタである、 請求項２０記載の全焦点撮像装置。
22. 【請求項２２】前記正変換の方法は、離散コサイン変換
    法、離散サイン変換法、フーリエ変換法および高速フー
    リエ変換法のうちいずれかである、 請求項２１記載の全焦点撮像装置。
23. 【請求項２３】前記ノイズ除去フィルタは、前記立体数
    値モデルに対して移動平均および全平均のうち一方を取
    ることにより、前記高周波ノイズを除去するデジタルフ
    ィルタである、 請求項２０記載の全焦点撮像装置。
24. 【請求項２４】前記ノイズ除去フィルタは、前記画像信
    号を複数の前記画素からなる区画毎にまとめ、各該区画
    内で最も発生頻度が高い輝度値および輝度値の平均値の
    うち一方で、該区画内の各該画素の各該画像信号を統一
    するデジタルフィルタである、 請求項２０記載の全焦点撮像装置。
25. 【請求項２５】前記制御手段は、前記駆動手段を制御し
    て前記焦点位置を連続的に移動させ、前記撮像手段を制
    御して該焦点位置の移動中に連続撮影させる、 請求項１記載の全焦点撮像装置。
26. 【請求項２６】前記制御手段は、前記駆動手段を制御し
    て前記焦点位置を階段状に時間変化させ、前記撮像手段
    を制御して該焦点位置の各停止時に撮像させる、 請求項１記載の全焦点撮像装置。
27. 【請求項２７】前記制御手段は、前記焦点位置を連続的
    に移動させつつ連続撮像するプレビュー動作と、該プレ
    ビュー動作の間に前記観察対象が存在する該焦点位置の
    範囲を判定する範囲判定処理と、該範囲において該焦点
    位置を階段状に移動させつつ該焦点位置の各停止時に撮
    像する本撮像動作とを行うよう各前記手段を制御する、 請求項１記載の全焦点撮像装置。
28. 【請求項２８】前記制御手段は、前記駆動手段を制御
    し、前記可変焦点レンズの被写界深度に応じて前記焦点
    位置の移動速度を調整する、 請求項１記載の全焦点撮像装置。
29. 【請求項２９】少なくとも前記焦点位置に結像する光学
    マーカを前記観察対象に投影するマーカ投影手段をさら
    に有する、 請求項１記載の全焦点撮像装置。
30. 【請求項３０】前記マーカ投影手段は、前記光学マーカ
    を点滅させることができ、 前記制御手段は、該光学マーカの点滅に同期して前記撮
    像手段および前記画像処理手段を制御して、該光学マー
    カの投影中に合焦点判定を行い、該光学マーカの消灯中
    に前記画像メモリへの前記画像信号の取り込みを行う、 請求項２９記載の全焦点撮像装置。
31. 【請求項３１】前記マーカ投影手段は、前記撮像手段の
    撮像波長帯域を外れた波長帯で前記光学マーカを投影す
    る手段であり、 該光学マーカの該波長帯に感度を有するマーカ撮像手段
    をさらに有し、 前記画像処理手段は、該マーカ撮像手段から得られた画
    像信号に基づいて合焦点判定を行う、 請求項２９記載の全焦点撮像装置。