JP2001298755A - 全焦点撮像方法および立体表示方法 - Google Patents

Abstract

(57)【要約】 【課題】 焦点位置の一周期よりも過去の合焦点画素を
含まない新鮮な全焦点画像を、リアルタイムで提供する
ことができる全焦点撮像方法を提供すること。 【解決手段】 本発明の全焦点撮像方法では、先ず画像
入力ステップで、周期的に焦点位置を移動させる可変焦
点手段によって結像させられた画像を、撮像手段から画
像信号として画像メモリに逐一取り込む。次いで画像抽
出ステップで、この焦点位置の過去一周期分の複数の画
像信号からそれぞれ観察対象に焦点が合っている合焦点
画素を判定して抽出する。そして画像出力ステップで
は、抽出されたこれらの合焦点画素を合成して一枚の全
焦点画像を生成し、この全焦点画像をディスプレイに供
給する。このようにすれば、一画像が撮像されるたび
に、焦点位置の一周期よりも過去の合焦点画素を含まな
い新鮮な全焦点画像が、リアルタイムで提供される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、光学顕微鏡、電子
顕微鏡、光学望遠鏡、電子カメラなどの撮像装置の技術
分野に属する。本発明は特に、観察対象に焦点があった
画像を提供する合焦点撮像技術の技術分野と、観察対象
の立体形状を表示する立体表示技術の技術分野とに属す
る。

【０００２】

【従来の技術】従来の技術としては、特開平９−２３０
２５２号公報に、大まかに分けて次の二つの撮像技術が
開示されている。

【０００３】第一の撮像技術は、観察対象に対する焦点
位置（レンズから合焦点面までの距離）を高速で往復さ
せつつ画像をリアルタイムで表示し、焦点のあった輪郭
が鮮明な部分だけが網膜残像として視認されることを利
用している。同技術は、生理的な残像現象を巧妙に利用
して、観察対象の全体に渡って焦点が合った画像をリア
ルタイムで観察者に視認させることができるので、観察
対象に動きがある場合などにも好適な撮像技術である。

【０００４】しかしながら、同技術には、焦点が合って
いないぼやけた画像も網膜に結像し、焦点が合っている
瞬間よりも焦点が合っていない時間の方が長いのが普通
であるので、ややぼやけた感じを視覚から受けるという
不都合があった。すなわち、同技術によっては、観察対
象の全ての部分について焦点が合った完全な合焦点画像
は得られず、視覚上でもややぼやけた感じがするうえ
に、目が疲れやすいという不都合もあった。また、合焦
点画像は視認されるだけで、合焦点画像を写真撮影した
りプリントしたりすることはできないという不都合もあ
った。

【０００５】第二の撮像技術は、前述の第一の撮像技術
を応用し、二つの撮像装置を視差をもって観察対象に向
けて撮像した画像をそれぞれ左右の目に表示し、観察対
象を両眼視するものである。同技術によれば、立体感の
ある画像をリアルタイムで視認することができるという
効果がある。

【０００６】しかしながら、同技術にも、前述の第一の
撮像技術と同様の不都合があり、完全な合焦点画像を提
供することはできない。また、いずれの撮像技術によっ
ても、観察対象の立体数値モデルを生成することができ
ないので、断面形状を示す端面図を提示したり多方向か
らの俯瞰画像を連続的に合成して表示したりすることは
できない。

【０００７】

【発明が解決しようとする課題】これらの不都合を解消
し、観察対象の各部に焦点があった合焦点画像を準リア
ルタイムで生成することと、観察対象の立体形状を示す
立体数値モデルを生成することとを課題として、本願出
願人は先願として特願平１１−３００４６７号を出願し
た。この先願には、互いに異なる焦点位置での複数の画
像信号の中から観察対象に焦点が合った画素を選び出
し、準リアルタイムで合焦点画像や立体数値モデルを生
成する技術が記載されている。

【０００８】しかしながら、この先願の実施例１では、
図１に示すように、焦点位置が移動する移動周期の一周
期毎にしか、合焦点画像が更新されない。すなわち、Ｃ
ＣＤ素子などの撮像手段が一回撮像するたびに合焦点画
像が更新されるわけではなく、焦点位置が移動する移動
周期の一周期を待ってから、合焦点画像が更新されて表
示されるようになっている。それゆえ、表示される合焦
点画像では、撮像手段が撮像するたびに最新の焦点があ
った画素が更新されるわけではなく、合焦点画像の更新
には焦点位置の一周期分だけの待ち時間があり、リアル
タイム性の点でなお改良の余地があった。

【０００９】また、先願の実施例２では、撮像手段の撮
像毎にリアルタイムで合焦点画素の判定が行われ、合焦
点画像のうちこれらの合焦点画素を逐次更新することに
より、リアルタイムで新たな合焦点画像が生成される旨
が記載されている。これは、少なくとも実施例レベルで
は、図２に示すように、合焦点画像のうち新たに撮像さ
れた合焦点画素の部分だけがアップデートされるもので
あると考えられる。それゆえ、過去に一度だけ焦点が合
った画素がある場合には、その画素についてはいつまで
もアップデートされずに残るという不都合がある。とこ
ろで、このような合焦点画像の逐次更新が可能な全焦点
撮像技術については、先願の請求項１３で特許請求して
いるので、本願の特許請求の範囲からは除外している。

【００１０】そこで本発明は、焦点位置の一周期よりも
過去の合焦点画素を含まない新鮮な全焦点画像を、リア
ルタイムで提供することができる全焦点撮像方法を提供
することを第一の課題とする。また本発明は、観察対象
の立体形状を示す立体数値モデルを逐次的に生成し、観
察対象の立体形状をリアルタイムで表示することができ
る立体表示方法を提供することを第二の課題とする。な
お、本発明では、これら第一の課題および第二の課題の
うちいずれかが解決されていればよいものとする。

【００１１】

【課題を解決するための手段】前記課題を解決するため
に、発明者らは以下の手段を発明した。

【００１２】（第１手段）本発明の第１手段は、請求項
１記載の全焦点撮像方法である。すなわち本手段の全焦
点撮像方法では、撮像手段による撮像が行われる度に、
画像入力ステップ、画像抽出ステップおよび画像出力ス
テップが逐次行われる。

【００１３】図３に示すように、先ず、画像入力ステッ
プでは、周期的に焦点位置を移動させる可変焦点手段に
よって結像させられた画像が、撮像手段から画像信号と
して画像メモリに逐一取り込まれる。次に、画像抽出ス
テップでは、この焦点位置の過去一周期分にあたる複数
の画像信号からそれぞれ観察対象に焦点が合っている合
焦点画素が判定されて、抽出される。そして、画像出力
ステップでは、抽出されたこれらの合焦点画素は互いに
合成されて一枚の全焦点画像が生成され、この全焦点画
像がディスプレイに供給される。

【００１４】すなわち、本手段によれば、焦点位置の一
周期分の移動を待つことなく、撮像手段による撮像が行
われる度に、最新の合焦点画素を含む過去一周期以内の
合焦点画像で構成された全焦点画像がディスプレイに表
示される。しかも、前述のように全焦点画像を構成する
合焦点画像は、焦点位置の過去一周期以内のものに限ら
れるので、一周期を越えて過去に焦点があったことがあ
るだけの合焦点画素は表示されない。それゆえ、過去一
周期以内の新鮮な合焦点画素だけから全焦点画像が構成
され、毎回の撮像毎に表示されるので、ほぼ完全に近い
極めて高いリアルタイム性をもって全焦点画像が提供さ
れる。

【００１５】したがって、本手段の全焦点撮像方法によ
れば、焦点位置の一周期よりも過去の合焦点画素を含ま
ず、一周期以内の新鮮な合焦点画像だけで構成された全
焦点画像を、リアルタイムで提供することができるとい
う効果がある。

【００１６】（第２手段）本発明の第２手段は、請求項
２記載の立体表示方法である。すなわち本手段の立体表
示方法では、撮像手段による撮像が行われる度に、画像
入力ステップ、立体数値モデル更新ステップおよび画像
出力ステップが逐次行われる。

【００１７】先ず、画像入力ステップでは、周期的に焦
点位置を移動させる可変焦点手段によって結像させられ
た画像が、撮像手段から画像信号として画像メモリに逐
一取り込まれる。その際、これらの画像信号には、それ
ぞれ当該焦点位置を示す焦点位置情報が付される。

【００１８】次に、立体数値モデル更新ステップでは、
この焦点位置の過去一周期分にあたる複数の画像信号か
ら、観察対象に焦点が合っている合焦点画素がそれぞれ
判定されて抽出される。そして、抽出されたこれらの合
焦点画素のこの画像中に占めるそれぞれの面内位置と、
それぞれに付帯するこれらの焦点位置情報とからなる三
次元位置情報をもって、メモリに格納されている立体数
値モデルのうち当該合焦点画素にあたる部分が更新され
る。その結果、この焦点位置の過去一周期以内のこれら
の合焦点画素によって立体数値モデルが部分的に更新さ
れ、新たな立体数値モデルが生成される。

【００１９】そして、画像出力ステップでは、このメモ
リからこの新たな立体数値モデルが読み出されて画像生
成手段に供給され、この画像生成手段によって生成され
た画像がディスプレイに供給される。

【００２０】本手段では、撮像手段が撮像して画像を取
り込むたびに、立体数値モデルが最新の合焦点画像に付
帯する三次元位置情報に基づいてアップデートされる。
しかも、立体数値モデルは一周期以内の合焦点画素に基
づいて構成されるようになっているので、一周期を越え
て過去の位置情報が盛り込まれるような不都合は防止さ
れている。それゆえ、ディスプレイには、リアルタイム
に極めて近い最新の状態での観察対象の立体数値モデル
に基づく形状が表示され、観察者は容易に観察対象の立
体的な形状の変化をリアルタイムで認識することができ
る。

【００２１】したがって、本手段の立体表示方法によれ
ば、観察対象の立体形状を示す立体数値モデルを逐次的
に生成し、観察対象の立体形状をリアルタイムで表示す
ることができるという効果がある。

【００２２】

【発明の実施の形態】本発明の全焦点撮像方法および立
体表示方法の実施の形態については、当業者に実施可能
な理解が得られるよう、以下の実施例で明確かつ十分に
説明する。

【００２３】［実施例１］ （実施例１の全焦点撮像装置）本発明の実施例１として
の全焦点撮像方法は、次に説明する全焦点撮像装置を用
いて実施される。

【００２４】先ず、本実施例で用いられる全焦点撮像装
置は、図４に示すように、可変焦点手段としての可変焦
点レンズ部１、撮像手段としてのＣＣＤ素子２、ＣＣＤ
駆動回路３、ディスプレイとしての液晶モニタ４、制御
回路５、可変焦点レンズ駆動回路６、画像メモリ７およ
び画像処理回路８を、主要な構成要素として有してい
る。

【００２５】可変焦点手段としての可変焦点レンズ部１
は、高速で焦点位置を周期的に変化させることが可能な
光学素子として、特開平９−２３０２５２公報に開示さ
れている液封レンズ１１と積層圧電バイモルフアクチュ
エータ１２と固定レンズ１３から構成されている。可変
焦点レンズ部１は、可変焦点レンズ駆動回路６により駆
動され、数百Ｈｚの高速で焦点位置を変化させることが
可能である。可変焦点レンズ部１の後段には、撮像手段
としてのＣＣＤ素子２が配置されている。ＣＣＤ素子３
はＣＣＤ駆動回路４により駆動され、毎秒３０画像以上
の高速で撮像し各画像を逐次、電気信号である画像信号
に変換することが可能である。

【００２６】一方、画像メモリ７は、高速大容量の半導
体ＲＡＭであって、ＣＣＤ素子３により撮影された画像
信号を複数枚の大容量を記憶することができ、ＣＣＤ素
子３からの画像信号を転送速度以上の高速で書き込むこ
とと読み出すこととが可能である。画像処理回路８は、
画像メモリ７に記憶された複数枚の画像から、合焦点判
定を行って焦点の合っている画素（合焦点画素）を抽出
し、過去一周期以内の合焦点画像から構成された全焦点
画像を生成する画像処理を行うデジタル処理回路であ
る。画像処理回路８は、このような画像処理をＣＣＤ素
子３からの一枚分の画像信号が転送される時間内に行う
ことが可能な電子回路であり、画像処理回路８には、高
速演算処理が可能なＶＬＳＩからなるＭＰＵが採用され
ている。

【００２７】なお、液晶モニタ４は、画像処理回路８に
より生成された全焦点画像を表示するディスプレイであ
る。ディスプレイとして、液晶モニタ４の他にも、ＣＲ
Ｔ、プラズマディスプレイなどリアルタイムで画面が更
新可能な表示手段を採用することもできる。

【００２８】さらに、制御回路５は、可変焦点レンズ駆
動回路６、ＣＣＤ駆動回路３、画像メモリ７、画像処理
回路８、液晶モニタ４を適正に同期させて制御をするデ
ジタル演算回路である。

【００２９】次に、本実施例で用いられる高速全焦点撮
像装置の動作について説明する。説明を簡単にするた
め、図５に示すように、上面、中間面および下面の３つ
の互いに高さが異なる平面を含む被写体を観察対象とす
る。そして、この高速全焦点撮像装置は、この観察対象
を上方から観察し、図６に示すように一サイクル（焦点
位置の一周期）の撮像操作で、焦点位置をたとえば六段
階に変化させるものと想定する。もちろん焦点位置の変
化のさせ方は六段階に限定されるものではなく、所望の
段階に自由に設定できるものである。

【００３０】最初の一サイクルでは、可変焦点レンズ１
は、焦点位置ａから焦点位置ｆまでの六段階で焦点位置
を移動させる。そしてその間に、同じく図６に示すよう
に、可変焦点レンズ部１の焦点位置が階段状に停止した
タイミングに合わせ、ＣＣＤ素子２によって撮像が行わ
れる。すると、図７に示すように、六枚の画像信号Ｆａ
〜Ｆｆが取り込まれて、画像メモリ７に保存される。画
像メモリ７に保存された画像信号の中には、上面に焦点
の合った画像信号Ｆｂと、中間面に焦点の合った画像信
号Ｆｃと、下面に焦点の合った画像信号Ｆｄとが含まれ
る。

【００３１】そして、画像処理回路８は、同じく図７に
示すように、画像メモリ７に保存された六枚分の画像信
号の中から、例えば輝度値最大という条件で焦点の合っ
た画素のデータを合焦点画素として抽出する。次いで画
像処理回路８は、これらの合焦点画素を合成し、観察対
象のみえる部分全てに焦点があった全焦点画像Ｆｇを生
成する。生成された全焦点画像Ｆｇは、制御装置５によ
って画像出力され、液晶モニタ４に表示される。

【００３２】次のサイクル以降では、図８に示すよう
に、画像メモリ７に格納されている六枚分の画像信号の
うち最も古い一枚分の画像信号が、前記ＣＣＤ素子２よ
って撮像された最新の画像信号に置換される。すなわ
ち、焦点位置の周期的な変化の中で、同じ焦点位置で取
得された画像信号が更新される毎に、画像処理回路８に
よって画像メモリ７内に記憶されている六枚の画像から
焦点の合っている画素（合焦点画素）を抽出する画像処
理を行われる。そして、液晶モニタ４に表示される全焦
点画像Ｆｇｉ（ｉ＝１，２，・・）が更新されるので、
ほとんど完全にリアルタイムで全焦点画像が液晶モニタ
４に表示される。ただし、全焦点画像の更新には、ＣＣ
Ｄ素子２から一枚分の画像信号が転送される遅延に相当
する時間、すなわち毎秒３０画像のビデオレートの場合
には１／３０秒に相当する時間だけの遅延がある。

【００３３】なお、撮像手段としてＣＣＤ素子２の代わ
りにＣＭＯＳイメージャを用いれば、ＣＣＤ素子よりも
高速に一枚分の画像信号が転送できるので、さらに高速
で全焦点画像を得ることも可能である。また、画像メモ
リ７への画像信号の書き込み読み出し速度、画像処理の
演算速度が全焦点画像を得るリアルタイム性を律束する
場合には、撮像素子からの一枚分の画像信号を分割し
て、並列処理により高速化を図ることもできる。

【００３４】また、合焦点画素の抽出方法としては、本
実施例では、前記画像メモリ内に記憶されている複数枚
の画像信号の同じ位置の画素の内で輝度値が最大のもの
を合焦点画素とみなす処理で説明している。しかし、同
じ位置の画素のみでなく、その周辺の複数画素がもつ領
域の輝度値の変化量が最大となる画素を合焦点画素とみ
なすなど、様々な合焦点判定手法を用いることもでき
る。

【００３５】（実施例１の全焦点撮像方法）本発明の実
施例１としての全焦点撮像方法は、撮像手段としてのＣ
ＣＤ素子２による撮像が行われる度に、逐次行われる画
像入力ステップ、画像抽出ステップおよび画像出力ステ
ップからなる。

【００３６】先ず、画像入力ステップでは、再び図４に
示すように、周期的に焦点位置を移動させる可変焦点手
段としての可変焦点レンズ部１によって、観察対象の画
像がＣＣＤ素子２に結像させられる。この画像は、撮像
手段としてのＣＣＤ素子２から、画像信号として画像メ
モリ７に逐一取り込まれる。

【００３７】次に、画像抽出ステップでは、画像メモリ
７に格納されている焦点位置の過去一周期分にあたる複
数の画像信号から、画像処理回路８によって、それぞれ
観察対象に焦点が合っている合焦点画素が判定されて抽
出される。合焦点判定では、特定の画素の輝度値が最大
値または最小値をとる画像信号の画素をもって合焦点画
素と判定する方法が採用されている。

【００３８】そして、画像出力ステップでは、再び図７
に示すように、画像処理回路８によって抽出された合焦
点画素は互いに合成されて一枚の全焦点画像が生成さ
れ、この全焦点画像が制御装置５を介してディスプレイ
としての液晶モニタ４に供給され、表示される。

【００３９】すなわち、本実施例の全焦点撮像方法によ
れば、焦点位置の一周期分の移動を待つことなく、ＣＣ
Ｄ素子２による撮像が行われる度に、最新の合焦点画素
を含む過去一周期以内の合焦点画像で構成された全焦点
画像が液晶モニタ４に表示される。しかも、図８に示す
ように、全焦点画像を構成する合焦点画像は、焦点位置
の過去一周期以内のものに限られるので、一周期を越え
て過去に焦点があったことがあるだけの合焦点画素は表
示されない。それゆえ、過去一周期以内の新鮮な合焦点
画素だけから全焦点画像が構成され、毎回の撮像毎に表
示されるので、ほぼ完全に近い極めて高いリアルタイム
性をもって全焦点画像が提供される。

【００４０】したがって、本実施例の全焦点撮像方法に
よれば、焦点位置の一周期よりも過去の合焦点画素を含
まず、一周期以内の新鮮な合焦点画像だけで構成された
全焦点画像を、ＣＣＤ素子２で撮像する毎に、リアルタ
イムで提供することができるという効果がある。

【００４１】（実施例１の変形態様１）本実施例の変形
態様１として、可変焦点レンズ部１に替えて、図９に示
すように、可変焦点ミラー１０を可変焦点手段として採
用した全焦点撮像装置を用いて、本実施例の全焦点撮像
方法を実施してもよい。

【００４２】可変焦点ミラー１０は、可変焦点レンズ部
１と同程度あるいはそれ以上に高速で焦点位置を変化さ
せることができる光学素子であり、詳しい構成はすでに
特開平５−１５７９０３公報に開示されている。すなわ
ち、可変焦点ミラー１０は、ダイアフラム状の凹面鏡１
０１とこれに対向した電極１０２とをもつ。可変焦点ミ
ラー１０には、可変焦点ミラー駆動回路１６によって、
凹面鏡１０１と電極１０２との間に電位差が印加され
る。そして、静電気力によって凹面鏡１０１が変形する
ので、可変焦点ミラー１０は適正かつ高速に焦点位置を
変化させることができる。

【００４３】本変形態様によっても、可変焦点手段にあ
たる部分の装置構成が異なるだけで実施例１と同様の全
焦点撮像方法を実施することができるので、実施例１と
ほぼ同様の作用効果が得られる。

【００４４】（実施例１の変形態様２）本実施例の変形
態様２として、可変焦点レンズ部１（図１参照）の焦点
位置の変化パターンを変えた全焦点撮像方法の実施が可
能である。

【００４５】たとえば、可変焦点レンズ１の焦点位置
は、実施例１では撮像タイミングに合わせて最近点から
最遠点までステップ上に変化させる場合で説明したが、
逆に、図１０に示すように最遠点側から最近点側に変化
させてもよい。本変形態様によっても、実施例１と同様
の作用効果が得られる。

【００４６】あるいは、図１１に示すように、ＣＣＤ素
子２などの撮像素子の撮像時間が十分に短ければ、焦点
位置を連続的に変化させてもよい。本変形態様によれ
ば、可変焦点レンズ部１などの可変焦点手段がもつ焦点
設定速度にあまりとらわれることなく、より高速での撮
像が可能になるので、画像処理回路８の処理速度さえ十
分に向上すればさらに高いリアルタイム性が得られる。

【００４７】もとろん、ノコギリ波状の焦点位置の変化
タイミングを、逆に最近点から最遠点へと変化させるよ
うにしてもよく、この変形態様によっても高いリアルタ
イム性が得られる。

【００４８】（実施例１の変形態様３）本実施例の変形
態様３として、本実施例での画像処理回路８では画素の
輝度値に注目して合焦点判定が行われていたが、画像処
理回路８の処理能力が許せば、その他の合焦点判定手法
が採用されていてもよい。合焦点判定手法の各種につい
ては、前述の先願に具体的に詳しく記載されているの
で、先願を参照されたい。本変形態様によれば、前述の
実施例１と同様の効果が得られるほか、各種の合焦点判
定手法に特有の特性が得られる。

【００４９】［実施例２］ （実施例２の全焦点撮像装置）本発明の実施例２として
の全焦点撮像方法は、次に説明する全焦点撮像装置を用
いて実施される。

【００５０】先ず、本実施例で用いられる全焦点撮像装
置は、図１２に示すように、実施例１とほぼ同様に、可
変焦点レンズ部１、ＣＣＤ素子２、ＣＣＤ駆動回路３、
液晶モニタ４、制御回路５、可変焦点レンズ駆動回路
６、画像メモリ７および画像処理回路８を有する。そし
て本実施例の全焦点撮像装置は、立体数値モデルを生成
して更新する三次元形状生成回路９をさらに有する点
が、実施例１とは異なっている。

【００５１】すなわち、本実施例で用いる全焦点撮像装
置は、三次元形状生成回路９が加えられていることによ
り、観察対象の立体数値モデルがリアルタイムで得られ
るものである。もちろん、スイッチ操作一つで、実施例
１と同様に全焦点画像をリアルタイムで表示することも
できる。

【００５２】この全焦点撮像装置でも、図１３に示すよ
うに、画像メモリ７（図１２参照）には、観察対象の上
面、中間面および下面にそれぞれ焦点が合った画像Ｆ
ｂ，Ｆｃ，Ｆｄを含む多数の画像データと、各画像が得
られた時の可変焦点レンズ駆動回路６の出力電圧データ
とが保存されている。そして、前述の実施例１の合焦点
判定手法と同様にして、合焦点画素が判定されて抽出さ
れ、その画素の可変焦点レンズ駆動回路９の出力電圧値
を焦点位置情報として、三次元形状生成装置９により可
変焦点レンズの焦点距離データに変換することで、合焦
点画素の三次元マップ、すなわち観察対象物の立体数値
モデルである三次元形状プロファイルを得ることができ
る。さらに、この三次元形状プロファイルｈは所望の表
示方法により三次元表示画像として、液晶モニタ４に表
示することができる。

【００５３】以上のような三次元形状生成処理は、前述
の実施例１と同様に、画像メモリ７内の複数枚の画像信
号のうち最も古い一枚分の画像信号が、前記ＣＣＤ素子
２より取得された最新の画像信号により更新される度に
行われる。すなわち、焦点位置の周期的な変化の中で、
一周期が経って同じ焦点位置で取得された画像信号が更
新される毎に、画像処理回路８によって画像メモリ７に
記憶されている複数枚分の画像信号の中から合焦点画素
が抽出される。そして、合焦点画素の撮像時に可変焦点
レンズ部１に印加されていた可変焦点レンズ駆動回路９
の出力電圧値が、三次元形状生成装置９により焦点位置
情報に変換され、当該合焦点画素に添付される。このよ
うにして立体数値モデルから生成された三次元形状プロ
ファイルが更新されるので、全焦点画像と同様に、ほと
んどリアルタイムで三次元形状プロファイルが液晶モニ
タ４に映し出される。

【００５４】（実施例２の全焦点撮像方法）本発明の実
施例１としての全焦点撮像方法は、撮像手段としてのＣ
ＣＤ素子２による撮像が行われる度に、逐次行われる画
像入力ステップ、立体数値モデル更新ステップおよび画
像出力ステップからなる。

【００５５】先ず、画像入力ステップでは、周期的に焦
点位置を移動させる可変焦点手段としての可変焦点レン
ズ部１によって、所定の焦点位置における観察対象の画
像がＣＣＤ素子２に結像させられる。この画像は、撮像
手段としてのＣＣＤ素子２から画像信号として画像メモ
リ７に逐一取り込まれる。その際、各画像信号には、可
変焦点レンズ駆動回路６の出力電圧を基にして、それぞ
れ当該焦点位置を示す焦点位置情報が付される。

【００５６】次に、立体数値モデル更新ステップでは、
この焦点位置の過去一周期分にあたる複数の画像信号か
ら、観察対象に焦点が合っている合焦点画素がそれぞれ
判定されて抽出される。そして、抽出されたこれらの合
焦点画素のこの画像中に占めるそれぞれの面内位置（縦
横の位置）と、それぞれに付帯するこれらの焦点位置情
報（高さ）とからなる三次元位置情報をもって、メモリ
に格納されている立体数値モデルのうち当該合焦点画素
にあたる部分が更新される。その結果、この焦点位置の
過去一周期以内のこれらの合焦点画素によって立体数値
モデルが部分的に更新され、新たな立体数値モデルが生
成される。

【００５７】そして、画像出力ステップでは、このメモ
リからこの新たな立体数値モデルが読み出されて画像生
成手段に供給され、この画像生成手段によって生成され
た画像がディスプレイとしての液晶モニタ４に供給され
る。すなわち、ＣＣＤ素子２が撮像するたびに、たとえ
ば観察対象の最新の三次元形状プロファイルなどがリア
ルタイムで液晶モニタ４に表示される。

【００５８】このように、本実施例の全焦点撮像方法で
は、ＣＣＤ素子２が撮像して画像を取り込むたびに、立
体数値モデルが最新の合焦点画像に付帯する三次元位置
情報に基づいてアップデートされる。しかも、立体数値
モデルは一周期以内の合焦点画素に基づいて構成される
ようになっているので、一周期を越えて過去の位置情報
が盛り込まれるような不都合は防止されている。それゆ
え、リアルタイムに極めて近い最新の状態で、観察対象
の立体数値モデルに基づく形状が液晶モニタ４に表示さ
れる。その結果、観察者は観察対象の立体的な形状の変
化を、実質的にリアルタイムで認識することができる。

【００５９】したがって、本実施例の立体表示方法によ
れば、前述の実施例１の効果に加えて、観察対象の立体
形状を示す立体数値モデルを逐次的に生成し、観察対象
の立体形状をリアルタイムで表示することができるとい
う効果がある。すなわち、観察対象の立体形状の表示に
おいても、実施例１と同様のリアルタイム性が得らると
いう効果がある。

【００６０】（実施例２の各種変形態様）本実施例の立
体表示方法に対しても、実施例１の各変形態様に対応す
る各種の変形態様を実施することが可能である。

【図面の簡単な説明】

【図１】 先願の実施例１がもつ作用を示すタイミング
チャート

【図２】 先願の実施例２がもつ作用を示すタイミング
チャート

【図３】 本発明の全焦点撮像方法がもつ作用を示すタ
イミングチャート

【図４】 実施例１で用いる全焦点撮像装置の構成を示
す模式図

【図５】 実施例１での観察対象の一例を示す斜視図

【図６】 実施例１での撮像タイミングを示すタイミン
グチャート

【図７】 実施例１としての全焦点撮像方法がもつ作用
を示す模式図

【図８】 実施例１の全焦点撮像方法がもつ作用を示す
タイミングチャート

【図９】 実施例１の変形態様１の全焦点撮像装置の構
成を示す模式図

【図１０】実施例１の変形態様２の焦点位置変化を示す
タイミングチャート

【図１１】実施例１の変形態様２の焦点位置変化を示す
タイミングチャート

【図１２】実施例２で用いる全焦点撮像装置の構成を示
す模式図

【図１３】実施例２としての立体表示方法がもつ作用を
示す模式図

【符号の説明】

１：可変焦点レンズ部（可変焦点手段として） １１：液封レンズ １２：積層圧電バイモルフアクチ
ュエータ １３：固定レンズ ２：ＣＣＤ素子（撮像手段として） ３：ＣＣＤ駆動
回路 ４：液晶モニタ（ディスプレイとして） ５：制御回
路 ６：可変焦点レンズ駆動回路 ７：画像メモリ（実施例２ではメモリとしても使用） ８：画像処理回路 ９：三次元形状生成装置 １０：可変焦点ミラー １０１：凹面鏡 １０２：電極 １６：可変焦点ミラー駆動回路

フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 1/00 ３１５ Ｇ０６Ｔ 3/00 ４００Ｊ ５Ｃ０２２ ４３０ Ｈ０４Ｎ 5/225 Ｚ ５Ｃ０６１ 3/00 ４００ 5/232 Ａ Ｈ０４Ｎ 5/225 13/00 5/232 Ｇ０２Ｂ 7/11 Ｎ 13/00 Ｇ０３Ｂ 3/00 Ａ (72)発明者 川原 伸章 愛知県刈谷市昭和町１丁目１番地 株式会 社デンソー内 Ｆターム(参考） 2H011 AA01 AA06 BA31 BB02 BB04 2H051 AA00 AA11 BA47 BA65 GB12 GB15 2H052 AB05 AD09 AF21 AF25 5B047 AA07 BA02 BB04 BC05 CA12 CA17 5B057 BA02 BA15 CA12 CB12 CE08 CE20 CH11 5C022 AA13 AB28 AB68 AC01 5C061 AA20 AB03 AB06 AB08 AB14

Claims (2)

【特許請求の範囲】
1. 【請求項１】周期的に焦点位置を移動させる可変焦点手
   段によって結像させられた画像を、撮像手段から画像信
   号として画像メモリに逐一取り込む画像入力ステップ
   と、 この画像入力ステップが行われる度に、この焦点位置の
   過去一周期分の複数の画像信号からそれぞれ観察対象に
   焦点が合っている合焦点画素を判定して抽出する画像抽
   出ステップと、 この画像抽出ステップが行われる度に、抽出されたこれ
   らの合焦点画素を合成して一枚の全焦点画像を生成し、
   この全焦点画像をディスプレイに供給する画像出力ステ
   ップと、を有することを特徴とする全焦点撮像方法。
2. 【請求項２】周期的に焦点位置を移動させる可変焦点手
   段によって結像させられた画像を、撮像手段から画像信
   号として画像メモリに逐一取り込み、当該焦点位置を示
   す焦点位置情報を付す画像入力ステップと、 この画像入力ステップが行われる度に、この焦点位置の
   過去一周期分の複数の画像信号から観察対象に焦点が合
   っている合焦点画素をそれぞれ判定して抽出したうえ
   で、これらの合焦点画素のこの画像中に占めるそれぞれ
   の面内位置とそれぞれに付帯するこれらの焦点位置情報
   とからなる三次元位置情報をもって、メモリに格納され
   ている立体数値モデルのうち当該合焦点画素にあたる部
   分を更新し、この焦点位置の過去一周期以内のこれらの
   合焦点画素から新たな立体数値モデルを生成する立体数
   値モデル更新ステップと、 この立体数値モデル更新ステップが行われる度に、この
   メモリからこの新たな立体数値モデルを読み出して画像
   生成手段に供給し、この画像生成手段によって生成され
   た画像をディスプレイに供給する画像出力ステップと、
   を有することを特徴とする立体表示方法。