JP2005311837A - 撮像・表示装置 - Google Patents

Abstract

【課題】 撮像した画像を画像処理した結果に基づいて、欠陥や測定結果などをリアルタイムで正確かつ容易に確認できる光学装置を提供すること。
【解決手段】 被写体１の像を撮像するカメラ５と、その撮像された画像を画像処理する画像処理器７と、その処理結果を表示する液晶表示装置（ＬＣＤ）又はＤＭＤなどの表示手段９と、その表示内容を撮像した光学系と望ましくは同軸上に投映用光源１１によって被写体１に重ねて或いは被写体１の近傍位置に表示する投映手段（投映用光源１１、レンズ４、ミラー２）とを有する撮像・表示装置。特に、被写体１の欠陥等の部分の位置等をその実際の被写体上で知ることができるように、撮り込んだ画像にフィードバックをかけて、その結果を望ましくは被写体１上に重ねて表示し、フィードバックの結果を被写体１上で確認するようにしたもの。
【選択図】 図１

Description

本発明は、撮像・表示装置に関し、特に、被写体をカメラで撮像し、その撮像した画像を画像処理した後に投映できるようにした光学装置に関するものである。

被写体をカメラにて撮影し、その画像を画像処理して、生産現場で製品の欠陥や判定に利用することは、公知の技術である。また、液晶表示装置（ＬＣＤ）やＤＭＤ（Digital Micromirror Device）などのプロジェクタを用いて像を投映して映し出す装置も既に存在している。

しかしながら、被写体を撮像し、その撮り込んだ画像に対してある目的に沿った画像処理を施し、その像を液晶表示装置やＤＭＤ上に表示し、更に投映光源を用いて投映しても、被写体の実際の状態をリアルタイムで認識することはできない。

例えば、壁などの内部の欠陥を赤外線カメラで撮影する場合、壁内のハガレや水漏れなどを赤外線カメラで撮像してとり込んだ画像を画像処理してモニタ上に表示することができるが、そのモニタ上に表示されている壁内部の欠陥の位置などについて、メジャーなどによって壁上を測り、欠陥部分にマークなどを付けて認識するしかなかった。

また、電子部品の実装の場合、カメラで撮像し、電子部品がプリント基板上に正しく実装されていないことをモニタ上に表示することができるが、実際のプリント基板上のどこに欠陥があるのかは表示することができなかった。同じ様な電子部品が並んでいる場合、電子部品のある場所を同定するのも手間がかかる作業である。従って、モニタ画面とプリント基板とを交互に見比べながら、欠陥を捜さねばならないのが現状である。

本発明の目的は、撮像した画像を画像処理した結果に基づいて、欠陥や測定結果などをリアルタイムで正確かつ容易に確認できる光学装置を提供することにある。

即ち、本発明は、被写体の像を撮像する撮像手段と、その撮像された画像を画像処理する画像処理手段と、その処理結果を表示する液晶表示装置（ＬＣＤ）又はＤＭＤなどの表示手段と、その表示内容を、撮像した光学系と望ましくは同軸上に、投映用光源によって前記被写体上に重ねて或いは前記被写体の近傍位置に表示する投映手段とを有する撮像・表示装置に係るものである。特に、前記被写体の欠陥等が存在する部分の位置等をその実際の被写体上で知ることができるように、撮り込んだ画像にフィードバックをかけて、その結果を望ましくは前記被写体上に重ねて表示し、フィードバックの結果を被写体上で確認するようにしたものである。

本発明によれば、前記被写体の撮像された画像を画像処理し、その結果を表示手段で表示し、その表示内容を投映用光源によって前記被写体上に重ねて或いは前記被写体の近傍位置に表示しているので、前記被写体の欠陥等が存在する部分の位置等をその実際の被写体上で知ることができるように、撮り込んだ画像にフィードバックをかけて、その結果を望ましくは前記被写体上に重ねて或いは前記被写体の近傍位置に表示し、フィードバックの結果を前記被写体上又はその近傍位置で確認することができる。その結果、前記被写体の欠陥や測定結果を実際の被写体上又はその近傍位置でリアルタイムで正確かつ容易に確認することができる。

本発明においては、前記被写体の像を撮像するカメラと、その撮像された画像を画像処理する前記画像処理手段と、その処理結果を表示する液晶表示装置又はＤＭＤ（Digital Micromirror Device）などの前記表示手段と、その表示内容を、撮像した光学系と同軸上に、投映用光源によって前記被写体上に重ねて表示する前記投映手段とを有するのが望ましい。

この場合、ハーフミラー又はダイクロイックミラーを通して前記被写体を撮像するための、レンズとカメラとを有するのがよい。

また、画像処理した結果の画像が表示される液晶表示装置又はＤＭＤと、この液晶表示装置又はＤＭＤ上を走査する走査光源とを有するのがよい。

そして、前記走査光源により照射された前記液晶表示装置又はＤＭＤからの光がレンズを通った後、前記ハーフミラー又はダイクロイックミラーを介して前記被写体上に重なるように投映されるのがよい。

以下、本発明の好ましい実施の形態を図面の参照下で詳細に説明する。

図１に示す例では、ハーフミラー（又はダイクロイックミラー）２を通して、被写体１の像をレンズ３にて例えばＣＣＤ（Charge Coupled Device）カメラ５の撮像面６に結像させる。

この撮像された画像は、画像処理器７に送り、目的に沿った画像処理（例えば重心検出や、パターンマッチング等の画像処理）を施し、モニタ画面８上に表示する。

一方、画像処理された画像は、液晶コントローラ１０に送り、液晶表示装置９上に表示する。そして、投映用光源１１により、液晶表示装置９の画像をレンズ４を通してハーフミラー（又はダイクロイックミラー）２に導き、ここで反射させ、更に被写体１、レンズ３及びカメラ５と同軸に投映する。これによって、被写体１上に液晶表示装置９上の画像を重ねて投映する。

この場合、ハーフミラー（又はダイクロイックミラー）２については、ハーフミラーを使用する場合には、投映用光源１１の光の一部分が被写体１の方へ（更には被写体１から反射してカメラ５の方へ）進行するが、このとき、撮像面６の前位に、投映用光源１１の光の波長をカットするためのフィルタ４１を仮想線のように光路上に装入（或いは、光路に対して出し入れ）できるようにしておけば、被写体１の像そのものと、被写体１の像を画像処理した結果の重なった像とを同時に視認することができる。ダイクロイックミラーを使用する場合には、ある波長光は透過し、ある波長光は反射するミラーであるが、投映用光源１１の波長光のみ反射し、その他の波長の光は透過するようにしておけば、カメラ５では被写体１のみの像を撮像でき、かつ画像処理した画像のみを投映できる。

図２に示す例では、図１の例と比べて、ハーフミラー（又はダイクロイックミラー）２に対し、カメラ５と液晶表示装置９及び投映用光源１１との位置が入れ替わっている。

被写体１からの光は、ハーフミラー（又はダイクロイックミラー）２で反射させ、カメラ５へ導く一方、投映用光源１１から出た光は、ハーフミラー（又はダイクロイックミラー）２を透過して被写体１上に投映される。ここで、ダイクロイックミラーを使用する場合、ダイクロイックミラーは、投映用光源１１の波長光を透過し、他の波長光は反射するように設計しておけばよい。

図３に示す例では、表示器として液晶表示装置９の替りにＤＭＤ（Digital Micromirror Device）１２を用いている。

ＤＭＤには、小さなミラーがマトリックス状に並べて配置し、ＤＭＤコントローラ１３によって各々のミラーの反射角度を制御できるようにしたものであり、投映用表示器として液晶表示装置と同様に市販されている。この例では、ハーフミラー（又はダイクロイックミラー）２に対し、その反射側にＤＭＤ１２を配し、カメラ５を透過側に配している。

図４に示す例では、図３の例と比べて、ハーフミラー（又はダイクロイックミラー）２に対し、反射側にカメラ５を配し、透過側にＤＭＤ１２を配している。

図５は、投映用光源１１の例を示すものであり、レーザー光源１４から出たレーザー光は、シート状光作製レンズ１５により、図６に示すようなシート状レーザー光２４に加工する。そして、回転するポリゴンミラー１６で反射させ、走査用レンズ１７で液晶表示装置９の面上を走査する。

このシート状レーザー光２４は、図６に示すシリンドリカルレンズ２３のような走査用レンズ１７で線状に集光して、液晶表示装置９の面上を走査する。即ち、液晶表示装置の面上の例えば左の列から右の列へと各列を走査すれば、一画面を均等に走査でき、液晶表示装置９を透過した光は、図１に示したレンズ４を通して投映される。なお、ポリゴンミラー１６の替りに、ガルバノミラーを用いて走査してもよい。

図７は、投映用光源１１として２次元走査用ガルバノミラーを用いた例を示すものであり、レーザー光源１４を出たレーザー光は、水平走査用ガルバノミラー１８と垂直走査用ガルバノミラー１９とにより２次元面上を走査できる。この走査光は、走査用レンズ２０（主にｆθレンズが用いられる。）により、液晶表示装置９の面上に集光して、この液晶表示装置の各行列の各ビットを走査する。勿論、投映用光源１１は、液晶表示装置９のみならず、上述したＤＭＤ１２の面上を走査してもよい。

図８は、撮像用レンズと投映用レンズとを一つにまとめ、兼用することによって、光学系を簡略化した例を示す。

この場合、レンズ２８とカメラ５との間にハーフミラー（又はダイクロイックミラー）２を配置する。ここでは、液晶表示装置９を用いているが、ＤＭＤ１２でもよく、また反射側に液晶表示装置９を、透過側にカメラ５を配しているが、この逆でもよい。

なお、図８中、仮想線で示すように、レンズ２８を撮像用とし、これとは別に投映用のレンズ２８Ａを配置してもよい（これは、上述した他の例でも同様であってよい）。この場合は、撮像時の光軸と投映時の光軸が異なり、被写体１の近傍に処理画像が投映されることになる。

次に、上述した光学系によって被写体を検知する具体例を説明する。

図９は、壁面２１の内部欠陥を表示する例である。

即ち、例えば図１に示したように、赤外線カメラ５で家屋の壁面２１を撮像すると（図９（Ａ））、内部の空洞や水漏れが存在する箇所では、温度の相違によって赤外線画像で欠陥部を検出できる。モニタ画面８上に、欠陥部分を画像処理した結果の画像を映し出す装置は市販されているが、その欠陥の画像を液晶表示装置９の表示器に表示し、この表示情報を壁面２１上に投映した画像（図９（Ｂ））が壁面２１内の欠陥画像２２に相当する。

このように、直接測定した結果をすぐに実寸大でリアルタイムに表示できるので、目的箇所の確認を容易かつ確実に行え、効果的で解り易い。

図１０は、プリント基板２５上に実装された電子部品の実装検査を行う例を示す。

例えば、図１０（Ａ）、（Ｂ）に示すように、電子部品２６と電子部品２７との実装位置が異なっていることがある。高密度、小型化されている電子部品の向き、種類、有無、位置等を判別することは、近年増々難しくなってきているが、例えば図１０（Ｂ）で示す実装状態が正規の状態であるのに実際には図１０（Ａ）の状態が撮像された場合に、この撮像画像を図１０（Ａ）の実装状態を記憶した正規の情報と比較し、欠陥部を図１０（Ｂ）に破線で示すようにすぐに実際のプリント基板２５上に表示することができる。

このように、実装状態及び位置を容易かつ確実に判別でき、これに基づいて正規の実装状態に確実に修復若しくは変更することができる。また。こうした判別システムは、多品種、少量生産の組立手順を指示するように応用することもできる。なお、上記の記憶情報は、例えば図１に示した画像処理器７に設けることができる。

図１１は、生体の臓器３１上のガン等の患部２９、３０に対する手術への応用例を示す。

予めＣＴ（Computed Tomography）等で臓器３１の患部２９、３０の位置、大きさを撮影しておき、手術中に切除すべき部分を本発明に基づくシステムを用いて投映しながら手術をすれば、誤って他の部分を切除するミスを防止でき、また手術の手順を示すこともできる。或いは、術後に術部を検出することにより、ハサミ等の術部への置き忘れを防ぐこともできる。

図１２は、運動選手等のレベルアップ等に応用した例を示す。

例えば、本発明に基づくシステムを用いて、走っている選手３４を撮像し、その選手の重心位置３２を画像処理で計算し、リアルタイムでその人の体上に投映すると、重心の上下動を検出でき、これを是正すること等が可能となる。これにより、もっと良い状態で走れるように修正を加えることができる等、運動状態のチェックとその修正、更には運動時の診断にも用いることができる。

図１３は、車の重心を表示する例を示す。

即ち、車３５の走行性能アップのために、本発明に基づくシステムを用いて、走行している車にリアルタイムでその重心位置３３等を投映して、上述した例と同様にして、その走行性能の向上に役立たせることができる。

上述した如く、本発明によれば、撮像した画像を画像処理した結果をすぐに液晶表示装置等の表示器に表示し、撮像した光学系と望ましくは同軸上に投映して、被写体上に重ねて表示できるようにしたので、被写体上の欠陥や測定結果を実際の被写体上で容易かつ確実に確認でき、家屋の壁や、プリント基板の実装状態等の欠陥検出、その修復、更には処理手順の指示等を行うことができる。

本発明の実施の形態による撮像・表示装置の例を示す概略図である。 同、撮像・表示装置の他の例を示す概略図である。 同、撮像・表示装置の他の例を示す概略図である。 同、撮像・表示装置の更に他の例を示す概略図である。 同、撮像・表示装置における投映用光源の例を示す概略図である。 同、撮像・表示装置の集光系の例を示す概略図である。 同、撮像・表示装置の投映用光源の他の例を示す概略図である。 同、撮像・表示装置の他の例を示す概略図である。 同、撮像・表示装置を用いて壁面等の内部欠陥を検出して表示する応用例を示す概略正面図である。 同、撮像・表示装置を用いてプリント基板上の電子部品実装検査を行う応用例を示す概略平面図である。 同、撮像・表示装置を用いて臓器手術等を行う応用例を示す概略図である。 同、撮像・表示装置を用いて運動選手の運動をチェックするのに応用した例を示す概略側面図である。 同、撮像・表示装置を用いて車の走行状態をチェックするのに応用した例を示す概略側面図である。

符号の説明

１…被写体、２…ハーフミラー又はダイクロイックミラー、
３、４、２８、２８Ａ…レンズ、５…カメラ、６…撮像面、７…画像処理器、
８…モニタ画面、９…液晶表示装置、１０…液晶コントローラ、１１…投映用光源、
１２…ＤＭＤ（Digital Micromirror Device）、１３…ＤＭＤコントローラ、
１４…レーザー光源、１５…シート状光作製レンズ、１６…ポリゴンミラー、
１７、２０…走査用レンズ、１８…水平走査用ガルバノミラー、
１９…垂直走査用ガルバノミラー、２１…壁面、２２…壁面内の欠陥画像、
２３…シリンドリカルレンズ、２４…シート状レーザー光、２５…プリント基板、
２６、２７…電子部品、２９、３０…患部、３１…臓器、３２、３３…重心、
３４…運動選手、３５…車、４１…フィルタ

Claims (5)

1. 被写体の像を撮像する撮像手段と、その撮像された画像を画像処理する画像処理手段と、その処理結果を表示する表示手段と、その表示内容を投映用光源によって前記被写体上に重ねて或いは前記被写体の近傍位置に表示する投映手段とを有する撮像・表示装置。
2. 前記被写体の像を撮像するカメラと、その撮像された画像を画像処理する前記画像処理手段と、その処理結果を表示する液晶表示装置又はＤＭＤ（Digital Micromirror Device）などの前記表示手段と、その表示内容を、撮像した光学系と同軸上に、前記投映用光源によって前記被写体上に重ねて表示する前記投映手段とを有する、請求項１に記載した撮像・表示装置。
3. ハーフミラー又はダイクロイックミラーを通して前記被写体を撮像するための、レンズとカメラとを有する、請求項２に記載した撮像・表示装置。
4. 画像処理した結果の画像が表示される液晶表示装置又はＤＭＤと、この液晶表示装置又はＤＭＤ上を走査する走査光源とを有する、請求項２に記載した撮像・表示装置。
5. 前記走査光源により照射された前記液晶表示装置又はＤＭＤからの光がレンズを通った後、前記ハーフミラー又はダイクロイックミラーを介して前記被写体上に重なるように投映される、請求項３に記載した撮像・表示装置。
   

Images