JP2007316993A - 画像処理装置、画像データを選択させる方法、およびその方法をコンピュータに実行させるためのプログラム - Google Patents

Abstract

【課題】対象画像データの選択の効率が向上した画像処理装置、画像データを選択させる方法、およびその方法をコンピュータに実行させるためのプログラムを提供する。
【解決手段】
画像処理装置１は、三次元画像データを含む複数の画像データを記憶するメモリ２０と、複数の画像データの画像を表示させる表示部６と、複数の画像データに対して処理を行なう制御部（演算部）１８とを備える。制御部１８は、メモリ２０から複数の画像データを読み出して、処理対象となる画像データを選択させるための一覧表示を表示部６に行なわせる際に、少なくとも１つの三次元画像データに対応する視線方向が異なる複数の画像を表示部６に表示させる。より好ましくは、制御部１８は、複数の画像を次々と切換えて、三次元形状が自転しているように表示部６に表示させる。
【選択図】図１

Description

本発明は、画像処理装置、画像データを選択させる方法、およびその方法をコンピュータに実行させるためのプログラムに関し、特に三次元画像を扱う画像処理装置に関する。

拡大観察装置が光学顕微鏡に代わり研究、開発、生産現場の品質管理等に用いられるようになってきている。拡大観察装置は、撮像素子で撮像した画像を拡大してディスプレイ上に表示させるもので、顕微鏡と異なり複数の人物が同時に観察可能、電子データであるので保存が容易でデータの加工も容易等の利点がある。

しかし、立体的な観察対象物の像を観察する場合、被写界深度によりその像の一部がぼやけてしまうのは、顕微鏡と同様であり、被写界深度に比べて高さが高いワークの形状を把握するのは困難であった。

この問題に対し、特開２０００−３９５６６号公報（特許文献１）には、観察対象物の光学拡大像を三次元データ化して、観察対象物の観察したい領域を任意の視点、視野および角度から立体画像として観察することが可能な拡大観察装置が開示されている。
特開２０００−３９５６６号公報

観察した画像が保存可能な拡大観察装置のように、多数の画像データを保存することができる画像処理装置では、保存した画像データファイルの中から１ファイルを選択してそのファイル中のデータに対してさらに高度な処理を施したり詳細な表示を行なったり高さの計測処理を行なったりすることがしばしば行なわれる。

所望のデータを選択する選択画面では、ユーザにとって判りやすく選択できるようファイル名に代えてまたはファイル名に加えて縮小二次元画像であるサムネイル（thumbnail）の一覧と選択されたサムネイルの拡大画像とを同時に表示することもしばしば行なわれる。

しかしながら、研究や評価の作業では、複数の似通った画像を扱うケースが多い。たとえば、プリント配線基板への部品のはんだ付け部分を観察する場合に、いくつものサンプルに対して比較し易いように同じ観察方向から撮影したようなときがこのようなケースに該当する。

また、すべての画像を三次元画像データファイルとして保存するのは、ファイルサイズが大きくなり保存や読出しの所要時間も長くなるので現実的ではない。したがって、サムネイル画像を一覧させた場合に三次元画像データファイルと二次元画像データファイルが混在していることも考えられる。

さらに、選択する対象が三次元画像データファイルの場合には、サムネイルで１方向の視線方向の二次元画像を表示し、その視線方向からの形状を見て所望の画像データファイルか否かを判断しなければならない。しかし、複数の三次元画像データファイルから所望の三次元画像データファイルを選択する場合、１方向の視線方向の二次元画像のみでは判断できない場合がある。たとえば、欠陥部分がその視線方向からは観察できない場合である。この場合、一度選択画面から、三次元画像データファイルを扱うアプリケーションプログラムを起動し画面を表示させてから視線方向を変えて形状全体を確認しなければならない。このときの作業に手間がかかるので、作業効率が悪いという問題があった。

この発明の目的は、対象画像データの選択の効率が向上した画像処理装置、画像データを選択させる方法、およびその方法をコンピュータに実行させるためのプログラムを提供することである。

この発明は、要約すると、画像処理装置であって、三次元画像データを含む複数の画像データを記憶する記憶手段と、複数の画像データの画像を表示させる表示手段と、複数の画像データに対して処理を行なう処理手段とを備える。処理手段は、記憶手段から複数の画像データを読み出して、処理対象となる画像データを選択させるための一覧表示を表示手段に行なわせる際に、少なくとも１つの三次元画像データに対応する視線方向が異なる複数の画像を表示手段に表示させる。

好ましくは、処理手段は、複数の画像を切換えて表示手段に表示させる。
より好ましくは、処理手段は、複数の画像を次々と切換えて、三次元形状が自転しているように表示手段に表示させる。

さらに好ましくは、自転の軸は、三次元画像の撮像方向に対して傾いている。
好ましくは、画像処理装置は、操作者からの指示を入力する入力手段をさらに備える。処理手段は、入力手段からの指示に応じて複数の画像を切換えて表示する。

より好ましくは、処理手段は、表示手段に表示させる画像を現在の画像から入力手段からの指示に応じた量だけ視線方向を移動させた画像に切換える。

好ましくは、処理手段は、一覧表示後に対象画像データを選択する指示を受けると対象画像データを使用する所定の処理を実行する。

より好ましくは、所定の処理は、計測、保存、印刷、画像加工、表示変更のいずれかの処理を含む。

好ましくは、処理手段は、一覧表示として複数の画像データの画像をそれぞれ縮小した複数の縮小画像を表示手段に表示させるとともに、三次元画像データに対応する縮小画像に対して視線方向が異なる複数の画像を切換え表示する。

好ましくは、画像処理装置は、操作者からの指示を入力する入力手段をさらに備える。処理手段は、一覧表示として複数の画像データの画像をそれぞれ縮小した複数の縮小画像を表示手段に表示させるとともに、入力手段によって操作者からの画像データを仮選択する指示を受け、仮選択された画像データが三次元画像データである場合には、縮小画像とは別に視線方向が異なる複数の画像を切換え表示する。

この発明は、他の局面に従うと、画像データを選択させる方法であって、三次元画像データを含む複数の画像データを記憶する記憶手段から複数の画像データを読み出すステップと、複数の画像データの一覧表示を表示させるステップと、少なくとも１つの三次元画像データに対応する視線方向が異なる複数の画像を表示させるステップとを備える。

好ましくは、複数の画像を表示させるステップは、複数の画像を切換えて表示手段に表示させる。

より好ましくは、複数の画像を表示させるステップは、複数の画像を次々と切換えて、三次元形状が自転しているように表示手段に表示させる。

さらに好ましくは、自転の軸は、三次元画像の撮像方向に対して傾いている。
好ましくは、操作者からの指示を入力するステップをさらに備える。複数の画像を表示させるステップは、指示に応じて複数の画像を切換えて表示する。

より好ましくは、複数の画像を表示させるステップは、表示手段に表示させる画像を現在の画像から入力手段からの指示に応じた量だけ視線方向を移動させた画像に切換える。

好ましくは、画像データを選択させる方法は、一覧表示後に対象画像データを選択する指示を受けると対象画像データを使用する所定の処理を実行するステップをさらに備える。

より好ましくは、所定の処理は、計測、保存、印刷、画像加工、表示変更のいずれかの処理を含む。

好ましくは、一覧表示を表示させるステップは、一覧表示として複数の画像データの画像をそれぞれ縮小した複数の縮小画像を表示手段に表示させ、複数の画像を表示させるステップは、三次元画像データに対応する縮小画像として視線方向が異なる複数の画像を切換え表示する。

好ましくは、画像データを選択させる方法は、操作者からの指示を入力するステップをさらに備える。一覧表示を表示させるステップは、一覧表示として複数の画像データの画像をそれぞれ縮小した複数の縮小画像を表示手段に表示させる。複数の画像を表示させるステップは、操作者から指示として画像データを仮選択する指示を受け、仮選択された画像データが三次元画像データである場合には、縮小画像とは別に視線方向が異なる複数の画像を切換え表示する。

この発明は、さらに他の局面では、上記いずれかの画像データを選択させる方法をコンピュータに実行させるためのプログラムである。

この発明によれば、選択画面で複数の二次元画像で三次元画像データを表示するので、選択画面内で形状全体を確認することが出来、ユーザの作業効率が向上する。

以下、本発明の実施の形態について図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰返さない。

［拡大観察装置の構成］
本発明は、保存された画像に関する複数のデータファイル中から処理対象のデータファイルを選択してそのデータファイルに対して処理を行なう装置であれば適用が可能であるが、その具体例として拡大観察装置について説明を行なうことにする。

図１は、本発明の実施の形態における拡大観察装置１のブロック図である。
図１を参照して、拡大観察装置１は、カメラ部２と、コントローラ４と、表示部６と、入力部８とを含む。

カメラ部２は、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（complementary metal-oxide semiconductor）センサ等の撮像素子を内蔵する撮像部１２と、撮像部１２と被観察ワークを置くステージとの距離を微調整する撮像制御部１４とを含む。撮像制御部１４は、カメラ部２を上下に移動させる送りねじを回転させるモータと、モータを駆動するモータドライバとを含む。

コントローラ４は、インターフェース部１６と、制御部（演算部）１８と、メモリ２０と、入出力制御部２２とを含む。インターフェース部１６は、カメラ部２の撮像部１２および撮像制御部１４と接続され、制御部（演算部）１８に撮像部１２からの画像データを送ったり、制御部（演算部）１８からのカメラ部を上下に微調整する指示を撮像制御部１４に送ったりする。メモリ２０は、撮像部１２で撮像された画像データをファイルとして保存しておく記憶装置であり、不揮発性メモリやハードディスクドライブ装置などを用いることができる。入出力制御部２２は、入力部８からの入力指示を制御部（演算部）１８に伝達すると共に、制御部（演算部）１８の制御の下に表示部６に表示される画像を変更する。

表示部６としては、たとえば液晶パネルディスプレイやブラウン管ディスプレイを用いることができる。また、入力部８としては、マウスやキーボードやディスプレイ上に設けられるタッチパネルを用いることができる。

つまり、拡大観察装置１は、三次元画像データを含む複数の画像データを記憶するメモリ２０と、複数の画像データの画像を表示させる表示部６と、複数の画像データに対して処理を行なう制御部（演算部）１８とを備える。制御部（演算部）１８は、メモリ２０から複数の画像データを読み出して、処理対象となる画像データを選択させるための一覧表示を表示部６に行なわせる際に、少なくとも１つの三次元画像データに対応する視線方向が異なる複数の画像を表示部６に表示させる。より好ましくは、制御部（演算部）１８は、複数の画像を次々と切換えて、三次元形状が自転しているように表示部６に表示させる。

図２は、図１のカメラ部２の概観を示した図である。
図２を参照して、カメラ部２の撮像部１２は、鏡筒と、鏡筒上部に収容されている撮像素子と、鏡筒の撮像素子下部に収容されている対物レンズおよびズームレンズと、鏡筒下部に設けられた被観察ワークを照らすためのＬＥＤ等の照明装置とを有する。

撮像素子は、例えばＣＣＤ(charge coupled device)撮像素子やＣＭＯＳセンサであり、鏡筒の上端に設けられ、対物レンズおよび鏡筒を通じて拡大された被観察ワークの光学拡大像を撮像する。

鏡筒は、被観察ワークの光学拡大像を得るためのものであり、たとえば、ズーム式の組み合わせレンズを内部に収容している。ズームレンズは鏡筒側面に露出するリングを回すことにより倍率が変化する。対物レンズは、被観察ワークを光学的に拡大するために鏡筒の下端に設けられている。

撮像制御部１４は、被観察ワークを置くステージに固定されたスタンドにＺ軸方向の位置を粗く変更可能なようにねじ留めされている。鏡筒は、撮像制御部１４に内蔵されたＺ軸送り機構によって、Ｚ軸方向の所定範囲内の位置に微調整移動が可能となっている。Ｚ軸送り機構は、たとえば、電動モータと送りネジで構成され、送りネジが鏡筒に固定された固定部材に螺合され、この送りネジが電動モータによって回転駆動されることにより、撮像部１２がＺ軸方向の所定範囲内の指定位置に位置決めされる。これにより、鏡筒の焦点位置を被観察ワークに対して任意の高さに設定することができる。また、鏡筒先端の照明部から照射された光は、被観察ワークを上方から照らす。

図３は、図１のコントローラ４の概観を示した図である。
図３を参照して、コントローラ４の上には、角度が変えられるように表示部６が設置されている。表示部６を液晶ディスプレイにすることで、コントローラ４と一体的にコンパクトに収納することができる。

コントローラ４に内蔵される図１の制御部（演算部）１８は、撮像制御部１４のＺ軸送り機構の電動モータの駆動制御を行い、撮像部１２を所定範囲内のある高さに位置決めする。また、制御部（演算部）１８は、上記した撮像部１２の撮像した画像データを取り込んで、この画像データに所定の処理を施し、複数の画像データを合成して三次元形状を表わす画像データを生成し、これを表示部６に表示する。

コントローラ４は、図３に示すように専用機であっても良いが、たとえば、パーソナルコンピュータに画像処理用ボードおよびモーターコントロールボードを付加し、これらボードを動作させるソフトウェアをパーソナルコンピュータに備えることによって構成することもできる。そして、表示部６としても、たとえば、パーソナルコンピュータ用のモニタを使用することができる。いずれの場合でも、図１の制御部（演算部）１８として、マイクロコンピュータを用いることができる。

図３のコントローラ４には、入力装置としてマウスを接続するためのコネクタが設けられている。マウスを移動させることによって表示部６に出力されたマウスポインタの画面上での位置を設定する信号が制御部（演算部）１８に対して出力され、また、マウスに設けられた操作ボタンの操作によって、所定の処理を実行させる信号が制御部（演算部）１８に対して出力される。

［実施の形態１］
図４は、実施の形態１に係る画像処理装置の表示画面例を示した図である。

図４を参照して、この画面には、基本メニュー表示領域３２と、フォルダ表示領域３４と、ファイル検索表示領域３６と、サムネイル表示領域３８と、拡大画像表示領域４０とが含まれる。

基本メニュー表示領域３２には、「再生」、「ファイル表」、「編集」、「ＣＤ／ＤＶＤ」、「新規フォルダ」、「戻る」、「次に」、「上に」、「閉じる」の各ボタンが表示されている。

フォルダ表示領域３４には、ローカルディスク中の「共有データ」フォルダの下にフォルダ１〜３があることを示す階層構造が示され、さらに四角枠で囲まれることにより、現在フォルダ３が選択されていることが示されている。

ファイル検索表示領域３６には、ファイルの種類、ファイル名、キーワードおよびファイル作成時期を入力する画面が示され、「検索」ボタンが示されている。「検索」ボタンをマウスでクリックすることにより、指定された条件に合致するファイルの検索が実行される。

サムネイル表示領域３８には、現在選択されているフォルダ３に含まれる画像データファイルの内容を示すサムネイルの一覧が表示される。画面例では、サムネイル表示領域３８には、ファイルＡ〜Ｆのファイル名の上に各々サムネイル画像が表示されている。図４の画面例では、ファイルＥのサムネイルが二重枠で囲まれているが、これはファイルＥが仮選択されていることを示す。二重枠に代えて色付枠や白黒反転画像等を用いても良い。仮選択するには、サムネイルをマウスでクリックしたり、キーボードや本体フロントパネルに設けられた矢印キーを使用して現在仮選択されているサムネイルの位置を基準として仮選択するサムネイルを指定したりすればよい。

そしてファイルＥのサムネイルをマウスでダブルクリックしたり、ファイルＥのサムネイルを仮選択した状態でキーボード上の「Ｅｎｔｅｒ」キーが押し下げられたりすると、ファイルＥが対象ファイルとして選択されることになる。対象ファイルが選択されると、ファイル選択モードから、三次元画像データから高さや面積の計測を実行したり、画像加工を行なったり、加工後の画像を保存したり、拡大率や色の変更、表示方法をワイヤフレーム表示変更等する表示変更を行なったり、これらの結果の印刷を行なったりすることが可能なモードに移行する。

ユーザのファイル選択を支援するために、拡大画像表示領域４０には仮選択されたファイルＥの画像がサムネイルよりも拡大されて示され、この拡大画像は仮選択された三次元画像データファイルＥに対応する視線方向が異なる複数の画像が切換えられて示される。

つまり、図１の拡大観察装置１は、操作者からの指示を入力する入力部８としてマウスやキーボード等を備える。制御部（演算部）１８は、一覧表示として複数の画像データの画像をそれぞれ縮小した複数の縮小画像を表示部６に表示させるとともに、入力部８によって操作者からの画像データを仮選択する指示を受け、仮選択された画像データが三次元画像データである場合には、縮小画像とは別に拡大画像表示領域４０に視線方向が異なる複数の画像を切換え表示する。

図５は、三次元画像データファイルの内容を説明するための図である。
図５を参照して、三次元（３Ｄ）画像データファイル１００は、全焦点画像データ１０２と、高さ情報データ１０４と、各種校正値１０６と、表示用サムネイル１０８とを含む。全焦点画像データ１０２は、たとえばＪＰＥＧ（Joint Photographic Experts Group）フォーマットを用いることができ、他のデータは拡張データとしてファイルに追加されても良い。

全焦点画像データ１０２と、高さ情報データ１０４の作成について簡単に説明する。まず、鏡筒のＺ軸方向の複数の目標位置に位置決めして、複数の画像データを取得する。

複数の目標位置は、被観察ワークの高さを対物レンズおよびズームレンズ位置から定まる被写界深度ごとに区切った位置を目安として定められる。すなわち、概ね被写界深度を１ステップとしてＺ軸方向の位置をずらしながら複数の画像が撮影される。

これら複数の画像は、焦点の合った合焦点領域とぼやけた非合焦点領域とが１画面中に存在する。これらの各画像は、Ｚ軸方向の位置と対応付けられて一旦図１のメモリ２０に保存される。

そして、制御部（演算部）１８は、各画像データの合焦点領域のみを抽出し、複数の画像の合焦点領域を合成することにより、全ての領域で焦点の合った全焦点画像データ１０２を得る。しかしながら、たとえば観察対象物の形状を知らない場合には、合焦点画像データから観察対象物の立体形状を認識することができない場合がある。

そこで、合焦点領域の抽出時に抽出された画像のピクセルごとにＺ軸方向の位置すなわち高さ情報を保存し、高さ情報データ１０４を作成する。この高さ情報によって被観察ワークの三次元形状が記録される。

なお、表示用サムネイル１０８として斜視方向から見た画像の縮小画像を３Ｄ画像データファイルに含めておくことで、全焦点画像を表示するよりもサムネイルを表示するだけでこの被観察ワークの三次元形状をわかりやすく表示することができる。

また、校正値１０６としては、Ｘ，Ｙ方向の１ピクセルあたりの寸法補正値や、Ｚ方向に対して画像の輝度を変化させる割合などが記録されている。

図６は、本発明の実施の形態１で実行されるファイルを選択させるプログラムの制御について説明するためのフローチャートである。

図１、図６を参照して、拡大観察装置１に電源が投入されると、まずステップＳ１において初期メニュー表示が表示部６に表示される。初期メニュー表示は、たとえば、図４の基本メニュー表示領域３２のみが表示され、サムネイル表示領域３８や拡大画像表示領域４０は表示されていない状態である。

続いて、ステップＳ２において、基本メニュー表示領域３２の「再生」機能が選択されたか否かが判断される。選択動作は、たとえばマウスで「再生」ボタンをダブルクリックすることに対応する。「再生」機能が選択されていなければステップＳ３に処理が進み他の機能の選択が行なわれたか否かが判断される。そしてステップＳ３で他の機能の選択がされた場合には、ステップＳ４に進み選択された機能の実行処理ルーチンに処理が移行する。一方、ステップＳ３において他の機能が選択されていない場合には、ステップＳ２に戻り再び「再生」機能が選択されたか否かが判断される。

ステップＳ２において、「再生」機能が選択された場合には、処理はステップＳ５に進む。ステップＳ５では、制御部（演算部）１８は、設定されているフォルダ内のファイルからサムネイルデータを取得する。そしてステップＳ６においてサムネイルの一覧表示を行なう。その結果、図４の画面例において、設定されたフォルダ３のファイルＡ〜Ｆからサムネイルデータが読み出されてサムネイル表示領域３８に表示される。

ステップＳ６に続いて、ステップＳ７では、設定されている仮選択ファイルの拡張子が三次元画像データファイルを示すものであるか否かが判断される。たとえば、ファイルの拡張子が「．ｔｄｒ」である場合にそのファイルが三次元画像データファイルであることが示される。仮選択するには、サムネイルをマウスでクリックしたり、現在仮選択されているサムネイルの位置を基準とし矢印キーを使用して仮選択するサムネイルの移動を指定したりすればよい。なお、フォルダが選択された直後は、デフォルト（たとえば先頭）のファイルが仮選択される。

ステップＳ７でファイルの拡張子が三次元画像データファイルに対応するものであれば、ステップＳ８においてファイルの種別が三次元画像データファイルであると認識され、そうでなければステップＳ９においてファイルの種別が二次元画像データファイルであると認識される。ステップＳ８またはステップＳ９の処理が終了すると、ステップＳ１０において後に詳細に説明する仮選択画像表示処理が行なわれる。

ステップＳ１０では、仮選択されている画像に対し複数の視線方向の異なる二次元画像が切換えて表示されることにより、ユーザがファイルを選択する支援が行なわれる。

そしてステップＳ１１において選択ファイルの確定入力の有無が判断される。ファイルの確定入力は、サムネイルをマウスでダブルクリックしたり、ファイルのサムネイルを仮選択した状態でキーボード上の「Ｅｎｔｅｒ」キーが押し下げたりすることで行なわれ、これによりファイルが処理を行なう対象ファイルとして選択されることになる。

ステップＳ１１で選択ファイルの確定入力が無い場合には、ステップＳ１２に処理が進み仮選択ファイルの移動入力が有るか否かが判断される。仮選択ファイルの移動は、他のサムネイルをマウスでクリックしたり、矢印キーを使用して現在仮選択されているサムネイルの位置を基準として仮選択するサムネイルの移動を指示したりして実行される。

ステップＳ１２で仮選択ファイルの移動入力があった場合には、ステップＳ７に処理が戻り仮選択ファイルが三次元画像データファイルか二次元画像データファイルかの判断が行なわれ、以降仮選択画像表示処理が再実行される。

ステップＳ１２で仮選択ファイルの移動が無ければ、ステップＳ１３において設定フォルダの移動入力が有るか否かが判断される。設定フォルダの移動は、たとえば図４の画面例では、フォルダ表示領域３４の他のフォルダ名をマウスでクリックしたり、矢印キーを使用して現在選択されているフォルダの位置を基準として選択するフォルダを指定したりして実行される。

ステップＳ１３において、選択フォルダの移動が無ければステップＳ１０に処理が戻り、仮選択された画像データファイルの表示画像が視線方向が異なる画像に切換えられる処理が行なわれることになる。

一方、ステップＳ１３において、選択フォルダの移動があった場合には、ステップＳ５に処理が戻り、サムネイルの一覧表示が再実行される。

また、ステップＳ１１において選択ファイルの確定入力が行なわれた場合には、ステップＳ１４に処理が進み、図示しない三次元計測モードメニューが表示される。たとえば、三次元計測モードメニューには、三次元画像データから高さや面積の計測を実行したり、画像加工を行なったり、加工後の画像を保存したり、拡大率や色の変更や表示方法をワイヤフレーム表示等に変更する表示変更を行なったり、これらの結果の印刷を行なったりする各種処理のメニューが終了メニューと共に含まれている。

ステップＳ１４のメニュー表示が終了するとステップＳ１５において、まず終了メニューが選択されているか否かが判断される。終了メニューが選択された場合は、ステップＳ１に戻り初期メニュー表示が再度実行される。

ステップＳ１５において終了メニューの選択が無い場合には、ステップＳ１６において、選択されたメニューの処理が実行される。これにより、ファイル選択時の画像表示変更よりもさらに高度な各種処理を行なうことができる。つまり、図１の制御部（演算部）１８は、一覧表示後に対象画像データを選択する指示を受けると対象画像データを使用する所定の処理を実行する。好ましくは、この所定の処理は、計測、保存、印刷、画像加工、表示変更のいずれかの処理を含む。

図７は、図６のステップＳ１０の仮選択画像表示処理の詳細を示したフローチャートである。

図７を参照して、仮選択画像表示処理が開始されると、まずステップＳ２１において仮選択されているファイルの種別が３Ｄすなわち三次元画像データファイルか否かが判断され、ファイル種別が３Ｄではない場合にはステップＳ３１に処理が進む。この場合、画像データファイルには二次元の画像データしか含まれておらず高さ情報は含まれていない。したがってステップＳ３１では、図４の拡大画像表示領域４０に二次元の画像データ（２Ｄ画像）を表示させ、ステップＳ３２に処理が進み制御は図６のフローチャートに移される。

一方、ステップＳ２１においてファイル種別が３Ｄであった場合には、ステップＳ２２に処理が進む。ステップＳ２２では、図１の制御部（演算部）１８は、図５で説明した３Ｄ画像データファイル１００から高さ情報データ１０４を取得する。続いてステップＳ２３において、制御部（演算部）１８は、図５で説明した３Ｄ画像データファイルから全焦点画像データ１０２を取得する。

その後ステップＳ２４において視線方向変更指示入力があるかどうかが判断される。ここで、視線方向と視線方向の変更指示について説明する。

図８は、視線方向と視線方向の変更について説明するための図である。
図８には、８ピンのＩＣパッケージがプリント配線基板上にはんだ付けされたものが被観察ワークＳであり、図１の撮像部１２で画像を撮像した方向がＺ軸方向である場合が示される。パッケージ上の１番ピンを示す丸印がパッケージにつけられている。撮像部１２の有効視野に収まる画像部分が実線で示され、視野外になる部分が破線で示されている。

そして、三次元画像データを二次元の画面に表示する際に、破線で示すようにＺ軸に対して傾いた視線方向から観察したように拡大画像表示領域４０に表示する。

再び図７を参照して、ステップＳ２４において視線方向の変更指示があれば、ステップＳ２５に処理が進み、軌跡Ｒ上のいずれかの点からワークを見たように視線方向が回転される。このとき、表示画像は画面において回転する。なお、三次元形状が軸を中心として自転しているように画像を表示させても良い。この自転の軸は、三次元画像の撮像方向（図８のＺ軸）に対して傾けておくのが好ましく、そうすれば特にワークに撮像方向に直交する広い面（図８ではＩＣパッケージの上面）がある場合に、三次元形状を把握しやすい。

一方、ステップＳ２４において視線方向の変更指示がない場合には視線方向を変更しなくても良いが、好ましくはステップＳ２６に示すように三次元画像データであることがユーザにわかるように視線方向を所定の一定量移動させる。視線方向が一定量移動することが繰返されることにより拡大画像表示領域４０に表示される画像は回転しているように見える。この場合も、三次元形状が軸を中心として自転しているように画像を表示させても良い。この自転の軸も、三次元画像の撮像方向（図８のＺ軸）に対して傾けておくのが好ましく、そうすれば三次元形状を把握しやすい。

ステップＳ２５またはステップＳ２６で視線方向が定まると、制御部（演算部）１８は、ステップＳ２７で図５の高さ情報データから三次元形状を作成する。そして、さらにステップＳ２８で作成された三次元形状を構成する頂点座標を視線方向に合わせて二次元に座標変換する。制御部（演算部）１８は、拡大画像表示領域４０に表示させる三次元形状の各ピクセルが定められた視線方向から見た場合に拡大画像表示領域４０のどの部分に表示されるかを求める。つまり、ステップＳ２８では色無しの形状のみが拡大画像表示領域４０にどのように表示されるかが求まることになる。

続いてステップＳ２９において、図５の全焦点画像データ１０２の各ピクセルをステップＳ２８で求めた対応位置に貼り付けていき表示画像のデータを作成し、ステップＳ３０において拡大画像表示領域４０に画像を表示させる。ステップＳ３０で拡大画像表示領域４０の表示が更新されるとステップＳ３２に処理が進み制御はステップＳ６のフローチャートに移される。

図９は、視線方向の変更指示と表示画像の切換えを説明するための図である。
図９に示すように、矢印で示される拡大画像表示領域４０内のマウスポインタをマウスのボタンを押しながら移動させることで、ステップＳ２４、Ｓ２５で判断され使用される視線方向の変更指示を与えることができる。

このような視線方向の変更指示が与えられた結果、マウスポインタの移動距離に応じた量だけ視線方向が変更される。つまり、図８の軌跡Ｒ上の視点がマウスポインタの移動量に応じて移動し、視線方向が定まる。この場合変更された視線方向に対応する画像がステップＳ２７〜Ｓ２９で作成され、拡大画像表示領域４０に作成された画像がステップＳ３０で再表示される。

すなわち、図１の拡大観察装置１は、操作者からの指示を入力する入力部８としてマウス等を備える。制御部（演算部）１８は、入力部からの指示に応じて複数の画像を切換えて表示する。たとえば、入力部８として押しボタンやカーソルキーを備え、押しボタンを押すごとに画像を少しずつ回転させて表示しても良い。

また、マウスポインタの移動量に応じた量だけ視線方向を移動させたが、これに代えて押しボタンやカーソルキーを押している時間に応じた量だけ視線方向を移動させても良い。

図１０は、マウスによる視線方向変更指示が無かった場合の表示画像の切換を説明するための図である。

図１０に示すように、ステップＳ２４でマウス操作等が無かった場合でも、視線方向を一定量動かすことで拡大画像表示領域４０内の画像を徐々に回転するように画像切換えを行なうようにすれば、所望の三次元画像データを見つけやすくなる。この場合、図６、図７のフローチャートにおいてステップＳ２６の視線方向の回転処理とステップＳ２７〜ステップＳ３０の再描画処理が繰り返し実行されることで、拡大画像表示領域４０内の画像が徐々に回転するように見える。

なお、図７のフローチャートでは、ステップＳ２５、ステップＳ２６のいずれか一方の処理が実行されるようにしたが、たとえばステップＳ２６を実行せずに直接ステップＳ３２にジャンプするように変更してもよく、この場合は視線変更指示があったときだけ拡大画像表示領域４０の表示が変更される。

このように、選択画面で所望の三次元画像データファイルを選択する時、計測等の高度な処理も行なうことができる三次元表示アプリケーションを起動する前に、複数の方向からの三次元データの外形をユーザ操作によって確認でき、ファイルの選択を行ないやすくなり、作業効率が向上する。

また、ステップＳ２４、ステップＳ２５の処理を行なわず、ステップＳ２３の処理の次にステップＳ２６、Ｓ２７の処理が順に行なわれるように変更してもよく、この場合は仮選択サムネイルを変更するだけで仮選択されたサムネイルに対応する三次元画像が回転しながら拡大画像表示領域４０内に表示されるようになる。

このようにすれば、マウスのような入力装置が無くても、（たとえばカーソルキー操作のみでも）拡大観察装置において、選択画面で所望の三次元画像データファイルを選択する時、拡大表示領域内に表示し、全方向からの三次元データの外形を、三次元表示アプリケーションを起動する前に、自動回転させることによって確認できる。

［実施の形態２］
実施の形態１では、拡大画像表示領域４０内の表示を切換えたが、一覧表示させた場合に三次元画像データファイルのサムネイル自身を切換えて表示しても良い。

図１１は、実施の形態２における画面表示について説明するための図である。
図１１に示した画面は、図４に示した画面に対して、拡大画像表示領域４０を削除した点と、仮選択されているファイルＥのサムネイルが視線方向の異なる複数のサムネイルを切換えて表示される点が異なる。その結果、三次元画像データファイルのサムネイルは、仮選択されると回転するように表示される。他の部分については、図１１の画面は図４で説明した画面と同様であるので説明は繰返さない。

この場合、図１の制御部（演算部）１８は、一覧表示として複数の画像データの画像をそれぞれ縮小した複数の縮小画像を表示部６に表示させるとともに、三次元画像データに対応する縮小画像に対して視線方向が異なる複数の画像を切換え表示する。

なお、仮選択しなくても、三次元画像データファイルであればすべて回転表示を行なうようにしても良い。

図１２は、実施の形態２の画面を表示するための仮選択画像表示処理を説明するためのフローチャートである。なお、実施の形態２においても図６のフローチャートの処理が実行されて、その中の仮選択画像表示処理として図１２のフローチャートの処理が実行される。

図１２のフローチャートの処理は、図７に示したフローチャートに対して、ステップＳ３０に代えてステップＳ３０Ａの処理が実行される点と、ステップＳ３１の処理が削除されている点とが異なる。他の部分については、図１２のフローチャートは図７で説明したフローチャートと同様であるので説明は繰返さない。

図１２のフローチャートにおいては、ステップＳ２１でファイル種別が３Ｄでないと判断されると、画像データファイルは二次元画像データファイルであるので、現在サムネイルとして表示している画像の表示を変える必要がない。そのため、この場合にはステップＳ２１からステップＳ３２に処理が進み制御は図６のフローチャートに移されることとなる。

また、図７のフローチャートでは、視線方向が変更された画像がステップＳ２９までに作成され、これをステップＳ３０で拡大画像表示領域４０に表示していた。これに対して、図１２のフローチャートでは、ステップＳ２９までに作成された視線方向が変更された画像は、ステップＳ３０Ａにおいて縮小されて、仮選択サムネイル画像に対して上書き表示される。

実施の形態２においても、拡大観察装置において、選択画面で所望の三次元画像データファイルを選択する時、拡大表示領域内に表示し、全方向からの三次元データの外形を、三次元表示アプリケーションを起動する前に、自動回転させることによって確認できるので、作業効率が向上する。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明の実施の形態における拡大観察装置１のブロック図である。 図１のカメラ部２の概観を示した図である。 図１のコントローラ４の概観を示した図である。 実施の形態１に係る画像処理装置の表示画面例を示した図である。 三次元画像データファイルの内容を説明するための図である。 本発明の実施の形態１で実行されるファイルを選択させるプログラムの制御について説明するためのフローチャートである。 図６のステップＳ１０の仮選択画像表示処理の詳細を示したフローチャートである。 視線方向と視線方向の変更について説明するための図である。 視線方向の変更指示と表示画像の切換えを説明するための図である。 マウスによる視線方向変更指示が無かった場合の表示画像の切換を説明するための図である。 実施の形態２における画面表示について説明するための図である。 実施の形態２の画面を表示するための仮選択画像表示処理を説明するためのフローチャートである。

符号の説明

１ 拡大観察装置、２ カメラ部、４ コントローラ、６ 表示部、８ 入力部、１２ 撮像部、１４ 撮像制御部、１６ インターフェース部、２０ メモリ、２２ 入出力制御部、３２ 基本メニュー表示領域、３４ フォルダ表示領域、３６ ファイル検索表示領域、３８ サムネイル表示領域、４０ 拡大画像表示領域、１００ 画像データファイル、１０２ 全焦点画像データ、１０４ 高さ情報データ、１０６ 校正値、１０８ 表示用サムネイル、Ａ〜Ｆ ファイル、Ｒ 軌跡、Ｓ 被観察ワーク。

Claims (21)

1. 三次元画像データを含む複数の画像データを記憶する記憶手段と、
   前記複数の画像データの画像を表示させる表示手段と、
   前記複数の画像データに対して処理を行なう処理手段とを備え、
   前記処理手段は、前記記憶手段から前記複数の画像データを読み出して、処理対象となる画像データを選択させるための一覧表示を前記表示手段に行なわせる際に、少なくとも１つの三次元画像データに対応する視線方向が異なる複数の画像を前記表示手段に表示させる、画像処理装置。
2. 前記処理手段は、前記複数の画像を切換えて前記表示手段に表示させる、請求項１に記載の画像処理装置。
3. 前記処理手段は、前記複数の画像を次々と切換えて、三次元形状が自転しているように前記表示手段に表示させる、請求項２に記載の画像処理装置。
4. 前記自転の軸は、前記三次元画像の撮像方向に対して傾いている、請求項３に記載の画像処理装置。
5. 前記画像処理装置は、操作者からの指示を入力する入力手段をさらに備え、
   前記処理手段は、前記入力手段からの指示に応じて前記複数の画像を切換えて表示する、請求項１に記載の画像処理装置。
6. 前記処理手段は、前記表示手段に表示させる画像を現在の画像から前記入力手段からの指示に応じた量だけ視線方向を移動させた画像に切換える、請求項５に記載の画像処理装置。
7. 前記処理手段は、前記一覧表示後に対象画像データを選択する指示を受けると前記対象画像データを使用する所定の処理を実行する、請求項１に記載の画像処理装置。
8. 前記所定の処理は、計測、保存、印刷、画像加工、表示変更のいずれかの処理を含む、請求項７に記載の画像処理装置。
9. 前記処理手段は、前記一覧表示として前記複数の画像データの画像をそれぞれ縮小した複数の縮小画像を前記表示手段に表示させるとともに、前記三次元画像データに対応する縮小画像に対して視線方向が異なる複数の画像を切換え表示する、請求項１に記載の画像処理装置。
10. 前記画像処理装置は、操作者からの指示を入力する入力手段をさらに備え、
    前記処理手段は、前記一覧表示として前記複数の画像データの画像をそれぞれ縮小した複数の縮小画像を前記表示手段に表示させるとともに、前記入力手段によって前記操作者からの前記画像データを仮選択する指示を受け、仮選択された画像データが三次元画像データである場合には、前記縮小画像とは別に視線方向が異なる複数の画像を切換え表示する、請求項１に記載の画像処理装置。
11. 三次元画像データを含む複数の画像データを記憶する記憶手段から前記複数の画像データを読み出すステップと、
    前記複数の画像データの一覧表示を表示させるステップと、
    少なくとも１つの三次元画像データに対応する視線方向が異なる複数の画像を表示させるステップとを備える、画像データを選択させる方法。
12. 前記複数の画像を表示させるステップは、前記複数の画像を切換えて表示手段に表示させる、請求項１１に記載の画像データを選択させる方法。
13. 前記複数の画像を表示させるステップは、前記複数の画像を次々と切換えて、三次元形状が自転しているように前記表示手段に表示させる、請求項１２に記載の画像データを選択させる方法。
14. 前記自転の軸は、前記三次元画像の撮像方向に対して傾いている、請求項１３に記載の画像データを選択させる方法。
15. 操作者からの指示を入力するステップをさらに備え、
    前記複数の画像を表示させるステップは、前記指示に応じて前記複数の画像を切換えて表示する、請求項１１に記載の画像データを選択させる方法。
16. 前記複数の画像を表示させるステップは、前記表示手段に表示させる画像を現在の画像から前記入力手段からの指示に応じた量だけ視線方向を移動させた画像に切換える、請求項１５に記載の画像データを選択させる方法。
17. 前記一覧表示後に対象画像データを選択する指示を受けると前記対象画像データを使用する所定の処理を実行するステップをさらに備える、請求項１１に記載の画像データを選択させる方法。
18. 前記所定の処理は、計測、保存、印刷、画像加工、表示変更のいずれかの処理を含む、請求項１７に記載の画像データを選択させる方法。
19. 前記一覧表示を表示させるステップは、前記一覧表示として前記複数の画像データの画像をそれぞれ縮小した複数の縮小画像を前記表示手段に表示させ、
    前記複数の画像を表示させるステップは、前記三次元画像データに対応する縮小画像として視線方向が異なる複数の画像を切換え表示する、請求項１１に記載の画像データを選択させる方法。
20. 操作者からの指示を入力するステップをさらに備え、
    前記一覧表示を表示させるステップは、前記一覧表示として前記複数の画像データの画像をそれぞれ縮小した複数の縮小画像を前記表示手段に表示させ、
    前記複数の画像を表示させるステップは、前記操作者から前記指示として前記画像データを仮選択する指示を受け、仮選択された画像データが三次元画像データである場合には、前記縮小画像とは別に視線方向が異なる複数の画像を切換え表示する、請求項１１に記載の画像データを選択させる方法。
21. 請求項１１〜２０のいずれか１項に記載の画像データを選択させる方法をコンピュータに実行させるためのプログラム。

Images