【書類名】 明細書
【発明の名称】 微小物体表示装置、および、微小物体操作装置。
【特許請求の範囲】
【請求項１】 顕微鏡光学系を持つ複数のカメラを多方向から微小物体を観察するよう取り付けてなる撮像系、作業者の眼前に微小物体の立体拡大画像を投影する画像表示装置、前記撮像系からの画像を処理し観察対象の微小物体の三次元モデルを生成すると共に生成した三次元モデルに基づき微小物体の立体拡大画像を前記画像表示装置に表示させる画像処理系、および、作業者の頭の位置や姿勢を検出し検出に係る作業者の頭の位置や姿勢情報を前記画像処理系に入力するセンサーを備え、前記演算処理系が、前記画像表示装置に表示する微小物体の立体拡大画像を、前記センサーで検出した作業者の頭の位置と姿勢により変動させ、作業者が頭を動かすことで前記画像表示装置に立体拡大画像として表示される微小物体をさまざまな角度と倍率で観察できるよう構成してあることを特徴とする微小物体表示装置。
【請求項２】 微小物体の立体拡大画像を表示する微小物体表示装置と、作業者の手の動作を縮小して微小物体に伝える遠隔操縦装置とからなる微小物体操作装置であって、
前記微小物体表示装置は、顕微鏡光学系を持つ複数のカメラを多方向から微小物体を観察するよう取り付けてなる撮像系、作業者の眼前に微小物体の立体拡大画像を投影する画像表示装置、前記撮像系からの画像を処理し観察対象の微小物体の三次元モデルを生成すると共に生成した三次元モデルに基づき微小物体の立体拡大画像を前記画像表示装置に表示させる画像処理系、および、作業者の頭の位置や姿勢を検出し検出に係る作業者の頭の位置や姿勢情報を前記画像処理系に入力するセンサーを備え、前記演算処理系が、前記画像表示装置に表示する微小物体の立体拡大画像を、前記センサーで検出した作業者の頭の位置と姿勢により変動させ、作業者が頭を動かすことで前記画像表示装置に立体拡大画像として表示される微小物体をさまざまな角度と倍率で観察できるよう構成しており、
作業者の手の動作を縮小して微小物体に伝える前記遠隔操縦装置が、その動作縮小の倍率を前記微小物体表示装置による表示倍率に基づいて変更するよう構成してあることを特徴とする微小物体操作装置。
【請求項３】 請求項２の微小物体操作装置において、前記遠隔操縦装置における微小操作先端部に当該先端部から微小物体に作用する力を検出する微小力センサーを付加し、遠隔操縦装置は、この微小力センサーが検出した力を増強してその操作側に伝達するよう構成してあることを特徴とする微小物体操作装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
産業分野の多様な局面で、微小な物体をハンドリングする必要が大幅に増大している。
この例としては、マイクロマシンやカテーテルをはじめとする医療機器など各種装置の組立、植物生産での細胞分割、生物の卵細胞操作など、多数の例を挙げることが出来る。これまでこの様な分野では、多数の作業者が顕微鏡を覗きながら微小物体の切断や分離などの操作を行っていたが、顕微鏡で観察できる視野や視線方向が限られているため、特に３次元的な全体形状が把握しにくい、顕微鏡下の機器操作においては、顕微鏡で見ている拡大画像に比べて、非常に微妙な機器操作を要求され、日常操作の感覚と整合しない、などの問題があった。
【０００２】
上記のようなマイクロ操作上の問題点を整理すると、下記の３点を挙げられる。
１）顕微鏡による撮像では、一方向から見た画像しか得られないため、全体的３次元形状が把握しにくい。
２）日常生活においては、人間の頭の操作にあわせて対象物を様々な角度から観察することができ、視差による立体画像認識と合わせて、連続画像からの３次元形状把握が可能であるが、顕微鏡画像では、頭の動きに合わせた連続画像を得ることはできないため、形状把握に違和感がある。
３）顕微鏡の拡大画像から感じる操作感覚と、実際に要求される手の微妙な操作の感覚が整合しないため、微小物体の操作に違和感を感じる。
【０００３】
【発明が解決しようとする課題】本発明が解決しょうとする課題は、このような顕微鏡下での微妙なマイクロ操作に伴っておきる、顕微鏡の限られた観察視野による、立体形状把握の困難さと、顕微鏡下の機器操作における拡大画像に対する操作感覚と、実際に要求される微妙な操作間の人間感覚上のギャップを埋め、あたかも通常の物体を扱っているかのように、対象を観察し、操作するための手法をあたえるものである。
【０００４】
本発明は、上記問題点１）および２）を解決した微小物体表示装置を提供することを目的とする。この目的は、特許請求の範囲の請求項１に記載した微小物体表示装置により達成される。
また、本発明は、上記問題点１）ないし３）を解決した微小物体操作装置を提供することを目的とする。この目的は、特許請求の範囲の請求項２乃至請求項３記載の微小物体操作装置により達成される。
【０００５】
【課題を達成するための手段】
本発明の請求項１に係る微小物体表示装置は、上記問題点１）および２）を解決するため、次のように構成する。すなわち、
顕微鏡光学系を持つ複数のカメラを多方向から微小物体を観察するよう取り付けてなる撮像系、作業者の眼前に微小物体の立体拡大画像を投影する画像表示装置、前記撮像系からの画像を処理し観察対象の微小物体の三次元モデルを生成すると共に生成した三次元モデルに基づき微小物体の立体拡大画像を前記画像表示装置に表示させる画像処理系、および、作業者の頭の位置や姿勢を検出し検出に係る作業者の頭の位置や姿勢情報を前記画像処理系に入力するセンサーを備え、前記演算処理系が、前記画像表示装置に表示する微小物体の立体拡大画像を、前記センサーで検出した作業者の頭の位置と姿勢により変動させ、作業者が頭を動かすことで前記画像表示装置に立体拡大画像として表示される微小物体をさまざまな角度と倍率で観察できるよう構成してあることを特徴とする微小物体表示装置。
【０００６】
本発明の請求項２に係る微小物体操作装置は、上記問題点１）乃至３）を解決するため、次のように構成する。すなわち、
微小物体の立体拡大画像を表示する微小物体表示装置と、作業者の手の動作を縮小して微小物体に伝える遠隔操縦装置とからなる微小物体操作装置であって、
前記微小物体表示装置は、顕微鏡光学系を持つ複数のカメラを多方向から微小物体を観察するよう取り付けてなる撮像系、作業者の眼前に微小物体の立体拡大画像を投影する画像表示装置、前記撮像系からの画像を処理し観察対象の微小物体の三次元モデルを生成すると共に生成した三次元モデルに基づき微小物体の立体拡大画像を前記画像表示装置に表示させる画像処理系、および、作業者の頭の位置や姿勢を検出し検出に係る作業者の頭の位置や姿勢情報を前記画像処理系に入力するセンサーを備え、前記演算処理系が、前記画像表示装置に表示する微小物体の立体拡大画像を、前記センサーで検出した作業者の頭の位置と姿勢により変動させ、作業者が頭を動かすことで前記画像表示装置に立体拡大画像として表示される微小物体をさまざまな角度と倍率で観察できるよう構成しており、
作業者の手の動作を縮小して微小物体に伝える前記遠隔操縦装置が、その動作縮小の倍率を前記微小物体表示装置による表示倍率に基づいて変更するよう構成してあることを特徴とする微小物体操作装置。
【０００７】
さらに、本発明の請求項３に係る微小物体操作装置は、上記問題点１乃至３を解決するため、次のように構成する。すなわち、
請求項２の微小物体操作装置において、前記遠隔操縦装置における微小操作先端部に当該先端部から微小物体に作用する力を検出する微小力センサーを付加し、遠隔操縦装置は、この微小力センサーが検出した力を増強してその操作側に伝達するよう構成してあることを特徴とする微小物体操作装置。
【０００８】
【発明の効果】
上記の如く構成した本発明の請求項１に係る微小物体表示装置によれば、作業者が頭を動かすことで前記画像表示装置を通して微小物体を仮想現実的にさまざまな角度から観察できるので、微小物体の全体的三次元形状の把握が容易であり、しかも、微小物体の立体拡大画像が画像表示装置に作業者の頭の動きに合わせて連続画像が表示されるので、違和感なく微小物体の形状を把握することができるという効果を達成できる。
【０００９】
なお、この請求項１に係る微小物体表示装置では、上記問題点１）および２）に対応するため以下のような手法が用いられる。
まず、問題点１）の視線方向の限定に対しては、多方位マイクロ視覚光学系を開発し、多数の方向から微小対象物の画像を撮像、それを３次元画像認識処理することで、対象物の３次元形状を画像計測する。このとき、多方位から画像計測を行っていることで、限られた方向から見る場合の隠れ部分の画像も得ることができ、より完全に近い３次元形状を得ることができる。また、画像計測による３次元形状モデルの取得と併せて、物体表面の模様や色彩もモデルに付加しておく。これにより、物体のリアルに近い画像を再構成可能になる。この画像の再構成には、コンピュータグラフィックスの手法が用いられる。
【００１０】
また、問題点２）の頭の動きに合わせた連続画像を得ることはできないため、形状把握に違和感を生じてしまう問題に対しては、磁気位置センサーなどにより頭の位置、方向を連続的に観測、それに合わせてコンピュータグラフィックスで生成する画像の視角を決定、画像表示することで、解決する。
【００１１】
上記のように構成した本発明の請求項２に係る微小物体操作装置によれば、当該微小物体操作装置の構成要素たる微小物体表示装置が上記した請求項１の発明のそれと同構成を持つものであるから、請求項１に係る微小物体表示装置と同様、上記問題点１）および２）が解決されている。また、この微小物体操作装置を構成要素たる遠隔操縦装置が、その動作縮小の倍率を前記微小物体表示装置による表示倍率に基づいて変更するよう構成してあるので、上記問題点３）が解決されてており、微小物体の操作を違和感なく行うことができる。
【００１２】
なお、この請求項２に係る微小物体操作装置では、上記問題点３）の画像の拡大率と、機器操作の感覚が異なる点に関しては、テレオペレーション装置などを応用、人間の操作動作を、画像の拡大倍率に合わせて縮小、実際の機器操作を行うことで、あたかも日常生活で扱うサイズの物体であるかのように、対象物を操作することができるのである。
【００１３】
上記の如く構成した請求項３記載の微小物体操作装置は、請求項２記載の微小物体操作装置の従属項であり、請求項２の発明と同様の効果（上記）を持つ他、遠隔操作装置を介して微小物体に作用する力を作業者にフィードバックできるので、微小物体の操作を一層違和感なく行うことができる。
【００１４】
【発明の実施の形態】本発明の実施例の全体構成を第１図に示す。
全体は、多方位顕微光学系１、その画像をステレオ処理し、３次元形状モデルを作成する３次元モデル形成部２、３次元モデルをもとに右目、左目用に視差画像を生成する立体画像生成部３、そこで作成された画像を人間（作業者）の眼前に立体拡大画像として表示する画像表示装置４、画像表示装置４に取り付けられた頭の位置や顔の方向（頭の姿勢）を計測する位置・姿勢センサー５、人間（作業者）が操作するテレオペレーション用の操作部６と微小物体を操作するマイクロオペレーション部８と前記操作部６の動きを縮小して前記マイクロオペレーション部８に伝えるコントローラ７で構成され前記操作部６を操作する人間（作業者）の手の動作を縮小して対象の微小物体に伝える遠隔操縦装置とで構成されている。
前記した多方位顕微光学系１は、顕微鏡光学系を持つ複数のカメラを多方向から対象の微小物体を観察・撮影できるよう取り付けたものであり、特許請求の範囲の各請求項で言及している撮像系を構成している。
前記した３次元モデル形成部２と立体画像生成部３は、特許請求の範囲の各請求項で言及している画像処理系を構成している。
【００１５】
第２図に多方位顕微光学系（撮像系）１の構成の一例を示す。観察あるいは操作対象の微小物体を載せるＸＹテーブル上に、半球状に多数設置された顕微鏡光学系と、これら顕微鏡光学系にそれぞれ取り付けられたカラーカメラ群からなる。これらのカメラ群は、ＸＹテーブル上の同一点を撮像しており、微小物体上の同一特徴点を見ているカメラが一般に複数台存在する。その様子を第３図に示す。第３図は、対象物体上のある１つの特徴点を撮像することのできるカメラ群の範囲を示しており、図中＋の方向に取り付けた複数のカメラから、あらかじめ画像微分処理などで選択された特定の特徴点を撮像できることを示している。この様に複数のカメラから同一点が撮像できるときには、その中から適当な２台のカメラを選択、該当特徴点のステレオマッチングを行い、対応点についてステレオ画像処理を行うことで特徴点の空間座標を決定することができる。
【００１６】
この様にして、３次元モデル形成部においてステレオ画像処理することで、画面内の多数の特徴点に対して空間座標を決定することができる。この空間座標は、第４図に示すように模様の境界や物体の縁など特徴のある点のみで求まるので、求まった点をもとに同一平面を構成する３点の組み合わせを決定、物体外形形状を、多数の微小な空間３角形で覆い尽くす。この様子を第５図に示す。このとき、それまでの処理結果では物体外形を記述する空間３角形が求まらないとき、それを補う方向のカメラの組み合わせを選んでステレオ画像処理を行うことにより、対象物体の完全な形状記述を目指す。
【００１７】
この様に対象外形を空間３角形の組み合わせで表すことで、対象の計算機モデルを表現している。そして、この空間３角形毎に、それが見えるカラーＴＶカメラから、その内部の色彩や模様を記録することで、対象物体の実物に近い計算機モデルを構成することができる。立体画像生成部では、先に作成された模様付き３次元計算機モデルを元に、人間の左右の目に合わせた画像を別々に生成し、それを別々に左右の目に画像表示部で提示することで、人間に立体画像を知覚させる。この様な立体画像表示装置としては、ヘッドマウントディスプレーが知られている。
【００１８】
表示画像の生成に当たっては、モデルを人間（作業者）の前方どの位置に、どの程度の拡大率で提示するか、そのとき、見ている人間（作業者）の頭の位置と顔の方向（頭の姿勢）が重要なパラメータである。ここでは、人間（作業者）の前方、どの位置にするかは、第６図に示すようなシステム構成を考えた場合、ほぼ空間的に固定して考えることができる。物体の拡大率は任意で、オペレータが設定可能であるが、たとえば拡大後の画像サイズで１００〜２００ｍｍ程度と考えれば、１００倍程度であろう。規定位置に１００倍程度に拡大して仮想的に物体を置くことにし、つぎに観察者（作業者）の頭の位置と顔の方向が分かれば、画像を生成できる。ここでは、磁気位置センサーなどをヘッドマウントディスプレーに取り付け、頭の位置、方向を計測する事にする。磁気位置センサーは文献バーチャルリアリティ応用戦略、pp.29-31（オーム社、１９９２年）などに述べられているように、頭の３次元的空間位置と、空間内の方向（頭の姿勢）を調べることができる。この位置と方向を元に、３次元計算機モデルで記述された対象が拡大され、所定の位置に仮想的に物体が置かれているものとして、ヘッドマウントディスプレーの左右の画面にそれぞれに見えるはずの画像を生成することで、人間（作業者）に立体画像を知覚させる。さらに、頭の動きに合わせて実時間で３次元計算機モデルからの画像生成を繰り返すことにより、頭の動きに合わせた連続画像生成を行うことができる。この動画像生成では、再度ステレオ画像処理により模様付き３次元モデルを再構成する必要はない。
【００１９】
ところで、この画像にあわせての操作では、テレオペレーションで開発された技術が適用できる。たとえば文献バーチャルテック・ラボp.10（工業調査会、1992年）では、第７図のような操作機器が紹介されている。この装置では、人間の腕の動きを、空間位置と姿勢について詳細に計測することができる。本発明では、この手の動きをマイクロオペレーション機器コントローラに送る。コントローラでは、この腕の動作を、画像表示での拡大率に合わせて縮小し、対象物体を操作するオペレーション機構の動作とする。この具体的動作に当たっては、物体操作に使うナイフやピンセットなどを想定し、その拡大モデルを持っているものとして画像表示装置４に表示し、それを操作しているものとしてハンドリングする。
【００２０】
このとき、マイクロオペレーション機器側（遠隔操縦装置におけるマイクロオペレーション部８側）では、微小なピンセットやナイフが実際に操作されるが、テレオペレーション部（遠隔操縦装置における操作部６）では、それを手に持っているものとしてモデル化され、画像表示装置４の表示画像中に示される。この微小なピンセットやナイフに微小な反力を検出する力センサーを付加しておき、反力分を画像の拡大率に合わせて増幅してテレオペレーション操作部６にフィードバックすることで、感覚的にも自然な操作を行うことが出来る。また、この反力フィードバックは、物体操作の上でも操作の確認の上で、自然な動作を実現できる。
【００２１】 本発明の請求項１に係る微小物体表示装置と、請求項２および請求項３に係る微小物体操作装置は、上記した実施例中に具現されていることは明らかである。
【図面の簡単な説明】
【図１】本発明に係る微小物体表示装置および微小物体操作装置の全体構成を示す図。
【図２】多方向顕微光学系（撮像系）の説明図。
【図３】特徴点撮像可能方位分布の説明図。
【図４】空間位置決定した特徴点分布の説明図。
【図５】 観察あるいは操作対象たる微小物体の表面形状の３角形記述の説明図。
【図６】マイクロオペレーション装置（遠隔操縦装置）の説明図。
【図７】テレオペレーション操作部（遠隔操縦装置の操作部）の説明図。
[Document name] Statement
[Title of Invention] Micro-object display device and micro-object operation device.
[Claims]
[Claim 1] An imaging system in which a plurality of cameras having a microscope optical system are attached so as to observe minute objects from multiple directions, an image display device that projects a three-dimensional enlarged image of a minute object in front of an operator's eyes, and processing of images from the imaging system. The image processing system that generates a three-dimensional model of the minute object to be observed and displays the three-dimensional enlarged image of the minute object on the image display device based on the generated three-dimensional model, and the position and posture of the worker's head. The sensor is provided with a sensor that detects and inputs the position and posture information of the worker's head related to the detection to the image processing system, and the arithmetic processing system displays a three-dimensional enlarged image of a minute object displayed on the image display device by the sensor. It is configured to fluctuate according to the detected position and posture of the worker's head, and by moving the worker's head, a minute object displayed as a three-dimensional enlarged image on the image display device can be observed at various angles and magnifications. A micro object display device characterized by this.
2. It is a micro object operation device consisting of a micro object display device that displays a three-dimensional enlarged image of a micro object and a remote control device that reduces the movement of a worker's hand and transmits it to the micro object.
The minute object display device includes an imaging system in which a plurality of cameras having a microscope optical system are attached so as to observe the minute object from multiple directions, an image display device that projects a stereoscopic magnified image of the minute object in front of an operator's eyes, and the like. An image processing system that processes an image from an imaging system to generate a three-dimensional model of a minute object to be observed, and displays a three-dimensional enlarged image of the minute object on the image display device based on the generated three-dimensional model, and an operator. A sensor that detects the position and orientation of the head of a worker and inputs the position and orientation information of the worker's head related to the detection to the image processing system, and the arithmetic processing system displays a three-dimensional object of a minute object displayed on the image display device. The enlarged image is changed according to the position and posture of the worker's head detected by the sensor, and when the worker moves the head, a minute object displayed as a three-dimensional enlarged image on the image display device is displayed at various angles and magnifications. It is structured so that it can be observed.
The remote control device that reduces the movement of the operator's hand and transmits it to a minute object is configured to change the magnification of the movement reduction based on the display magnification of the minute object display device. Object control device.
3. In the micro object operating device of claim 2, a micro force sensor for detecting a force acting on a micro object from the tip is added to the micro operation tip of the remote control device, and the remote control device uses this micro force sensor. A micro-object manipulation device characterized in that it is configured to enhance the detected force and transmit it to the operating side.
Description: TECHNICAL FIELD [Detailed description of the invention]
[0001]
[Technical field to which the invention belongs]
The need to handle tiny objects has increased significantly in various aspects of the industrial sector.
As examples of this, there are many examples such as assembly of various devices such as medical devices such as micromachines and catheters, cell division in plant production, and manipulation of egg cells of living organisms. Until now, in such fields, many workers have performed operations such as cutting and separating minute objects while looking through a microscope, but since the field of view and line-of-sight direction that can be observed with a microscope are limited, it is particularly three-dimensional. It is difficult to grasp the overall shape, and when operating a device under a microscope, there are problems such as requiring very delicate device operation compared to the magnified image viewed with a microscope and not matching the feeling of daily operation. there were.
0002.
The following three points can be listed as the above-mentioned problems in micro-operation.
1) Since only an image viewed from one direction can be obtained by imaging with a microscope, it is difficult to grasp the overall three-dimensional shape.
2) In daily life, it is possible to observe an object from various angles according to the operation of the human head, and it is possible to grasp the three-dimensional shape from a continuous image together with the three-dimensional image recognition by parallax. Since it is not possible to obtain a continuous image that matches the movement of the head with a microscope image, there is a sense of discomfort in grasping the shape.
3) Since the operation sensation felt from the magnified image of the microscope and the delicate operation sensation of the hand actually required do not match, the operation of a minute object feels uncomfortable.
0003
PROBLEM TO BE SOLVED: To solve a problem to be solved by the present invention is the difficulty of grasping a three-dimensional shape by a limited observation field of a microscope, which is accompanied by such a delicate micro-operation under a microscope. By filling the human sensation gap between the operation sensation for magnified images in the operation of equipment under a microscope and the subtle operations actually required, observing and manipulating the object as if handling a normal object. It gives a method for doing so.
0004
An object of the present invention is to provide a minute object display device that solves the above problems 1) and 2). This object is achieved by the micro-object display device according to claim 1, which is the scope of claims.
Another object of the present invention is to provide a micro-object manipulation device that solves the above problems 1) to 3). This object is achieved by the micro-object manipulation device according to claim 2 to 3, which is within the scope of claims.
0005
[Means to achieve the task]
The micro object display device according to claim 1 of the present invention is configured as follows in order to solve the above problems 1) and 2). That is,
An imaging system in which a plurality of cameras having a microscope optical system are attached so as to observe minute objects from multiple directions, an image display device that projects a three-dimensional enlarged image of a minute object in front of an operator's eyes, and processing of images from the imaging system. The image processing system that generates a three-dimensional model of the minute object to be observed and displays the three-dimensional enlarged image of the minute object on the image display device based on the generated three-dimensional model, and the position and posture of the worker's head. The sensor is provided with a sensor that detects and inputs the position and posture information of the worker's head related to the detection to the image processing system, and the arithmetic processing system displays a three-dimensional enlarged image of a minute object displayed on the image display device by the sensor. It is configured to fluctuate according to the detected position and posture of the worker's head, and by moving the worker's head, a minute object displayed as a three-dimensional enlarged image on the image display device can be observed at various angles and magnifications. A micro object display device characterized by this.
0006
The micro-object manipulation device according to claim 2 of the present invention is configured as follows in order to solve the above problems 1) to 3). That is,
It is a micro object operation device consisting of a micro object display device that displays a three-dimensional enlarged image of a micro object and a remote control device that reduces the movement of a worker's hand and transmits it to the micro object.
The minute object display device includes an imaging system in which a plurality of cameras having a microscope optical system are attached so as to observe the minute object from multiple directions, an image display device that projects a stereoscopic magnified image of the minute object in front of an operator's eyes, and the like. An image processing system that processes an image from an imaging system to generate a three-dimensional model of a minute object to be observed, and displays a three-dimensional enlarged image of the minute object on the image display device based on the generated three-dimensional model, and an operator. A sensor that detects the position and orientation of the head of a worker and inputs the position and orientation information of the worker's head related to the detection to the image processing system, and the arithmetic processing system displays a three-dimensional object of a minute object displayed on the image display device. The enlarged image is changed according to the position and posture of the worker's head detected by the sensor, and when the worker moves the head, a minute object displayed as a three-dimensional enlarged image on the image display device is displayed at various angles and magnifications. It is structured so that it can be observed.
The remote control device that reduces the movement of the operator's hand and transmits it to a minute object is configured to change the magnification of the movement reduction based on the display magnification of the minute object display device. Object control device.
0007
Further, the micro-object manipulation device according to claim 3 of the present invention is configured as follows in order to solve the above-mentioned problems 1 to 3. That is,
In the micro object operating device of claim 2, a micro force sensor for detecting a force acting on a micro object from the tip is added to the micro operation tip of the remote control device, and the remote control device uses this micro force sensor. A micro-object manipulation device characterized in that it is configured to enhance the detected force and transmit it to the operating side.
0008
【Effect of the invention】
According to the micro-object display device according to claim 1 of the present invention configured as described above, the micro-object can be virtually observed from various angles through the image display device by moving the operator's head. It is easy to grasp the overall three-dimensional shape of the object, and the three-dimensional enlarged image of the minute object is displayed on the image display device as a continuous image according to the movement of the operator's head, so the shape of the minute object does not feel strange. The effect of being able to grasp is achieved.
0009
In the minute object display device according to claim 1, the following method is used in order to deal with the above-mentioned problems 1) and 2).
First, to solve the problem 1) limitation of the line-of-sight direction, we developed a multi-directional micro-visual optical system, captured images of minute objects from many directions, and processed them for three-dimensional image recognition. Image measurement of the three-dimensional shape of an object. At this time, by performing image measurement from multiple directions, it is possible to obtain an image of a hidden portion when viewed from a limited direction, and it is possible to obtain a more complete three-dimensional shape. In addition to acquiring the three-dimensional shape model by image measurement, the pattern and color of the object surface are also added to the model. This makes it possible to reconstruct a near-real image of an object. Computer graphics techniques are used to reconstruct this image.
0010
In addition, since it is not possible to obtain a continuous image that matches the movement of the head in problem 2), the position and direction of the head can be continuously adjusted by using a magnetic position sensor or the like to solve the problem of causing discomfort in grasping the shape. The solution is to determine the viewing angle of the image generated by computer graphics according to the observation and display the image.
0011
According to the micro-object manipulation device according to claim 2 of the present invention configured as described above, the micro-object display device which is a component of the micro-object manipulation device has the same configuration as that of the invention of claim 1 described above. Therefore, the above-mentioned problems 1) and 2) are solved as in the case of the minute object display device according to claim 1. Further, since the remote control device, which is a component of this micro-object operation device, is configured to change the magnification of its operation reduction based on the display magnification of the micro-object display device, the above problem 3) is solved. Therefore, it is possible to operate a minute object without any discomfort.
0012
In the minute object operation device according to claim 2, the teleoperation device or the like is applied to image the human operation operation with respect to the difference between the image enlargement ratio of the above problem 3) and the feeling of operating the device. By reducing the image according to the magnification of the image and operating the actual device, it is possible to operate the object as if it were an object of the size handled in daily life.
0013
The micro-object manipulation device according to claim 3 configured as described above is a subordinate term of the micro-object manipulation device according to claim 2, has the same effect as the invention of claim 2 (above), and is a remote control device. Since the force acting on the minute object can be fed back to the operator via the above, the operation of the minute object can be performed more comfortably.
0014.
BEST MODE FOR CARRYING OUT THE INVENTION FIG. 1 shows an overall configuration of an embodiment of the present invention.
The whole is a multi-directional microscopic optical system1, 3D model forming unit that stereo-processes the image and creates a 3D shape model2A stereoscopic image generator 3 that generates parallax images for the right and left eyes based on the 3D model, and the images created there are humans.As a three-dimensional enlarged image in front of the (worker)Image display device to display4, Image display device4Head position and face orientation attached to(Head posture)Position / posture sensor to measure5,The operation is composed of an operation unit 6 for teleoperation operated by a human (worker), a micro operation unit 8 for operating a minute object, and a controller 7 that reduces the movement of the operation unit 6 and transmits it to the micro operation unit 8. It is composed of a remote control device that reduces the movement of the human (worker) hand that operates the unit 6 and transmits it to a target minute object.
The multi-directional microscope optical system 1 described above is the one in which a plurality of cameras having a microscopic optical system are attached so that a target minute object can be observed and photographed from multiple directions, and is referred to in each claim of the claims. It constitutes an imaging system.
The three-dimensional model forming unit 2 and the stereoscopic image generating unit 3 described above constitute an image processing system referred to in each claim within the scope of claims.
0015.
Fig. 2 shows the multi-directional microscopic optical system(Imaging system) 1An example of the configuration of is shown. A large number of hemispherically installed microscope optical systems on an XY table on which minute objects to be observed or manipulated are placed, and these microscope optical systemsRespectivelyIt consists of a group of attached color cameras. These camera groups are capturing the same point on the XY table.Small objectThere are generally multiple cameras looking at the same feature points above. The situation is shown in FIG. FIG. 3 shows the range of a group of cameras that can capture a certain feature point on the target object, and is selected in advance by image differentiation processing or the like from a plurality of cameras mounted in the + direction in the figure. It shows that a specific feature point can be imaged. When the same point can be imaged from multiple cameras in this way, the spatial coordinates of the feature points are selected by selecting two appropriate cameras, performing stereo matching of the corresponding feature points, and performing stereo image processing on the corresponding points. Can be determined.
0016.
In this way, by performing stereo image processing in the three-dimensional model forming unit, it is possible to determine the spatial coordinates for a large number of feature points on the screen. As shown in Fig. 4, these spatial coordinates can be obtained only from characteristic points such as the boundaries of the pattern and the edges of the object. Therefore, based on the obtained points, the combination of the three points forming the same plane is determined, and the outer shape of the object is determined. The shape is covered with a large number of minute space triangles. This situation is shown in FIG. At this time, when the spatial triangle that describes the outer shape of the object cannot be obtained from the processing results so far, the complete shape description of the target object is performed by selecting the combination of cameras in the direction to supplement it and performing stereo image processing. It aims to.
[0017]
By expressing the target outer shape with a combination of spatial triangles in this way, the target computer model is expressed. Then, by recording the colors and patterns inside the color TV camera that can see each of the space triangles, it is possible to construct a computer model that is close to the actual object. The stereoscopic image generation unit separately generates images that match the left and right eyes of a human based on the three-dimensional computer model with a pattern created earlier, and presents them separately to the left and right eyes on the image display unit. This makes humans perceive a three-dimensional image. A head-mounted display is known as such a stereoscopic image display device.
0018
In generating the display image, the model is human.(worker)At what position in front of the person and at what magnification, the person watching at that time(worker)Head position and face direction(Head posture)Is an important parameter. Here, the position in front of the human (worker) can be considered to be substantially spatially fixed when considering the system configuration as shown in FIG. The enlargement ratio of the object is arbitrary and can be set by the operator, but if the image size after enlargement is considered to be about 100 to 200 mm, it will be about 100 times. I decided to place an object virtually at the specified position by enlarging it about 100 times, and then the observer(worker)If you know the position of your head and the direction of your face, you can generate an image. Here, a magnetic position sensor or the like is attached to the head-mounted display to measure the position and direction of the head. The magnetic position sensor is a three-dimensional spatial position of the head and the direction in space as described in the literature Virtual Reality Application Strategy, pp.29-31 (Ohmsha, 1992).(Head posture)Can be examined. Based on this position and direction, the object described by the 3D computer model is enlarged, and it should be visible on the left and right screens of the head mount display as if an object is virtually placed at a predetermined position. Humans by generating images(worker)Perceives a stereoscopic image. Further, by repeating the image generation from the three-dimensional computer model in real time according to the movement of the head, continuous image generation according to the movement of the head can be performed. In this moving image generation, it is not necessary to reconstruct the patterned three-dimensional model by stereo image processing again.
0019
By the way, the technology developed by teleoperation can be applied to the operation according to this image. For example, in the literature Virtual Tech Lab p.10 (Kogyo Chosakai, 1992), the operating equipment shown in Fig. 7 is introduced. With this device, the movement of the human arm can be measured in detail with respect to the spatial position and posture. In the present invention, this kind of movement is sent to the micro-operation device controller. In the controller, the movement of this arm is reduced according to the enlargement ratio in the image display, and is used as the movement of the operation mechanism for operating the target object. In this concrete operation, it is assumed that a knife or tweezers used for object manipulation is assumed and that it has an enlarged model.Image display device 4Display on and treat it as if you were operating it.
0020
At this time, the micro operation device side(Micro operation unit 8 side in remote control device)Then, the minute tweezers and knives are actually operated, but the teleoperation part(Operation unit 6 in the remote control device)So modeled as having it in your hand, Image display device 4Shown in the display image. A force sensor that detects a minute reaction force is added to this minute tweezers or knife, and the reaction force is amplified according to the magnification of the image to the teleoperation operation unit.6By feeding back to, it is possible to perform a natural operation sensuously. In addition, this reaction force feedback can realize a natural operation even when the object is operated and the operation is confirmed.
0021. It is clear that the micro-object display device according to claim 1 of the present invention and the micro-object manipulation device according to claims 2 and 3 are embodied in the above-described embodiment.
[Simple explanation of drawings]
FIG. 1 is the present invention.Micro object display device and micro object operation deviceOverall composition ofThe figure which shows.
FIG. 2 is a multi-directional microscopic optical system.Explanatory drawing of (imaging system).
FIG. 3 is a feature point imageable directional distribution.Explanatory drawing.
FIG. 4 shows the distribution of feature points whose spatial positions have been determined.Explanatory drawing.
FIG. 5 Of small objects to be observed or manipulatedTriangular description of surface shapeExplanatory drawing.
FIG. 6Micro operation deviceExplanatory drawing of (remote control device).
FIG. 7Teleoperation operation unitExplanatory drawing of (operation part of remote control device).