JP2000052289A - 微小操作のためのセンシング方式と操作方式およびそ の装置 - Google Patents
微小操作のためのセンシング方式と操作方式およびそ の装置Info
- Publication number
- JP2000052289A JP2000052289A JP10232329A JP23232998A JP2000052289A JP 2000052289 A JP2000052289 A JP 2000052289A JP 10232329 A JP10232329 A JP 10232329A JP 23232998 A JP23232998 A JP 23232998A JP 2000052289 A JP2000052289 A JP 2000052289A
- Authority
- JP
- Japan
- Prior art keywords
- image
- human
- micro
- manipulation
- microscope
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
(57)【要約】
【目的】 顕微鏡下での微妙なマイクロ操作に伴ってお
きる、顕微鏡の限られた観察視野による、立体形状把握
の困難さと、顕微鏡下の機器操作における拡大画像に対
する操作感覚と、実際に要求される微妙な操作間の人間
感覚上のギャップを埋め、あたかも通常の物体を扱って
いるかのように、対象を観察し、操作するための手法を
与える。 【構成】 多方位顕微光学系、その画像をステレオ処理
し、３次元形状モデルを作成する３次元モデル形成部、
３次元モデルをもとに右目、左目用に視差画像を生成す
る立体画像生成部、そこで作成された画像を人間の目前
に表示し、立体画像を表示する画像表示装置、画像表示
装置に取り付けられた頭の位置や顔の方向を計測する位
置・姿勢センサー、人間の腕の動きを計測し反力を返す
ことのできるテレオペレーション用の操作部、人間の動
作を解析し、その操作を縮小してマイクロオペレーショ
ン機器を操作するコントローラ部、そしてマイクロ力セ
ンサーを取り付けたマイクロオペレーション部から構成
している。
きる、顕微鏡の限られた観察視野による、立体形状把握
の困難さと、顕微鏡下の機器操作における拡大画像に対
する操作感覚と、実際に要求される微妙な操作間の人間
感覚上のギャップを埋め、あたかも通常の物体を扱って
いるかのように、対象を観察し、操作するための手法を
与える。 【構成】 多方位顕微光学系、その画像をステレオ処理
し、３次元形状モデルを作成する３次元モデル形成部、
３次元モデルをもとに右目、左目用に視差画像を生成す
る立体画像生成部、そこで作成された画像を人間の目前
に表示し、立体画像を表示する画像表示装置、画像表示
装置に取り付けられた頭の位置や顔の方向を計測する位
置・姿勢センサー、人間の腕の動きを計測し反力を返す
ことのできるテレオペレーション用の操作部、人間の動
作を解析し、その操作を縮小してマイクロオペレーショ
ン機器を操作するコントローラ部、そしてマイクロ力セ
ンサーを取り付けたマイクロオペレーション部から構成
している。
Description
【０００１】
【発明の属する技術分野】産業分野の多様な局面で、微
小な物体をハンドリングする必要が大幅に増大してい
る。この例としては、マイクロマシンやカテーテルをは
じめとする医療機器など各種装置の組立、植物生産での
細胞分割、生物の卵細胞操作など、多数の例を挙げるこ
とが出来る。これまでこの様な分野では、多数の作業者
が顕微鏡を覗きながら微小な切断や分離などの操作を行
っていたが、顕微鏡で観察できる視野や視線方向が限ら
れているため、特に３次元的な全体形状が把握しにく
い、顕微鏡下の機器操作においては、顕微鏡で見ている
拡大画像に比べて、非常に微妙な機器操作を要求され、
日常操作の感覚と整合しない、などの問題があった。
小な物体をハンドリングする必要が大幅に増大してい
る。この例としては、マイクロマシンやカテーテルをは
じめとする医療機器など各種装置の組立、植物生産での
細胞分割、生物の卵細胞操作など、多数の例を挙げるこ
とが出来る。これまでこの様な分野では、多数の作業者
が顕微鏡を覗きながら微小な切断や分離などの操作を行
っていたが、顕微鏡で観察できる視野や視線方向が限ら
れているため、特に３次元的な全体形状が把握しにく
い、顕微鏡下の機器操作においては、顕微鏡で見ている
拡大画像に比べて、非常に微妙な機器操作を要求され、
日常操作の感覚と整合しない、などの問題があった。
【０００２】
【発明が解決しようとする課題】本発明が解決しょうと
する課題は、このような顕微鏡下での微妙なマイクロ操
作に伴っておきる、顕微鏡の限られた観察視野による、
立体形状把握の困難さと、顕微鏡下の機器操作における
拡大画像に対する操作感覚と、実際に要求される微妙な
操作間の人間感覚上のギャップを埋め、あたかも通常の
物体を扱っているかのように、対象を観察し、操作する
ための手法を与えるものである。
する課題は、このような顕微鏡下での微妙なマイクロ操
作に伴っておきる、顕微鏡の限られた観察視野による、
立体形状把握の困難さと、顕微鏡下の機器操作における
拡大画像に対する操作感覚と、実際に要求される微妙な
操作間の人間感覚上のギャップを埋め、あたかも通常の
物体を扱っているかのように、対象を観察し、操作する
ための手法を与えるものである。
【０００３】
【課題を解決するための手段】上記のマイクロ操作上の
問題点として、下記３点が挙げられる。 １）顕微鏡による撮像では、一方向から見た画像しか得
られないため、全体的３次元形状が把握しにくい。 ２）日常生活においては、人間の頭の操作にあわせて対
象物を様々な角度から観察することができ、視差による
立体画像認識と合わせて、連続画像からの３次元形状把
握が可能であるが、顕微鏡画像では、頭の動きに合わせ
た連続画像を得ることはできないため、形状把握に違和
感がある。 ３）顕微鏡の拡大画像から感じる操作感覚と、実際に要
求される手の微妙な操作の感覚が整合しないため、操作
に違和感を感じる。
問題点として、下記３点が挙げられる。 １）顕微鏡による撮像では、一方向から見た画像しか得
られないため、全体的３次元形状が把握しにくい。 ２）日常生活においては、人間の頭の操作にあわせて対
象物を様々な角度から観察することができ、視差による
立体画像認識と合わせて、連続画像からの３次元形状把
握が可能であるが、顕微鏡画像では、頭の動きに合わせ
た連続画像を得ることはできないため、形状把握に違和
感がある。 ３）顕微鏡の拡大画像から感じる操作感覚と、実際に要
求される手の微妙な操作の感覚が整合しないため、操作
に違和感を感じる。
【０００４】上記の問題点に対応するため、本発明で
は、以下のような手段を導入する。まず、１）の視線方
向の限定に対しては、多方位マイクロ視覚光学系を開発
し、多数の方向から微小対象物の画像を撮像、それを３
次元画像認識処理することで、対象物の３次元形状を画
像計測する。このとき、多方位から画像計測を行ってい
ることで、限られた方向から見る場合の隠れ部分の画像
も得ることができ、より完全に近い３次元形状を得るこ
とができる。また、画像計測による３次元形状モデルの
取得と併せて、物体表面の模様や色彩もモデルに付加し
ておく。これにより、物体のリアルに近い画像を再構成
可能になる。この画像の再構成には、コンピュータグラ
フィックスの手法が用いられる。
は、以下のような手段を導入する。まず、１）の視線方
向の限定に対しては、多方位マイクロ視覚光学系を開発
し、多数の方向から微小対象物の画像を撮像、それを３
次元画像認識処理することで、対象物の３次元形状を画
像計測する。このとき、多方位から画像計測を行ってい
ることで、限られた方向から見る場合の隠れ部分の画像
も得ることができ、より完全に近い３次元形状を得るこ
とができる。また、画像計測による３次元形状モデルの
取得と併せて、物体表面の模様や色彩もモデルに付加し
ておく。これにより、物体のリアルに近い画像を再構成
可能になる。この画像の再構成には、コンピュータグラ
フィックスの手法が用いられる。
【０００５】２）の頭の動きに合わせた連続画像を得る
ことはできないため、形状把握に違和感を生じてしまう
問題に対しては、磁気位置センサーなどにより頭の位
置、方向を連続的に観測、それに合わせてコンピュータ
グラフィックスで生成する画像の視角を決定、画像表示
することで、解決する。
ことはできないため、形状把握に違和感を生じてしまう
問題に対しては、磁気位置センサーなどにより頭の位
置、方向を連続的に観測、それに合わせてコンピュータ
グラフィックスで生成する画像の視角を決定、画像表示
することで、解決する。
【０００６】また、３）の画像の拡大率と、機器操作の
感覚が異なる点に関しては、テレオペレーション装置な
どを応用、人間の操作動作を、画像の拡大倍率に合わせ
て縮小、実際の機器操作を行うことで、あたかも日常生
活で扱うサイズの物体であるかのように、対象物を操作
することができる。
感覚が異なる点に関しては、テレオペレーション装置な
どを応用、人間の操作動作を、画像の拡大倍率に合わせ
て縮小、実際の機器操作を行うことで、あたかも日常生
活で扱うサイズの物体であるかのように、対象物を操作
することができる。
【０００７】これら、各技術課題の解決に対し、１）に
ついては文献bit 誌1996年２月号pp.4-12 ”Virtualize
d Reality ：仮想化された現実”に見られるソフトカメ
ラに、多方向からの観察と、計算機の内部モデル構成に
よる画像生成の例が述べられているが、扱われている対
象は、マイクロオペレーションなどのための拡大画像生
成ではない。さらに、人間の自然な立体把握のために
は、視差画像の生成と同時に、頭の動きに合わせた連続
画像生成を行う必要がある。
ついては文献bit 誌1996年２月号pp.4-12 ”Virtualize
d Reality ：仮想化された現実”に見られるソフトカメ
ラに、多方向からの観察と、計算機の内部モデル構成に
よる画像生成の例が述べられているが、扱われている対
象は、マイクロオペレーションなどのための拡大画像生
成ではない。さらに、人間の自然な立体把握のために
は、視差画像の生成と同時に、頭の動きに合わせた連続
画像生成を行う必要がある。
【０００８】一方、計算機モデルの、頭の動きに合わせ
た連続画像表示によるモデル提示の例は文献精密工学会
誌Vol.57,No.8,pp.1352-1355(1991)人工現実感によるキ
ッチン体験システムに見られるバーチャルリアリティ応
用による設計評価などがあるが、人間感覚との整合のた
めには、実際対象の操作のための画像計測による実モデ
ルからの画像生成や、さらにその拡大縮小による提示が
必要である。
た連続画像表示によるモデル提示の例は文献精密工学会
誌Vol.57,No.8,pp.1352-1355(1991)人工現実感によるキ
ッチン体験システムに見られるバーチャルリアリティ応
用による設計評価などがあるが、人間感覚との整合のた
めには、実際対象の操作のための画像計測による実モデ
ルからの画像生成や、さらにその拡大縮小による提示が
必要である。
【０００９】テレオペレーションの研究は、文献ロボッ
ト工学ハンドブック、pp.723-729（オーム社、1990年）
にあるように各所で見られるが、実際の操作のために
は、その実画像のモデル化からの拡大提示画像との比率
の一致による操作感覚との整合が必要である。さらにこ
れに拡大比率を考慮した力フィードバックを組み合わせ
ることにより、人間にとって自然な操作感覚を与えるこ
とができる。
ト工学ハンドブック、pp.723-729（オーム社、1990年）
にあるように各所で見られるが、実際の操作のために
は、その実画像のモデル化からの拡大提示画像との比率
の一致による操作感覚との整合が必要である。さらにこ
れに拡大比率を考慮した力フィードバックを組み合わせ
ることにより、人間にとって自然な操作感覚を与えるこ
とができる。
【００１０】本発明は、上記のような技法をシステムに
導入することにより、微妙な操作を要求される顕微鏡下
でのマイクロ操作を、人間の日常感覚での自然な操作に
近づけようとするものである。
導入することにより、微妙な操作を要求される顕微鏡下
でのマイクロ操作を、人間の日常感覚での自然な操作に
近づけようとするものである。
【００１１】
【発明の実施の形態】本発明の実施例の全体構成を第１
図に示す。全体は、多方位顕微光学系、その画像をステ
レオ処理し、３次元形状モデルを作成する３次元モデル
形成部、３次元モデルをもとに右目、左目用に視差画像
を生成する立体画像生成部、そこで作成された画像を人
間の目前に表示し、立体画像を表示する画像表示装置、
画像表示装置に取り付けられた頭の位置や顔の方向を計
測する位置・姿勢センサー、人間の腕の動きを計測し反
力を返すことのできるテレオペレーション用の操作部、
人間の動作を解析し、その操作を縮小してマイクロオペ
レーション機器を操作するコントローラ部、そしてマイ
クロ力センサーを取り付けたマイクロオペレーション部
からなる。
図に示す。全体は、多方位顕微光学系、その画像をステ
レオ処理し、３次元形状モデルを作成する３次元モデル
形成部、３次元モデルをもとに右目、左目用に視差画像
を生成する立体画像生成部、そこで作成された画像を人
間の目前に表示し、立体画像を表示する画像表示装置、
画像表示装置に取り付けられた頭の位置や顔の方向を計
測する位置・姿勢センサー、人間の腕の動きを計測し反
力を返すことのできるテレオペレーション用の操作部、
人間の動作を解析し、その操作を縮小してマイクロオペ
レーション機器を操作するコントローラ部、そしてマイ
クロ力センサーを取り付けたマイクロオペレーション部
からなる。
【００１２】第２図に多方位顕微光学系の構成の一例を
示す。物体を載せるＸＹテーブル上に、半球状に多数設
置された顕微光学系と、それに取り付けられたカラーカ
メラ群からなる。これらのカメラ群は、ＸＹテーブル上
の同一点を撮像しており、対象物体上の同一特徴点を見
ているカメラが一般に複数台存在する。その様子を第３
図に示す。第３図は、対象物体上のある１つの特徴点を
撮像することのできるカメラ群の範囲を示しており、図
中＋の方向に取り付けた複数のカメラから、あらかじめ
画像微分処理などで選択された特定の特徴点を撮像でき
ることを示している。この様に複数のカメラから同一点
が撮像できるときには、その中から適当な２台のカメラ
を選択、該当特徴点のステレオマッチングを行い、対応
点についてステレオ画像処理を行うことで特徴点の空間
座標を決定することができる。
示す。物体を載せるＸＹテーブル上に、半球状に多数設
置された顕微光学系と、それに取り付けられたカラーカ
メラ群からなる。これらのカメラ群は、ＸＹテーブル上
の同一点を撮像しており、対象物体上の同一特徴点を見
ているカメラが一般に複数台存在する。その様子を第３
図に示す。第３図は、対象物体上のある１つの特徴点を
撮像することのできるカメラ群の範囲を示しており、図
中＋の方向に取り付けた複数のカメラから、あらかじめ
画像微分処理などで選択された特定の特徴点を撮像でき
ることを示している。この様に複数のカメラから同一点
が撮像できるときには、その中から適当な２台のカメラ
を選択、該当特徴点のステレオマッチングを行い、対応
点についてステレオ画像処理を行うことで特徴点の空間
座標を決定することができる。
【００１３】この様にして、３次元モデル形成部におい
てステレオ画像処理することで、画面内の多数の特徴点
に対して空間座標を決定することができる。この空間座
標は、第４図に示すように模様の境界や物体の縁など特
徴のある点のみで求まるので、求まった点をもとに同一
平面を構成する３点の組み合わせを決定、物体外形形状
を、多数の微小な空間３角形で覆い尽くす。この様子を
第５図に示す。このとき、それまでの処理結果では物体
外形を記述する空間３角形が求まらないとき、それを補
う方向のカメラの組み合わせを選んでステレオ画像処理
を行うことにより、対象物体の完全な形状記述を目指
す。
てステレオ画像処理することで、画面内の多数の特徴点
に対して空間座標を決定することができる。この空間座
標は、第４図に示すように模様の境界や物体の縁など特
徴のある点のみで求まるので、求まった点をもとに同一
平面を構成する３点の組み合わせを決定、物体外形形状
を、多数の微小な空間３角形で覆い尽くす。この様子を
第５図に示す。このとき、それまでの処理結果では物体
外形を記述する空間３角形が求まらないとき、それを補
う方向のカメラの組み合わせを選んでステレオ画像処理
を行うことにより、対象物体の完全な形状記述を目指
す。
【００１４】この様に対象外形を空間３角形の組み合わ
せで表すことで、対象の計算機モデルを表現している。
そして、この空間３角形毎に、それが見えるカラーＴＶ
カメラから、その内部の色彩や模様を記録することで、
対象物体の実物に近い計算機モデルを構成することがで
きる。立体画像生成部では、先に作成された模様付き３
次元計算機モデルを元に、人間の左右の目に合わせた画
像を別々に生成し、それを別々に左右の目に画像表示部
で提示することで、人間に立体画像を知覚させる。この
様な立体画像表示装置としては、ヘッドマウントディス
プレーが知られている。
せで表すことで、対象の計算機モデルを表現している。
そして、この空間３角形毎に、それが見えるカラーＴＶ
カメラから、その内部の色彩や模様を記録することで、
対象物体の実物に近い計算機モデルを構成することがで
きる。立体画像生成部では、先に作成された模様付き３
次元計算機モデルを元に、人間の左右の目に合わせた画
像を別々に生成し、それを別々に左右の目に画像表示部
で提示することで、人間に立体画像を知覚させる。この
様な立体画像表示装置としては、ヘッドマウントディス
プレーが知られている。
【００１５】表示画像の生成に当たっては、モデルを人
間の前方どの位置に、どの程度の拡大率で提示するか、
そのとき、見ている人間の頭の位置と顔の方向が重要な
パラメータである。ここでは、人間の前方、どの位置に
するかは、第６図に示すようなシステム構成を考えた場
合、ほぼ空間的に固定して考えることができる。物体の
拡大率は任意で、オペレータが設定可能であるが、たと
えば拡大後の画像サイズで１００〜２００ｍｍ程度と考
えれば、１００倍程度であろう。規定位置に１００倍程
度に拡大して仮想的に物体を置くことにし、つぎに観察
者の頭の位置と顔の方向が分かれば、画像を生成でき
る。ここでは、磁気位置センサーなどをヘッドマウント
ディスプレーに取り付け、頭の位置、方向を計測する事
にする。磁気位置センサーは文献バーチャルリアリティ
応用戦略、pp.29-31（オーム社、１９９２年）などに述
べられているように、頭の３次元的空間位置と、空間内
の方向を調べることができる。この位置と方向を元に、
３次元計算機モデルで記述された対象が拡大され、所定
の位置に仮想的に物体が置かれているものとして、ヘッ
ドマウントディスプレーの左右の画面にそれぞれに見え
るはずの画像を生成することで、人間に立体画像を知覚
させる。さらに、頭の動きに合わせて実時間で３次元計
算機モデルからの画像生成を繰り返すことにより、頭の
動きに合わせた連続画像生成を行うことができる。この
動画像生成では、再度ステレオ画像処理により模様付き
３次元モデルを再構成する必要はない。
間の前方どの位置に、どの程度の拡大率で提示するか、
そのとき、見ている人間の頭の位置と顔の方向が重要な
パラメータである。ここでは、人間の前方、どの位置に
するかは、第６図に示すようなシステム構成を考えた場
合、ほぼ空間的に固定して考えることができる。物体の
拡大率は任意で、オペレータが設定可能であるが、たと
えば拡大後の画像サイズで１００〜２００ｍｍ程度と考
えれば、１００倍程度であろう。規定位置に１００倍程
度に拡大して仮想的に物体を置くことにし、つぎに観察
者の頭の位置と顔の方向が分かれば、画像を生成でき
る。ここでは、磁気位置センサーなどをヘッドマウント
ディスプレーに取り付け、頭の位置、方向を計測する事
にする。磁気位置センサーは文献バーチャルリアリティ
応用戦略、pp.29-31（オーム社、１９９２年）などに述
べられているように、頭の３次元的空間位置と、空間内
の方向を調べることができる。この位置と方向を元に、
３次元計算機モデルで記述された対象が拡大され、所定
の位置に仮想的に物体が置かれているものとして、ヘッ
ドマウントディスプレーの左右の画面にそれぞれに見え
るはずの画像を生成することで、人間に立体画像を知覚
させる。さらに、頭の動きに合わせて実時間で３次元計
算機モデルからの画像生成を繰り返すことにより、頭の
動きに合わせた連続画像生成を行うことができる。この
動画像生成では、再度ステレオ画像処理により模様付き
３次元モデルを再構成する必要はない。
【００１６】ところで、この画像にあわせての操作で
は、テレオペレーションで開発された技術が適用でき
る。たとえば文献バーチャルテック・ラボp.10（工業調
査会、1992年）では、第７図のような操作機器が紹介さ
れている。この装置では、人間の腕の動きを、空間位置
と姿勢について詳細に計測することができる。本発明で
は、この手の動きをマイクロオペレーション機器コント
ローラに送る。コントローラでは、この腕の動作を、画
像表示での拡大率に合わせて縮小し、対象物体を操作す
るオペレーション機構の動作とする。この具体的動作に
当たっては、物体操作に使うナイフやピンセットなどを
想定し、その拡大モデルを持っているものとして立体画
像表示部に表示し、それを操作しているものとしてハン
ドリングする。
は、テレオペレーションで開発された技術が適用でき
る。たとえば文献バーチャルテック・ラボp.10（工業調
査会、1992年）では、第７図のような操作機器が紹介さ
れている。この装置では、人間の腕の動きを、空間位置
と姿勢について詳細に計測することができる。本発明で
は、この手の動きをマイクロオペレーション機器コント
ローラに送る。コントローラでは、この腕の動作を、画
像表示での拡大率に合わせて縮小し、対象物体を操作す
るオペレーション機構の動作とする。この具体的動作に
当たっては、物体操作に使うナイフやピンセットなどを
想定し、その拡大モデルを持っているものとして立体画
像表示部に表示し、それを操作しているものとしてハン
ドリングする。
【００１７】
【発明の効果】このとき、マイクロオペレーション機器
側では、微小なピンセットやナイフが実際に操作される
が、テレオペレーション部では、それを手に持っている
ものとしてモデル化され、表示画像中に示される。この
微小なピンセットやナイフに微小な反力を検出する力セ
ンサーを付加しておき、反力分を画像の拡大率に合わせ
て増幅してテレオペレーション操作部にフィードバック
することで、感覚的にも自然な操作を行うことが出来
る。また、この反力フィードバックは、物体操作の上で
も操作の確認の上で、自然な動作を実現できる。
側では、微小なピンセットやナイフが実際に操作される
が、テレオペレーション部では、それを手に持っている
ものとしてモデル化され、表示画像中に示される。この
微小なピンセットやナイフに微小な反力を検出する力セ
ンサーを付加しておき、反力分を画像の拡大率に合わせ
て増幅してテレオペレーション操作部にフィードバック
することで、感覚的にも自然な操作を行うことが出来
る。また、この反力フィードバックは、物体操作の上で
も操作の確認の上で、自然な動作を実現できる。
【図１】本発明の全体構成
【図２】多方向顕微光学系
【図３】特微点撮像可能方位分布
【図４】空間位置決定した特微点分布
【図５】対象物体表面形状の３角形記述
【図６】マイクロオペレーション装置の構成例
【図７】テレオペレーション操作部
─────────────────────────────────────────────────────
【手続補正書】
【提出日】平成１０年９月２８日（１９９８．９．２
８）
８）
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】発明の名称
【補正方法】変更
【補正内容】
【発明の名称】 微小操作のためのセンシング
方式と操作方式およびその装置
方式と操作方式およびその装置
フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０２Ｂ 21/36 Ｇ０２Ｂ 21/36 Ｇ０３Ｂ 35/00 Ｇ０３Ｂ 35/00 Ｚ // Ｇ０６Ｔ 7/00 Ｇ０６Ｆ 15/62 ４１５ (71)出願人 000180313 四国計測工業株式会社 香川県仲多度郡多度津町若葉町12番56号 (72)発明者 秦 清治 香川県綾歌郡綾南町羽床下1028−２ (72)発明者 中西 正晴 香川県大川郡志度町志度2405−６ (72)発明者 広苅 正義 香川県木田郡三木町池戸2456−５ (72)発明者 牛田 善喜 香川県綾歌郡綾歌町栗熊東1295−２ (72)発明者 白井 文夫 香川県三豊郡高瀬町上高瀬2002−２
Claims (4)
- 【請求項１】複数の顕微鏡光学系とカメラを多方向から
対象を観察するように取り付けた撮像系、それら撮像系
からの画像を処理し３次元形状モデルを作成する画像処
理系、人間の眼前に映像を投影する映像表示系、画像処
理系によって生成されたモデルとセンサーによって検出
された頭の位置や姿勢をもとに、３次元画像を生成する
作画系から構成される装置において、微小な対象を、生
成されたモデルをもとに任意の倍率で人間の眼前に表示
する事を特徴とする、微小操作のための画像操作方式お
よびその装置。 - 【請求項２】請求項１に述べた構成及び画像操作方式に
加えて、人間の頭の位置や角度を検出するセンサーを付
加し、微小な対象を、生成されたモデルをもとに任意の
倍率で人間の眼前に表示する際に、対象の拡大画像が実
体として眼前にあるものとして、人間の頭の動きに併せ
て任意の方向と倍率で画像を再構成し表示することで、
人間の操作感覚にあった画像表示を実現する事を特徴と
する、微小操作のための画像操作方式およびその装置。 - 【請求項３】請求項１、２に述べた構成および画像操作
方式に加えて、人間の手の動作を縮小して伝える遠隔操
縦装置を付加した構成を持つ微小操作装置ににおいて、
動作縮小の倍率を画像の表示倍率に基づいて決定するこ
とで、表示された画像と遠隔操作の感覚を一致させたこ
とを特徴とする、微小操作の為の操作方式およびその装
置。 - 【請求項４】請求項３に述べた構成および方式に加え
て、微小操作先端部に微小力センサーを付加した構成を
持ち、そこで検出した力を増強し操作側に伝える事で、
あたかも人間の眼前にあるかのように表示された操作対
象を、人間の日常取り扱う感覚強度に似せて扱うことの
出来る微小物体操作方式、およびその装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10232329A JP2000052289A (ja) | 1998-08-03 | 1998-08-03 | 微小操作のためのセンシング方式と操作方式およびそ の装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10232329A JP2000052289A (ja) | 1998-08-03 | 1998-08-03 | 微小操作のためのセンシング方式と操作方式およびそ の装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000052289A true JP2000052289A (ja) | 2000-02-22 |
| JP2000052289A5 JP2000052289A5 (ja) | 2006-03-30 |
Family
ID=16937499
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10232329A Pending JP2000052289A (ja) | 1998-08-03 | 1998-08-03 | 微小操作のためのセンシング方式と操作方式およびそ の装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2000052289A (ja) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002172597A (ja) * | 2000-12-07 | 2002-06-18 | Olympus Optical Co Ltd | 微小構造体組立装置 |
| US7098620B2 (en) | 2003-03-31 | 2006-08-29 | Canon Kabushiki Kaisha | Minute object manipulating apparatus |
| US7601119B2 (en) | 2006-04-25 | 2009-10-13 | Hrayr Kamig Shahinian | Remote manipulator with eyeballs |
| JP2015027724A (ja) * | 2013-06-24 | 2015-02-12 | パナソニックＩｐマネジメント株式会社 | マスタスレーブロボットの制御装置及び制御方法、ロボット、マスタスレーブロボットの制御プログラム、並びに、マスタスレーブロボットの制御用集積電子回路 |
| JP2015071219A (ja) * | 2013-09-06 | 2015-04-16 | パナソニックＩｐマネジメント株式会社 | マスタスレーブロボットの制御装置及び制御方法、ロボット、マスタスレーブロボットの制御プログラム、並びに、マスタスレーブロボットの制御用集積電子回路 |
| JP2015071220A (ja) * | 2013-09-06 | 2015-04-16 | パナソニックＩｐマネジメント株式会社 | マスタスレーブロボットの制御装置及び制御方法、ロボット、マスタスレーブロボットの制御プログラム、並びに、マスタスレーブロボットの制御用集積電子回路 |
| US9295375B2 (en) | 2012-09-27 | 2016-03-29 | Hrayr Karnig Shahinian | Programmable spectral source and design tool for 3D imaging using complementary bandpass filters |
| US9456735B2 (en) | 2012-09-27 | 2016-10-04 | Shahinian Karnig Hrayr | Multi-angle rear-viewing endoscope and method of operation thereof |
| US9549667B2 (en) | 2007-12-18 | 2017-01-24 | Harish M. MANOHARA | Endoscope and system and method of operation thereof |
| US9861261B2 (en) | 2014-03-14 | 2018-01-09 | Hrayr Karnig Shahinian | Endoscope system and method of operation thereof |
| JP2019063953A (ja) * | 2017-10-02 | 2019-04-25 | 株式会社オカムラ | 作業システム、作業システムの制御方法及びプログラム |
| CN113876125A (zh) * | 2021-09-03 | 2022-01-04 | 河南帅太整体定制家居有限公司 | 一种用于厨柜的智能交互系统 |
| US11529042B2 (en) | 2009-11-13 | 2022-12-20 | Hrayr Karnig Shahinian | Stereo imaging miniature endoscope with single imaging and conjugated multi-bandpass filters |
-
1998
- 1998-08-03 JP JP10232329A patent/JP2000052289A/ja active Pending
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4632525B2 (ja) * | 2000-12-07 | 2011-02-16 | オリンパス株式会社 | 微小構造体組立装置 |
| JP2002172597A (ja) * | 2000-12-07 | 2002-06-18 | Olympus Optical Co Ltd | 微小構造体組立装置 |
| US7098620B2 (en) | 2003-03-31 | 2006-08-29 | Canon Kabushiki Kaisha | Minute object manipulating apparatus |
| US7601119B2 (en) | 2006-04-25 | 2009-10-13 | Hrayr Kamig Shahinian | Remote manipulator with eyeballs |
| US10278568B2 (en) | 2007-12-18 | 2019-05-07 | Harish M. MANOHARA | Endoscope and system and method of operation thereof |
| US9549667B2 (en) | 2007-12-18 | 2017-01-24 | Harish M. MANOHARA | Endoscope and system and method of operation thereof |
| US11529042B2 (en) | 2009-11-13 | 2022-12-20 | Hrayr Karnig Shahinian | Stereo imaging miniature endoscope with single imaging and conjugated multi-bandpass filters |
| US11375884B2 (en) | 2011-09-27 | 2022-07-05 | California Institute Of Technology | Multi-angle rear-viewing endoscope and method of operation thereof |
| US9713419B2 (en) | 2011-09-27 | 2017-07-25 | California Institute Of Technology | Programmable spectral source and design tool for 3D imaging using complementary bandpass filters |
| US9295375B2 (en) | 2012-09-27 | 2016-03-29 | Hrayr Karnig Shahinian | Programmable spectral source and design tool for 3D imaging using complementary bandpass filters |
| US9456735B2 (en) | 2012-09-27 | 2016-10-04 | Shahinian Karnig Hrayr | Multi-angle rear-viewing endoscope and method of operation thereof |
| JP2015027724A (ja) * | 2013-06-24 | 2015-02-12 | パナソニックＩｐマネジメント株式会社 | マスタスレーブロボットの制御装置及び制御方法、ロボット、マスタスレーブロボットの制御プログラム、並びに、マスタスレーブロボットの制御用集積電子回路 |
| US9329587B2 (en) | 2013-09-06 | 2016-05-03 | Panasonic Intellectual Property Management Co., Ltd. | Control apparatus and control method for master slave robot, robot, control program for master slave robot, and integrated electronic circuit for control of master slave robot |
| JP2015071220A (ja) * | 2013-09-06 | 2015-04-16 | パナソニックＩｐマネジメント株式会社 | マスタスレーブロボットの制御装置及び制御方法、ロボット、マスタスレーブロボットの制御プログラム、並びに、マスタスレーブロボットの制御用集積電子回路 |
| JP2015071219A (ja) * | 2013-09-06 | 2015-04-16 | パナソニックＩｐマネジメント株式会社 | マスタスレーブロボットの制御装置及び制御方法、ロボット、マスタスレーブロボットの制御プログラム、並びに、マスタスレーブロボットの制御用集積電子回路 |
| US9861261B2 (en) | 2014-03-14 | 2018-01-09 | Hrayr Karnig Shahinian | Endoscope system and method of operation thereof |
| JP2019063953A (ja) * | 2017-10-02 | 2019-04-25 | 株式会社オカムラ | 作業システム、作業システムの制御方法及びプログラム |
| CN113876125A (zh) * | 2021-09-03 | 2022-01-04 | 河南帅太整体定制家居有限公司 | 一种用于厨柜的智能交互系统 |
| CN113876125B (zh) * | 2021-09-03 | 2023-01-17 | 河南帅太整体定制家居有限公司 | 一种用于厨柜的智能交互系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Milgram et al. | Applications of augmented reality for human-robot communication | |
| Kim et al. | Visual enhancements in pick-and-place tasks: Human operators controlling a simulated cylindrical manipulator | |
| JP3558104B2 (ja) | ３次元仮想物体表示装置および方法 | |
| Chung et al. | Exploring virtual worlds with head-mounted displays | |
| JP2000052289A (ja) | 微小操作のためのセンシング方式と操作方式およびそ の装置 | |
| WO2006130723A2 (en) | Magnetic haptic feedback systems and methods for virtual reality environments | |
| US20220387128A1 (en) | Surgical virtual reality user interface | |
| CN102047199A (zh) | 交互式虚拟现实图像生成系统 | |
| JPS63240851A (ja) | 手術用３次元ビューアーシステム | |
| JP2000052289A5 (ja) | ||
| DeJong et al. | Mental transformations in human-robot interaction | |
| Richard et al. | A comparison of haptic, visual and auditive force feedback for deformable virtual objects | |
| Wang et al. | Effects of Orientation Disparity Between Haptic and Graphic Displays of Objects in Virtual Environments. | |
| Rastogi et al. | Telerobotic control with stereoscopic augmented reality | |
| JPH06131442A (ja) | ３次元虚像造形装置 | |
| JPH0421105A (ja) | マニピユレータの立体教示装置 | |
| Ruddle et al. | Manual and virtual rotation of three-dimensional object. | |
| Saraiji et al. | Real-time egocentric superimposition of operator's own body on telexistence avatar in virtual environment | |
| Zhai et al. | Asymmetrical spatial accuracy in 3D tracking | |
| IWAMOTO | Development of 4K Binocular Video See-through Display with Haptic Device for Task Training | |
| Gelšvartas et al. | Projection mapping user interface for disabled people | |
| Rusanu et al. | Virtual robot arm controlled by hand gestures via Leap Motion Sensor | |
| Durlach et al. | Virtual environment technology for training (VETT) | |
| Sato et al. | Micro-teleoperation with manual task execution posture | |
| Sharma et al. | Virtual reality and haptics in nano-and bionanotechnology |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20040709 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050721 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050721 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20050722 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051021 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051021 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070118 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070130 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070710 |