JP2007026061A - ハプティックビジョンに基づく３次元物体モデル生成方法及びハプティックビジョンシステム - Google Patents
ハプティックビジョンに基づく３次元物体モデル生成方法及びハプティックビジョンシステム Download PDFInfo
- Publication number
- JP2007026061A JP2007026061A JP2005206985A JP2005206985A JP2007026061A JP 2007026061 A JP2007026061 A JP 2007026061A JP 2005206985 A JP2005206985 A JP 2005206985A JP 2005206985 A JP2005206985 A JP 2005206985A JP 2007026061 A JP2007026061 A JP 2007026061A
- Authority
- JP
- Japan
- Prior art keywords
- target object
- haptic
- contact
- robot
- vision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Feedback Control In General (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Manipulator (AREA)
- Processing Or Creating Images (AREA)
Abstract
【課題】 実世界に充実なインタラクションを可能とするためのより適切な物体モデルを生成する。
【解決手段】 作用物体への作用が可能な対象物体（５）を仮想環境で再現するための物体モデルを、ハプティックビジョンシステムを用いて生成する方法であって、ビジョンロボット（２）によって、対象物体（５）を観測して当該対象物体（５）に関するデータを取得し、ハプティックロボット（３）を対象物体に接触させ、当該対象物体を作用物体に作用させるアクティブタッチステップ、ビジョンロボット（２）及びハプティックロボット（３）によって、アクティブタッチによる対象物体（５）の力学的作用特性に関するデータを取得し、 初期観測及び力学的作用特性観測によって取得されたデータに基づいて、対象物体の物体モデルを生成する。
【選択図】 図６
【解決手段】 作用物体への作用が可能な対象物体（５）を仮想環境で再現するための物体モデルを、ハプティックビジョンシステムを用いて生成する方法であって、ビジョンロボット（２）によって、対象物体（５）を観測して当該対象物体（５）に関するデータを取得し、ハプティックロボット（３）を対象物体に接触させ、当該対象物体を作用物体に作用させるアクティブタッチステップ、ビジョンロボット（２）及びハプティックロボット（３）によって、アクティブタッチによる対象物体（５）の力学的作用特性に関するデータを取得し、 初期観測及び力学的作用特性観測によって取得されたデータに基づいて、対象物体の物体モデルを生成する。
【選択図】 図６
Description
本発明は、ハプティックビジョンに基づく３次元物体モデル生成方法及びハプティックビジョンシステムに関する。
実世界の物体は接触力を加える事で様々な物理的インタラクションを示す。それらの動きは仮想空間内で物体を触れて操り、認識するための重要な手がかりを提供する。最近では、このような触覚の重要性から、ハプティック（触覚）インタフェースを実現する触覚／力フィードバック装置も実用化され、 ＶＲ（バーチャルリアリティ）をはじめ、ＣＧ（コンピュータグラフィックス）、ロボティクス、心理学の分野においても、視覚とさらに物体の質量、摩擦、粘弾性等の力学的物理特性がもたらす触覚インタフェース実現へ向けて勢力的に研究が進められている。
心理学分野における触覚の研究は手の機能や把持の分析を中心に進められてきた。代表的な研究として、ＬｅｄｅｒｍａｎとＫｌａｔｚｋｙ による物体の顕著な特徴を探るための典型的な手動作パターンＥＰｓ(Ｅｘｐｌｏｒａｔｏｒｙ Ｐｒｏｃｅｄｕｒｅｓ) [非特許文献１] が挙げられる。
図１のＥＰｓが示すように、人間の手の探索機能は、物体の形状、剛さ、柔軟度、重さ、温度等を探索する６種類（図１の上側の６図）の手の動作パターンと、物体の機能や物体を構成するパーツ間の接続構造や力学機構を探索する２種類（図１の最下の２図）の手の動作パターン等により実現されていることが確認されている。
図１のＥＰｓが示すように、人間の手の探索機能は、物体の形状、剛さ、柔軟度、重さ、温度等を探索する６種類（図１の上側の６図）の手の動作パターンと、物体の機能や物体を構成するパーツ間の接続構造や力学機構を探索する２種類（図１の最下の２図）の手の動作パターン等により実現されていることが確認されている。
そこで我々は人間の手のＥＰｓによって探索される触覚情報を、ビジョンベース、非接触で自動獲得する「触れて視る」ハプティックビジョン構想[非特許文献２] を提案し、さらに物体形状・体積[非特許文献３]、質量[非特許文献４]、拘束関係[非特許文献５]、粘弾性[非特許文献６] 等の物体の力学的物理特性の自動獲得法を提案した。
最近の物体特性のスキャニング技術の発展[非特許文献７] が、高級で精巧なロボットシステム上で人間の操作を必要とする一方で、我々の提案するハプティックビジョンは実世界の物体の幾何学的、物理的特性の両方を抽出、解析する事によるハプティック探索を自動的に行う事ができる。
最近の物体特性のスキャニング技術の発展[非特許文献７] が、高級で精巧なロボットシステム上で人間の操作を必要とする一方で、我々の提案するハプティックビジョンは実世界の物体の幾何学的、物理的特性の両方を抽出、解析する事によるハプティック探索を自動的に行う事ができる。
Lederman, S.J., and Klatzky, R.L.、"Hand movements: A window into haptic object recognition、Congnitive Psychology, vol.19, pp.342368, 1987.
H.T. Tanaka, K. Kushihama、Haptic Vision.、 Proc. IEEE16th Int. Conf. on Pattern Recognition, Vol.2, Session1.7 Robotics, Vol.II, pp.852855, Aug. 2002.
K. Nishimura，H.T. Tanaka、" Active Shape Inferring Based on the Symmetry in Stable Poses. IEEE Proc. 13th ICPR, pp.136140, 1996.
S. Tanaka, T. Tanigawa, Y. Abe and H.T. Tanaka、Active Mass Estimation with Haptic Vision. Proc. the 17th ICPR2004, Vol.3, pp.256261, 2004.
H.T. Tanaka and K. Yamasaki、" Extracting Relational Constraints among Objects with Haptic Vision for Haptic-Interfaced Object Manipulation. Proc. the 12th ICAT2002,2002.
Naoki Ueda, Shi-iti Hirai, Hiromi T. Tanaka: Extracting Rheological Properties of Deformable Objects with Haptic Vision, Proc. IEEE Int. Conf. on Robotics and Automation(ICRA2004), 2004.
D.K. Pai, K. van den Doel, D.L. James, J. Lang, J. E. Lloyd,J.L. Richmond and S.H. Yau:Scanning Physical Interaction behavior of 3D objects. in Computer Graphics(ACMSIGGRAH 2001 conference Proceedings) (2001).
従来のハプティックビジョンの研究は、対象となる物体に「触れて視る」ことだけに主眼が置かれていた。すなわち、従来のハプティックビジョンは、接触の「主体」となるロボットと、接触の対象となる「物体」との間の「主体−物体」インタラクションの観測に基づくモデル化を行うものであった。
しかし、コンピュータによる仮想環境において、実世界に忠実なインタラクションを可能にする３次元モデル（３次元インタラクティブモデル）としては、従来のモデルは十分ではない。
つまり、モデル化の対象となる物体が、ハサミのような道具である場合、道具としての力学的作用特性（例えば「切る」）をコンピュータが認識してモデル化するためには、道具としての「物体」や道具に作用する「主体」だけでなく、道具の「作用対象」を考慮することが重要であり、「主体―物体―作用対象」間の相互のインタラクションを観測しモデル化することが重要となる。
つまり、モデル化の対象となる物体が、ハサミのような道具である場合、道具としての力学的作用特性（例えば「切る」）をコンピュータが認識してモデル化するためには、道具としての「物体」や道具に作用する「主体」だけでなく、道具の「作用対象」を考慮することが重要であり、「主体―物体―作用対象」間の相互のインタラクションを観測しモデル化することが重要となる。
例えば、モデル化の対象がハサミである場合、物体「ハサミ」と、それを操作する主体「人（の手）」との間のインタラクションの観測だけでなく、物体「ハサミ」と主体「人（の手）」と作用対象「紙」との間のインタラクションの観測を行って、物体「ハサミ」の「切る」といった動的機能（力学的作用特性）を認識する必要がある。
そこで、本発明は、従来の「触れて視る」ハプティックビジョンを、モデル化の対象となる物体を作用対象に「触れさせて視る」ことへ拡張して、仮想環境において、実世界に充実なインタラクションを可能とするためのより適切な物体モデルを生成する方法及びハプティックビジョンシステムを提供する。
そこで、本発明は、従来の「触れて視る」ハプティックビジョンを、モデル化の対象となる物体を作用対象に「触れさせて視る」ことへ拡張して、仮想環境において、実世界に充実なインタラクションを可能とするためのより適切な物体モデルを生成する方法及びハプティックビジョンシステムを提供する。
物体モデル生成方法に係る本発明は、作用物体への作用が可能な対象物体をコンピュータによる仮想環境で再現するための物体モデルを、ビジョンロボット及びハプティックロボットを有するハプティックビジョンシステムを用いて生成する方法であって、前記ビジョンロボットによって、対象物体を観測して当該対象物体に関するデータを取得する初期観測ステップ、初期観測ステップで取得された対象物体に関するデータに基づき、ハプティックロボットを対象物体に接触させ、当該対象物体を作用物体に作用させるアクティブタッチステップ、前記ビジョンロボット及びハプティックロボットによって、前記アクティブタッチによる対象物体の力学的作用特性に関するデータを取得する力学的作用特性観測ステップ、初期観測ステップ及び力学的作用特性観測ステップによって取得されたデータに基づいて、対象物体の物体モデルを生成するモデリングステップ、を含むものである。
本発明によれば、対象物体を作用物体に作用させるアクティブタッチを行い、これを観測することによって、単に対象物体を観測するだけでは得られなかった対象物体の力学的作用特性を得ることができる。
前記初期観測ステップは、対象物体が安定して使用される姿勢である機能的姿勢における対象物体のデータを取得するステップを含むのが好ましく、これにより適切に対象物体の機能を推定することができる。
前記アクティブタッチステップでは、対象物体が作用物体に作用する状態でハプティックロボットを対象物体に接触させる第１接触と、対象物体が作用する作用物体がない状態でハプティックロボットを対象物体に接触させる第２接触とが行われるのが好ましい。
作用物体がある場合とない場合の接触を行うことで、対象物体の力学的作用特性を推定し易くなる。
具体的には、前記力学的作用特性観測ステップでは、前記第１接触と前記第２接触とにおける接触の差異を抽出することによって対象物体の力学的作用特性に関するデータを取得することが可能となる。
作用物体がある場合とない場合の接触を行うことで、対象物体の力学的作用特性を推定し易くなる。
具体的には、前記力学的作用特性観測ステップでは、前記第１接触と前記第２接触とにおける接触の差異を抽出することによって対象物体の力学的作用特性に関するデータを取得することが可能となる。
また、ハプティックビジョンシステムに係る本発明は、作用物体への作用が可能な対象物体をコンピュータによる仮想環境で再現するための物体モデルを生成するためのハプティックビジョンシステムであって、対象物体を観測するためのビジョンロボットと、対象物体に接触するためのハプティックロボットと、前記ビジョンロボットによる対象物体の観測に基づいて、当該対象物体に関するデータを取得する初期観測手段と、初期観測手段で取得された対象物体に関するデータに基づき、ハプティックロボットを対象物体に接触させ、当該対象物体を作用物体に作用させるアクティブタッチ手段と、前記ビジョンロボット及びハプティックロボットによって、前記アクティブタッチによる対象物体の力学的作用特性に関するデータを取得する力学的作用特性観測手段と、初期観測ステップ及び力学的作用特性観測ステップによって取得されたデータに基づいて、対象物体の物体モデルを生成するモデリング手段と、を備えている。
前記初期観測手段は、対象物体が安定して使用される姿勢である機能的姿勢における対象物体のデータを取得可能であるのが好ましい。
また、前記アクティブタッチ手段は、対象物体が作用物体に作用する状態でハプティックロボットを対象物体に接触させる第１接触と、対象物体が作用する作用物体がない状態でハプティックロボットを対象物体に接触させる第２接触とを行うのが好ましく、さらには、前記力学的作用特性観測手段は、前記第１接触と前記第２接触とにおける接触の差異を抽出することによって対象物体の力学的作用特性に関するデータを取得可能であるのが好ましい。
また、前記アクティブタッチ手段は、対象物体が作用物体に作用する状態でハプティックロボットを対象物体に接触させる第１接触と、対象物体が作用する作用物体がない状態でハプティックロボットを対象物体に接触させる第２接触とを行うのが好ましく、さらには、前記力学的作用特性観測手段は、前記第１接触と前記第２接触とにおける接触の差異を抽出することによって対象物体の力学的作用特性に関するデータを取得可能であるのが好ましい。
本発明によれば、対象物体の力学的作用特性が得られるため、仮想環境において、実世界に充実なインタラクションを可能とするためのより適切な物体モデルを生成することができる。
［１．はじめに］
ここでは、図１の最下の２つの図に示すＦｕｎｃｔｉｏｎ ＴｅｓｔとＰａｒｔ Ｍｏｔｉｏｎ Ｔｅｓｔにより探索される触覚情報、つまり、機能を持つ物体の力学構造を探索、発見し、仮想空間において実世界に忠実なインタラクションを可能にする３次元物体モデルを自動的に構築することを目的としている。本実施形態において、対象となる物体としては、物体（道具）の最も一般的な機能であるテコを有する関節物体を選択し、その３次元物体モデルとして必要な情報を図２のように定義する。
ここでは、図１の最下の２つの図に示すＦｕｎｃｔｉｏｎ ＴｅｓｔとＰａｒｔ Ｍｏｔｉｏｎ Ｔｅｓｔにより探索される触覚情報、つまり、機能を持つ物体の力学構造を探索、発見し、仮想空間において実世界に忠実なインタラクションを可能にする３次元物体モデルを自動的に構築することを目的としている。本実施形態において、対象となる物体としては、物体（道具）の最も一般的な機能であるテコを有する関節物体を選択し、その３次元物体モデルとして必要な情報を図２のように定義する。
図２のモデルは、大きく分けて、ｓｈａｐｅ（物体の３次元形状）、Ｆｕｎｃｔｉｏｎａｌ Ｐｏｓｅ（機能的姿勢）、Ｆｏｒｃｅ（力学作用特性）、Ｌｅｖｅｒ（テコ構造）、Ｓｐｒｉｎｇ（物体のばね特性）のデータ項目を有しており、それぞれいくつかのパラメータを有しており、これらのパラメータによって物体５のモデルが記述される。
つまり、Ｓｈａｐｅは、Ｏｓ：物体５の３次元サーフェス形状、Ｏｖ：物体５の３次元ボリュームデータ、Ｏｇ：物体５の重心座標、のパラメータを有している。
Ｆｕｎｃｔｉｏｎａｌ Ｐｏｓｅは、Ｏｓｐ：物体５の３次元形状の対称面、Ｏｃｒｏｓｓ：物体の対称面における断面輪郭形状、Ｏａｘｉｓ：物体の断面輪郭形状の対称軸、のパラメータを有している。
Ｆｏｒｃｅは、Ｆｃｐ：力点（ロボットが物体に接触した接触点）、Ｆｃｆ：ロボットによる物体への接触力の変化（作用物体無し）、Ｆｃｆ’：ロボットによる物体への接触力の変化（作用物体有り）、Ｆｙ：作用物体が破壊された降伏点でのロボットハンドの作用力、のパラメータを有している。
Ｌｅｖｅｒは、Ｌｐ：テコパターン（図４の（ａ）から（ｅ））、Ｌθｍａｘ：テコの初期状態から回転限界状態までの回転限界角度、Ｌｄ：テコの回転方向、Ｌｆ：テコの支点、Ｌｃｐ：外力が作用されるであろう物体の接触面、Ｌｂｐ：物体を（把持するために）支える平面であろう基底面、Ｌｉｓ：作用対象がおかれるべき空間である作用空間、Ｌｉｐ：物体５と作用対象の接触点である作用点、Ｌｍ：テコの倍率、Ｌｉａ：物体５と作用対象の接触面積である作用面積、のパラメータを有している。
Ｓｐｒｉｎｇは、Ｓｋ:（関節）物体の反力、Ｓｉｆ：（関節）物体の反力の初期値、のパラメータを有している。
つまり、Ｓｈａｐｅは、Ｏｓ：物体５の３次元サーフェス形状、Ｏｖ：物体５の３次元ボリュームデータ、Ｏｇ：物体５の重心座標、のパラメータを有している。
Ｆｕｎｃｔｉｏｎａｌ Ｐｏｓｅは、Ｏｓｐ：物体５の３次元形状の対称面、Ｏｃｒｏｓｓ：物体の対称面における断面輪郭形状、Ｏａｘｉｓ：物体の断面輪郭形状の対称軸、のパラメータを有している。
Ｆｏｒｃｅは、Ｆｃｐ：力点（ロボットが物体に接触した接触点）、Ｆｃｆ：ロボットによる物体への接触力の変化（作用物体無し）、Ｆｃｆ’：ロボットによる物体への接触力の変化（作用物体有り）、Ｆｙ：作用物体が破壊された降伏点でのロボットハンドの作用力、のパラメータを有している。
Ｌｅｖｅｒは、Ｌｐ：テコパターン（図４の（ａ）から（ｅ））、Ｌθｍａｘ：テコの初期状態から回転限界状態までの回転限界角度、Ｌｄ：テコの回転方向、Ｌｆ：テコの支点、Ｌｃｐ：外力が作用されるであろう物体の接触面、Ｌｂｐ：物体を（把持するために）支える平面であろう基底面、Ｌｉｓ：作用対象がおかれるべき空間である作用空間、Ｌｉｐ：物体５と作用対象の接触点である作用点、Ｌｍ：テコの倍率、Ｌｉａ：物体５と作用対象の接触面積である作用面積、のパラメータを有している。
Ｓｐｒｉｎｇは、Ｓｋ:（関節）物体の反力、Ｓｉｆ：（関節）物体の反力の初期値、のパラメータを有している。
我々の目標は人間の手が有する機能や動きをビジョンベースで解析する事であり、この解析自体は仮想空間で行うという方法をとる。これは、実世界でＣｙｂｅｒ ＧｌｏｖｅやＣｙｂｅｒ Ｇｒａｓｐといったデバイスを使用して仮想空間で仮想の手を操り、実世界に忠実な仮想の物体（道具）を扱う事で、その物体（道具）の持っている機能を探索するというアプローチである。
この探索を仮想空間で行う意図としては、仮想空間でならば、物体（道具）が作用対象に何らかの作用を与えた時、作用対象の変化の観測が容易である事と、被験者が男性や女性、子供から老人というような設定、対象となる物体（道具）も様々なものを扱う事のできる任意の機能テストが可能であるからである。関節物体の機能は、物体に接触力を加えた時の物体の動きやパーツの動作といった動的な作用として記述され、物体の動的な特性を観察し、解析する事で推論、認識されるべきである。しかも、図3 に示すように道具のような物体の機能は３つのコンポーネント（ａｃｔｉｎｇ ａｇｅｎｔ、ａｃｔｏｒ、ａｃｔｅｅ）の間のインタラクションによって作動される事を知る事が重要である。多くの場合、人間の手や体がａｃｔｉｎｇ ａｇｅｎｔ（アクティングエージェント） の役目を果たす。Ａｃｔｏｒ（アクター） はａｃｔｉｎｇ ａｇｅｎｔによって使われる道具のような物体である。Ａｃｔｅｅ（アクティー） はａｃｔｏｒによって影響を受ける作用対象である。
この３つのコンポーネントは、ある物体が道具として機能する時、相互に作用し合う。ａｃｔｏｒが異なるａｃｔｅｅに対して異なる接触力を加え、異なる姿勢で使われた時に異なる機能が働く。それ故に、物体の機能を認識するためには、インタラクションの解析とモデリングが必要である。
ここでは、ハプティックビジョンに基づき、（１）物体への主体であるロボットによる「接触」は既知であると仮定し、主体―物体インタラクションの観測から、テコを持つ関節物体の幾何および力学構造、機能的姿勢を抽出する方法と、さらに（２）作用対象の物理特性が既知であると仮定し、主体―物体―作用対象インタラクションの観測から、テコを持つ関節物体の力学的作用特性を抽出する方法、を行う。
そして、抽出された情報に基づいて、仮想環境において実世界に忠実なインタラクションを可能にする３次元インタラクティブモデルを自動構築する。
そして、抽出された情報に基づいて、仮想環境において実世界に忠実なインタラクションを可能にする３次元インタラクティブモデルを自動構築する。
具体的には、まず関節物体の３次元形状と姿勢を抽出するために、アクティブビジョンを用いて観察する。
次に、接触点を推定し、関節物体のテコを最も効率良く安定に回転運動させるためにロボットハンドによるアクティブタッチを行う。次に、物体の動きや接触力の変化、物体（ａｃｔｏｒ）と作用対象（ａｃｔｅｅ）間で起こる接触、つまり、インタラクションの物理現象をＣＣＤカメラ、レンジファインダ、力フィードバックセンサを使用して観測する事によって、物体の３次元力学構造と動的な機能を推定し、モデルとして記述する。対象の関節物体の力学構造や力学的物理特性が定量的にモデル化されれば、仮想空間において、様々な力学的物理特性（形状、サイズ、剛性、表面の滑らかさ）を備えた任意の作用対象に対して、任意の接触力を加えることにより、実世界に忠実な機能テストシミュレーション実験が可能となる。
次に、接触点を推定し、関節物体のテコを最も効率良く安定に回転運動させるためにロボットハンドによるアクティブタッチを行う。次に、物体の動きや接触力の変化、物体（ａｃｔｏｒ）と作用対象（ａｃｔｅｅ）間で起こる接触、つまり、インタラクションの物理現象をＣＣＤカメラ、レンジファインダ、力フィードバックセンサを使用して観測する事によって、物体の３次元力学構造と動的な機能を推定し、モデルとして記述する。対象の関節物体の力学構造や力学的物理特性が定量的にモデル化されれば、仮想空間において、様々な力学的物理特性（形状、サイズ、剛性、表面の滑らかさ）を備えた任意の作用対象に対して、任意の接触力を加えることにより、実世界に忠実な機能テストシミュレーション実験が可能となる。
［２．要素機能としてのテコ］
一般に人工物の３次元形状は何らかの機能を発揮するために設計されており、物体形状から機能を推定し、カテゴリーに分類できるといえる。物体の多くの動的な力学的機能は、かけられた力（作動力）を用途に応じた、ｉ）適切な大きさに変える動的要素：斜面、テコ、輪軸等と、ｉｉ）適切な別の形の動きに変換する要素：カム、クランク等、ｉｉｉ）適切な場所に伝達する要素：歯車、ベルト等、の組み合わせとして実現されている。
一般に人工物の３次元形状は何らかの機能を発揮するために設計されており、物体形状から機能を推定し、カテゴリーに分類できるといえる。物体の多くの動的な力学的機能は、かけられた力（作動力）を用途に応じた、ｉ）適切な大きさに変える動的要素：斜面、テコ、輪軸等と、ｉｉ）適切な別の形の動きに変換する要素：カム、クランク等、ｉｉｉ）適切な場所に伝達する要素：歯車、ベルト等、の組み合わせとして実現されている。
テコは物体の動的な機能を生成するための最も基本的な要素であり、物体の動的な機能に関するほとんどの研究は物体がテコの機能を持っていると考えられている。また、フランスの社会思想家Ｐ．Ｊ．Ｐｒｏｕｄｈｏｎは、『人間が仕事をするために使う最も基本的な、最も一般的な道具、つまりそれらの道具の帰するところはテコである』と述べている。それ故に、我々は”Ｐｉｎｃｈ（掴む）”、”ｃｕｔ（切断）”、”ｃｒａｓｈ（破壊）”といった動的な機能を持つ関節物体は、要素機能としてのテコを持っていると仮定し、対象物体として選択した。
図４が示すように、一般にテコは、剛体上にある支点、力点、作用点のいずれかが中央にくるかによって、Ｔｙｐｅ１ からＴｙｐｅ３のいずれかに分類される。力点に加わる力をＦｐ、 作用点に生成される力をＦａ、力点・支点間の距離をＤｐ、作用点・支点間の距離をＤａと仮定する。図４（ａ）〜（ｃ） は、支点が力点と作用点の間に存在するＴｙｐｅ１ のテコを示しており、このＴｙｐｅ１は更に３つのタイプに分類される事ができる。（ａ）は力を増幅し、距離を減衰するテコ（Ｆｐ＜Ｆａ、Ｄｐ＞Ｄａ）、（ｂ） は力を減衰し、距離を増幅するテコ（Ｆｐ＞Ｆａ、Ｄｐ＜Ｄａ））、そして（ｃ）は力と距離のバランスを保持するテコ（Ｆｐ＝Ｆａ、Ｄｐ＝Ｄａ））である。図４（ｄ） の示すＴｙｐｅ２のテコは、作用点が力点と支点の間に存在しており、力を増幅し、距離を減衰する。図４（ｅ） の示すＴｙｐｅ３のテコは力点が作用点と支点の間に存在しており、力を減衰し、距離を増幅する。
［３．関節物体の機能的姿勢］
［３．１ 安定姿勢］
ここでは、室内に存在する人工物体を対象とし、以下（１）〜（５）を仮定する。
（１）対象物体は均質で穴がない。
（２）対象物体は安定な姿勢で水平面に置かれる。
（３）対象物体は少なくとも１つの対称面を持つ。
（４）対象物体は少なくとも１つ以上の関節を持つ。
（５）対象物体は少なくとも１つ以上のテコにより生成される動的な機能を有する。
［３．１ 安定姿勢］
ここでは、室内に存在する人工物体を対象とし、以下（１）〜（５）を仮定する。
（１）対象物体は均質で穴がない。
（２）対象物体は安定な姿勢で水平面に置かれる。
（３）対象物体は少なくとも１つの対称面を持つ。
（４）対象物体は少なくとも１つ以上の関節を持つ。
（５）対象物体は少なくとも１つ以上のテコにより生成される動的な機能を有する。
上記の仮定から、図５（ａ）が示すように、対称面が水平面に対して垂直であれば、その物体は安定な姿勢であるといえる。
何故ならば、１）物体の重心（ＣＯＧ）が対称面Ｏｓｐ内にあり、２）図５（ｂ）が示すように、重力ｇは水平面に対して垂直にかかるからである。
何故ならば、１）物体の重心（ＣＯＧ）が対称面Ｏｓｐ内にあり、２）図５（ｂ）が示すように、重力ｇは水平面に対して垂直にかかるからである。
［３．２ 接触に対する安定姿勢］
一般的に、人工物体は道具としての機能を持つ。もし物体がその機能を果たすために接触力を必要とするならば、物体の形状は接触力に対して安定な姿勢を持つように設計されなければならない。物体を安定な姿勢に保つための最も簡単な方法は、接触力の作用による変形途中及び変形後の３次元形状が、（接触力を含む）対称面を持つ事である。
一般的に、人工物体は道具としての機能を持つ。もし物体がその機能を果たすために接触力を必要とするならば、物体の形状は接触力に対して安定な姿勢を持つように設計されなければならない。物体を安定な姿勢に保つための最も簡単な方法は、接触力の作用による変形途中及び変形後の３次元形状が、（接触力を含む）対称面を持つ事である。
物体が接触力によって機能するための条件を以下に示す。
（１）物体は、対称面Ｏｓｐが垂直になるような手や机によって作られる面（支持面）に置かれるべきである。
（２）接触力の方向は支持面に対して垂直であるべきである。
（３）接触点（力点）は対称面の断面輪郭形状Ｏｃｒｏｓｓ上になければならない。
（１）物体は、対称面Ｏｓｐが垂直になるような手や机によって作られる面（支持面）に置かれるべきである。
（２）接触力の方向は支持面に対して垂直であるべきである。
（３）接触点（力点）は対称面の断面輪郭形状Ｏｃｒｏｓｓ上になければならない。
［３．３ 機能的運動］
関節物体の典型的な運動は、接触力によって生成される、関節を支点とする回転運動である。テコの回転運動は、１） 回転の中心が断面輪郭形状Ｏｃｒｏｓｓ 上の関節（支点）Ｌｆと一致し、２）Ｌｆを通る回転軸は対称面Ｏｓｐに対して垂直で支持面に対して平行であり、３）テコの回転運動は対称面Ｏｓｐ上で観察される。更に、接触力が重力と同じ方向に加えられれば、テコの回転を最も効果的に作用させる事ができる。
［３．４ 機能的姿勢］
関節物体の安定姿勢としての機能的姿勢は、１）対称面Ｏｓｐは支持面に対して垂直であり、２）物体の対称面Ｏｓｐに垂直な表面上の平面である基底面Ｌｂｐは、支持面に対して平行に接触して置かれているとする。
以上の対称面Ｏｓｐと断面輪郭形状Ｏｃｒｏｓｓの分析により、物体が水平面に置かれている姿勢とその物体が人間の手によって把持され使用される時の機能的姿勢が異なる物体、例えば、ハサミやペンチといったハンドツールのような関節物体の機能的姿勢を推定する事ができる。
関節物体の典型的な運動は、接触力によって生成される、関節を支点とする回転運動である。テコの回転運動は、１） 回転の中心が断面輪郭形状Ｏｃｒｏｓｓ 上の関節（支点）Ｌｆと一致し、２）Ｌｆを通る回転軸は対称面Ｏｓｐに対して垂直で支持面に対して平行であり、３）テコの回転運動は対称面Ｏｓｐ上で観察される。更に、接触力が重力と同じ方向に加えられれば、テコの回転を最も効果的に作用させる事ができる。
［３．４ 機能的姿勢］
関節物体の安定姿勢としての機能的姿勢は、１）対称面Ｏｓｐは支持面に対して垂直であり、２）物体の対称面Ｏｓｐに垂直な表面上の平面である基底面Ｌｂｐは、支持面に対して平行に接触して置かれているとする。
以上の対称面Ｏｓｐと断面輪郭形状Ｏｃｒｏｓｓの分析により、物体が水平面に置かれている姿勢とその物体が人間の手によって把持され使用される時の機能的姿勢が異なる物体、例えば、ハサミやペンチといったハンドツールのような関節物体の機能的姿勢を推定する事ができる。
［４．道具としての関節物体の力学的作用］
一般に、関節物体と作用対象のインタラクション、つまり、接触の様相、を観測から記述することはかなり複雑な問題である。作用対象の応力は、体の形状、特に関節物体と作用対象双方の姿勢や接触面の形状に影響され、また接触時に双方が運動、変形することによって動的に接触の様相が変化する場合もある。これらを画像や力センサによって詳細に観察することは難しい。
しかし、応力と変形に関する物理特性が既知の作用対象に対して実際に関節物体を作用させれば、変形や破壊がおこった作用対象を観察することで、その接触の様相をモデリングできる。
例えば、塑性変形がおこれば作用対象の降伏応力以上の応力が、破壊がおこれば破壊応力がかかったことが推定される。そこで、接触力の大きさを力センサで測定し、テコの増幅率から作用対象にかかった力の大きさを求め、これを降伏／破壊応力で割った値（接触面積）を用いて接触の様相を表すモデルパラメータとする。この値は関節物体と作用対象が実際に接触する面積ではなく、接触の様相をマクロに記述する、面積の次元をもった数値であり、これによって別の作用対象に対する関節物体の力学的作用特性を見積もることが可能となる。
一般に、関節物体と作用対象のインタラクション、つまり、接触の様相、を観測から記述することはかなり複雑な問題である。作用対象の応力は、体の形状、特に関節物体と作用対象双方の姿勢や接触面の形状に影響され、また接触時に双方が運動、変形することによって動的に接触の様相が変化する場合もある。これらを画像や力センサによって詳細に観察することは難しい。
しかし、応力と変形に関する物理特性が既知の作用対象に対して実際に関節物体を作用させれば、変形や破壊がおこった作用対象を観察することで、その接触の様相をモデリングできる。
例えば、塑性変形がおこれば作用対象の降伏応力以上の応力が、破壊がおこれば破壊応力がかかったことが推定される。そこで、接触力の大きさを力センサで測定し、テコの増幅率から作用対象にかかった力の大きさを求め、これを降伏／破壊応力で割った値（接触面積）を用いて接触の様相を表すモデルパラメータとする。この値は関節物体と作用対象が実際に接触する面積ではなく、接触の様相をマクロに記述する、面積の次元をもった数値であり、これによって別の作用対象に対する関節物体の力学的作用特性を見積もることが可能となる。
［５．実施形態 関節物体の力学構造モデリング］
以下、本発明の実施の形態として関節物体の力学構造モデリングを説明する。
図６は、実施形態に係るハプティックビジョンシステム１を示している。ここで、ハプティックビジョンは、アクティブビジョンによる３次元形状と姿勢の解析に基づいて物体の最も効果的で安定な動作をさせるための接触を制御するアクティブタッチと、アクティブビジョンを融合させたものである。
物体の力学的物理特性は、接触力との反応から観測されるため、我々はこの動的なシーンをパイロット事象と呼ぶ。物体の力学的物理特性は既知外力に対しての物体の動作を観測した距離画像やカラー画像解析や、接触力の変化を観測した力フィードバックデータの解析によって推定される。
以下、本発明の実施の形態として関節物体の力学構造モデリングを説明する。
図６は、実施形態に係るハプティックビジョンシステム１を示している。ここで、ハプティックビジョンは、アクティブビジョンによる３次元形状と姿勢の解析に基づいて物体の最も効果的で安定な動作をさせるための接触を制御するアクティブタッチと、アクティブビジョンを融合させたものである。
物体の力学的物理特性は、接触力との反応から観測されるため、我々はこの動的なシーンをパイロット事象と呼ぶ。物体の力学的物理特性は既知外力に対しての物体の動作を観測した距離画像やカラー画像解析や、接触力の変化を観測した力フィードバックデータの解析によって推定される。
図６のハプティックビジョンシステム１は、アクティブビジョンを実現するビジョンロボット２と、アクティブタッチを実現するハプティックロボット３とを備えている。
ビジョンロボット２は、モデリングの対象となる物体（関節物体）５を観測して視覚情報を獲得するためのものであり、多関節ロボットマニュピュレータ２ａの先端に、レンジファインダ２ｂとＣＣＤカメラ２ｃを取り付けて構成されている。ビジョンロボット２によって、対象となる物体５の多視点画像データを取得し、物体５の３次元形状やテクスチャのデータを得ることができる。
ハプティックロボット３は、対象となる物体５に接触するためのものであり、多関節ロボットマニュピュレータ３ａの先端に、力フィードバックセンサ（接触力検出部；ロードセル）３ｂが設けられて構成されている。ハプティックロボット３によって、対象となる物体５に対し、任意の位置に、任意の力で接触することができる。
すなち、ハプティックロボット３（アクティブタッチシステムともいう）は、接触力を力覚センサ３ｂを用いて、物体５に接触し、物体５に外力を作用する過程における応力変化の観測から触覚的情報を獲得することができる。
また、ハプティックビジョンシステム１は、対象物体５が置かれるターンテーブル６を備えており、ターンテーブル６の回転によりロボット２，３の限られた稼動範囲を補い、アクティブビジョンを実現している。
ビジョンロボット２は、モデリングの対象となる物体（関節物体）５を観測して視覚情報を獲得するためのものであり、多関節ロボットマニュピュレータ２ａの先端に、レンジファインダ２ｂとＣＣＤカメラ２ｃを取り付けて構成されている。ビジョンロボット２によって、対象となる物体５の多視点画像データを取得し、物体５の３次元形状やテクスチャのデータを得ることができる。
ハプティックロボット３は、対象となる物体５に接触するためのものであり、多関節ロボットマニュピュレータ３ａの先端に、力フィードバックセンサ（接触力検出部；ロードセル）３ｂが設けられて構成されている。ハプティックロボット３によって、対象となる物体５に対し、任意の位置に、任意の力で接触することができる。
すなち、ハプティックロボット３（アクティブタッチシステムともいう）は、接触力を力覚センサ３ｂを用いて、物体５に接触し、物体５に外力を作用する過程における応力変化の観測から触覚的情報を獲得することができる。
また、ハプティックビジョンシステム１は、対象物体５が置かれるターンテーブル６を備えており、ターンテーブル６の回転によりロボット２，３の限られた稼動範囲を補い、アクティブビジョンを実現している。
前述のロボットマニュピュレータ２ａ，３ａ、レンジファインダ２ｂ、ＣＣＤカメラ２ｃ、力フィードバックセンサ３ａ、ターンテーブル６は、それぞれ、制御装置ないしは処理装置としてのパーソナルコンピュータＰＣ１，ＰＣ２に接続されている。ロボットマニュプレータ２ａ，２ｂ及びターンテーブル６は、パーソナルコンピュータＰＣ１によって動作制御され、レンジファインダ２ｂ，ＣＣＤカメラ２ｃ、力フィードバックセンサ３ａからの入力は、パーソナルコンピュータＰＣ１，ＰＣ２に与えられて処理される。
なお、パーソナルコンピュータＰＣ１，ＰＣ２が行う処理は、パーソナルコンピュータＰＣ１，ＰＣ２の記憶手段に記憶されたコンピュータプログラムが実行されることによって行われる。
ハプティックビジョンシステム１は、上記の構成により、２台のロボット２，３を相互に制御して、対象物体５の視覚情報および触覚情報を自動獲得する。
なお、パーソナルコンピュータＰＣ１，ＰＣ２が行う処理は、パーソナルコンピュータＰＣ１，ＰＣ２の記憶手段に記憶されたコンピュータプログラムが実行されることによって行われる。
ハプティックビジョンシステム１は、上記の構成により、２台のロボット２，３を相互に制御して、対象物体５の視覚情報および触覚情報を自動獲得する。
本実施形態におけるモデリングの処理の流れの概要は、図７に示すとおりである。まず、初期観測ステップ（ステップＳ１）が行われる。初期観測ステップでは、ビジョンロボット２のアクティブビジョンによって静止状態の物体５の多視点距離画像データを獲得する。次に、ボリューム表現を生成するために、得られた距離画像を３次元ボクセル空間に投影させる。
アクティブタッチのための物体５への接触点と接触力を推定するために、パーソナルコンピュータＰＣ１，ＰＣ２により、物体５の形状、安定姿勢、機能的姿勢を解析する。力点、支点、作用点の位置関係から物体５のテコパターンの優先リストを作る。
アクティブタッチのための物体５への接触点と接触力を推定するために、パーソナルコンピュータＰＣ１，ＰＣ２により、物体５の形状、安定姿勢、機能的姿勢を解析する。力点、支点、作用点の位置関係から物体５のテコパターンの優先リストを作る。
続いて、アクティブタッチステップ（ステップＳ２）が行われる。ここでは、推定された力点に推定された接触力を加えるために、ハプティックロボット３によるアクティブタッチ（接触）を実行する。
さらに、対象物体の力学的作用特性を含む対象物体の情報を抽出する処理（力学的作用特性観察ステップ（ステップＳ３）が行われる。ここでは、ＣＣＤカメラ２ｃ、レンジファインダ２ｂ、力フィードバックセンサ３ｂを用いたアクティブビジョンとアクティブタッチを使って、関節物体５のテコの回転動作を観測する事によって関節物体５の３次元構造と力学的作用特性情報を抽出する。
最後に、抽出された情報に基づいて、図２ に示すインタラクティブモデルを自動生成する（モデリングステップ；ステップＳ４）。
さらに、対象物体の力学的作用特性を含む対象物体の情報を抽出する処理（力学的作用特性観察ステップ（ステップＳ３）が行われる。ここでは、ＣＣＤカメラ２ｃ、レンジファインダ２ｂ、力フィードバックセンサ３ｂを用いたアクティブビジョンとアクティブタッチを使って、関節物体５のテコの回転動作を観測する事によって関節物体５の３次元構造と力学的作用特性情報を抽出する。
最後に、抽出された情報に基づいて、図２ に示すインタラクティブモデルを自動生成する（モデリングステップ；ステップＳ４）。
［ステップＳ１ 初期観測：アクティブビジョンによる物体の観測］
図８に示すように”ｓｈａｐｅ ｆｒｏｍ ｆｕｎｃｔｉｏｎ”アプローチ[非特許文献３] に基づいて、制御装置としてのパーソナルコンピュータＰＣ１，ＰＣ２は、ビジョンロボット２に搭載されたレンジファインダ２ｂを制御して、対象物体５の多視点距離画像を能動的に獲得し、物体５の３次元形状、サーフェステクスチャや姿勢を演算により求める。
物体観測の、パーソナルコンピュータＰＣ１，ＰＣ２による、具体的な処理・制御手順は、次のとおりである。
図８に示すように”ｓｈａｐｅ ｆｒｏｍ ｆｕｎｃｔｉｏｎ”アプローチ[非特許文献３] に基づいて、制御装置としてのパーソナルコンピュータＰＣ１，ＰＣ２は、ビジョンロボット２に搭載されたレンジファインダ２ｂを制御して、対象物体５の多視点距離画像を能動的に獲得し、物体５の３次元形状、サーフェステクスチャや姿勢を演算により求める。
物体観測の、パーソナルコンピュータＰＣ１，ＰＣ２による、具体的な処理・制御手順は、次のとおりである。
（ ステップＳ１−１ ） 重力に対する安定度を評価するため、ビジョンロボット２によって真上から静止した物体５を観察し、真上から撮影した距離画像（ＴＯＰ距離画像）データを獲得する。
（ ステップＳ１−２ ） ＴＯＰ距離画像データの最大輝度値から物体の高さを算出する。
（ ステップＳ１−３ ） 物体の高さが、人間が物体（道具）を把持して使用する最小の長さ（４０ｍｍ）よりも長い場合、ＴＯＰ距離画像の対称軸ｌ抽出し、重力方向ｇを用いて対称面Ｏｓｐの推定処理を行う。
（ ステップＳ１−４ ） 対称面Ｏｓｐに基づき物体の３次元形状Ｏｖを推定するための画像を獲得する前後左右の直交４視点を推定し、ビジョンロボット２によって、それぞれの視点からの距離画像（ＦＲＯＮＴ距離画像、ＢＡＣＫ距離画像、ＳＩＤＥ距離画像）データを獲得する。
（ ステップＳ１−５） 合計５視点から得られた距離画像データを３次元ボクセル空間に投影し、３次元形状Ｏｖを示すデータを生成し、物体の重心Ｏｇを求める（図５参照）。３次元サーフェスモデルＯｓのデータを３次元形状Ｏｖのデータから復元する処理を行う（以上Ｓ１―１〜Ｓ１−５が、３次元形状復元処理）。
（ ステップＳ１−２ ） ＴＯＰ距離画像データの最大輝度値から物体の高さを算出する。
（ ステップＳ１−３ ） 物体の高さが、人間が物体（道具）を把持して使用する最小の長さ（４０ｍｍ）よりも長い場合、ＴＯＰ距離画像の対称軸ｌ抽出し、重力方向ｇを用いて対称面Ｏｓｐの推定処理を行う。
（ ステップＳ１−４ ） 対称面Ｏｓｐに基づき物体の３次元形状Ｏｖを推定するための画像を獲得する前後左右の直交４視点を推定し、ビジョンロボット２によって、それぞれの視点からの距離画像（ＦＲＯＮＴ距離画像、ＢＡＣＫ距離画像、ＳＩＤＥ距離画像）データを獲得する。
（ ステップＳ１−５） 合計５視点から得られた距離画像データを３次元ボクセル空間に投影し、３次元形状Ｏｖを示すデータを生成し、物体の重心Ｏｇを求める（図５参照）。３次元サーフェスモデルＯｓのデータを３次元形状Ｏｖのデータから復元する処理を行う（以上Ｓ１―１〜Ｓ１−５が、３次元形状復元処理）。
（ ステップＳ１−６ ） 対称面Ｏｓｐと３次元形状Ｏｖから断面輪郭形状Ｏｃｒｏｓｓを抽出し、断面輪郭形状Ｏｃｒｏｓｓの対称軸（物体の慣性主軸）Ｏａｘｉｓを抽出する処理を行う（図９参照）。
（ ステップＳ１−７ ） 対称面Ｏｓｐ上における断面輪郭形状Ｏｃｒｏｓｓの芯線を抽出し、その分岐点を支点Ｌｆの候補点とする処理を行う。
（ ステップＳ１−８ ） 支点Ｌｆの候補点がなく、ステップＳ１−２で算出した物体の高さが４０ｍｍよりも低い場合、物体の現在置かれた姿勢が機能的姿勢でないと分かるため、ステップＳ１−４で得たＳＩＤＥ距離画像の対称軸ｌを抽出し、対称面Ｏｓｐを再生成し、ステップＳ１−６の処理へ戻る。もしＳＩＤＥ距離画像でも支点Ｌｆの候補点がない場合は、その物体が機能を持っていないと判断し、処理を終了する。
（ ステップＳ１−９ ） 断面輪郭形状Ｏｃｒｏｓｓより接触力を加えうる面、つまり接触面Ｌｃｐを推定し、接触面Ｌｃｐの法線ベクトルの逆ベクトルをテコの回転方向Ｌｄとして推定する処理を行う（以上Ｓ１−６〜Ｓ１−９が、機能的姿勢推定処理）。
（ ステップＳ１−１０） 接触面Ｌｃｐより最も遠い面を基底面Ｌｂｐとする。
（ ステップＳ１−１１） 接触面Ｌｃｐ上にある力点Ｆｃｐを推定する処理を行う。力点Ｆｃｐにかけられる接触力Ｆｃｆは、接触面Ｌｃｐに対し垂直なテコの回転方向Ｌｄの方向にかけられることとなる（以上、Ｓ１−１０及びＳ１−１１が接触点・接触力の推定処理）。
（ ステップＳ１−１２） 物体５が作用する作用物体が位置する作用空間Ｌｉｓを、３次元形状Ｏｖと断面輪郭形状Ｏｃｒｏｓｓを元にして抽出する処理を行う。
（ステップＳ１−１３） 作用空間Ｌｉｓが複数存在する場合、作用点Ｌｉｐも複数存在する可能性があるが、その場合は力点Ｆｃｐから最も遠い作用空間Ｌｉｓに作用点Ｌｉｐがあるとみなして、作用点Ｌｉｐの候補を決定する（以上、Ｓ１−１２及びＳ１−１３が作用空間推定処理）。
（ ステップＳ１−７ ） 対称面Ｏｓｐ上における断面輪郭形状Ｏｃｒｏｓｓの芯線を抽出し、その分岐点を支点Ｌｆの候補点とする処理を行う。
（ ステップＳ１−８ ） 支点Ｌｆの候補点がなく、ステップＳ１−２で算出した物体の高さが４０ｍｍよりも低い場合、物体の現在置かれた姿勢が機能的姿勢でないと分かるため、ステップＳ１−４で得たＳＩＤＥ距離画像の対称軸ｌを抽出し、対称面Ｏｓｐを再生成し、ステップＳ１−６の処理へ戻る。もしＳＩＤＥ距離画像でも支点Ｌｆの候補点がない場合は、その物体が機能を持っていないと判断し、処理を終了する。
（ ステップＳ１−９ ） 断面輪郭形状Ｏｃｒｏｓｓより接触力を加えうる面、つまり接触面Ｌｃｐを推定し、接触面Ｌｃｐの法線ベクトルの逆ベクトルをテコの回転方向Ｌｄとして推定する処理を行う（以上Ｓ１−６〜Ｓ１−９が、機能的姿勢推定処理）。
（ ステップＳ１−１０） 接触面Ｌｃｐより最も遠い面を基底面Ｌｂｐとする。
（ ステップＳ１−１１） 接触面Ｌｃｐ上にある力点Ｆｃｐを推定する処理を行う。力点Ｆｃｐにかけられる接触力Ｆｃｆは、接触面Ｌｃｐに対し垂直なテコの回転方向Ｌｄの方向にかけられることとなる（以上、Ｓ１−１０及びＳ１−１１が接触点・接触力の推定処理）。
（ ステップＳ１−１２） 物体５が作用する作用物体が位置する作用空間Ｌｉｓを、３次元形状Ｏｖと断面輪郭形状Ｏｃｒｏｓｓを元にして抽出する処理を行う。
（ステップＳ１−１３） 作用空間Ｌｉｓが複数存在する場合、作用点Ｌｉｐも複数存在する可能性があるが、その場合は力点Ｆｃｐから最も遠い作用空間Ｌｉｓに作用点Ｌｉｐがあるとみなして、作用点Ｌｉｐの候補を決定する（以上、Ｓ１−１２及びＳ１−１３が作用空間推定処理）。
以上のステップ１の処理により、対象物体５の、図２のモデルにおけるｓｈａｐｅ（３次元形状）、Ｆｕｎｃｔｉｏｎａｌ Ｐｏｓｅ（機能的姿勢）に関するデータが得られる。これらのデータは、後述のようにステップＳ４におけるモデリング処理において、モデルを構成するデータの一部として用いられる。
［ステップＳ２ アクティブタッチによる回転運動の生起］
我々は関節物体の力学構造を明示する典型的動作は、関節を中心とするテコの回転運動であると考える。したがって、パイロット事象として以下のステップを通して、アクティブタッチにより物体５に接触し、回転運動を生起させる。
具体的に、ステップＳ１での処理結果に基づき、パーソナルコンピュータＰＣ１，ＰＣ２がビジョンロボット２及びハプティックロボット３を制御する手順は次の通りである。
我々は関節物体の力学構造を明示する典型的動作は、関節を中心とするテコの回転運動であると考える。したがって、パイロット事象として以下のステップを通して、アクティブタッチにより物体５に接触し、回転運動を生起させる。
具体的に、ステップＳ１での処理結果に基づき、パーソナルコンピュータＰＣ１，ＰＣ２がビジョンロボット２及びハプティックロボット３を制御する手順は次の通りである。
（ステップＳ２−１ ） ハプティックロボット３による物体５への「押し」操作により物体５への接触を行う。具体的には、パーソナルコンピュータＰＣ１が、演算により推定した接触力Ｆｃｆによって、ハプティックロボット３がステップＳ１−１１で推定された力点Ｆｃｐを押し、 接触面Ｌｃｐにテコの回転方向Ｌｄの方向に前記接触力Ｆｃｆを加えることで接触が行われる。これにより、支点Ｌｆの候補が回転の中心になるように、テコは、テコの回転方向Ｌｄの方向に回転する。この接触は、後述のように作用対象が有る（第１接触）場合と、無い場合（第２接触）の２回行われる。
（ステップＳ２−２） ロボットが安定に回転を観測できるように、ビジョンロボット２のカメラ２ｃの視点が対称面Ｏｓｐに対して垂直な位置にセットされるよう制御する。
（ステップＳ２−２） ロボットが安定に回転を観測できるように、ビジョンロボット２のカメラ２ｃの視点が対称面Ｏｓｐに対して垂直な位置にセットされるよう制御する。
［ステップＳ３ アクティブビジョンによるテコの回転の観測］
ステップＳ３では、ステップＳ２のアクティブタッチによって生起された物体５のテコの回転運動を観測し、物体５の力学的作用特性に関するデータ及びその他のデータを取得する。具体的に、パーソナルコンピュータＰＣ１，ＰＣ２がビジョンロボット２及びハプティックロボット３を制御する手順は次の通りである。
ステップＳ３では、ステップＳ２のアクティブタッチによって生起された物体５のテコの回転運動を観測し、物体５の力学的作用特性に関するデータ及びその他のデータを取得する。具体的に、パーソナルコンピュータＰＣ１，ＰＣ２がビジョンロボット２及びハプティックロボット３を制御する手順は次の通りである。
［１回目のアクティブタッチの観測：作用対象無し（第２接触）］
１回目のアクティブタッチでは、物体５に作用対象が存在しない状態で行われる第２接触が実行される。
（ステップＳ３−1） アクティブタッチによりハプティックロボット３が物体５に接触している間、物体５のテコの回転運動及び力点Ｆｃｐの動作を、ＣＣＤカメラ２ｃ、力フィードバックセンサ３ｂを用いて観測する。
（ステップＳ３−２）ステップＳ３−１での観測データに基づき、物体５のテコの回転が停止した時の角度（限界角度）Ｌθｍａｘを推定する処理を行う。
（ステップＳ３−３） 力点Ｆｃｐの描く円弧状の軌跡と円を最小二乗法でフィッティングする処理を行う。その円の中心を支点Ｌｆとして決定する処理を行う。
（ステップＳ３−４） 支点Ｌｆ 、力点Ｆｃｐ、作用点Ｌｉｐの相対位置関係から、物体５が図４のテコパターンのうちいずれのテコパターンＬｐを持つかを推定する処理を行うとともに、そのテコの倍率Ｌｍを推定する処理を行う。
（ステップＳ３−５） ハプティックロボット３に搭載された力フィードバックセンサ３ｂの出力に基づき、接触力Ｆｃｆの変化を計測する。その際、力フィードバックセンサ３ｂの出力に基づいて、テコのバネ係数Ｓｋとテコの初期応力Ｓｉｆを推定する処理も行う。
（ステップＳ３−６） 作用空間Ｌｉｓのサイズに応じた作用対象を選択する。作用対象の候補は、形状・硬さ（降伏応力等）などの力学的物理特性を作用対象データとして具備した作用対象データベースに基づいて選択される。
１回目のアクティブタッチでは、物体５に作用対象が存在しない状態で行われる第２接触が実行される。
（ステップＳ３−1） アクティブタッチによりハプティックロボット３が物体５に接触している間、物体５のテコの回転運動及び力点Ｆｃｐの動作を、ＣＣＤカメラ２ｃ、力フィードバックセンサ３ｂを用いて観測する。
（ステップＳ３−２）ステップＳ３−１での観測データに基づき、物体５のテコの回転が停止した時の角度（限界角度）Ｌθｍａｘを推定する処理を行う。
（ステップＳ３−３） 力点Ｆｃｐの描く円弧状の軌跡と円を最小二乗法でフィッティングする処理を行う。その円の中心を支点Ｌｆとして決定する処理を行う。
（ステップＳ３−４） 支点Ｌｆ 、力点Ｆｃｐ、作用点Ｌｉｐの相対位置関係から、物体５が図４のテコパターンのうちいずれのテコパターンＬｐを持つかを推定する処理を行うとともに、そのテコの倍率Ｌｍを推定する処理を行う。
（ステップＳ３−５） ハプティックロボット３に搭載された力フィードバックセンサ３ｂの出力に基づき、接触力Ｆｃｆの変化を計測する。その際、力フィードバックセンサ３ｂの出力に基づいて、テコのバネ係数Ｓｋとテコの初期応力Ｓｉｆを推定する処理も行う。
（ステップＳ３−６） 作用空間Ｌｉｓのサイズに応じた作用対象を選択する。作用対象の候補は、形状・硬さ（降伏応力等）などの力学的物理特性を作用対象データとして具備した作用対象データベースに基づいて選択される。
[２回目のアクティブタッチの観測：作用対象有り（第１接触）]
２回目のアクティブタッチでは、物体５に作用対象がある状態で行われる第１接触が実行される。
（ステップＳ３−７） ハプティックロボット３によって、物体５への２回目のアクティブタッチを行い、力フィードバックセンサ３ｂの出力に基づいて、作用対象がある時の接触力Ｆｃｆ’の変化を計測する。
（ステップＳ３−８） 作用対象がない時の接触力Ｆｃｆと作用対象がある時のＦｃｆ ’の差異から、実際に関節物体５が作用対象に加えた力（Ｒｅａｌ Ｃｏｎｔａｃｔ Ｆｏｒｃｅ）が算出される。そして、当該力の最大値は、作用対象を破壊しうる降伏点Ｆｙ として推定される。
（ステップＳ３−９） 降伏点Ｆｙ、接触力ＦｃｆとＦｃｆ ’、テコの倍率Ｌｍから物体５と作用対象との間の作用面積Ｌｉａを算出する。
作用面積Ｌｉａを物体５のモデルが有することで、仮想空間内で、異なる力学的物理特性を持つ任意の作用対象に対して作用する応力を演算することが可能であり、仮想空間内で物体５の機能テストを行うことが可能となる。
２回目のアクティブタッチでは、物体５に作用対象がある状態で行われる第１接触が実行される。
（ステップＳ３−７） ハプティックロボット３によって、物体５への２回目のアクティブタッチを行い、力フィードバックセンサ３ｂの出力に基づいて、作用対象がある時の接触力Ｆｃｆ’の変化を計測する。
（ステップＳ３−８） 作用対象がない時の接触力Ｆｃｆと作用対象がある時のＦｃｆ ’の差異から、実際に関節物体５が作用対象に加えた力（Ｒｅａｌ Ｃｏｎｔａｃｔ Ｆｏｒｃｅ）が算出される。そして、当該力の最大値は、作用対象を破壊しうる降伏点Ｆｙ として推定される。
（ステップＳ３−９） 降伏点Ｆｙ、接触力ＦｃｆとＦｃｆ ’、テコの倍率Ｌｍから物体５と作用対象との間の作用面積Ｌｉａを算出する。
作用面積Ｌｉａを物体５のモデルが有することで、仮想空間内で、異なる力学的物理特性を持つ任意の作用対象に対して作用する応力を演算することが可能であり、仮想空間内で物体５の機能テストを行うことが可能となる。
［ステップＳ４ 力学構造モデルの生成］
以上の処理により抽出された関節物体５の力学構造、幾何学的及び力学的物理特性に基づき、処理装置としてのパーソナルコンピュータＰＣ１，ＰＣ２は、図２に示す力学構造モデルを生成する。具体的な処理手順は、下記のとおりである。
（ステップＳ４−１） ステップＳ１で得られた物体の３次元ボリュームデータ（３次元形状）Ｏｖ、３次元サーフェス形状データＯｓ、物体の重心Ｏｇを、図２のモデルのｓｈａｐｅの各パラメータのデータとする。
（ステップＳ４−２） ステップＳ１で得られた、基底面Ｌｂｐが支持面と平行になり、対称面Ｏｓｐが支持面と垂直になるような機能的姿勢における、物体５の対称面Ｏｓｐ、物体の断面輪郭形状Ｏｃｒｏｓｓ、対称軸Ｏａｘｉｓを、図２のモデルのＦｕｎｃｔｉｏｎａｌ Ｐｏｓｅの各パラメータのデータとする。
（ステップＳ４−３） ステップＳ３におけるアクティブタッチによる物体５と作用対象とのインタラクションの観測から獲得された、作用対象なしの接触力Ｆｃｆの変化データ、作用対象ありの接触力Ｆｃｆ’の変化、降伏点Ｆｙ、テコ、バネ係数、応力の情報を、図２のモデルのＦｏｒｃｅ、Ｌｅｖｅｒ、Ｓｐｒｉｎｇの各パラメータのデータとする。
以上の処理により抽出された関節物体５の力学構造、幾何学的及び力学的物理特性に基づき、処理装置としてのパーソナルコンピュータＰＣ１，ＰＣ２は、図２に示す力学構造モデルを生成する。具体的な処理手順は、下記のとおりである。
（ステップＳ４−１） ステップＳ１で得られた物体の３次元ボリュームデータ（３次元形状）Ｏｖ、３次元サーフェス形状データＯｓ、物体の重心Ｏｇを、図２のモデルのｓｈａｐｅの各パラメータのデータとする。
（ステップＳ４−２） ステップＳ１で得られた、基底面Ｌｂｐが支持面と平行になり、対称面Ｏｓｐが支持面と垂直になるような機能的姿勢における、物体５の対称面Ｏｓｐ、物体の断面輪郭形状Ｏｃｒｏｓｓ、対称軸Ｏａｘｉｓを、図２のモデルのＦｕｎｃｔｉｏｎａｌ Ｐｏｓｅの各パラメータのデータとする。
（ステップＳ４−３） ステップＳ３におけるアクティブタッチによる物体５と作用対象とのインタラクションの観測から獲得された、作用対象なしの接触力Ｆｃｆの変化データ、作用対象ありの接触力Ｆｃｆ’の変化、降伏点Ｆｙ、テコ、バネ係数、応力の情報を、図２のモデルのＦｏｒｃｅ、Ｌｅｖｅｒ、Ｓｐｒｉｎｇの各パラメータのデータとする。
［実施例］
前述のビジョンロボット２とハプティックロボット３からなるハプティックビジョンシステム１を使用して、関節物体５の力学構造モデリングを実行した。
ビジョンロボット２は三菱電機製のロボットＲＶ−Ｅ４Ｎであり、Ｃｕｂｉｘ社製レンジファインダと東芝製ＣＣＤカメラＩＫ−Ｃ４０を搭載している。ハプティックロボット３は三菱電機製のロボットＲＶ−Ｅ２であり、力フィードバックセンサ３ｂとしてＡ＆Ｄ 製ロードセルユニットＬＣ−４１０２を搭載している。このロードセルユニット３ｂは、時間が１００ｍｓ刻み、力の大きさが０．２ｇ刻みで反力データを計測できる。これら２台のロボットは、ＤＥＬＬ製ＰＣによってＲＳ−２３２Ｃを通して制御されている。ビジョンロボット２を動かしてレンジファインダ２ｂで物体を撮影する事でアクティブに距離画像を取得し、物体形状を復元する。
前述のビジョンロボット２とハプティックロボット３からなるハプティックビジョンシステム１を使用して、関節物体５の力学構造モデリングを実行した。
ビジョンロボット２は三菱電機製のロボットＲＶ−Ｅ４Ｎであり、Ｃｕｂｉｘ社製レンジファインダと東芝製ＣＣＤカメラＩＫ−Ｃ４０を搭載している。ハプティックロボット３は三菱電機製のロボットＲＶ−Ｅ２であり、力フィードバックセンサ３ｂとしてＡ＆Ｄ 製ロードセルユニットＬＣ−４１０２を搭載している。このロードセルユニット３ｂは、時間が１００ｍｓ刻み、力の大きさが０．２ｇ刻みで反力データを計測できる。これら２台のロボットは、ＤＥＬＬ製ＰＣによってＲＳ−２３２Ｃを通して制御されている。ビジョンロボット２を動かしてレンジファインダ２ｂで物体を撮影する事でアクティブに距離画像を取得し、物体形状を復元する。
図１０は関節物体５としてペンチの機能的姿勢の抽出を行った実験結果を示している。図１０（ａ） と図１０（ｃ） はＴＯＰ距離画像とＳＩＤＥ距離画像から観察された対称軸を示している。図１０（ｂ）と図１０（ｄ） はそれぞれ図１０（ａ） と図１０（ｃ） の対称軸を基に生成される対称面Ｏｓｐから抽出された断面輪郭形状Ｏｃｒｏｓｓを示している。
図１０（ｂ）に示す断面輪郭形状Ｏｃｒｏｓｓの解析が終わり、支点Ｌｆ候補が見つからず、ＴＯＰ距離画像で測定した物体の高さが４０ｍｍよりも低かった場合、真上から観測された対称面Ｏｓｐはその道具の機能を効率良く使うためには適切でない事が分かる。
それ故に、ペンチが人間の手に把持されて使われている時、基底面Ｌｂｐが支持面（この場合は、親指を除く４本の指が作る平面（バーチャルフィンガーと呼ばれる））に平行で対称面Ｏｓｐが支持面に対して垂直である、機能的姿勢となっていると推定する（図１０（ｅ））。
図１０（ｂ）に示す断面輪郭形状Ｏｃｒｏｓｓの解析が終わり、支点Ｌｆ候補が見つからず、ＴＯＰ距離画像で測定した物体の高さが４０ｍｍよりも低かった場合、真上から観測された対称面Ｏｓｐはその道具の機能を効率良く使うためには適切でない事が分かる。
それ故に、ペンチが人間の手に把持されて使われている時、基底面Ｌｂｐが支持面（この場合は、親指を除く４本の指が作る平面（バーチャルフィンガーと呼ばれる））に平行で対称面Ｏｓｐが支持面に対して垂直である、機能的姿勢となっていると推定する（図１０（ｅ））。
次に、穴あけパンチ、ペンチを対象とした実験結果を示す。まず、図１１、図１７ に示す断面輪郭形状Ｏｃｒｏｓｓの解析によって、接触面Ｌｃｐ、基底面Ｌｂｐ、接触点Ｆｃｐ、支点Ｌｆの候補点（図中の小さな黒丸）、ａｃｔｏｒ（穴あけパンチ、ペンチ）とａｃｔｅｅの間の作用空間Ｌｉｓ（図中の網掛け範囲）が最初のアクティブビジョンによる観測から推定される。
次に、推定を確かめるために最初のアクティブタッチを行う。つまりハプティックロボット３が力点Ｆｃｐを押し、物体の動作を生起させる。アクティブタッチを行っている間、２回目のアクティブビジョンにより、生起された回転事象を観測する。接触力Ｆｃｆの変化は力フィードバックセンサ３ｂで測定する。ＣＣＤカメラ２ｃで記録した動画像から、回転運動の軌跡が獲得され、図１３、図１９ に示すように力点の軌跡を最小二乗法を用いて円にフィッティングし、その円の中心である支点Ｌｆ位置が正確に決定される。作用点Ｌｉｐは作用空間Ｌｉｓの中で最も支点Ｌｆに近い点として決定される。支点Ｌｆ 、力点Ｆｃｐ、作用点Ｌｉｐの位置を分類する事により、穴あけパンチのテコパターンＬｐは図４（ｄ）のパターン に、ペンチの場合は図４ （ａ）のパターン に決定される。力点、支点、作用点の位置関係からは、テコの倍率Ｌｍも推定される。
力フィードバックセンサ３ｂから、アクティブタッチを行っている時の力点の変化が観測される（図１４、図２０） のドットの細かい破線：Ｃｏｎｔａｃｔ Ｆｏｒｃｅ ｗｉｔｈｏｕｔ Ａｃｔｅｅ）。図１５、図２１が示すように、接触力の変化Ｆｃｆと力点Ｆｃｐの軌跡から、回転角度の可能な範囲Ｌθｍａｘとバネ係数Ｓｋ[Ｎ/ｒａｄ]、初期応力Ｓｉｆ [Ｎ]）をも推定する事ができる。
次に、ａｃｔｏｒ（穴あけパンチ、ペンチ）と力学的物理特性が既知のａｃｔｅｅ 間のインタラクションを観測する。この実験では、２回目のアクティブビジョンで獲得した作用点Ｌｉｐの近くの作用空間Ｌｉｓに、穴あけパンチには紙を、ペンチには針金を入れた。ロボットが再び力点Ｆｃｐを押している間（２回目のアクティブタッチ）、作用対象の影響による接触力Ｆｃｆ’の特性の変化を観測した。
図１４、図２０ の実線（細線：ＣｏｎｔａｃｔＦｏｒｃ ｗｉｔｈ Ａｃｔｅｅ）はａｃｔｏｒとａｃｔｅｅのインタラクションによる力の変化を示している。図１４、図２０ の一番下の太線（Ｒｅａｌ Ｃｏｎｔａｃｔ Ｆｒｏｃｅ）はａｃｔｅｅがある時とない時の接触力の差異を示している。テコによって増幅される力、つまりａｃｔｅｅに加えられる力はａｃｔｅｅがある時とない時の力の差異と、テコの倍率Ｌｍから推定する事ができる。
図１４、図２０ の実線（細線：ＣｏｎｔａｃｔＦｏｒｃ ｗｉｔｈ Ａｃｔｅｅ）はａｃｔｏｒとａｃｔｅｅのインタラクションによる力の変化を示している。図１４、図２０ の一番下の太線（Ｒｅａｌ Ｃｏｎｔａｃｔ Ｆｒｏｃｅ）はａｃｔｅｅがある時とない時の接触力の差異を示している。テコによって増幅される力、つまりａｃｔｅｅに加えられる力はａｃｔｅｅがある時とない時の力の差異と、テコの倍率Ｌｍから推定する事ができる。
この実験では、穴あけパンチの場合は紙に穴があけられるような、ペンチの場合は針金を切断するようなａｃｔｅｅの破断が、ａｃｔｅｅを作用点Ｌｉｐ付近に置いた時の接触力Ｆｃｆ’の変化グラフから観測されたので、ａｃｔｔｅ が破壊された降伏点Ｆｙであると推定する事ができた。ａｃｔｅｅ の降伏応力[Ｐａ＝Ｎ／ｍ２] は既知（紙：約６ＭＰａ、針金：約４００ＭＰａ）であるので、ａｃｔｅｅ との作用面積Ｌｉａも計算する事ができ、異なる力学的物理特性を持つ任意のａｃｔｅｅ を使用する事で仮想空間内で実世界に基づいた機能テストが可能である事を確認した。
最後に、“ａｃｔｏｒ-ａｃｔｅｅ”のインタラクションを観測するハプティックビジョンを通して、穴あけパンチのテコのモデルの記述（図１６）、ペンチのテコのモデルの記述（図２２）を獲得した。
我々はハプティックビジョンに基づいて“ａｃｔｏｒ-ａｃｔｅｅ”間のインタラクションを観察する事で穴あけパンチ、ペンチのテコのモデルの記述を獲得し、図２３及び図２４が示す実世界に忠実な仮想空間シミュレータにおいて使用することを確認した。図２３及び図２４は、自動生成された穴あけパンチのインタラクティブモデルを用いて、仮想空間において穴あけパンチの機能テストを行った結果を示しており、図２３では、作用対象として紙Ｐ（の物理特性を有する）モデルを穴あけパンチの作用対象としたときの機能シミュレーション結果を示しており、図２３（ｄ）に示すように紙に穴が形成された。
一方、図２４では、作用対象として鉄板Ｉ（の物理特性を有する）モデルを穴あけパンチの作用対象としたときのシミュレーション結果を示しており、図２４（ｄ）に示すように、穴あけパンチを操作しても鉄板Ｉには穴が形成されなかった。このように、生成されたインタラクティブモデルは、穴あけパンチの動的機能を適切に表現しているといえる。
一方、図２４では、作用対象として鉄板Ｉ（の物理特性を有する）モデルを穴あけパンチの作用対象としたときのシミュレーション結果を示しており、図２４（ｄ）に示すように、穴あけパンチを操作しても鉄板Ｉには穴が形成されなかった。このように、生成されたインタラクティブモデルは、穴あけパンチの動的機能を適切に表現しているといえる。
以上のような穴開けパンチとペンチを用いた実験結果から本発明の有効性が確認された。さらに、得られたインタラクティブモデルを用いる事により、仮想空間において、実世界に忠実な機能テスト及びパーツ動作テストが実現される事を実証した。
１ ハプティックビジョンシステム
２ ビジョンロボット
２ｂ レンジファインダ
２ｃ ＣＣＤカメラ
３ ハプティックロボット
３ｂ 力フィードバックセンサ
５ 対象物体
２ ビジョンロボット
２ｂ レンジファインダ
２ｃ ＣＣＤカメラ
３ ハプティックロボット
３ｂ 力フィードバックセンサ
５ 対象物体
Claims (8)
- 作用物体への作用が可能な対象物体をコンピュータによる仮想環境で再現するための物体モデルを、ビジョンロボット及びハプティックロボットを有するハプティックビジョンシステムを用いて生成する方法であって、
前記ビジョンロボットによって、対象物体を観測して当該対象物体に関するデータを取得する初期観測ステップ、
初期観測ステップで取得された対象物体に関するデータに基づき、ハプティックロボットを対象物体に接触させ、当該対象物体を作用物体に作用させるアクティブタッチステップ、
前記ビジョンロボット及びハプティックロボットによって、前記アクティブタッチによる対象物体の力学的作用特性に関するデータを取得する力学的作用特性観測ステップ、
初期観測ステップ及び力学的作用特性観測ステップによって取得されたデータに基づいて、対象物体の物体モデルを生成するモデリングステップ、
を含むことを特徴とする物体モデル生成方法。 - 前記初期観測ステップは、対象物体が安定して使用される姿勢である機能的姿勢における対象物体のデータを取得するステップを含むことを特徴とする請求項１記載の物体モデル生成方法。
- 前記アクティブタッチステップでは、対象物体が作用物体に作用する状態でハプティックロボットを対象物体に接触させる第１接触と、対象物体が作用する作用物体がない状態でハプティックロボットを対象物体に接触させる第２接触とが行われることを特徴とする請求項１又は２記載の物体モデル生成方法。
- 前記力学的作用特性観測ステップでは、前記第１接触と前記第２接触とにおける接触の差異を抽出することによって対象物体の力学的作用特性に関するデータを取得することを特徴とする請求項３記載の物体モデル生成方法。
- 作用物体への作用が可能な対象物体をコンピュータによる仮想環境で再現するための物体モデルを生成するためのハプティックビジョンシステムであって、
対象物体を観測するためのビジョンロボットと、
対象物体に接触するためのハプティックロボットと、
前記ビジョンロボットによる対象物体の観測に基づいて、当該対象物体に関するデータを取得する初期観測手段と、
初期観測手段で取得された対象物体に関するデータに基づき、ハプティックロボットを対象物体に接触させ、当該対象物体を作用物体に作用させるアクティブタッチ手段と、
前記ビジョンロボット及びハプティックロボットによって、前記アクティブタッチによる対象物体の力学的作用特性に関するデータを取得する力学的作用特性観測手段と、
初期観測ステップ及び力学的作用特性観測ステップによって取得されたデータに基づいて、対象物体の物体モデルを生成するモデリング手段と、
を備えていることを特徴とするハプティックビジョンシステム。 - 前記初期観測手段は、対象物体が安定して使用される姿勢である機能的姿勢における対象物体のデータを取得可能であることを特徴とする請求項５記載のハプティックビジョンシステム。
- 前記アクティブタッチ手段は、対象物体が作用物体に作用する状態でハプティックロボットを対象物体に接触させる第１接触と、対象物体が作用する作用物体がない状態でハプティックロボットを対象物体に接触させる第２接触とを行うことを特徴とする請求項５又は６記載のハプティックビジョンシステム。
- 前記力学的作用特性観測手段は、前記第１接触と前記第２接触とにおける接触の差異を抽出することによって対象物体の力学的作用特性に関するデータを取得可能であることを特徴とする請求項７記載のハプティックビジョンシステム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005206985A JP2007026061A (ja) | 2005-07-15 | 2005-07-15 | ハプティックビジョンに基づく３次元物体モデル生成方法及びハプティックビジョンシステム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005206985A JP2007026061A (ja) | 2005-07-15 | 2005-07-15 | ハプティックビジョンに基づく３次元物体モデル生成方法及びハプティックビジョンシステム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2007026061A true JP2007026061A (ja) | 2007-02-01 |
Family
ID=37786731
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005206985A Pending JP2007026061A (ja) | 2005-07-15 | 2005-07-15 | ハプティックビジョンに基づく３次元物体モデル生成方法及びハプティックビジョンシステム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2007026061A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011251395A (ja) * | 2010-06-04 | 2011-12-15 | Takamaru Kogyo Kk | ロボット教示システム |
| CN113012291A (zh) * | 2021-04-01 | 2021-06-22 | 清华大学 | 基于机械手参数重建对象三维模型的方法和装置 |
| WO2023032226A1 (ja) * | 2021-09-06 | 2023-03-09 | 日本電信電話株式会社 | 機能付与装置、機能付与方法及び機能付与プログラム |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003150220A (ja) * | 2001-11-12 | 2003-05-23 | Fanuc Ltd | シミュレーション装置 |
-
2005
- 2005-07-15 JP JP2005206985A patent/JP2007026061A/ja active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003150220A (ja) * | 2001-11-12 | 2003-05-23 | Fanuc Ltd | シミュレーション装置 |
Non-Patent Citations (2)
| Title |
|---|
| CSNG199901019009, 田中 弘美 Ｈ．Ｔ． Ｔａｎａｋａ, "ハプティックインタフェース実現のための能動触覚 Ｔｏｗａｒｄ Ａｕｔｏｍａｔｉｃ Ｃｏｎｓｔｒｕｃｔｉｏｎ ｏｆ Ｈａｐｔｉｃ−Ｉｎｔｅｒｆａｃｅ ｂａ", 情報処理学会研究報告 Ｖｏｌ．９８ Ｎｏ．４６ ＩＰＳＪ ＳＩＧ Ｎｏｔｅｓ, 19980528, 第９８巻 第４６号, ７３〜８０頁, JP, 社団法人情報処理学会 Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｏｃｉｅ * |
| CSNG200401456022, 大田 博義 Ｈｉｒｏｙｏｓｈｉ Ｏｔａ, "仮想空間シミュレーションによる関節物体の力学的機能推定 Ａｎａｌｙｓｉｓ ｂｙ ｓｉｍｕｌａｔｉｏｎ ａｐｐｒｏａｃｈ ｔｏ ｉｎｆｅｒｒｉｎｇ", 情報処理学会研究報告 Ｖｏｌ．２００３ Ｎｏ．４１ ＩＰＳＪ ＳＩＧ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔｓ, 20030508, 第２００３巻 第４１号, １６１〜１６８頁, JP, 社団法人情報処理学会 Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｏｃｉｅ * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011251395A (ja) * | 2010-06-04 | 2011-12-15 | Takamaru Kogyo Kk | ロボット教示システム |
| CN113012291A (zh) * | 2021-04-01 | 2021-06-22 | 清华大学 | 基于机械手参数重建对象三维模型的方法和装置 |
| CN113012291B (zh) * | 2021-04-01 | 2022-11-25 | 清华大学 | 基于机械手参数重建对象三维模型的方法和装置 |
| WO2023032226A1 (ja) * | 2021-09-06 | 2023-03-09 | 日本電信電話株式会社 | 機能付与装置、機能付与方法及び機能付与プログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Höll et al. | Efficient physics-based implementation for realistic hand-object interaction in virtual reality | |
| Kumar et al. | Survey of human–robot collaboration in industrial settings: Awareness, intelligence, and compliance | |
| Pham et al. | Towards force sensing from vision: Observing hand-object interactions to infer manipulation forces | |
| León et al. | From robot to human grasping simulation | |
| Frati et al. | Using Kinect for hand tracking and rendering in wearable haptics | |
| US8350843B2 (en) | Virtual hand: a new 3-D haptic interface and system for virtual environments | |
| JP4463120B2 (ja) | 身まねロボットシステムとその身まね動作制御方法 | |
| JP2008209689A (ja) | 力触覚ディスプレイ、力触覚ディスプレイの制御方法、並びにコンピュータ・プログラム | |
| Ma et al. | A framework for interactive work design based on motion tracking, simulation, and analysis | |
| Kim et al. | Physics-based hand interaction with virtual objects | |
| Zubrycki et al. | Using integrated vision systems: three gears and leap motion, to control a 3-finger dexterous gripper | |
| Ciocarlie et al. | A side of data with my robot | |
| zu Borgsen et al. | Improving human-robot handover research by mixed reality techniques | |
| Tong et al. | Survey on hand-based haptic interaction for virtual reality | |
| Skoglund et al. | Programming by demonstration of pick-and-place tasks for industrial manipulators using task primitives | |
| Marques et al. | Commodity telepresence with the AvaTRINA nursebot in the ANA Avatar XPRIZE semifinals | |
| Nasim et al. | Physics-based interactive virtual grasping | |
| JP2007026061A (ja) | ハプティックビジョンに基づく３次元物体モデル生成方法及びハプティックビジョンシステム | |
| Kim et al. | Direct and realistic handover of a virtual object | |
| Aleotti et al. | Trajectory reconstruction with nurbs curves for robot programming by demonstration | |
| WO2021195916A1 (zh) | 动态手部仿真方法、装置和系统 | |
| Shi et al. | Grasping 3d objects with virtual hand in vr environment | |
| Kawasaki et al. | Virtual robot teaching for humanoid hand robot using muti-fingered haptic interface | |
| Rodriguez et al. | A comparison of smartphone interfaces for teleoperation of robot arms | |
| Guo et al. | A system of robotic grasping with experience acquisition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080715 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101125 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101207 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110405 |