JP2013510673A - 低侵襲外科システムにおけるハンドジェスチャー制御の方法および装置 - Google Patents
低侵襲外科システムにおけるハンドジェスチャー制御の方法および装置 Download PDFInfo
- Publication number
- JP2013510673A JP2013510673A JP2012538987A JP2012538987A JP2013510673A JP 2013510673 A JP2013510673 A JP 2013510673A JP 2012538987 A JP2012538987 A JP 2012538987A JP 2012538987 A JP2012538987 A JP 2012538987A JP 2013510673 A JP2013510673 A JP 2013510673A
- Authority
- JP
- Japan
- Prior art keywords
- hand
- hand gesture
- tracking
- surgeon
- minimally invasive
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 237
- 238000013507 mapping Methods 0.000 claims description 36
- 230000000007 visual effect Effects 0.000 claims description 31
- 210000003811 finger Anatomy 0.000 description 217
- 230000008569 process Effects 0.000 description 192
- 210000003813 thumb Anatomy 0.000 description 128
- 230000033001 locomotion Effects 0.000 description 55
- 239000013598 vector Substances 0.000 description 49
- 230000007704 transition Effects 0.000 description 26
- 238000012549 training Methods 0.000 description 23
- 238000000926 separation method Methods 0.000 description 20
- 238000001514 detection method Methods 0.000 description 19
- 238000012545 processing Methods 0.000 description 18
- 239000012636 effector Substances 0.000 description 17
- 238000005096 rolling process Methods 0.000 description 15
- 239000004744 fabric Substances 0.000 description 14
- 210000005224 forefinger Anatomy 0.000 description 14
- 239000003550 marker Substances 0.000 description 14
- 210000004247 hand Anatomy 0.000 description 13
- 230000008859 change Effects 0.000 description 12
- 239000011159 matrix material Substances 0.000 description 11
- 230000009466 transformation Effects 0.000 description 11
- 230000004044 response Effects 0.000 description 9
- 230000009471 action Effects 0.000 description 8
- 238000009826 distribution Methods 0.000 description 8
- 230000015654 memory Effects 0.000 description 8
- 210000000707 wrist Anatomy 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 239000006260 foam Substances 0.000 description 6
- 238000005286 illumination Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 238000000844 transformation Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000011002 quantification Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 239000004677 Nylon Substances 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003064 k means clustering Methods 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 229910052751 metal Inorganic materials 0.000 description 2
- 229920001778 nylon Polymers 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 101100117236 Drosophila melanogaster speck gene Proteins 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 210000004932 little finger Anatomy 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000002324 minimally invasive surgery Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000002432 robotic surgery Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
- 230000031836 visual learning Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
- A61B34/77—Manipulators with motion or force scaling
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/37—Master-slave robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/90—Identification means for patients or instruments, e.g. tags
- A61B90/98—Identification means for patients or instruments, e.g. tags using electromagnetic means, e.g. transponders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00017—Electrical control of surgical instruments
- A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2051—Electromagnetic tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
- A61B34/74—Manipulators with manual electric input means
- A61B2034/741—Glove like input devices, e.g. "data gloves"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/033—Indexing scheme relating to G06F3/033
- G06F2203/0331—Finger worn pointing device
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Robotics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Pathology (AREA)
- Electromagnetism (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Manipulator (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
手の位置およびジェスチャーを追跡するための方法および技法が知られている。例えば、いくつかのビデオゲームコントローラは、ハンドトラッキング入力を利用する。例えば、Nintendo Wii(登録商標)ゲームプラットフォームは、無線位置および配向センシング遠隔操作を支援する(Wii(登録商標)は、米国ワシントン州レッドモンド、Nintendo of America Incの登録商標である)。バットをスイングする、または魔法の杖を振る等のジェスチャーおよび他の身体的動作の使用は、このプラットフォームの基本ゲーム要素を提供する。Sony Playstation Moveは、Nintendo Wii(登録商標)ゲームプラットフォームに類似する特徴を有する。
マスターフィンガー追跡グリップ270と呼ばれる場合がある、機械的に非接地の非動力マスターフィンガー追跡グリップ270の一実施例は、図2A〜2Dにおいて異なる構成で例示され、以下でより完全に説明される。マスターフィンガー追跡グリップ270は、指装着センサ211、212(指および親指装着センサ211、212と称される場合もある)を含み、人指し指292Bの先端および親指292Aの先端のそれぞれのロケーション(一実施例における位置および配向)を独立して追跡し、すなわち、執刀医の手の2本の指のロケーションを追跡する。したがって、既知の低侵襲手術システムにおけるマスターツールグリップのロケーションを追跡することとは対照的に、手自体のロケーションが追跡される。
本態様において、ジェスチャー検出モードの操作に置かれた後、ハンド追跡コントローラ130は、ハンドジェスチャーポーズ、またはハンドジェスチャーポーズおよびハンドジェスチャー軌道を検出する。コントローラ130は、ハンドジェスチャーポーズを、あるシステムモード制御コマンドにマッピングし、同様に、コントローラ130は、ハンドジェスチャー軌道を、他のシステムモード制御コマンドにマッピングする。ポーズおよび軌道のマッピングは、独立しているため、例えば、手動のシグナル言語トラッキングとは異なることに留意されたい。既知の低侵襲手術システムに見られるように、スイッチ、多数のフットペダル等を操作する代わりに、ハンドジェスチャーポーズおよびハンドジェスチャー軌道を使用して、システムコマンドを生成し、システム100を制御する能力は、システム100の優れた使い易さを執刀医に提供する。
一態様において、上に示されるように、執刀医の手291R、291L(図6A)の位置を追跡し、低侵襲手術システム 100の遠隔操作が許可されるか否かを決定し、いくつかの態様において、ユーザインターフェースを執刀医に表示するか否かを決定する。再度、ハンド追跡コントローラ130は、執刀医180Bの手の少なくとも一部を追跡する(図6A)。ハンド追跡コントローラ130は、マスターツールグリップ、例えば、マスターツールグリップ621(図6B)のロケーションを生成し、マスターツールグリップ621L、621R(図6A)、および手の一部のロケーションを表す。ハンド追跡コントローラ130は、2つのロケーションを共通座標フレームにマッピングし、次に、共通座標フレームの2つのロケーション間の距離を決定する。距離は、執刀医の手の一部の追跡ロケーションに基づく、低侵襲手術システムのシステム制御パラメータである。
上に詳述される追跡の種々の態様を考慮する前に、追跡技法の一実施例が説明される。本実施例は単なる例証であり、以下の説明に照らして、必要な手または指ロケーション情報を提供する、あらゆる追跡技法を利用することができる。
上述される様々なプロセスをさらに詳細に考慮する前に、執刀医のコンソール185Bの一実施例(図6A)が考慮され、以下の実施例において使用するために、様々な座標系が定義される。執刀医のコンソール185Bは、執刀医のコンソール185の一実施例である。執刀医のコンソール185Bは、ビューア610と称される場合がある3次元ビューア610、マスターツールグリップ620L、620Rを有するマスターツールマニピュレータ620L、620R、およびベース630を含む。マスターツールグリップ621(図6B)は、マスターツールグリップ621L、621Rのより詳細な図である。
図7は、追跡座標系750においてロケーション713を有する、人指し指292Bに装着されたセンサ212、および追跡座標系750においてロケーション711を有する、親指292Aに装着されたセンサ212の例示である。センサ211および212は、上述される電磁追跡システムの一部である。親指292Aおよび人指し指292Bは、右手291Rの指の例である。前述のとおり、ヒトの手の一部は、少なくとも1本の手の指を含む。当該分野における有識者に知られているように、指または指骨と呼ばれる場合がある手の指は、親指(第1指)、人指し指(第2指)、中指(第3指)、薬指(第4指)、および小指(第5指)である。
pcp=0.5*(pthumb+pindex)
制御点位置pcpは、人指し指位置pindexおよび親指位置pthumbの平均である。ハンド位置データを制御点にマッピングするプロセス910は、制御点配向を生成するプロセス920に対する処理に移る。
wcRtcは、追跡座標tcの配向をワールド座標wxの配向にマッピングし、
wcttcは、追跡座標tcの位置をワールド座標wcの位置に変換する。
グリップ閉合パラメータggripは、このマッピングによって変更されない。ワールド座標wcのデータは、データ831として保存される。プロセス830は、視界座標にマッピングするプロセス840に移行する。
ecRwcは、視界座標ecの配向をワールド座標wcの配向にマッピングし、
ectwcは、視界座標ecの位置をワールド座標wcの位置に変換する。
pcp_ec=ecTtcpcp_tc’
であり、視界座標の制御点の配向Rcp_ecは、
Rcp_ec=ecRwc wcRtcRcp_tc
である。
ecRtc=ecRwc wcRtc
Vcp_ec=ecRtc vcp_tc
ωcp_ec=ecRtcωcp_tc
速度を生成するプロセス850は、制御コマンドを送信するプロセス860に移行する。プロセス860は、位置、配向、速度、およびデータ851として保存されたグリップ閉合パラメータに基づいて、スレーブ手術器具に適切なシステム制御コマンドを送信する。
図10は、システム100のハンドジェスチャーポーズおよびハンドジェスチャー軌道のプロセス1000の一態様のプロセスフロー図である。上述される一態様において、ハンドジェスチャーポーズ認識プロセス1050は、多次元ベイズ識別器を使用し、ハンドジェスチャー軌道認識プロセス1060は、個別の隠れマルコフモデルλを使用する。
Λ=(A,B,π)
モデルパラメータNは、モデルにおける状態の数であり、モデルパラメータMは、状態当たりの観察記号の数である。3つの確率速度は、状態遷移確率分布A、観察ジェスチャー確率分布B、および初期状態分布πである。
P(fi_o|Ω)
式中、トレーニングデータセット特徴集合{fi}は、オブジェクトクラスΩに由来する。
となるようにし、
さらに別の態様において、上述されるように、執刀医180Bの手の少なくとも一部の追跡位置を使用して、手がマスターマニピュレータエンドエフェクタ621上に存在するか否かを決定する。図11は、一態様において、システム100のハンド追跡コントローラ130によって行われる存在検出のプロセス1100の一態様のプロセスフロー図である。プロセス1100は、一態様において執刀医の手のそれぞれに対して個別に行われる。
pmtm_wc=wcTws*pmtm
式中、wcTwsは、4×4同次固定変換であり、マスター作業空間座標系680における座標をワールド座標系670における座標にマッピングする。
完了すると、ワールド座標にマッピングするプロセス1112は、処理をハンド−エンドエフェクタ分離を生成するプロセス1130に移行させる。
Phand_wc=wcTtc*phand
式中、wcTwsは、4×4同次固定変換であり、追跡座標系650における座標をワールド座標系670における座標にマッピングする。
完了すると、ワールド座標にマッピングするプロセス1122は、処理をハンド−エンドエフェクタ分離を生成するプロセス1130に移行させる。
dsep=‖pmtm_wc−phand_wc‖
である。完了すると、ハンド−エンドエフェクタ分離を生成するプロセス1130は、処理を距離安全チェックプロセス1131に移行させる。
図12は、マスターフィンガー追跡グリップ1270の一実施例の例示である。マスターフィンガー追跡グリップ1270は、マスターフィンガー追跡グリップ170、270の一実施例である。
一態様において、ハンド追跡制御システムを使用して、1人の執刀医が別の執刀医を監督するために使用され得る複数のプロキシビジュアルのうちのいずれか1つを制御する。例えば、執刀医180(図1A)が、マスターフィンガー追跡グリップ170を使用して、執刀医181によって監督されている場合、執刀医181は、マスターフィンガー追跡グリップ170を使用して、手術器具のプロキシビジュアルを制御する一方、執刀医180は、マスターツールグリップを使用して、遠隔操作スレーブ手術器具を制御する。
Claims (21)
- ヒトの手の一部に装着された素子を追跡して、該ヒトの手の一部の複数のロケーションを得るステップと、
該複数のロケーションに基づいて、複数の既知のハンドジェスチャーからハンドジェスチャーを選択するステップと、
該ハンドジェスチャーに基づいて、低侵襲手術システムの操作を制御するステップと
を含む、方法。 - 前記ハンドジェスチャーは、ハンドジェスチャーポーズであり、前記複数の既知のハンドジェスチャーは、複数の既知のハンドジェスチャーポーズを含む、請求項1に記載の方法。
- 前記制御するステップは、前記ハンドジェスチャーポーズに基づいて、前記低侵襲手術システムのユーザインターフェースを制御するステップを含む、請求項2に記載の方法。
- 前記制御するステップは、プロキシビジュアルを制御するために、前記追跡するステップを用いるステップを含む、請求項2に記載の方法。
- 前記プロキシビジュアルは、仮想ハンド、仮想手術器具および仮想テレストレーションデバイスを含むプロキシビジュアルの群から選択される、請求項4に記載の方法。
- 前記選択するステップは、前記複数のロケーションから観察された特徴集合を生成するステップをさらに含む、請求項2に記載の方法。
- 前記選択するステップは、前記観察された特徴集合を前記複数の既知のハンドジェスチャーポーズの特徴集合と比較するステップをさらに含む、請求項6に記載の方法。
- 前記選択するステップは、前記比較するステップに基づいて、前記ハンドジェスチャーポーズを選択するステップをさらに含む、請求項7に記載の方法。
- 前記選択されたハンドジェスチャーは、ハンドジェスチャー軌道に関連付けられているハンドジェスチャーポーズであり、
前記複数の既知のハンドジェスチャーは、複数の既知のハンドジェスチャー軌道を含む、請求項8に記載の方法。 - 速度配列を前記追跡された複数のロケーションの軌道から生成するステップと、
該速度配列を記号配列に変換するステップと
をさらに含む、請求項9に記載の方法。 - 前記記号配列を複数の隠れマルコフモデルによって分析するステップであって、前記複数の既知のハンドジェスチャー軌道の各々は、該複数の隠れマルコフモデルにおける隠れマルコフモデルを有している、ステップをさらに含む、請求項10に記載の方法。
- 前記分析するステップに基づいて、ハンドジェスチャー軌道を選択するステップであって、前記制御するステップにおいて用いられるハンドジェスチャーは、該ハンドジェスチャー軌道である、ステップをさらに含む、請求項11に記載の方法。
- 前記選択されたハンドジェスチャー軌道をシステムコマンドにマッピングするステップをさらに含む、請求項12に記載の方法。
- 前記制御するステップは、前記選択されたハンドジェスチャーポーズをシステムコマンドにマッピングするステップをさらに含む、請求項1に記載の方法。
- 前記制御するステップは、前記システムコマンドを前記低侵襲手術システムに投入するステップをさらに含む、請求項14に記載の方法。
- 前記ハンドジェスチャーは、ハンドジェスチャー軌道を含み、
前記複数の既知のハンドジェスチャーは、複数の既知のハンドジェスチャー軌道を含む、請求項1に記載の方法。 - 速度配列を前記追跡された複数のロケーションの軌道から生成するステップと、
該速度配列を記号配列に変換するステップと
をさらに含む、請求項16に記載の方法。 - 前記記号配列を複数の隠れマルコフモデルによって分析するステップであって、前記複数の既知のハンドジェスチャー軌道の各々は、該複数の隠れマルコフモデルにおける隠れマルコフモデルを有している、ステップをさらに含む、請求項17に記載の方法。
- 前記分析するステップに基づいて、ハンドジェスチャー軌道を選択するステップであって、前記制御するステップにおいて用いられるハンドジェスチャーは、該ハンドジェスチャー軌道である、ステップをさらに含む、請求項18に記載の方法。
- 前記選択されたハンドジェスチャー軌道をシステムコマンドにマッピングするステップをさらに含む、請求項19に記載の方法。
- 低侵襲手術システムであって、
該低侵襲手術システムは、
ハンド追跡システムであって、該ハンド追跡システムは、ヒトの手の一部に装着された複数の追跡センサのロケーションを追跡する、ハンド追跡システムと、
該ハンド追跡システムに連結されているコントローラであって、該コントローラは、該ロケーションをハンドジェスチャーに変え、該コントローラは、該ハンドジェスチャーに基づいて、該低侵襲手術システムの操作のモードを改変するコマンドを送る、コントローラと
を含む、低侵襲手術システム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/617,937 | 2009-11-13 | ||
US12/617,937 US8521331B2 (en) | 2009-11-13 | 2009-11-13 | Patient-side surgeon interface for a minimally invasive, teleoperated surgical instrument |
US12/886,993 | 2010-09-21 | ||
US12/886,993 US8996173B2 (en) | 2010-09-21 | 2010-09-21 | Method and apparatus for hand gesture control in a minimally invasive surgical system |
PCT/US2010/056394 WO2012044334A2 (en) | 2009-11-13 | 2010-11-11 | Method and apparatus for hand gesture control in a minimally invasive surgical system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013510673A true JP2013510673A (ja) | 2013-03-28 |
JP5702798B2 JP5702798B2 (ja) | 2015-04-15 |
Family
ID=45507852
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012538987A Active JP5702798B2 (ja) | 2009-11-13 | 2010-11-11 | 低侵襲外科システムにおけるハンドジェスチャー制御の方法および装置 |
Country Status (6)
Country | Link |
---|---|
EP (2) | EP3320875A1 (ja) |
JP (1) | JP5702798B2 (ja) |
KR (1) | KR101762638B1 (ja) |
CN (2) | CN106725860B (ja) |
BR (1) | BR112012011422B1 (ja) |
WO (1) | WO2012044334A2 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105538307A (zh) * | 2014-11-04 | 2016-05-04 | 宁波弘讯科技股份有限公司 | 控制装置、系统及方法 |
JP2016538894A (ja) * | 2013-10-01 | 2016-12-15 | アーベーベー ゴムテック ゲーエムベーハー | ジェスチャ制御を用いるロボットシステム制御用の制御装置及び方法 |
JP2017517297A (ja) * | 2014-04-24 | 2017-06-29 | コヴィディエン リミテッド パートナーシップ | ロボットインターフェース位置調整決定システムおよび方法 |
JP2018500054A (ja) * | 2014-09-30 | 2018-01-11 | オーリス サージカル ロボティクス, インコーポレイテッド | 仮軌道および可撓性内視鏡を有する構成可能なロボット手術システム |
JP2018511359A (ja) * | 2015-02-20 | 2018-04-26 | コヴィディエン リミテッド パートナーシップ | 手術室及び手術部位認識 |
JPWO2017033351A1 (ja) * | 2015-08-25 | 2018-06-07 | 川崎重工業株式会社 | 遠隔操作ロボットシステム |
JP2020013599A (ja) * | 2014-12-08 | 2020-01-23 | セス,ロヒット | ウェアラブルワイヤレスhmiデバイス |
US10765303B2 (en) | 2018-02-13 | 2020-09-08 | Auris Health, Inc. | System and method for driving medical instrument |
Families Citing this family (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6323974B2 (ja) * | 2012-05-18 | 2018-05-16 | オリンパス株式会社 | 手術支援装置 |
JP6053358B2 (ja) * | 2012-07-03 | 2016-12-27 | オリンパス株式会社 | 手術支援装置 |
DE102012218213B4 (de) * | 2012-10-05 | 2016-03-03 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Verfahren zum Steuern eines Telemanipulationsroboters |
KR20140052640A (ko) * | 2012-10-25 | 2014-05-07 | 삼성전자주식회사 | 커서를 디스플레이에 디스플레이하기 위한 방법과 상기 방법을 수행할 수 있는 시스템 |
CN104252225A (zh) * | 2013-06-27 | 2014-12-31 | 南京迈瑞生物医疗电子有限公司 | 体感控制医疗设备及医疗设备体感控制方法 |
US10744646B2 (en) | 2013-08-29 | 2020-08-18 | Wayne State University | Camera control system and method |
US9535505B2 (en) | 2013-11-08 | 2017-01-03 | Polar Electro Oy | User interface control in portable system |
EP2923669B1 (en) | 2014-03-24 | 2017-06-28 | Hansen Medical, Inc. | Systems and devices for catheter driving instinctiveness |
US10285765B2 (en) | 2014-05-05 | 2019-05-14 | Vicarious Surgical Inc. | Virtual reality surgical device |
US11977998B2 (en) | 2014-05-15 | 2024-05-07 | Storz Endoskop Produktions Gmbh | Surgical workflow support system |
WO2016014385A2 (en) * | 2014-07-25 | 2016-01-28 | Covidien Lp | An augmented surgical reality environment for a robotic surgical system |
US10314463B2 (en) | 2014-10-24 | 2019-06-11 | Auris Health, Inc. | Automated endoscope calibration |
US10600015B2 (en) | 2015-06-24 | 2020-03-24 | Karl Storz Se & Co. Kg | Context-aware user interface for integrated operating room |
CN105125155A (zh) * | 2015-06-25 | 2015-12-09 | 云南电网有限责任公司电力科学研究院 | 一种基于手势控制内窥镜光纤的方法 |
CN104970754B (zh) * | 2015-06-25 | 2016-09-28 | 云南电网有限责任公司电力科学研究院 | 一种基于Kinect传感器手势控制内窥镜光纤的方法 |
EP3463162A4 (en) * | 2016-06-03 | 2020-06-24 | Covidien LP | SYSTEMS, METHODS AND COMPUTER READABLE PROGRAM PRODUCTS FOR CONTROLLING A ROBOT CONTROLLED MANIPULATOR |
CN107689186A (zh) * | 2016-08-03 | 2018-02-13 | 天津慧医谷科技有限公司 | 三维人体虚拟解剖台 |
US9931025B1 (en) | 2016-09-30 | 2018-04-03 | Auris Surgical Robotics, Inc. | Automated calibration of endoscopes with pull wires |
CN108472083B (zh) | 2016-12-09 | 2021-08-17 | 威博外科公司 | 用于机器人外科手术的用户界面设备 |
US10244926B2 (en) | 2016-12-28 | 2019-04-02 | Auris Health, Inc. | Detecting endolumenal buckling of flexible instruments |
US10459519B2 (en) * | 2017-01-19 | 2019-10-29 | Google Llc | Function allocation for virtual controller |
CA3051258A1 (en) | 2017-02-09 | 2018-08-16 | Vicarious Surgical Inc. | Virtual reality surgical tools system |
JP2020520691A (ja) | 2017-05-12 | 2020-07-16 | オーリス ヘルス インコーポレイテッド | 生検装置およびシステム |
JP7130682B2 (ja) | 2017-06-28 | 2022-09-05 | オーリス ヘルス インコーポレイテッド | 器具挿入補償 |
US10426559B2 (en) | 2017-06-30 | 2019-10-01 | Auris Health, Inc. | Systems and methods for medical instrument compression compensation |
CN111182847B (zh) * | 2017-09-05 | 2023-09-26 | 柯惠Lp公司 | 机器人手术系统和方法及用于其控制的计算机可读介质 |
EP3681368A4 (en) | 2017-09-14 | 2021-06-23 | Vicarious Surgical Inc. | SURGICAL CAMERA SYSTEM WITH VIRTUAL REALITY |
US10145747B1 (en) | 2017-10-10 | 2018-12-04 | Auris Health, Inc. | Detection of undesirable forces on a surgical robotic arm |
EP3700454A1 (en) * | 2017-10-26 | 2020-09-02 | Guido Danieli | Robotic system for angioplasty and endoluminar surgery |
IT201800009380A1 (it) * | 2018-10-11 | 2020-04-11 | Guido Danieli | Sistema Robotico per Angioplastica e Chirurgia Endoluminare |
CN110831536B (zh) | 2017-12-06 | 2021-09-07 | 奥瑞斯健康公司 | 用于针对非命令器械滚转进行校正的系统和方法 |
JP7322026B2 (ja) | 2017-12-14 | 2023-08-07 | オーリス ヘルス インコーポレイテッド | 器具の位置推定のシステムおよび方法 |
CN110025378A (zh) * | 2018-01-12 | 2019-07-19 | 中国科学院沈阳自动化研究所 | 一种基于光学定位法的手术辅助导航方法 |
WO2021126163A1 (en) * | 2019-12-17 | 2021-06-24 | Covidien Lp | Robotic surgical systems with user engagement monitoring |
DE102018104714A1 (de) | 2018-03-01 | 2019-09-05 | Karl Storz Se & Co. Kg | Telemanipulatorsystem und Verfahren zum Betreiben eines Telemanipulatorsystems |
EP3856064A4 (en) | 2018-09-28 | 2022-06-29 | Auris Health, Inc. | Systems and methods for docking medical instruments |
CN111012513B (zh) * | 2018-10-09 | 2021-07-27 | 成都博恩思医学机器人有限公司 | 一种腹腔镜手术机器人的手术器械控制方法 |
US11504193B2 (en) | 2019-05-21 | 2022-11-22 | Verb Surgical Inc. | Proximity sensors for surgical robotic arm manipulation |
US11278361B2 (en) * | 2019-05-21 | 2022-03-22 | Verb Surgical Inc. | Sensors for touch-free control of surgical robotic systems |
CN110412554B (zh) * | 2019-06-26 | 2021-10-29 | 北京三一智造科技有限公司 | 障碍物监测系统及方法 |
EP4084720A4 (en) | 2019-12-31 | 2024-01-17 | Auris Health Inc | ALIGNMENT TECHNIQUES FOR PERCUTANE ACCESS |
JP2023508521A (ja) | 2019-12-31 | 2023-03-02 | オーリス ヘルス インコーポレイテッド | 解剖学的特徴の識別及び標的化 |
US11602372B2 (en) | 2019-12-31 | 2023-03-14 | Auris Health, Inc. | Alignment interfaces for percutaneous access |
CN111882941A (zh) * | 2020-08-11 | 2020-11-03 | 中南大学湘雅二医院 | 一种基于虚拟现实的心脏大血管解剖教学系统及方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050203384A1 (en) * | 2002-06-21 | 2005-09-15 | Marwan Sati | Computer assisted system and method for minimal invasive hip, uni knee and total knee replacement |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6331181B1 (en) | 1998-12-08 | 2001-12-18 | Intuitive Surgical, Inc. | Surgical robotic tools, data architecture, and use |
US6809462B2 (en) * | 2000-04-05 | 2004-10-26 | Sri International | Electroactive polymer sensors |
US6110130A (en) * | 1997-04-21 | 2000-08-29 | Virtual Technologies, Inc. | Exoskeleton device for directly measuring fingertip position and inferring finger joint angle |
US7472047B2 (en) * | 1997-05-12 | 2008-12-30 | Immersion Corporation | System and method for constraining a graphical hand from penetrating simulated graphical objects |
US6799065B1 (en) | 1998-12-08 | 2004-09-28 | Intuitive Surgical, Inc. | Image shifting apparatus and method for a telerobotic system |
US6424885B1 (en) | 1999-04-07 | 2002-07-23 | Intuitive Surgical, Inc. | Camera referenced control in a minimally invasive surgical apparatus |
US8398541B2 (en) | 2006-06-06 | 2013-03-19 | Intuitive Surgical Operations, Inc. | Interactive user interfaces for robotic minimally invasive surgical systems |
US7907166B2 (en) | 2005-12-30 | 2011-03-15 | Intuitive Surgical Operations, Inc. | Stereo telestration for robotic surgery |
US20070167702A1 (en) | 2005-12-30 | 2007-07-19 | Intuitive Surgical Inc. | Medical robotic system providing three-dimensional telestration |
US20090192523A1 (en) * | 2006-06-29 | 2009-07-30 | Intuitive Surgical, Inc. | Synthetic representation of a surgical instrument |
WO2008042219A2 (en) * | 2006-09-29 | 2008-04-10 | Nellcor Puritan Bennett Llc | User interface and identification in a medical device systems and methods |
US20080275367A1 (en) * | 2007-04-23 | 2008-11-06 | Hansen Medical, Inc | Systems and methods for mapping intra-body tissue compliance |
US20090012533A1 (en) * | 2007-04-23 | 2009-01-08 | Hansen Medical, Inc. | Robotic instrument control system |
US20090138025A1 (en) * | 2007-05-04 | 2009-05-28 | Hansen Medical, Inc. | Apparatus systems and methods for forming a working platform of a robotic instrument system by manipulation of components having controllably rigidity |
US8830224B2 (en) | 2008-12-31 | 2014-09-09 | Intuitive Surgical Operations, Inc. | Efficient 3-D telestration for local robotic proctoring |
-
2010
- 2010-11-11 EP EP17205292.0A patent/EP3320875A1/en active Pending
- 2010-11-11 EP EP10855123.5A patent/EP2498711B1/en active Active
- 2010-11-11 KR KR1020127013204A patent/KR101762638B1/ko active IP Right Grant
- 2010-11-11 CN CN201710041574.7A patent/CN106725860B/zh active Active
- 2010-11-11 CN CN201080051497.XA patent/CN102647955B/zh active Active
- 2010-11-11 BR BR112012011422-0A patent/BR112012011422B1/pt active IP Right Grant
- 2010-11-11 JP JP2012538987A patent/JP5702798B2/ja active Active
- 2010-11-11 WO PCT/US2010/056394 patent/WO2012044334A2/en active Application Filing
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050203384A1 (en) * | 2002-06-21 | 2005-09-15 | Marwan Sati | Computer assisted system and method for minimal invasive hip, uni knee and total knee replacement |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9901411B2 (en) | 2013-10-01 | 2018-02-27 | Abb Gomtec Gmbh | Control device and method for controlling a robot with a system by means of gesture control |
JP2016538894A (ja) * | 2013-10-01 | 2016-12-15 | アーベーベー ゴムテック ゲーエムベーハー | ジェスチャ制御を用いるロボットシステム制御用の制御装置及び方法 |
JP2017517297A (ja) * | 2014-04-24 | 2017-06-29 | コヴィディエン リミテッド パートナーシップ | ロボットインターフェース位置調整決定システムおよび方法 |
US10660717B2 (en) | 2014-04-24 | 2020-05-26 | Covidien Lp | Robotic interface positioning determination systems and methods |
JP2018500054A (ja) * | 2014-09-30 | 2018-01-11 | オーリス サージカル ロボティクス, インコーポレイテッド | 仮軌道および可撓性内視鏡を有する構成可能なロボット手術システム |
CN105538307A (zh) * | 2014-11-04 | 2016-05-04 | 宁波弘讯科技股份有限公司 | 控制装置、系统及方法 |
JP2020013599A (ja) * | 2014-12-08 | 2020-01-23 | セス,ロヒット | ウェアラブルワイヤレスhmiデバイス |
JP2018511359A (ja) * | 2015-02-20 | 2018-04-26 | コヴィディエン リミテッド パートナーシップ | 手術室及び手術部位認識 |
JP2020049296A (ja) * | 2015-02-20 | 2020-04-02 | コヴィディエン リミテッド パートナーシップ | 手術室及び手術部位認識 |
US10908681B2 (en) | 2015-02-20 | 2021-02-02 | Covidien Lp | Operating room and surgical site awareness |
JP2021100690A (ja) * | 2015-02-20 | 2021-07-08 | コヴィディエン リミテッド パートナーシップ | 手術室及び手術部位認識 |
JPWO2017033351A1 (ja) * | 2015-08-25 | 2018-06-07 | 川崎重工業株式会社 | 遠隔操作ロボットシステム |
US10765303B2 (en) | 2018-02-13 | 2020-09-08 | Auris Health, Inc. | System and method for driving medical instrument |
Also Published As
Publication number | Publication date |
---|---|
WO2012044334A3 (en) | 2012-05-31 |
EP3320875A1 (en) | 2018-05-16 |
WO2012044334A2 (en) | 2012-04-05 |
BR112012011422A2 (pt) | 2016-05-03 |
EP2498711B1 (en) | 2018-01-10 |
CN106725860B (zh) | 2019-06-21 |
JP5702798B2 (ja) | 2015-04-15 |
KR101762638B1 (ko) | 2017-07-28 |
CN102647955B (zh) | 2017-02-08 |
CN102647955A (zh) | 2012-08-22 |
KR20130027006A (ko) | 2013-03-14 |
CN106725860A (zh) | 2017-05-31 |
BR112012011422B1 (pt) | 2020-09-29 |
EP2498711A2 (en) | 2012-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5982542B2 (ja) | 低侵襲外科システムにおいて手の存在を検出するための方法およびシステム | |
JP6000387B2 (ja) | 低侵襲外科システムにおいて使用するマスターフィンガー追跡システム | |
JP5702798B2 (ja) | 低侵襲外科システムにおけるハンドジェスチャー制御の方法および装置 | |
JP5702797B2 (ja) | 遠隔操作される低侵襲スレーブ手術器具の手による制御のための方法およびシステム | |
US9901402B2 (en) | Method and apparatus for hand gesture control in a minimally invasive surgical system | |
EP3092968B1 (en) | System for hand presence detection in a minimally invasive surgical system | |
KR101824442B1 (ko) | 최소 침습 수술 시스템에서 손 존재 검출을 위한 방법 및 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130910 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140425 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140501 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140801 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150126 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150220 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5702798 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |