JP2013143149A - 奥行きセンサーの使用によるアブレーターワークステーションのタッチフリー操作 - Google Patents

奥行きセンサーの使用によるアブレーターワークステーションのタッチフリー操作 Download PDF

Info

Publication number
JP2013143149A
JP2013143149A JP2013002425A JP2013002425A JP2013143149A JP 2013143149 A JP2013143149 A JP 2013143149A JP 2013002425 A JP2013002425 A JP 2013002425A JP 2013002425 A JP2013002425 A JP 2013002425A JP 2013143149 A JP2013143149 A JP 2013143149A
Authority
JP
Japan
Prior art keywords
gesture
client
applicable
movement
electrodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013002425A
Other languages
English (en)
Other versions
JP6195713B2 (ja
Inventor
Merschon Asaf
アサフ・マーション
Assaf Govari
アサフ・ゴバリ
Andres C Altmann
アンドレス・クラウディオ・アルトマン
Yitzhack Schwartz
イツハック・シュワルツ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Biosense Webster Israel Ltd
Original Assignee
Biosense Webster Israel Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Biosense Webster Israel Ltd filed Critical Biosense Webster Israel Ltd
Publication of JP2013143149A publication Critical patent/JP2013143149A/ja
Application granted granted Critical
Publication of JP6195713B2 publication Critical patent/JP6195713B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/04Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
    • A61B18/12Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
    • A61B18/1206Generators therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017Electrical control of surgical instruments
    • A61B2017/00203Electrical control of surgical instruments with speech control or speech recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017Electrical control of surgical instruments
    • A61B2017/00207Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017Electrical control of surgical instruments
    • A61B2017/00216Electrical control of surgical instruments with eye tracking or head position tracking control
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017Electrical control of surgical instruments
    • A61B2017/00221Electrical control of surgical instruments with wireless transmission of data, e.g. by infrared radiation or radiowaves
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00973Surgical instruments, devices or methods, e.g. tourniquets pedal-operated
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00571Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body for achieving a particular surgical effect
    • A61B2018/00577Ablation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00988Means for storing information, e.g. calibration constants, or for preventing excessive use, e.g. usage, service life counter
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems

Abstract

【課題】アブレーションワークステーションのタッチフリー操作を行うための新規なシステム及び方法の提供。
【解決手段】運動を検出するための奥行きセンサーと、奥行きセンサーから検出された運動を受信し、検出された運動に基づいてジェスチャーを推測し、該ジェスチャーをフィルタリングして適用可能なジェスチャーを許容するためのモーションソフトウェアと、適用可能なジェスチャーをアブレーションワークステーション内のクライアントコンピュータにて受信して適用可能なジェスチャーに基づいたクライアント論理回路にしたがってタスクを実行するためのクライアントソフトウェアと、を含むシステム。クライアントが適用可能なジェスチャーと共に音声入力に基づいてタスクを実行することを可能とする音声入力を与える音声認識を更に含んでもよい。適用可能なジェスチャーは、顔認識を用いて許可された運動であってもよい。
【選択図】図1

Description

(関連出願の相互参照)
本出願は、同一所有者になる同時係属中の、本出願と同一出願日に出願された「奥行きセンサーの使用による装置のタッチフリー操作」(TOUCH FREE OPERATION OF DEVICES BY USE OF DEPTH SENSORS)に対する米国特許出願第(BIO5312USNP)の関連出願であり、当該出願の全容及び開示内容を、本明細書にその全体が記載されているものと同様に明確に援用するものである。
(発明の分野)
本発明は、一般的に奥行きセンサー及び状況に応じて音声認識を使用することによる手術室の装置のタッチフリー操作に関する。
手術室では、医師は無菌状態を保つ必要があり、そのため手術中にコンピュータに物理的にアクセスして支援を得ることはできない。したがって、アブレーターワークステーションのような、手術室の装置上でコンピュータアプリケーションを使用して医師が行うことを望むあらゆるタスクは、実際は他者によって行われなければならない。医師がこうした装置及び、例えば、そのキーボード、スクリーン、マウスなどの付属品に物理的に触れることなく、これらの装置を操作できることが望ましい。
アブレーターワークステーションのタッチフリー操作を行うための新規なシステム及び方法が提供される。本システムは、運動を検出するための奥行きセンサーと、前記奥行きセンサーから前記検出された運動を受信し、前記検出された運動に基づいてジェスチャーを推測し、該ジェスチャーをフィルタリングして適用可能なジェスチャーを許容する機能を有するモーションソフトウェアモジュールと、前記適用可能なジェスチャーを前記アブレーターワークステーション内の、又はアブレーターワークステーションと関連付けられたクライアントコンピュータにて受信して前記適用可能なジェスチャーに基づいたクライアント論理回路にしたがってタスクを実行する機能を有するクライアントソフトウェアモジュールと、を含む。
一態様では、タスクは、1又は2以上の電極の出力設定を変更すること、1又は2以上の電極について最大許容温度を変更すること、ユニポーラとバイポーラとの間でアブレーションモードを変更すること、アブレーターを行う電極を選択及び選択解除することの1つである。一態様では、前記運動は、頭部の動作、手の動作、及び身体の動作の少なくとも1つであり、前記ジェスチャーは短い履歴に基づいて更に推測される。一態様では、前記システムは、前記検出された運動を適用可能なジェスチャーとするためのハードウェアを更に含む。一態様では、前記適用可能なジェスチャーは、顔認識を用いて許可を有すると判定された使用者によって行われる前記検出された運動、及び前記クライアント論理回路にしたがって認識されたジェスチャーの1又は2以上である。一態様では、前記ジェスチャーのフィルタリングは、前記ジェスチャーが許可されたものであり、かつ有効なものであるか否かを判定することによって行われる。一態様では、本システムは、前記適用可能なジェスチャーを前記クライアントにて受信するためのクライアント通信モジュールを更に含む。一態様では、本システムは、前記クライアントが前記適用可能なジェスチャーと共に前記音声入力に基づいて前記タスクを実行することを可能とする音声入力を与える音声認識を更に含む。
アブレーターワークステーションのタッチフリー操作を行うための新規な方法は、奥行きセンサーを使用して運動を検出する工程と、CPUを使用して前記検出された運動に基づいてジェスチャーを推測する工程と、前記ジェスチャーをフィルタリングして適用可能なジェスチャーを受け取る工程と、前記適用可能なジェスチャーを前記アブレーターワークステーション内のクライアントにて受信する工程と、前記適用可能なジェスチャーに基づいたクライアント論理回路にしたがってタスクを実行する工程と、を含む。
本明細書に述べられる1又は2以上の方法を実行するために、機械により実行可能な命令のプログラムを記憶するためのコンピュータ読み取り可能な記憶装置も更に提供されうる。
以下の本発明の実施形態の詳細な説明を図面と併せ読むことによって本発明のより完全な理解が得られるであろう。異なる実施形態の更なる特徴、並びに構造及び動作について、付属の図面を参照しながら以下に詳細に述べる。図中、同様の参照符合は、同一又は機能的に同様の要素を示すものである。
本発明のシステムの一実施形態を示すブロック図。 本発明のシステムの別の実施形態を示すブロック図。 本発明の方法のフローチャート。
アブレーターワークステーションのタッチフリー操作を行うための新規な方法が提供される。この新規な技術によれば、操作者はモニター、キーボード、マウスなどのいずれのコンピュータ装置にも触れずにアブレーターワークステーションの機能を実行することが可能である。
図1に示されるように、一実施形態における本システムは、奥行きセンサー10、コンピュータ又はCPU 12、通信媒体14及びアブレーターワークステーションの一部であるクライアントコンピュータ16を備えている。CPU 12には動作検出ソフトウェアモジュール18が実装されていてもよい。クライアントコンピュータ16は、ターゲットソフトウェアモジュール20を制御することができる。クライアントコンピュータ16には通信クライアントモジュール22が実装されていてもよい。一実施形態では、システムは、マイクロフォン又はマイクロフォンアレイ28などの音声認識を更に含んでいてもよい。
奥行きセンサー10は、通常は、画像を記録するだけではなく、更に奥行きを記録し、記録された画像の3D表現を可能とする奥行き認識カメラを含む。当業者には周知であるように、奥行きセンサーは、センサーからの奥行きマップを用いて、例えば、使用者の手のジェスチャーなどの動作、形、及び位置を推測するコンピュータに接続されている。医療現場では、使用者はシステムの操作者、一般的には医師でありうる。本発明の一実施形態では、奥行きセンサーは頭及び手の運動を追跡する。別の実施形態では、奥行きセンサーは、頭及び手を追跡するのみではなく、コンピュータスクリーン又はモニターに近づく、かつ/又はモニターから遠ざかる運動などの全体的な身体の位置も追跡する。一実施形態では、奥行きセンサー10は、Microsoft(登録商標)Kinect、ASUS(登録商標)Xtion PRO、ASUS(登録商標)Xtion PRO LIVEなどのモジュール又はミドルウェアによって実施することができる。1又は2以上の奥行きセンサーを並列して使用することで塞栓部の扱い、視野及び精度を拡張することができる。充分に細かい奥行きマップをリアルタイムで提供することが可能なカメラなどの任意のセンサーを取り付けて本発明のシステムとともに使用することができる。奥行きセンサーは、位置情報を取得し、この情報を下記に述べるようにして処理を行うためにCPU 12に転送する。当該技術分野では周知であるように、ソフトウェア及び奥行きセンサー10によって与えられるドライバーを用いてこの位置情報を取得することができる。
CPU 12内の動作検出ソフトウェアモジュール又はモーションソフトウェア18が、奥行きセンサー10から、例えば、手、頭、足などの操作者の関連する身体の部分の位置などの位置情報を毎秒数回、取得する。それぞれの受容された動作及び/又は身体の位置は追跡され、短い運動履歴ファイル又はデータセットに保存される。
モーションソフトウェアは、モーションソフトウェア18からの身体部分の運動として検出されたデータを、短い運動履歴のデータとともに用いてより複雑な運動を推測し、このデータを、手の前方への動き、手で円を描く動き、又は頭でうなずくといった意味のあるジェスチャーに処理するソフトウェアを含みうる。例えば、手の直線運動及び/又は円運動が検出され、パラメータが計算されることによって、これらの運動が定量化される。モーションソフトウェアは、運動の大きさ、運動が捉えられた時間、運動の速度及び/又は長さなどの特定の属性をそれぞれのジェスチャーと関連付ける。
システムは、身体追跡技術を用いることによって、すなわち、最初の形態から開始して、使用者の個別の運動を追跡し、その特定の使用者による動作のみに対して応答がなされるようにすることによって、特定の使用者と関連付けることができる。例えば、身体の位置及び運動を追跡し、前のフレームにおける位置からの差異が充分に小さいかぎり、これらの運動は同じ人であると仮定される。このシステムは、奥行きセンサー内のカメラによる顔検出及び/又は認識を用いることによって特定の使用者と関連付けることもできる。このシステムは、顔検出及び/又は認識を用いてその身体がそれぞれの状態又は位置において認識された顔と関連付けられたものであることを確認することができる。これらの方法は例えば、運動が小さい間は身体追跡を用い、不明確さが生じた場合には顔検出及び/又は認識を用いて正しい使用者を見つけた後、前と同様に継続するように組み合わせることができる。
動作検出ソフトウェアモジュール18は、更に、どの動作又は運動を許容し、どれを適用不能、例えば、無効な、かつ/又は許可されていないものとして、無視又はフィルタリングする必要があるかを決定することが可能なフィルターを含みうる。無効な、例えば、無関係な動作とは、動作検出ソフトウェアモジュール18によって許容されない動作であってもよい。例えば、動作が小さすぎるか又は遅すぎて使用者の制御不能な自然な運動をフィルタリングできない場合には、この動作は無効又は無関係なものとされる。許可されていない動作とは、適正な使用者によって行われない動作、かつ/又は所定の条件にしたがって行われない動作のことである。例えば、安全及び/又はセキュリティーのため、特定の手の動きの間、かつ/又は手術中の所定の時間においてフットペダルを踏むなどの、対応するハードウェア装置による物理的入力及び/又は相互作用を必要とするようにしてもよい。複数のカメラが使用され、1個のカメラによって医師の全身像が捉えられる一実施形態では、その特定の医師が適当な物理的入力を与えたか否かを判定することができる。例えば、検出された動作に加えて物理的入力を必要とするなどのこうしたセキュリティー手段は、室内の人がシステムを勝手にいじろうとはしないだろうという信頼に基づいたものであるが、それよりもこのセキュリティー手段は、万が一、医師/使用者が誤って何らかのジェスチャーを行った場合に重大な機能が意図せずに行われることを防止する更なるセキュリティーを与えるものである。
本システムにハードウェア装置を接続することによって、上記に述べたようなシステムによる望ましくない動作を防止することができる。これは医療用ソフトウェアでは非常に重要な意味を有しうる。例えば、フットペダルなどのハードウェア装置(図に示されていない)を、例えば、フットペダルが踏まれることなどの装置の動作を受信及び解釈し、これらの動作をクライアントの内部論理回路に用いる機能を担ったクライアントコンピュータ16及び/又はアブレーターワークステーションに接続することができる。ハードウェア装置を動作検出及びそのソフトウェアを実行するCPU 12に接続することも可能であり、その場合、装置の状態を検出された動作とともに送信し、かつ/又は装置の状態に基づいて特定の動作をフィルタリングすることができる。
フィルタリングされなかった動作は、通信媒体14を通じてクライアントコンピュータ16の通信クライアントモジュール20に送信される。通信媒体14は、シリアル、ローカルエリアネットワーク(LAN)、無線LAN(WLAN)、ブルートゥース、無線などであってもよい。
クライアントコンピュータ16は、例えば、ジェスチャーなどの解釈された動作を受信する。ターゲットソフトウェアモジュール20は、受信された動作が有効か否かを判定する。無効な動作とは、ターゲットソフトウェアモジュール20内において定義されていない動作であってもよい。例えば、1つのクライアントソフトウェアモジュールが作動している場合、スクリーンに近づく動作を、モードをユニポーラに切り換えるものとして定義することが可能であるが、別のクライアントが作動している場合にはスクリーンに近づくこの動作を不適切又は無関係であるものとして定義されないようにすることもできる。更に、無効な動作は、所定の前提条件が満たされないかぎり許可されないものとすることもできる。例えば、ハードウェア装置がクライアントコンピュータに接続されている場合、動作は、ハードウェア装置の動作と組み合わせて行われる場合にのみ許可又は有効とされるようにすることが可能であり、例えば、手を振る動作を、ハードウェア装置のフットペダルが踏まれている間にそれが行われる場合にのみ有効とすることができる。
ターゲットソフトウェアモジュール20などのクライアント論理回路は、それぞれの認識された(例えば、有効な)ジェスチャーにどのように応答するかを決定する。ターゲットソフトウェアモジュール20がアブレーターワークステーションと関連付けられることで、クライアント論理回路は、出力設定を変更する、電極を選択及び選択解除する、電極当たりの最大許容温度を変更する、といったタスクを実行することが可能となりうる。これにより、クライアントソフトウェアはその論理回路を用いて、ジェスチャーが握りこぶしである場合には、クライアント論理回路が電極を選択するタスクを実行し、ジェスチャーが上方への手の動きである場合には、クライアント論理回路が選択された電極の温度を上げるタスクを行うことができるように決定することができる。
本発明のシステムを操作するためには、使用者は、まず制御を行って、タッチフリー操作を作動する必要がある。制御を行うためには、使用者はシステムに使用者が指示を送信することを確認させる。次いで、システムは、上記に述べたように異なる手のジェスチャー及び/又は頭及び/又は他の身体の運動の形態である指示に応答する。制御は、それ以上の制御が必要でなくなるか、又はある期間の無運動状態が検出された時点で解除される。制御を行うことは、例えば、手を振る、頭を動かすなどの焦点合わせジェスチャーを用いるか、あるいは踏み込んでいる間の制御を可能とするフットペダルなどのハードウェアを使用するか、あるいは音声コマンドのいずれかによって実現することができる。
システムによって検出される動作は、固定された機能は有していない。システムは、機能及び使用者がクライアントコンピュータ16を現在操作しているモードに基づき、それぞれのジェスチャー、形、又は運動にそのコンテキストに応じて意味を関連付ける。例えば、使用者が選択モードでクライアントを操作している間、頭を動かすことによってユニポーラからバイポーラへ、及びその逆にモードを変更することができる。
タッチフリー制御が作動されている時間の間、使用者に対して視覚的指示を示すことができる。必要に応じて、タッチフリー制御の作動及び停止時に聴覚的指示を与えることもできる。
一実施形態では、こうしたハンドフリー操作は、検出される動作とは別に、又はこれと組み合わせて音声入力によって補助することができる。例えば、Microsoft(登録商標)Kinectは周辺機器としてマイクロフォンを有し、認識された音声が来た方向を検出することができる。この及び/又は他の音声認識技術を用いて音声コマンドを捕捉し、使用者からの音声コマンドを選択的にフィルタリングすることができる。音声コマンドはジェスチャーと組み合わせることもできる。例えば、使用者は「アブレーター出力」と発声してから手を上下に動かして出力を調整することができる。別の例では、使用者は「アブレーター温度」と発声してから手を上下に動かして温度設定を調整することができる。更に別の例では、使用者は「アブレーター電極」と発声し、手を左右に動かしてスクリーン上の電極制御をハイライトし、「進む」と発声して選択を切り換えることができる。別の例では、使用者は、「アブレーター電極なし/偶数/奇数/すべて」と発声することで電極を適宜選択又は選択解除することができる。クライアントコンピュータは、それぞれの動作が最も新しく認識された音声コマンドとの組み合わせで何を意味するかを決定するうえですべてのロジックを実行する。この実施形態の1つの形態では、音声コマンドのみの使用又はジェスチャーのみの使用によって特定のコマンドを実行することが可能であり、例えば、アブレーションモードの設定を、ジェスチャーを行う必要なく「アブレーターバイポーラ」又は「アブレーターユニポーラ」と発声するだけで行うことができる。
図2は、1つのワークステーション26内にCPU及びクライアントコンピュータの両方のモジュールを有する実施形態を示したものである。図2に示される実施形態のシステムは、図1の要素と同じ機能を有する奥行きセンサー10、音声認識24、動作検出ソフトウェアモジュール18、及びターゲットソフトウェアモジュール20を有している。しかしながらこの実施形態では、1つのみのワークステーション26が使用され、ターゲットソフトウェアモジュール20がクライアント通信モジュールを含んでいる。本発明は、図1又は図2の構成に限定されるものではない。それぞれが1又は2以上のモジュールを有する複数のCPUを使用することも可能である。
図3は、本発明の方法のフローチャートである。工程S1では、通常、使用者は、動作、音声コマンドを実行するか又はフットペダルを踏み込むことにより、タッチフリー制御システムの制御を行う。工程S2では、位置の変化を含む運動が奥行きセンサー10によって検出されてCPU 12に送信される。工程S3では、CPUは短い運動及び/又は位置変化の履歴を追跡及び保存する。工程S4では、CPU 12は、モーションソフトウェアを使用して、短い履歴に基づいて受信された動作からより複雑な運動又はジェスチャーを推測する。工程S5及びS6では、フィルタリングが行われる。工程S5では、その運動が予測された位置の範囲内であるか否かを判定し、かつ/又は顔認識を行うことによって、そのジェスチャーが許可された、又は適正な使用者によって行われているか否かが判定される。ジェスチャーが許可された使用者によるものと判定された場合(S5=YES)には、処理は工程S6に進み、ここでCPUによってジェスチャーが確認される。ジェスチャーが確認された場合(S6=YES)には、ジェスチャーはクライアントコンピュータに送信され、工程S3において更なる動作追跡が再び開始される。工程S7では、ジェスチャーは、クライアントコンピュータ上の通信クライアントモジュールにおいて受信される。ジェスチャーが作動しているターゲットソフトウェアモジュールによって認識された場合(S8=YES)、工程S9においてクライアントコンピュータは装置の機能又は動作、例えば、タスクを、アブレーターワークステーションにおいて、推測されたジェスチャーに基づいたクライアント論理回路又はターゲットソフトウェアモジュールにしたがって実行する。これらのタスクには、1又は2以上の電極の出力設定を変更すること、1又は2以上の電極について最大許容温度を変更すること、アブレーターのモード(ユニポーラ又はバイポーラ)を変更すること、アブレーターの電極を選択及び選択解除することなどが含まれるが、これらに限定されるものではない。モーションソフトウェアがジェスチャーをクライアントコンピュータに送信した時点で(S6=YESである場合)、モーションソフトウェアは、次の検出された動作及び/又は身体の位置に対する応答に戻る。
一実施形態では、許可された運動を行うことは、運動が別の装置などのハードウェアと併せて行われるか否かを判定することを必要とする。この実施形態では、許可された運動は、ソフトウェアによって推測された複雑な運動と、フットペダルを踏み込むなどの更なる動作とを含まなければならない。このような許可は、S5=YESである場合には、工程S5の後に、更に工程S6の前に行うことができる。
検出された運動が許可された使用者によって行われていない(S5=NO)か、検出された運動が有効なものではない(S6=NO)場合には、処理は工程S3で継続する。ジェスチャーがクライアントソフトウェアによって認識されない場合(S8=NO)、タスクは実行されない。
本発明のシステムによれば、頭部追跡及び/又は他の動作検出技術を用いて手術室の装置によりタスクを実行することが可能となり、医師又は他のシステムの使用者がカテーテルの操作に少なくとも一方の手を使いながら特定の動作を行うことができるために有利である。本システムは、ジェスチャーをフィルタリングし、許可された人員に対してのみ送ることが可能であるために効果的である。これにより、システムは意図された使用者によってのみ制御される。他者による手のジェスチャー及び頭の運動、並びに他の動作は無視することができる。
本開示の様々な態様は、コンピュータ又は機械によって使用又は読み取り可能な媒体中に実施又は記憶されたプログラム、ソフトウェア、又はコンピュータ命令によって実施することが可能であり、こうしたプログラム、ソフトウェア、又はコンピュータ命令がコンピュータ、プロセッサー、及び/又は機械上で実行されると、コンピュータ又は機械が本方法の各工程を行う。機械によって実行可能な命令のプログラムを実体的に実施することによって本開示に述べられる様々な機能及び方法を行う、例えば、コンピュータ読み取り可能な媒体などの機械によって読み取り可能なプログラム記憶装置もまた提供される。
本開示のシステム及び方法は、汎用コンピュータ又は特殊な目的のコンピュータシステム上で実施又は実行することが可能である。コンピュータシステムは、任意の種類の周知の又は将来的に周知となるであろうシステムであってもよく、プロセッサー、メモリー装置、記憶装置、入力/出力装置、内部バス、及び/又は、他のコンピュータシステムと通信するための通信用インターフェースを通信用ハードウェア及びソフトウェアなどとともに一般的に含みうる。本システムは、口語表現でクラウドとして知られるバーチャルコンピュータシステム上で実施することも可能である。
コンピュータ読み取り可能な媒体とはコンピュータ読み取り可能な記憶装置であり、例えば、これは磁気的、光学的、電子的、電磁的、赤外線、又は半導体システム、装置、若しくは機器、又は上記のものの任意の適当な組み合わせであってもよいが、コンピュータ読み取り可能な記憶装置はこれらの例に限定されるものではない。コンピュータ読み取り可能な記憶装置の更なる特定の例としては、ポータブルコンピュータフロッピーディスク、ハードディスク、磁気記憶装置、ポータブルコンパクトディスク読み出し専用メモリー(CD−ROM)、ランダムアクセスメモリー(RAM)、読み出し専用メモリー(ROM)、消去可能プログラム可能読み出し専用メモリー(EPROM又はフラッシュメモリー)、1又は2以上の配線を有する電気的接続、光ファイバー、光学的記憶装置、又は上記のものの任意の適当な組み合わせが挙げられるが、コンピュータ読み取り可能な記憶媒体もまた、これらの例に限定されるものではない。命令実行システム、装置又は機器によって、又はこれらとともに使用されるプログラムを格納又は記憶することが可能なあらゆる実体的な媒体がコンピュータ読み取り可能な記憶装置となりうる。
本出願において使用しうるところの「コンピュータシステム」及び「コンピュータネットワーク」なる用語には、据え置き型及び/又は携帯型のコンピュータハードウェア、ソフトウェア、周辺機器、及び記憶装置の様々な組み合わせが含まれうる。コンピュータシステムは、ネットワーク化されるか又は他の態様で接続されることによって協働して動作する個別の構成要素を含むか、又は1又は2以上のスタンドアローンの構成要素を含みうる。本出願のコンピュータシステムのハードウェア及びソフトウェア構成要素は、デスクトップ、ラップトップ、及び/又はサーバなどの据え置き型又は携帯型の装置、並びにサーバのネットワーク(クラウド)を含み、これらに含まれうる。モジュールとは、ソフトウェア、ハードウェア、ファームウェア、電子回路などとして実施することが可能な、特定の「機能」を実行する装置、ソフトウェア、プログラム、又はシステムの構成要素でありうる。
上記に述べた実施形態は説明のための例であり、本発明はこれらの特定の実施形態に限定されるものとして解釈されるべきではない。したがって、当業者であれば、付属の特許請求の範囲において定義される本発明の趣旨及び範囲から逸脱することなく様々な変更及び改変を行うことが可能である。
〔実施の態様〕
(1) アブレーターワークステーションのタッチフリー操作を行うためのシステムであって、
運動を検出するための奥行きセンサーと、
前記奥行きセンサーから前記検出された運動を受信し、前記検出された運動に基づいてジェスチャーを推測し、前記ジェスチャーをフィルタリングして適用可能なジェスチャーを受け取るように作動可能なモーションソフトウェアモジュールと、
前記適用可能なジェスチャーを前記アブレーターワークステーション内のクライアントコンピュータにて受信して前記適用可能なジェスチャーに基づいたクライアント論理回路にしたがってタスクを実行するように作動可能なクライアントソフトウェアモジュールと、を含む、システム。
(2) 前記タスクが、1又は2以上の電極の出力設定を変更すること、前記1又は2以上の電極について最大許容温度を変更すること、アブレーションモードを変更すること、アブレーションを行う前記1又は2以上の電極を選択すること、及びアブレーションを行う前記1又は2以上の電極を選択解除することの1つである、実施態様1に記載のシステム。
(3) 前記運動が、頭部の動作、手の動作、及び身体の動作の少なくとも1つであり、前記ジェスチャーが短い履歴に基づいて更に推測される、実施態様1に記載のシステム。
(4) 前記検出された運動を前記適用可能なジェスチャーとするためのハードウェアを更に含む、実施態様1に記載のシステム。
(5) 前記適用可能なジェスチャーが、顔認識を用いて許可を有すると判定された使用者によって行われる前記検出された運動、及び前記クライアント論理回路にしたがって認識されるジェスチャーの1又は2以上である、実施態様1に記載のシステム。
(6) 前記ジェスチャーのフィルタリングが、前記ジェスチャーが許可されたものであり、かつ有効なものであるか否かを判定することによって実行される、実施態様1に記載のシステム。
(7) 前記適用可能なジェスチャーを前記クライアントコンピュータにて受信するためのクライアント通信モジュールを更に含む、実施態様1に記載のシステム。
(8) 前記クライアントが前記適用可能なジェスチャーと共に音声入力に基づいて前記タスクを実行することを可能とするための前記音声入力を与える音声認識を更に含む、実施態様1に記載のシステム。
(9) アブレーターワークステーションのタッチフリー操作を行うための方法であって、
奥行きセンサーを使用して運動を検出する工程と、
前記検出された運動に基づいてジェスチャーを推測する工程と、
前記ジェスチャーをフィルタリングして適用可能なジェスチャーを受け取る工程と、
前記アブレーターワークステーション内のクライアントにて前記適用可能なジェスチャーを受信する工程と、
前記適用可能なジェスチャーに基づいたクライアント論理回路にしたがってタスクを実行する工程と、を含む方法。
(10) 前記タスクが、1又は2以上の電極の出力設定を変更すること、前記1又は2以上の電極について最大許容温度を変更すること、アブレーションモードを変更すること、アブレーションを行う前記1又は2以上の電極を選択すること、及びアブレーションを行う前記1又は2以上の電極を選択解除することの1つである、実施態様9に記載の方法。
(11) 前記運動が、頭部の動作、手の動作、及び身体の動作の少なくとも1つであり、前記ジェスチャーが短い履歴に基づいて更に推測される、実施態様9に記載の方法。
(12) ハードウェアが作動している間に前記適用可能なジェスチャーが行われる、実施態様9に記載の方法。
(13) 前記適用可能なジェスチャーが、顔認識を用いて許可を有すると判定された使用者によって行われる前記検出された運動である、実施態様9に記載の方法。
(14) 前記適用可能なジェスチャーが、前記クライアント論理回路にしたがって認識されるジェスチャーである、実施態様9に記載の方法。
(15) 音声認識を用いた音声入力を与える工程を更に含み、前記実行する工程が、前記適用可能なジェスチャーと共に前記音声入力に基づいて行われる、実施態様9に記載の方法。
(16) 前記ジェスチャーをフィルタリングする工程が、前記ジェスチャーが許可されたものであり、かつ有効なものであるか否かを判定する工程を含む、実施態様9に記載の方法。
(17) アブレーターワークステーションのタッチフリー操作を行うための方法を実行するために機械により実行可能な命令のプログラムを記憶するためのコンピュータ読み取り可能な記憶装置であって、前記方法が、
奥行きセンサーを使用して運動を検出する工程と、
CPUを使用して、前記検出された運動に基づいてジェスチャーを推測する工程と、
前記ジェスチャーをフィルタリングして適用可能なジェスチャーを受け取る工程と、
前記アブレーターワークステーション内のクライアントにて前記適用可能なジェスチャーを受信する工程と、
前記適用可能なジェスチャーに基づいたクライアント論理回路にしたがってタスクを実行する工程と、を含む、装置。
(18) 前記タスクが、1又は2以上の電極の出力設定を変更すること、前記1又は2以上の電極について最大許容温度を変更すること、アブレーションモードを変更すること、アブレーションを行う前記1又は2以上の電極を選択すること、及びアブレーションを行う前記1又は2以上の電極を選択解除することの1つである、実施態様17に記載のプログラム。
(19) 前記運動が、頭部の動作、手の動作、及び身体の動作の少なくとも1つである、実施態様17に記載のプログラム。
(20) 前記適用可能なジェスチャーが、ハードウェアが作動している間に行われる動作、及び顔認識を用いて許可を有すると判定された使用者による動作の1つである、実施態様17に記載のプログラム。
(21) 前記ジェスチャーをフィルタリングする工程が、前記ジェスチャーが許可されたものであり、かつ有効なものであるか否かを判定する工程を含む、実施態様17に記載のプログラム。
(22) 音声認識を用いた音声入力を与える工程を更に含み、前記実行する工程が、前記適用可能なジェスチャーと共に前記音声入力に基づいて行われる、実施態様17に記載のプログラム。

Claims (17)

  1. アブレーターワークステーションのタッチフリー操作を行うためのシステムであって、
    運動を検出するための奥行きセンサーと、
    前記奥行きセンサーから前記検出された運動を受信し、前記検出された運動に基づいてジェスチャーを推測し、前記ジェスチャーをフィルタリングして適用可能なジェスチャーを受け取るように作動可能なモーションソフトウェアモジュールと、
    前記適用可能なジェスチャーを前記アブレーターワークステーション内のクライアントコンピュータにて受信して前記適用可能なジェスチャーに基づいたクライアント論理回路にしたがってタスクを実行するように作動可能なクライアントソフトウェアモジュールと、を含む、システム。
  2. 前記タスクが、1又は2以上の電極の出力設定を変更すること、前記1又は2以上の電極について最大許容温度を変更すること、アブレーションモードを変更すること、アブレーションを行う前記1又は2以上の電極を選択すること、及びアブレーションを行う前記1又は2以上の電極を選択解除することの1つである、請求項1に記載のシステム。
  3. 前記運動が、頭部の動作、手の動作、及び身体の動作の少なくとも1つであり、前記ジェスチャーが短い履歴に基づいて更に推測される、請求項1に記載のシステム。
  4. 前記検出された運動を前記適用可能なジェスチャーとするためのハードウェアを更に含む、請求項1に記載のシステム。
  5. 前記適用可能なジェスチャーが、顔認識を用いて許可を有すると判定された使用者によって行われる前記検出された運動、及び前記クライアント論理回路にしたがって認識されるジェスチャーの1又は2以上である、請求項1に記載のシステム。
  6. 前記ジェスチャーのフィルタリングが、前記ジェスチャーが許可されたものであり、かつ有効なものであるか否かを判定することによって実行される、請求項1に記載のシステム。
  7. 前記適用可能なジェスチャーを前記クライアントコンピュータにて受信するためのクライアント通信モジュールを更に含む、請求項1に記載のシステム。
  8. 前記クライアントが前記適用可能なジェスチャーと共に音声入力に基づいて前記タスクを実行することを可能とするための前記音声入力を与える音声認識を更に含む、請求項1に記載のシステム。
  9. アブレーターワークステーションのタッチフリー操作を行うための方法であって、
    奥行きセンサーを使用して運動を検出する工程と、
    前記検出された運動に基づいてジェスチャーを推測する工程と、
    前記ジェスチャーをフィルタリングして適用可能なジェスチャーを受け取る工程と、
    前記アブレーターワークステーション内のクライアントにて前記適用可能なジェスチャーを受信する工程と、
    前記適用可能なジェスチャーに基づいたクライアント論理回路にしたがってタスクを実行する工程と、を含む方法。
  10. 前記タスクが、1又は2以上の電極の出力設定を変更すること、前記1又は2以上の電極について最大許容温度を変更すること、アブレーションモードを変更すること、アブレーションを行う前記1又は2以上の電極を選択すること、及びアブレーションを行う前記1又は2以上の電極を選択解除することの1つである、請求項9に記載の方法。
  11. 前記運動が、頭部の動作、手の動作、及び身体の動作の少なくとも1つであり、前記ジェスチャーが短い履歴に基づいて更に推測される、請求項9に記載の方法。
  12. ハードウェアが作動している間に前記適用可能なジェスチャーが行われる、請求項9に記載の方法。
  13. 前記適用可能なジェスチャーが、顔認識を用いて許可を有すると判定された使用者によって行われる前記検出された運動である、請求項9に記載の方法。
  14. 前記適用可能なジェスチャーが、前記クライアント論理回路にしたがって認識されるジェスチャーである、請求項9に記載の方法。
  15. 音声認識を用いた音声入力を与える工程を更に含み、前記実行する工程が、前記適用可能なジェスチャーと共に前記音声入力に基づいて行われる、請求項9に記載の方法。
  16. 前記ジェスチャーをフィルタリングする工程が、前記ジェスチャーが許可されたものであり、かつ有効なものであるか否かを判定する工程を含む、請求項9に記載の方法。
  17. 請求項9〜16のいずれか1項に記載の方法を実行するために機械により実行可能な命令のプログラムを記憶するためのコンピュータ読み取り可能な記憶装置。
JP2013002425A 2012-01-11 2013-01-10 奥行きセンサーの使用によるアブレーターワークステーションのタッチフリー操作 Active JP6195713B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/347,987 US9931154B2 (en) 2012-01-11 2012-01-11 Touch free operation of ablator workstation by use of depth sensors
US13/347,987 2012-01-11

Publications (2)

Publication Number Publication Date
JP2013143149A true JP2013143149A (ja) 2013-07-22
JP6195713B2 JP6195713B2 (ja) 2017-09-13

Family

ID=47594531

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013002425A Active JP6195713B2 (ja) 2012-01-11 2013-01-10 奥行きセンサーの使用によるアブレーターワークステーションのタッチフリー操作

Country Status (9)

Country Link
US (4) US9931154B2 (ja)
EP (2) EP2614788B1 (ja)
JP (1) JP6195713B2 (ja)
CN (2) CN111513843A (ja)
AU (1) AU2013200053B2 (ja)
CA (1) CA2801493C (ja)
DK (1) DK2614788T3 (ja)
ES (1) ES2761248T3 (ja)
IL (1) IL224097B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015069653A (ja) * 2013-09-30 2015-04-13 バイオセンス・ウエブスター・(イスラエル)・リミテッドBiosense Webster (Israel), Ltd. 無声無喉頭発声を用いるシステムの制御

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8317744B2 (en) 2008-03-27 2012-11-27 St. Jude Medical, Atrial Fibrillation Division, Inc. Robotic catheter manipulator assembly
WO2009120982A2 (en) 2008-03-27 2009-10-01 St. Jude Medical, Atrial Fibrillation Division, Inc. Robotic catheter system with dynamic response
US9161817B2 (en) 2008-03-27 2015-10-20 St. Jude Medical, Atrial Fibrillation Division, Inc. Robotic catheter system
US9241768B2 (en) 2008-03-27 2016-01-26 St. Jude Medical, Atrial Fibrillation Division, Inc. Intelligent input device controller for a robotic catheter system
US8684962B2 (en) 2008-03-27 2014-04-01 St. Jude Medical, Atrial Fibrillation Division, Inc. Robotic catheter device cartridge
WO2009120992A2 (en) 2008-03-27 2009-10-01 St. Jude Medical, Arrial Fibrillation Division Inc. Robotic castheter system input device
US8343096B2 (en) 2008-03-27 2013-01-01 St. Jude Medical, Atrial Fibrillation Division, Inc. Robotic catheter system
US9439736B2 (en) 2009-07-22 2016-09-13 St. Jude Medical, Atrial Fibrillation Division, Inc. System and method for controlling a remote medical device guidance system in three-dimensions using gestures
US9330497B2 (en) 2011-08-12 2016-05-03 St. Jude Medical, Atrial Fibrillation Division, Inc. User interface devices for electrophysiology lab diagnostic and therapeutic equipment
EP2542296A4 (en) 2010-03-31 2014-11-26 St Jude Medical Atrial Fibrill INTUITIVE USER INTERFACE CONTROL FOR REMOTE CATHETER NAVIGATION AND 3D CARTOGRAPHY AND VISUALIZATION SYSTEMS
EP2805287A4 (en) * 2012-01-20 2016-05-25 Medivators Inc USE OF RECOGNITION OF HUMAN ENTRY TO PREVENT CONTAMINATION
US20140009372A1 (en) * 2012-07-05 2014-01-09 Zone24X7 Inc. Failsafe content presentation for electronic signage applications
IL221863A (en) * 2012-09-10 2014-01-30 Elbit Systems Ltd Digital video photography system when analyzing and displaying
US9436287B2 (en) * 2013-03-15 2016-09-06 Qualcomm Incorporated Systems and methods for switching processing modes using gestures
US20140358691A1 (en) * 2013-06-03 2014-12-04 Cloudwear, Inc. System for selecting and receiving primary and supplemental advertiser information using a wearable-computing device
DE102013108114B4 (de) * 2013-07-30 2015-02-12 gomtec GmbH Eingabevorrichtung zur Gestensteuerung mit Schutzeinrichtung
US9766855B2 (en) * 2013-09-10 2017-09-19 Avigilon Corporation Method and apparatus for controlling surveillance system with gesture and/or audio commands
DE102013110847B3 (de) * 2013-10-01 2015-01-22 gomtec GmbH Steuervorrichtung und Verfahren zum Steuern eines Robotersystems mittels Gestensteuerung
US20150199017A1 (en) * 2014-01-10 2015-07-16 Microsoft Corporation Coordinated speech and gesture input
JP6371402B2 (ja) * 2014-02-12 2018-08-08 ノキア テクノロジーズ オサケユイチア 装置のファームウェアを更新するための方法および装置
CN103978487B (zh) * 2014-05-06 2017-01-11 宁波易拓智谱机器人有限公司 一种基于手势的通用机器人末端位置的操控方法
US10585485B1 (en) 2014-11-10 2020-03-10 Amazon Technologies, Inc. Controlling content zoom level based on user head movement
US10045825B2 (en) 2015-09-25 2018-08-14 Karl Storz Imaging, Inc. Partial facial recognition and gaze detection for a medical system
US11291465B2 (en) 2017-10-30 2022-04-05 Cilag Gmbh International Surgical instruments comprising a lockable end effector socket
CN108908372A (zh) * 2018-08-13 2018-11-30 四川桑瑞思环境技术工程有限公司 一种巡检系统
US11804679B2 (en) 2018-09-07 2023-10-31 Cilag Gmbh International Flexible hand-switch circuit
US11923084B2 (en) 2018-09-07 2024-03-05 Cilag Gmbh International First and second communication protocol arrangement for driving primary and secondary devices through a single port
US11696791B2 (en) 2018-09-07 2023-07-11 Cilag Gmbh International Surgical instrument utilizing drive signal to power secondary function
US11218822B2 (en) * 2019-03-29 2022-01-04 Cilag Gmbh International Audio tone construction for an energy module of a modular energy system
US11107236B2 (en) 2019-04-22 2021-08-31 Dag Michael Peter Hansson Projected augmented reality interface with pose tracking for directing manual processes
US11857252B2 (en) 2021-03-30 2024-01-02 Cilag Gmbh International Bezel with light blocking features for modular energy system
US11950860B2 (en) 2021-03-30 2024-04-09 Cilag Gmbh International User interface mitigation techniques for modular energy systems

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008529707A (ja) * 2005-02-18 2008-08-07 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 医療機器の自動制御
WO2009137688A2 (en) * 2008-05-07 2009-11-12 Carrot Medical Llc Integration system for medical instruments with remote control
US20100231509A1 (en) * 2009-03-12 2010-09-16 Marc Boillot Sterile Networked Interface for Medical Systems
JP2011517357A (ja) * 2008-03-04 2011-06-02 ジェスチャー テック,インコーポレイテッド 改良されたジェスチャに基づく画像操作
WO2011123669A1 (en) * 2010-03-31 2011-10-06 St. Jude Medical, Atrial Fibrillation Division, Inc. Intuitive user interface control for remote catheter navigation and 3d mapping and visualization systems
JP2011232964A (ja) * 2010-04-28 2011-11-17 Casio Comput Co Ltd 電気機器、及びその制御方法とプログラム
US20110313768A1 (en) * 2010-06-18 2011-12-22 Christian Klein Compound gesture-speech commands

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6368269B1 (en) 1993-05-20 2002-04-09 Tilane Corporation Apparatus for concurrent actuation of multiple foot pedal operated switches
US6243683B1 (en) 1998-12-29 2001-06-05 Intel Corporation Video control of speech recognition
JP2000347692A (ja) 1999-06-07 2000-12-15 Sanyo Electric Co Ltd 人物検出方法、人物検出装置及びそれを用いた制御システム
WO2001082811A1 (en) * 2000-04-27 2001-11-08 Medtronic, Inc. System and method for assessing transmurality of ablation lesions
US7110580B2 (en) * 2000-05-19 2006-09-19 Nextgenid, Inc. Distributed biometric access control method and apparatus
JP2004213087A (ja) * 2002-12-26 2004-07-29 Toshiba Corp 個人認証装置および個人認証方法
ES2262423B1 (es) 2005-02-18 2007-11-16 Manuel Fernandez Guerrero Sistema de activacion y desactivacion automatica de radiacion ionizante controlado por la mirada del operador.
US7346425B2 (en) * 2005-04-27 2008-03-18 Toshiba Kikai Kabushiki Kaisha Control device for use in injection molding machine
US7593549B2 (en) 2006-04-27 2009-09-22 Bruce Reiner Apparatus and method for utilizing biometrics in medical applications
CN101689244B (zh) 2007-05-04 2015-07-22 高通股份有限公司 用于紧凑设备的基于相机的用户输入
US20080319507A1 (en) * 2007-06-25 2008-12-25 Reliant Technologies, Inc. Tissue Treatment Device and Method of Restricting Use of Device
CN101874404B (zh) 2007-09-24 2013-09-18 高通股份有限公司 用于语音和视频通信的增强接口
US8315876B2 (en) 2008-05-09 2012-11-20 Plantronics, Inc. Headset wearer identity authentication with voice print or speech recognition
US20100013767A1 (en) 2008-07-18 2010-01-21 Wei Gu Methods for Controlling Computers and Devices
US20100053187A1 (en) * 2008-09-04 2010-03-04 Nokia Corporation Method, Apparatus, and Computer Readable Medium for Editing an Avatar and Performing Authentication
US20100228132A1 (en) 2009-03-08 2010-09-09 Jeffrey Brennan Systems for controlling optical probe functions during medical and veterinary procedures
EP2429438A1 (en) 2009-04-24 2012-03-21 Medtronic, Inc. Electromagnetic navigation of medical instruments for cardiothoracic surgery
US8253746B2 (en) 2009-05-01 2012-08-28 Microsoft Corporation Determine intended motions
US8390680B2 (en) 2009-07-09 2013-03-05 Microsoft Corporation Visual representation expression based on player expression
KR20110055062A (ko) * 2009-11-19 2011-05-25 삼성전자주식회사 로봇 시스템 및 그 제어 방법
KR101626159B1 (ko) 2009-11-25 2016-05-31 엘지전자 주식회사 사용자 적응형 디스플레이 장치 및 디스플레이 방법
JP5601045B2 (ja) * 2010-06-24 2014-10-08 ソニー株式会社 ジェスチャ認識装置、ジェスチャ認識方法およびプログラム
US20120089392A1 (en) 2010-10-07 2012-04-12 Microsoft Corporation Speech recognition user interface
US8768006B2 (en) * 2010-10-19 2014-07-01 Hewlett-Packard Development Company, L.P. Hand gesture recognition
US8635560B2 (en) * 2011-01-21 2014-01-21 Blackberry Limited System and method for reducing power consumption in an electronic device having a touch-sensitive display
US9626498B2 (en) * 2011-12-15 2017-04-18 France Telecom Multi-person gestural authentication and authorization system and method of operation thereof

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008529707A (ja) * 2005-02-18 2008-08-07 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 医療機器の自動制御
JP2011517357A (ja) * 2008-03-04 2011-06-02 ジェスチャー テック,インコーポレイテッド 改良されたジェスチャに基づく画像操作
WO2009137688A2 (en) * 2008-05-07 2009-11-12 Carrot Medical Llc Integration system for medical instruments with remote control
US20100231509A1 (en) * 2009-03-12 2010-09-16 Marc Boillot Sterile Networked Interface for Medical Systems
WO2011123669A1 (en) * 2010-03-31 2011-10-06 St. Jude Medical, Atrial Fibrillation Division, Inc. Intuitive user interface control for remote catheter navigation and 3d mapping and visualization systems
JP2011232964A (ja) * 2010-04-28 2011-11-17 Casio Comput Co Ltd 電気機器、及びその制御方法とプログラム
US20110313768A1 (en) * 2010-06-18 2011-12-22 Christian Klein Compound gesture-speech commands

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015069653A (ja) * 2013-09-30 2015-04-13 バイオセンス・ウエブスター・(イスラエル)・リミテッドBiosense Webster (Israel), Ltd. 無声無喉頭発声を用いるシステムの制御

Also Published As

Publication number Publication date
CA2801493A1 (en) 2013-07-11
US20130176220A1 (en) 2013-07-11
EP2614788B1 (en) 2019-09-25
AU2013200053B2 (en) 2015-09-03
AU2013200053A1 (en) 2013-07-25
EP3586777A1 (en) 2020-01-01
US10653472B2 (en) 2020-05-19
DK2614788T3 (da) 2019-11-11
US11020165B2 (en) 2021-06-01
CN103207671A (zh) 2013-07-17
US20180140348A1 (en) 2018-05-24
US9931154B2 (en) 2018-04-03
US20180271583A1 (en) 2018-09-27
CN111513843A (zh) 2020-08-11
US10052147B2 (en) 2018-08-21
IL224097B (en) 2019-01-31
CA2801493C (en) 2020-05-05
US20200261143A1 (en) 2020-08-20
JP6195713B2 (ja) 2017-09-13
ES2761248T3 (es) 2020-05-19
EP2614788A1 (en) 2013-07-17

Similar Documents

Publication Publication Date Title
JP6195713B2 (ja) 奥行きセンサーの使用によるアブレーターワークステーションのタッチフリー操作
JP6306236B2 (ja) 奥行きセンサーの使用による装置のタッチフリー操作
KR20150002786A (ko) 제스처들을 이용한 디바이스와의 상호작용
JP2014535100A (ja) 認証型ジェスチャ認識
KR102117261B1 (ko) 거리 검출 및 생체 인증 방법, 저장 매체 및 단말
Jantz et al. A brain-computer interface for extended reality interfaces
CN110472396B (zh) 一种体感手势触控方法、系统、平台及存储介质
WO2019149123A1 (zh) 控制执行方法、装置、存储介质及电子装置
JP2013205896A (ja) 表示制御装置、表示制御方法およびプログラム
JP5558899B2 (ja) 情報処理装置、その処理方法及びプログラム
KR101374316B1 (ko) 시스루 디스플레이를 이용한 동작인식 장치 및 그 방법
JP2019202354A (ja) ロボット制御装置、ロボット制御方法及びロボット制御プログラム
JP5675196B2 (ja) 情報処理装置及びその制御方法
CN113590014B (zh) 基于姿态动作的电梯召唤方法、装置和计算机设备
KR102156175B1 (ko) 멀티 모달리티를 활용한 유저 인터페이스를 제공하는 인터페이싱 장치 및 그 장치를 이용한 방법
CN105373327B (zh) 一种信息处理方法和电子设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151022

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160819

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160830

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20161130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170123

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170314

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170616

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20170622

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170816

R150 Certificate of patent or registration of utility model

Ref document number: 6195713

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250