JP2017519586A - 医療装置用の制御装置 - Google Patents

医療装置用の制御装置 Download PDF

Info

Publication number
JP2017519586A
JP2017519586A JP2016575853A JP2016575853A JP2017519586A JP 2017519586 A JP2017519586 A JP 2017519586A JP 2016575853 A JP2016575853 A JP 2016575853A JP 2016575853 A JP2016575853 A JP 2016575853A JP 2017519586 A JP2017519586 A JP 2017519586A
Authority
JP
Japan
Prior art keywords
control device
predefined
medical device
movement
target area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016575853A
Other languages
English (en)
Other versions
JP6647228B2 (ja
Inventor
マルカ ルドルフ
マルカ ルドルフ
ギュヴェンチュ デニズ
ギュヴェンチュ デニズ
シュレーダー シュテファン
シュレーダー シュテファン
エズハン セルハン
エズハン セルハン
ペッシュ アンドレアス
ペッシュ アンドレアス
ロフトフィールド ニーナ
ロフトフィールド ニーナ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Trumpf Medizin Systeme GmbH and Co KG
Original Assignee
Trumpf Medizin Systeme GmbH and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Trumpf Medizin Systeme GmbH and Co KG filed Critical Trumpf Medizin Systeme GmbH and Co KG
Publication of JP2017519586A publication Critical patent/JP2017519586A/ja
Application granted granted Critical
Publication of JP6647228B2 publication Critical patent/JP6647228B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/04Positioning of patients; Tiltable beds or the like
    • A61B6/0487Motor-assisted positioning
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/467Arrangements for interfacing with the operator or the patient characterised by special input means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/54Control of apparatus or devices for radiation diagnosis
    • A61B6/548Remote control of the apparatus or devices
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61GTRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G13/00Operating tables; Auxiliary appliances therefor
    • A61G13/02Adjustable operating tables; Controls therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61GTRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G7/00Beds specially adapted for nursing; Devices for lifting patients or disabled persons
    • A61G7/002Beds specially adapted for nursing; Devices for lifting patients or disabled persons having adjustable mattress frame
    • A61G7/018Control or drive mechanisms
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/04Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/048Monitoring; Safety
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/18Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/19Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by positioning or contouring control systems, e.g. to control position from one programmed point to another or to control movement along a programmed continuous path
    • G05B19/27Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by positioning or contouring control systems, e.g. to control position from one programmed point to another or to control movement along a programmed continuous path using an absolute digital measuring device
    • G05B19/29Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by positioning or contouring control systems, e.g. to control position from one programmed point to another or to control movement along a programmed continuous path using an absolute digital measuring device for point-to-point control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10Controlling the light source
    • H05B47/105Controlling the light source in response to determined parameters
    • H05B47/115Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/44Constructional features of apparatus for radiation diagnosis
    • A61B6/4423Constructional features of apparatus for radiation diagnosis related to hygiene or sterilisation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61GTRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G12/00Accommodation for nursing, e.g. in hospitals, not covered by groups A61G1/00 - A61G11/00, e.g. trolleys for transport of medicaments or food; Prescription lists
    • A61G12/002Supply appliances, e.g. columns for gas, fluid, electricity supply
    • A61G12/004Supply appliances, e.g. columns for gas, fluid, electricity supply mounted on the ceiling
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61GTRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G2203/00General characteristics of devices
    • A61G2203/10General characteristics of devices characterised by specific control means, e.g. for adjustment or steering
    • A61G2203/12Remote controls
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61GTRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G2203/00General characteristics of devices
    • A61G2203/30General characteristics of devices characterised by sensor means
    • A61G2203/36General characteristics of devices characterised by sensor means for motion
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/32Operator till task planning
    • G05B2219/32287Medical, chemical, biological laboratory
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/50Machine tool, machine tool null till machine tool work handling
    • G05B2219/50151Orient, translate, align workpiece to fit position assumed in program
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00Transmission systems of control signals via wireless link
    • G08C2201/30User interface
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00Transmission systems of control signals via wireless link
    • G08C2201/30User interface
    • G08C2201/32Remote control based on movements, attitude of remote control device
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10Controlling the light source
    • H05B47/105Controlling the light source in response to determined parameters
    • H05B47/115Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
    • H05B47/125Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings by using cameras
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02BCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • High Energy & Nuclear Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Nursing (AREA)
  • Automation & Control Theory (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Manufacturing & Machinery (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Manipulator (AREA)
  • Accommodation For Nursing Or Treatment Tables (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

方向のベクトル(10)をその整列によって把握可能にするように構成された、対象物(8)を三次元的に検出するための少なくとも1つのセンサを有する、医療装置用の制御装置(2)が提供される。対象物(8)は目標領域へ方向付けられ、ベクトル(10)は、目標領域の表面との交点を生じる。制御装置(2)は、いずれの目標領域に交点が位置しているかを認識し、かつ、医療装置によって目標領域のために予め規定された動作を作動させるように適応されている。

Description

本発明は、医療装置用の制御装置に関し、特に、それによって医療装置の無接触操作が可能である制御装置に関する。
装置自体で、壁の操作パネルでまたは遠隔制御で操作される医療装置、例えば手術台または手術用照明が公知である。そのために、オペレータはこれらの操作エレメントの近くにいる必要がある。さらに、外科医自身は装置を操作することはできない。なぜならば、操作エレメントは、通常、無菌エリアの外に配置されており、外科医は、操作エレメントに触れることによって無菌でなくなるからである。
したがって、装置を操作するために、より大きな強調的努力が必要である。まず、オペレータは、外科医によって呼びかけられなければならず、オペレータは、操作エレメントの近くに来なければならないか、または遠隔制御を見つけなければならず、場合によっては、装置に対する操作エレメントの向きをチェックし、始動および停止させ、場合によっては、動作を修正しなければならない。
本発明は、上記欠点を修正し、無菌でなくなることなく外科医自身が装置を操作することができるように医療装置の無接触の単純な操作を可能にする、医療装置用の制御装置を提供するという課題に基づいてなされたものである。
この課題は、請求項1記載の制御装置および請求項15記載の医療装置を制御する方法によって達成される。
本発明による制御装置によって、対象物、例えば、外科医の指、およびその方向を検出することができる。センサによって、医療装置の作動させるべきエレメントのいずれに対象物が方向付けられているかを検出することができ、エレメントの予め規定された動作が実行される。これにより、医療装置の無接触操作が可能であり、医療装置の直感的な操作も可能になる。
ここで添付の図面を参照しつつ実施の形態によって本発明を説明する。
3Dセンサおよび本発明による制御装置を備える、医療装置用の、2つの例としての手術用照明および手術台を示している。 医療装置を制御するための手の異なる動きを示している。 制御装置の利用を示している。 制御装置の別の利用を示している。
図1には、手術台1’および手術用照明1’’が、制御される医療装置の例として示されている。手術台1’および手術用照明1’’は、データライン3’を介して制御装置2に接続されている。特に、手術台1’の制御装置4’および手術用照明1’’の制御装置4’’は、データライン3’,3’’を介して制御装置2に接続されている。接続はデータライン3’,3’’を介して確立されている。しかしながら、代替的に、無線または赤外線を介してワイヤレス形式で確立されてもよい。制御装置2は、代替的に、手術台1’の制御装置4’または手術用照明1’’の制御装置4’’、つまり、主に、医療装置の制御装置に含まれていることもできる。
さらに、3Dセンサ5が制御装置2に接続されている。3Dセンサ5によって、室内の対象物、それらの形状、位置および動きが検出される。ここでは、動きを検出するとは、ある動きの連続における対象物全体の並進または回転、対象物のある部分の動きによる変形、および、対象物の並進または回転と変形との組合せが検出されることを意味する。代替的な実施の形態では、異なる方向から対象物を検出するために複数の3Dセンサが設けられている。これにより、対象物の検出時の信頼性をより高め、対象物を検出可能なスペースを広げることが可能である。選択的に、エンプロイメントが劣化を考慮してあまり重要でないように、1つまたは複数の3Dセンサは部屋の天井に固定される。代替的に、少なくとも1つの3Dセンサ5は、手術台1’または手術用照明1’’、つまり医療装置自体に取り付けられているかまたは組み込まれている。3Dセンサの利用は、適切なセンサの選択を意味し、この利用は、3Dセンサに限定されるのではなく、別の適切なセンサを使用することができる。制御のために意図されたジェスチャは、画像認識用のカメラシステムの利用によって認識することも可能である。
1つの実施の形態では、3Dセンサ5は、いわゆるToF(Time of Flight)カメラである。ここでは、対象物が光パルスによって照明され、光が対象物によって反射されるやり方で、カメラからの距離が複数のピクセルについて測定される。光が放射されてからToFカメラに戻るまでに必要な時間が、各ピクセルについて測定され、その時間は距離に比例する。これにより、対象物がスキャンされるのではなく、対象物全体が同時に記録される。
制御装置2は、対象物の動きを医療装置の予め規定された動作に変換するように適応されている。
手術用照明1’’の動作は、例えば、輝度変化、光照射野直径の変化、焦点位置の変化、放射される光の色温度の変化、または手術用照明1’’の光源が作動されるアクティブなゾーンの変化である。
手術台1’は、患者支持板6および支柱7を備える。患者支持板6および支柱7には複数の駆動装置が設けられており、これらの駆動装置によって患者支持板6を移動させることができる。
手術台1’の動作は、例えば長手方向移動Lであり、この長手方向移動Lの際には患者支持板7はその長手方向軸線に沿って移動させられる。または、手術台1’の動作は、横方向移動Qであり、この横方向移動Qの際には患者支持板7はその長手方向軸線に対して横方向に移動させられる。スイングKおよびトレンデレンブルグ調節またはアンチトレンデレンブルグ調節が可能であり、スイングKの際には患者支持板7はその長手方向軸線を中心に回動し、トレンデレンブルグ調節またはアンチトレンデレンブルグ調節の際には、患者支持板7はその横方向軸線を中心に回動させられる。さらに、高さ調節Hによって患者支持板7全体の高さを変化させるオプションが存在する。最後に、患者支持板7の個々のセグメントは、患者にある手技を行うための特定の支持を行うために互いに対して回動させることができる。
複数の医療装置の中で制御されるべき医療装置の選択、つまり、ここでは、手術台1’または手術用照明1’’の動作がトリガされるかどうかは、後で説明するように、医療装置に応じたジェスチャの使用によっておよび/またはジェスチャに基づく選択によって、医療装置またはその構成部材のうちの1つまたは機能に割り当てられた検出スペース内でのジェスチャの実行により、物理的または仮想的走査ユニットを介した医療装置の作動によって行われる。
基本的に、制御されるべき医療装置および/または選択された構成部材に応じて、同じジェスチャを様々な制御命令に変換することができる。医療装置、構成部材および/または機能に割り当てられた検出スペースが、ログインまたはログアウトジェスチャにのみ関連していてもよい一方、制御命令自体のためのジェスチャが、これが有利であるように見えるならば再びこのスペースの外側であってもよい。しかしながら、規定された検出スペースに基づき、検出スペースが通常は制御する意図なく使用されないならば、ログイン/ログアウトジェスチャは放棄することができる。
図2は、典型的に、4つのジェスチャ、すなわち、対象物としての手の動きを示しており、手の動きは、制御装置2によって、医療装置の例としての手術台1’のある動作のための制御命令に変換される。
イラストAは、一方の手8を振っているところを示している。ここでは、手は、振っている間、つまり、並進または回転の間、開いたまま保たれ、変形されない、すなわち、例えば握りしめられない。
イラストBは2つの手8,8’の動きを示しており、手8,8’は、変形、すなわち、手を開いた状態から、手をすぼめることによって指の先端どうしが接した状態への変形と、並進、すなわち上下の並進とを行う。この動きの原理は、片手のジェスチャにそのまま転用することもできる。
イラストCでは、両手8,8’が開いたまま上下に移動する動きが示されている。
イラストDのジェスチャでは、一方の手8は1つの場所でこぶしを握り、他方の手8’は、イラストBにおいて説明したように変形され、次いで、下から上へ移動させられるか、または他方の手の握りこぶしの周囲を弓形に移動する。
制御装置2は、ジェスチャのうちの特定の1つをログインの動きおよびログアウトの動きとして処理するように適応されている。ここでは、イラストAは、許可ジェスチャとしてのログインの動きを示している。ログインの動きが実行された後に初めて、制御装置は、片手または両手の他の動きを処理し、これにより、それらの動きが手術台1’のための制御命令に変換されるように適応されている。
意図された動きの実行後、次にログアウトの動きが実行される。制御装置2は、次いで、この動きがログアウトの動きとして理解され、他の動作が制御装置によって手術台1’の動作のための制御命令に変換されないように、適応されている。新たなログインの動きのみが次に処理される。代替的に、ログインの動きおよびログアウトの動きが異なることもできる。
イラストBには、手術台1’のこの実施の形態では、高さ調節Hが作動し、患者支持板7を上方へ移動させるジェスチャが示されている。調節は、台全体に対して可能である。しかしながら、選択されたセグメントのためだけに、例えば、そのセグメントに割り当てられた検出スペース内でのジェスチャの実行により、高さ調節Hを提供することもできる。高さ調節のために、ジェスチャは、複数の手8,8’が所定の動き、すなわち、変形、特に手を開いた状態から、指の先端どうしが触れた状態への変形を実行し、その後、手の下から上への並進を実行することによって実行される。制御装置2は、複数の手8,8’が予め規定された動きを実行しているかどうかを認識するように適応されており、検出された動きを、検出された動きの組合せに従って、予め規定された動作、ここでは、患者支持板7の上方動作に変換する。同一のまたは代替的なジェスチャ形状を伴う片手ジェスチャも可能である。
イラストCおよびDにも示したように、ジェスチャは複数の手8,8’によって実行され、イラストCにおいて、開いた両手は単なる並進において下方へ移動させられ、これにより、高さ調節Hが作動させられ、患者支持板7が下方へ調節される。しかしながら、イラストDでは、片手は並進形式で移動または変形されず、単に、形状、つまり握りこぶしとしての手8が検出される。他方の手8’は、並進および手の変形を実行する。これにより、トレンデレンブルグ調節またはアンチトレンデレンブルグ調節が作動される。
手8,8’の動きおよび変形は、次いで、所定の公差範囲内のある速度で実行される場合に検出される。動きの実行が速すぎたり遅すぎたりすると、動きは、予め規定された動きとしては検出されず、無視される。
動きの命令の速度は、基本的にジェスチャの動きの速度に対応していてもよいし、または、動きの命令の速度は、予め規定された関係にあってもよく、対象物の距離または検出スペース内の平面に関連させられていてもよく、および/または、付加的なジェスチャに依存していてもよい。
選択的に、手術台1’の所定の動作はリアルタイムで実行される。これは、検出された動きが手術台1’によって即座に実行されるように、制御装置2が適応されていることを意味する。
医療装置の直接制御の他に、ユーザは、代替的に、医療装置を、モデルを介して制御することができる。医療装置のモデルは、ユーザインターフェース、または、モニタなどの再現ユニット上で示されている。モデルが動きの命令によって作動されると、医療装置自体も同様に移動する。動きではなく、別の動作が開始されるので、位置および/またはそれぞれの動きまたは作動命令は、カーソルを介して再現ユニットにおいて、場合によっては、命令に応じて異なる装置において理解可能である。この場合、ユーザの行為の視覚的理解可能性によって、走査の安全が高まる。さらに、命令の視覚的監視が維持されながら、操作は、操作されるべき医療装置から空間的に分離することができる。
代替的な実施の形態では、ジェスチャの割当て、および、医療装置の予め規定された動作は、この実施の形態から区別される。さらに、付加的にまたは代替的に、他のジェスチャ、または他の対象物、例えば足のジェスチャを検出するというオプションも存在する。
図3には、手術台1’の制御の代替例または補足例が示されている。ここでも、手8の動きは、3Dセンサ5によって、またはその他のセンサによって検出され、制御装置2へ送られる。特に、動きは、延ばした指9の整列と組み合わせて検出される。延ばした指9に関連して、手は、ロッド状とみなされる。これは、延ばした指9との手8の整列を検出することができることを意味する。整列は、指9の検出された点によって指の軸線として検出される。ベクトル10は、これらの点の接続の延長として規定される。代替的に、手8および指9のその他の点が、ベクトル10の規定のために使用される。複数の点を用いて曖昧でないベクトルを定義可能であることが必要不可欠である。別の代替例では、ベクトル10は、例えば手8に保持された別のロッド状対象物の向きから決定される。
この実施の形態では、3Dセンサ5は、制御可能な、つまり作動させるべき手術台1’の複数のエレメントを検出する。ここでは、エレメントは、典型的には、高さ調節のための支柱7上の駆動装置である。制御装置2は、ベクトル10の方向および手8の位置から、つまり、手8から始まるベクトル10から、ベクトル10と支柱7との交点が存在することを認識し、交点の位置によって、予め規定された動作を実行しなければならない、作動させるべきエレメントを認識する。上述のように、予め規定された動作は、次いで、検出された予め規定された動き、および/または、ジェスチャ、および/または、機能/制御命令に割り当てられた1つの手8または複数の手8,8’の検出スペースによって、実行される。代替的な実施の形態では、制御装置2は、予め規定された動作が、ジェスチャではない別のものである命令の検出によって、例えば、声入力によって実行されるように、適応されている。
図4において、ここでは、手術用照明1’’による制御の別のオプションが示されている。
制御装置2は、ここでは、ベクトル10が、次いで、指9上の点と、その軸線とを介して決定されるように構成されている。制御装置2は、3Dセンサ5による点の検出を介してベクトル10の方向を認識する。さらに、制御装置2は、3Dセンサによって、その検出スペースに配置された人体を検出する。
ここでも、ベクトル10と人体(図示せず)との交点が検出される。制御装置2は、人体のパッチに関して前もって選択された作動を実行するように適応されている。図4には、ベクトルが、患者支持板6上のパッチに方向付けられていることが示されている。前もって選択された、例えば、手術用照明1’’を指さすことによって選択された動作は、次いで、人間が横たわっている患者支持板6上のパッチが照明されるように実行される。これは、例えば、手術用照明1’’のモジュールの電動化された調節によって、または、パッチへ方向付けられた光源を作動させることによって、実現する。
図4には、さらに、制御装置2の選択的な同化作用の機能が示されている。人体との交点に加えて、ベクトル10の空間的な向きが、ベクトルの方向において、ベクトルの反対方向における、作動させるべき医療装置のエレメントとの第2の交点をも決定する。次いで、前もって選択された動作、ここでは患者支持板6上のパッチの照明が、対象物とのベクトル10の交点が配置されている対象物によって、ベクトル10の空間的向きの方向で実行される。ここでは、患者支持面6上のパッチが、矢印で特定された手術用照明1’’のモジュールによって照明されることが示されている。
ベクトル10は、さらに、目標領域、例えば、手術台の患者支持部またはそこに配置された患者の表面との交点を生ぜしめるために利用することができる。第1の構成において、この交点を生じさせることができた場合、それと接合されるべき機能への方向の指示は合理的であり、それが実行される。選択が例えば無駄に終わったので妥当性チェックが失敗すると、制御命令は実行されないか、またはユーザによって明示的に確認されなければならない。
手術台1’および手術用照明1’’に割り当てられた機能は、制御装置2に接続された全ての適切な医療装置によって同様に実行することができる。異なる実施の形態を互いに組み合わせることができる。
使用時には、制御装置2は、まず、3Dセンサによって、予め規定されたログインの動きが実行されたかどうかを検出する。
予め規定されたログインの動きに続いて、対象物、つまり、手8,8’または腕の動きが3Dセンサによって検出され、対象物の予め規定された動きに割り当てられた、医療装置の予め規定された動作が、制御装置2によって作動される。
医療装置の所要の予め規定された動作の完了後、操作を終了するためにログアウトの動きが実行され、これにより、ログアウトの動きの後は、他の動きは、実行されるべき動作と解釈されない。
選択的に、対象物のうちの1つの動きだけでなく、複数の対象物の動きが検出される。ここでは、両手8,8’の位置および動きが検出され、複数の対象物の動きの組合せに従って、予め規定された動作が実行される。
作動させるべき医療装置のエレメントを選択することができる選択的な機能において、作動後、および、作動のための動きの実行前、作動させるべき所要のエレメントが、このエレメントを指9によって指し示すことによって(ロッド状対象物を方向付けることによって)選択される。次いで、予め規定された動きが対象物によって実行され、制御装置2は、作動させるべき所要のエレメントを作動させ、これにより、予め規定された動きに従った動作が実行される。
医療装置のエレメントの動作が方向付けられるパッチが選択される別の選択的な機能において、パッチが指し示され、このパッチに関連した動作が、エレメントの選択的に必要な作動の後にフィンガ9によって実行される。これにより、制御装置2は、そのパッチに関連する動作が実行されるように要求されたエレメントを作動させ、したがって、患者支持面6上のパッチが照明される。
指し示される方向によって、動作を実行するエレメントを作動させるという別の選択的な機能に基づき、指9(ロッド状対象物)の方向が検出され、作動を実行する指の方向に関して反対の、作動させるエレメントが、動作が実行されるべきパッチに加えて付加的に選択される。次いで、作動させるべきエレメントは、作動が指9の方向から実行されるように作動される。

Claims (19)

  1. 対象物(8)を三次元で検出するための少なくとも1つのセンサ(5)を有する、医療装置用の制御装置(2)であって、前記対象物(8)は、該対象物の位置と、該対象物の整列によって、方向のベクトル(10)とを把握可能にするように構成されており、
    前記対象物(8)は目標領域に方向付けられており、
    前記対象物(8)から始まる前記ベクトル(10)は、前記目標領域の表面との交点を生じ、
    前記制御装置(2)は、いずれの目標領域に前記交点が位置しているかを認識し、かつ前記目標領域のために予め規定された動作を前記医療装置によって作動させるように、適応されていることを特徴とする、制御装置(2)。
  2. 前記制御装置(2)は、前記交点の妥当性チェックをパスしたときにのみ前記目標領域に関する前記予め規定された動作を実行し、または、付加的な確認が提供された場合、前記対象物(8)によって規定されたベクトル(10)および該ベクトルの方向により、前記予め規定された動作を実行するように適応されている、請求項1記載の制御装置(2)。
  3. 前記対象物は、ロッド状に構成されているか、または自由端部を有する少なくともロッド状の部分を含み、前記制御装置(2)は、ロッド状の前記対象物の前記自由端部および軸線によって、方向を決定するように適応されている、請求項1または2記載の制御装置(2)。
  4. 前記少なくとも1つのセンサ(5)は、人体を認識するように構成されており、
    前記制御装置(2)は、前記人体のいずれのパッチに前記対象物(8)が方向付けられているかを認識し、かつ、前記人体の前記パッチに関する予め規定された動作を作動させるように適応されている、請求項1から3までのいずれか1項記載の制御装置(2)。
  5. 前記少なくとも1つのセンサ(5)は、前記医療装置の、作動させるべきエレメントを認識するように構成されており、
    前記制御装置(2)は、作動させるべきエレメントのいずれに前記対象物(8)が方向付けられているかを認識し、かつ、認識された、作動させるべきエレメントに関連する予め規定された動作を引き起こすように適応されている、請求項1から4までのいずれか1項記載の制御装置。
  6. 前記制御装置(2)は、前記対象物(8)の空間的向きおよび方向から、前記予め規定された動作の方向を決定し、かつ、前記方向と反対に配置された、作動させるべきエレメントによって、前記予め規定された動作が実行されるように前記医療装置を作動させるように、適応されている、請求項1から4までのいずれか1項記載の制御装置(2)。
  7. 前記少なくとも1つのセンサ(5)は、付加的に、前記対象物(8,8’)の動きを検出するように構成されており、
    前記制御装置は、少なくとも1つの前記対象物(8,8’)の予め規定された動きを、前記医療装置の予め規定された動作のための制御命令に変換するように適応されている、請求項1から6までのいずれか1項記載の制御装置(2)。
  8. 前記少なくとも1つのセンサ(5)は、放射されかつ反射された光の走行時間によって前記対象物(8,8’)を検出するように適応されたToFカメラである、請求項1から7までのいずれか1項記載の制御装置(2)。
  9. 前記制御装置(2)は、
    前記対象物(8,8’)の別の予め規定された動きが前記医療装置の予め規定された動作のための制御命令に変換されるように前記対象物(8,8’)の予め規定されたログインの動きを処理し、かつ、
    前記対象物(8,8’)の別の動きが前記医療装置の作動のための制御命令に変換されないように前記対象物(8,8’)の予め規定されたログアウトの動きを処理する、ように適応されている、請求項1から8までのいずれか1項記載の制御装置(2)。
  10. 前記制御装置(2)は、複数の対象物(8,8’)がそれぞれに予め規定された動きを実行するかどうかを認識し、かつ、前記複数の対象物(8,8’)のそれぞれの動きの組合せに従って前記医療装置の前記予め規定された動作のための予め規定された制御命令を変換するように、適応されている、請求項1から9までのいずれか1項記載の制御装置(2)。
  11. 前記制御装置(2)は、前記予め規定された作動をリアルタイムで実行するように適応されている、請求項1から10までのいずれか1項記載の制御装置(2)。
  12. 複数のセンサが設けられている、請求項1から11までのいずれか1項記載の制御装置(2)。
  13. 請求項1から12までのいずれか1項記載の制御装置(2)を有する手術台(1’)。
  14. 請求項1から12までのいずれか1項記載の制御装置(2)を有する手術用照明(1’’)。
  15. 予め規定された動作は、前記手術用照明の光ビームの焦点が目標領域の表面に配置されるようにする、焦点位置の変更である、請求項14記載の手術用照明(1’’)。
  16. 請求項1から15までのいずれか1項記載の制御装置(2)によって医療装置を制御する方法であって、
    少なくとも1つのセンサ(5)によってベクトル(10)と目標領域の表面とを検出するステップと、
    前記ベクトル(10)と、対象物(8)が方向付けられている前記目標領域との交点を決定するステップと、
    前記目標領域のために予め規定された前記医療装置の動作を作動させるステップと、
    を含む方法。
  17. 請求項5、または請求項5を引用する請求項7から15までのいずれか1項記載の制御装置(2)によって、請求項16記載の医療装置を制御する方法であって、
    前記医療装置の作動させるべきエレメントをセンサ(5)によって検出するステップと、
    前記医療装置の作動させるべきエレメントのいずれに対象物(8)が方向付けられているかを前記センサによって検出するステップと、
    前記対象物(8)が方向付けられている、作動させるべきエレメントの予め規定された動作を作動させるステップと、
    を含む方法。
  18. 請求項2、または請求項2を引用する請求項3から15までのいずれか1項記載の制御装置(2)による、請求項16または17記載の方法であって、
    前記制御装置(2)は、交点の妥当性チェックをパスしたときにのみ、目標領域に関連する予め規定された動作を実行し、または、付加的な確認が提供された場合に、対象物(8)によって決定されたベクトル(10)および該ベクトルの方向により、前記予め規定された動作を実行する、方法。
  19. 請求項6、または請求項6を引用する請求項7から15までのいずれか1項記載の制御装置(2)による、請求項16から18までのいずれか1項記載の医療装置を制御する方法であって、
    対象物の方向を該対象物の向きおよび端部から検出するステップと、
    エレメント(8)の方向と反対に配置された前記医療装置の作動させるべきエレメントを検出するステップと、
    対象物(8)の方向から、予め規定された動作を実行する作動させるべきエレメントを作動させるステップと、
    を含む方法。
JP2016575853A 2014-06-30 2015-06-26 医療装置用の制御装置 Active JP6647228B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102014212660.6A DE102014212660A1 (de) 2014-06-30 2014-06-30 Steuerungsvorrichtung für ein Medizingerät
DE102014212660.6 2014-06-30
PCT/EP2015/064549 WO2016001089A1 (de) 2014-06-30 2015-06-26 Steuerungsvorrichtung für ein medizingerät

Publications (2)

Publication Number Publication Date
JP2017519586A true JP2017519586A (ja) 2017-07-20
JP6647228B2 JP6647228B2 (ja) 2020-02-14

Family

ID=53539663

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016575853A Active JP6647228B2 (ja) 2014-06-30 2015-06-26 医療装置用の制御装置

Country Status (6)

Country Link
US (1) US20170154158A1 (ja)
EP (1) EP3146454B1 (ja)
JP (1) JP6647228B2 (ja)
CN (1) CN106663141B (ja)
DE (1) DE102014212660A1 (ja)
WO (1) WO2016001089A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017191546A (ja) * 2016-04-15 2017-10-19 ミラマ サービス インク 医療用ヘッドマウントディスプレイ、医療用ヘッドマウントディスプレイのプログラムおよび医療用ヘッドマウントディスプレイの制御方法
DE102016212240A1 (de) 2016-07-05 2018-01-11 Siemens Aktiengesellschaft Verfahren zur Interaktion eines Bedieners mit einem Modell eines technischen Systems
EP3700457A4 (en) * 2017-10-23 2021-11-17 Intuitive Surgical Operations, Inc. SYSTEMS AND METHODS FOR PRESENTATION OF AUGMENTED REALITY ON A DISPLAY OF A TELEOPERATION SYSTEM
US11908574B2 (en) * 2019-07-29 2024-02-20 Trumpf Medizin Systeme Gmbh + Co. Kg Remote control for a medical apparatus, system of the remote control and the medical apparatus and method for operating the medical apparatus
EP3771458A1 (en) * 2019-07-29 2021-02-03 TRUMPF Medizin Systeme GmbH + Co. KG Remote control for a medical apparatus, system of the remote control and the medical apparatus, and method for operating the medical apparatus
DE102020114416A1 (de) * 2020-05-29 2021-12-02 Karl Leibinger Medizintechnik Gmbh & Co. Kg System zur Überwachung einer Operationsleuchtenanordnung

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01134801A (ja) * 1987-11-19 1989-05-26 Yamada Iryo Shomei Kk 医療用無影照明装置における自動集光位置調節方法
JP2000056916A (ja) * 1998-08-06 2000-02-25 Takenaka Komuten Co Ltd ハンドポインティング装置
JP2004157994A (ja) * 2002-10-07 2004-06-03 Sony France Sa 自由空間に作られるジェスチャを解析する方法及び装置
JP2005040613A (ja) * 2003-07-25 2005-02-17 Siemens Ag 医療技術の制御システムおよび医療技術の検査および/または治療装置の操作方法
JP2008253744A (ja) * 2007-04-04 2008-10-23 Mediland Enterprise Corp ガウス分布の光照射野を生成できる調整可能な光源を有する手術灯
JP2009503767A (ja) * 2005-07-20 2009-01-29 オプティマス サーヴィシーズ リミテッド ライアビリティ カンパニー インシーリングフォーカスが配置された外科用照明
US20110037840A1 (en) * 2009-08-14 2011-02-17 Christoph Hiltl Control system and method to operate an operating room lamp
US20110107270A1 (en) * 2009-10-30 2011-05-05 Bai Wang Treatment planning in a virtual environment
JP2012183308A (ja) * 2011-03-03 2012-09-27 Imris Inc Mr磁石のボアで使用するためのmr適合性の蛍光表示デバイス
JP2013016917A (ja) * 2011-06-30 2013-01-24 Video Research:Kk 調査装置
JP2013047978A (ja) * 2005-02-08 2013-03-07 Oblong Industries Inc ジェスチャベースの制御システムのためのシステムおよび方法
US20130204428A1 (en) * 2010-09-29 2013-08-08 Brainlab Ag Method and device for controlling apparatus
JP2013205983A (ja) * 2012-03-27 2013-10-07 Sony Corp 情報入力装置及び情報入力方法、並びにコンピューター・プログラム
JP2013218423A (ja) * 2012-04-05 2013-10-24 Utechzone Co Ltd 指向性映像コントロール装置及びその方法
JP2014501011A (ja) * 2011-01-03 2014-01-16 エクストリーム リアリティー エルティーディー. 手のジェスチャによるヒューマンマシンインターフェースのための方法、回路、及び、システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011085815A1 (en) * 2010-01-14 2011-07-21 Brainlab Ag Controlling a surgical navigation system
EP2524279A1 (en) * 2010-01-14 2012-11-21 BrainLAB AG Gesture support for controlling and/or operating a medical device
CN102354345A (zh) * 2011-10-21 2012-02-15 北京理工大学 一种具有体感交互方式的医学影像浏览设备
CN102982233B (zh) * 2012-11-01 2016-02-03 华中科技大学 具有立体视觉显示的医学影像工作站
TWI454968B (zh) * 2012-12-24 2014-10-01 Ind Tech Res Inst 三維互動裝置及其操控方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01134801A (ja) * 1987-11-19 1989-05-26 Yamada Iryo Shomei Kk 医療用無影照明装置における自動集光位置調節方法
JP2000056916A (ja) * 1998-08-06 2000-02-25 Takenaka Komuten Co Ltd ハンドポインティング装置
JP2004157994A (ja) * 2002-10-07 2004-06-03 Sony France Sa 自由空間に作られるジェスチャを解析する方法及び装置
JP2005040613A (ja) * 2003-07-25 2005-02-17 Siemens Ag 医療技術の制御システムおよび医療技術の検査および/または治療装置の操作方法
JP2013047978A (ja) * 2005-02-08 2013-03-07 Oblong Industries Inc ジェスチャベースの制御システムのためのシステムおよび方法
JP2009503767A (ja) * 2005-07-20 2009-01-29 オプティマス サーヴィシーズ リミテッド ライアビリティ カンパニー インシーリングフォーカスが配置された外科用照明
JP2008253744A (ja) * 2007-04-04 2008-10-23 Mediland Enterprise Corp ガウス分布の光照射野を生成できる調整可能な光源を有する手術灯
US20110037840A1 (en) * 2009-08-14 2011-02-17 Christoph Hiltl Control system and method to operate an operating room lamp
US20110107270A1 (en) * 2009-10-30 2011-05-05 Bai Wang Treatment planning in a virtual environment
US20130204428A1 (en) * 2010-09-29 2013-08-08 Brainlab Ag Method and device for controlling apparatus
JP2014501011A (ja) * 2011-01-03 2014-01-16 エクストリーム リアリティー エルティーディー. 手のジェスチャによるヒューマンマシンインターフェースのための方法、回路、及び、システム
JP2012183308A (ja) * 2011-03-03 2012-09-27 Imris Inc Mr磁石のボアで使用するためのmr適合性の蛍光表示デバイス
JP2013016917A (ja) * 2011-06-30 2013-01-24 Video Research:Kk 調査装置
JP2013205983A (ja) * 2012-03-27 2013-10-07 Sony Corp 情報入力装置及び情報入力方法、並びにコンピューター・プログラム
JP2013218423A (ja) * 2012-04-05 2013-10-24 Utechzone Co Ltd 指向性映像コントロール装置及びその方法

Also Published As

Publication number Publication date
DE102014212660A1 (de) 2015-12-31
CN106663141B (zh) 2020-05-05
JP6647228B2 (ja) 2020-02-14
EP3146454B1 (de) 2022-07-27
CN106663141A (zh) 2017-05-10
WO2016001089A1 (de) 2016-01-07
US20170154158A1 (en) 2017-06-01
EP3146454A1 (de) 2017-03-29

Similar Documents

Publication Publication Date Title
JP6647228B2 (ja) 医療装置用の制御装置
US20230200923A1 (en) Systems, methods, and computer-readable program products for controlling a robotically delivered manipulator
WO2017033366A1 (ja) 遠隔操作ロボットシステム
US11148297B2 (en) Force based gesture control of a robotic surgical manipulator
US11040455B2 (en) Robot system and method for controlling a robot system
AU2016220501B2 (en) Repositioning method of input device for robotic surgical system
CN107106245B (zh) 用户界面与主控制器之间的交互作用
CN110996826A (zh) 医疗装置手柄
EP3975909B1 (en) Operating mode control systems and methods for a computer-assisted surgical system
JP2019501747A (ja) 医療情報との相互作用のための方法およびシステム
WO2018089816A3 (en) Teleoperated surgical system with surgeon skill level based instrument control
JP2014529135A (ja) 医療機器用の非接触式遠隔制御システム及び方法
WO2021073733A1 (en) Method for controlling a device by a human
US20240008942A1 (en) Steerable viewer mode activation and de-activation
US20190163285A1 (en) Method for interaction between an operator and a technical object
US20160041693A1 (en) Gesture control having automated calibration
KR20140060191A (ko) 터치 기반의 가상 스위치 제어 방법 및 장치
KR20160080881A (ko) 가상 마우스의 커서 이동방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180508

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20180508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20180509

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20180509

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190314

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190326

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190625

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190910

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191217

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200114

R150 Certificate of patent or registration of utility model

Ref document number: 6647228

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250