JP2019501747A5 - - Google Patents

Download PDF

Info

Publication number
JP2019501747A5
JP2019501747A5 JP2018546777A JP2018546777A JP2019501747A5 JP 2019501747 A5 JP2019501747 A5 JP 2019501747A5 JP 2018546777 A JP2018546777 A JP 2018546777A JP 2018546777 A JP2018546777 A JP 2018546777A JP 2019501747 A5 JP2019501747 A5 JP 2019501747A5
Authority
JP
Japan
Prior art keywords
reference object
sensor
icon
contactless
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018546777A
Other languages
English (en)
Other versions
JP6994466B2 (ja
JP2019501747A (ja
Filing date
Publication date
Application filed filed Critical
Priority claimed from PCT/IB2016/056228 external-priority patent/WO2017089910A1/en
Publication of JP2019501747A publication Critical patent/JP2019501747A/ja
Publication of JP2019501747A5 publication Critical patent/JP2019501747A5/ja
Application granted granted Critical
Publication of JP6994466B2 publication Critical patent/JP6994466B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (20)

  1. 医療施術者が医療情報と相互作用することを可能にするシステムであって、
    無接触検知ユニットであって、少なくとも、前記医療施術者によって前記無接触検知ユニットと無接触式に相互作用するために使用される基準物体の3D位置を検出するための、無接触検知ユニットと、
    前記無接触検知ユニットによって検出される前記基準物体の前記3D位置を使用して前記医療施術者によって実行される無接触ジェスチャを判定するステップと、
    前記受信される無接触ジェスチャに対応する前記医療情報に対するコマンドを識別し、前記医療情報を表示ユニットに表示するために前記コマンドを実行するステップと、
    前記基準物体の仮想表現、ならびに、前記無接触検知ユニットの仮想表現および少なくとも1つの仮想アイコンのうちの少なくとも一方を含むグラフィカルユーザインターフェース(GUI)を生成するステップであり、前記GUI内の前記基準物体の前記仮想表現の位置は、前記無接触検知ユニットによって検出される前記基準物体の前記3D位置に応じて選択され、前記少なくとも1つの仮想アイコンの各々は、それぞれの動作モード、それぞれのユーザ通知、およびそれぞれのシステム設定オプションのうちの1つに対応する、生成するステップと、
    前記GUIを前記医療情報に隣接して表示するステップと
    を行うために、前記無接触検知ユニットと通信する少なくとも1つの制御ユニットと
    を備える、システム。
  2. 前記無接触検知ユニットは、前記基準物体の向きを検出するようにさらに適合され、前記GUI内の前記基準物体の前記仮想表現の向きは、前記無接触検知ユニットによって検出される前記基準物体の前記向きに応じて選択される、請求項に記載のシステム。
  3. 前記無接触検知ユニットは、前記基準物体の前記3D位置および前記向きを判定し、前記医療施術者によって実行される前記無接触ジェスチャを判定するように適合されている単一のセンサを含む、請求項に記載のシステム。
  4. 前記単一のセンサは光センサを含む、請求項に記載のシステム。
  5. 前記光センサはカメラを含み、前記カメラは、2Dカメラ、モノクロカメラ、3Dカメラ、ステレオカメラ、および飛行時間型カメラのうちの1つを含む、請求項に記載のシステム。
  6. 前記カメラは、基準面を撮像するように構成されている、請求項に記載のシステム。
  7. 前記カメラによって撮像される前記基準面上に少なくとも1つの基準アイコンを投影するプロジェクタをさらに備え、前記少なくとも1つの基準アイコンの各々は、前記少なくとも1つの仮想アイコンのそれぞれに対応する、請求項に記載のシステム。
  8. 前記無接触検知ユニットは、前記基準物体の前記3D位置を判定するための第1のセンサと、前記基準物体の前記向きを判定する第2のセンサとを備え、前記無接触ジェスチャは、前記第1のセンサおよび前記第2のセンサのうちの1つによって判定される、請求項に記載のシステム。
  9. 前記第1のセンサは、前記基準物体の前記3D位置を判定するための電場センサを含み、前記第2のセンサは、前記基準物体の向きを判定するための光センサを含む、請求項に記載のシステム。
  10. 前記光センサはカメラを含み、前記カメラは、2Dカメラ、モノクロカメラ、3Dカメラ、ステレオカメラ、および飛行時間型カメラのうちの1つを含む、請求項に記載のシステム。
  11. 前記カメラは、前記電場センサの上に位置する領域を撮像するように位置決めされる、請求項10に記載のシステム。
  12. 前記電場センサ上または前記電場センサの周りに少なくとも1つの基準アイコンを投影するプロジェクタをさらに備え、前記少なくとも1つの基準アイコンの各々は、前記少なくとも1つの仮想アイコンのそれぞれに対応する、請求項11に記載のシステム。
  13. 少なくとも1つの基準アイコンが表示される画面をさらに備え、前記少なくとも1つの基準アイコンの各々は、前記少なくとも1つの仮想アイコンのそれぞれに対応し、前記電場センサは、前記画面上に位置決めされる、請求項11に記載のシステム。
  14. 前記基準物体は、前記医療施術者の身体部分を含む、請求項1〜13のいずれか一項に記載のシステム。
  15. 前記基準物体は、導電性材料および半導体材料のうちの1つから作成される、請求項1〜13のいずれか一項に記載のシステム。
  16. 前記コマンドは、コンピュータマシンに接続可能な周辺装置からの所与の既知のコマンドに対応する、請求項1〜15のいずれか一項に記載のシステム。
  17. 前記医療情報は、医療画像、3Dモデル、およびそれらの任意の組み合わせまたはシーケンスを含む、請求項1〜16のいずれか一項に記載のシステム。
  18. 前記医療情報に対する前記コマンドは、すでに表示されている医療画像の少なくとも1つの特性の変更を引き起こすコマンドを含む、請求項1〜17のいずれか一項に記載のシステム。
  19. 前記コントローラは、前記医療施術者による所与の選択に応じて、前記少なくとも1つの仮想アイコンのうちの1つの外観を変更するように適合されている、請求項1〜18のいずれか一項に記載のシステム。
  20. 医療施術者が医療情報と相互作用することを可能にするコンピュータ実施方法であって、
    前記医療施術者によって無接触検知ユニットと無接触式に相互作用するために使用される基準物体の3D位置を検出するステップと、
    前記検出される基準物体の3D位置を使用して前記医療施術者によって実行される無接触ジェスチャを判定するステップと、
    前記受信される無接触ジェスチャに対応する前記医療情報に対するコマンドを識別し、前記医療情報を表示ユニットに表示するために前記コマンドを実行するステップと、
    前記基準物体の仮想表現、ならびに、前記無接触検知ユニットの仮想表現および少なくとも1つの仮想アイコンのうちの少なくとも一方を含むグラフィカルユーザインターフェース(GUI)を生成するステップであり、前記GUI内の前記基準物体の前記仮想表現の位置は、前記検出される基準物体の3D位置に応じて選択され、前記少なくとも1つの仮想アイコンの各々は、それぞれの動作モード、それぞれのユーザ通知、およびそれぞれのシステム設定オプションのうちの1つに対応する、生成するステップと、
    前記GUIを前記医療情報と共に前記表示ユニット上に表示するステップと
    を含む、コンピュータ実施方法。
JP2018546777A 2015-11-27 2016-10-17 医療情報との相互作用のための方法およびシステム Active JP6994466B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562260428P 2015-11-27 2015-11-27
US62/260,428 2015-11-27
PCT/IB2016/056228 WO2017089910A1 (en) 2015-11-27 2016-10-17 Method and system for interacting with medical information

Publications (3)

Publication Number Publication Date
JP2019501747A JP2019501747A (ja) 2019-01-24
JP2019501747A5 true JP2019501747A5 (ja) 2019-12-05
JP6994466B2 JP6994466B2 (ja) 2022-01-14

Family

ID=58764004

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018546777A Active JP6994466B2 (ja) 2015-11-27 2016-10-17 医療情報との相互作用のための方法およびシステム

Country Status (5)

Country Link
US (2) US11256334B2 (ja)
EP (1) EP3380031A4 (ja)
JP (1) JP6994466B2 (ja)
CA (1) CA3002918C (ja)
WO (1) WO2017089910A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112016007015T5 (de) * 2016-07-29 2019-03-21 Mitsubishi Electric Corporation Anzeigevorrichtung, anzeigesteuervorrichtung und anzeigesteuerverfahren
EP3621548A1 (en) * 2017-06-08 2020-03-18 Medos International Sàrl User interface systems for sterile fields and other working environments
US11135015B2 (en) * 2017-07-21 2021-10-05 Globus Medical, Inc. Robot surgical platform
DE102018130640A1 (de) * 2017-12-18 2019-06-19 Löwenstein Medical Technology S.A. Luxembourg Virtuelle Bedienung
JP2021531120A (ja) * 2018-07-24 2021-11-18 ソニーグループ株式会社 手術室でのビデオルーティング
US20220104694A1 (en) * 2020-10-02 2022-04-07 Ethicon Llc Control of a display outside the sterile field from a device within the sterile field
US11672534B2 (en) 2020-10-02 2023-06-13 Cilag Gmbh International Communication capability of a smart stapler
US11748924B2 (en) 2020-10-02 2023-09-05 Cilag Gmbh International Tiered system display control based on capacity and user operation
US11992372B2 (en) 2020-10-02 2024-05-28 Cilag Gmbh International Cooperative surgical displays
US11963683B2 (en) 2020-10-02 2024-04-23 Cilag Gmbh International Method for operating tiered operation modes in a surgical system
US11877897B2 (en) 2020-10-02 2024-01-23 Cilag Gmbh International Situational awareness of instruments location and individualization of users to control displays
US11883022B2 (en) 2020-10-02 2024-01-30 Cilag Gmbh International Shared situational awareness of the device actuator activity to prioritize certain aspects of displayed information
US11830602B2 (en) 2020-10-02 2023-11-28 Cilag Gmbh International Surgical hub having variable interconnectivity capabilities
US20240016364A1 (en) * 2020-11-30 2024-01-18 Sony Group Corporation Surgery system, surgery control device, control method, and program
US20230025061A1 (en) * 2021-07-22 2023-01-26 Cilag Gmbh International Surgical data system and management

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7370983B2 (en) * 2000-03-02 2008-05-13 Donnelly Corporation Interior mirror assembly with display
US8411034B2 (en) * 2009-03-12 2013-04-02 Marc Boillot Sterile networked interface for medical systems
US8681098B2 (en) 2008-04-24 2014-03-25 Oblong Industries, Inc. Detecting, representing, and interpreting three-space input: gestural continuum subsuming freespace, proximal, and surface-contact modes
US8578282B2 (en) * 2006-03-15 2013-11-05 Navisense Visual toolkit for a virtual user interface
US8390438B2 (en) * 2008-09-24 2013-03-05 St. Jude Medical, Atrial Fibrillation Division, Inc. Robotic catheter system including haptic feedback
KR101821418B1 (ko) 2009-05-04 2018-01-23 오블롱 인더스트리즈, 인크 데이터의 표현, 조작 및 교환을 포함하는 제스처-기반 시스템
US9439736B2 (en) * 2009-07-22 2016-09-13 St. Jude Medical, Atrial Fibrillation Division, Inc. System and method for controlling a remote medical device guidance system in three-dimensions using gestures
US9274699B2 (en) * 2009-09-03 2016-03-01 Obscura Digital User interface for a large scale multi-user, multi-touch system
US8878779B2 (en) * 2009-09-21 2014-11-04 Extreme Reality Ltd. Methods circuits device systems and associated computer executable code for facilitating interfacing with a computing platform display screen
US9146674B2 (en) 2010-11-23 2015-09-29 Sectra Ab GUI controls with movable touch-control objects for alternate interactions
WO2012129474A1 (en) 2011-03-24 2012-09-27 Beth Israel Deaconess Medical Center Medical image viewing and manipulation contactless gesture-responsive system and method
RU2639026C2 (ru) * 2011-12-23 2017-12-19 Конинклейке Филипс Н.В. Способ и устройство для интерактивного отображения трехмерных ультразвуковых изображений
US10048779B2 (en) 2012-06-30 2018-08-14 Hewlett-Packard Development Company, L.P. Virtual hand based on combined data
WO2014190018A1 (en) * 2013-05-21 2014-11-27 Stanley Innovation, Inc. A system and method for a human machine interface utilizing near-field quasi-state electrical field sensing technology
US9020194B2 (en) * 2013-06-14 2015-04-28 Qualcomm Incorporated Systems and methods for performing a device action based on a detected gesture
WO2015047595A1 (en) * 2013-09-27 2015-04-02 Smiths Medical Asd, Inc. Infusion pump with touchless user interface and related methods
US20150253860A1 (en) 2014-03-07 2015-09-10 Fresenius Medical Care Holdings, Inc. E-field sensing of non-contact gesture input for controlling a medical device
WO2015188011A1 (en) * 2014-06-04 2015-12-10 Quantum Interface, Llc. Dynamic environment for object and attribute display and interaction
US9839490B2 (en) * 2015-01-28 2017-12-12 Terarecon, Inc. Touchless advanced image processing and visualization
US10755128B2 (en) * 2018-12-18 2020-08-25 Slyce Acquisition Inc. Scene and user-input context aided visual search

Similar Documents

Publication Publication Date Title
JP2019501747A5 (ja)
US10001844B2 (en) Information processing apparatus information processing method and storage medium
US9430698B2 (en) Information input apparatus, information input method, and computer program
JP6642968B2 (ja) 情報処理装置、情報処理方法、プログラム
JP2020534592A5 (ja)
US20140184494A1 (en) User Centric Interface for Interaction with Visual Display that Recognizes User Intentions
TWI559174B (zh) 以手勢爲基礎之三維影像操控技術
EP3021206B1 (en) Method and device for refocusing multiple depth intervals, and electronic device
US20120026376A1 (en) Anamorphic projection device
JP2013235373A5 (ja)
JP2013161267A5 (ja)
KR20130108604A (ko) 표시된 정보를 제어하기 위한 사용자 입력 장치 및 방법
KR20180097917A (ko) 전자 장치 및 그의 제어 방법
KR102561274B1 (ko) 디스플레이 장치 및 디스플레이 장치의 제어 방법
JP2018010496A5 (ja)
JP2018073172A5 (ja)
KR101330531B1 (ko) 3차원 카메라를 이용한 가상 터치 방법 및 장치
JP2016126687A (ja) ヘッドマウントディスプレイ、操作受付方法および操作受付プログラム
CN108227968B (zh) 光标控制方法和装置
JP6632298B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2015177428A5 (ja)
US20150042621A1 (en) Method and apparatus for controlling 3d object
KR102499576B1 (ko) 전자 장치 및 그 제어 방법
JP2016139396A (ja) ユーザーインターフェイス装置、方法およびプログラム
TW201621554A (zh) 物件影像之捕捉及投影技術