JP2019501747A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2019501747A5 JP2019501747A5 JP2018546777A JP2018546777A JP2019501747A5 JP 2019501747 A5 JP2019501747 A5 JP 2019501747A5 JP 2018546777 A JP2018546777 A JP 2018546777A JP 2018546777 A JP2018546777 A JP 2018546777A JP 2019501747 A5 JP2019501747 A5 JP 2019501747A5
- Authority
- JP
- Japan
- Prior art keywords
- reference object
- sensor
- icon
- contactless
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 claims 9
- 230000000875 corresponding Effects 0.000 claims 5
- 230000005684 electric field Effects 0.000 claims 4
- 230000003287 optical Effects 0.000 claims 2
- 239000004020 conductor Substances 0.000 claims 1
- 230000003993 interaction Effects 0.000 claims 1
- 239000000463 material Substances 0.000 claims 1
- 230000002093 peripheral Effects 0.000 claims 1
- 239000004065 semiconductor Substances 0.000 claims 1
Claims (20)
- 医療施術者が医療情報と相互作用することを可能にするシステムであって、
無接触検知ユニットであって、少なくとも、前記医療施術者によって前記無接触検知ユニットと無接触式に相互作用するために使用される基準物体の3D位置を検出するための、無接触検知ユニットと、
前記無接触検知ユニットによって検出される前記基準物体の前記3D位置を使用して前記医療施術者によって実行される無接触ジェスチャを判定するステップと、
前記受信される無接触ジェスチャに対応する前記医療情報に対するコマンドを識別し、前記医療情報を表示ユニットに表示するために前記コマンドを実行するステップと、
前記基準物体の仮想表現、ならびに、前記無接触検知ユニットの仮想表現および少なくとも1つの仮想アイコンのうちの少なくとも一方を含むグラフィカルユーザインターフェース(GUI)を生成するステップであり、前記GUI内の前記基準物体の前記仮想表現の位置は、前記無接触検知ユニットによって検出される前記基準物体の前記3D位置に応じて選択され、前記少なくとも1つの仮想アイコンの各々は、それぞれの動作モード、それぞれのユーザ通知、およびそれぞれのシステム設定オプションのうちの1つに対応する、生成するステップと、
前記GUIを前記医療情報に隣接して表示するステップと
を行うために、前記無接触検知ユニットと通信する少なくとも1つの制御ユニットと
を備える、システム。 - 前記無接触検知ユニットは、前記基準物体の向きを検出するようにさらに適合され、前記GUI内の前記基準物体の前記仮想表現の向きは、前記無接触検知ユニットによって検出される前記基準物体の前記向きに応じて選択される、請求項1に記載のシステム。
- 前記無接触検知ユニットは、前記基準物体の前記3D位置および前記向きを判定し、前記医療施術者によって実行される前記無接触ジェスチャを判定するように適合されている単一のセンサを含む、請求項2に記載のシステム。
- 前記単一のセンサは光センサを含む、請求項3に記載のシステム。
- 前記光センサはカメラを含み、前記カメラは、2Dカメラ、モノクロカメラ、3Dカメラ、ステレオカメラ、および飛行時間型カメラのうちの1つを含む、請求項4に記載のシステム。
- 前記カメラは、基準面を撮像するように構成されている、請求項5に記載のシステム。
- 前記カメラによって撮像される前記基準面上に少なくとも1つの基準アイコンを投影するプロジェクタをさらに備え、前記少なくとも1つの基準アイコンの各々は、前記少なくとも1つの仮想アイコンのそれぞれに対応する、請求項6に記載のシステム。
- 前記無接触検知ユニットは、前記基準物体の前記3D位置を判定するための第1のセンサと、前記基準物体の前記向きを判定する第2のセンサとを備え、前記無接触ジェスチャは、前記第1のセンサおよび前記第2のセンサのうちの1つによって判定される、請求項2に記載のシステム。
- 前記第1のセンサは、前記基準物体の前記3D位置を判定するための電場センサを含み、前記第2のセンサは、前記基準物体の向きを判定するための光センサを含む、請求項8に記載のシステム。
- 前記光センサはカメラを含み、前記カメラは、2Dカメラ、モノクロカメラ、3Dカメラ、ステレオカメラ、および飛行時間型カメラのうちの1つを含む、請求項9に記載のシステム。
- 前記カメラは、前記電場センサの上に位置する領域を撮像するように位置決めされる、請求項10に記載のシステム。
- 前記電場センサ上または前記電場センサの周りに少なくとも1つの基準アイコンを投影するプロジェクタをさらに備え、前記少なくとも1つの基準アイコンの各々は、前記少なくとも1つの仮想アイコンのそれぞれに対応する、請求項11に記載のシステム。
- 少なくとも1つの基準アイコンが表示される画面をさらに備え、前記少なくとも1つの基準アイコンの各々は、前記少なくとも1つの仮想アイコンのそれぞれに対応し、前記電場センサは、前記画面上に位置決めされる、請求項11に記載のシステム。
- 前記基準物体は、前記医療施術者の身体部分を含む、請求項1〜13のいずれか一項に記載のシステム。
- 前記基準物体は、導電性材料および半導体材料のうちの1つから作成される、請求項1〜13のいずれか一項に記載のシステム。
- 前記コマンドは、コンピュータマシンに接続可能な周辺装置からの所与の既知のコマンドに対応する、請求項1〜15のいずれか一項に記載のシステム。
- 前記医療情報は、医療画像、3Dモデル、およびそれらの任意の組み合わせまたはシーケンスを含む、請求項1〜16のいずれか一項に記載のシステム。
- 前記医療情報に対する前記コマンドは、すでに表示されている医療画像の少なくとも1つの特性の変更を引き起こすコマンドを含む、請求項1〜17のいずれか一項に記載のシステム。
- 前記コントローラは、前記医療施術者による所与の選択に応じて、前記少なくとも1つの仮想アイコンのうちの1つの外観を変更するように適合されている、請求項1〜18のいずれか一項に記載のシステム。
- 医療施術者が医療情報と相互作用することを可能にするコンピュータ実施方法であって、
前記医療施術者によって無接触検知ユニットと無接触式に相互作用するために使用される基準物体の3D位置を検出するステップと、
前記検出される基準物体の3D位置を使用して前記医療施術者によって実行される無接触ジェスチャを判定するステップと、
前記受信される無接触ジェスチャに対応する前記医療情報に対するコマンドを識別し、前記医療情報を表示ユニットに表示するために前記コマンドを実行するステップと、
前記基準物体の仮想表現、ならびに、前記無接触検知ユニットの仮想表現および少なくとも1つの仮想アイコンのうちの少なくとも一方を含むグラフィカルユーザインターフェース(GUI)を生成するステップであり、前記GUI内の前記基準物体の前記仮想表現の位置は、前記検出される基準物体の3D位置に応じて選択され、前記少なくとも1つの仮想アイコンの各々は、それぞれの動作モード、それぞれのユーザ通知、およびそれぞれのシステム設定オプションのうちの1つに対応する、生成するステップと、
前記GUIを前記医療情報と共に前記表示ユニット上に表示するステップと
を含む、コンピュータ実施方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562260428P | 2015-11-27 | 2015-11-27 | |
US62/260,428 | 2015-11-27 | ||
PCT/IB2016/056228 WO2017089910A1 (en) | 2015-11-27 | 2016-10-17 | Method and system for interacting with medical information |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019501747A JP2019501747A (ja) | 2019-01-24 |
JP2019501747A5 true JP2019501747A5 (ja) | 2019-12-05 |
JP6994466B2 JP6994466B2 (ja) | 2022-01-14 |
Family
ID=58764004
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018546777A Active JP6994466B2 (ja) | 2015-11-27 | 2016-10-17 | 医療情報との相互作用のための方法およびシステム |
Country Status (5)
Country | Link |
---|---|
US (2) | US11256334B2 (ja) |
EP (1) | EP3380031A4 (ja) |
JP (1) | JP6994466B2 (ja) |
CA (1) | CA3002918C (ja) |
WO (1) | WO2017089910A1 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE112016007015T5 (de) * | 2016-07-29 | 2019-03-21 | Mitsubishi Electric Corporation | Anzeigevorrichtung, anzeigesteuervorrichtung und anzeigesteuerverfahren |
EP3621548A1 (en) * | 2017-06-08 | 2020-03-18 | Medos International Sàrl | User interface systems for sterile fields and other working environments |
US11135015B2 (en) * | 2017-07-21 | 2021-10-05 | Globus Medical, Inc. | Robot surgical platform |
DE102018130640A1 (de) * | 2017-12-18 | 2019-06-19 | Löwenstein Medical Technology S.A. Luxembourg | Virtuelle Bedienung |
JP2021531120A (ja) * | 2018-07-24 | 2021-11-18 | ソニーグループ株式会社 | 手術室でのビデオルーティング |
US20220104694A1 (en) * | 2020-10-02 | 2022-04-07 | Ethicon Llc | Control of a display outside the sterile field from a device within the sterile field |
US11672534B2 (en) | 2020-10-02 | 2023-06-13 | Cilag Gmbh International | Communication capability of a smart stapler |
US11748924B2 (en) | 2020-10-02 | 2023-09-05 | Cilag Gmbh International | Tiered system display control based on capacity and user operation |
US11992372B2 (en) | 2020-10-02 | 2024-05-28 | Cilag Gmbh International | Cooperative surgical displays |
US11963683B2 (en) | 2020-10-02 | 2024-04-23 | Cilag Gmbh International | Method for operating tiered operation modes in a surgical system |
US11877897B2 (en) | 2020-10-02 | 2024-01-23 | Cilag Gmbh International | Situational awareness of instruments location and individualization of users to control displays |
US11883022B2 (en) | 2020-10-02 | 2024-01-30 | Cilag Gmbh International | Shared situational awareness of the device actuator activity to prioritize certain aspects of displayed information |
US11830602B2 (en) | 2020-10-02 | 2023-11-28 | Cilag Gmbh International | Surgical hub having variable interconnectivity capabilities |
US20240016364A1 (en) * | 2020-11-30 | 2024-01-18 | Sony Group Corporation | Surgery system, surgery control device, control method, and program |
US20230025061A1 (en) * | 2021-07-22 | 2023-01-26 | Cilag Gmbh International | Surgical data system and management |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7370983B2 (en) * | 2000-03-02 | 2008-05-13 | Donnelly Corporation | Interior mirror assembly with display |
US8411034B2 (en) * | 2009-03-12 | 2013-04-02 | Marc Boillot | Sterile networked interface for medical systems |
US8681098B2 (en) | 2008-04-24 | 2014-03-25 | Oblong Industries, Inc. | Detecting, representing, and interpreting three-space input: gestural continuum subsuming freespace, proximal, and surface-contact modes |
US8578282B2 (en) * | 2006-03-15 | 2013-11-05 | Navisense | Visual toolkit for a virtual user interface |
US8390438B2 (en) * | 2008-09-24 | 2013-03-05 | St. Jude Medical, Atrial Fibrillation Division, Inc. | Robotic catheter system including haptic feedback |
KR101821418B1 (ko) | 2009-05-04 | 2018-01-23 | 오블롱 인더스트리즈, 인크 | 데이터의 표현, 조작 및 교환을 포함하는 제스처-기반 시스템 |
US9439736B2 (en) * | 2009-07-22 | 2016-09-13 | St. Jude Medical, Atrial Fibrillation Division, Inc. | System and method for controlling a remote medical device guidance system in three-dimensions using gestures |
US9274699B2 (en) * | 2009-09-03 | 2016-03-01 | Obscura Digital | User interface for a large scale multi-user, multi-touch system |
US8878779B2 (en) * | 2009-09-21 | 2014-11-04 | Extreme Reality Ltd. | Methods circuits device systems and associated computer executable code for facilitating interfacing with a computing platform display screen |
US9146674B2 (en) | 2010-11-23 | 2015-09-29 | Sectra Ab | GUI controls with movable touch-control objects for alternate interactions |
WO2012129474A1 (en) | 2011-03-24 | 2012-09-27 | Beth Israel Deaconess Medical Center | Medical image viewing and manipulation contactless gesture-responsive system and method |
RU2639026C2 (ru) * | 2011-12-23 | 2017-12-19 | Конинклейке Филипс Н.В. | Способ и устройство для интерактивного отображения трехмерных ультразвуковых изображений |
US10048779B2 (en) | 2012-06-30 | 2018-08-14 | Hewlett-Packard Development Company, L.P. | Virtual hand based on combined data |
WO2014190018A1 (en) * | 2013-05-21 | 2014-11-27 | Stanley Innovation, Inc. | A system and method for a human machine interface utilizing near-field quasi-state electrical field sensing technology |
US9020194B2 (en) * | 2013-06-14 | 2015-04-28 | Qualcomm Incorporated | Systems and methods for performing a device action based on a detected gesture |
WO2015047595A1 (en) * | 2013-09-27 | 2015-04-02 | Smiths Medical Asd, Inc. | Infusion pump with touchless user interface and related methods |
US20150253860A1 (en) | 2014-03-07 | 2015-09-10 | Fresenius Medical Care Holdings, Inc. | E-field sensing of non-contact gesture input for controlling a medical device |
WO2015188011A1 (en) * | 2014-06-04 | 2015-12-10 | Quantum Interface, Llc. | Dynamic environment for object and attribute display and interaction |
US9839490B2 (en) * | 2015-01-28 | 2017-12-12 | Terarecon, Inc. | Touchless advanced image processing and visualization |
US10755128B2 (en) * | 2018-12-18 | 2020-08-25 | Slyce Acquisition Inc. | Scene and user-input context aided visual search |
-
2016
- 2016-10-17 JP JP2018546777A patent/JP6994466B2/ja active Active
- 2016-10-17 US US15/775,639 patent/US11256334B2/en active Active
- 2016-10-17 EP EP16868102.1A patent/EP3380031A4/en active Pending
- 2016-10-17 WO PCT/IB2016/056228 patent/WO2017089910A1/en active Application Filing
- 2016-10-17 CA CA3002918A patent/CA3002918C/en active Active
-
2022
- 2022-01-20 US US17/580,356 patent/US11662830B2/en active Active
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2019501747A5 (ja) | ||
US10001844B2 (en) | Information processing apparatus information processing method and storage medium | |
US9430698B2 (en) | Information input apparatus, information input method, and computer program | |
JP6642968B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
JP2020534592A5 (ja) | ||
US20140184494A1 (en) | User Centric Interface for Interaction with Visual Display that Recognizes User Intentions | |
TWI559174B (zh) | 以手勢爲基礎之三維影像操控技術 | |
EP3021206B1 (en) | Method and device for refocusing multiple depth intervals, and electronic device | |
US20120026376A1 (en) | Anamorphic projection device | |
JP2013235373A5 (ja) | ||
JP2013161267A5 (ja) | ||
KR20130108604A (ko) | 표시된 정보를 제어하기 위한 사용자 입력 장치 및 방법 | |
KR20180097917A (ko) | 전자 장치 및 그의 제어 방법 | |
KR102561274B1 (ko) | 디스플레이 장치 및 디스플레이 장치의 제어 방법 | |
JP2018010496A5 (ja) | ||
JP2018073172A5 (ja) | ||
KR101330531B1 (ko) | 3차원 카메라를 이용한 가상 터치 방법 및 장치 | |
JP2016126687A (ja) | ヘッドマウントディスプレイ、操作受付方法および操作受付プログラム | |
CN108227968B (zh) | 光标控制方法和装置 | |
JP6632298B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2015177428A5 (ja) | ||
US20150042621A1 (en) | Method and apparatus for controlling 3d object | |
KR102499576B1 (ko) | 전자 장치 및 그 제어 방법 | |
JP2016139396A (ja) | ユーザーインターフェイス装置、方法およびプログラム | |
TW201621554A (zh) | 物件影像之捕捉及投影技術 |