JP2014049125A - 手順を文書記録する方法及び装置 - Google Patents
手順を文書記録する方法及び装置 Download PDFInfo
- Publication number
- JP2014049125A JP2014049125A JP2013172767A JP2013172767A JP2014049125A JP 2014049125 A JP2014049125 A JP 2014049125A JP 2013172767 A JP2013172767 A JP 2013172767A JP 2013172767 A JP2013172767 A JP 2013172767A JP 2014049125 A JP2014049125 A JP 2014049125A
- Authority
- JP
- Japan
- Prior art keywords
- user
- mobile device
- procedure
- control interface
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Position Input By Displaying (AREA)
Abstract
【解決手段】本書に開示される一例の方法は、モバイル装置のカメラ及び入力された画像のエントロピィ方式セグメント分割を用いて、利用者の指先の1又は複数の位置を識別するステップと、利用者指先位置と、利用者入力に基づいて実行されるべき複数の機能を含んでいるモバイル装置の制御インタフェイスとの間の対応を決定するステップと、手順中に、利用者指先位置に基づいて、上述の複数の機能の1又は複数を実行するようにモバイル装置にトリガを与えるステップと、モバイル装置の記憶装置に記憶されるべき報告書を作成するために、利用者入力に基づいて手順の1又は複数の事象を文書記録するステップとを含んでいる。
【選択図】図1
Description
102:手術台
104、106:利用者
110:モバイル装置
112:タッチスクリーン
114:カメラ
120:仮想平面
200:モバイル装置
201:通信バス
202:カメラ
204:マイクロホン
206:制御インタフェイス
208:アプリケーション・インタフェイス
210:文書記録器
220:制御器
312:文書記録編集器
314:報告書作成器
322:装置検出器
324:装置識別器
326:画像フィルタ
328:利用者命令識別器
330:音声認識器
400、600:機械可読の命令
700A、700B、700C:モバイル装置
706A、706B、706C:制御インタフェイス
710A、710B、710C:仮想平面
720A、720B、720C:利用者の手位置
800:コンピュータ
812:プロセッサ
813:ローカル・メモリ
814:揮発性メモリ
816:不揮発性メモリ
818:バス
820:インタフェイス回路
822:入力装置
824:出力装置
826:網
828:大容量記憶装置
832:着脱式記憶媒体
Claims (20)
- モバイル装置のカメラ及び該カメラから入力された画像のエントロピィ方式セグメント分割を用いて、前記モバイル装置の制御インタフェイスとは別個に形成される仮想平面における利用者の指先の1又は複数の位置を識別するステップと、
利用者指先位置と前記モバイル装置の前記制御インタフェイスとの間の対応を決定するステップであって、該対応は利用者入力を形成し、前記制御インタフェイスは、前記利用者入力に基づいて実行されるべき複数の機能を含んでいる、決定するステップと、
手順中に、前記仮想平面における前記利用者指先位置に基づいて、前記モバイル装置を介した前記複数の機能の1又は複数の実行を促進するステップと、
前記モバイル装置を介して出力されるべき報告書を作成するために、前記利用者入力に基づいて前記手順の1又は複数の事象を文書記録するステップと
とを備えた方法。 - 前記仮想平面は、前記モバイル装置の前記制御インタフェイスから離隔して対応しており、
前記仮想平面の第一の座標が前記モバイル装置の前記制御インタフェイスの第二の座標に対応している、請求項1に記載の方法。 - 前記モバイル装置の前記カメラを用いて入力された前記画像において装置識別を検出するステップと、
該装置識別に基づいて装置情報を決定するステップと、
該装置情報を、前記手順の前記1又は複数の事象の一つとして前記報告書に文書記録するステップと
をさらに含んでいる請求項1に記載の方法。 - 前記利用者指先位置により識別された利用者命令に基づいて、マイクロホン又は前記カメラの少なくとも一方を用いた前記手順の音響記録又は動画記録の少なくとも一方を記憶するステップと、
前記手順の前記記録を前記報告書に関連付けるステップと
をさらに含んでいる請求項1に記載の方法。 - 前記利用者の指先位置は、当該利用者の指先に被せた1又は複数の手袋に砕片が実質的に存在しない第一の時刻、及び当該利用者の指先に被せた前記1又は複数の手袋が砕片に実質的に塗れている第二の時刻において識別されるべきである、請求項1に記載の方法。
- 前記1又は複数の事象を文書記録する前記ステップは、前記1又は複数の機能の前記実行からの文書記録データを、利用者設定又はデータ形式の少なくとも一方に基づくフォーマットへ変換するステップをさらに含んでいる、請求項1に記載の方法。
- 前記モバイル装置は、タブレット・コンピュータ、スマートフォン、携帯型情報端末、パーソナル・コンピュータ、又はラップトップ・コンピュータの少なくとも一つである、請求項1に記載の方法。
- モバイル装置のカメラ及び該カメラから入力された画像のエントロピィ方式セグメント分割を用いて、前記モバイル装置の制御インタフェイスとは別個に形成される仮想平面における指先の1又は複数の位置を識別する画像フィルタと、
利用者指先位置と前記モバイル装置の前記制御インタフェイスとの間の対応を決定する利用者命令識別器であって、前記対応は利用者入力を形成し、前記制御インタフェイスは、前記利用者入力に基づいて実行されるべき複数の機能を含んでいる、利用者命令識別器と、
手順中に、前記仮想平面における前記利用者指先位置に基づいて、前記モバイル装置を介した前記複数の機能の1又は複数の実行を促進する制御器と、
前記モバイル装置を介して出力されるべき報告書を作成するために、前記利用者入力に基づいて前記手順の1又は複数の事象を文書記録する文書記録器と
を備えた装置。 - 前記仮想平面は、前記モバイル装置の前記制御インタフェイスから離隔して対応しており、
前記仮想平面の第一の座標が前記モバイル装置の前記制御インタフェイスの第二の座標に対応している、請求項8に記載の装置。 - 前記モバイル装置の前記カメラを用いて入力された前記画像において装置識別を検出する装置識別検出器と、
前記装置識別に基づいて装置情報を決定する装置識別器と
をさらに含んでおり、
前記文書記録器は、前記装置情報を、前記手順の前記1又は複数の事象の一つとして前記報告書に文書記録する、請求項8に記載の装置。 - 前記制御器は、前記利用者指先位置により識別された利用者命令に基づいて、マイクロホン又は前記カメラの少なくとも一方を用いた前記手順の音響記録又は動画記録の少なくとも一方を記憶し、前記文書記録器は、前記手順の前記記録を前記報告書に関連付ける、請求項8に記載の装置。
- 前記利用者の指先位置は、当該利用者の指先に被せた1又は複数の手袋に砕片が実質的に存在しない第一の時刻、及び当該利用者の指先に被せた前記1又は複数の手袋が砕片に実質的に塗れている第二の時刻において識別される、請求項8に記載の装置。
- 前記1又は複数の事象を文書記録することは、前記1又は複数の機能の前記実行からの文書記録データを、利用者設定又はデータ形式の少なくとも一方に基づくフォーマットへ変換することをさらに含んでいる、請求項8に記載の装置。
- 前記モバイル装置は、タブレット・コンピュータ、スマートフォン、携帯型情報端末、パーソナル・コンピュータ、又はラップトップ・コンピュータの少なくとも一つである、請求項8に記載の装置。
- 実行されると、少なくとも
モバイル装置のカメラ及び該カメラから入力された画像のエントロピィ方式セグメント分割を用いて、前記モバイル装置の制御インタフェイスとは別個に形成される仮想平面における利用者の指先の1又は複数の位置を識別し、
利用者指先位置と前記モバイル装置の前記制御インタフェイスとの間の対応を決定し、該対応は利用者入力を形成し、前記制御インタフェイスは、前記利用者入力に基づいて実行されるべき複数の機能を含んでおり、
手順中に、前記仮想平面における前記利用者指先位置に基づいて、前記モバイル装置を介した前記複数の機能の1又は複数の実行を促進して、
前記モバイル装置を介して出力されるべき報告書を作成するために、前記利用者入力に基づいて前記手順の1又は複数の事象を文書記録する
ことを機械に行なわせる命令を備えた機械可読の記憶媒体。 - 前記仮想平面は、前記モバイル装置の前記制御インタフェイスから離隔して対応しており、
前記仮想平面の第一の座標が前記モバイル装置の前記制御インタフェイスの第二の座標に対応している、請求項15に記載の記憶媒体。 - 前記命令は、
前記モバイル装置の前記カメラを用いて入力された前記画像において装置識別を検出し、
該装置識別に基づいて装置情報を決定して、
該装置情報を、前記手順の前記1又は複数の事象の一つとして前記報告書に文書記録する
ことを前記機械に行なわせる、請求項15に記載の記憶媒体。 - 前記命令は、
前記利用者指先位置により識別された利用者命令に基づいて、マイクロホン又は前記カメラの少なくとも一方を用いた前記手順の音響記録又は動画記録の少なくとも一方を記憶して、
前記手順の前記記録を前記報告書に関連付ける
ことを前記機械に行なわせる、請求項15に記載の記憶媒体。 - 前記利用者の指先位置は、当該利用者の指先に被せた1又は複数の手袋に砕片が実質的に存在しない第一の時刻、及び当該利用者の指先に被せた前記1又は複数の手袋が砕片に実質的に塗れている第二の時刻において識別される、請求項15に記載の記憶媒体。
- 前記1又は複数の事象を文書記録することは、前記1又は複数の機能の前記実行からの文書記録データを、利用者設定又はデータ形式の少なくとも一方に基づくフォーマットへ変換することをさらに含んでいる、請求項15に記載の記憶媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/601,790 US8907914B2 (en) | 2012-08-31 | 2012-08-31 | Methods and apparatus for documenting a procedure |
US13/601,790 | 2012-08-31 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018083657A Division JP6609343B2 (ja) | 2012-08-31 | 2018-04-25 | 手順を文書記録する方法及び装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014049125A true JP2014049125A (ja) | 2014-03-17 |
Family
ID=50186825
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013172767A Pending JP2014049125A (ja) | 2012-08-31 | 2013-08-23 | 手順を文書記録する方法及び装置 |
JP2018083657A Active JP6609343B2 (ja) | 2012-08-31 | 2018-04-25 | 手順を文書記録する方法及び装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018083657A Active JP6609343B2 (ja) | 2012-08-31 | 2018-04-25 | 手順を文書記録する方法及び装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8907914B2 (ja) |
JP (2) | JP2014049125A (ja) |
CN (1) | CN103677254B (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018128917A (ja) * | 2017-02-09 | 2018-08-16 | 株式会社Nttドコモ | 入力システム |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9898183B1 (en) * | 2012-09-19 | 2018-02-20 | Amazon Technologies, Inc. | Motions for object rendering and selection |
JP5936138B2 (ja) * | 2013-06-19 | 2016-06-15 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | 操作手順書を生成する装置及び方法 |
US9946985B2 (en) * | 2014-04-15 | 2018-04-17 | Kofax, Inc. | Touchless mobile applications and context-sensitive workflows |
US9454235B2 (en) * | 2014-12-26 | 2016-09-27 | Seungman KIM | Electronic apparatus having a sensing unit to input a user command and a method thereof |
AU2016285314C1 (en) * | 2015-06-28 | 2019-12-19 | S & S Innovations, LLC | Tracking patient information and medical device identifier |
CN106951087B (zh) * | 2017-03-27 | 2020-02-21 | 联想(北京)有限公司 | 一种基于虚拟交互平面的交互方法及装置 |
US10620713B1 (en) * | 2019-06-05 | 2020-04-14 | NEX Team Inc. | Methods and systems for touchless control with a mobile device |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005190283A (ja) * | 2003-12-26 | 2005-07-14 | Nec Access Technica Ltd | 情報入力装置 |
US20060007188A1 (en) * | 2004-07-09 | 2006-01-12 | Gesturerad, Inc. | Gesture-based reporting method and system |
JP2008259661A (ja) * | 2007-04-12 | 2008-10-30 | Toshiba Corp | 検査情報処理システム及び検査情報処理装置 |
WO2011121986A1 (ja) * | 2010-03-29 | 2011-10-06 | 富士フイルム株式会社 | 観察支援システムおよび方法並びにプログラム |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0580248A (ja) * | 1991-09-19 | 1993-04-02 | Ricoh Co Ltd | オートフオーカス装置 |
JP2007516026A (ja) * | 2003-11-05 | 2007-06-21 | サイキャン・ア・ディビジョン・オブ・ルックス・アンド・ツビンゲンベルガー・リミテッド | 処理される器具の管理システム |
US7697729B2 (en) * | 2004-01-29 | 2010-04-13 | Authentec, Inc. | System for and method of finger initiated actions |
JP2006043209A (ja) * | 2004-08-05 | 2006-02-16 | U Production:Kk | 外科手術の動画記録装置 |
US20060103633A1 (en) * | 2004-11-17 | 2006-05-18 | Atrua Technologies, Inc. | Customizable touch input module for an electronic device |
US20080104547A1 (en) | 2006-10-25 | 2008-05-01 | General Electric Company | Gesture-based communications |
US20080114615A1 (en) | 2006-11-15 | 2008-05-15 | General Electric Company | Methods and systems for gesture-based healthcare application interaction in thin-air display |
US20090167723A1 (en) * | 2007-12-31 | 2009-07-02 | Wah Yiu Kwong | Input devices |
JP4896932B2 (ja) * | 2008-06-26 | 2012-03-14 | 京セラ株式会社 | 入力装置 |
US8543415B2 (en) * | 2008-11-26 | 2013-09-24 | General Electric Company | Mobile medical device image and series navigation |
US8446367B2 (en) * | 2009-04-17 | 2013-05-21 | Microsoft Corporation | Camera-based multi-touch mouse |
US8340654B2 (en) * | 2009-05-26 | 2012-12-25 | Lextech Labs Llc | Apparatus and method for video display and control for portable device |
JP2011028345A (ja) * | 2009-07-22 | 2011-02-10 | Olympus Imaging Corp | 条件変更装置、カメラ、携帯機器、およびプログラム |
JP5304544B2 (ja) * | 2009-08-28 | 2013-10-02 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
WO2011036618A2 (en) * | 2009-09-22 | 2011-03-31 | Pebblestech Ltd. | Remote control of computer devices |
US8432367B2 (en) * | 2009-11-19 | 2013-04-30 | Google Inc. | Translating user interaction with a touch screen into input commands |
JP4615065B1 (ja) * | 2010-02-22 | 2011-01-19 | エンパイア テクノロジー ディベロップメント エルエルシー | 撮像装置及び撮像方法 |
JP4950321B2 (ja) * | 2010-04-26 | 2012-06-13 | 京セラ株式会社 | 文字入力装置、文字入力方法および文字入力プログラム |
US8610681B2 (en) * | 2010-06-03 | 2013-12-17 | Sony Corporation | Information processing apparatus and information processing method |
EP2407870A1 (en) * | 2010-07-16 | 2012-01-18 | Research in Motion Limited | Camera focus and shutter control |
CN101869503A (zh) * | 2010-07-18 | 2010-10-27 | 江苏埃立特医疗科技有限公司 | 一种具有同屏显示菜单式触控操作的超声监视妇产科宫腔手术仪 |
JP2012104994A (ja) * | 2010-11-09 | 2012-05-31 | Sony Corp | 入力装置、入力方法、プログラム及び記録媒体 |
US9389774B2 (en) * | 2010-12-01 | 2016-07-12 | Sony Corporation | Display processing apparatus for performing image magnification based on face detection |
US10108783B2 (en) * | 2011-07-05 | 2018-10-23 | Saudi Arabian Oil Company | Systems, computer medium and computer-implemented methods for monitoring health of employees using mobile devices |
US20130050069A1 (en) * | 2011-08-23 | 2013-02-28 | Sony Corporation, A Japanese Corporation | Method and system for use in providing three dimensional user interface |
US9229613B2 (en) * | 2012-02-01 | 2016-01-05 | Facebook, Inc. | Transitions among hierarchical user interface components |
US9535596B2 (en) * | 2012-07-25 | 2017-01-03 | Facebook, Inc. | Three-dimensional gestures |
-
2012
- 2012-08-31 US US13/601,790 patent/US8907914B2/en active Active
-
2013
- 2013-08-23 JP JP2013172767A patent/JP2014049125A/ja active Pending
- 2013-09-02 CN CN201310391471.5A patent/CN103677254B/zh active Active
-
2018
- 2018-04-25 JP JP2018083657A patent/JP6609343B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005190283A (ja) * | 2003-12-26 | 2005-07-14 | Nec Access Technica Ltd | 情報入力装置 |
US20060007188A1 (en) * | 2004-07-09 | 2006-01-12 | Gesturerad, Inc. | Gesture-based reporting method and system |
JP2008506188A (ja) * | 2004-07-09 | 2008-02-28 | ジェスチャーラド インコーポレイテッド | ジェスチャ・ベース報告方法およびシステム |
JP2008259661A (ja) * | 2007-04-12 | 2008-10-30 | Toshiba Corp | 検査情報処理システム及び検査情報処理装置 |
WO2011121986A1 (ja) * | 2010-03-29 | 2011-10-06 | 富士フイルム株式会社 | 観察支援システムおよび方法並びにプログラム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018128917A (ja) * | 2017-02-09 | 2018-08-16 | 株式会社Nttドコモ | 入力システム |
Also Published As
Publication number | Publication date |
---|---|
JP6609343B2 (ja) | 2019-11-20 |
US20140062851A1 (en) | 2014-03-06 |
US8907914B2 (en) | 2014-12-09 |
CN103677254B (zh) | 2018-01-09 |
JP2018142353A (ja) | 2018-09-13 |
CN103677254A (zh) | 2014-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6609343B2 (ja) | 手順を文書記録する方法及び装置 | |
US11003349B2 (en) | Actionable content displayed on a touch screen | |
US10866785B2 (en) | Equal access to speech and touch input | |
WO2012135218A2 (en) | Combined activation for natural user interface systems | |
US20140013192A1 (en) | Techniques for touch-based digital document audio and user interface enhancement | |
KR20170037957A (ko) | 스프레드시트의 데이터세트를 폼 기반 뷰 내에 표현하는 기법 | |
CN104461348B (zh) | 信息选取方法及装置 | |
WO2018175235A1 (en) | Media message creation with automatic titling | |
JP5698355B2 (ja) | ジェスチャーに基づく人間と機械のインタラクション方法およびシステム、コンピュータ記録媒体 | |
CN113901186A (zh) | 电话录音标注方法、装置、设备及存储介质 | |
JP6095553B2 (ja) | 情報表示装置、方法及びプログラム | |
WO2014120383A1 (en) | Smart interactive bookmarks | |
Campbell | Tools and resources for visualising conversational-speech interaction | |
EP2458513A1 (en) | Note management methods and systems | |
Gebrekidan Gebre et al. | Automatic signer diarization-the mover is the signer approach | |
EP2672379A1 (en) | Method and device for data entry | |
US20160162446A1 (en) | Electronic device, method and storage medium | |
TWI387888B (zh) | Windows detection system | |
KR101464739B1 (ko) | 가상 콘트롤 출력 지원 기반의 터치스크린 장치 및 상기 터치스크린 장치의 가상 콘트롤 출력 지원 방법 | |
JP2022108803A (ja) | 音声認識システム、音声認識方法およびプログラム | |
JP6207260B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
TW201502959A (zh) | 強化的畫布環境 | |
WO2017009959A1 (ja) | 情報処理装置および情報処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160823 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170516 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170517 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170816 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20171226 |