JP2018142353A - 手順を文書記録する方法及び装置 - Google Patents

Abstract

【課題】非接触型環境において手順を文書記録する。
【解決手段】本書に開示される一例の方法は、モバイル装置のカメラ及び入力された画像のエントロピィ方式セグメント分割を用いて、利用者の指先の１又は複数の位置を識別するステップと、利用者指先位置と、利用者入力に基づいて実行されるべき複数の機能を含んでいるモバイル装置の制御インタフェイスとの間の対応を決定するステップと、手順中に、利用者指先位置に基づいて、上述の複数の機能の１又は複数を実行するようにモバイル装置にトリガを与えるステップと、モバイル装置の記憶装置に記憶されるべき報告書を作成するために、利用者入力に基づいて手順の１又は複数の事象を文書記録するステップと、前記モバイル装置の前記カメラを用いて入力された前記画像において装置識別を検出し、装置情報を前記報告書に文書記録するステップとを含んでいる。
【選択図】図１

Description

本開示は一般的には、モバイル装置と相互作用（対話）することに関し、さらに具体的には、モバイル装置を用いて手順を文書記録（ドキュメント）することに関する。

タブレット・コンピュータ、パーソナル・コンピュータ（ＰＣ）、スマートフォン及びｍｐ３プレーヤ等のようなモバイル装置は多くの用途を創出してきた。これらの装置は典型的には、当該装置の利用者制御のためのタッチスクリーン及び／又はキーボード、並びに画像及び／又は動画を撮影するカメラを含んでいる。

幾つかの環境では、この装置を制御するためにタッチスクリーン又はキーボードを用いることは実際的でない。例えば、医療施設の手術室は無菌環境を保たなければならず、従って、タッチスクリーン及び／又はキーボードの利用は極めて煩雑であり、またスクリーンに触れることによる感染、汚染の危険性のため制限される。従って、無菌環境は、何人もの利用者（例えば看護師、外科医及び麻酔医等）がこの特定の環境においてかかる装置を操作することを許さない。

本書に開示される一例の方法が、モバイル装置のカメラ及びカメラから入力された画像のエントロピィ方式セグメント分割を用いて、モバイル装置の制御インタフェイスとは別個に形成される仮想平面における利用者の指先の位置を識別するステップと、利用者指先位置とモバイル装置の制御インタフェイスとの間の対応を決定するステップであって、この対応は利用者入力を形成し、制御インタフェイスは、利用者入力に基づいて実行されるべき複数の機能を含んでいる、決定するステップと、手順中に、仮想平面における利用者指先位置に基づいて、モバイル装置を介した上述の複数の機能の１又は複数の実行を促進するステップと、モバイル装置を介して出力されるべき報告書を作成するために、利用者入力に基づいて手順の１又は複数の事象を文書記録するステップとを含んでいる。

本書に開示される一例の装置が、モバイル装置のカメラ及びカメラから入力された画像のエントロピィ方式セグメント分割を用いて、モバイル装置の制御インタフェイスとは別個に形成される仮想平面における指先の１又は複数の位置を識別する画像フィルタと、利用者指先位置とモバイル装置の制御インタフェイスとの間の対応を決定する利用者命令識別器であって、この対応は利用者入力を形成し、制御インタフェイスは、利用者入力に基づいて実行されるべき複数の機能を含んでいる、利用者命令識別器と、手順中に、仮想平面における利用者指先位置に基づいて、モバイル装置を介した上述の複数の機能の１又は複数の実行を促進する制御器と、モバイル装置を介して出力されるべき報告書を作成するために、利用者入力に基づいて手順の１又は複数の事象を文書記録する文書記録器とを含んでいる。

一例の機械媒体が、実行されると、モバイル装置のカメラ及びカメラから入力された画像のエントロピィ方式セグメント分割を用いて、モバイル装置の制御インタフェイスとは別個に形成される仮想平面における利用者の指先の１又は複数の位置を識別し、利用者指先位置とモバイル装置の制御インタフェイスとの間の対応を決定し、この対応は利用者入力を形成し、制御インタフェイスは、利用者入力に基づいて実行されるべき複数の機能を含んでおり、手順中に、仮想平面における利用者指先位置に基づいて、モバイル装置を介した上述の複数の機能の１又は複数の実行を促進し、モバイル装置を介して出力されるべき報告書を作成するために、利用者入力に基づいて手順の１又は複数の事象を文書記録することを機械に行なわせる命令を含んでいる。

本開示の教示に従ってモバイル装置と相互作用する非接触型方法のための一例の利用環境を示す図である。 本開示の教示に従って構築される一例のモバイル装置のブロック図である。 図２の一例のモバイル装置に用いられる一例の制御器及び一例の文書記録器のブロック図である。 図２及び／又は図３の一例の制御器及び／又は文書記録器を具現化するために実行され得る第一の例の機械可読の命令を表わす流れ図である。 図２及び／又は図３の一例の文書記録器を具現化するために実行され得る第二の例の機械可読の命令を表わす流れ図である。 図３の一例の文書記録器の一例の装置識別器を具現化するために実行され得る第三の例の機械可読の命令を表わす流れ図である。 図１及び／又は図２の一例のモバイル装置の制御のための一例の指位置及び／又は指ジェスチャを示す図である。 図１及び／又は図２の一例のモバイル装置の制御のための一例の指位置及び／又は指ジェスチャを示す図である。 図１及び／又は図２の一例のモバイル装置の制御のための一例の指位置及び／又は指ジェスチャを示す図である。 図２及び／又は図３の制御器及び文書記録器を具現化するために図４〜図６の命令を実行することが可能な一例のコンピュータのブロック図である。

幾つかの例が、タッチスクリーン及び／又はキーボードを用いたモバイル装置の制御が実際的でないような環境において生ずる手順事象の文書記録のために、進行中の手順からの実時間（又は処理及び／若しくは記憶による遅延を考慮して実質的に実時間）の入力を提供する。従って、一定の環境における利用者が単一の装置を制御することを可能にして、文書記録の繰り返しを回避すると共に精度及び効率の向上を見込むことが本開示において提供される。

加えて、多くの環境、特に医療施設の手術室において、利用者が手順を文書記録するために、モバイル装置（例えばタブレット・コンピュータ、スマートフォン、携帯型情報端末及びラップトップ・コンピュータ等）の標準的な制御インタフェイス（タッチスクリーン、キーボード及びマウス等）を用いてモバイル装置を制御することが困難である又は不可能である場合がある。標準的な制御インタフェイスを用いてモバイル装置を制御することが不可能である様々な理由としては、利用者の手を無菌に保つため、且つ／又は装置を砕片（例えば血液、組織片（dirt）及び油脂等）から清浄に保つため等がある。従って、モバイル装置に触れずに手順を文書記録するためにモバイル装置を制御する能力を得られると望ましい。

開示される一例の方法及び装置は、モバイル装置のカメラ及びカメラによって撮影された画像のエントロピィ方式セグメント分割を用いて、利用者がモバイル装置に触れずに手順を文書記録するためにモバイル装置を制御することを可能にする。カメラは利用者の手の画像を撮影し、画像に施されるエントロピィ方式セグメント分割は利用者の指先位置を識別するために用いられる。エントロピィ方式セグメント分割を用いると、同じ利用者の手であるか何人もの利用者の手であるかを問わず、手が砕片や汚物に塗れていても、あらゆる手を識別することが可能になる。１又は複数の利用者の指先の識別のために仮想平面を設定することができる。仮想平面は、モバイル装置の制御インタフェイス（例えばタッチスクリーン及び表示器等）に対応する「空中」制御インタフェイスとして用いることができる。すると、利用者は仮想平面を制御インタフェイスとして用いてモバイル装置を制御することができ、従って、次いで利用者はモバイル装置の幾つか又は全ての機能（例えばブラウザ及びアプリケーション等）にアクセスすることができる。

加えて、標準的な制御インタフェイスを用いて機器又は装置に指示する必要なしに、利用者が所定の手順のために用いている機器又は装置を文書記録しておくことが望ましい場合がある。開示される一例の方法及び装置は、モバイル装置のカメラを用いて機器又は装置を識別する。カメラから受け取られた画像は装置検出器によって監視され、装置検出器は、手順において用いられている機器若しくは装置のラベル、バー・コード、及び／若しくは形状を検出し、又は認識することもできる。利用者は、識別のために装置をカメラに提示することができ、モバイル装置は装置の利用を文書記録し、また装置が手順中の何時用いられているかを文書記録する。

開示される一例の方法及び装置は、モバイル装置が上述のような文書記録データを受け取り、データを編集して手順の報告書を作成することを可能にする。文書記録データは、適当なフォーマットへ変換された後に編集され得る。幾つかの例では、文書記録データは、手順中に発行されたあらゆる命令、議論、及び／又は利用者命令を報告するための音声から書き起こしたテキスト・データを含んでいる。加えて、モバイル装置は、手順の音響、動画、及び／又は画像を記録して、作成される報告書に音響録音、動画録画、及び／又は画像撮影を提供することができる。

このように、開示される方法及び装置によって、利用者はモバイル装置の標準的な制御インタフェイスを利用する必要性を実質的になくしてモバイル装置と相互作用して手順を文書記録することができる。

図１は、一例のモバイル装置１１０が用いられ得る医療施設の手術室のような一例の環境１００を示す。この一例の環境１００には、手術台１０２、利用者１０４、１０６、モバイル装置１１０、及び仮想平面１２０が示されている。環境１００では、利用者１０４、１０６は、手術台１０２において手順を実行することができる。図示の例では、モバイル装置１１０は、利用者１０４、１０６から見える距離の範囲内に位置している。幾つかの例では、モバイル装置は、タブレット・コンピュータ、携帯電話、スマートフォン、携帯型情報端末（ＰＤＡ）、パーソナル・コンピュータ（ＰＣ）及びラップトップ・コンピュータ等の１又は複数であり得る。さらに、図示の例では、環境１００は無菌環境であり、この環境では利用者１０４、１０６は、当該利用者１０４、１０６及び／又はモバイル装置１００に対して如何なる汚染も拡散しないようにモバイル装置１１０に触れてはならない。図示の例では、モバイル装置１１０はタッチスクリーン１１２及びカメラ１１４を有している。

利用者１０４、１０６は、手順中にモバイル装置１１０に触れることなくモバイル装置１１０を用いて図１の図示の例で実行されている手順を文書記録することができる。図示の例では、エントロピィ方式セグメント分割を用いて利用者１０４、１０６の指先を検出するためにモバイル装置１１０のカメラ１１４を用いることができる。幾つかの例では、エントロピィ方式セグメント分割は、利用者１０４、１０６が手袋を用いていても、且つ／又は利用者の手袋及び／若しくは指先が砕片（例えば血液、組織片及び油脂等）や汚物に塗れていても、利用者１０４、１０６の指先の検出を可能にする。モバイル装置１００のタッチスクリーン１１２に対応する仮想平面１２０は、利用者１０４、１０６がモバイル装置１１０を制御するために設定され得る。利用者１０４、１０６は、モバイル装置１１０において実行されるべき機能を示すタッチスクリーン１１２に表示されているアイコンを、タッチスクリーン１１２でのアイコンの位置に対応する仮想平面１２０の位置を指すことにより選択することができる。

幾つかの例では、図１の利用者１０４、１０６は、手順中に、モバイル装置１００によって識別され得る装置を用いることができる。幾つかの例では、モバイル装置１００は、モバイル装置１００のカメラ１１４を用いる装置識別器を含んでいる。装置識別器は、１又は複数の形式の装置識別（例えばバー・コード、ラベル及び装置形状等）に基づいて装置を自動的に認識することができる。幾つかの例では、モバイル装置１００は装置識別を解読して装置情報（例えば装置の名称、形式及びモデル等）を決定する。幾つかの例では、モバイル装置１００は、当該モバイル装置１００、又はモバイル装置１００に接続された網によってアクセス可能な他の位置に記憶されているデータベースに対して装置識別を照合する。

幾つかの例では、モバイル装置１１０は、図１の一例の環境１００において実行されている手順を記録する。手順の動画記録を行ない、この記録を、手順を文書記録した報告書に関連付けてもよい。モバイル装置１１０は、所与の時刻に利用者１０４、１０６の何れが発話したかを音声識別ソフトウェアが決定することを可能にし得る。さらに、幾つかの例では、モバイル装置１１０は、一例の環境１００において実行されている手順の報告書の作成のために利用者１０４、１０６の話した言葉を書き起こす音声テキスト変換機能を用いることもできる。

従って、図１の一例の環境１００では、利用者１０４、１０６は、モバイル装置に触れる必要なく一例のモバイル装置１１０を用いて手順を文書記録することができる。例えば、モバイル装置１００は、モバイル装置１００の利用者の制御命令、手順中に用いられている装置の識別、手順の音響録音、動画録画、静止画像撮影、手順中の利用者の議論／指示の音声からテキストへの書き起こし、手順中にモバイル装置１００において用いられたアプリケーション機能、並びに手順中に利用者によってアクセスされた参考資料及び／又はファイル等を含む報告書を作成することにより、手順を文書記録することができる。文書記録は、例えばこれらのコンテンツ項目の１又は複数を組み合わせて報告書を形成してもよい。

図２は、図１のモバイル装置１１０を具現化するために用いられ得る一例のモバイル装置２００のブロック図である。一例のモバイル装置２００は、カメラ２０２、マイクロホン２０４、制御インタフェイス２０６、アプリケーション・インタフェイス２０８、文書記録器２１０、及び制御器２２０を含んでいる。一例のモバイル装置２００は、カメラ２０２、マイクロホン２０４、制御インタフェイス２０６、アプリケーション・インタフェイス２０８、文書記録器２１０、及び／又は制御器２２０同士の間の通信を容易にする通信バス２０１を含んでいる。図示の例では、ブロック（２０２〜２２０）の各々を組み合わせたり並べ換えたりしてもよい。例えば、カメラ２０２をマイクロホン２０４と組み合わせてもよい。幾つかの例では、カメラ２０２は一例の画像を受け取り、マイクロホン２０４は一例の音響を受け取る。幾つかの例では、制御インタフェイス２０６は、利用者から入力を受け取り（例えばタッチスクリーン及びキーパッド等）、利用者へ出力を送る（例えば表示器等）。アプリケーション・インタフェイス２０８は、利用者が制御インタフェイス２０６を介して、及び／又は制御器２２０が、モバイル装置２００に記憶されていてよいアプリケーション及び／若しくは機能と相互作用し且つ／又はこれらのアプリケーション及び／若しくは機能を実行することを可能にし得る。幾つかの例では、一例の文書記録器２１０は、利用者とモバイル装置２００との相互作用を記憶し且つ／又は記録することができる。文書記録器２１０は、利用者によって実行されている手順についての利用者の相互作用に基づいて事象の報告書を作成することができる。

一例の制御器２２０は、ユーザ・インタフェイス２０６を介して受け取られた利用者（例えば利用者１０４、１０６）の命令を実行するために用いられ得る。制御器２２０はまた、一例のエントロピィ方式セグメント分割アルゴリズムを用いて、カメラ２０２によって識別された指先位置に基づいて利用者（例えば利用者１０４、１０６）から命令を受け取ることができる。幾つかの例では、制御器２２０は、カメラ２０２から画像を受け取って、画像にエントロピィ方式セグメント分割アルゴリズムを施す。この一例のアルゴリズムを施して、制御器２２０は画像における利用者１０４、１０６の指先位置を識別する。この一例のアルゴリズムをカメラ２０２から受け取られた一連の画像に施した後に、一例の制御器は、指先位置に基づいて利用者１０４、１０６からの命令を解釈することができる。幾つかの命令は、限定しないが、モバイル装置２００の機能及び／又はアプリケーションを制御すること、装置の識別を依頼すること、モバイル装置２００のブラウザを動作させること、並びにモバイル装置２００のカメラ及び／又はマイクロホンを動作させること等を含み得る。

図３は、図２の一例の制御器２２０及び一例の文書記録器２１０をそれぞれ具現化するために用いられ得る一例の制御器２２０及び一例の文書記録器２１０のブロック図である。図示の例では、図３の一例の制御器２２０は、装置検出器３２２、装置識別器３２４、画像フィルタ３２６、利用者命令識別器３２８、及び音声認識器３３０を含んでいる。図示の例では、一例の文書記録器２１０は、文書記録編集器３１２及び報告書作成器３１４を含んでいる。

図３では、一例の制御器２２０は、カメラ（例えばカメラ２０２）からの一例の画像、マイクロホン（例えばマイクロホン２０４）からの音響、及び制御インタフェイス（例えば制御インタフェイス２０６）からの制御インタフェイス・データを受け取る。図示の例では、画像は、装置検出器３２２及び画像フィルタ３２６によって受け取られる。

図３の一例の装置検出器３２２は、一例の手順中に用いられている装置の一意の識別子を認識することができる。例えば、医学的手順において、装置は、この医学的手順中に設置される埋植物及び／又は用いられる器具を含み得る。装置検出器３２２は、この一例の装置のラベル、バー・コード、及び／又は形状を自動的に認識することができる。一旦、装置検出器３２２が装置識別の画像を認識したら、装置検出器３２２はこの画像を装置識別器３２４へ転送して、画像に基づいて装置情報を決定する。装置識別器３２４は画像を解読して装置情報を得ることができる。例えば、装置識別はバー・コードを含み得る。装置識別器３２４は、走査ソフトウェア／機能を用いて装置情報を決定してもよい。幾つかの例では、装置識別器３２４は画像を解読して、装置に貼付されたラベル及び／又は型番のような画像内のテキストを識別することができる。幾つかの例では、次いで制御器２２０及び／又は装置識別器３２４はこの画像を、一例のモバイル装置（例えばモバイル装置２００）のデータベースに記憶されている装置情報と照合して、装置情報を識別することができる。一旦、装置識別器３２４が装置情報を決定したら、装置情報は情報を文書記録器２１０へ転送する（おそらくは通信バス２０１のような通信バスを介して）。

図３の一例の画像フィルタ３２６は、カメラ（例えばカメラ２０２）から画像を受け取る。画像フィルタ３２６は、背景付きの手、指及び／又は指先のセグメント分割のために画像のテクスチャに基づく領域に着目する。画像にエントロピィ方式セグメント分割アルゴリズムを施した後に、最小最大フィルタを施して指を識別することができる。一旦、これらの画像について画像フィルタ３２６を用いて一例の利用者（例えば利用者１０４、１０６）の手、指及び／又は指先が識別されたら、図３の利用者命令識別器３２８がフィルタを施した画像から利用者命令を決定する。

図３の利用者命令識別器３２８は、画像フィルタ３２６による画像のセグメント分割に基づいて画像において利用者の手、指及び／又は指先を追跡する。画像の各々における利用者の手、指及び／又は指先の位置を決定することにより、利用者命令識別器３２８は、一例のモバイル装置２００の記憶装置及び／又はモバイル装置に関連した網に接続されているデータベースに記憶されている命令データを照合することにより、利用者の命令を解釈することができる。幾つかの例では、制御器２２０は利用者命令識別器によって識別された命令を用いて、モバイル装置２００のアプリケーション及び／又は機能を実行する。利用者命令識別器３２８は、この識別された命令を文書記録のために文書記録器２１０へ転送することができる。

図３の音声認識器３３０は、一例のモバイル装置２００のマイクロホンから音響を受け取る。音声認識器３３０は、音声データにフィルタを施し、フィルタを施したデータを利用者命令識別器３２８へ転送して、利用者からの命令を決定することができる。幾つかの例では、制御器２２０は、音声認識器３３０からの音声命令データを用いて一例のモバイル装置を制御することができる。幾つかの例では、音声認識器３３０は音声データをテキストへ変換して、音声データを文書記録のために文書記録器２１０へ転送する。幾つかの例では、音声認識器３３０は音声認識ソフトウェアを有し、音響に被さって受け取られた音声に基づいて１又は複数の利用者（例えば利用者１０４、１０６）を識別することもできる。音声認識器３３０は音声データを一例の利用者の各々に関連付けて、情報を文書記録器２１０へ転送することができる。幾つかの例では、文書記録器２１０は音声データを文書記録して、音声データを各々の対応する利用者に関連付け、一例の手順について何れの利用者が何れの命令及び／又は何れの情報を発声したかを文書記録する。

図３の文書記録器２１０は、装置識別器３２４、利用者命令識別器３２８、及び／又は音声認識器３３０を介して制御器２２０からデータを受け取る。幾つかの例では、文書記録器２１０は制御インタフェイス２０６から制御インタフェイス・データを受け取る。文書記録器２１０は文書記録編集器３１２において情報を受け取る。文書記録編集器３１２は、一例のモバイル装置２００によって文書記録されるべきデータを編集する。幾つかの例では、文書記録編集器３１２は、情報が文書記録編集器３１２において受け取られた時刻に基づいて情報を並べ換え（ソート）する。幾つかの例では、文書記録編集器３１２は、音声認識器３３０、利用者命令識別器３２８、及び／又は装置識別器３２４から受け取られた音声データ及び／又は画像データをテキスト・データへ変換する。幾つかの例では、次いで文書記録編集器は、利用者からデータを受け取ったことに関連する時刻に基づいてテキスト・データを編集する。幾つかの例では、文書記録編集器３１２は、利用者への報告書の作成のために、編集したデータを報告書作成器３１４へ転送する。

図３の一例の報告書作成器３１４は、利用者への提示のための報告書を作成する。幾つかの例では、利用者は、時刻、位置、利用者、手順及び情報等に基づいて制御インタフェイス（例えば制御インタフェイス２０６）を介して報告書をカスタマイズすることができる。幾つかの例では、報告書作成器は、データ形式（例えば音響データ、装置データ、並びに命令データ（手及び／又は音声による）等）に基づいて文書記録編集器３１２からのデータをソートする。幾つかの例では報告書作成器は、カメラ（例えばカメラ２０２）によって記録された手順の動画を検索して、動画を作成された報告書に関連付けることができる。幾つかの例では、作成された報告書は、モバイル装置（例えばモバイル装置２００）の表示器（例えばタッチスクリーン）を介して表示される。幾つかの例では、一例の報告書は、一例のモバイル装置の一例のデータベース及び／又はモバイル装置に関連した網に接続されているデータベースに記憶される。

図２の一例のモバイル装置２００、さらに明確に述べると、図３の一例の制御器２２０及び一例の文書記録器２１０を具現化する一例の態様を図２及び／又は図３に示したが、図２及び／又は図３に示されている要素、工程及び／又は装置の１又は複数を組み合わせたり、分割したり、並べ換えたり、省略したり、消去したり、他の任意の方法で具現化したりしてよい。さらに、図２及び／又は図３の一例の装置検出器３２２、一例の装置識別器３２４、一例の画像フィルタ３２６、一例の利用者命令識別器３２８、一例の音声認識器３３０、一例の文書記録編集器３１２、及び一例の報告書作成器３１４、並びに／又はさらに一般的には一例の制御器２２０及び一例の文書記録器２１０を、ハードウェア、ソフトウェア、ファームウェア、並びに／又はハードウェア、ソフトウェア及び／若しくはファームウェアの任意の組み合わせによって具現化してもよい。このように、一例の装置検出器３２２、一例の装置識別器３２４、一例の画像フィルタ３２６、一例の利用者命令識別器３２８、一例の音声認識器３３０、一例の文書記録編集器３１２、及び一例の報告書作成器３１４、並びに／又はさらに一般的には一例の制御器２２０及び一例の文書記録器２１０は、１若しくは複数の回路、プログラム可能なプロセッサ、特定応用向け集積回路（ＡＳＩＣ）、プログラム可能な論理装置（ＰＬＤ）、及び／又はフィールド・プログラマブル論理装置（ＦＰＬＤ）等によって具現化され得る。本特許の装置請求項の任意のものが純粋にソフトウェア及び／又はファームウェアの具現化形態をカバーするように読まれるときには、一例の装置検出器３２２、一例の装置識別器３２４、一例の画像フィルタ３２６、一例の利用者命令識別器３２８、一例の音声認識器３３０、一例の文書記録編集器３１２、及び一例の報告書作成器３１４の少なくとも一つがこれにより当該ソフトウェア及び／又はファームウェアを記憶したメモリ、ＤＶＤ及びＣＤ等のようなコンピュータ可読の記憶媒体を含むものと明確に定義される。さらにまた、一例の制御器２２０及び文書記録器２１０は、図２及び／若しくは図３に図示されているものに加えて若しくはこれらの代替として１若しくは複数の要素、工程及び／若しくは装置を含み、且つ／又は図示の要素、工程及び装置の任意のもの若しくは全ての１よりも多いものを含み得る。

図２及び／又は図３の制御器２２０及び文書記録器２３０を具現化するための一例の機械可読の命令を表わす流れ図を図４〜図６に示す。この例では、機械可読の命令は、図８に関連して後に議論される一例のプロセッサ・プラットフォーム８００に示すプロセッサ８１２のようなプロセッサによって実行されるプログラムを含んでいる。プログラムは、ＣＤ−ＲＯＭ、フロッピィ・ディスク、ハード・ドライブ、ディジタル汎用ディスク（ＤＶＤ）、ブルーレイ（商標）ディスク、又はプロセッサ８１２に付設されたメモリのような有形のコンピュータ可読の記憶媒体に記憶されたソフトウェアにおいて実装され得るが、プログラム全体及び／又はプログラムの部分は代替的には、プロセッサ８１２以外の装置によって実行されてもよいし、且つ／又はファームウェア若しくはハードウェアによって実装されてもよい。さらに、一例のプログラムを図４〜図６に示す流れ図に関連して記載するが、図２及び／又は図３の一例の制御器２２０及び文書記録器２１０を具現化する他の多くの方法を代替的に用いてもよい。例えば、ブロックの実行の順序を変更してもよいし、且つ／又は所載のブロックの幾つかを変更したり、消去したり、組み合わせたりしてもよい。

上述のように、図４〜図６の一例の工程は、ハードディスク・ドライブ、フラッシュ・メモリ、読み出し専用メモリ（ＲＯＭ）、コンパクト・ディスク（ＣＤ）、ディジタル汎用ディスク（ＤＶＤ）、ブルーレイ（商標）ディスク、キャッシュ、ランダム・アクセス・メモリ（ＲＡＭ））、並びに／又は任意の持続時間（例えば長期間、恒久的、短時間、一時的バッファ格納、及び／若しくは情報のキャッシュ格納）にわたり情報を記憶する他の任意の記憶媒体のような有形のコンピュータ可読の記憶媒体に記憶されている符号化された命令（例えばコンピュータ可読の命令）を用いて具現化され得る。本書で用いられる有形のコンピュータ可読の記憶媒体との用語は、任意の形式のコンピュータ可読の記憶装置又はディスクを包含し且つ伝播信号を除外するものとして明確に定義される。加えて又は代替的に、図４〜図６の一例の工程は、ハードディスク・ドライブ、フラッシュ・メモリ、読み出し専用メモリ、コンパクト・ディスク、ディジタル汎用ディスク、キャッシュ、ランダム・アクセス・メモリ、並びに／又は任意の持続時間（例えば長期間、恒久的、短時間、一時的バッファ格納、及び／若しくは情報のキャッシュ格納）にわたり情報を記憶する他の任意の記憶媒体のような非一時的なコンピュータ可読の記憶媒体に記憶されている符号化された命令（例えばコンピュータ可読の命令）を用いて具現化され得る。本書で用いられる非一時的なコンピュータ可読の記憶媒体との用語は、任意の形式のコンピュータ可読の記憶装置又はディスクを包含し且つ伝播信号を除外するものとして明確に定義される。

図２及び／又は図３の制御器２２０及び／又は文書記録器２１０を具現化するために実行され得る一例の機械可読の命令４００を図４に示す流れ図によって表わす。図４の機械可読の命令４００は実行されると、１又は複数の利用者が図１の一例の環境１００のような非接触型環境においてモバイル装置と相互作用することに基づいて用いられる手順の事象を文書記録することを、一例のモバイル装置２００の制御器２２０及び文書記録器２１０に行なわせる。ブロック４１０では、図２のモバイル装置２００のような一例のモバイル装置が、一例の環境１００のような一例の非接触型環境における手順中に用いるために設定される。幾つかの例では、モバイル装置１００は、モバイル装置２００を非接触型環境１００に持ち込むのに先立ってユーザ・インタフェイスを用いて設定される。幾つかの例では、モバイル装置２００の設定は、モバイル装置２００に記憶される一例の文書記録アプリケーションを実行することを含んでいる。

ブロック４２０では、利用者の指先の位置が識別される。例えば、一例のモバイル装置２００のカメラ２０２を用いて利用者の指先を識別する。画像フィルタ３２６はカメラ２０２から画像を受け取る。画像フィルタ３２６は画像にエントロピィ方式セグメント分割を施し、続いて例えば最小最大フィルタを施して、１又は複数の利用者の指先を識別する。

幾つかの例では、利用者の指先の初期識別が、ブロック４１０の一例の文書記録アプリケーションの実行に続いて生ずる。幾つかの例では、利用者は、モバイル装置２００の制御インタフェイス２０６（例えば表示器及びタッチスクリーン等）に対応する一例の仮想平面を設定する。仮想平面は、例えば一例の文書記録アプリケーションの実行時に仮想平面の左上角及び右下角並びに／又は仮想平面の右上角及び左下角を利用者が指定する較正を行なうことにより設定され得る。

図示の例のブロック４３０では、設定された仮想平面の内部での利用者の指先位置の間の対応が決定される。例えば、一例の制御器２２０の利用者命令識別器３２８は、モバイル装置２００のカメラ２０２を用いて、設定された仮想平面の内部での利用者の指先位置の間の対応を決定することができる。ブロック４３０では、ピクセル・シフト・アルゴリズムを用いて追跡が行なわれ、画像フィルタ３２６から受け取られた画像のセグメント分割された各ゾーンの高速追跡を行なう。幾つかの例では、水平及び垂直追跡（例えば図７（Ｃ）を参照されたい）を用いて、一例のアプリケーションの範囲内でのナビゲーションを行なう。ブロック４３０において、テクスチャ型エントロピィ・セグメント分割を用いると、一例の利用者の手、指及び／若しくは指先、並びに／又は利用者の手指に被せた手袋が手順中に汚物や砕片（例えば血液、組織片及び油脂等）に塗れていても、利用者の手、指及び／若しくは指先、並びにかかる手指の位置を識別する画像フィルタ３２６の能力に支障はない。ブロック４３０では、利用者命令識別器３２８は仮想平面の内部で利用者の指先位置を追跡して、この位置をモバイル装置２００の制御インタフェイス２０６での位置に対応付ける。

図４のブロック４４０では、利用者命令識別器３２８は、利用者の指先位置に基づいて、また幾つかの例では一例の仮想平面における利用者の指先位置に基づいて、利用者が命令を入力したと決定する。幾つかの例では、画像フィルタ３２６から受け取られた画像における利用者の指先の一例の追跡により、仮想平面及び／又はモバイル装置２００の制御インタフェイス２０６までの利用者の指先の距離の推定によって上方制御（up control）に触れた利用者の動作を識別する。幾つかの例では、推定は、タイミング変数によって対象を前方に次いで後方に追跡するマッチ・ザ・マター（match the matter）である。マッチ・ザ・マター推定を用いて、解析されたパターンをアプリケーションの実行のための指触事象に写像することができる。アプリケーションを実行するためのアイコンを、制御インタフェイス２０６において一例の仮想平面での利用者の指位置に対応する位置に表示させることができる。

ブロック４５０では、モバイル装置２００の一例の文書記録器２１０は、モバイル装置２００に対する利用者の入力及び相互作用に基づいて手順の事象を文書記録する。幾つかの例では、利用者は、手順の何れの事象を文書記録器２１０によって文書記録すべきかを選択することができる。幾つかの例では、文書記録器は、モバイル装置２００のあらゆる利用者のあらゆる相互作用によって受け取られた全ての命令及び情報を自動的に文書記録する。ブロック４５０の命令については図５でさらに詳細に説明される。

図４のブロック４６０では、一例の文書記録器２１０は、報告書作成器３１４を介して報告書を作成することができる。幾つかの例では、報告書作成器は、データ形式（例えば音響データ、装置データ及び命令データ等）に基づいて文書記録編集器３１２からのデータをソートする。幾つかの例では、報告書作成器は、カメラ２０２によって記録された手順の動画を検索して、動画を作成された報告書に関連付ける。幾つかの例では、作成された報告書は、モバイル装置２００の表示器（例えば制御インタフェイス２０６）を介して表示され、且つ／又はこの一例の報告書は、一例のモバイル装置の一例のデータベース及び／若しくはモバイル装置に関連した網に接続されているデータベースに記憶されてもよい。

図５は、図４のブロック４５０を具現化するために実行され得る一例の機械可読の命令４５０を示す。命令４５０はブロック５１０において、文書記録器２１０が文書記録のためのデータ情報を受け取ると開始する。ブロック５１０では、文書記録器２１０は、装置識別器３２４（図６を参照されたい）、利用者命令識別器３２８、音声認識器３３０、及び／又は制御インタフェイス２０６から、文書記録のためのデータ情報を受け取ることができる。従って、受け取られるデータは画像データ、音声データ、メタデータ、テキスト・データ、又は任意の形態のデータであってよい。

ブロック５２０では、文書編集器３１２は、編集前にデータを変換する必要があるか否かを決定する。文書記録器２１０は、受け取られたデータを変換（例えば音声からテキストへ変換及び／又は画像からメタデータへ変換）すべきか否かを、制御インタフェイス２０６からの利用者の入力及び／又は利用者によって設定された設定に基づいて決定することができる。受け取られたデータを変換する必要がなければ、制御はブロック５４０へ移動して、データは文書記録編集器３１２によってモバイル装置２００の記憶装置に記憶される。幾つかの例では、利用者が文書記録編集器３１２において全ての文書記録データをテキストへ変換することを指示してもよい。受け取られたデータを変換する必要があれば、文書記録編集器３１２は受け取られたデータの形式に対応する設定に基づいてデータを変換する。例えば、装置識別器からの画像データを装置情報を識別するテキスト・データへ変換してもよいし、且つ／又は音声認識器から受け取られた音声データをテキスト・データに書き起こしてもよい。ブロック５４０では、全ての受け取られた文書記録データは、モバイル装置２００の一例の記憶装置又はモバイル装置２００と連絡している網に接続された一例の記憶装置に記憶されるのに先立って、正しいフォーマットへ変換されているべきである。

幾つかの例では、文書記録器２１０の文書記録編集器３１２は、データ形式又は時刻の少なくとも一方に基づいて文書記録データをソートする。幾つかの例では、ソートされたデータは、文書記録データに対応する動画記録に関連付けられてもよい。幾つかの例では、文書記録データは、モバイル装置２００のカメラ２０２が動画を記録している間にモバイル装置２００によって受け取られる。

図６は、図３の装置検出器３２２及び装置識別器を具現化するために実行され得る一例の機械可読の命令６００を示す。図示の例のブロック６１０では、装置検出器３２２は一例のカメラ２０２から画像を受け取る。ブロック６２０では、装置検出器３２２は、装置（例えば埋植物及び器具等）が受け取られた画像の範囲内に位置するか否かを決定する。装置検出器３２２は、ラベル、バー・コード、形状、又は画像において識別される装置の他の任意の顕著な特徴に基づいて装置を検出することができる。装置検出器３２２が画像において装置を検出しない場合には、制御はブロック６１０へ戻ってカメラ２０２から次の画像を受け取る。

装置検出器３２２がブロック６２０において装置を検出した場合には、ブロック６３０において装置識別器３２４はこの識別された装置を含む画像から装置識別情報（例えばバー・コード及びラベル等）を解読し且つ／又は抽出することができる。次いで、ブロック６４０では、装置識別器３２４は、識別情報に基づいて装置情報（例えば装置名称及び型番等）を決定することができる。幾つかの例では、装置識別器３２４は識別情報をモバイル装置の記憶ドライブに記憶されている情報と照合して、識別情報を決定する。幾つかの例では、装置識別器３２４は、網（例えば構内通信網又はインターネット）に接続された記憶装置のデータベースを参照して、装置情報を決定する。次いで、ブロック６５０では、装置識別器３２４は、この識別された装置の文書記録のために装置情報を文書記録器２１０へ転送する。幾つかの例では、装置識別器３２４は、文書記録のために装置情報と共に装置の画像を転送する。

図７（Ａ）〜図７（Ｃ）には、モバイル装置２００を制御するのに用いられ得る指先移動及び／又は指先位置の例を示す。図７（Ａ）〜図７（Ｃ）は各々、一例のモバイル装置７００Ａ、７００Ｂ、７００Ｃ（図２のモバイル装置２００によって具現化され得る）、一例の仮想平面７１０Ａ、７１０Ｂ、７１０Ｃ、及び一例の利用者の手位置７２０Ａ、７２０Ｂ、７２０Ｃをそれぞれ示す。図７（Ａ）〜図７（Ｃ）では、一例の仮想平面７１０Ａ、７１０Ｂ、７１０Ｃは一例のモバイル装置７００Ａ、７００Ｂ、７００Ｃから距離Ｚに位置する。図７（Ａ）〜図７（Ｃ）では、対応する点線は、仮想平面７１０Ａ、７１０Ｂ、７１０Ｃの角が、モバイル装置７００Ａ、７００Ｂ、７００Ｃの制御インタフェイス７０６Ａ、７０６Ｂ、７０６Ｃの対応する角にそれぞれ対応していることを示している。

図７（Ａ）は、仮想平面７１０Ａがモバイル装置７００Ａから距離Ｚに設定されたことを示す。利用者の手７２０Ａが仮想平面７１０Ａと相互作用すると、モバイル装置７００Ａの一例のカメラ（例えばカメラ２０２）が画像を画像フィルタ３２６へ転送して、仮想平面７１０Ａに対する手、指及び／又は指先の相対位置を決定する。ここから、一例の利用者命令識別器は、利用者の手７２０Ａの位置に基づいて命令を解釈することができる。

図７（Ｂ）は、制御インタフェイス７０６Ｂの表示器においてズームするために利用者によって発行される一例の命令を示す。図７（Ｂ）では、利用者の手７２０Ｂは、仮想スクリーンを「つまむ（ピンチ）」動作をして、仮想スクリーン及び／又はモバイル装置７００Ｂの制御インタフェイス７０６Ｂをズーム・インすることができる。図７（Ｃ）は、利用者装置７００Ｃの制御インタフェイス７０６Ｃに表示されているページを上下にスクロールさせるために利用者によって発行される一例の命令を示す。図７（Ａ）〜図７（Ｃ）は、モバイル装置７００Ａ、７００Ｂ、７００Ｃを制御するための一例の手のジェスチャ又は位置であると厳密に考えられ、モバイル装置７００Ａ、７００Ｂ、７００Ｃの他の機能又は制御を具現化するように改変されてよい。

図８は、図２及び／又は図３の制御器２２０及び文書記録器２１０を具現化するために図４〜図６の命令を実行することが可能な一例のコンピュータ８００のブロック図である。コンピュータ８００は、例えばサーバ、パーソナル・コンピュータ、移動電話（例えば携帯電話）、スマートフォン、タブレット・パーソナル・コンピュータ、携帯型情報端末（ＰＤＡ）、ディジタル動画録画器、個人用動画録画器、セット・トップ・ボックス、又は他の任意の形式の計算装置装置であり得る。

本例のシステム８００はプロセッサ８１２を含んでいる。例えば、プロセッサ８１２は、Pentium（登録商標）製品群、Itanium（登録商標）製品群又はXScale（登録商標）製品群からの１又は複数のインテル（登録商標）・マイクロプロセッサによって具現化され得る。言うまでもなく、他の製品群からの他のプロセッサも適当である。

プロセッサ８１２は、バス８１８を介して揮発性メモリ８１４及び不揮発性メモリ８１６を含めたメイン・メモリと連絡している。揮発性メモリ８１４は、同期式動的ランダム・アクセス・メモリ（ＳＤＲＡＭ）、動的ランダム・アクセス・メモリ（ＤＲＡＭ）、ＲＡＭＢＵＳ動的ランダム・アクセス・メモリ（ＲＤＲＡＭ）、及び／又は他の任意の形式のランダム・アクセス・メモリ装置によって具現化され得る。不揮発性メモリ８１６は、フラッシュ・メモリ及び／又は他の任意の所望の形式のメモリ装置によって具現化され得る。メイン・メモリ８１４、８１６へのアクセスは典型的には、メモリ制御器（図示されていない）によって制御される。

コンピュータ８００はまた、インタフェイス回路８２０を含んでいる。インタフェイス回路８２０は、イーサネット・インタフェイス、ユニバーサル・シリアル・バス（ＵＳＢ）、及び／又はＰＣＩエクスプレス・インタフェイスのような任意の形式のインタフェイス規格によって具現化され得る。

１又は複数の入力装置８２２がインタフェイス回路８２０に接続されている。入力装置８２２によって、利用者はプロセッサ８１２にデータ及び命令を入力することが可能になる。入力装置は、例えばキーボード、マウス、タッチスクリーン、トラック・パッド、トラックボール、アイソポイント及び／又は音声認識システムによって具現化され得る。

また、１又は複数の出力装置８２４がインタフェイス回路８２０に接続されている。出力装置８２４は、例えば表示装置（例えば液晶表示器）によって具現化され得る。従って、インタフェイス回路８２０は典型的には、グラフィックス・ドライバ・カードを含んでいる。

インタフェイス回路８２０はまた、モデム又は網インタフェイス・カードのように、網８２６（例えばイーサネット接続、ディジタル加入者線（ＤＳＬ）、電話線、同軸ケーブル及び携帯電話システム等）を介して外部コンピュータとのデータの交換を容易にする通信装置を含んでいる。

コンピュータ８００はまた、ソフトウェア及びデータを記憶する１又は複数の大容量記憶装置８２８を含んでいる。かかる大容量記憶装置８２８の例としては、フロッピィ・ディスク・ドライブ、ハード・ドライブ・ディスク、コンパクト・ディスク・ドライブ及びディジタル汎用ディスク（ＤＶＤ）ドライブがある。

図４〜図６の符号化された命令は、大容量記憶装置８２８、揮発性メモリ８１４、不揮発性メモリ８１６、及び／又はＣＤ若しくはＤＶＤのような着脱式記憶媒体に記憶され得る。

以上の記載から、上に開示された方法、装置及び製造品は、非接触型環境におけるモバイル装置の非接触型制御、及び当該モバイル装置による手順の文書記録を、モバイル装置のカメラを用いた入力制御、音響記録及び／又は動画記録、並びに装置埋植物及び／又は器具の認識能力に基づいて可能にすることが認められよう。

本書では幾つかの例の方法、装置及び製造品について記載したが、本特許の網羅範囲はこれらに限定されない。反対に、本特許は、本特許の請求項の範囲内に十分に属する全ての方法、装置及び製造品を網羅する。

１００：環境
１０２：手術台
１０４、１０６：利用者
１１０：モバイル装置
１１２：タッチスクリーン
１１４：カメラ
１２０：仮想平面
２００：モバイル装置
２０１：通信バス
２０２：カメラ
２０４：マイクロホン
２０６：制御インタフェイス
２０８：アプリケーション・インタフェイス
２１０：文書記録器
２２０：制御器
３１２：文書記録編集器
３１４：報告書作成器
３２２：装置検出器
３２４：装置識別器
３２６：画像フィルタ
３２８：利用者命令識別器
３３０：音声認識器
４００、６００：機械可読の命令
７００Ａ、７００Ｂ、７００Ｃ：モバイル装置
７０６Ａ、７０６Ｂ、７０６Ｃ：制御インタフェイス
７１０Ａ、７１０Ｂ、７１０Ｃ：仮想平面
７２０Ａ、７２０Ｂ、７２０Ｃ：利用者の手位置
８００：コンピュータ
８１２：プロセッサ
８１３：ローカル・メモリ
８１４：揮発性メモリ
８１６：不揮発性メモリ
８１８：バス
８２０：インタフェイス回路
８２２：入力装置
８２４：出力装置
８２６：網
８２８：大容量記憶装置
８３２：着脱式記憶媒体

Claims (17)

1. モバイル装置のカメラ及び該カメラから入力された画像のエントロピィ方式セグメント分割を用いて、前記モバイル装置の制御インタフェイスとは別個に形成される仮想平面における利用者の指先の１又は複数の位置を識別するステップと、
   利用者指先位置と前記モバイル装置の前記制御インタフェイスとの間の対応を決定するステップであって、該対応は利用者入力を形成し、前記制御インタフェイスは、前記利用者入力に基づいて実行されるべき複数の機能を含んでいる、決定するステップと、
   手順中に、前記仮想平面における前記利用者指先位置に基づいて、前記モバイル装置を介した前記複数の機能の１又は複数の実行を促進するステップと、
   前記モバイル装置を介して出力されるべき報告書を作成するために、前記利用者入力に基づいて前記手順の１又は複数の事象を文書記録するステップと
   前記利用者指先位置により識別された利用者命令に基づいて、前記モバイル装置の前記カメラを用いて入力された前記画像において装置識別を検出するステップと、
   該装置識別に基づいて装置情報を決定するステップと、
   該装置情報を、前記手順の前記１又は複数の事象の一つとして前記報告書に文書記録するステップと
   を備える、方法。
2. モバイル装置のカメラ及び該カメラから入力された画像のエントロピィ方式セグメント分割を用いて、前記モバイル装置の制御インタフェイスとは別個に形成される仮想平面における利用者の指先の１又は複数の位置を識別するステップと、
   利用者指先位置と前記モバイル装置の前記制御インタフェイスとの間の対応を決定するステップであって、該対応は利用者入力を形成し、前記制御インタフェイスは、前記利用者入力に基づいて実行されるべき複数の機能を含んでいる、決定するステップと、
   手順中に、前記仮想平面における前記利用者指先位置に基づいて、前記モバイル装置を介した前記複数の機能の１又は複数の実行を促進するステップと、
   前記モバイル装置を介して出力されるべき報告書を作成するために、前記利用者入力に基づいて前記手順の１又は複数の事象を文書記録するステップと
   前記利用者指先位置により識別された利用者命令に基づいて、マイクロホン又は前記カメラの少なくとも一方を用いた前記手順の音響記録又は動画記録の少なくとも一方を記憶するステップと、
   前記手順の前記記録を前記報告書に関連付けるステップと
   を備える、方法。
3. 前記仮想平面は、前記モバイル装置の前記制御インタフェイスから離隔して対応しており、
   前記仮想平面の第一の座標が前記モバイル装置の前記制御インタフェイスの第二の座標に対応している、請求項１又は２に記載の方法。
4. 前記利用者の指先位置は、当該利用者の指先に被せた１又は複数の手袋に砕片が実質的に存在しない第一の時刻、及び当該利用者の指先に被せた前記１又は複数の手袋が砕片に実質的に塗れている第二の時刻において識別されるべきである、請求項１又は２に記載の方法。
5. 前記１又は複数の事象を文書記録する前記ステップは、前記１又は複数の機能の前記実行からの文書記録データを、利用者設定又はデータ形式の少なくとも一方に基づくフォーマットへ変換するステップをさらに含んでいる、請求項１又は２に記載の方法。
6. 前記モバイル装置は、タブレット・コンピュータ、スマートフォン、携帯型情報端末、パーソナル・コンピュータ、又はラップトップ・コンピュータの少なくとも一つである、請求項１又は２に記載の方法。
7. モバイル装置のカメラ及び該カメラから入力された画像のエントロピィ方式セグメント分割を用いて、前記モバイル装置の制御インタフェイスとは別個に形成される仮想平面における指先の１又は複数の位置を識別する画像フィルタと、
   利用者指先位置と前記モバイル装置の前記制御インタフェイスとの間の対応を決定する利用者命令識別器であって、前記対応は利用者入力を形成し、前記制御インタフェイスは、前記利用者入力に基づいて実行されるべき複数の機能を含んでいる、利用者命令識別器と、
   手順中に、前記仮想平面における前記利用者指先位置に基づいて、前記モバイル装置を介した前記複数の機能の１又は複数の実行を促進する制御器と、
   前記モバイル装置を介して出力されるべき報告書を作成するために、前記利用者入力に基づいて前記手順の１又は複数の事象を文書記録する文書記録器と、
   前記利用者指先位置により識別された利用者命令に基づいて、前記モバイル装置の前記カメラを用いて入力された前記画像において装置識別を検出する装置識別検出器と、
   前記装置識別に基づいて装置情報を決定する装置識別器と、
   を含んでおり、
   前記文書記録器は、前記装置情報を、前記手順の前記１又は複数の事象の一つとして前記報告書に文書記録する、装置。
8. モバイル装置のカメラ及び該カメラから入力された画像のエントロピィ方式セグメント分割を用いて、前記モバイル装置の制御インタフェイスとは別個に形成される仮想平面における指先の１又は複数の位置を識別する画像フィルタと、
   利用者指先位置と前記モバイル装置の前記制御インタフェイスとの間の対応を決定する利用者命令識別器であって、前記対応は利用者入力を形成し、前記制御インタフェイスは、前記利用者入力に基づいて実行されるべき複数の機能を含んでいる、利用者命令識別器と、
   手順中に、前記仮想平面における前記利用者指先位置に基づいて、前記モバイル装置を介した前記複数の機能の１又は複数の実行を促進する制御器と、
   前記モバイル装置を介して出力されるべき報告書を作成するために、前記利用者入力に基づいて前記手順の１又は複数の事象を文書記録する文書記録器と、
   を含んでおり、
   前記制御器は、前記利用者指先位置により識別された利用者命令に基づいて、マイクロホン又は前記カメラの少なくとも一方を用いた前記手順の音響記録又は動画記録の少なくとも一方を記憶し、前記文書記録器は、前記手順の前記記録を前記報告書に関連付ける、装置。
9. 前記仮想平面は、前記モバイル装置の前記制御インタフェイスから離隔して対応しており、
   前記仮想平面の第一の座標が前記モバイル装置の前記制御インタフェイスの第二の座標に対応している、請求項７又は８に記載の装置。
10. 前記利用者の指先位置は、当該利用者の指先に被せた１又は複数の手袋に砕片が実質的に存在しない第一の時刻、及び当該利用者の指先に被せた前記１又は複数の手袋が砕片に実質的に塗れている第二の時刻において識別される、請求項７又は８に記載の装置。
11. 前記１又は複数の事象を文書記録することは、前記１又は複数の機能の前記実行からの文書記録データを、利用者設定又はデータ形式の少なくとも一方に基づくフォーマットへ変換することをさらに含んでいる、請求項７又は８に記載の装置。
12. 前記モバイル装置は、タブレット・コンピュータ、スマートフォン、携帯型情報端末、パーソナル・コンピュータ、又はラップトップ・コンピュータの少なくとも一つである、請求項７又は８に記載の装置。
13. 実行されると、少なくとも
    モバイル装置のカメラ及び該カメラから入力された画像のエントロピィ方式セグメント分割を用いて、前記モバイル装置の制御インタフェイスとは別個に形成される仮想平面における利用者の指先の１又は複数の位置を識別し、
    利用者指先位置と前記モバイル装置の前記制御インタフェイスとの間の対応を決定し、
    該対応は利用者入力を形成し、前記制御インタフェイスは、前記利用者入力に基づいて実行されるべき複数の機能を含んでおり、
    手順中に、前記仮想平面における前記利用者指先位置に基づいて、前記モバイル装置を介した前記複数の機能の１又は複数の実行を促進して、
    前記モバイル装置を介して出力されるべき報告書を作成するために、前記利用者入力に基づいて前記手順の１又は複数の事象を文書記録する
    ことを機械に行なわせる命令を備え、
    前記命令は、
    前記利用者指先位置により識別された利用者命令に基づいて、前記モバイル装置の前記カメラを用いて入力された前記画像において装置識別を検出し、
    該装置識別に基づいて装置情報を決定して、
    該装置情報を、前記手順の前記１又は複数の事象の一つとして前記報告書に文書記録することを前記機械に行なわせる、機械可読の記憶媒体。
14. 実行されると、少なくとも
    モバイル装置のカメラ及び該カメラから入力された画像のエントロピィ方式セグメント分割を用いて、前記モバイル装置の制御インタフェイスとは別個に形成される仮想平面における利用者の指先の１又は複数の位置を識別し、
    利用者指先位置と前記モバイル装置の前記制御インタフェイスとの間の対応を決定し、
    該対応は利用者入力を形成し、前記制御インタフェイスは、前記利用者入力に基づいて実行されるべき複数の機能を含んでおり、
    手順中に、前記仮想平面における前記利用者指先位置に基づいて、前記モバイル装置を介した前記複数の機能の１又は複数の実行を促進して、
    前記モバイル装置を介して出力されるべき報告書を作成するために、前記利用者入力に基づいて前記手順の１又は複数の事象を文書記録する
    ことを機械に行なわせる命令を備え、
    前記命令は、
    前記利用者指先位置により識別された利用者命令に基づいて、マイクロホン又は前記カメラの少なくとも一方を用いた前記手順の音響記録又は動画記録の少なくとも一方を記憶して、
    前記手順の前記記録を前記報告書に関連付ける
    ことを前記機械に行なわせる、機械可読の記憶媒体。
15. 前記仮想平面は、前記モバイル装置の前記制御インタフェイスから離隔して対応しており、
    前記仮想平面の第一の座標が前記モバイル装置の前記制御インタフェイスの第二の座標に対応している、請求項１３又は１４に記載の記憶媒体。
16. 前記利用者の指先位置は、当該利用者の指先に被せた１又は複数の手袋に砕片が実質的に存在しない第一の時刻、及び当該利用者の指先に被せた前記１又は複数の手袋が砕片に実質的に塗れている第二の時刻において識別される、請求項１３又は１４に記載の記憶媒体。
17. 前記１又は複数の事象を文書記録することは、前記１又は複数の機能の前記実行からの文書記録データを、利用者設定又はデータ形式の少なくとも一方に基づくフォーマットへ変換することをさらに含んでいる、請求項１３又は１４に記載の記憶媒体。