CN103677254B - 用于记录操作的方法和设备 - Google Patents

Abstract

公开用于在无接触环境中记录操作的方法和设备。本文公开的示例方法包括使用移动装置的摄像机和图像输入的基于熵的分割来识别用户指尖的一个或多个的位置，确定用户指尖位置与移动装置的控制接口之间的对应，该控制接口包括基于用户输入执行的多个功能，在操作期间基于用户指尖位置触发移动装置执行多个功能的一个或多个功能，并基于用户输入记录操作的一个或多个事件以生成要存储在移动装置的存储装置中的报告。

Description

用于记录操作的方法和设备

技术领域

本公开一般涉及与移动装置交互，并且更具体地来说，涉及使用移动装置记录操作。

背景技术

如平板计算机、个人计算机（PC)、智能电话、mp3播放器等的移动装置已开发许多用途。这些装置通常包括用于装置的用户控制的触摸屏和/或键盘，以及用于拍照和/或录制视频的摄像机。

在一些环境中，使用触摸屏或键盘来控制装置是不现实的。例如，卫生机构的手术室必须保持无菌环境，因此，使用触摸屏和/或键盘非常麻烦，并且受限于因触摸屏幕导致的感染、污染的风险。相应地，无菌环境不允许多个用户（例如，护士、手术医生、麻醉师等）在该特定环境中运行此类装置。

发明内容

本文公开的示例方法包括使用移动装置的摄像机和来自摄像机的图像输入的基于熵的分割来识别用户的指尖在与移动装置的控制接口分离形成的虚拟平面中的位置，确定用户指尖位置与移动装置的控制接口之间的对应，该对应形成用户输入，该控制接口包括基于用户输入执行的多个功能,在操作期间基于虚拟平面中的用户指尖位置促进通过移动装置的多个功能的一个或多个功能的执行，并基于用户输入记录操作的一个或多个事件以生成经移动装置输出的报告。

本文公开的示例设备包括：图形滤波器，其用于使用移动装置的摄像机和来自摄像机的图像输入的基于熵的分割来识别指尖的一个或多个在与移动装置的控制接口分离形成的虚拟平面中的位置；用户命令识别器，其用于确定用户指尖位置与移动装置的控制接口之间的对应，该对应形成用户输入，该控制接口包括基于用户输入执行的多个功能；控制器，其用于在操作期间基于虚拟平面中的用户指尖位置促进通过移动装置的多个功能的一个或多个功能的执行；以及记录器，其用于基于用户输入记录操作的一个或多个事件以生成经移动装置输出的报告。

一种示例机器介质包括指令，该指令在被执行时促使机器使用移动装置的摄像机和来自摄像机的图像输入的基于熵的分割来识别用户指尖的一个或多个在与移动装置的控制接口分离形成的虚拟平面中的位置，确定用户指尖位置与移动装置的控制接口之间的对应，该对应形成用户输入，该控制接口包括基于用户输入执行的多个功能，在操作期间基于虚拟平面中的用户指尖位置促进通过移动装置的多个功能的一个或多个功能的执行，并基于用户输入记录操作的一个或多个事件以生成经移动装置输出的报告。

根据本公开的一方面，一种方法，其包括：使用移动装置的摄像机和来自所述摄像机的图像输入的基于熵的分割，来识别用户的指尖的一个或多个在与所述移动装置的控制接口分离形成的虚拟平面中的位置；确定用户指尖位置与所述移动装置的所述控制接口之间的对应，所述对应形成用户输入，所述控制接口包括基于所述用户输入执行的多个功能；在操作期间基于所述虚拟平面中的用户指尖位置促进通过所述移动装置的所述多个功能的一个或多个功能的执行；以及基于所述用户输入记录操作的一个或多个事件以生成将经由所述移动装置输出的报告。

其中所述虚拟平面与所述移动装置的所述控制接口分离且与所述移动装置的所述控制接口对应，以及其中所述虚拟平面的第一坐标对应于所述移动装置的所述控制接口的第二坐标。

还包括：使用所述移动装置的所述摄像机检测所述图像输入中的装置标识；基于所述装置标识确定装置信息；以及将所述装置信息作为所述操作的一个或多个事件之一记录在所述报告中。

还包括：基于通过所述用户指尖位置识别的用户命令，使用麦克风或所述摄像机的至少其中之一存储所述操作的音频录制或视频录制的至少其中之一；以及将所述操作的录制与所述报告关联。

其中所述用户的指尖位置将在覆盖用户指尖的一个或多个手套基本无碎屑时的第一时间进行识别，以及在覆盖用户指尖的一个或多个手套基本覆盖有碎屑时的第二时间进行识别。

其中记录所述一个或多个事件还包括基于用户设置或数据类型的至少其中之一将来自执行所述一个或多个功能的记录数据转换到某种格式。

其中所述移动装置是平板计算机、智能电话、个人数字助理、个人计算机或膝上型计算机的至少其中之一。

根据本公开的另一方面，一种设备，包括：图像滤波器，其用于使用移动装置的摄像机和来自摄像机的图像输入的基于熵的分割，来识别指尖的一个或多个在与所述移动装置的控制接口分离形成的虚拟平面中的位置；用户命令识别器，其用于确定用户指尖位置与所述移动装置的所述控制接口之间的对应，所述对应形成用户输入，所述控制接口包括基于所述用户输入执行的多个功能；控制器，其用于在操作期间基于所述虚拟平面中的用户指尖位置促进通过所述移动装置的所述多个功能的一个或多个功能的执行；以及记录器，其用于基于用户输入记录所述操作的一个或多个事件以生成经所述移动装置输出的报告。

其中所述虚拟平面与所述移动装置的控制接口分离且与所述移动装置的控制接口对应，以及其中所述虚拟平面的第一坐标对应于所述移动装置的所述控制接口的第二坐标。

还包括用于使用所述移动装置的所述摄像机检测所述图像输入中的装置标识的装置标识检测器；以及装置识别器，其用于基于所述装置标识确定装置信息，其中所述记录器将所述装置信息作为所述操作的一个或多个事件之一记录在所述报告中。

其中所述控制器基于通过所述用户指尖位置识别的用户命令，使用麦克风或所述摄像机的至少其中之一存储所述操作的音频录制或视频录制的至少其中之一，以及所述记录器将所述操作的录制与所述报告关联。

其中所述用户的指尖位置在覆盖用户指尖的一个或多个手套基本无碎屑时的第一时间进行识别，以及在覆盖用户指尖的一个或多个手套基本覆盖有碎屑时的第二时间进行识别。

其中记录所述一个或多个事件还包括基于用户设置和数据类型的至少其中之一将来自执行所述一个或多个功能的记录数椐转换到某种格式。

其中所述移动装置是平板计算机、智能电话、个人数字助理、个人计算机、或膝上型计算机的至少其中之一。

根据本公开的又一方面，一种包含指令的机器可读存储介质，所述指令在被执行时促使机器至少执行如下步骤：使用移动装置的摄像机和来自所述摄像机的图像输入的基于熵的分割来识别用户的指尖的一个或多个在与所述移动装置的控制接口分离形成的虚拟平面中的位置；确定用户指尖位置与移动装置的控制接口之间的对应，所述对应形成用户输入，所述控制接口包括基于所述用户输入执行的多个功能；在操作期间基于所述虚拟平面中的用户指尖位置促进通过所述移动装置的所述多个功能的一个或多个功能的执行；以及基于所述用户输入记录所述操作的一个或多个事件以生成经所述移动装置输出的报告。

其中所述虚拟平面与所述移动装置的控制接口分离且与移动装置的控制接口对应，以及其中所述虚拟平面的第一坐标对应于所述移动装置的所述控制接口的第二坐标。

其中所述指令促使所述机器使用所述移动装置的所述摄像机检测所述图像输入中的装置标识；基于所述装置标识确定装置信息；以及将所述装置信息作为所述操作的一个或多个事件之一记录在所述报告中。

其中所述指令促使所述机器基于通过所述用户指尖位置识别的用户命令，使用麦克风或所述摄像机的至少其中之一存储所述操作的音频录制或视频录制的至少其中之一；以及将所述操作的录制与所述报告关联。

其中所述用户的指尖位置在覆盖用户指尖的一个或多个手套基本无碎屑时的第一时间进行识别，以及在覆盖用户指尖的一个或多个手套基本覆盖有碎屑时的第二时间进行识别。

其中记录所述一个或多个事件还包括基于用户设置或数据类型的至少其中之一将来自执行所述一个或多个功能的记录数据转换到某种格式。

附图说明

图1图示根据本公开的教导的使用与移动装置交互的无接触方法的示例环境。

图2是根据本公开的教导构造的示例移动装置的框图。

图3是在图2的示例移动装置中使用的示例控制器和示例记录器的框图。

图4是表示可以执行以实现图2和/或图3的示例控制器和/或记录器的第一示例机器可读指令的流程图。

图5是表示可以执行以实现图2和/或图3的示例记录器的第二示例机器可读指令的流程图。

图6是表示可以执行以实现图3的示例记录器的示例装置识别器的第三示例机器可读指令的流程图。

图7A-7C图示用于控制图1和/或图2的示例移动装置的示例手指位置和/或手势。图8是能够执行图4-6的指令以实现图2和/或图3的控制器和记录器的示例计算机的框图。

具体实施方式

某些示例提供来自正在进行的操作的实时（或考虑处理和/或存储延迟的基本实时）的输入，以用于记录在使用触摸屏和/或键盘控制移动装置不现实的环境中发生的操作事件。相应地，本公开中提供允许用户在环境中控制单个装置以避免重复记录和能够实现提高的精度和效率。

此外，在一些环境中，特别是卫生机构的手术室中，用户可能难以或不可能使用移动装置的标准控制接口（触摸屏、键盘、鼠标等）控制移动装置以记录操作（例如，平板计算机、智能电话、个人数字助理、膝上型计算机等）。无法使用标准控制接口来控制移动装置的多种原因可以包括要保持用户手无菌和/或使装置免于沾染碎屑(例如，血液、污垢、油渍等）。相应地，在不接触移动装置的情况下能够控制移动装置来记录操作将是令人期待的。

公开的示例方法和设备使用户能够不接触移动装置而使用移动装置的摄像机和摄像机捕获的图像的基于熵的分割来控制移动装置以记录操作。摄像机捕获用户手的图像，并使用应用于这些图像的基于熵的分割来识别用户的指尖位置。使用基于熵的分割对于任何手(无论其来自相同用户或多个用户）即使其被碎屑或污渍覆盖，均能够被识别。可以建立虚拟平面，以用于一个或多个用户指尖的识别。该虚拟平面可以用作与移动装置的控制接口（例如，触摸屏、显示屏等）对应的“空中”控制接口。用户则可以使用虚拟平面作为控制接口来控制移动装置，并且相应地，用户则能够访问移动装置的一些或全部功能（例如，浏览器、应用等）。

相应地，记录用户针对某个操作正在使用的仪器或装置，而无需使用标准控制接口来指示仪器或装置可以是合乎需要的。所公开的示例方法和设备使用移动装置的摄像机来识别仪器或装置。装置检测器监视从摄像机接收的图像，装置检测器用于检测或可以识别操作中正在使用的仪器或装置的标签、条形码和/或形状。用户可以将该装置呈示给摄像机以进行识别，以及移动装置记录该装置的使用以及操作期间何时被使用。

所公开的示例方法和设备使移动装置能够如上文描述地接收记录数据并汇编这些数据以生成操作的报告。在将记录数椐转换到适合的格式之后，可以汇编记录数椐。在一些示例中，记录数椐包括转录语音至文本数据，用于报告操作期间发出的任何指令、讨论和/或用户命令。此外，该移动装置可以记录操作的音频、视频和/或图像，并将音频捕获、视频捕获和/或图像捕获随生成的报告一起提供。

由此，所公开的方法和设备使用户能够基本无需使用移动装置的标准控制接口而与移动装置交互来记录操作。

图1图示其中可以使用示例移动装置110的示例环境100，如卫生机构的手术室。在示例环境100中，示出手术台102、用户104、106、移动装置110和虚拟平面120。在环境100中，用户104、106可以在手术台102上执行操作。在图示的示例中，移动装置110位于用户104、106的观察距离内。在一些示例中，移动装置可以是平板计算机、蜂窝电话、智能电话、个人数字助理（PDA)、个人计算机(PC)、膝上型计算机等的其中一个或多个。再者，在图示的示例中，环境100是无菌环境，其中用户104、106不应接触移动装置110，以不致于将任何污染传播到用户104、106和/或移动装置100。在图示的示例中，移动装置110具有触摸屏112和摄像机114。

用户104、106能够使用移动装置110记录图1的图示示例中执行的操作而在操作期间不接触移动装置110。在图示的示例中，可以使用移动装置110的摄像机114来使用基于熵的分割以检测用户104、106的指尖。在一些示例中，基于熵的分割允许即使在用户104、106正在使用手套和/或即使这些用户的手套和/或指尖覆盖有碎屑（例如，血液、污垢、油渍等）或污渍的情况下检测用户104、106的指尖。可以为用户104、106建立与移动装置100的触摸屏112对应的虚拟平面120以控制移动装置110。用户104、106可以通过指向虚拟平面120中与触摸屏112上的图标（一个或多个）位置对应的位置来选择触摸屏112上显示的、代表移动装置110上要执行的功能（一个或多个）的图标（一个或多个）。

在一些示例中，图1的用户104、106可以在操作期间使用移动装置100能够识别的装置。在一些示例中，移动装置100包括使用移动装置100的摄像机114的装置识别器。装置识别器可以基于一种或多种类型的装置标识（例如，条形码、标签、装置形状等）来自动地识别装置。在一些示例中，移动装置100将装置标识解码以确定装置信息（例如，装置名称、类型、型号等）。在一些示例中，移动装置100将装置标识与存储在移动装置100上或位于连接到移动装置100的网络可访问的另一个位置的数据库交叉引用。

在一些示例中，移动装置110记录图1的示例环境100中执行的操作。可以执行操作的视频录制，并将其与记录操作的报告关联。移动装置110可使语音识别软件能够确定给定时间处用户104、106中哪一个在发言。再者，在一些示例中，移动装置110可以釆用语音至文本功能以转录用户104、106口述的词汇，以用于生成示例环境100中执行的操作的报告。

相应地，在图1的示例环境100中，用户104、106可以使用示例移动装置110记录操作而无需接触移动装置。例如，移动装置100可以通过生成报告来记录操作，该报告包括移动装置100用户的控制命令、操作期间使用的一个或多个装置的一个或多个标识、操作的音频捕获、视频捕获、静态图像捕获、操作期间一个或多个用户的讨论/指令的语音至文本转录（一个或多个）、操作期间移动装置100上使用的应用功能、操作期间一个或多个用户访问的参考材料（一个或多个）和/或文件（一个或多个）等。例如，记录可以将这些内容项的其中一个或多个组合以形成报告。

图2是可以用于实现图1的移动装置110的示例移动装置200的框图。示例移动装置200包括摄像机202、麦克风204、控制接口206、应用接口208、记录器210和控制器220。示例移动装置200包括利于摄像机202、麦克风204、控制接口206、应用接口208、记录器210和/或控制器220之间的通信的通信总线201。在图示的示例中，可以组合、重新安排等框（202-220）中每一个。例如，可以将摄像机202与麦克风204组合。在一些示例中，摄像机202接收示例图像，麦克风204接收示例音频。在一些示例中，控制接口206从用户（例如，触摸屏、小键盘等）接收输入，并将输出发送给用户（例如，显示屏等）。应用接口208可以允许一个或多个用户经由控制接口206，和/或控制器220来与移动装置200上可存储的应用和/或功能交互和/或执行移动装置200上可存储的应用和/或功能。在一些示例中，示例记录器210可以存储和/或记录与移动装置200的用户交互。记录器210可以基于用户交互来相对用户正执行的操作生成事件的报告。

可以使用示例控制器220来执行经由用户接口206接收的用户（例如，用户104、106）的命令。控制器220还可以基于摄像机202识别的指尖位置使用示例基于熵的分割算法以从用户（例如，用户104、106）接收命令。在一些示例中，控制器220从摄像机202接收图像，并将基于熵的分割算法应用于图像。应用示例算法之后，控制器220识别图像中的用户104、106指尖位置。在将示例算法应用于从摄像机202接收的一系列图像之后，示例控制器可以基于指尖位置来解释来自用户104、106的命令。一些命令可以包括但不限于，控制移动装置200的功能和/或应用、请求装置的标识、运行移动装置200的浏览器、运行移动装置200的摄像机和/或麦克风等。

图3是可以分别用于实现图2的控制器220和记录器210的示例控制器220和示例记录器210的框图。在图示的示例中，图3的示例控制器220包括装置检测器322、装置识别器324、图像滤波器326、用户命令识别器328和语音识别器330。在图示的示例中，示例记录器210包括记录汇编器312和报告生成器314。

在图3中，示例控制器220从摄像机（例如摄像机202）接收示例图像，从麦克风（例如，麦克风204）接收音频，并控制来自控制接口（例如，控制接口206）的接口数据。在图示的示例中，图像被装置检测器322和图像滤波器326接收。

图3的示例装置检测器322可以识别示例操作期间正在使用的装置的唯一标识符。例如，在医疗操作中，装置可以包括该医疗操作期间安装的植入体和/或使用的器械。装置检测器322可以自动地识别示例装置的标签、条形码和/或形状。一旦装置检测器322识别出装置标识的图像，则装置检测器322将图像转发到装置识别器324以基于图像确定装置信息。装置识别器324可以将图像解码以获取装置信息。例如，装置标识可以包括条形码。装置识别器324可以使用扫描软件/功能来确定装置信息。在一些示例中，装置识别器324可以将图像解码以识别图像中的文本，如装置上的标签和/或型号。在一些示例中，控制器220和/或装置识别器324则可以将图像与示例移动装置（例如，移动装置200）的数据库中存储的装置信息交叉引用来识别装置信息。一旦装置识别器324确定装置信息，则装置信息将该信息（或许经通信总线，如通信总线201）转发到记录器210。

图3的示例图像滤波器326从摄像机（例如，摄像机202）接收图像。图像滤波器326聚焦在图像的基于纹理的区域，以将手、手指和/或指尖与背景分割。在将基于熵的分割算法应用于图像之后，可以应用最小最大滤波器（min-max filter）以识别手指。一旦使用图像滤波器326对图像识别示例用户（例如，用户104、106）的手、手指和/或指尖，图3的用户命令识别器328从滤波的图像确定用户命令。

图3的用户命令识别器328基于图像滤波器326对图像的分割跟踪图像中用户的手、手指和/或指尖。通过确定用户的手、手指和/或指尖在每个图像中的位置，用户命令识别器328能够通过交叉引用示例移动装置200的存储装置中和/或与该移动装置连接的网络所连接的数据库中存储的命令数据来解释用户的命令。在一些示例中，控制器220使用用户命令识别器识别的命令来执行移动装置200的应用和/或功能。用户命令识别器328可以将识别的命令转发到记录器210以进行记录。

图3的语音识别器330从示例移动装置200的麦克风接收音频。语音识别器330可以对语音数据进行滤波，并将滤波的数椐转发到用户命令识别器328以确定来自用户的命令。在一些示例中，控制器220可以使用来自语音识别器330的语音命令数据以控制示例移动装置。在一些示例中，语音识别器330将语音数椐转换成文本，并将语音数据转发到记录器210以进行记录。在某些示例中，语音识别器330具有语音识别软件，并且可以基于通过音频接收的语音来识别一个或多个用户（例如，用户104、106)。语音识别器330可以将语音数据关联到每个示例用户，并将信息转发到记录器210。在一些示例中，记录器210记录语音数据，并将语音数据与每个对应用户关联以记录哪个用户说出有关示例操作的哪个命令和/或信息。

图3的记录器210经装置识别器324、用户命令识别器328和/或语音识别器330从控制器220接收数据。在一些示例中，记录器210从控制接口206接收控制接口数据。记录器210在记录汇编器312处接收信息。记录汇编器312将示例移动装置200要记录的数据汇编。在一些示例中，记录汇编器312基于记录汇编器312处接收到信息的时间来将信息分类(sort)。在一些示例中，记录汇编器312将从语音识别器330、用户命令识别器328和/或装置识别器324接收的语音和/或图像数据转换成文本数椐。在一些示例中，记录汇编器则基于从用户接收数据关联的时间来将文本数据汇编。在一些示例中，记录汇编器312将汇编的数据转发到报告生成器314，以便对用户生成报告。

图3的示例报告生成器314生成报告以呈示给用户。在一些示例中，用户可以通过控制接口（例如，控制接口206），基于时间、位置、用户、操作、信息等来定制报告。在一些示例中，报告生成器基于数据类型（例如，音频数据、装置数据、命令数据（通过手和/或语音发出）等）将来自记录汇编器312的数据分类。在一些示例中，报告生成器可以检索操作的摄像机（例如，摄像机202)录制的视频，并将该视频与生成的报告关联。在一些示例中，生成的报告通过移动装置(例如，移动装置200）的显示屏（例如，触摸屏）显示。在一些示例中，示例报告被存储在示例移动装置的示例数据库中和/或与移动装置连接的网络所连接的数据库中。

虽然图2和/或图3中图示了实现图2的示例移动装置200，更具体地说图3的示例控制器220和示例记录210的示例方式，但是可以将图2和/或图3中图示的元件、过程和/或装置的其中一个或多个组合、分开、重新布置、省略、消除和/或以任何其他方式来实现。再者，可以通过硬件、软件、固件和/或硬件、软件和/或固件的任何组合来实现示例装置检测器322、示例装置识别器324、示例图像滤波器326、示例用户命令识别器328、示例语音识别器330、示例记录汇编器312和示例报告生成器314和/或更常见的，图2和/或图3的示例控制器220和示例记录器210。因此，可以通过一个或多个电路（一个或多个）、一个或多个可编程处理器、一个或多个专用集成电路（ASIC）、一个或多个可编程程逻辑装置（PLD)和/或一个或多个现场可编程逻辑装置（FPLD）等来实现示例装置检测器322、示例装置识别器324、示例图像滤波器326、示例用户命令识别器328、示例语音识别器330、示例记录汇编器312和示例报告生成器314和/或更常见的，示例控制器220和示例记录器210。当阅读本专利的任一设备权利要求覆盖纯软件和/或固件实现时，示例装置检测器322、示例装置识别器324、示例图像滤波器326、示例用户命令识别器328、示例语音识别器330、示例记录汇编器312和示例报告生成器314的至少其中之一，由此明确地定义为包括存储该软件和/或固件的计算机可读存储介质，如存储器、DVD、CD等。又再者，示例控制器220和记录器210可以包括一个或多个元件、过程和/或装置作为图2和/或图3所示的那些补充或替代，和/或可以包括图示的元件、过程和装置的其中任一个或全部中的多于一个。

图4-6中示出表示用于实现图2和/或图3的控制器220和记录器230的示例机器可读指令的流程图。在此示例中，这些机器可读指令包括用于处理器执行的一个或多个程序，如下文与图8结合论述的示例处理器平台800中所示的处理器812。该程序可以具体体现在有形计算机可读存储介质上存储的软件中，这些有形计算机可读存储介质诸如CD-ROM、软盘、硬盘、数字多功能光盘（DVD)、BLU-RAY^TM光盘或与存储器812关联的存储器，但是整个程序和/或其多个部分可以作为备选由处理器812以外的装置执行和/或具体体现在固件或硬件中。再者，虽然该示例程序是参考图4-6图示的流程图来描述的，但是作为备选可以使用实现图2和/或图3的示例控制器220和记录器210的多种其他方法。例如，可以更改这些框的执行次序，和/或可以更改、消除或组合所描述的一些框。

正如上文提到的，图4-6的示例过程可以使用存储在有形计算机可读存储介质上的编码的指令（例如，计算机可读指令）来实现，这些有形计算机可读介质诸如硬盘驱动器、闪存、只读存储器(ROM)、压缩光盘（CD）、数字多功能光盘（DVD）、BLU-RAY^TM光盘、高速缓存、随机存取存储器（RAM)和/或在任何持续时间内（例如在延长的时间段内、永久性地、短暂的情况、用于暂时性地缓冲和/或用于信息的高速缓存）存储信息的任何其他存储介质。正如本文所使用的，术语有形计算机可读介质明确地定义为包括任何类型的计算机可读存储装置或光盘且排除传播信号。作为附加或备选，图4-6的示例过程可以使用存储在非临时性计算机可读存储介质上的编码的指令（例如，计算机可读指令）来实现，这些非临时性计算机可读介质诸如硬盘驱动器、闪存、只读存储器、压缩光盘、数字多功能光盘、高速缓存、随机存取存储器和/或其中在任何持续时间内（例如在延长的时间段内、永久性地、短暂的情况、用于暂时性地缓冲和/或用于信息的高速缓存）存储信息的任何其他存储介质。正如本文所使用的，术语非临时性计算机可读存储介质明确地定义为包括任何类型的计算机可读存储装置或光盘且排除传播信号。

图4中示出的流程图表示可以执行以实现图2和/或图3的控制器220和/或记录器210的示例机器可读指令400。图4的机器可读指令400在执行时，促使示例移动装置200的控制器220和记录器210基于无接触环境，如图1的示例环境100中与移动装置的一个或多个用户交互记录操作的事件。在框410处，设置示例移动装置，如图2的移动装置200以便在示例无接触环境，如示例环境100中的操作期间使用。在一些示例中，在将移动装置200带入无接触环境100中之前使用用户接口设置移动装置100。在一些示例中，移动装置200的设置包括执行移动装置200上存储的示例记录应用。

在框420处，识别一个或多个用户指尖的位置。例如，使用示例移动装置200的摄像机202来识别用户的指尖。图像滤波器326从摄像机202接收图像。图像滤波器326对这些图像应用基于熵的分割，然后例如应用最小最大滤波器以识别一个或多个用户的指尖。

在一些示例中，用户指尖的初始识别发生在框410的示例记录应用的执行之后。在一些示例中，用户建立与移动装置200的控制接口206（例如，显示屏、触摸屏等）对应的示例虚拟平面。该虚拟平面可以通过执行校准来建立，其中用户例如在示例记录应用的执行时识别虚拟平面的左上角和右下角和/或虚拟平面的右上角和左下角。

在图示示例的框430处，确定建立的虚拟平面内用户的指尖位置的对应。例如，示例控制器220的用户命令识别器328可以使用移动装置200的摄像机202来确定建立的虚拟平面内用户指尖位置的对应。在框430处，使用像素移位算法执行跟踪，以便快速地跟踪从图像滤波器326接收的图像的分割的区域。在一些示例中，使用水平和垂直跟踪（例如参见图7C）以在示例应用内导航。在框430中，使用基于纹理的熵分割，允许示例用户的手、手指和/或指尖和/或覆盖它们的手套在操作期间被碎屑（例如，血液、污垢、油渍等）沾染或覆盖而不影响图像滤波器326识别用户的手、手指和/或指尖及其位置的能力。在框430处，用户命令识别器328跟踪虚拟平面内用户指尖位置，并将该位置对应于移动装置200的控制接口206上的位置。

在图4的框440处，用户命令识别器328确定用户已经基于用户指尖位置（并且在一些示例中，基于在示例虚拟平面内用户指尖位置）输入命令。在一些示例中，从图像滤波器326接收的图像中对用户指尖的示例跟踪，通过估计用户指尖至虚拟平面和/或移动装置200的控制接口206的距离识别出用户触摸向上控制的动作。在一些示例中，估计是匹配物（match the matter）-随定时变量的对象向前，然后对象向后。使用匹配物估计，可以将分析的模式（patters）映射至用于应用执行的触摸事件。可以在控制接口206上与示例虚拟平面中用户手位置对应的位置处显示执行应用的图标。

在框450处，移动装置200的示例记录器210基于用户输入以及与移动装置200的交互记录操作的事件。在一些示例中，用户可以选择记录器210要记录操作的哪些事件。在一些示例中，记录器自动地记录移动装置200的任何用户的任何交互接收的所有命令和信息。图5进一步解释框450的指令。

在图4的框460处，示例记录器210可以通过报告生成器314生成报告。在一些示例中，报告生成器基于数椐类型（例如，音频数据、装置数椐、命令数据等）将来自记录汇编器312的数据分类。在一些示例中，报告生成器检索摄像机202录制的操作视频，并将该视频与生成的报告关联。在一些示例中，通过移动装置200的显示屏（例如，控制接口206）来显示生成的报告和/或可以将示例报告存储在示例移动装置的示例数据库中和/或与移动装置连接的网络所连接的数椐库中。

图5图示可以执行以实现图4的框450的示例机器可读指令450。在框510处，指令450在记录器210接收数据信息以用于记录时开始。在框510处，记录器210可以从装置识别器324（参见图6）、用户命令识别器328、语音识别器330和/或控制接口206接收用于记录的数据信息。相应地，接收的数据可以是图像数据、语音数据、元数据、文本数据或任何形式的数据。

在520处，记录汇编器312在汇编之前确定是否需要转换数椐。记录器210可以基于来自控制接口206的用户输入和/或用户设定的设置确定是否要转换接收的数椐（例如，从语音至文本和/或从图像至元数椐）。如果无需转换接收的数椐，则控制移到框540，此处由记录汇编器312将数据存储在移动装置200的存储装置中。在一些示例中，用户可以指示应在记录汇编器312中将所有记录数据转换到文本。如果需要转换接收的数据，则记录汇编器312基于与接收的数据的类型对应的一个或多个设置来转换数据。例如，可以将来自装置识别器的图像数据转换成标识装置信息的文本数据，和/或可以将从语音识别器接收的语音数据转录成文本数据。在框540处，应该将所有接收的记录数据转换成正确的格式，再将其存储在移动装置200的示例存储装置中或与移动装置200通信的网络所连接的示例存储装置中。

在一些示例中，记录器210的记录汇编器312基于数椐类型或时间的至少其中之一来将记录数据分类。在一些示例中，可以将分类的数据与与记录数据对应的视频录制关联。在一些示例中，在移动装置200的摄像机202录制视频的同时，由移动装置200接收记录数据。

图6图示可以执行以实现图3的装置检测器322和装置识别器的示例机器可读指令600。在图示示例的框610处，装置检测器322从示例摄像机202接收图像。在框620处，装置检测器322确定装置(例如，植入体、器械等）是否位于接收的图像内。装置检测器322可以基于图像中识别的装置的标签、条形码、形状或任何其他区分特征来检测装置。如果装置检测器322未在图像中检测到装置，则控制返回到框610以从摄像机202接收下一个图像。

如果在框620处，装置检测器322检测到装置，则装置识别器324在框630处可以从包含标识的装置的图像解码和/或提取装置标识信息（例如，条形码、标签等）。在框640处，装置识别器324则可以基于标识信息来确定装置信息（例如，装置名称、型号等）。在一些示例中，装置识别器324与移动装置的存储驱动器上存储的信息交叉检查标识信息，以便确定标识信息。在一些示例中，装置识别器324引用连接到网络（例如，局域网或因特网）的存储装置的数据库来确定装置信息。在框650处，装置识别器324则将装置信息转发到记录器210，以便记录识别的装置。在一些示例中，装置识别器324将装置的图像连同装置信息转发以用于记录。

图7A-7C是可以用于控制移动装置200的指尖移动和/或位置的图示示例。图7A-7C分别各示出示例移动装置700A、700B、700C(可以由图2的移动装置200实现）、示例虚拟平面710A、710B、710C以及示例用户手位置720A、720B、720C。在图7A-7C中，示例虚拟平面710A、710B、710C离示例移动装置700A、700B、700C距离Z。在图7A-7C中，对应的点划线标识虚拟平面710A、710B、710C的角分别对应于移动装置700A、700B、700C的控制接口706A、706B、706C的对应角。

图7A图示已建立虚拟平面710A，其离移动装置700A距离Z来建立。当用户手720A与虚拟平面710A交互时，移动装置700A的示例摄像机（例如，摄像机202）将图像转发到图像滤波器326以确定相对于虚拟平面710A的手、手指和/或指尖位置。从那里，示例用户命令识别器能够基于用户的手720A的位置来解释命令。

图7B图示用户要控制接口706B的显示屏中缩放而发出的示例命令。在图7B中，用户手720B可以“捏”虚拟屏幕以缩小和/或移动装置700B的控制接口706B。图7C图示用户向上和/或向下翻用户装置700C的控制接口706C上显示的页面而发出的示例命令。图7A-7C严格地视为用于控制移动装置700A、700B、700C的示例手势或位置，并且可以将其修改以实现移动装置700A、700B、700C的其他功能或控制。

图8能够执行图4-6的指令以实现图2和/或图3的控制器220和记录器210的示例计算机800的框图。计算机800可以是例如，服务器、个人计算机、移动电话（例如，蜂窝电话）、智能电话、平板个人计算机、个人数字助理（PDA)、数字录像机、个人录像机、机顶盒或任何其他类型的计算装置。

即时示例的系统800包括处理器812。例如，处理器812可以通过来自Pentium®系列、Itanium®系列或XScale®系列的一个或多个Intel®微处理器来实现。当然，来自其他系列的其他处理器也是适合的。

处理器812经总线818与主存储器通信，主存储器包括易失性存储器814和非易失性存储器816。易失性存储器814可以通过同步动态随机存取存储器（SDRAM）、动态随机存取存储器（DRAM)、RAMBUS动态随机存取存储器（RDRAM）和/或任何其他类型的随机存取存储器装置来实现。非易失性存储器816可以通过闪存存储器和/或任何其他期望类型的存储器装置来实现。对主存储器814、816的访问通常由存储器控制器（未示出）来控制。

计算机800还包括接口电路820。接口电路820可以通过任何类型接口标准实现，如以太网接口、通用串行总线（USB）和/或PCI express接口。

一个或多个输入装置822连接到接口电路820。一个或多个输入装置822允许用户将数据和命令输入到处理器812中，一个或多个输入装置可以通过例如键盘、鼠标、触摸屏、触控板、轨迹球、isopoint（等点）和/或语音识别系统来实现。

一个或多个输出装置824也连接到接口电路820。输出装置824可以通过例如显示装置（例如，液晶显示器）来实现。接口电路820由此通常包括图形驱动器卡。

接口电路820还包括通信装置，如调制解调器或网络接口卡以利于经由网络826（例如，以太网连接、数字订户线路（DSL）、电话线、同轴电缆、蜂窝电话系统等）与外部计算机交换数椐。

计算机800还包括一个或多个海量存储装置828以用于存储软件和数椐。此类海量存储装置828的示例包括软盘驱动器、硬盘驱动器光盘、压缩光盘驱动器和数字多功能光盘（DVD）驱动器。

可以将图4-6的编码的指令存储在海量存储装置828中、易失性存储器814中，非易失性存储器816中和/或如CD或DVD的移动存储介质上。

根据前文，将认识到上文公开的方法、设备和制造品允许基于使用移动装置的摄像机的输入控制、音频录制和/或视频录制以及装置植入体和/或器械识别能力，通过该移动装置在无接触环境中无接触地控制移动装置和记录操作。

虽然本文描述某些示例方法、设备和制造品，但是本专利的涵盖范围不限于此。相反，本专利涵盖完全落在本专利的权利要求的范围内的所有方法、设备和制造品。

Claims (20)

1.一种记录操作的方法，其包括：

使用移动装置的摄像机和来自所述摄像机的图像输入的基于熵的分割，来识别用户的指尖的一个或多个在与所述移动装置的控制接口分离形成的虚拟平面中的位置；

确定用户指尖位置与所述移动装置的所述控制接口之间的对应，所述对应形成用户输入，所述控制接口包括基于所述用户输入执行的多个功能；

在操作期间基于所述虚拟平面中的用户指尖位置促进通过所述移动装置的所述多个功能的一个或多个功能的执行；以及

基于所述用户输入记录操作的一个或多个事件以生成将经由所述移动装置输出的报告。

2.如权利要求1所述的方法，其中所述虚拟平面与所述移动装置的所述控制接口分离且与所述移动装置的所述控制接口对应，以及

其中所述虚拟平面的第一坐标对应于所述移动装置的所述控制接口的第二坐标。

3.如权利要求1所述的方法，还包括：使用所述移动装置的所述摄像机检测所述图像输入中的装置标识；

基于所述装置标识确定装置信息；以及

将所述装置信息作为所述操作的一个或多个事件之一记录在所述报告中。

4.如权利要求1所述的方法，还包括：基于通过所述用户指尖位置识别的用户命令，使用麦克风或所述摄像机的至少其中之一存储所述操作的音频录制或视频录制的至少其中之一；以及

将所述操作的录制与所述报告关联。

5.如权利要求1所述的方法，其中所述用户的指尖位置将在覆盖用户指尖的一个或多个手套基本无碎屑时的第一时间进行识别，以及在覆盖用户指尖的一个或多个手套基本覆盖有碎屑时的第二时间进行识别。

6.如权利要求1所述的方法，其中记录所述一个或多个事件还包括基于用户设置或数据类型的至少其中之一将来自执行所述一个或多个功能的记录数据转换到某种格式。

7.如权利要求1所述的方法，其中所述移动装置是平板计算机、智能电话、个人数字助理、个人计算机或膝上型计算机的至少其中之一。

8.一种记录操作的设备，包括：

图像滤波器，其用于使用移动装置的摄像机和来自摄像机的图像输入的基于熵的分割，来识别指尖的一个或多个在与所述移动装置的控制接口分离形成的虚拟平面中的位置；

用户命令识别器，其用于确定用户指尖位置与所述移动装置的所述控制接口之间的对应，所述对应形成用户输入，所述控制接口包括基于所述用户输入执行的多个功能；

控制器，其用于在操作期间基于所述虚拟平面中的用户指尖位置促进通过所述移动装置的所述多个功能的一个或多个功能的执行；以及

记录器，其用于基于用户输入记录所述操作的一个或多个事件以生成经所述移动装置输出的报告。

9.如权利要求8所述的设备，其中所述虚拟平面与所述移动装置的控制接口分离且与所述移动装置的控制接口对应，以及

其中所述虚拟平面的第一坐标对应于所述移动装置的所述控制接口的第二坐标。

10.如权利要求8所述的设备，还包括用于使用所述移动装置的所述摄像机检测所述图像输入中的装置标识的装置标识检测器；以及

装置识别器，其用于基于所述装置标识确定装置信息，

其中所述记录器将所述装置信息作为所述操作的一个或多个事件之一记录在所述报告中。

11.如权利要求8所述的设备，其中所述控制器基于通过所述用户指尖位置识别的用户命令，使用麦克风或所述摄像机的至少其中之一存储手术的音频录制或视频录制的至少其中之一，以及所述记录器将所述手术的录制与所述报告关联。

12.如权利要求8所述的设备，其中所述用户的指尖位置在覆盖用户指尖的一个或多个手套基本无碎屑时的第一时间进行识别，以及在覆盖用户指尖的一个或多个手套基本覆盖有碎屑时的第二时间进行识别。

13.如权利要求8所述的设备，其中记录所述一个或多个事件还包括基于用户设置和数据类型的至少其中之一将来自执行所述一个或多个功能的记录数椐转换到某种格式。

14.如权利要求8所述的设备，其中所述移动装置是平板计算机、智能电话、个人数字助理、个人计算机、或膝上型计算机的至少其中之一。

15.一种包含指令的机器可读存储介质，所述指令在被执行时促使机器至少执行如下操作：使用移动装置的摄像机和来自所述摄像机的图像输入的基于熵的分割来识别用户的指尖的一个或多个在远离所述移动装置的控制接口形成的虚拟平面中的位置；

确定用户指尖位置与移动装置的控制接口之间的对应，所述对应形成用户输入，所述控制接口包括基于所述用户输入执行的多个功能；

在手术期间基于所述虚拟平面中的用户指尖位置促进通过所述移动装置的所述多个功能的一个或多个功能的执行；以及

基于所述用户输入记录所述手术的一个或多个事件以生成经所述移动装置输出的报告。

16.如权利要求15所述的存储介质，其中所述虚拟平面与所述移动装置的控制接口分离且与移动装置的控制接口对应，以及

其中所述虚拟平面的第一坐标对应于所述移动装置的所述控制接口的第二坐标。

17.如权利要求15所述的存储介质，其中所述指令促使所述机器使用所述移动装置的所述摄像机检测所述图像输入中的装置标识；

基于所述装置标识确定装置信息；以及

将所述装置信息作为所述手术的一个或多个事件之一记录在所述报告中。

18.如权利要求15所述的存储介质，其中所述指令促使所述机器基于通过所述用户指尖位置识别的用户命令，使用麦克风或所述摄像机的至少其中之一存储所述手术的音频录制或视频录制的至少其中之一；以及

将所述手术的录制与所述报告关联。

19.如权利要求15所述的存储介质，其中所述用户的指尖位置在覆盖用户指尖的一个或多个手套基本无碎屑时的第一时间进行识别，以及在覆盖用户指尖的一个或多个手套基本覆盖有碎屑时的第二时间进行识别。

20.如权利要求15所述的存储介质，其中记录所述一个或多个事件还包括基于用户设置或数据类型的至少其中之一将来自执行所述一个或多个功能的记录数据转换到某种格式。