CN101124824A

CN101124824A - 用于在基于用户界面的应用中结合捕捉事件的方法及系统

Info

Publication number: CN101124824A
Application number: CNA2005800407229A
Authority: CN
Inventors: R·P·莫里斯
Original assignee: Scenera Research LLC
Current assignee: Scenera Research LLC
Priority date: 2004-10-04
Filing date: 2005-09-28
Publication date: 2008-02-13
Also published as: JP2008516311A; WO2006041694A2; EP1800242A2; WO2006041694A3; EP1800242A4

Abstract

用于从电子装置向服务器中的万维网应用提交由电子装置捕捉的多媒体数据的方法及系统包括：在电子装置中提供用户界面，通过所述用户界面访问万维网应用；以及使用户界面能够检测和识别源自电子装置的多媒体捕捉事件。在检测和识别这样一种事件之后，用户界面自动处理在多媒体捕捉事件期间捕捉的多媒体数据，并把多媒体数据传送给万维网应用。

Description

用于在基于用户界面的应用中结合捕捉事件的方法及系统

技术领域

本发明涉及用户界面，更具体来说，涉及用于从电子装置向基于万维网的应用提交由电子装置捕捉的多媒体数据的方法及系统。

背景技术

传统上，软件应用提供的服务仅由有权访问其中存储了所述应用的计算机系统的用户使用。在允许若干计算机系统相互通信和/或与服务器通信的网络中，驻留在一个计算机系统或者服务器中的应用可由网络中的其它计算机系统使用。

网络已经从本地专用内联网发展到公共网络、如因特网。在这里，连接到因特网的计算机系统适合于通过用户界面、如万维网浏览器或远程桌面与其它计算机系统通信。在远程桌面的情况中，计算机系统称作远程终端。驻留在服务器或计算机系统中的应用所提供的服务通过它的用户界面、如浏览器可供另一个计算机系统作为万维网应用使用。

因此，计算机系统仅需要提供用户界面以便访问万维网应用，同时万维网应用本身从中央位置来管理而不是本地管理。这对于诸如数字相机、电话和PDA之类的便携式、手持电子装置特别有利，因为这些装置中的存储器一般受到限制。

万维网应用往往提示用户执行某个动作，例如输入信用卡号、选择按钮或选择复选框。然后，用户通常通过按下屏幕上显示的按钮、使用指针选择复选框或者使用键盘输入数据来执行动作。界面、如浏览器能够检测称作输入事件的用户的动作。因此，当用户使用键盘输入他或她的信用卡号时，浏览器检测作为击键的输入事件，并相应地处理与击键关联的数据。

如上所述，万维网启用的便携式手持电子装置可经由用户界面、如万维网浏览器访问万维网应用。另外，许多手持电子装置配备了多媒体捕捉子系统，它允许装置捕捉和存储称作多媒体数据的现场图像和音频数据。

如果万维网应用提示用户提交多媒体数据、如图像，则用户必须首先捕捉图像并把它存储在文件系统中，然后浏览文件系统以查找图像，然后再选择图像并通过例如HTML表格、文件传输操作或电子邮件等的某种机制上载图像。这个过程是沉闷且费时的，特别是在用户正使用手持电子装置访问万维网应用时。在那种情况中，在给定有限导航能力和处理速度的情况下，浏览可能是文件系统中存储的数百个图像以找到所请求图像是困难且费时的。

因此，需要的是简化用于从手持电子装置向万维网应用提交由手持电子装置捕捉的多媒体数据的过程的方法及系统。本发明针对这样一种需要。

发明内容

本发明提供用于从电子装置向服务器中的万维网应用提交由电子装置捕捉的多媒体数据的方法及系统。该方法包括：在电子装置中提供用户界面，通过所述用户界面访问万维网应用；以及使用户界面能够检测和识别源自电子装置的多媒体捕捉事件。在检测和识别这样一种事件之后，用户界面自动处理在多媒体捕捉事件期间捕捉的多媒体数据，并把多媒体数据传送给万维网应用。

附图说明

图1是根据本发明的一个优选实施例的系统图。

图2是根据本发明的一个优选实施例、从万维网浏览器向万维网应用提交多媒体数据的流程图。

具体实施方式

本发明涉及用户界面，更具体来说，涉及用于向基于万维网的应用提交由手持捕捉装置捕捉的多媒体数据的方法及系统。提供以下描述以使本领域的技术人员能够实施和利用本发明，这些描述在专利申请及其要求的上下文中提供。本领域的技术人员将会非常了解对于本文所述的优选实施例和一般原理及特征的各种修改。例如，虽然优选实施例是在万维网浏览器应用中实现，但是本发明的原理也可适用于远程桌面技术。因此，本发明不是要限制于所述实施例，而是符合与本文所述的原理和特征一致的最广义的范围。

根据本发明的优选实施例，用来访问网络、如因特网的用户界面识别作为多媒体捕捉事件的输入事件，例如按下快门或者按下记录按钮。与捕捉事件对应的多媒体数据则作为输入数据直接传递给用户界面。然后，多媒体数据经过处理并经由网络提交给服务器上的万维网应用。

通过使用户界面能够检测多媒体捕捉事件以及直接接收对应的多媒体数据，为了向万维网应用提交多媒体数据，除了捕捉图像、电影剪辑或音频之外，不要求用户执行其它步骤。这显著简化了此过程并节省时间，因为不要求用户浏览文件系统以检索预期多媒体数据。

图1是框图，说明根据一个优选实施例的系统环境。根据本发明，电子捕捉装置10经由网络30、如因特网耦合到服务器50。电子捕捉装置10优选地是万维网启用数字相机、移动相机电话、摄像机或者能够捕捉现场图像和音频数据、即多媒体数据的其它某种万维网启用的电子装置。服务器50包括万维网服务器52和多个万维网应用54。

电子捕捉装置10包括多媒体捕捉子系统12以及用来访问网络30的用户界面。在优选实施例中，用户界面是万维网浏览器14，但是，以下原理也可适用于远程桌面应用和类似用户界面所提供的远程客户机。多媒体捕捉子系统12管理捕捉事件，例如拍照、记录声音或者制作电影。在捕捉事件期间捕捉的图像或音频数据通常经过处理、命名，然后存储在与文件系统13中的捕捉事件关联的文件15中。多媒体捕捉子系统12和文件系统13是本领域的技术人员众所周知的。

浏览器14提供服务器50与用户20之间的界面。服务器50上的万维网应用54向浏览器14传送网页以便向用户20显示。在某些情况中，网页通过所谓的表格向用户20请求输入。表格包括一个或多个表格元素，其中的每个定义有效输入类型和其它关联属性。表格是本领域的技术人员众所周知的采用诸如HTML、XHTML、WML等的任何标记语言创建交互式网页的结构。

浏览器14包括耦合到表格管理器17的输入处理器16，用于处理来自用户的响应。输入处理器16检测和识别用户20响应请求而执行的输入事件的类型。例如，输入事件包括移动鼠标、点击右键或点击左键以及键盘输入。表格管理器17解释当前处于焦点的表格元素，并根据与表格元素关联的指令处理来自输入处理器16的输入事件。

当前，输入处理器16检测到源自击键(例如按下导航键)的用户20的输入事件以及源自指针装置(例如移动鼠标或点击右/左键)的事件。通过传统的浏览器和输入处理器，如果表格元素请求从多媒体捕捉子系统12生成的图像数据或其它数据，则用户20必须拍摄图片(即捕捉图像)、浏览文件系统13、查找与图像关联的文件15并选择文件15。这个过程是沉闷且费时的，特别是对于具有有限用户界面功能的小电子装置10。

根据本发明的优选实施例，浏览器14直接耦合到多媒体捕捉子系统12，使得作为多媒体捕捉事件的输入事件可直接传递给输入处理器16。本发明的输入处理器16被增强，以便在浏览器14聚焦在表格元素时检测和识别源自多媒体捕捉子系统的多媒体捕捉事件。通过把这类捕捉事件识别为有效输入事件，在捕捉事件期间捕捉的多媒体数据可适当地自动与表格元素关联，而无需额外的手动步骤。

在一个优选实施例中，可采用现有文件输入标签，并且不需要对表格管理器17进行修改。例如，考虑采用标准HTML创建的下列表格：

实例1：

<FORM action＝http：//server.dom/cgi/handle

enctype＝”multipart/form-data”

method＝”post”>

<P>

Provide pictures of damage:<INPUT type＝”file”name＝”name_of_files”>

</P>

</FORM>

在这里，例如为了填写保险索赔，网页指示用户20提交损害的图像。表格元素把输入类型定义为“文件”。在传统的系统中，要求用户20捕捉图像并存储在文件15中，浏览文件系统13以便找到图像文件15，并采用指针或导航键选择图像文件15。

根据本发明的优选实施例，用户20还可通过把电子捕捉装置10聚焦在受损产品上并按下快门按钮以捕捉受损产品的图像，来输入图像文件。由于输入处理器16能够检测例如按下快门按钮之类的多媒体捕捉事件并将其识别为输入事件，所以它接受在事件期间捕捉的多媒体数据并将其传递给表格管理器17。表格管理器17确定多媒体数据符合表格元素的输入类型、如“文件”，然后根据表格来处理数据。

在另一个优选实施例中，为表格的输入类型定义新的“捕捉”类型。在这里，表格管理器17略微地修改为把“捕捉”类型识别为明确地要求来自多媒体捕捉事件的多媒体数据。在实例2中，根据这个优选实施例的表格如下所示：

实例2：

<FORM action＝http：//server.dom/cgi/handle

enctype＝”multipart/form-data”

method＝”post”>

<P>

Provide pictures of damage：<INPUT type＝”capture”name＝”name_of_files”>

</P>

</FORM>

在这里，表格元素定义新的输入类型，“捕捉”类型。根据本发明，“捕捉”输入类型明确地要求来自多媒体捕捉子系统的多媒体数据。与其中任何类型的“文件”是可接受的实例1的表格元素相比，实例2中的表格元素限制为一种输入类型、即“捕捉”类型。

在又一个优选实施例中，提供称作“有效输入类型”的新输入属性，它限制文件输入类型的输入源。在这里，表格管理器17略微地修改为把“有效输入类型”属性解释为明确地要求来自特定源、例如文件系统13或多媒体捕捉子系统12的数据。在下列实例3中，根据这个优选实施例的表格如下所示：

实例3：

<FORM action＝http：//server.dom/cgi/handle

enctype＝”multipart/form-data”

method＝”post”>

<P>

Provide pictures of damage：<INPUT type＝”file”validlnputTypes＝”file，

capture”name＝”name_of_files”>

</P>

</FORM>

在这里，在这个实例中，属性“有效输入类型”通知表格管理器17，源自文件系统13以及源自多媒体捕捉子系统12的输入是有效的输入源。因此，实例3中的表格比实例2中的表格更少限制，但比实例1中的表格更多限制。

以上所述的表格元素举例说明了浏览器如何被修改为把多媒体捕捉事件结合到表格元素中。在所有情况中，输入处理器被增强为检测和识别来自多媒体捕捉子系统的多媒体捕捉事件。熟悉浏览器技术的技术人员易于理解，表格管理器可能或者可能没有经过修改，以及以上在实例2和实例3中所述的修改不是详尽的。

可加入其它种类的输入类型和输入属性以便提供与多媒体捕捉事件相关的附加特征。例如，可提供表明预计或允许的图像的数量的新输入属性。新的输入类型可定义多媒体数据的某些特性，例如最小分辨率和格式化。另外，文件输入表格元素可扩展为指定图像的目的地(URL)而不是把它们作为表格的一部分公布。扩展表格元素还可用来延迟图像的传送，使得表格可被快速公布。

另外，根据本发明的另一个优选实施例，浏览器14被增强为支持直接响应多媒体捕捉事件的新的脚本。在这里，一个或多个脚本解释器18和事件处理器(未示出)被修改为处理源自多媒体捕捉子系统12的输入事件。在下列实例4中，根据这个优选实施例的表格如下所示：

实例4：

<FORM action＝http：//server.dom/cgi/handie

enctype＝”multipart/form-data”

method＝”post”>

<P>

Provide pictures of damage：<INPUT type＝”file”name＝”name_of_files”

onCapture＝”preplmage()”>

</P>

</FORM>

在这里，新脚本事件“onCapture”被定义为表格元素中的输入属性。当输入处理器16识别与“onCapture”事件对应的多媒体捕捉事件时，脚本解释器18被调用，以及脚本解释器18调用通常在页面中定义的已识别子例程“prepImage()”。作为参数或者通过众所周知的脚本API调用、如“getLastCapturedImage()”，在捕捉事件期间捕捉的多媒体数据将是被调用例程可用的。然后，多媒体数据在数据被公布之前按照子例程来处理。

根据优选实施例，可定义各种多媒体捕捉事件，各具有一个或多个关联脚本事件。例如，多媒体捕捉事件可包括以“现场画面”模式操作多媒体捕捉子系统，以及关联脚本可在浏览器14上显示现场画面。在另一个实例中，捕捉事件可能是“preCapture”事件，在其中，用户20聚焦到某个对象，但是仍未捕捉图像。关联脚本事件、如“onFocus”可能调节与图像相关的某些设定。在又一个实例中，捕捉事件可能是“postCapture”事件，以及关联脚本可在浏览器14上显示已捕捉图像的缩略图。本领域的技术人员易于理解，存在其它多媒体捕捉事件，以及根据本发明的优选实施例，脚本可与其关联。

图2是流程图，说明根据本发明的优选实施例、用于处理表格中的表格元素的过程。参照图1和图2，该过程在焦点设置在表格中的表格元素时开始(步骤200)。输入处理器16检测和识别来自多媒体捕捉子系统的多媒体捕捉事件(步骤202)，并把控制转到表格管理器17。表格管理器17剖析表格元素，并确定表格元素是否与多媒体捕捉事件兼容。例如，表格管理器17可分析例如以上所述的“文件”和“捕捉”输入类型之类的输入类型以及表格元素的输入属性，以便确定表格元素是否能够接受与捕捉事件关联的多媒体数据。如果多媒体捕捉事件不兼容(步骤204)，则表格管理器忽略输入事件并等待来自输入处理器16的下一个输入事件(步骤205)。

如果表格元素与多媒体捕捉事件兼容，则表格管理器17自动把对于在多媒体捕捉事件期间捕捉的多媒体数据的引用与表格元素关联(步骤206)。在一个优选实施例中，图像数据的标识符或者与实际图像数据相对的其它某个事件参数与表格元素关联。

在引用与表格元素关联之后，表格管理器17确定是否存在作为输入属性的脚本事件、如“onCapture”(步骤208)。如果脚本事件不存在，则表格管理器17等待下一个输入事件(步骤205)。如果脚本事件存在，则表格管理器17调用对应的脚本解释器18，脚本解释器18执行指定脚本或子例程(步骤210)。一旦子例程完成，则表格管理器17等待下一个输入事件(步骤205)。当用户完成把数据输入表格的操作时，用户选择表格上的提交类型按钮，以及数据按照本领域众所周知的过程被提交给服务器50中的万维网应用54。

根据本发明的若干方面，浏览器14中的输入处理器16被增强为检测和识别多媒体捕捉事件，使得多媒体数据可自动与表格中处于焦点的兼容表格元素关联。通过把多媒体捕捉事件与浏览器14结合，显著地简化了用于提交在捕捉事件期间捕捉的多媒体数据的过程。

虽然以上所述的优选实施例针对浏览器，但是，本领域的技术人员易于理解，以上所述的原理也适用于除浏览器之外的远程显示技术。另外，虽然表格实例针对HTML，但是，相同的原理将适用于定义表格和表格元素的任何标记语言，例如WML和XHTML。

按照所述实施例描述了本发明，以及本领域的技术人员易于理解，可能存在对实施例的变更，并且任何变更均在本发明的精神和范围之内。因此，许多修改可由本领域的技术人员进行，而没有背离所附权利要求的精神和范围。

Claims

1.一种用于从电子装置向服务器中的万维网应用提交由所述电子装置捕捉的多媒体数据的方法，包括：

在电子捕捉装置中提供用于访问所述万维网应用的用户界面；

使所述用户界面能够检测和识别源自所述电子装置的多媒体捕捉事件；

在已经检测和识别所述多媒体捕捉事件之后，由所述用户界面自动处理在所述多媒体捕捉事件期间捕捉的多媒体数据；以及

经由所述用户界面把所述多媒体数据传送给所述万维网应用。

2.如权利要求1所述的方法，其特征在于，提供所述用户界面包括提供用于显示和解释来自所述服务器的交互式网页的万维网浏览器，其中，所述交互式网页包括允许用户向所述服务器提交所请求数据的表格中的表格元素。

3.如权利要求2所述的方法，其特征在于，所述表格元素包括与将经由所述表格元素提交的数据相关的至少一个属性。

4.如权利要求3所述的方法，其特征在于，所述至少一个属性包括捕捉输入类型，其中所述捕捉输入类型明确要求多媒体数据。

5.如权利要求3所述的方法，其特征在于，所述至少一个属性定义所述数据可源自的一个或多个有效源。

6.如权利要求3所述的方法，其特征在于，还包括：

在检测和识别所述多媒体捕捉事件之后，由所述浏览器确定在所述多媒体捕捉事件期间捕捉的多媒体数据是否与所述表格元素中定义的所述至少一个属性兼容；以及

如果所述多媒体数据不兼容，则忽略所述多媒体捕捉事件。

7.如权利要求6所述的方法，其特征在于，如果所述多媒体数据是兼容的，则处理从所述多媒体捕捉事件捕捉的所述多媒体数据包括自动把所述多媒体数据与所述表格元素关联。

8.如权利要求3所述的方法，其特征在于，还包括定义与所述多媒体捕捉事件直接相关的脚本事件，使得所述脚本事件对所述多媒体捕捉事件进行响应。

9.如权利要求8所述的方法，其特征在于，所述表格元素中的所述至少一个属性包括与所述多媒体捕捉事件相关的脚本事件。

10.如权利要求9所述的方法，其特征在于，处理从所述多媒体捕捉事件捕捉的所述多媒体数据包括执行与所述脚本事件关联的指令。

11.一种手持电子捕捉装置，包括：

用户界面，用于访问服务器中的万维网应用；以及

所述用户界面中的输入处理器，用于检测和识别源自所述电子捕捉装置的多媒体捕捉事件，

其中，在所述输入处理器检测和识别所述多媒体捕捉事件之后，所述用户界面自动处理在所述多媒体捕捉事件期间捕捉的多媒体数据，并把所述多媒体数据传送给所述万维网应用。

12.如权利要求11所述的装置，其特征在于，所述用户界面是用于显示和解释来自所述服务器的交互式网页的万维网浏览器，其中，所述交互式网页包括允许用户向所述服务器提交所请求数据的表格中的表格元素。

13.如权利要求12所述的装置，其特征在于，所述表格元素包括与将经由所述表格元素提交的数据相关的至少一个属性。

14.如权利要求13所述的装置，其特征在于，所述至少一个属性包括捕捉输入类型，其中所述捕捉输入类型明确要求多媒体数据。

15.如权利要求13所述的装置，其特征在于，所述至少一个属性定义所述数据可源自的一个或多个有效输入源。

16.如权利要求13所述的装置，其特征在于，所述浏览器还包括用于确定在所述多媒体捕捉事件期间捕捉的多媒体数据是否与所述表格元素中定义的至少一个属性兼容的表格管理器，其中，如果所述多媒体数据不兼容，则所述表格管理器忽略所述多媒体捕捉事件。

17.如权利要求16所述的装置，其特征在于，如果所述多媒体数据是兼容的，则所述表格管理器自动把所述多媒体数据与所述表格元素关联。

18.如权利要求13所述的装置，其特征在于，还包括用于定义与所述多媒体捕捉事件直接相关的脚本事件、使得所述脚本事件对所述多媒体捕捉事件进行响应的部件。

19.如权利要求18所述的装置，其特征在于，所述表格元素中的所述至少一个属性包括与所述多媒体捕捉事件相关的所述脚本事件。

20.如权利要求19所述的装置，其特征在于，所述浏览器通过执行与所述脚本事件关联的指令来处理从所述多媒体捕捉事件捕捉的所述多媒体数据。

21.一种计算机可读媒体，包含用于从电子装置向服务器中的万维网应用提交由所述电子装置捕捉的多媒体数据的程序指令，包括：

22.如权利要求21所述的计算机可读媒体，其特征在于，提供所述用户界面包括提供用于显示和解释来自所述服务器的交互式网页的万维网浏览器，其中，所述交互式网页包括允许用户向所述服务器提交所请求数据的表格中的表格元素。

23.如权利要求22所述的计算机可读媒体，其特征在于，所述表格元素包括与将经由所述表格元素提交的数据相关的至少一个属性。

24.如权利要求23所述的计算机可读媒体，其特征在于，所述至少一个属性包括捕捉输入类型，其中所述捕捉输入类型明确要求多媒体数据。

25.如权利要求23所述的计算机可读媒体，其特征在于，所述至少一个属性定义所述数据可源自的一个或多个有效源。

26.如权利要求23所述的计算机可读媒体，其特征在于，还包括：

如果所述多媒体数据不兼容，则忽略所述多媒体捕捉事件。

27.如权利要求26所述的计算机可读媒体，其特征在于，如果所述多媒体数据是兼容的，则自动把所述多媒体数据与所述表格元素关联。

28.如权利要求23所述的计算机可读媒体，其特征在于，还包括定义与所述多媒体捕捉事件直接相关的脚本事件，使得所述脚本事件对所述多媒体捕捉事件进行响应。

29.如权利要求28所述的计算机可读媒体，其特征在于，所述表格元素中的所述至少一个属性包括与所述多媒体捕捉事件相关的所述脚本事件。

30.如权利要求29所述的计算机可读媒体，其特征在于，处理从所述多媒体捕捉事件捕捉的所述多媒体数据包括执行与所述脚本事件关联的指令。

31.一种用于把由电子装置捕捉的多媒体数据与表格关联的方法，包括：

提供与多媒体捕捉事件兼容的所述表格中的表格元素；

检测和识别源自所述电子装置的多媒体捕捉事件；以及

响应检测和识别所述多媒体捕捉事件，自动把在所述多媒体捕捉事件期间捕捉的多媒体数据与所述表格元素关联。

32.一种用于把由电子装置捕捉的多媒体数据与表格关联的系统，包括：

所述电子装置中的浏览器，用于接收和显示所述表格，其中，所述表格包括与多媒体捕捉事件兼容的表格元素；以及

所述浏览器中的输入处理器，用于检测和识别源自所述电子装置的多媒体捕捉事件，

其中，响应所述输入处理器检测和识别所述多媒体捕捉事件，所述浏览器自动把在所述多媒体捕捉事件期间捕捉的多媒体数据与所述表格元素关联。