CN112069865A - 用于报告对于评述物理对象的请求的方法和系统 - Google Patents

Abstract

用于报告对于评述物理对象的请求的方法和系统。提供了一种计算机实现的方法，用于从第三方源或在模板上接收请求，以生成有效载荷；经由查看器接收实况视频，并对实况视频中的对象执行识别以确定对象是否为有效载荷中的项目；根据指示对象与识别的确定结果匹配的可能性的阈值，对对象进行过滤；接收指示对项目的选择的输入；以及基于接收到的输入更新模板，并提供与对象相关联的信息以完成请求。

Description

用于报告对于评述物理对象的请求的方法和系统

技术领域

示例实现的各方面涉及与响应来自应用、远程人员或组织的对信息的请求相关联的方法、系统和用户体验，并且更具体地，将对信息的请求与实况对象识别工具相关联，以半自动地对被请求项目进行分类，并收集与被请求项目的当前状态相关联的证据。

背景技术

在相关技术中，对信息的请求可以由应用、远程人员或组织生成。响应于这种对信息的请求，相关技术方法可以涉及将与该请求相关联的物理对象的存在和/或状态进行评述(documenting)。例如，可以提供照片、视频或元数据作为证据来支持请求。

在一些相关技术场景中，由买方或由卖方为房地产经纪人生成房地产清单。在房地产清单中，买方或卖方，或者房地产经纪人必须提供与房地产的各种特征相关联的文档。例如，文档可以包括关于土地状况、位于房地产上建筑物内的家具、不动产状况和其它材料等的信息。

类似地，相关技术场景可以包括短期租金(例如，汽车、诸如住宅之类的出租屋等)。例如，出租人在租赁之前和之后可能需要收集与财产的项目相关联的证据，诸如项目的存在和状况的证据。这样的信息对于评估是否需要执行维护，是否需要更换项目，或是否需要提交保险索赔等可以是有用的。

在保险索赔的情况下，保险组织可能要求索赔方提供证据。例如，在诸如由于碰撞等引起的汽车损坏的情况下，可以要求索赔方提供与保险索赔一起提交的诸如照片或其它证据的介质。

在另一相关技术情况下，非房地产财产(诸如，在线出售的对象)的卖方可能需评述项目的各个方面，以便在在线销售网站或应用中发布。例如，汽车的卖方可能需要评述汽车各部件的状况，使得潜在的买方可以查看车身、发动机、轮胎、内饰等的照片。

在又一相关技术情况下，提供服务的实体(例如，维修诸如多功能打印机(MFP)等的打印机的实体)可能需要在提供服务之前或之后评述要被执行服务的对象的状况。例如，检查员或现场技术人员可能需要在提交工作单之前评述一个或更多个特定问题，或者验证工作单已成功完成，并且在服务前后确认对象的物理状况。

在医学领域的相关技术方法中，需要确认和盘点外科器械。在外科过程中，至关重要的是要确保在已经进行外科手术之后已成功收集并清点所有外科器具，以避免外科手术不良事件(SAE)。更具体地说，如果在外科手术治疗期间无意将物品留在患者体内，并且此后没有将其取出，则可能会发生“外科物品遗留”RSI SAE。

在医学领域的另一相关技术方法中，医学专业人士可能需要确认患者问题的正确评述。例如，医学专业人员将需要患者提供创伤、皮肤病症、肢体柔韧性状况或其它身体状况的评述。当考虑诸如通过远程医疗界面等的方式远程接待的患者时，该需求特别重要。

对于上述相关技术场景和其它场景，存在提供评述的相关技术处理。更具体地，在相关技术中，从静态列表生成完成请求所需的评述，然后向请求方提供该信息。此外，如果需要进行更新，则必须手动执行更新。

然而，这种相关技术方法具有各种问题和/或缺点。例如但不限于，从静态列表接收的信息可能会导致评述不完整或不准确。此外，由情况随时间而变化，所以静态列表可能会不经常更新(如果有的话)，或者以手动为基础更新和验证；如果静态列表的更新速度不够快，或者没有手动地执行更新和验证，则与物理对象的状况相关联的评述可以被错误地理解或可以被设想是准确、完整和最新的，并且导致与对此类评述的可靠性相关联的上述问题。

因此，在相关领域中，未满足提供实时评述的需求，该实时评述提供了物理对象的状况的最新且准确的评述，并且避免了与手动地更新和验证评述相关联的问题和缺点。

发明内容

根据示例实现的各方面，提供了一种计算机实现的方法，用于从第三方源或在模板上接收请求，以生成有效载荷(payload)；经由查看器接收实况视频，并对实况视频中的对象执行识别，以确定对象是否为有效载荷中的项目；根据指示对象与识别的确定结果匹配的可能性的阈值，对对象进行过滤；接收指示对项目的选择的输入；以及基于接收到的输入更新模板，并提供与对象相关联的信息以完成请求。

根据其它方面，对于从所述第三方外部源接收到的请求，第三方外部源包括数据库、文档以及与应用相关联的手动或自动请求中的一个或更多个。

根据附加方面，其中，针对经由模板接收的请求，解析文档以提取项目；模板分析应用编程接口(API)可以生成有效载荷。

根据其它方面，用户能够按层级布置为一个或更多个区段选择项目。

根据其它方面，查看器运行用识别器来分析查看器的帧的单独线程。

根据另外的方面，针对在与请求相关联的有效载荷中接收的项目对对象进行过滤。此外，项目中的每一个相对于已经被执行了识别的对象被令牌化和词干处理。

根据另外的方面，识别被动态地适配为基于请求来增强关于被确定为在查看器中的对象的阈值。

根据另外的方面，该信息包括描述、元数据和媒体中的至少一个。

示例性实现还可以包括具有储存器和处理器的非暂时性计算机可读介质，该处理器能够执行用于在对象检测中用实况视频来评估物理对象的状况的指令。

附图说明

专利或申请文件包含至少一张彩色附图。专利局将根据请求并支付必要费用来提供带有彩色附图的本专利或专利申请公开的副本。

图1例示了根据示例性实现的数据流的各个方面。

图2例示了根据示例性实现的系统架构的各个方面。

图3例示了根据一些示例性实现的示例性用户体验。

图4例示了根据一些示例性实现的示例性用户体验。

图5例示了根据一些示例性实现的示例性用户体验。

图6例示了根据一些示例性实现的示例性用户体验。

图7例示了根据一些示例性实现的示例性用户体验。

图8例示了根据一些示例性实现的示例性用户体验。

图9例示了一些示例性实现的示例性过程。

图10例示了具有适于在一些示例性实现中使用的示例性计算机设备的示例性计算环境。

图11示出了适于一些示例性实现的示例性环境。

具体实施方式

以下详细描述提供了本申请的附图和示例性实现的更多细节。为了清楚起见，省略了附图之间的冗余元件的附图标记和描述。整个说明书中使用的术语仅作为示例提供，并非旨在进行限制。

示例性实现的各方面涉及与以下相关联的系统和方法：将信息请求与实况(live)对象识别工具联接以半自动分类被请求项目并收集与被请求项目的当前状态相关联的证据。例如，用户通过诸如摄像机等的查看器(例如，感测设备)可以感测或扫描环境。此外，执行环境的扫描以分类和捕获与一个或更多个感兴趣对象相关联的媒体。根据本示例性实现，获取信息请求，在在线移动应用中用实况视频来检测对象，并提供对信息请求的响应。

图1例示出了与数据流图相关联的示例性实现100。针对示例性实现的阶段提供了示例性实现100的描述：(1)信息请求获取，(2)利用实况视频检测对象，以及(3)生成对信息请求的响应。尽管本文描述了前述阶段，但是可以在这些阶段之前、之间或之后采取其它动作。此外，这些阶段不需要以紧接着的序列来执行，而是可以在这些序列之间具有时间间隔地执行这些阶段。

在信息请求获取阶段，请求被提供给系统进行处理。例如，外部系统可以向在线移动应用发送信息请求，例如来自应用或其它资源的信息描述符，如在101处所示。根据一个示例性实现，可以获得包括与被请求信息相关联的文本描述的有效载荷。例如，有效载荷(例如，JSON)可以可选地包括额外的信息，诸如当前是否已选择了被请求项目、项目的类型(例如，单选框、诸如照片之类的媒体等)以及项目可以属于的组或区段的描述。

另外，如在103处所示，可以提供一个或更多个文档模板以生成信息请求。本示例性实现可以通过文档分析工具执行解析，以提取文档中的一个或更多个项目，诸如单选框。可选地，文档分析工具可以基于文档模板执行更复杂请求的提取，诸如包括照片的媒体、描述性文本等。

一旦已经获取了信息请求，如以上关于101和103所解释的，在线移动应用基于信息请求填充用户界面。例如，用户界面可以是基于视频的。用户可以从列表中进行选择以生成有效载荷，如上面参照103所解释的。在103处获得的信息可以提供给实况查看器(例如，摄像机)。与图103中的示例性方法相关联的进一步说明例示在图3中并且在下面进一步描述。

在105处，基于视频的对象识别器被启动。根据示例性实现的各个方面，一个或更多个项目可以看起来叠在实况视频显示器上，如下面参照图4进一步详细说明的(例如，可能的项目出现在右上方，与查看器中显示的实况视频重叠)。如果有效载荷包括具有不同区段的令牌(诸如，与文档模板的不同区段相关联的单选框)，则为用户提供包括区段的可选列表的显示，如图4的左下方所示。

在107，执行过滤操作。更具体地说，过滤掉低置信度的对象。在109处，当针对来自信息请求的项目执行过滤时，在视频帧中检测当前列表中的对象。例如，关于图4，对于所选的特定区段，针对当前项目列表应用过滤器。根据示例性实现，用户可以选择文档的不同区段中具有相似名称的项目，如下文进一步解释的。

由于采用了由用户操作的查看器来扫描环境中的查看器，因此采用了对象识别器，使得实况查看器运行分析帧的单独线程。根据一个示例性实现，TensorFlow Litelight框架与在ImageNet上训练的图像识别模型(例如，Inception-v3)一起使用，该图像识别模型可以包括大约1000个类别的项目。如上所述，可配置的阈值滤波器消除了系统具有低置信度的对象。

随后，针对与信息请求关联的项目对通过可配置阈值过滤器的对象进行过滤。为了使对象通过该过滤器，对每个项目进行令牌化和词干处理，随后是识别对象描述。然后，需要每个项目的至少一个令牌匹配来自所识别的对象的至少一个令牌。例如，但不限于，“咖啡过滤器”将与“咖啡”、“咖啡壶”等匹配。

如果对象通过第二过滤器，则在111处将对象的帧缓存。在113处，使对象可供用户选择，诸如通过在用户界面中突出显示该项目。可选地，缓存可以可选地包括对象的媒体，诸如高分辨率照片或其它类型的媒体。

此外，应注意，可以动态地适配对象识别器。例如，可以增强在基于信息请求的场景中所期望的对象类别的识别置信度。

在用实况视频已经检测到对象后，生成对信息请求的响应。例如，在115处，用户可以通过点击或其它手势而选择项目来选择突出显示的项目。

一旦在115处已经选择了项目，将该项目从可能项目列表移到已选项目列表。例如，如图5的序列中所示，选择了术语“洗碗机(Dishwasher)”，并且因此从潜在项目的上部项目列表中移除术语“洗碗机”，并且术语“洗碗机”被移至设置于上部项目列表下方的已选列表。

在117，将对象选择事件和媒体提供回应用。此外，在后台线程上，应用将已选项目描述和元数据以及缓存的媒体(例如，照片)转发给请求服务。例如，可以将选择提供给后端服务。

在119处，即时(on the fly)执行对应文档模板的更新。更具体地说，后端服务可以选择与单选框相对应的项目。在121处，媒体被注入到对应文档模板中，诸如注入诸如照片的已上载媒体的链接。

可选地，用户可以通过与在线移动应用的交互在任何时候取消选择项目。取消选择动作将生成取消选择事件，该取消选择事件被提供给侦听服务。

另外，在线移动应用可以包括文档编辑器和查看器。因此，用户可以确认由对象识别组件提供的更新。

图2例示了与示例性实现相关联的系统架构200。可以提供文档模板的数据库或信息库201，可以在203处为其提供文档模板分析应用编程接口(API)以获取信息请求。

此外，一个或更多个第三方应用205也可以用于获取信息请求。在一些示例性实现中，可以从与模板不相关联的一个或更多个源接收信息请求。例如，但不限于，在医疗场景中，诸如医生之类的医疗保健专业人员可能会要求患者远离医疗保健专业人员(例如，在家中或在远程医疗站中)收集医疗设备的布置的媒体。从该请求收集的数据可以被提供或注入到医疗保健专业人员的概要文档中，或注入到远程服务器上的数据库字段中，并通过一个或更多个界面组件(例如，移动消息、电子病历中的标签等)提供给医生。

根据另外的示例性实现，一些收集的信息可以不提供在最终用户界面组件中，而是可以替代地被提供或注入到算法中(例如，出于保险目的对损坏照片的请求可以直接馈送到算法中以评估覆盖率)。此外，对信息的请求也可以从模板之外的诸如来自第三方应用的手动或自动请求的源生成。

经由查看器(诸如，移动设备上的摄像机)为用户提供在线移动应用207，以执行对象检测并对信息请求进行响应。例如，上面分别参照105-113和115-121进行了描述。可以提供对象识别组件209，以执行用实况视频检测对象，如以上参照105-113所述的。此外，可以提供文档编辑器和查看器211，以如上参照至115–121所述地对信息请求进行响应。

尽管参照数据流100的示例性实现描述了前述系统架构200，但是本示例性实现不限于此，并且在不脱离发明范围的情况下可以采用进一步的修改。例如，但是不限于，并行执行的操作序列可以替代地串行执行，反之亦然。此外，在在线移动应用的客户端处执行的应用也可以远程地执行，反之亦然。

附加地，示例性实现包括涉及对象的误识别的处置的方面。例如，但不限于，如果用户指示查看器(诸如移动电话上的摄像机)，但是对象识别器不能识别对象本身，则可以向用户提供交互式支持。例如，但不限于，交互式支持可以向用户提供仍然捕获信息的选项，或者可以指导用户提供与对象相关联的附加视觉证据。可选地，对象识别器模型可以使用新捕获的数据来执行模型的改进。

例如，但不限于，如果对象的外观已改变，则对象识别器可能无法成功地识别对象。另一方面，需要用户能够从列表中选择对象并提供视觉证据。一种示例情况是在汽车车身的情况下，其中对象最初具有光滑的形状，诸如挡泥板，后来涉及碰撞等，挡泥板被损坏或变形，使得不能被对象识别器识别。

如果用户将查看器定位在诸如汽车挡泥板之类的期望对象上，并且对象识别器无法正确识别对象，或者甚至根本不能识别对象，则可以向用户提供选项以手动干预。更具体地，用户可以在列表中选择项目的名称，从而使得捕获帧、高分辨率图像或帧序列。然后可以提示用户确认所选类型的对象是否可见。可选地，用户可以被建议或要求用户提供来自其它方面或视角的附加证据。

此外，提供的帧和对象名称可以用作新的训练数据，以改善对象识别模型。可选地，可以为用户执行验证以确认新数据与对象相关联，可以在修改模型之前执行这种验证。在一种示例性情况下，对象可以在一些帧中而不是在所有帧中是可识别的。

根据附加的示例性实现，可以针对目标域生成其它的图像识别模型。例如，但不限于，可以为诸如再训练或迁移学习之类的领域生成图像识别模型。此外，根据其它示例性实现，可以添加在链接文档模板中未明确出现的对象。例如，但不限于，对象识别器可以生成输出，该输出包括与来自文档的更高级别的区段或类别匹配的检测到的对象。

此外，尽管前述示例性实现可以采用加载或提取的信息描述符，但是其它方面可以涉及使用前述技术来构建被请求信息的列表。例如，但不限于，可以向教程视频提供指示，其中使用实况视频和对象检测来收集所需工具的列表。

根据一些附加的示例性实现，除了允许用户使用模板的层级结构之外，还可以提供其它选项。例如，可以为用户提供设置或选项，以修改现有层级结构或建立全新的层级结构，来进行文档分析。

图3例示了根据本示例性实现的与用户体验相关联的方面300。这些示例性实现包括但不限于在参照图1和图2的上述方面的实现中向在线移动应用提供显示。

具体地，在301处，显示文档的当前状态的输出。该文档是从305处提供给用户的文档列表生成的。与这些请求相关联的信息可以经由在线应用或聊天机器人通过逐步指示的向导或其它系列引导用户完成清单、保险索赔或其它要求来获得。

在301处示出的方面例示了模板，在这种情况下，模板涉及出租清单。模板可以包括可能存在于诸如出租之类的清单中并且需要评述的项目。例如，如在301中所示，与照片图像一起示出了财产的图像，然后是出租财产的各种房间的清单。例如，针对厨房，厨房的项目被单独列出。

如上面参照图1的101-103所述，文档模板可以提供各种项目，并且可以提取有效载荷，如303所示。在305中，示出了多个文档，其中第一个是301中所示的输出。

图4例示了根据本示例性实现的与用户体验相关联的附加方面400。例如，但不限于，在401处，示出了用户的应用中的文档列表。用户可以选择应用中的一个，在这种情况下为第一个列出的应用，以生成可在文档中进行分类的所有项目的输出，如403所示，包括该文档中列出的、尚未选择的所有项目。如403的左下部分所示，示出了多个区段供选择。

对于在407处从界面底部的滚动列表中选择区段(诸如“厨房”)的情况，向用户提供输出407。更具体地，提供了在所选区段中存在的未选项目的清单，在这种情况下存在于厨房中的项目。

图5例示出了根据本示例性实现的与用户体验相关联的附加方面500。例如，但不限于，在501处，用户已经将查看器或摄像机聚焦到厨房中他或她所位于的部分。对象识别器使用以上说明的操作来检测项目。对象识别器向用户提供检测到的项目(在这种情况下为“洗碗机”)的突出显示，如503中突出显示的文本所示。

一旦用户通过点击、手势等选择了突出显示的项目，如505所示，则显示如507所示的输出。更具体地，标记在与查看器相关联的实况视频中的洗碗机，并且厨房中的术语“洗碗机”显示在507的右上方。

因此，通过如505所示地选择项目，关联文档被更新。更具体地，如在509中所示，如列表中所示的术语“洗碗机”与包括诸如照片等的媒体的其它信息相链接。

此外，如在511中所示，当用户选择了已链接术语时，如在513中所示，显示了与已链接术语相关联的项目的图像，在这种情况下是洗碗机。在此示例性实现中，实况视频用于提供实况对象识别，以及对项目的半自动分类。

图6例示了根据本示例性实现的与用户体验相关联的附加方面600。在该示例性实现中，已经进行了如以上所讨论的选择，并且洗碗机的项目已经添加到厨房项目中。

在601处，用户将诸如移动电话的摄像机之类的图像捕获设备的焦点移动到咖啡机的方向上。对象识别器提供的指示是图像焦点中的对象被表征为或识别为咖啡机。

在603处，用户通过点击或打手势或与在线应用交互的其它方式来选择咖啡机。在605处，咖啡机被添加关于厨房区段的界面右下角的项目列表中，并从右上角的未选项目列表中移除咖啡机。

因此，如前述公开中所示，除了已经选择的第一项目之外，在移动查看器的焦点时，用户可以使用对象识别器来识别并选择另一对象。

图7例示了根据本示例性实现的与用户体验相关联的附加方面700。在该示例性实现中，已经进行了如上所讨论的选择，并且咖啡机的项目已被添加到所选厨房项目的列表中。

在701处，用户将查看器的焦点移动至厨房中的冰箱的方向上。但是，在冰箱旁边还有微波炉。对象识别器提供的指示是实况视频中有两个未选项目(即，冰箱和微波炉)，如在701处的未选项目列表中突出显示的。

在703处，用户通过点击、用户手势或与在线应用的其它交互来选择冰箱。因此，在705处，从未选项目列表中移除冰箱，并冰箱被添加到关于厨房区段的已选项目列表中。此外，在707处，更新相关联文档以示出到冰箱、洗碗机和脸盆的链接。

根据示例性实现，对象识别器可以向用户提供实况视频中的多个对象的选择，从而用户可以选择一个或更多个对象。

图8例示了根据本示例性实现的与用户体验相关联的附加方面800。如在801处所示，用户可以从文档列表中选择一个文档。在此示例性实现中，用户选择他或她正在出售的汽车。文档示出于803处，该文档包括媒体(例如，照片)、描述和可以与该对象相关联的项目的列表。

在805处，示出了与对象识别器相关联的界面。更具体地说，实况视频聚焦在车辆的一部分(即，车轮)上。对象识别器提供的指示是，从文档中的项目来看，实况视频中的项目可以是乘客侧或驾驶员侧上的前车轮或后车轮。

在807处，用户诸如通过单击手势或与在线移动应用的其它交互从用户界面中选择前驾驶员侧车轮。因此，在809处，从文档中的未选择项目列表中删除驾驶员侧前车轮，并驾驶员侧前车轮被添加到右下角的已选择项目列表中。在811处，文档被更新以示出驾驶员侧前车轮被链接，并且一旦选择了该链接，在813处，诸如向潜在买方示出驾驶员侧前车轮的图像。

图9例示了根据示例性实现的示例性过程900。如本文中所说明的，可以在一个或更多个设备上执行示例性过程900。

在901处，接收信息请求(例如，在在线移动应用处)。更具体地，可以从第三方外部源或经由文档模板接收信息请求。如果经由文档模板接收到信息请求，则可以解析文档以提取项目(例如，单选框)。例如，可以经由文档模板分析API接收该信息，作为有效载荷。

在903处，执行实况视频对象识别。例如，有效载荷可以提供给实况查看器，并且可以向用户提供从项目列表中选择项目的机会。可以提供一个或更多个层级结构，使得用户可以为一个或更多个区段选择项目。附加地，实况查看器运行用对象识别器分析帧的单独线程。

在905处，随着对象被识别，对每个对象进行过滤。更具体地，针对指示实况视频中的对象与对象识别器的结果相匹配的可能性的置信度阈值对对象进行过滤。

在907处，对于在应用了过滤器之后剩余的对象，向用户提供选择选项。例如，可以在用户界面上的列表中向用户提供过滤后的剩余对象。

在909处，在线移动应用的用户界面接收输入，该输入指示对项目的选择。例如，用户可以点击、打手势或以其它方式与在线移动应用交互，以从列表中选择项目。

在911处，基于接收到的用户输入来更新文档模板。例如，可以从未选项目列表中移除该项目，并将该项目添加到已选项目列表中。此外，在单独线程上，在913处，应用例如向请求服务提供已选项目描述和元数据以及所缓存的照片。

在前述示例性实现中，在与用户相关联的在线移动应用处执行操作。例如，客户端设备可以包括接收实况视频的查看器。然而，示例性实现不限于此，并且在不脱离发明范围的情况下可以用其它方法代替。例如，但不限于，其它示例性方法可以从客户端设备远程地(例如，在服务器处)执行操作。其它示例性实现可以使用远离用户的查看器(例如，接近对象的传感器或安全摄像机，并且能够在没有用户物理存在的情况下进行操作)。

图10例示了具有适于在一些示例性实现中使用的示例性计算机设备1005的示例性计算环境1000。计算环境1000中的计算设备1005可以包括一个或更多个处理单元、处理核心或处理器1010、存储器1015(例如，RAM、ROM等)、内部储存器1020(例如，磁储存器、光储存器、固态储存器、和/或有机的)、和/或I/O接口1025，它们中的任何一个可以联接在用于通信信息的通信机制或总线1030上或嵌入在计算设备1005中。

计算设备1005可以可通信地联接到输入/接口1035和输出设备/接口1040。输入/接口1035和输出设备/接口1040之一或两者可以是有线接口或无线接口，并且可以是可拆卸的。输入/接口1035可包括可以用于提供输入的任何设备、组件、传感器或物理或虚拟接口(例如，按钮、触摸屏界面、键盘、定点/光标控件、麦克风、相机、盲文、运动传感器、光学阅读器等)。

输出设备/接口1040可以包括显示器、电视、监视器、打印机、扬声器、盲文等。在一些示例性实现中，输入/接口1035(例如，用户界面)和输出设备/接口1040可以被嵌入或物理联接至计算设备1005。在其它示例性实现中，其它计算设备可以起到计算设备1005的输入/接口1035和输出设备/接口1040的功能或提供计算设备1005的输入/接口1035和输出设备/接口1040的功能。

计算设备1005的示例可以包括但不限于超移动设备(例如，智能电话、车辆和其它机器中的设备、人类和动物携带的设备等)、移动设备(例如，平板电脑、笔记本电脑、膝上型计算机、个人计算机、便携式电视、收音机等)以及未设计有移动性的设备(例如，台式计算机、服务器设备、其它计算机、信息亭、具有嵌入其内和/或联接至其的一个或更多个处理器的电视、收音机等)。

计算设备1005可以在通信上联接(例如，经由I/O接口1025)到外部储存器1045和网络1050，用于与任何数量的包括相同或不同配置的一个或更多个计算设备的联网组件、设备和系统进行通信。计算设备1005或任何连接的计算设备可以起到服务器、客户端、瘦服务器、通用机器、专用机器或另一标签的作用，提供服务器、客户端、瘦服务器、通用机器、专用机器或另一标签的服务，或者被称为服务器、客户端、瘦服务器、通用机器、专用机器或另一标签。例如，但不限于，网络1050可以包括区块链网络和/或云。

I/O接口1025可以包括但不限于使用任何通信或I/O协议或标准(例如，以太网、802.11xs、通用系统总线、WiMAX、调制解调器、蜂窝网络协议等)的有线和/或无线接口，用于至少向和/或从计算环境1000中的所有已连接组件、设备和网络通信信息。网络1050可以是任何网络或网络组合(例如，互联网、局域网、广域网、电话网络、蜂窝网络、卫星网络等)。

计算设备1005可以使用计算机可用介质或计算机可读介质(包括暂时性介质和非暂时性介质)来使用和/或通信。暂时性介质包括传输介质(例如，金属电缆、光纤)、信号、载波等。非临时性介质包括磁介质(例如，磁盘和磁带)、光介质(例如，CD ROM、数字视频磁盘，蓝光盘)、固态介质(例如RAM、ROM、闪存、固态储存器)以及其它非易失性储存器或存储器。

计算设备1005可以用于在一些示例性计算环境中实现技术、方法、应用、过程或计算机可执行指令。可以从暂时性介质中取回计算机可执行指令，并将其存储在非暂时性介质中并从中检索计算机可执行指令。可执行指令可以源自任何一种编程语言、脚本语言和机器语言(例如，C、C++、C#、Java、Visual Basic、Python、Perl、JavaScript等)中的一种或更多种。

处理器1010可以在原生或虚拟环境中在任何操作系统(OS)(未示出)下运行。可以部署一个或更多个应用，包括逻辑单元1055、应用编程接口(API)单元1060、输入单元1065、输出单元1070、信息请求获取单元1075、对象检测单元1080、信息请求响应单元1085和单元间通信机构1095，用于使不同单元彼此通信、与OS通信以及与其它应用(未示出)通信。

例如，信息请求获取单元1075、对象检测单元1080和信息请求响应单元1085可以实现参照上述结构以上示出的一个或更多个处理。所描述的单元和元件可以在设计、功能、配置或实现上变化，并且不限于所提供的描述。

在一些示例性实现中，当由API单元1060接收到信息或执行指令时，信息或执行指令可以被通信给一个或更多个其它单元(例如，逻辑单元1055、输入单元1065、信息请求获取单元1075、对象检测单元1080、和信息请求响应单元1085)。

例如，信息请求获取单元1075可以从第三方资源和/或文档模板接收并处理信息，包括从文档模板提取信息描述符。信息请求获取单元1075的输出可以提供有效载荷，该有效载荷被提供给对象检测单元1080，对象检测单元1080通过针对文档中包括信息应用对象识别器以输出实况视频中项目的标识，来用实况视频检测对象。附加地，信息请求响应单元1085可以基于从信息请求获取单元1075和对象检测单元1080获得的信息提供响应于请求的信息。

在一些情况中，逻辑单元1055可以被配置为控制单元之间的信息流，并指导由上述一些示例性实现中的API单元1060、输入单元1065、信息请求获取单元1075、对象检测单元1080以及信息请求响应单元1085提供的服务。例如，一个或更多个处理或实现的流程可以由逻辑单元1055单独控制或与API单元860结合来控制。

图11示出了适于一些示例性实现的示例环境。环境1100包括设备1105-1145，并且每个设备经由例如网络1160(例如，通过有线连接和/或无线连接)可通信地连接到至少一个其它设备。一些设备可以可通信地连接到一个或更多个储存设备1130和1145。

一个或更多个设备1105-1145的示例可以分别是图10中描述的计算设备1005。设备1105-1145可以包括但不限于如以上说明的具有监视器和相关网络摄像头的计算机1105(例如，膝上型计算设备)、移动设备1110(例如，智能手机或平板电脑)、电视1115、与车辆1120相关的设备、服务器计算机1125、计算设备1135-1140、储存设备1130和1145。

在一些实现中，设备1105-1120可以被认为是与用户相关联的用户设备，该用户可以远程获得要用于对象检测和识别的实况视频，并向用户提供用于编辑和查看文档的设置和界面。设备1125-1145可以是与服务提供商相关联的设备(例如，用于存储和处理与文档模板、第三方应用等相关联的信息)。在本示例性实现中，这些用户设备中的一个或更多个可以与包括能够感测实况视频的一个或更多个摄像机(诸如感测用户的实时运动的摄像机)的查看器相关联并且向系统提供实时实况视频馈送，以进行对象检测和识别以及信息请求处理，如以上所说明的。

示例性实现的这些方面可以具有各种优点和益处。例如，但不限于，与相关技术相比，本示例性实现集成了项目的实况对象识别和半自动分类。因此，与其它相关技术方法相比，示例性实现可以提供捕获对象的更大可能性。

例如，对于房地产清单，使用前述示例性实现，买方或卖方、或房地产经纪人可以能够提供来自与房地产的各种特征相关联的实况视频馈送的评述，并允许用户(例如，买方、卖方或经纪人)对被请求项目进行半自动分类，并收集与他们当前物理状态相关的证据。例如，来自实况视频馈送的评述可以包括关于土地状况、位于房地产上建筑物内的家具、不动产状况和其它材料等的信息。

类似地，对于短期租赁(例如，房屋、汽车等)，出租人使用上述示例性实现可以能够在出租之前和之后使用实况视频馈送来收集与财产的项目相关联的证据，诸如项目的存在和状况的证据。这样的信息对于准确地评估是否需要执行维护，是否需要更换项目，或是否需要提交保险索赔等可以是有用的。此外，对项目进行半自动分类的能力可以允许保险人和被保险人更精确地识别和评估项目的状况。

此外，在保险索赔的情况下，使用前述示例性实现，保险组织可以能够基于实况视频从索赔方获得证据。例如，在诸如由于碰撞或等引起的汽车损坏的情况下，索赔方可以能够提供与保险索赔一起提交的并且基于实况视频馈送的诸如照片或其它证据的媒体；用户和保险人可以对项目进行半自动分类，以更精确地定义索赔。

在前述示例性实现的另一种使用中，非房地产财产(诸如，在线出售的对象)的卖方可以能够使用在线应用来应用实况视频来评述对象的各个方面，以便在在线销售网站或应用上发布。例如，并且如上所示，汽车的卖方使用实况视频来评述汽车各个部件的状况，使得潜在的买方可以基于半自动分类的项目列表看到诸如车身、发动机、轮胎、内饰等的照片。

在示例性实现的又一应用中，提供服务的实体可以使用实况视频在提供服务之前和之后评述要被执行服务的对象的状况。例如，维修打印机(例如MFP)的检查员或现场技术人员可能需要在提交工作单之前评述一个或更多个特定问题，或者验证工作单已成功完成，并可以实现半自动分类特征以更有效地完成服务。

在医学领域的示例性实现中，可以使用实况视频确认和盘点外科器械，从而确保在已经进行外科手术后已成功地收集并清点了所有外科器具，从而避免了诸如RSISAE之类的SAE。考虑到外科工具的数量和复杂性，半自动分类特征可以允许医疗专业人员更准确且更高效地避免此类事件。

在医学领域的另一示例性实现中，医学专业人员可以能够使用指示当前状况的实况视频来确认患者问题的适当评述，诸如伤口、皮肤病症、肢体柔韧性状况或其它身体状况的评述，并且因此更精确地实施治疗，尤其是在考虑诸如通过远程医疗界面等方式远程接待的患者时。半自动分类能够实现为允许医疗专业人员和患者专注于具体的患者问题，并且可以针对患者的实时状况如此做。

尽管已经示出和描述了一些示例性实现，但是提供这些示例性实现是为了将本文描述的主题传达给熟悉该领域的人们。应该理解的是，本文描述的主题可以以各种形式实现而不限于所描述的示例性实现。可以在没有那些具体定义或描述的主题的情况下，或者在具有未描述的其它或不同元素或主题的情况下实践本文描述的主题。熟悉本领域的人员将理解，可以在不脱离如所附权利要求及其等同物所定义的本文所述的主题的情况下，在这些示例性实现中进行变型。

Claims (20)

1.一种计算机实现的方法，该计算机实现的方法包括以下步骤：

从第三方源或在模板上接收请求以生成有效载荷；

经由查看器接收实况视频，并对所述实况视频中的对象执行识别以确定所述对象是否为所述有效载荷中的项目；

根据指示所述对象与所述识别的确定结果匹配的可能性的阈值，对所述对象进行过滤；

接收指示对所述项目的选择的输入；以及

基于接收到的输入来更新所述模板，并提供与所述对象相关联的信息以完成所述请求。

2.根据权利要求1所述的计算机实现的方法，其中，对于从第三方外部源接收到的请求，所述第三方外部源包括数据库、文档以及与应用相关联的手动或自动请求中的一个或更多个。

3.根据权利要求1所述的计算机实现的方法，该计算机实现的方法还包括以下步骤：针对经由所述模板接收的所述请求，解析文档以提取所述项目。

4.根据权利要求3所述的计算机实现的方法，该计算机实现的方法还包括以下步骤：提供模板分析应用编程接口API以生成所述有效载荷。

5.根据权利要求1所述的计算机实现的方法，其中，用户能够针对层级布置中的一个或更多个区段来选择项目。

6.根据权利要求1所述的计算机实现的方法，其中，所述查看器运行用识别器来分析所述查看器的帧的单独线程。

7.根据权利要求1所述的计算机实现的方法，该计算机实现的方法还包括以下步骤：针对在与所述请求相关联的所述有效载荷中接收的项目对所述对象进行过滤。

8.根据权利要求7所述的计算机实现的方法，其中，每个所述项目相对于已经被执行了所述识别的对象被令牌化和词干处理。

9.根据权利要求1所述的计算机实现的方法，其中，所述识别被动态地适配为基于所述请求来增强关于被确定为在所述查看器中的所述对象的阈值。

10.根据权利要求1所述的计算机实现的方法，其中，所述信息包括描述、元数据和媒体中的至少一种。

11.一种具有存储指令的储存器的非暂时性计算机可读介质，所述指令由处理器执行，所述指令包括：

从第三方源或在模板上接收请求以生成有效载荷；

经由查看器接收实况视频，并对所述实况视频中的对象执行识别以确定所述对象是否为所述有效载荷中的项目；

根据指示所述对象与所述识别的确定结果匹配的可能性的阈值，对所述对象进行过滤；

接收指示对所述项目的选择的输入；以及

基于接收到的输入来更新所述模板，并提供与所述对象相关联的信息以完成所述请求。

12.根据权利要求11所述的非暂时性计算机可读介质，其中，用户能够针对一个或更多个区段选择项目。

13.根据权利要求11所述的非暂时性计算机可读介质，其中，所述查看器运行用识别器来分析所述查看器的帧的单独线程。

14.根据权利要求11所述的非暂时性计算机可读介质，所述指令还包括：针对在与所述请求相关联的所述有效载荷中接收的项目对所述对象进行过滤，其中，所述项目中的每一个相对于已经被执行了所述识别的对象被令牌化和词干处理。

15.根据权利要求11所述的非暂时性计算机可读介质，其中，所述识别被动态地适配为基于所述请求来增强关于被确定为在所述查看器中的所述对象的所述阈值。

16.根据权利要求11所述的非暂时性计算机可读介质，其中，所述信息包括描述、元数据和媒体中的至少一种。

17.一种能够处理请求的处理器，该处理器被配置为执行以下操作：

在模板上接收所述请求以生成有效载荷；

经由查看器接收实况视频，并对所述实况视频中的对象执行识别以确定所述对象是否为所述有效载荷中的项目；

根据指示所述对象与所述识别的确定结果匹配的可能性的阈值，对所述对象进行过滤；

接收指示用户对所述项目的选择的输入；以及

基于接收到的输入来更新所述模板，并提供与所述对象相关联的信息以完成所述请求。

18.根据权利要求17所述的处理器，该处理器还包括查看器，该查看器运行用识别器来分析所述查看器的帧的单独线程。

19.根据权利要求17所述的处理器，其中，执行识别的操作还包括：针对在与所述请求相关联的所述有效载荷中接收的项目对所述对象进行过滤，其中，每个所述项目相对于已经被执行了所述识别的对象被令牌化和词干处理。

20.根据权利要求17所述的处理器，其中，所述执行识别被动态地适配为基于所述请求来增强关于被确定为在所述查看器中的所述对象的所述阈值。

Images