CN110023043B - 通过认知系统增强对机器人假体的控制 - Google Patents

Abstract

本发明的实施例提供一个或多个处理器接收用户选择的对象的图像数据，并基于对图像数据的图像分析来确定所选对象的图像属性。一个或多个处理器确定所选对象的图像属性是否与知识库的已识别对象匹配，其中已识别对象包括与该已识别对象相对应的图像属性和操纵数据，并且响应于确定假体设备的用户选择的对象匹配知识库的已识别对象，一个或多个处理器将对应于与用户选择的对象匹配的已识别对象的操作数据发送到通信地连接到假体设备的移动控制设备，其中移动控制设备将对应于已识别对象的操作数据应用到假体设备。

Description

通过认知系统增强对机器人假体的控制

技术领域

本发明一般涉及假体控制领域，更具体地涉及通过认知系统对假体控制的应用的概率。

背景技术

假体设备(也称为假体)用于替换缺失的身体部位，或增强不起作用的身体部位。各种假体设备已经使用了很长时间，并且通过应用于假体的技术的进步，由于创伤或疾病失去肢体使用的人，或者从出生时缺乏身体附肢功能的人，已经能够从技术辅助假体中恢复一定程度的功能。

一些现代假体利用机电功能，并且在某些情况下利用生物机械控制，以帮助用户执行基本功能。技术辅助假体通常缺乏其生物对应物通过重复使用和学习实现的精细运动控制、准确性和相互作用的速度。

发明内容

根据第一方面，提供了一种方法，包括：一个或多个处理器，接收包括对象的图像数据的输入；一个或多个处理器，基于对对象的图像数据执行图像分析，确定对象的图像属性；一个或多个处理器，确定对象的图像属性是否与知识库的已识别对象匹配，该知识库包括多个已识别对象和分别对应于多个已识别对象的操作数据；响应于确定对象的图像属性与知识库中的已识别对象匹配，一个或多个处理器将对应于该知识库的已识别对象的操作数据发送到移动控制设备。

根据第二方面，提供了一种方法，包括：一个或多个处理器，接收由假体设备的用户所选的对象的图像数据；一个或多个处理器，基于对该图像数据执行图像分析，确定所选的对象的图像属性；一个或多个处理器确定所选的对象的图像属性是否与包括多个已识别对象的知识库中的已识别对象匹配，其中知识库中的多个已识别对象中的已识别对象包括对应于该已识别对象的图像属性和操作数据；响应于确定所选对象的图像属性与知识库的已识别对象匹配，一个或多个处理器将与所选对象匹配的已识别对象的图像属性数据对应的操作数据发送到通信地连接到假体设备的移动控制设备，其中所述移动控制装置将与已识别对象对应的操作数据应用到假体设备。

根据第三方面，提供了一种计算机程序，包括当所述程序在计算机上运行时适于执行第一或第二方面的方法的程序代码装置。

根据第四方面，提供了一种计算机程序产品，包括：一个或多个计算机可读存储介质，其具有与其一起实现的程序指令，这里程序指令可由计算机处理器执行，该程序指令包括：用于接收由假体设备的用户选择的对象的图像数据的程序指令；用于基于对图像数据执行图像分析来确定所选对象的图像属性的程序指令；用于确定所选对象的图像属性是否与包括多个已识别对象的知识库中的已识别对象匹配的程序指令，其中知识库中的多个已识别对象中的已识别对象包括对应于该已识别对象的图像属性和操作数据；响应于确定所选对象的图像属性与知识库中的已识别对象相匹配，将对应于与所选对象的图像属性数据匹配的已识别对象的操作数据发送到移动控制设备的程序指令，该移动控制设备通信连接到假体装置，其中该移动控制设备将对应于该已识别对象的操作数据应用到该假体设备。

根据第五方面，提供了一种系统，包括：一个或多个计算机处理器；一个或多个计算机可读存储介质；存储在一个或多个计算机可读存储介质上用于由一个或多个处理器中的至少一个执行的程序指令，该程序指令包括：用于接收包括对象的图像数据的输入的程序指令；用于基于对该对象的图像数据执行图像分析来确定该对象的图像属性的程序指令；用于确定该对象的图像属性是否与知识库中的已识别对象匹配的程序指令，该知识库包括多个已识别对象和分别对应于多个已识别对象的操作数据；响应于确定该对象的图像属性与知识库中的已识别对象匹配，以及将与知识库中的已识别对象相对应的操作数据发送到移动控制设备的程序指令。

根据第六方面，提供了一种计算机系统，包括：一个或多个计算机处理器；一个或多个计算机可读存储介质；存储在一个或多个计算机可读存储介质上用于由一个或多个处理器中的至少一个执行的程序指令，程序指令包括：用于接收由假体设备的用户选择的对象的图像数据的程序指令；用于基于对图像数据执行图像分析来确定所选对象的图像属性的程序指令；用于确定所选对象的图像属性是否与包括多个已识别对象的知识库中的已识别对象匹配的程序指令，其中知识库中的多个已识别对象中的已识别对象包括对应于该已识别对象的图像属性和操作数据；响应于确定所选对象的图像属性与知识库中的已识别对象相匹配，将对应于与用户所选对象匹配的已识别对象的操作数据发送到移动控制设备的程序指令，该移动控制设备通信连接到假体设备，其中该移动控制设备将对应于该已识别对象的操作数据应用到该假体设备。

本发明的实施例公开了一种方法、计算机程序产品和系统，其提供一个或多个处理器以接收由用户选择的对象的图像数据。一个或多个处理器基于对图像数据执行图像分析来确定所选对象的图像属性。一个或多个处理器确定所选对象的图像属性是否与包括多个已识别对象的知识库中的已识别对象匹配，其中知识库中的多个已识别对象中的已识别对象包括对应于该已识别对象的图像属性和操纵数据，并且响应于确定由假体设备的用户选择的对象与知识库中的已识别对象匹配，一个或多个处理器将对应于与用户选择的对象匹配的已识别对象的操作数据发送到通信地连接到假体设备的移动控制设备，其中移动控制设备将对应于该已识别对象的操作数据施加到假体设备。

附图说明

现在将仅通过示例并参考以下附图来描述本发明的实施例：

图1是说明根据本发明的实施例的分布式数据处理环境的功能框图；

图2示出了根据本发明实施例的对象数据程序的操作步骤；

图3示出了根据本发明实施例的操作程序的操作步骤；

图4描绘了根据本发明实施例的系统的组件的框图，该系统包括能够操作地执行对象数据程序和操作程序，以及提供对对象操作数据的访问的计算设备。

具体实施方式

本发明的实施例认识到利用假体设备来抓取和操作对象可能需要繁琐的调整和试验以获得成功利用该对象的一组功能参数。对象可能需要一定量的压力、纹理敏感度和提升力来适当地抓住和操作该对象。在一些情况下，该组参数被认为是对象操作模式的属性，例如抓取对象，可以改变以便进一步操作该对象。用户抓取的各种对象可以各自具有一组特定的操作参数，其中参数集变化很大。假体设备的使用者可能难以进行使用假体设备中精细马达控制、精确度和速度所需的判断和调整。

在本发明的一些实施例中，机器人假体设备的使用通过与远程认知系统的移动连接而得到增强，该远程认知系统提供操作智能，改善对对象的操作，包括对象操作的增加的精细马达控制、抓握灵敏度、准确度和速度。认知系统执行图像分析以识别相机图像内的对象，并且包括基于图像分析来搜索多个定义的对象的知识库以确定特定对象的匹配的能力。本发明的实施例利用知识库，该知识库包括用于通过假体设备操作对应于图像分析的对象的数据。眼睛焦点、面部表情、身体运动、生物测定学和局部传感器触觉反馈用于确定假体设备的用户所期望的对象和任务。认知系统确定在将对象图像与知识库中的定义对象匹配时是否超过置信度阈值，并通过将对应于已识别对象的操作数据发送到控制假体设备的移动设备来响应超过阈值。

在本发明的一些实施例中，假体设备的操作数据提供增强的辅助，用于操作识别的对象和用户的任务。在未在知识库中识别出对象或者未识别用户任务的实施例中，机器人假体设备由另一个源操作；然而，来自其他源的操作的图像和操作数据被应用于机器学习技术，以增强和/或改进知识库内的对象识别数据和操作数据，并实现随后的增强操作辅助。

本发明的一些实施例包括假体的移动控制设备本地的个性化知识库，其包含针对特定假体设备及其用户而被细化的对象的操作数据。个性化知识库中包括的操作数据通过对从随时间的对象的多次迭代接收的数据执行的机器学习来细化。在本发明的一些实施例中，操作数据被连续地接收并发送到认知系统，用于与特定对象相关联的连续的机器学习和操作数据的细化。

本发明的一些实施例可以涉及一种操作设备，该操作设备可以不直接用作假肢设备，而是能够从包括多个已识别对象和对应的操作数据的存储库或知识库接收和应用所选对象的传输的操作数据，之前针对多个已识别的对象中的各个已识别对象生成该操作数据。

现在将参考附图详细描述本发明。图1是示出根据本发明实施例的通常标记为100的分布式数据处理环境的功能框图。图1仅提供了一种实现的说明，并未暗示关于可以实现不同实施例的环境的任何限制。在不脱离权利要求所述的本发明的范围的情况下，本领域技术人员可以对所描绘的环境进行许多修改。

分布式数据处理环境100包括无线连接130、移动控制设备140、机器人支持设备160、相机170、增强现实(AR)眼镜180、AR眼镜收发器185、AR眼镜相机187、机器人假体设备190和服务器101，其进一步包括认知系统105。在一些实施例中，认知系统105被描绘为远程操作移动控制设备140，并且包括主知识库110、个性化知识库120、对象数据程序200和操作程序300。在本发明的实施例中，移动控制设备140无线连接到无线连接130，并且在本发明的一些实施例中，无线连接到机器人假体设备190，并且在其他实施例中，无线连接到机器人支持设备160。在本发明的实施例中，个性化知识库120包括在移动控制设备140中。认知系统105、主知识库110、个性化知识库120、无线连接130、相机170和AR眼镜收发器185都通过网络150互连。

网络150可以是，例如，局域网(LAN)、电信网络、广域网(WAN)(例如因特网)、虚拟局域网(VLAN)、集成设备的总线连接、或任何可包括有线、无线或光学连接的组合。网络150可以包括一个或多个有线和/或无线网络，例如到无线连接130的连接，其能够接收和发送数据、文本、语音、图像、程序指令和/或视频信号，包括包括文本、语音、数据和视频信息的多媒体信号。通常，网络150可以是将支持服务器101上托管的认知系统105、AR眼镜收发器185、无线连接130、移动控制设备140和相机170之间的通信的连接和协议的任何组合。

无线连接130提供移动控制设备140和AR眼镜收发器185、相机170之间以及经由网络150到认知系统105的通信。正确配置的无线连接130可以提供无线连接，例如，通过

Wi-Fi，无线电，

或红外技术(ZigBee是ZigBee联盟在美国和全球其他国家的注册商标；BLUETOOTH是Bluetooth Special Interest Group(SIG),Inc.在美国和全球其他国家的商标)。在一些实施例中，无线连接130可以使用

技术(WiMAX是WiMAX论坛在美国和全球其他国家的注册商标)、或者包括配置以利用3G、4G、或这种无线网络技术的未来扩展来将移动控制设备140连接到机器人假肢设备190、机器人支持设备160，或来自AR眼镜收发器185和相机170的信号和传感器输入。

移动控制设备140从认知系统105接收操作数据，从个性化知识库(KB)120或主知识库(KB)110检索，并且执行与其无线连接的假体设备(例如机器人假体设备190)的操作马达控制。移动控制设备140连接到无线连接130，经由网络150与认知系统105通信。在本发明的一些实施例中，移动控制设备140位于机器人假体设备(例如机器人假体设备190)的用户附近。在一些实施例中，移动控制设备140可以附接到用户或由用户佩戴。移动控制设备140包括处理指向马达和其他电子部件的指令以实现假体设备的移动和操作的计算能力。在本发明的一些实施例中，移动控制设备140是配置有存储器和处理能力的智能电话，以从认知系统105接收操作数据并无线地操作马达和电子部件，从而实现机器人假体设备190的精确感觉输入和移动。在其他实施例中，移动控制设备140被专门构造用于无线地接收假体控制操作数据并将数据转换成针对假体设备的操作部件的特定指令。在本发明的一些实施例中，移动控制装置140共享对假体设备(例如机器人假体设备190)的控制，基于从认知系统105的知识库接收的特定对象的操作数据和感官反馈，提供精确的马达控制和精确的触觉压力和升力。在一些实施例中，手动启动的假体设备的控制保持可操作并且可以在假体的使用者认为合适的情况下中断或超控移动控制设备140。

机器人支持设备160被描绘为支撑缺乏运动功能、力量或控制以执行正常活动的人体臂。在本发明的一些实施例中，机器人支持设备160是一种假体设备，其包括能够辅助支持的臂的运动的部件。在这样的实施例中，由移动控制设备140无线地控制机器人支持设备160。

相机170位于机器人假体设备(例如机器人假体设备190)的使用者附近。在本发明的一些实施例中，相机170在使用者和假体的外部，并且包括用户的直接区域的视图，包括视图内的用户和对象。相机170可操作地耦合到认知系统105，并产生图像并经由网络150将图像发送到认知系统105，认知系统105从该图像对图像执行分析以确定图像内的对象。认知系统105利用对象的属性来搜索知识库以进行匹配；确定所分析的对象图像与知识库内的对象的存储属性之间的匹配的置信度的百分比。在本发明的一些实施例中，相机170可以是一个或一组视频相机，从中可以将一个或多个图像发送到认知系统105以进行分析。在本发明的一些实施例中，相机170包括用户的面部表情和其他身体和附肢位置以及用户的假体的视图。当用户将他们的眼睛焦点引导到相机170的直接区域内的对象时，相机170可以提供用于确定用户的焦点的图像数据，并且当执行假体操作时，相机170可以提供面部表情反馈。

在本发明的一些实施例中，机器人假体设备190的用户可佩戴增强现实(AR)眼镜180。AR眼镜180使用户能够观看邻近的对象并使用户能够指示将由机器人假体设备190操作的对象的选择。本发明的一些实施例中，AR眼镜180可以实现与移动控制设备140的交互，例如利用来自认知系统的数据中断与对象的操作交互。在其他实施例中，AR眼镜180允许用户通过移动控制设备140输入和控制假肢装置。AR眼镜180可以包括AR眼镜相机187，其可操作地与认知系统105耦合，其使得能够对对象进行图像捕获以供选择，并且可以向认知系统105提供图像以用于分析处理和对象识别。AR眼镜180连接到AR眼镜收发器185，其通过无线连接130和网络150向认知系统105和移动控制设备140提供AR眼镜180和AR眼镜相机187的无线连接。在其他实施例中，在手动操作对象期间由AR眼镜相机187接收的图像可以包括在机器学习过程中并且包括在个性化知识库120和/或主知识库110中。

在本发明的一些实施例中，相机170和AR眼镜相机187被认为“可操作地耦合”到认知系统105，并且可以是紧邻假体设备的用户和要被操纵的感兴趣对象的一个或多个摄像机。一个或多个相机提供用户的面部表情、眼睛的焦点以及身体位置和运动的视图，作为选择和操纵的反馈。在其他实施例中，可操作地耦合到认知系统105的相机可以连接到假体设备。例如，可以将一个摄像机引导到设备的操作端以用于选择图像和操作，并且可以将另一个摄像机指向用户以捕获反馈。在又一个实施例中，对象和假体设备的图像可以通过可佩戴相机获得，例如包括AR眼镜相机187的AR眼镜180。AR眼镜180还可以捕获用户眼睛焦点的图像以帮助检测对象选择。

机器人假体设备190被描绘为假体臂和手，并且另外表示用于肢体或肢体的部分的假体设备。机器人假体设备190包括马达和部件，其实现以下内容的一个或多个的组合的机械辅助移动：假体的手臂、腕部、手部和手指部件。在本发明的一些实施例中，机器人假体设备190可操作地连接到至少一个相机(未示出)，使得能够观察机器人假体设备190的用户。在本发明的一些实施例中，至少一个摄像机可操作地耦合到机器人假体设备190，使得用户能够查看和选择对象，并提供操作活动的反馈(作为AR眼镜相机187的替代或补充)。在其他实施例中，机器人假体设备190实现假体脚趾、脚、小腿和大腿(未示出)的机械辅助移动。机器人假体设备190接收来自移动控制设备140的操作数据，移动控制设备140发送控制指令以操作假体设备的部件，该控制指令可以例如从个性化知识库120或主知识库110访问。与手动或基于发现的操作相比，本发明的实施例利用认知系统105以及个性化知识库120和主知识库110的操作数据来提供更精细的控制、准确度、压力、提升力和速度以操作假体设备。

服务器101被描绘为包括认知系统105，其具有图像分析125、操作程序300、对象数据程序200、主知识库110和个性化知识库120的组件。在本发明的一些实施例中，服务器101可以是管理服务器、网络服务器、移动计算设备、或能够接收、发送和处理数据、以及支持对象数据程序200和操作程序300的操作功能的任何其他电子设备或计算系统。在其他实施例中，服务器101可以表示利用多个计算机作为服务器系统的服务器计算系统，例如在云计算环境中。在其他实施例中，服务器101可以是膝上型计算机、平板计算机、上网本计算机、个人计算机(PC)、台式计算机、个人数字助理(PDA)、智能电话或任意可编程电子设备，该可编程电子设备能够执行对象数据程序200和操作程序300的可编程指令，并使得能够在分布式网络处理环境100内经由网络150访问到达或者来自认知系统105、移动控制设备140、AR眼镜收发器185、相机170和无线连接130的数据。在另一实施例中，服务器101表示利用在分布式网络处理环境中访问时充当单个无缝资源池的集群计算机和组件(例如，数据库服务器计算机、应用服务器计算机等)的计算系统。如参考图4进一步详细描述和描述的，服务器101可以包括内部和外部硬件组件。

认知系统105搜索知识库以将知识库的对象与基于所接收的图像分析数据识别的所选对象相匹配，并关联假体设备的特定操作数据从而以更精确、更准确、更快的马达控制操作所识别的对象。认知系统105还从对象的手动和机器人操作的反馈来执行机器学习、建立交互模式，以将新的操作数据添加到知识库，例如主知识库110，或者连续地改进现有的操作数据。来自认知系统105的操作数据提供更准确的瞄准、握持压力和提升力，具有比手动或替代控制方法更快的操作速度。认知系统105包括图像分析125、主知识库110、个性化知识库120、对象数据程序200和操作程序300。

图像分析125包括对象识别技术和用于区分和识别图像内的对象的技术。在本发明的一些实施例中，图像分析125是认知系统105的集成组件，而在其他实施例中，图像分析125直接或经由网络150(未示出)功能地连接到认知系统105。图像分析125接收数字化图像并对该图像执行对象识别分析。对图像内的一个或多个对象的识别包括图像对象是识别的对象的确定度的置信度度量，通常是百分比。认知系统105利用对象识别的确定度来确定在知识库(例如主知识库110)中识别的对象是否与图像内确定的对象匹配。在本发明的一些实施例中，将在知识库搜索中识别的对象与识别的图像对象之间的匹配的置信度与用户设置的确定度阈值水平进行比较。如果达到或超过阈值水平，则将与所识别的对象相关联的操作数据发送到移动控制设备140以操作假体并操作该对象；与手动或替代控制相比，具有更高的速度、准确度，精度和效率。

在一些实施例中，认知系统105接收指示对象的特定操作活动的成功或满意程度的生物和图像反馈，并将反馈与特定操作数据集一起作为执行该对象的优化的操作数据的机器学习的输入。

主知识库110是映射到特定对象的特定交互模式的集合。交互模式数据包括特定于假体设备和对象的操作数据。主知识库110包括关于对象的一组数据，该对象被认知系统105用来匹配来自图像分析125的对象识别数据。认知系统105搜索主知识库110以确定在接收的图像中识别的对象与主知识库110中包括的相应对象数据之间的匹配。在本发明的一些实施例中，主知识库110由特定类型的假体设备的一个以上的用户共享。

个性化知识库120用作附加或替代知识库，并且与主知识库110类似地操作；然而，个性化知识库120不由多个用户共享，其位于移动控制设备140的本地，并且接收特定于假体设备的特定操作数据的细化以及假体设备的用户的偏好。在本发明的一些实施例中，个性化知识库120可以接收从主知识库110访问的操作数据，并且继续接收来自重复使用所接收的操作数据以及来自面部表情、眼睛焦点、身体运动、生物识别、音频、和本地传感器触觉反馈的对该数据的基于机器学习的调整。

对象数据程序200从个性化知识库120或主知识库110收集并确定未在预定置信水平内识别的对象的优化操作数据。在一些实施例中，由未能认知或识别所选对象的操作程序300启动对象数据程序200。对象数据程序200收集由未被认知系统105识别的、或者个性化知识库120或主知识库110不包含对象的操作数据的对象的非自动机器人或手动操作产生的数据。

在本发明的一些实施例中，对象数据程序200使得能够建立对象的身份并从机器人和/或手动操作中收集可用的传感器数据。操作数据和传感器、相机、音频和生物数据的输入被应用于机器学习技术以确定对象的最优操纵数据。输入还包括提供对象的标识，并且在一些实施例中，可以包括分类数据输入，其使得能够提供更有效的搜索结果用于后续对象识别。在本发明的一些实施例中，操作数据、对象数据和响应反馈数据的输入可以包括使用对象分类系统来增强后续识别。分类系统可以基于来自所接收的图像的对象识别数据、形状、大小，并且还包括触觉、表面属性和重量分布(具有非明显的重心)、可用的生物识别、相机图像和音频数据。来自操作活动的反馈和响应数据反映了对对象的操作的尝试和重复的用户反应，以及操作尝试的结果(例如掉落物体、损坏物体、操作过度或不足、滑动、和对象的定向困难)。

对象数据程序200将优化的对象操作数据添加到个性化知识库120，并且在一些实施例中，确定是否要将对象操作数据添加到主知识库110，其中对象识别和操纵数据可以由访问主知识库120的其他用户共享。在本发明的一些实施例中，对象数据程序200确定新确定的对象操作数据是否被添加到主知识库110，其可作为用户设置被提供以自动使得添加对象操作数据到主知识库110(或不添加)，或者作为具有新生成的操作数据的每个对象的用户决定。

操作程序300确定操作数据是否对于所识别的所选对象可用，并将该数据提供给移动控制设备140以执行所识别的对象的操作操作。操作程序300通过，从经由网络150连接到认知系统105的AR眼镜180的AR眼镜相机187或从在对象和用户附近外部定位的相机，确定假体用户的眼睛焦点来确定对象的选择。将所选对象的图像发送到认知系统105，并且图像分析125将对象识别技术应用于所接收的图像以识别已被选择的对象。识别对象的身份用于在个性化知识库120中初始地搜索与特定用户的对象相关联的操作数据。由于针对特定假体和用户优化了个性化操作数据，因此优先搜索针对特定用户个性化的操作数据。如果在个性化知识库120中未找到所识别对象的操作数据，则操作程序300在主知识库110中执行搜索。响应于操纵程序300在个性化知识库120或主知识库110中定位目标对象的操作数据，操作程序300检索并将操作数据应用于假体设备，从而以更高的准确度、精确度、适当的触觉力和速度自动地操作对象。当对象被操作时，由假体设备的用户进行的任何操作调整被包括在收集的数据中并应用于所识别的对象的机器学习，其从所接收的对象操作数据的输入的迭代中连续地优化对象的操作数据。在未识别所选对象的本发明的实施例中，操作程序300启动对象数据程序200(由图4中的“A”表示)。类似地，如果识别的对象在个性化知识库120和主知识库110中都缺少操作数据，则操作程序300遵从对象数据程序200以收集非自动操作数据，并且包括用于个性化知识库120的对象的一组操作参数，其从对象操纵的多次迭代中优化，并且如果在设置文件中适当地启用，则对象数据程序200将该操作数据转发到主知识库110。

图2示出了根据本发明实施例的对象数据程序200的操作步骤。对象数据程序200响应于操作程序300确定未识别所选对象而启动，或者如果识别，操作程序300确定在个性化知识库120或主知识库110中不存在操作数据。在一些实施例中，查询以启动对象数据程序200可以作为消息或通知呈现给用户，以开始收集已知对象识别数据库中不存在的对象的操作数据。

在步骤210中，对象数据程序200请求输入以定义置信水平，在该置信水平下，当与在数据库或对象的知识库(诸如主知识库110或个性化知识库120)中识别的对象相比较时，将从图像识别的对象视为匹配。在一些实施例中，如果在主知识库110或个性化知识库120中未识别从图像识别的对象，则对象数据程序200可搜索因特网可访问资源以识别对象并包括识别的匹配的置信水平。在本发明的一些实施例中，对象数据程序200可以向用户呈现消息请求以设置建立确认匹配的置信度阈值。如果先前已经设置了置信水平，则对象数据程序200可以通过显示设备上的消息或可听的消息来询问用户是否希望编辑当前置信水平阈值。

在向用户指示未识别所选对象，或者在个性化知识库120或主知识库110中操作数据不可用之后，对象数据程序200在步骤220中收集对象属性数据并使得能够识别所选对象。在本发明的一些实施例中，对象数据程序200确定并存储可与AR眼镜相机187和/或相机170的图像区分的关于所选对象的大小、形状和其他物理属性。在其他实施例中，对象数据程序200收集用户输入的信息以向所选对象添加身份。对象属性和标识存储在个性化知识库120中。在一些实施例中，假体设备接触对象(例如，作为选择对象的技术)，并且包括在假体设备内或上的传感器测量和返回关于对象的物理属性的数据，例如表面粗糙度、纹理、硬度和均匀性。在一些实施例中，对象数据程序200确定对象的重量，并且凭经验学习保持和操作对象所需的抓握力，和/或它们对于保持和操作所选对象的限制。

在步骤230中，对象数据程序200通过假肢设备(例如机器人假体设备190)从用户对对象的机器人操作中收集数据。对象数据程序200收集来自假体设备的非自动操作的数据，以及相应的反馈数据，例如来自相机170的面部识别、音频反馈、来自连接到用户的传感器的生物反馈、以及由AG眼镜相机187记录的对象操作结果。操作数据和相应的反馈数据被传输到认知系统105，输入到机器学习处理，以确定所选对象的更成功和更不成功的操作参数。非自动操作包括操作对象的多次迭代，伴随数据经由网络150输入到认知系统105并由机器学习处理以确定所选对象的优化操作数据。

在步骤240中，对象数据程序200将通过机器学习优化的对象操作数据添加到个性化知识库120。操作程序300优化操作数据，作为重复对所选对象的非自动操作的结果，并且发送操作图像结果和相应的操作数据到认知系统105以进行机器学习处理。如将在图3中详细讨论，对象数据程序200将优化的操作数据添加到个性化知识库120，其提供可用于在随后的场合自动操作所选对象的特定操作数据。在本发明的一些实施例中，操作程序300可以连续地优化对应于所选项目的操作数据，因为收集和通过认知系统105的机器学习处理附加的操作数据和操作结果反馈。对应于所选对象的操作数据包括标识，通过该标识识别所选对象并将其与随后发送到认知系统105的所选对象的图像匹配。

在将针对所选对象优化的操作数据添加到个性化知识库120之后，对象数据程序200在判定步骤250中确定是否启用将所选对象的操作数据添加到主知识库110的特征。对于确定对象数据程序200不能将操作数据添加到主知识库110的情况(步骤250，“否”分支)，对象数据程序200结束。对于对象数据程序200确定启用将所选对象的操作数据添加到主知识库110的选项的情况(步骤250，“是”分支)，对象数据程序200在步骤260中将所选对象的操作数据发送到主知识库110，包括发送通过使用应用于图像的对象识别技术以识别所选对象的数据。

在本发明的一些实施例中，最初添加到个性化知识库120的操作数据被自动完成，该操作数据随后被添加到主知识库110，并且基于对象数据程序200自动添加“新”操作数据到主知识库110的选项是否被启用。向主知识库110和个性化知识库120添加操作数据基于执行先前搜索以匹配由图像分析125(图1)在图像中识别的、并且在个性化知识库120或主知识库110中找不到的对象。在一些实施例中，该选项可以包括在对象数据程序200的设置文件中。在其他实施例中，作为最初将所选对象的特定操作数据集添加到个性化知识库120的结果，可以向用户呈现选项查询。在其他实施例中，对象数据程序200不询问用户，而是需要来自用户的指示以将所选对象的特定操作数据添加到主知识库110。

在完成将所选对象的操作数据添加到主知识库110之后，对象数据程序200结束。

图3示出了根据本发明实施例的操作程序300的操作步骤。操作程序300确定是否从与操作数据相关联的对象识别数据(例如存储在主知识库110和/或个性化知识库120中的数据)相比较的所选对象的图像中识别出所选对象。如果将所选对象图像识别为知识库内的已识别对象，操作程序300确定是否存在针对所识别对象的操作数据。可用的操作数据被发送到假体设备的本地控制器以自动执行对象的操作。

在步骤305中，操作程序300确定用于操作的所选对象。在本发明的一些实施例中，操作程序300利用相机图像来确定由假肢设备的用户选择的特定对象。在其他实施例中，外部相机用于通过监视用户的眼睛焦点和假体设备的用户的紧邻区域中的可视区域来确定所选择的对象。在本发明的一些实施例中，用户可以使用假体设备来接近或触摸所选择的对象，并且在其他实施例中，可以通过使用自然语言处理技术处理的语言命令来完成对象的选择。在本发明的一些实施例中，操作程序300与假肢设备的使用者一起确认所选择的对象。

在判定步骤310中，操作程序300确定是否识别了所选对象。在本发明的一些实施例中，通过搜索知识库以及将从所选对象的图像确定的属性与知识库或其他存储库中的对象的存储的数据属性进行比较来完成所选对象的识别，该知识库例如是个性化知识库120、或主知识库110，或包含对象数据(例如从图像数据确定的对象属性数据)的一些其他存储库(图1中未示出)。例如，对于佩戴AR眼镜180的用户，可以从AR眼镜相机187获得所选对象的图像。所选对象的图像被发送到认知系统105并且使用由图像分析125执行的对象识别技术来处理，用于区分和识别所选对象的图像内的对象。所识别的图像对象用于执行对所识别的对象数据的知识库或其他存储库的搜索，以确定匹配的置信度。在本发明的一些实施例中，可以使用相似性函数，例如余弦相似度函数，以确定关于知识库的已识别对象是否在预定置信水平内与所选对象匹配的概率或分数。匹配的置信度指示从搜索识别的对象与从所选对象的图像的光学识别确定的对象匹配的确定性的相对水平。假体设备的使用者将置信水平阈值设定在或高于对象被认为匹配的值。对于低于建立的阈值的置信水平，搜索结果被认为不匹配。

在本发明的一些实施例中，置信水平由一个对象的属性确定，例如所选对象的图像，其被发现在另一个对象中是共同的，例如来自对象的知识库内的数据的已识别对象。操作程序300可以被配置为指示为对象搜索确定的置信水平，并且在一些实施例中，为用户提供接受低于当前阈值的置信水平的选项。对于从所选对象图像确定的对象的搜索指示不匹配，或低于匹配阈值的置信度(步骤310，“否”分支)的情况，操作程序300启动对象数据程序200(A)，建立所选对象的标识并收集对应于所选对象的操作数据。

对于作为搜索对象数据的知识库或存储库的结果的识别对象的情况(步骤310，“是”分支)，操作程序300进行到判定步骤315以确定是否在个性化知识库中找到所选对象的操作数据。在本发明的一些实施例中，所选对象的标识用于搜索个性化知识库120，以确定是否找到所选对象的操作数据。在其他实施例中，可以使用主知识库110或对象数据的另一存储库或因特网资源来执行识别对象的搜索。在一些实施例中，使用个性化知识库120来执行用于确定是否针对所识别的所选对象找到操作数据的初始搜索。对于操作程序300确定在个性化知识库120中找到操作数据的情况(步骤315，“是”分支)，在步骤320，操作程序300从个性化知识库120中检索对象操纵数据。在本发明的一些实施例中，从个人知识库120中检索操作数据优于来自主知识库110的操纵数据，因为从个性化知识库120检索的操作数据特定于特定用户和用户的假体设备，例如机器人假体设备190，并且可以提供操作所选对象的额外的细化和精确度。在检索了所选对象的操作数据之后，操作程序300进行到步骤335，并执行动作以操作所选对象。

对于操作程序300确定在个性化知识库120中未找到所选的识别的对象的操作数据的情况(步骤315，“否”分支)，操作程序300进行到判定步骤325以确定在主知识库(例如主知识库110)中是否找到所选择的识别的对象的操作数据。操作程序300基于所确定的所选对象的标识搜索主知识库110，并且未能找到对应的操作数据。对于所选择的识别对象(步骤325，“否”分支)，操作程序300启动对象数据程序200(A)以建立所选对象的标识并收集对应于所选对象的操作数据，这样收集操作数据包括收集与特定手动控制的操作活动相关联的反馈数据。如上面参考图2所述，对象数据程序200继续收集操纵数据和反馈数据，并将数据输入到认知系统105以进行机器学习处理以优化操作数据。

对于操作程序300确定在主知识库(例如主知识库110)中找到所选对象的操作数据的情况(步骤325，“是”分支)，操作程序300进行到步骤330并从主知识库检索对象操作数据。在本发明的一些实施例中，检索所选对象的操作数据并将其发送到假体设备的本地控制器，例如移动控制设备140。在其他实施例中，每个操作指令由操作程序300处理并发送到移动控制设备140执行特定操作命令。

在检索到所选对象的操作数据之后，在步骤335中，操作程序300执行所选对象的操作。操作程序300接收操作数据并将控制器指令发送到移动控制设备140，该移动控制设备140是假体设备(例如机器人假体设备190)本地的设备。移动控制设备140从操作程序300接收操作指令，并进而启动适当的马达、开关和其他装置，使机器人假体设备190启动。在主知识库110中找到的操作数据的执行实现更高的精度、准确度和速度并且包括适合于所选对象属性的触觉压力的所选对象的操作。

在利用在主知识库110中找到的操作数据操作所选对象之后，操作程序300在步骤340中收集与所选对象的操作相关联的数据。在本发明的一些实施例中，操作程序300监视所选对象的操作以及与操作活动相关联的反馈数据。在本发明的一些实施例中，假体设备的使用者可以在操作数据的自动处理期间进行干预，并且调整或微调特定的操作活动。通过由捕获对自动操作数据的调整的操作程序300收集数据，该操作数据可以被使用或者连续改进和改善对所选对象的操作。

在步骤345中，操作程序将在所选对象的操作期间收集的操作数据应用于机器学习。操作程序300将在所选对象的操作期间收集的操作数据发送到认知系统105，以应用于持续改进优化活动中的机器学习。在本发明的一些实施例中，对自动操作数据进行的调整包括在收集的数据中，并且被输入到机器学习，其包括基于操作所选对象的多次迭代对所选对象的自动操作数据的改变，以及考虑由假体设备的用户手动进行的调节。在一些实施例中，操作程序300可以通过启动对象数据程序200收集操作数据以收集操作数据和相关联的反馈数据。在其他实施例中，操作程序300执行数据收集活动并将数据发送到认知系统105以应用于机器学习。

图4描绘了根据本发明实施例的系统的组件的框图，该系统包括能够操作地执行对象数据程序200和操作程序300，以及提供对对象操作数据的访问的计算设备。

根据本发明的说明性实施例，计算设备405包括与服务器101和移动控制设备140(图1)类似的组件和功能能力。应当理解，图4仅提供了一个实现的说明，并不暗示关于可以实现不同实施例的环境的任何限制。可以对所描绘的环境进行许多修改。

计算设备405包括通信结构402，其提供计算机处理器404、存储器406、永久存储器408、通信单元410和输入/输出(I/O)接口412之间的通信。通信结构402可以由用于在处理器(例如微处理器，通信和网络处理器等)、系统存储器、外围设备和系统内的任意其他硬件组件之间传递数据和/或控制信息的任何架构实现。例如，通信结构402可以用一个或多个总线实现。

存储器406、高速缓冲存储器416和永久存储器408是计算机可读存储介质。在该实施例中，存储器406包括随机存取存储器(RAM)414。通常，存储器406可包括任意合适的易失性或非易失性计算机可读存储介质。

对象数据程序200和操作程序300存储在永久存储器408中，以便由一个或多个相应的计算机处理器404经由存储器406的一个或多个存储器执行。在该实施例中，永久存储器408包括磁性硬盘驱动器。作为替代，或除磁性硬盘驱动器之外，永久存储器408可包括固态硬盘驱动器、半导体存储设备、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、闪存或任意其他能够存储程序指令或数字信息的计算机可读存储介质。

永久存储器408使用的介质也可以是可移动的。例如，可移动硬盘驱动器可用于永久存储器408。其他示例包括光盘和磁盘、拇指驱动器和智能卡，其被插入到驱动器中以便转移到另一计算机可读存储介质上，该另一计算机可读存储介质也是永久存储器408的一部分。

在这些示例中，通信单元410提供与其他数据处理系统或设备的通信，包括分布式网络处理环境100的资源。在这些示例中，通信单元410包括一个或多个网络接口卡。通信单元410可以通过使用物理和无线通信链路之一或两者来提供通信。对象数据程序200和操作程序300可以通过通信单元410下载到永久存储器408。

I/O接口412允许与可以连接到计算系统400的其他设备输入和输出数据。例如，I/O接口412可以提供到外部设备418(例如键盘、小键盘、触摸屏、和/或一些其他合适的输入设备)的连接。外部设备418还可以包括便携式计算机可读存储介质，例如拇指驱动器、便携式光盘或磁盘、以及存储卡。用于实施本发明的实施例的软件和数据，例如，对象数据程序200和操纵程序300，可以存储在这样的便携式计算机可读存储介质上，并且可以经由I/O接口412加载到永久存储器408上。I/O接口412还连接到显示器420。

显示器420提供向用户显示数据的机制，并且可以是例如计算机监视器。

这里描述的程序是基于在本发明的特定实施例中实现它们的应用程序来标识的。然而，应当理解，本文中的任何特定程序术语仅仅是为了方便而使用，因此本发明不应限于仅由这种术语识别和/或暗示的任何特定应用中使用。

本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

Claims (35)

1.一种计算机实现的方法，包括：

一个或多个处理器接收包括对象的图像数据的输入；基于对所述对象的图像数据执行图像分析，一个或多个处理器确定所述对象的图像属性；

一个或多个处理器确定所述对象的图像属性是否与知识库中的已识别对象匹配，所述知识库包括多个已识别对象和分别对应于所述多个已识别对象的操作数据；

其中，确定所述对象的图像数据与所述知识库中的已识别对象之间的匹配是基于执行相似度函数的，其中通过将所述对象的图像属性与所述知识库中的所述已识别对象进行比较，生成超过预定置信度水平的相似性得分；

以及

响应于确定所述对象的图像属性与所述知识库中的已识别对象匹配，一个或多个处理器将对应于所述知识库中的所述已识别对象的操作数据发送到移动控制设备。

2.根据权利要求1所述的方法，其中，所述移动控制设备通信地连接到操作设备，所述操作设备能够通过利用由所述一个或多个处理器发送的所述操作数据来执行所述对象的操作，其中，接收到的包括所述对象的图像数据的所述输入所针对的所述对象，是由所述操作设备的用户选择的。

3.根据权利要求1所述的方法，进一步包括：

一个或多个处理器接收基于所述知识库中的所述已识别对象的操作数据对所述对象进行操作的操作设备的反馈，其中，所述反馈包括在用户选择的所述对象的操作期间来自所述操作设备的传感数据和所述操作设备的用户的图像反馈；

基于从所述知识库接收的所述已识别对象的操作数据、在所述用户选择的所述对象的操作期间来自所述操作设备的传感数据的反馈以及所述用户的反馈，一个或多个处理器对所选的对象的操作执行机器学习；以及

基于所述用户选择的所述对象的操作期间来自所述操作设备的所述传感数据的反馈以及所述用户的反馈执行机器学习，一个或多个处理器调整所述用户选择的所述对象的所述操作数据。

4.根据权利要求1所述的方法，进一步包括：

一个或多个处理器接收来自执行所述对象的操作的操作设备的反馈，其中所述操作设备的用户对所述对象的操作进行调整以改善所述对象的操作，其中所述反馈是基于对应于所接收的所述知识库中的已识别对象的操作数据的，并且所述反馈包括在所述对象的操作期间来自连接到所述操作设备的传感器的传感数据，以及来自观察所述操作设备的一个或多个相机的所述操作设备的图像反馈；

基于从所述知识库接收的所述已识别对象的所述操作数据，在所述对象的操作期间来自连接到所述操作设备的所述传感器的所述传感数据的反馈，以及从观察所述操作设备的所述一个或多个相机接收到的所述图像反馈，一个或多个处理器执行所述对象的操作的机器学习；以及

响应于应用于从所述知识库接收的所述已识别对象的所述操作数据，在所述对象的操作期间来自连接到所述操作设备的所述传感器的所述传感数据的反馈，以及从观察所述操作设备的一个或多个相机接收到的所述图像反馈的机器学习，一个或多个处理器调整所述对象的所述操作数据。

5.根据权利要求1所述的方法，其中所述对象由假体设备的用户选择，并且其中所述知识库中的所述多个已识别对象中的已识别对象包括图像属性，并且其中所述一个或多个处理器发送操作数据的步骤包括：将与所选择的对象匹配的已识别对象的图像属性数据对应的操作数据发送到移动控制设备，其中移动设备通信地连接到所述假体设备，其中移动控制设备将对应于所述已识别对象的所述操作数据应用到所述假体设备。

6.根据权利要求5所述的方法，进一步包括：

一个或多个处理器从一个或多个相机接收所述假体设备的用户的眼睛焦点的方向、面部表情和身体运动的图像数据，其中所述眼睛焦点、面部表情和身体运动的图像数据针对所述用户的视野中的对象；

一个或多个处理器接收所述假体设备的用户的视野中的对象的图像；以及

基于所述用户的眼睛焦点、面部表情和身体运动的图像数据，一个或多个处理器确定所述假体设备的用户的视野中的对象是所述用户选择的对象。

7.根据权利要求5所述的方法，进一步包括：

一个或多个处理器接收基于所述知识库中的所述已识别对象的操作数据执行所选对象的操作的所述假体设备的反馈，其中所述反馈包括所选择的对象的操作期间来自所述假体设备的传感数据和所述用户的图像反馈；

基于从所述知识库接收的所述已识别对象的操作数据、在所选对象的操作期间来自所述假体设备的传感数据的反馈以及所述用户的反馈，一个或多个处理器对所选对象的操作执行机器学习；以及

基于对从所述知识库接收的所述已识别对象的操作数据、在所选对象的操作期间来自所述假体设备的传感数据的反馈以及所述用户的反馈执行机器学习，一个或多个处理器调整所选对象的所述操作数据。

8.根据权利要求7所述的方法，其中针对所选对象调整的所述操作数据被添加到第二知识库，所述第二知识库具有针对所述用户和所述用户的假体设备特别调整的操作数据。

9.根据权利要求5所述的方法，其中一个或多个处理器确定所选对象未能匹配所述知识库中的所述已识别对象，所述知识库包括多个已识别对象，一个或多个处理器向所述假体设备的用户提供通知，并将与所选对象相对应的非自动操作数据的一次或多次迭代输入到机器学习处理。

10.根据权利要求5所述的方法，其中，所述图像数据接收自连接到所述假体设备并且可操作地耦合到认知系统的一个或多个相机，所述认知系统对从所述一个或多个相机接收的图像数据执行图像分析。

11.根据权利要求5所述的方法，其中确定由所述假体设备的用户选择的对象与所述知识库中的所述已识别对象之间的匹配包括：确定由所述假体设备的用户选择的对象与所述知识库中的所述已识别对象的置信水平是否超过预定阈值。

12.一种计算机实现的方法，包括：

一个或多个处理器接收由假体设备的用户选择的对象的图像数据；

基于对所述图像数据执行图像分析，一个或多个处理器确定所选对象的图像属性；

一个或多个处理器确定所选对象的图像属性是否与包括多个已识别对象的知识库中的已识别对象匹配，其中所述知识库中的多个已识别对象中的已识别对象包括对应于所述已识别对象的图像属性和操作数据；

其中确定由所述假体设备的用户选择的对象与所述知识库中的所述已识别对象之间的匹配包括：确定由所述假体设备的用户选择的所述对象与所述知识库中的所述已识别对象的置信水平超过预定阈值；

以及

响应于确定所选对象的图像属性与所述知识库的已识别对象匹配，一个或多个处理器将与所选对象匹配的所述已识别对象的图像属性数据对应的操作数据发送到通信地连接到所述假体设备的移动控制设备，其中所述移动控制设备将对应于所述已识别对象的操作数据应用到所述假体设备。

13.根据权利要求12所述的方法，进一步包括：

一个或多个处理器从一个或多个相机接收所述假体设备的用户的眼睛焦点的方向、面部表情和身体运动的图像数据，其中所述眼睛焦点、面部表情和身体运动的图像数据针对所述用户的视野中的对象；

一个或多个处理器接收所述假体设备的用户的视野中的对象的图像；以及

基于所述用户的眼睛焦点、面部表情和身体运动的图像数据，一个或多个处理器确定所述假体设备的用户的视野中的对象是所述用户选择的对象。

14.根据权利要求12所述的方法，进一步包括：

一个或多个处理器接收基于所述知识库中的所述已识别对象的操作数据执行所选对象的操作的假体设备的反馈，其中所述反馈包括所选对象的操作期间来自所述假体设备的传感数据和所述用户的图像反馈；

基于从所述知识库接收的所述已识别对象的操作数据、所选对象的操作期间来自所述假体设备的传感数据和所述用户的图像反馈，一个或多个处理器对所选对象的操作执行机器学习；以及

基于对从所述知识库接收的所述已识别对象的操作数据、所选对象的操作期间来自所述假体设备的传感数据和所述用户的反馈执行机器学习，一个或多个处理器调整所选对象的所述操作数据。

15.根据权利要求14所述的方法，其中针对所选对象调整的所述操作数据被添加到第二知识库，所述第二知识库具有针对所述用户和所述用户的所述假肢设备特别地调整的操作数据。

16.根据权利要求12所述的方法，其中一个或多个处理器确定所选对象未能与所述包括多个已识别对象的知识库中的已识别对象匹配，一个或多个处理器向所述假体设备的用户提供通知，并将与所选对象相对应的非自动操作数据的一次或多次迭代输入到机器学习处理。

17.根据权利要求12所述的方法，其中，所述图像数据接收自连接到所述假体设备并且可操作地耦合到认知系统的一个或多个相机，所述认知系统对从所述一个或多个相机接收的图像数据执行图像分析。

18.一种计算机程序，包括程序代码装置，当所述程序在计算机上运行时，所述程序代码装置适于执行权利要求1至17中任一项所述的方法。

19.一种计算机程序产品，包括：

一种或多种计算机可读存储介质，具有与其一起实现的程序指令，其中所述程序指令可由计算机处理器执行，所述程序指令包括：

用于接收由假体设备的使用者选择的对象的图像数据的程序指令；

用于基于对所述图像数据执行图像分析来确定所选对象的图像属性的程序指令；

用于确定所选对象的图像属性是否与包括多个已识别对象的知识库中的已识别对象匹配的程序指令，其中所述知识库中多个已识别对象中的已识别对象包括对应于所述已识别对象的图像属性和操作数据；

其中确定所选对象与所述知识库中的已识别对象之间的匹配的程序指令包括用于确定所选对象与所述知识库中的所述已识别对象的置信水平是否超过预定阈值的程序指令；

以及

响应于确定所选对象的图像属性与所述知识库中的所述已识别对象匹配，将对应于与所选对象的图像属性数据匹配的所述已识别对象的操作数据发送到移动控制设备的程序指令，所述移动控制设备通信地连接到所述假体设备，其中所述移动控制设备将对应于所述已识别对象的操作数据施加到所述假体设备。

20.根据权利要求19所述的计算机程序产品，进一步包括：

用于从一个或多个相机接收所述假体设备的用户的眼睛焦点的方向、面部表情和身体运动的图像数据的程序指令，其中，所述眼睛焦点、面部表情和身体运动的图像数据针对所述用户的视野中的对象；

用于接收所述用户的视野中的对象的图像的程序指令；以及

基于所述用户的眼睛焦点、面部表情和身体运动的图像数据，确定所述用户的视野中的对象是所述用户选择的对象的程序指令，

21.根据权利要求19所述的计算机程序产品，进一步包括：

用于接收基于所述知识库的所述已识别对象的操作数据执行所选对象的操作的所述假体设备的反馈的程序指令，其中，所述反馈包括在所选对象的操作期间来自所述假体设备的传感数据和所述用户的图像反馈；

基于从所述知识库接收的所述已识别对象的操作数据、在所选对象的操作期间来自所述假体设备的传感数据的反馈和所述用户的反馈，对所选设备的操作执行机器学习的程序指令；以及

基于对从所述知识库接收的所述已识别对象的操作数据、在所选对象的操作期间来自所述假体设备的传感数据的反馈以及所述用户的反馈执行机器学习，调整所选对象的所述操作数据的程序指令。

22.根据权利要求21所述的计算机程序产品，其中针对所选对象调整的所述操作数据被添加到第二知识库，所述第二知识库具有针对所述用户和所述用户的特定假体设备特别地调整的操作数据。

23.根据权利要求19所述的计算机程序产品，其中响应于程序指令确定所选对象未能与包括多个已识别对象的知识库中的已识别对象匹配，向所述假体设备的所述用户提供通知，以及将对应于所选对象的非自动操作数据的一次或多次迭代输入到机器学习处理的程序指令。

24.根据权利要求19所述的计算机程序产品，其中，所述图像数据接收自连接到所述假体设备并且可操作地耦合到认知系统的一个或多个相机，所述认知系统对从所述一个或多个相机接收的图像数据执行图像分析。

25.一种计算机系统，包括：

一个或多个计算机处理器；

一个或多个计算机可读存储介质；

存储在所述一个或多个计算机可读存储介质上的程序指令，用于由所述一个或多个处理器中的至少一个执行，所述程序指令包括：

用于接收包括对象的图像数据的输入的程序指令；

用于基于对所述对象的图像数据执行图像分析来确定所述对象的图像属性的程序指令；

用于确定所述对象的图像属性是否与知识库中的已识别对象匹配的程序指令，所述知识库包括多个已识别对象和分别对应于所述多个已识别对象的操作数据；

其中确定所选对象与所述知识库中的已识别对象之间的匹配的程序指令包括确定所选对象与所述知识库中的已识别对象的置信水平是否超过预定阈值的程序指令；

以及

响应于确定所述对象的图像属性与所述知识库中的所述已识别对象匹配，将与所述知识库中的所述已识别对象相对应的操作数据发送到移动控制设备的程序指令。

26.根据权利要求25所述的系统，其中所述对象由假体设备的用户选择，并且其中所述知识库中的所述多个已识别对象中的已识别对象包括图像属性，并且其中发送操作的程序指令包括将对应于与所选对象匹配的所述已识别对象的图像属性数据的操作数据发送到所述移动控制设备的程序指令，其中所述移动设备通信地连接到所述假体设备，其中所述移动控制设备将对应于所述已识别对象的操作数据应用到假体设备。

27.根据权利要求26所述的计算机系统，进一步包括：

用于从一个或多个相机接收所述假体设备的用户的眼睛焦点的方向、面部表情和身体运动的图像数据的程序指令，其中所述眼睛焦点、面部表情和身体运动的图像数据针对所述用户的视野中的对象；

用于接收所述用户的视野中的对象的图像的程序指令；以及

基于所述用户的眼睛焦点、面部表情和身体运动的图像数据，确定所述用户的视野中的对象是所选对象的程序指令。

28.根据权利要求26所述的计算机系统，进一步包括：

用于接收基于所述知识库中的已识别对象的操作数据执行对所选对象的操作的假体设备的反馈的程序指令，其中，所述反馈包括在所选对象的操作期间来自所述假体设备的传感数据和来自所述用户的图像反馈；

基于从所述知识库接收的所述已识别对象的操作数据、在所选对象的操作期间来自所述假体设备的传感数据的反馈以及所述用户的反馈，对所选对象的操作执行机器学习的程序指令；以及

基于对从所述知识库接收的所述已识别对象的操作数据、在所选对象的操作期间来自所述假体设备的传感数据的反馈以及所述用户的反馈执行机器学习，调整所选对象的操作数据的程序指令。

29.根据权利要求28所述的计算机系统，其中针对所选对象调整的所述操作数据被添加到第二知识库，所述第二知识库具有针对所述用户和所述用户的假体设备特别地调整的操作数据。

30.根据权利要求26所述的计算机系统，其中所述图像数据是从连接到所述假体设备并且可操作地耦合到认知系统的一个或多个相机接收的，所述认知系统对从所述一个或多个相机接收的图像数据执行图像分析。

31.一种计算机系统，包括：

一个或多个计算机处理器；

一个或多个计算机可读存储介质；

存储在所述一个或多个计算机可读存储介质上的程序指令，用于由所述一个或多个处理器中的至少一个执行，所述程序指令包括：

用于接收由假体设备的用户选择的对象的图像数据的程序指令；

用于基于对所述图像数据执行图像分析来确定所选对象的图像属性的程序指令；

用于确定所选对象的图像属性是否与包括多个已识别对象的知识库的已识别对象匹配的程序指令，其中所述知识库中多个已识别对象中的已识别对象包括对应于所述已识别对象的图像属性和操作数据；其中用于确定所选对象与所述知识库中所述已识别对象之间的匹配的程序指令包括用于确定所选对象与所述知识库中所述已识别对象的置信度是否超过预定阈值的程序指令；

以及

响应于确定所选对象与所述知识库中的已识别对象匹配，将与所述已识别对象相对应的操作数据发送到通信地连接到所述假体设备的移动控制设备的程序指令，其中所述移动控制设备通信地连接到所述假体设备，所述移动控制设备将对应于所述已识别对象的操作数据应用于所述假体设备。

32.根据权利要求31所述的计算机系统，进一步包括：

用于从一个或多个相机接收所述假体设备的用户的眼睛焦点方向、面部表情和身体运动的图像数据的程序指令，其中所述眼睛焦点、面部表情和身体运动的图像数据针对所述用户的视野中的对象；

用于接收所述用户的视野中的对象的图像的程序指令；以及

基于所述用户的眼睛焦点、面部表情和身体运动的图像数据，确定所述用户的视野中的对象是所选对象的程序指令。

33.根据权利要求31所述的计算机系统，进一步包括：

用于接收基于所述知识库中的已识别对象的操作数据执行对所选对象的操作的所述假体设备的反馈的程序指令，其中，所述反馈包括在所选对象的操作期间来自所述假体设备的传感数据和来自所述用户的图像反馈；

基于从所述知识库接收的已识别对象的操作数据、在所选对象的操作期间来自所述假体设备的传感数据的反馈和所述用户的反馈，对所选对象的操作执行机器学习的程序指令；以及

基于从所述知识库接收的已识别对象的操作数据、在所选对象的操作期间来自所述假体设备的传感数据的反馈和所述用户的反馈执行机器学习，调整所选对象的操作数据的程序指令。

34.根据权利要求33所述的计算机系统，其中针对所选对象调整的所述操作数据被添加到第二知识库，所述第二知识库具有针对所述用户和所述用户的所述假体设备特别地调整的操作数据。

35.根据权利要求31所述的计算机系统，其中所述图像数据是从连接到所述假体设备并且可操作地耦合到认知系统的一个或多个相机接收的，所述认知系统对从所述一个或多个相机接收的图像数据执行图像分析。

Images