CN110050243B - 通过使用自主机器中的中间层特征的增强神经回归进行相机重新定位 - Google Patents

Abstract

一种用于促进自主机器中的准确相机重新定位的设备包含：图像捕获装置，用于捕获对象的图像；选择/比较逻辑，用于从多个卷积神经网络（CNN）层中选择中间层；处理/训练逻辑，用于用与所述中间层关联的一个或多个基于层的关键帧处理所述图像的一个或多个原始关键帧的优越性；以及执行/输出逻辑，用于如果所述一个或多个原始关键帧中的一个优于所述一个或多个基于层的关键帧，则输出基于所述一个或多个原始关键帧的第一结果。还描述了实施例的方法、机器可读介质、系统、设备、计算装置、和通信装置。

Description

通过使用自主机器中的中间层特征的增强神经回归进行相机 重新定位

技术领域

本文描述的实施例一般涉及计算机。更具体地，描述了用于通过使用自主机器中的中间层特征的增强神经回归来促进相机重新定位的实施例。

背景技术

卷积神经网络（“CNN”或“ConvNet”）已经实现了高水平的效率，并且导致计算机视觉和其他相邻任务。例如，相机重新定位被认为对机器人导航（诸如用于无人驾驶交通工具、无人驾驶飞行器和服务机器人等的定位）和虚拟现实是十分重要的。几种最近提出的使用深度学习（CNN）来增强相机重新定位的常规解决方案；然而，这种常规技术效率低且有问题，因为它们提供相比较更低的精度，并直接输出相机姿势的低等级回归结果。

发明内容

本申请公开了一种用于促进自主机器中的准确相机重新定位的设备，所述设备包括：图像捕获装置，所述图像捕获装置用于捕获对象的图像；选择/比较逻辑，所述选择/比较逻辑用于从多个卷积神经网络（CNN）层中选择中间层；处理/训练逻辑，所述处理/训练逻辑用于用与所述中间层关联的一个或多个基于层的关键帧处理所述图像的一个或多个原始关键帧的优越性；以及执行/输出逻辑，所述执行/输出逻辑用于如果所述一个或多个原始关键帧中的一个优于所述一个或多个基于层的关键帧，则输出基于所述一个或多个原始关键帧的第一结果。

本申请还公开了一种用于促进自主机器中的准确相机重新定位的方法，所述方法包括：由图像捕获装置捕获对象的图像；从多个卷积神经网络（CNN）层中选择中间层；用与所述中间层关联的一个或多个基于层的关键帧处理所述图像的一个或多个原始关键帧的优越性；以及

如果所述一个或多个原始关键帧中的一个优于所述一个或多个基于层的关键帧，则输出基于所述一个或多个原始关键帧的第一结果。

附图说明

实施例在附图的图中作为示例而非限制被图示，附图中相似的附图标记指的是类似元件。

图1是根据一实施例的处理系统的框图。

图2是具有一个或多个处理器核、集成存储器控制器和集成图形处理器的处理器的实施例的框图。

图3是图形处理器的框图，其可以是分立图形处理单元，或者可以是与多个处理核集成的图形处理器。

图4是按照一些实施例的图形处理器的图形处理引擎的框图。

图5是图形处理器的另一实施例的框图。

图6图示了包含在图形处理引擎的一些实施例中采用的处理元件阵列的线程执行逻辑。

图7是图示了根据一些实施例的图形处理器指令格式的框图。

图8是图形处理器的另一实施例的框图。

图9A是图示根据一实施例的图形处理器命令格式的框图。

图9B是图示根据一实施例的图形处理器命令序列的框图。

图10图示了根据一些实施例的数据处理系统的示范图形软件架构。

图11是图示根据一实施例的可用于制造执行操作的集成电路的IP核开发系统的框图。

图12是图示根据一实施例的可使用一个或多个IP核制作的示范片上系统集成电路的框图。

图13是图示根据一实施例的可使用一个或多个IP核制作的片上系统集成电路的示范图形处理器的框图。

图14是图示根据一实施例的可使用一个或多个IP核制作的片上系统集成电路的附加示范图形处理器的框图。

图15图示了根据一个实施例的采用准确重新定位机制的计算装置。

图16图示了根据一个实施例的准确重新定位机制。

图17图示了与常规技术有关的事务序列。

图18图示了根据一个实施例的用于准确相机重新定位的事务序列。

图19图示了根据一个实施例的用于准确相机重新定位的方法。

图20图示了根据一个实施例的用于准确相机重新定位的方法。

具体实施方式

在如下描述中，阐述了众多特定细节。然而，本文所描述的实施例可在没有这些特定细节的情况下实施。在其它实例中，众所周知的电路、结构和技术未被详细示出，以免模糊对此说明书的理解。

实施例提供了一种用于通过使用基于原始训练的模型的中间层特征来增强来自相机姿势的回归结果的精度的新颖技术。例如，在一个实施例中，为了细化CNN回归相机重新定位的结果，可以使用CNN的中间层来找到匹配的关键帧，用于更好的和增强的精度的回归结果的计算。例如，可以根据将对象帧与任何找到的关键帧匹配来估计准确的相机姿势。如果匹配成功，则从上述匹配获得的任何估计被输出为结果；否则， CNN的任何默认回归结果被输出为结果。

神经网络是指人工神经网络（ANN），诸如CNN，其受到生物神经网络（BNN）（诸如人类和动物中的中枢神经系统）的启发，并且通常基于BNN。

可以预见，在此文档通篇可以可互换地引用像“请求”、“查询”、“作业（job）”、“工作”、“工作项”和“工作负载”之类的术语。类似地，“应用”或“代理”可以指的是或包含通过应用程序编程接口（API）（诸如免费渲染API，诸如开放图形库（OpenGL®）、DirectX®11、DirectX®12等）提供的计算机程序、软件应用、游戏、工作站应用等，其中“分派”可以互换地称为“工作单元”或“绘制”，并且类似地，“应用”可以互换地成为“工作流程”或简称“代理”。例如，诸如三维（3D）游戏的工作负载之类的工作负载可以包含并发出任何数量和类型的“帧”，其中每个帧可以表示图像（例如，帆船、人脸）。另外，每个帧可以包含并提供任何数量和类型的工作单元，其中每个工作单元可以表示由其对应的帧表示的图像（例如，帆船、人脸）的一部分（例如，帆船的桅杆、人脸的前额）。然而，为了一致起见，在本文档通篇，每个项可以由单个术语（例如，“分派”、“代理”等）引用。

在一些实施例中，像“显示屏”和“显示表面”之类的术语可以互换地用于指代显示装置的可见部分，而显示装置的其余部分可以被嵌入到计算装置（诸如智能手机、可穿戴装置等）中。可以预见并且要注意，实施例不限于任何具体计算装置、软件应用、硬件组件、显示装置、显示屏或表面、协议、标准等。例如，实施例可以应用于任何数量和类型的计算机（诸如台式计算机、膝上型计算机、平板计算机、智能电话、头戴式显示器和其他可穿戴装置等等）上的任何数量和类型的实时应用并与其一起使用。另外，例如，使用这种新颖技术渲染有效性能的场景可以在简单场景（例如桌面合成）到复杂场景（例如3D游戏、增强现实应用等）的范围内变化。

系统概述

图1是根据一实施例的处理系统100的框图。在各种实施例中，系统100包含一个或多个处理器102和一个或多个图形处理器108，并且可以是单处理器台式系统、多处理器工作站系统或者具有大量处理器102或处理器核107的服务器系统。在一个实施例中，系统100是合并在片上系统（SoC）集成电路内以供移动、手持或嵌入式装置使用的处理平台。

系统100的实施例能包含基于服务器的游戏平台、游戏控制台（包含游戏和媒体控制台、移动游戏控制台、手持游戏控制台或在线游戏控制台），或者合并在其内。在一些实施例中，系统100是移动电话、智能电话、平板计算装置或移动因特网装置。数据处理系统100还能包含可穿戴装置（诸如智能手表可穿戴装置、智能眼镜装置、增强现实装置或虚拟现实装置），与其耦合，或者集成在其内。在一些实施例中，数据处理系统100是具有一个或多个处理器102以及由一个或多个图形处理器108生成的图形界面的电视或机顶盒装置。

在一些实施例中，一个或多个处理器102各包含一个或多个处理器核107以处理指令，所述指令当被执行时执行系统和用户软件的操作。在一些实施例中，一个或多个处理器核107中的每个都配置成处理特定指令集109。在一些实施例中，指令集109可促进复杂指令集计算（CISC）、精简指令集计算（RISC）或经由超长指令字(VLIW)的计算。多个处理器核107可各处理不同指令集109，其可包含用于促进其它指令集的仿真的指令。处理器核107还可包含其它处理装置，诸如数字信号处理器(DSP)。

在一些实施例中，处理器102包含高速缓冲存储器104。取决于架构，处理器102可具有单个内部高速缓存或多级内部高速缓存。在一些实施例中，高速缓冲存储器在处理器102的各种组件之间共享。在一些实施例中，处理器102还使用外部高速缓存（例如3级（L3）高速缓存或末级高速缓存（LLC））（未示出），其可使用已知高速缓存一致性技术在处理器核107之间共享。寄存器堆106此外被包含在处理器102中，处理器102可包含用于存储不同类型数据的不同类型寄存器（例如整数寄存器、浮点寄存器、状况寄存器和指令指针寄存器）。一些寄存器可以是通用寄存器，而其它寄存器可以是对处理器102的设计特定的。

在一些实施例中，处理器102与处理器总线110耦合，以在处理器102与系统100中的其它组件之间传送通信信号，诸如地址、数据或控制信号。在一个实施例中，系统100使用示范“中枢”系统架构，包含存储器控制器中枢116和输入输出（I/O）控制器中枢130。存储器控制器中枢116促进存储器装置与系统100的其它组件之间的通信，而I/O控制器中枢（ICH）130提供经由本地I/O总线到I/O装置的连接。在一个实施例中，存储器控制器中枢116的逻辑被集成在处理器内。

存储器装置120能是动态随机存取存储器（DRAM）装置、静态随机存取存储器（SRAM）装置、闪存装置、相变存储器装置或者具有充当过程存储器的适合性能的某一其它存储器装置。在一个实施例中，存储器装置120能为系统100的系统存储器操作以存储数据122和指令121，以便当所述一个或多个处理器102执行应用或过程时使用。存储器控制器中枢116还与可选的外部图形处理器112耦合，外部图形处理器112可与处理器102中的一个或多个图形处理器108通信以执行图形和媒体操作。

在一些实施例中，ICH 130使外设能够经由高速I/O总线连接到存储器装置120和处理器102。I/O外设包含但不限于音频控制器146、固件接口128、无线收发器126（例如Wi-Fi、蓝牙）、数据存储装置124（例如硬盘驱动器、闪存等）以及用于将传统（例如个人系统2(PS/2)）装置耦合到系统的传统I/O控制器140。一个或多个通用串行总线（USB）控制器142连接输入装置，诸如键盘和鼠标144组合。网络控制器134也可与ICH 130耦合。在一些实施例中，高性能网络控制器（未示出）与处理器总线110耦合。将认识到，所示出的系统100是示范性的而非限制的，因为也可使用被不同配置的其它类型数据处理系统。例如，I/O控制器中枢130可被集成在所述一个或多个处理器102内，或者存储器控制器中枢116和I/O控制器中枢130可被集成到分立外部图形处理器（诸如外部图形处理器112）中。

图2是具有一个或多个处理器核202A-202N、集成存储器控制器214和集成图形处理器208的处理器200的实施例的框图。具有与本文任何其它附图的元件相同的附图标记（或者名称）的图2的那些元件能以与本文别处所描述的方式相似的任何方式操作或运作，但不限于此。处理器200能包含附加的核，多达并且包含由虚线框表示的附加的核202N。处理器核202A-202N的每个都包含一个或多个内部高速缓存单元204A-204N。在一些实施例中，每个处理器核还可以存取一个或多个共享高速缓存单元206。

内部高速缓存单元204A-204N和共享高速缓存单元206表示处理器200内的高速缓冲存储器层级。高速缓冲存储器层级可包含每个处理器核内的至少一级指令和数据高速缓存以及一级或更多级共享中间级高速缓存（诸如2级(L2)、3级(L3)、4级(L4)或其它级高速缓存），其中在外部存储器前面的最高级高速缓存被分类为LLC。在一些实施例中，高速缓存一致性逻辑保持各种高速缓存单元206与204A-204N之间的一致性。

在一些实施例中，处理器200还可包含一组一个或多个总线控制器单元216和系统代理核210。一个或多个总线控制器单元216管理一组外设总线，诸如一个或多个外设组件互连总线（例如PCI、PCI Express）。系统代理核210提供各种处理器组件的管理功能性。在一些实施例中，系统代理核210包含一个或多个集成存储器控制器214以管理对各种外部存储器装置（未示出）的存取。

在一些实施例中，处理器核202A-202N中的一个或多个包含对于同时多线程的支持。在此类实施例中，系统代理核210包含用于在多线程处理期间协调和操作核202A-202N的组件。系统代理核210此外可包含功率控制单元（PCU），其包含调节图形处理器208和处理器核202A-202N的功率状态的组件和逻辑。

在一些实施例中，处理器200此外包含执行图形处理操作的图形处理器208。在一些实施例中，图形处理器208耦合到该组共享高速缓存单元206以及系统代理核210，其包含一个或多个集成存储器控制器214。在一些实施例中，显示器控制器211与图形处理器208耦合以将图形处理器输出驱动到一个或多个耦合的显示器。在一些实施例中，显示器控制器211可以是经由至少一个互连与图形处理器耦合的单独模块，或者可被集成在图形处理器208或系统代理核210内。

在一些实施例中，使用基于环的互连单元212耦合处理器200的内部组件。然而，可使用备选互连单元，诸如点对点互连、交换互连或者其它技术，包含本领域众所周知的技术。在一些实施例中，图形处理器208经由I/O链路213与环互连212耦合。

示范I/O链路213表示多种I/O互连中的至少一种，包含封装上I/O互连，其促进各种处理器组件与高性能嵌入式存储器模块218（诸如eDRAM模块）之间的通信。在一些实施例中，处理器核202A-202N中的每个和图形处理器208都使用嵌入式存储器模块218作为共享末级高速缓存。

在一些实施例中，处理器核202A-202N是执行相同指令集架构的同质核。在另一实施例中，处理器核202A-202N在指令集架构(ISA)方面是异质的，其中处理器核202A-202N中的一个或多个执行第一指令集，而至少一个其它核执行第一指令集的子集或者不同指令集。在一个实施例中，处理器核202A-202N在微架构方面是异质的，其中具有相对更高功耗的一个或多个核与具有较低功耗的一个或多个功率核耦合。此外，处理器200能被实现在一个或多个芯片上，或者实现为具有图示的组件还有其它组件的SoC集成电路。

图3是图形处理器300的框图，其可以是分立图形处理单元，或者可以是与多个处理核集成的图形处理器。在一些实施例中，图形处理器经由到图形处理器上寄存器的存储器映射的I/O接口并用放入处理器存储器中的命令通信。在一些实施例中，图形处理器300包含用于存取存储器的存储器接口314。存储器接口314能是到本地存储器、一个或多个内部高速缓存、一个或多个共享外部高速缓存和/或系统存储器的接口。

在一些实施例中，图形处理器300还包含显示器控制器302以将显示器输出数据驱动到显示器装置320。显示器控制器302包含用于用户界面元素或视频的多层的合成以及显示器的一个或多个覆盖平面的硬件。在一些实施例中，图形处理器300包含视频编解码器引擎306以将媒体编码到一个或多个媒体编码格式、从一个或多个媒体编码格式解码媒体、或者在一个或多个媒体编码格式之间对媒体进行代码转换，所述编码格式包含但不限于运动画面专家组（MPEG）格式（诸如MPEG-2）、高级视频译码（AVC）格式（诸如H.264/MPEG-4 AVC）以及电影与电视工程师学会(SMPTE)421M/VC-1和联合影像专家组(JPEG)格式（诸如JPEG）以及运动JPEG (MJPEG)格式。

在一些实施例中，图形处理器300包含块图像传输（BLIT）引擎304以执行二维(2D)光栅化器操作，例如包含位边界块传输。然而，在一个实施例中，使用图形处理引擎(GPE)310的一个或多个组件执行2D图形操作。在一些实施例中，GPE 310是用于执行图形操作（包含三维（3D）图形操作和媒体操作）的计算引擎。

在一些实施例中，GPE 310包含用于执行3D操作（诸如使用对3D基元形状（例如长方形、三角形等）起作用的处理功能渲染三维图像和场景）的3D流水线312。3D流水线312包含可编程和固定功能元件，它们执行元件内的各种任务，和/或产生到3D/媒体子系统315的执行线程。虽然3D流水线312能用于执行媒体操作，但GPE 310的实施例还包含特别用于执行诸如视频后处理和图像增强的媒体操作的媒体流水线316。

在一些实施例中，媒体流水线316包含固定功能或可编程逻辑单元，以代替或代表视频编解码器引擎306执行一个或多个专用媒体操作，诸如视频解码加速、视频去交织以及视频编码加速。在一些实施例中，媒体流水线316此外包含线程产生单元，以产生用于在3D/媒体子系统315上执行的线程。所产生的线程对包含在3D/媒体子系统315中的一个或多个图形执行单元执行媒体操作的计算。

在一些实施例中，3D/媒体子系统315包含用于执行由3D流水线312和媒体流水线316产生的线程的逻辑。在一个实施例中，流水线将线程执行请求发送到3D媒体子系统315，其包含用于仲裁各种请求和分派各种请求给可用的线程执行资源的线程分派逻辑。执行资源包含处理3D和媒体线程的图形执行单元阵列。在一些实施例中，3D/媒体子系统315包含用于线程指令和数据的一个或多个内部高速缓存。在一些实施例中，子系统还包含共享存储器，包含寄存器和可寻址存储器以在线程之间共享数据并存储输出数据。

图形处理引擎

图4是按照一些实施例的图形处理器的图形处理引擎410的框图。在一个实施例中，图形处理引擎(GPE)410是在图3中示出的GPE 310的版本。具有与本文任何其它附图的元件相同的附图标记（或者名称）的图4的元件能以与本文别处所描述的方式相似的任何方式操作或运作，但不限于此。例如，图示了图3的3D流水线312和媒体流水线316。媒体流水线316在GPE 410的一些实施例中是可选的，并且可以不明确地包含在GPE 410内。例如，并且在至少一个实施例中，单独的媒体和/或图像处理器耦合到GPE 410。

在一些实施例中，GPE 410耦合或包含命令流播器403，命令流播器403将命令流提供给3D流水线312和/或媒体流水线316。在一些实施例中，命令流播器403与存储器耦合，存储器能是系统存储器，或者内部高速缓冲存储器和共享高速缓冲存储器中的一个或多个。在一些实施例中，命令流播器403从存储器接收命令，并将命令发送到3D流水线312和/或媒体流水线316。命令是从环缓冲器提取的指令，环缓冲器存储用于3D 流水线312和媒体流水线316的命令。在一个实施例中，环缓冲器此外能包含存储批量多命令的批命令缓冲器。用于3D流水线312的命令也能包含对存储在存储器中的数据的参考，诸如但不限于用于3D流水线312的顶点和几何数据和/或用于媒体流水线316的图像数据和存储器对象。3D流水线312和媒体流水线316通过经由相应流水线内的逻辑执行操作或者通过向图形核阵列414分派一个或多个执行线程来处理命令和数据。

在各种实施例中，3D流水线312能通过处理指令并向图形核阵列414分派执行线程来执行一个或多个着色器程序，诸如顶点着色器、几何着色器、像素着色器、片段着色器、计算着色器或其它着色器程序。图形核阵列414提供执行资源的统一块。图形核阵列414内的多用途执行逻辑（例如执行单元）包含对于各种3D API着色器语言的支持，并且能执行与多个着色器关联的多个同时执行线程。

在一些实施例中，图形核阵列414还包含执行媒体功能（诸如视频和/或图像处理）的执行逻辑。在一个实施例中，执行单元此外包含可编程为除图形处理操作之外还执行并行通用计算操作的通用逻辑。通用逻辑能与图2中的核202A-202N或图1的(一个或多个)处理器核107内的通用逻辑并行或者协力执行处理操作。

由在图形核阵列414上执行的线程所生成的输出数据能将数据输出到统一返回缓冲器(URB)418中的存储器。URB 418能存储用于多线程的数据。在一些实施例中，URB 418可用于在图形核阵列414上执行的不同线程之间发送数据。在一些实施例中，URB 418此外可用于在共享功能逻辑420内的固定功能逻辑与图形核阵列上的线程之间的同步。

在一些实施例中，图形核阵列414是可缩放的，使得阵列包含可变数量的图形核，每个图形核都具有基于GPE 410的目标功率和性能级别的可变数量的执行单元。在一个实施例中，执行资源动态可缩放，使得执行资源可根据需要启用或禁用。

图形核阵列414与包含在图形核阵列中的图形核之间共享的多个资源的共享功能逻辑420耦合。共享功能逻辑420内的共享功能是向图形核阵列414提供专用补充功能性的硬件逻辑单元。在各种实施例中，共享功能逻辑420包含但不限于采样器421、数学422和线程间通信（ITC）423逻辑。此外，一些实施例实现共享功能逻辑420内的一个或多个高速缓存425。在针对给定专用功能的需求不足以包括在图形核阵列414内的情况下实现共享功能。相反，那个专用功能的单个实例化被实现为共享功能逻辑420中的独立实体，并且在图形核阵列414内的执行资源之间共享。在图形核阵列414之间共享并且包含在图形核阵列414的那组精确功能在实施例之间变化。

图5是图形处理器500的另一实施例的框图。具有与本文任何其它附图的元件相同的附图标记（或者名称）的图5的元件能以与本文别处所描述的方式相似的任何方式操作或运作，但不限于此。

在一些实施例中，图形处理器500包含环互连502、流水线前端504、媒体引擎537和图形核580A-580N。在一些实施例中，环互连502将图形处理器耦合到其它处理单元，包含其它图形处理器或一个或多个通用处理器核。在一些实施例中，图形处理器是集成在多核处理系统内的许多处理器中的一个。

在一些实施例中，图形处理器500经由环互连502接收批量命令。传入命令由流水线前端504中的命令流播器503解释。在一些实施例中，图形处理器500包含可缩放执行逻辑以经由(一个或多个)图形核580A-580N执行3D几何处理和媒体处理。对于3D几何处理命令，命令流播器503将命令提供给几何流水线536。对于至少一些媒体处理命令，命令流播器503将命令提供给视频前端534，其与媒体引擎537耦合。在一些实施例中，媒体引擎537包含用于视频和图像后处理的视频质量引擎(VQE)530以及提供硬件加速的媒体数据编码和解码的多格式编码/解码(MFX) 533引擎。在一些实施例中，几何流水线536和媒体引擎537各生成用于由至少一个图形核580A提供的线程执行资源的执行线程。

在一些实施例中，图形处理器500包含以模块化核580A-580N（有时称为核切片）为特征的可缩放线程执行资源，每个模块化核具有多个子核550A-550N、560A-560N（有时称为核子切片）。在一些实施例中，图形处理器500能具有任何数量的图形核580A至580N。在一些实施例中，图形处理器500包含至少具有第一子核550A和第二子核560A的图形核580A。在其它实施例中，图形处理器是具有单个子核（例如550A）的低功率处理器。在一些实施例中，图形处理器500包含多个图形核580A-580N，每个图形核包含一组第一子核550A-550N和一组第二子核560A-560N。该组第一子核550A-550N中的每个子核至少包含第一组执行单元552A-552N和媒体/纹理采样器554A-554N。该组第二子核560A-560N中的每个子核至少包含第二组执行单元562A-562N和采样器564A-564N。在一些实施例中，每个子核550A-550N、560A-560N共享一组共享资源570A-570N。在一些实施例中，共享资源包含共享高速缓冲存储器和像素操作逻辑。其它共享资源也可包含在图形处理器的各种实施例中。

执行单元；

图6图示了包含在GPE的一些实施例中采用的处理元件阵列的线程执行逻辑600。具有与本文任何其它附图的元件相同的附图标记（或者名称）的图6的元件能以与本文别处所描述的方式相似的任何方式操作或运作，但不限于此。

在一些实施例中，线程执行逻辑600包含着色器处理器602、线程分派器604、指令高速缓存606、包含多个执行单元608A-608N的可缩放执行单元阵列、采样器610、数据高速缓存612和数据端口614。在一个实施例中，可缩放执行单元阵列能通过基于工作负载的计算要求启用或禁用一个或多个执行单元（例如，执行单元608A、608B、608C、608D至608N-1和608N中的任何一个）来动态缩放。在一个实施例中，所包含的组件经由链接到每一个组件的互连组构互连。在一些实施例中，线程执行逻辑600包含通过指令高速缓存606、数据端口614、采样器610和执行单元608A-608N中的一个或多个到存储器（诸如系统存储器或高速缓冲存储器）的一个或多个连接。在一些实施例中，每个执行单元（例如608A）是独立的可编程通用计算单元，其能够执行多个同时的硬件线程，同时为每个线程并行处理多个数据元素。在各种实施例中，执行单元608A-608N的阵列可缩放以包括任何数量的单独执行单元。

在一些实施例中，执行单元608A-608N首要用于执行着色器程序。着色器处理器602能处理各种着色器程序，并经由线程分派器604分派与着色器程序相关联的执行线程。在一个实施例中，线程分派器包括用于仲裁来自图形和媒体流水线的线程发起请求并在执行单元608A-608N中的一个或多个执行单元上实例化所请求的线程的逻辑。例如，几何流水线（例如，图5的536）能将顶点、曲面细分或几何着色器分派给线程执行逻辑600（图6）进行处理。在一些实施例中，线程分派器604还能处理来自正在执行的着色器程序的运行时间线程产生请求。

在一些实施例中，执行单元608A-608N支持包含对于许多标准3D图形着色器指令的本机支持的指令集，使得用最少的翻译执行来自图形库（例如Direct3D 和OpenGL）的着色器程序。执行单元支持顶点和几何处理（例如顶点程序、几何程序、顶点着色器）、像素处理（例如像素着色器、片段着色器）和通用处理（例如计算和媒体着色器）。每个执行单元608A-608N能够进行多发单指令多数据（SIMD）执行，并且多线程操作在面对更高时延的存储器存取时实现有效的执行环境。每个执行单元内的每个硬件线程都具有专用高带宽寄存器堆和关联的独立线程状态。对于能够进行整数、单精度和双精度浮点运算、SIMD分支能力、逻辑运算、超越运算和其他混杂运算的流水线，每时钟执行多发。在等待来自存储器或共享功能之一的数据时，执行单元608A-608N内的相关性逻辑使等待线程休眠，直到所请求的数据已经被返回。在等待线程休眠时，硬件资源可致力于处理其他线程。例如，在与顶点着色器操作关联的延迟期间，执行单元能执行对于像素着色器、片段着色器或其他类型着色器程序的操作，包括不同的顶点着色器。

执行单元608A-608N中的每个执行单元都在数据元素阵列上操作。数据元素的数量是“执行大小”，或者用于指令的通道数量。执行通道是用于指令内的流程控制、屏蔽、数据元素存取的执行的逻辑单元。通道的数量可独立于用于具体图形处理器的浮点单元（FPU）或物理算术逻辑单元（ALU）的数量。在一些实施例中，执行单元608A-608N支持整数和浮点数据类型。

执行单元指令集包含SIMD指令。各种数据元素能作为紧缩数据类型存储在寄存器中，并且执行单元将基于元素的数据大小处理各种元素。例如，当在256位宽的向量上进行操作时，向量的256位被存储在寄存器中，并且执行单元在作为4个单独的64位紧缩数据元素（四字（QW）大小数据元素）、8个单独的32位紧缩数据元素（双字（DW）大小数据元素）、16个单独的16位紧缩数据元素（字（W）大小数据元素）或32个单独的8位数据元素（字节（B）大小数据元素）的向量上操作。然而，不同的向量宽度和寄存器大小是有可能的。

一个或多个内部指令高速缓存（例如606）被包含在线程执行逻辑600中，以高速缓存执行单元的线程指令。在一些实施例中，包含一个或多个数据高速缓存（例如612）以在线程执行期间高速缓存线程数据。在一些实施例中，包含采样器610以提供用于3D操作的纹理采样和用于媒体操作的媒体采样。在一些实施例中，采样器610包含专用纹理或媒体采样功能性，以在向执行单元提供采样数据之前的采样过程期间处理纹理或媒体数据。

在执行期间，图形和媒体流水线经由线程产生和分派逻辑向线程执行逻辑600发送线程发起请求。一旦一组几何对象已经被处理，并且光栅化成像素数据，就调用着色器处理器602内的像素处理器逻辑（例如像素着色器逻辑、片段着色器逻辑等）以进一步计算输出信息，并使结果被写到输出接口（例如颜色缓冲器、深度缓冲器、模板缓冲器等）。在一些实施例中，像素着色器或片段着色器计算要跨光栅化对象内插的各种顶点属性的值。在一些实施例中，着色器处理器602内的像素处理器逻辑然后执行应用编程接口API提供的像素或片段着色器程序。为了执行着色器程序，着色器处理器602经由线程分派器604向执行单元（例如608A）分派线程。在一些实施例中，像素着色器602使用采样器610中的纹理采样逻辑存取存储在存储器中的纹理映射中的纹理数据。对纹理数据和输入几何数据的算术运算计算用于每个几何片段的像素颜色数据，或者从进一步的处理中丢弃一个或多个像素。

在一些实施例中，数据端口614提供用于线程执行逻辑600将处理的数据输出到存储器以便在图形处理器输出流水线上进行处理的存储器存取机制。在一些实施例中，数据端口614包含或耦合到一个或多个高速缓冲存储器（例如数据高速缓存612），以高速缓存数据以便经由数据端口进行存储器存取。

图7是图示根据一些实施例的图形处理器指令格式700的框图。在一个或多个实施例中，图形处理器执行单元支持具有多种格式的指令的指令集。实线框图示了一般被包含在执行单元指令中的组件，而虚线包含可选的或者仅包含在指令子集中的组件。在一些实施例中，图示和描述的指令格式700是宏指令，因为它们是提供给执行单元的指令，这与一旦指令被处理而由指令解码产生的微操作形成对照。

在一些实施例中，图形处理器执行单元本机支持以128位指令格式710的指令。64位紧凑指令格式730可用于基于选择的指令、指令选项和操作数的数量的一些指令。本机128位指令格式710提供对所有指令选项的访问，而一些选项和操作被约束在64位格式730。在64位格式730中可用的本机指令按实施例变化。在一些实施例中，部分使用索引字段713中的一组索引值使指令紧凑。执行单元硬件参考基于索引值的一组紧凑表，并使用紧凑表输出来重构采用128位指令格式710的本机指令。

对于每种格式，指令操作码712都定义执行单元要执行的操作。执行单元跨每个操作数的多数据元素并行执行每个指令。例如，响应于加指令，执行单元跨表示纹理元素或画面元素的每个颜色通道，执行同时加操作。默认，执行单元跨操作数的所有数据通道执行每个指令。在一些实施例中，指令控制字段714使能够对某些执行选项（诸如通道选择（例如预测）和数据通道次序（例如搅和）进行控制。对于128位指令格式710中的指令，执行大小字段716限制将并行执行的数据通道的数量。在一些实施例中，执行大小字段716对于用于64位紧凑指令格式730是不可用的。

一些执行单元指令具有多达3个操作数，包含2个源操作数、src0 720、src1 722和一个目的地718。在一些实施例中，执行单元支持双目的地指令，其中暗示目的地之一。数据操纵指令能具有第三源操作数（例如SRC2 724），其中指令操作码712确定源操作数的数量。指令的最后一个源操作数能是用指令传递的立即（例如硬编码）值。

在一些实施例中，128位指令格式710包含例如规定是使用直接寄存器寻址模式还是间接寄存器寻址模式的存取/寻址模式字段726。当使用直接寄存器寻址模式时，一个或多个操作数的寄存器地址由指令中的位直接提供。

在一些实施例中，128位指令格式710包含存取/寻址模式字段726，其规定用于指令的寻址模式和/或存取模式。在一个实施例中，使用存取模式定义用于指令的数据存取对齐。一些实施例支持包含16字节对齐的存取模式和1字节对齐的存取模式的存取模式，其中存取模式的字节对齐确定指令操作数的存取对齐。例如，当在第一模式中时，指令对于源和目的地操作数可使用字节对齐的寻址，而当在第二模式中时，指令对于所有源和目的地操作数可使用16字节对齐的寻址。

在一个实施例中，存取/寻址模式字段726的寻址模式部分确定指令是使用直接还是间接寻址。当使用直接寄存器寻址模式时，指令中的位直接提供一个或多个操作数的寄存器地址。当使用间接寄存器寻址模式时，可基于指令中的地址立即数字段和地址寄存器值计算一个或多个操作数的寄存器地址。

在一些实施例中，指令基于操作码（712）位字段进行编组以简化操作码解码740。对于8位操作码，位4、5和6允许执行单元确定操作码类型。示出的精确操作码编组仅仅是示例。在一些实施例中，移动和逻辑操作码组742包含数据移动和逻辑指令（例如移动（mov）、比较（cmp））。在一些实施例中，移动和逻辑组742共享5个最高有效位（MSB），其中移动(mov)指令以0000xxxxb形式，而逻辑指令以0001xxxxb形式。流程控制指令组744（例如调用、跳（jmp)）包含以0010xxxxb (例如0x20)形式的指令。混杂指令组746包含指令的混合，包含以0011xxxxb(例如0x30)形式的同步指令（例如等待、发送）。并行数学指令组748包含以0100xxxxb(例如0x40)形式的逐个分量的算术指令（例如加、乘(mul)）。并行数学组748跨数据通道并行执行算术操作。向量数学组750包含以0101xxxxb(例如0x50)形式的算术指令（例如dp4）。向量数学组执行诸如对向量操作数的点积计算的算术。

图形流水线

图8是图形处理器800的另一实施例的框图。具有与本文任何其它附图的元件相同的附图标记（或者名称）的图8的元件能以与本文别处所描述的方式相似的任何方式操作或运作，但不限于此。

在一些实施例中，图形处理器800包含图形流水线820、媒体流水线830、显示器引擎840、线程执行逻辑850和渲染输出流水线870。在一些实施例中，图形处理器800是包含一个或多个通用处理核的多核处理系统内的图形处理器。图形处理器由到一个或多个控制寄存器（未示出）的寄存器写控制，或凭借经由环互连802向图形处理器800发出的命令控制。在一些实施例中，环互连802将图形处理器800耦合到其它处理组件，诸如其它图形处理器或通用处理器。来自环互连802的命令由命令流播器803解释，命令流播器803将指令提供给媒体流水线830或图形流水线820的各个组件。

在一些实施例中，命令流播器803指导顶点提取器805的操作，顶点提取器从存储器读取顶点数据，并执行由命令流播器803提供的顶点处理命令。在一些实施例中，顶点提取器805将顶点数据提供给顶点着色器807，顶点着色器807对每个顶点执行坐标空间变换和照明操作。在一些实施例中，顶点提取器805和顶点着色器807通过经由线程分派器831向执行单元852A-852B分派执行线程来执行顶点处理指令。

在一些实施例中，执行单元852A-852B是具有用于执行图形和媒体操作的指令集的向量处理器阵列。在一些实施例中，执行单元852A-852B具有附连的L1高速缓存851，其对于每个阵列是特定的，或者在阵列之间共享。高速缓存能被配置为数据高速缓存、指令高速缓存或单个高速缓存，其被分区成在不同分区中含有数据和指令。

在一些实施例中，图形流水线820包含曲面细分组件以执行3D对象的硬件加速曲面细分。在一些实施例中，可编程外壳着色器811配置曲面细分操作。可编程域着色器817提供曲面细分输出的后端评估，其中曲面细分器813在外壳着色器811的方向操作，并且含有专用逻辑以基于作为到图形流水线820的输入而提供的粗略几何模型生成一组详细的几何对象。在一些实施例中，如果未使用曲面细分，则能旁路曲面细分组件（例如外壳着色器811、曲面细分器813和域着色器817）。

在一些实施例中，完整几何对象能由几何着色器819经由分派给执行单元852A-852B的一个或多个线程进行处理，或者能直接前往修剪器829。在一些实施例中，几何着色器操作在整个几何对象上，而不是与图形流水线的先前阶段一样操作在顶点上或顶点的贴片上。如果曲面细分被禁用，则几何着色器819从顶点着色器807接收输入。在一些实施例中，如果曲面细分单元被禁用，则几何着色器819由几何着色器程序可编程以执行几何曲面细分。

在光栅化之前，修剪器829处理顶点数据。修剪器829可以是具有修剪和几何着色器功能的可编程修剪器或固定功能修剪器。在一些实施例中，渲染输出流水线870中的光栅化器和深度测试组件873分派像素着色器以将几何对象转换成它们的每像素表示。在一些实施例中，像素着色器逻辑被包含在线程执行逻辑850中。在一些实施例中，应用能旁路光栅化器和深度测试组件873，并经由流出单元823存取未光栅化的顶点数据。

图形处理器800具有互连总线、互连组构或允许数据和消息在处理器的主要组件之间传递的某一其它互连机制。在一些实施例中，执行单元852A-852B和关联的(一个或多个)高速缓存851、纹理和媒体采样器854以及纹理/采样器高速缓存858经由数据端口856互连以执行存储器存取，并与处理器的渲染输出流水线组件通信。在一些实施例中，采样器854、高速缓存851、858和执行单元852A-852B各具有单独的存储器存取路径。

在一些实施例中，渲染输出流水线870含有光栅化器和深度测试组件873，该组件将基于顶点的对象转换成关联的基于像素的表示。在一些实施例中，光栅化器逻辑包含视窗/屏蔽器单元以执行固定功能三角形或线光栅化。在一些实施例中，关联的渲染高速缓存878和深度高速缓存879也是可用的。像素操作组件877在数据上执行基于像素的操作，不过在一些实例中，与2D操作关联的像素操作（例如具有混合的位块图像传输）由2D引擎841执行，或者在显示时间由显示器控制器843使用覆盖显示器平面替代。在一些实施例中，共享L3高速缓存875对所有图形组件都可用，允许在不使用主系统存储器的情况下共享数据。

在一些实施例中，图形处理器媒体流水线830包含媒体引擎837和视频前端834。在一些实施例中，视频前端834从命令流播器803接收流水线命令。在一些实施例中，媒体流水线830包含单独的命令流播器。在一些实施例中，在将命令发送到媒体引擎837之前，视频前端834处理媒体命令。在一些实施例中，媒体引擎837包含线程产生功能性以产生用于经由线程分派器831分派到线程执行逻辑850的线程。

在一些实施例中，图形处理器800包含显示器引擎840。在一些实施例中，显示器引擎840在处理器800外部，并经由环互连802或某一其它互连总线或组构与图形处理器耦合。在一些实施例中，显示器引擎840包含2D引擎841和显示器控制器843。在一些实施例中，显示器引擎840含有能够独立于3D流水线而操作的专用逻辑。在一些实施例中，显示器控制器843与显示器装置（未示出）耦合，显示器装置可与在膝上型计算机中一样是系统集成的显示器装置，或者是经由显示器装置连接器附连的外部显示器装置。

在一些实施例中，图形流水线820和媒体流水线830可配置成基于多个图形和媒体编程接口执行操作，并且对任一个应用编程接口（API）都不是特定的。在一些实施例中，用于图形处理器的驱动软件将对具体图形或媒体库特定的API调用翻译成能由图形处理器处理的命令。在一些实施例中，为全都来自Khronos Group的开放图形库（OpenGL）、开放计算语言（OpenCL）和/或Vulkan图形和计算API提供支持。在一些实施例中，还可以为来自微软公司的Direct3D库提供支持。在一些实施例中，可以支持这些库的组合。还可以为开放源计算机视觉库(OpenCV)提供支持。如果能从将来API的流水线向图形处理器的流水线进行映射，则也将支持具有可兼容3D流水线的将来API。

图形流水线编程

图9A是图示根据一些实施例的图形处理器命令格式900的框图。图9B是图示根据一实施例的图形处理器命令序列910的框图。图9A中的实线框图示了一般被包含在图形命令中的组件，而虚线包含是可选的或者仅被包含在图形命令子集中的组件。图9A的示范性图形处理器命令格式900包含数据字段以标识命令的目标客户端902、命令操作代码（操作码）904以及命令的相关数据906。在一些命令中还包含子操作码905和命令大小908。

在一些实施例中，客户端902规定处理命令数据的图形装置的客户端单元。在一些实施例中，图形处理器命令解析器检查每个命令的客户端字段，以调节命令的进一步处理，并将命令数据路由到适当客户端单元。在一些实施例中，图形处理器客户端单元包含存储器接口单元、渲染单元、2D单元、3D单元和媒体单元。每个客户端单元都具有处理命令的对应处理流水线。一旦客户端单元接收到命令，客户端单元就读取操作码904，还有子操作码905（如果存在的话），以确定要执行的操作。客户端单元使用数据字段906中的信息执行命令。对于一些命令，期望明确命令大小908规定命令的大小。在一些实施例中，命令解析器基于命令操作码自动确定至少一些命令的大小。在一些实施例中，命令经由多倍双字对齐。

图9B中的流程图示出了示范图形处理器命令序列910。在一些实施例中，以图形处理器的实施例为特征的数据处理系统的软件或固件使用示出的命令序列的版本来设立、执行和终止一组图形操作。仅为了示例目的示出并描述了样本命令序列，因为实施例不限于这些特定命令或者此命令序列。而且，命令可作为命令序列中的批量命令发出，使得图形处理器将以至少部分同时发生的方式处理命令序列。

在一些实施例中，图形处理器命令序列910可开始于流水线转储清除命令912，以使任何活动图形流水线完成用于流水线的当前未决的命令。在一些实施例中，3D流水线922和媒体流水线924不同时操作。执行流水线转储清除以使活动图形流水线完成任何未决的命令 。响应于流水线转储清除，用于图形处理器的命令解析器将暂停命令处理，直到活动绘画引擎完成未决的操作，并使相关读高速缓存无效。可选地，渲染高速缓存中被标记为‘脏’的任何数据可以被转储清除到存储器。在一些实施例中，对于流水线同步，或者在使图形处理器处于低功率状态之前，能使用流水线转储清除命令912。

在一些实施例中，当命令序列要求图形处理器在流水线之间明确切换时，使用流水线选择命令913。在一些实施例中，流水线选择命令913在发出流水线命令之前在执行上下文内仅需要一次，除非上下文是发出用于全部两个流水线的命令。在一些实施例中，在经由流水线选择命令913的流水线切换之前，立即需要流水线转储清除命令912。

在一些实施例中，流水线控制命令914配置图形流水线以用于操作，并且用于对3D流水线922和媒体流水线924编程。在一些实施例中，流水线控制命令914配置活动流水线的流水线状态。在一个实施例中，流水线控制命令914被用于流水线同步，并且在处理一批命令之前，从活动流水线内的一个或多个高速缓冲存储器中清除数据。

在一些实施例中，返回缓冲器状态命令916用于将相应流水线的一组返回缓冲器配置用于写数据。一些流水线操作需要分配、选择或配置操作在处理期间将中间数据写到的一个或多个返回缓冲器。在一些实施例中，图形处理器还使用一个或多个返回缓冲器来存储输出数据，并执行跨线程通信。在一些实施例中，返回缓冲器状态916包含选择要用于一组流水线操作的返回缓冲器的大小和数量。

命令序列中的剩余命令基于用于操作的活动流水线有所不同。基于流水线确定920，命令序列被调整成开始于3D流水线状态930的3D流水线922，或者开始于媒体流水线状态940的媒体流水线924。

配置3D流水线状态930的命令包含用于顶点缓冲器状态、顶点元素状态、恒定颜色状态、深度缓冲器状态以及在处理3D基元命令之前要配置的其它状态变量的3D状态设置命令。这些命令的值至少部分基于在使用的具体3D API来确定。在一些实施例中，3D流水线状态930命令也能够有选择地禁用或旁路某些流水线元素，如果那些元素不使用的话。

在一些实施例中，3D基元932命令用于提交要由3D流水线处理的3D基元。经由3D基元932命令传到图形处理器的命令和关联的参数被转发到图形流水线中的顶点提取功能。顶点提取功能使用3D基元932命令数据生成顶点数据结构。顶点数据结构被存储在一个或多个返回缓冲器中。在一些实施例中，3D基元932命令用于经由顶点着色器对3D基元执行顶点操作。为了处理顶点着色器，3D流水线922将着色器执行线程分派给图形处理器执行单元。

在一些实施例中，3D流水线922经由执行934命令或事件触发。在一些实施例中，寄存器写触发命令执行。在一些实施例中，经由命令序列中的“go”或“kick”命令触发执行。在一个实施例中，命令执行使用流水线同步命令触发以通过图形流水线来转储清除命令序列。3D流水线将执行对于3D基元的几何处理。一旦操作完成，所得到的几何对象被光栅化，并且像素引擎给所得到的像素着色。对于那些操作也可包含控制像素着色和像素后端操作的附加的命令。

在一些实施例中，当执行媒体操作时，图形处理器命令序列910遵循媒体流水线924路径。一般而言，媒体流水线924的编程的特定使用和方式取决于要执行的媒体或计算操作。特定媒体解码操作可在媒体解码期间被卸载到媒体流水线。在一些实施例中，媒体流水线也能被旁路，并且媒体解码能全部或部分使用由一个或多个通用处理核提供的资源执行。在一个实施例中，媒体流水线还包含用于通用图形处理器单元(GPGPU)操作的元素，其中图形处理器用于使用与图形基元的渲染不明确相关的计算着色器程序来执行SIMD向量运算。

在一些实施例中，媒体流水线924以与3D流水线922类似的方式进行配置。配置媒体流水线状态940的一组命令被分派或放入命令队列中媒体对象命令942前面。在一些实施例中，媒体流水线状态命令940包含配置将用于处理媒体对象的媒体流水线元素的数据。这包含配置媒体流水线内的视频解码和视频编码逻辑的数据，诸如编码或解码格式。在一些实施例中，媒体流水线状态命令940还支持将一个或多个指针用于“间接”状态元素，它们含有一批状态设置。

在一些实施例中，媒体对象命令942将指针提供给媒体对象以便由媒体流水线进行处理。媒体对象包含具有要处理的视频数据的存储器缓冲器。在一些实施例中，在发出媒体对象命令942之前，所有媒体流水线状态都必须有效。一旦配置了流水线状态并且对媒体对象命令942排队，就经由执行命令944或等效的执行事件（例如寄存器写）触发媒体流水线924。来自媒体流水线924的输出然后可由3D流水线922或媒体流水线924提供的操作进行后处理。在一些实施例中，GPGPU操作以与媒体操作相似的方式配置和执行。

图形软件架构

图10图示了根据一些实施例用于数据处理系统1000的示范图形软件架构。在一些实施例中，软件架构包含3D图形应用1010、操作系统1020和至少一个处理器1030。在一些实施例中，处理器1030包含图形处理器1032和一个或多个通用处理器核1034。图形应用1010和操作系统1020各在数据处理系统的系统存储器1050中执行。

在一些实施例中，3D图形应用1010含有包含着色器指令1012的一个或多个着色器程序。着色器语言指令可以用高级着色器语言，诸如高级着色器语言(HLSL)或OpenGL着色器语言(GLSL)。应用还包含用适合于由通用处理器核1034执行的机器语言的可执行指令1014。应用还包含由顶点数据定义的图形对象1016。

在一些实施例中，操作系统1020是来自微软公司的Microsoft® Windows®操作系统、专有类UNIX操作系统或使用Linux内核的变形的开放源类UNIX操作系统。操作系统1020能支持图形API 1022，诸如Direct3D API、OpenGL API或Vulkan API。当Direct3D API在使用时，操作系统1020使用前端着色器编译器1024将HLSL中的任何着色器指令1012编译成较低级着色器语言。编译可以是即时（JIT）编译，或者应用能执行着色器预编译。在一些实施例中，高级着色器在3D图形应用1010的编译期间被编译成低级着色器。在一些实施例中，着色器指令1012以中间形式提供，诸如由Vulkan API使用的标准便携式中间表示（SPIR）的版本。在一些实施例中，用户模式图形驱动1026含有后端着色器编译器1027以将着色器指令1012转换成硬件特定表示。当OpenGL API在使用时，用GLSL高级语言的着色器指令1012被传到用户模式图形驱动器1026进行编译。在一些实施例中，用户模式图形驱动器1026使用操作系统内核模式功能1028与内核模式图形驱动器1029通信。在一些实施例中，内核模式图形驱动器1029与图形处理器1032通信以分派命令和指令。

IP核实现

至少一个实施例的一个或多个方面可由存储在机器可读介质上表示和/或定义集成电路（诸如处理器）内逻辑的代表性代码实现。例如，机器可读介质可包含表示处理器内各种逻辑的指令。当由机器读取时，指令可使机器制作执行本文描述的技术的逻辑。称为“IP核”的此类表示是可作为描述集成电路结构的硬件模型存储在有形机器可读介质上的集成电路的逻辑的可再用单元。硬件模型可被提供给各种顾客或制造设施，它们将硬件模型加载在制造集成电路的制作机器上。集成电路可被制作成使得该电路执行结合本文描述的任何实施例描述的操作。

图11是图示根据一实施例可用于制造执行操作的集成电路的IP核开发系统1100的框图。IP核开发系统1100可用于生成能被并入到更大设计中或者用于构造整个集成电路（例如SOC集成电路）的模块化可再用设计。设计设施1130能用高级编程语言（例如C/C++）生成IP核设计的软件模拟1110。软件模拟1110能用于使用模拟模型1112设计、测试和验证IP核的行为。模拟模型1112可包含功能、行为和/或定时模拟。然后能从模拟模型1112中创建或合成寄存器传输级（RTL）设计1115。RTL设计1115是对硬件寄存器（包含使用建模的数字信号执行的关联逻辑）之间的数字信号流建模的集成电路的行为抽象。除RTL设计1115之外，还可创建、设计或合成在逻辑级或晶体管级的较低级设计。从而，初始设计和模拟的具体细节可改变。

RTL设计1115或等效方案可由设计设施进一步合成到硬件模型1120中，其可采取硬件描述语言（HDL），或者物理设计数据的某些其它表示。HDL可被进一步模拟或测试以验证IP核设计。能使用非易失性存储器1140（例如硬盘、闪存或任何非易失性存储介质）存储IP核设计，以便递送到第三方制作设施1165。备选地，可在有线连接1150或无线连接1160上（例如经由因特网）传送IP核设计。制作设施1165然后可制作集成电路，其至少部分基于IP核设计。所制作的集成电路能配置成执行按照本文描述的至少一个实施例的操作。

示范片上系统集成电路

图12-14图示了根据本文描述的各种实施例可使用一个或多个IP核制作的示范集成电路以及关联的图形处理器。除了所图示的，可包含其它逻辑和电路，包含附加的图形处理器/核、外设接口控制器或通用处理器核。

图12是图示根据一实施例可使用一个或多个IP核制作的示范片上系统集成电路1200的框图。示范集成电路1200包含一个或多个应用处理器1205（例如CPU）、至少一个图形处理器1210，并且此外可包含图像处理器1215和/或视频处理器1220，它们中任一个都可以是来自相同或多个不同设计设施的模块化IP核。集成电路1200包含外设或总线逻辑，包含USB控制器1225、UART控制器1230、SPI/SDIO控制器1235和I²S/I²C控制器1240。此外，集成电路能包含耦合到高清多媒体接口（HDMI）控制器1250和移动行业处理器接口（MIPI）显示器接口1255中的一个或多个的显示器装置1245。存储可由闪存子系统1260提供，包含闪存和闪存控制器。存储器接口可经由存储器控制器1265提供，以便存取SDRAM或SRAM存储器装置。一些集成电路此外包含嵌入式安全引擎1270。

图13是图示根据一实施例可使用一个或多个IP核制作的片上系统集成电路的示范图形处理器1310的框图。图形处理器1310能是图12的图形处理器1210的变形。图形处理器1310包含顶点处理器1305和一个或多个片段处理器1315A-1315N(例如1315A、1315B、1315C、1315D至1315N-1以及1315N)。图形处理器1310能经由单独逻辑执行不同着色器程序，使得顶点处理器1305被最优化成执行对于顶点着色器程序的操作，而一个或多个片段处理器1315A-1315N执行对于片段或像素着色器程序的片段（例如像素）着色操作。顶点处理器1305执行3D图形流水线的顶点处理阶段，并生成基元和顶点数据。(一个或多个)片段处理器1315A-1315N使用由顶点处理器1305生成的基元和顶点数据来产生显示在显示器装置上的帧缓冲器。在一个实施例中，(一个或多个)片段处理器1315A-1315N被最优化成执行在OpenGL API中所提供的片段着色器程序，其可用于执行与在Direct 3D API中所提供的像素着色器程序相似的操作。

图形处理器1310此外包含一个或多个存储器管理单元(MMU) 1320A-1320B、（一个或多个）高速缓存1325A-1325B和（一个或多个）电路互连1330A-1330B。一个或多个MMU1320A-1320B提供了用于集成电路1310（包含用于顶点处理器1305和/或（一个或多个）片段处理器1315A-1315N）的虚拟到物理地址映射，其除了存储在所述一个或多个高速缓存1325A-1325B中的顶点或图像/纹理数据之外，还可以参考存储在存储器中的顶点或图像/纹理数据。在一个实施例中，一个或多个MMU 1325A-1325B可与系统内的其它MMU同步，包含与图12的所述一个或多个应用处理器1205、图像处理器1215和/或视频处理器1220关联的一个或多个MMU同步，使得每个处理器1205-1220能参与共享或统一虚拟存储器系统。根据实施例，一个或多个电路互连1330A-1330B使图形处理器1310能够或者经由SoC的内部总线或者经由直接连接与SoC内的其它IP核对接。

图14是图示根据一实施例可使用一个或多个IP核制作的片上系统集成电路的附加示范图形处理器1410的框图。图形处理器1410能是图12的图形多处理器1210的变形。图形处理器1410包含图13的集成电路1300的所述一个或多个MMU 1320A-1320B、高速缓存1325A-1325B和电路互连1330A-1330B。

图形处理器1410包含一个或多个着色器核1415A-1415N (例如1415A、1415B、1415C、1415D、1415E、1415F至1315N-1以及1315N)，其提供了统一着色器核架构，其中单核或类型或核能执行所有类型的可编程着色器代码，包含实现顶点着色器、片段着色器和/或计算着色器的着色器程序代码。所存在的确切数量的着色器核能在实施例和实现之间改变。此外，图形处理器1410包括核间任务管理器1405，该管理器充当线程分派器以将执行线程分派给一个或多个着色器核1415A-1415N和平铺单元1418以加速对于基于片的渲染的平铺操作，其中在图像空间中细分对于场景的渲染操作，例如以利用场景内的局部空间相干性或者以优化内部高速缓存的使用。

图15图示了根据一个实施例的采用准确重新定位机制（“重新定位机制”）1510的计算装置1500。计算装置1500可包含自主机器或人工智能代理，诸如机械代理或机器、电子代理或机器、虚拟代理或机器、机电代理或机器等。自主机器或人工智能代理的示例可包含（而不限于）机器人、自主交通工具（例如，自驾驶车、自飞行飞机、自航行船等）、自主设备（自操作构造交通工具、自操作医疗设备等），和/或诸如此类。在此文档通篇，“计算装置”可被同义地称为“自主机器”或“人工智能代理”或简称“机器人”。

计算装置1500可进一步包含智能可穿戴装置、虚拟现实（VR）装置、头戴式显示器（HMD）、移动计算机、物联网（IoT）装置、膝上型计算机、台式计算机、服务器计算机等，并与图1的数据处理系统100类似或相同；因而，为了理解的简洁、清晰和容易起见，上面参考图1-14阐述的其中许多细节在下文未进一步论述或重复。如所图示的，在一个实施例中，计算装置1500被显示为托管重新定位机制1510。

如所图示的，在一个实施例中，重新定位机制1510可以由操作系统1506托管或者是其一部分。在另一个实施例中，重新定位机制1510可以由图形驱动1516托管或者是其一部分。在又另一个实施例中，重新定位机制1510可以由图形处理单元（“GPU”或“图形处理器”）1514的固件托管或者是其一部分。在又一个实施例中，重新定位机制1510可以由中央处理单元（“CPU”或“应用处理器”）1512的固件托管或者是其一部分。在又另一个实施例中，重新定位机制1510可以由上述组件的任何组合托管或者是其一部分，诸如重新定位机制1500的一部分可以由图形驱动1516托管为软件逻辑，而重定位机制1500的另一部分可以由图形处理器1514托管为硬件组件。

为了简洁、清晰和易于理解，在本文档的其余部分通篇，重新定位机制1510被示出和讨论为由操作系统1506托管；然而，实施例如此不限制。可以预见并且要注意，重新定位机制1510或其组件中的一个或多个可以被实现为硬件、软件和/或固件。

在文档通篇，术语“用户”可以可互换地称为“观众”、“观察者”、“人”、“个体”、“最终用户”等等。要注意，在此文档通篇，像“图形域”的术语可与“图形处理单元”、“图形处理器”或简单地“GPU”可互换地被提及，并且类似地，“CPU域”或“主机域”可与“计算机处理单元”、“应用处理器”或简单地“CPU”可互换地被提及。

计算装置1500可包含任何数量和类型的通信装置，诸如大计算系统，诸如服务器计算机、台式计算机等，并且可进一步包含机顶盒（例如基于因特网的有线电视机顶盒等）、基于全球定位系统（GPS）的装置等。计算装置1500可以包含充当通信装置的移动计算装置，诸如包含智能电话的蜂窝电话、个人数字助理（PDA）、平板计算机、膝上型计算机、电子阅读器、智能电视、电视平台、可穿戴装置（例如，眼镜、手表、手镯、智能卡、首饰、衣物等）、媒体播放器等。例如，在一个实施例中，计算装置1500可包含采用托管在单个芯片上集成了计算装置1500的各种硬件和/或软件组件的集成电路（“IC”）的计算机平台的移动计算装置，集成电路诸如片上系统(“SoC”或“SOC”)。

如所图示的，在一个实施例中，计算装置1500可包含任何数量和类型的硬件和/或软件组件，诸如（而非限制）GPU 1514、图形驱动器（也称为“GPU驱动器”、“图形驱动器逻辑”、“驱动器逻辑”、用户模式驱动器（UMD）、UMD、用户模式驱动器框架（UMDF）、UMDF或简称“驱动器”）1516、CPU 1512、存储器1508、网络装置、驱动器等等，以及输入/输出（I/O）源1504，诸如触摸屏、触摸板、触摸垫、虚拟或正规键盘、虚拟或正规鼠标、端口、连接器等。计算装置1500可包含充当用户和计算装置1500的硬件和/或物理资源之间的接口的操作系统(OS)1506。可以预见，CPU 1512可包含一个或多个处理器，诸如图1的（一个或多个）处理器102，而GPU 1514可包含一个或多个图形处理器，诸如图1的（一个或多个）图形处理器108。

要指出，像“节点”、“计算节点”、“服务器”、“服务器装置”、“云计算机”、“云服务器”、“云服务器计算机”、“机器”、“主机机器”、“装置”、“计算装置”、“计算机”、“计算系统”等术语在此文档通篇可互换地使用。要进一步指出，像“应用”、“软件应用”、“程序”、“软件程序”、“包”、“软件包”等术语在此文档通篇可互换使用。还有，像“作业”、“输入”、“请求”、“消息”等术语在此文档通篇可互换使用。

可以预见，并且如参考图1-14进一步描述的，如上面所描述的图形流水线的一些过程用软件实现，而其余过程用硬件实现。图形流水线可以用图形协处理器设计实现，其中CPU 1512被设计成与GPU 1514一起工作，GPU 1514可被包含在CPU 1512中或与其协同定位。在一个实施例中，GPU 1514可采用任何数量和类型的常规软件和硬件逻辑来执行与图形渲染相关的常规功能，以及新颖的软件和硬件逻辑来执行任何数量和类型的指令（诸如图1的指令121），以执行如此文档通篇所公开的重新定位机制1510的各种新颖功能。

如前面所提到的，存储器1508可包含包括具有对象信息的应用数据库的随机存取存储器（RAM）。存储器控制器中枢（诸如图1的存储器控制器中枢116）可存取RAM中的数据，并将它转发到GPU 1514以用于图形流水线处理。RAM可包含双数据速率RAM(DDR RAM)、扩展数据输出RAM(EDO RAM)等。CPU 1512与硬件图形流水线交互，如参考图3所图示的，以共享图形流水线功能性。处理的数据被存储在硬件图形流水线中的缓冲器中，并且状态信息被存储在存储器1508中。所得到的图像然后被传输到I/O源1504，诸如显示组件，诸如图3的显示装置320，以用于图像的显示。可以预见，显示装置可属于各种类型（诸如阴极射线管（CRT）、薄膜晶体管（TFT）、液晶显示器（LCD）、有机发光二极管（OLED）阵列等）以向用户显示信息。

存储器1508可包括缓冲器（例如帧缓冲器）的预先分配的区域；然而，本领域技术人员应该理解，实施例不如此限制，并且对较低图形流水线可存取的任何存储器都可使用。计算装置1500可进一步包含如在图1中所提及的输入/输出（I/O）控制中枢（ICH）150、一个或多个I/O源1504等。

CPU 1512可包含一个或多个处理器以执行指令以便执行计算系统实现的任何软件例程。指令频繁地参与对数据执行的某种操作。数据和指令两者都可以存储在系统存储器1508和任何关联的高速缓存中。高速缓存通常设计成比系统存储器1508具有更短的等待时间；例如，高速缓存可被集成到与（一个或多个）处理器相同的（一个或多个）硅芯片上，和/或用较快的静态RAM(SRAM)单元构造，同时系统存储器1508可能用较慢的动态RAM(DRAM)单元构造。通过倾向于将更频繁使用的指令和数据存储在高速缓存中，而不是系统存储器1508中，计算装置1500的总体性能效率改进了。可以预见，在一些实施例中，GPU1514可以作为CPU 1512的一部分（诸如物理CPU封装的一部分）存在，在此情况下，存储器1508可由CPU 1512和GPU 1514共享，或保持分开。

系统存储器1508可被使得对于计算装置1500内的其它组件可用。例如，从对计算装置1500的各种接口（例如键盘和鼠标、打印机端口、局域网（LAN）端口、调制解调器端口等）接收的或者从计算装置1500的内部存储元件（例如硬盘驱动器）中检索的任何数据（例如输入图形数据）在它们由一个或多个处理器在软件程序的实现中操作之前，经常在系统存储器1508中被暂时排队。类似地，软件程序确定应该从计算装置1500通过计算系统接口之一发送到外侧实体或者存储到内部存储元件中的数据在其被传送或存储之前，经常在系统存储器1508中被暂时排队。

另外，例如，ICH（诸如图1的ICH 130）可用于确保此类数据被恰当地在系统存储器1508与其适当的对应计算系统接口（以及内部存储装置，如果计算系统如此设计的话）之间传递，并且可在它自身与观测的I/O源/装置1504之间具有双向点对点链路。类似地，MCH（诸如图1的MCH 116）可用于管理对于在可相对于彼此在时间上接近地出现的CPU 1512和GPU1514、接口和内部存储元件之间的系统存储器1508存取的各种竞争请求。

I/O资源1504可包含一个或多个I/O装置，它们实现用于向和/或从计算装置1500（例如连网适配器）传输数据；或者用于计算装置1500内的大规模非易失性存储装置（例如硬盘驱动器）。用户输入装置，包含字母和其它键，可用于向GPU 1514传递信息和命令选择。另一种类型用户输入装置是光标控制，诸如鼠标、跟踪球、触摸屏、触摸垫或光标方向键，以向GPU 1514传递方向信息和命令选择，并控制显示装置上的光标移动。可采用计算机装置1500的相机和麦克风阵列观测手势、记录音频和视频并接收和传送视觉和音频命令。

计算装置1500可进一步包含（一个或多个）网络接口以提供对网络的访问，所述网络诸如LAN、广域网（WAN）、城域网（MAN）、个域网（PAN）、蓝牙、云网络、移动网络（例如第三代(3G)、第四代（4G）等）、内联网、因特网等。（一个或多个）网络接口例如可包含具有天线的无线网络接口，天线可表示一个或多个天线。（一个或多个）网络接口例如还可包含有线网络接口以经由网络电缆与远程装置通信，网络电缆例如可以是以太网电缆、同轴电缆、光纤电缆、串行电缆或并行电缆。

（一个或多个）网络接口例如可通过遵照IEEE 802.11b和/或IEEE 802.11g标准来提供对LAN的访问，和/或无线网络接口例如可通过遵照蓝牙标准来提供对个域网的访问。也可支持其它无线网络接口和/或协议，包含标准的先前版本和随后版本。除了经由无线LAN标准的通信之外或者作为替代，（一个或多个）网络接口例如可使用时分多址（TDMA）协议、全球移动通信系统（GSM）协议、码分多址（CDMA）协议和/或任何其它类型的无线通信协议提供无线通信。

（一个或多个）网络接口可包含一个或多个通信接口，诸如调制解调器、网络接口卡或其它众所周知的接口装置，诸如用于耦合到以太网、令牌环或为了提供支持例如LAN或WAN的通信链路的目的的其它类型物理有线或无线附件的接口装置。以此方式，计算机系统还可经由常规网络基础设施（例如包含内联网或因特网）耦合到若干外围装置、客户端、控制面、控制台或者服务器。

要认识到，比上面描述的示例更少或更多配备的系统可能对于某些实现是优选的。因此，计算装置1500的配置可取决于众多因素从实现到实现而变化，诸如价格限制、性能要求、技术上的改进或者其它境况。电子装置或计算机系统1500的示例可包含（而非限制）人工智能代理（例如机器人）、移动装置、个人数字助理、移动计算装置、智能电话、蜂窝电话、手机、单向寻呼机、双向寻呼机、消息传递装置、计算机、个人计算机（PC）、台式计算机、膝上型计算机、笔记本计算机、手持计算机、平板计算机、服务器、服务器阵列或服务器场、万维网服务器、网络服务器、因特网服务器、工作站、迷你计算机、主框架计算机、超计算机、网络设施、万维网设施、分布式计算系统、微处理器系统、基于处理器的系统、消费电子产品、可编程消费电子产品、电视、数字电视、机顶盒、无线接入点、基站、订户站、移动订户中心、无线电网络控制器、路由器、集线器、网关、桥、交换机、机器或它们的组合。

实施例可被实现为如下任一项或其组合：使用母板互连的一个或多个微芯片或集成电路、硬连线逻辑、由存储器装置存储并由微处理器执行的软件、固件、专用集成电路（ASIC）和/或现场可编程门阵列（FPGA）。术语“逻辑”作为示例可包含软件或硬件和/或软件和硬件的组合。

实施例例如可提供为计算机程序产品，计算机程序产品可包含其上存储了机器可执行指令的一个或多个机器可读介质，所述指令当由一个或多个机器（诸如计算机、计算机网络或其它电子装置）执行时可导致所述一个或多个机器实行按照本文描述的实施例的操作。机器可读介质可包含但不限于软盘、光盘、CD-ROM（压缩盘只读存储器）和磁光盘、ROM、RAM、EPROM（可擦除可编程只读存储器）、EEPROM（电可擦除可编程只读存储器）、磁卡或光卡、闪存或者适合用于存储机器可执行指令的其它类型介质/机器可读介质。

而且，实施例可被下载为计算机程序产品，其中程序可作为实施在载波或其它传播介质中的和/或由其调制的一个或多个数据信号，经由通信链路（例如调制解调器和/或网络连接）从远程计算机（例如服务器）传输到发出请求的计算机（例如客户端）。

图16图示了根据一个实施例的图15的重新定位机制1510。为了简洁起见，已经参考图1-15论述的许多细节在下文可以不论述或重复。在一个实施例中，重新定位机制1510可以包含任何数量和类型的组件，例如（而非限制）：检测/收集逻辑1601；选择/比较逻辑1603；处理/训练逻辑1605；执行/输出逻辑1607；以及通信/兼容性逻辑1609。

计算装置1500（例如，自动机器，诸如机器人、交通工具等）进一步示出为与一个或多个储存库、数据集和/或数据库（诸如（一个或多个）数据库1630（例如云存储、非云存储等））通信，其中（一个或多个）数据库1630可以通过（一个或多个）通信介质1625（诸如，一个或多个网络（例如，云网络、接近网络、移动网络、内联网、因特网等））驻留在本地存储装置或远程存储装置。

可以预见，在计算装置1500处运行的软件应用可以负责使用计算装置1500的一个或多个组件（例如，GPU 1514、图形驱动1516、CPU 1512等）来执行或促进任何数量和类型的任务的执行。当执行这样的任务时，如由软件应用所定义的，诸如GPU 1514、图形驱动1516、CPU 1512等的一个或多个组件可以彼此通信以确保准确且及时地处理和完成那些任务。

如上面所提到的，常规解决方案提供1）CNN回归相机姿势结果的直接输出，2）使用均匀CNN来找到匹配的关键帧并得到姿势，以及3）使用词袋（Bow）来找到匹配的关键帧并得到姿势。然而，常规解决方案是低效的，因为它们简单地将回归结果作为输出转发，使得结果不准确、低精度和低等级。另外，就时间消耗和存储空间使用而言，图像的匹配能很高。例如，就使用均匀CNN而言，常规技术可能需要加载CNN模型，其与大码书的加载一起不同。从而，常规技术能增加大负担，在定位系统中使用CNN回归的直接输出。

实施例提供了一种新颖技术，如由智能机制1510所促进的，以输出相机姿势的准确结果，同时保持与粗略定位的模式兼容而无需图像匹配。在一个实施例中，利用使用检测/收集逻辑1601收集的并使用处理/训练逻辑1605处理的几个数据集来实现定位的这种准确度。在一个实施例中，第一数据集（也称为“数据集1”）可以包含如由I/O源1504的相机（诸如Real-Sense®相机）所捕获的物理区域内的红色、绿色、蓝色深度（rgb深度）图像对。例如，在大约300平方米的接待室中，具有使用45k图像对作为训练集和5k图像对作为测试集的若干窗口，可以捕获以下内容：

方法 CNN回归 神经代码 词袋 新颖技术 改进

距离偏差(m) 0.737 4.405 0.228 0.193 73.8%

角度偏差(度) 11.95 13.61 7.30 5.92 50.5%

类似地，在一个实施例中，检测/收集逻辑1601可用于收集，并且处理/训练逻辑1605可用于计算具有由用于不同种类物理区域的I/O源1504的相机（诸如Real-Sense®相机）所捕获的rgb深度图像对的第二数据集（也称为“数据集2”），诸如由大约100平方米的两个房间组成的模拟家庭，具有45k图像对作为训练集和5k图像对作为测试集，可产生以下内容：

方法 CNN回归 神经代码 词袋 新颖技术 改进

距离偏差(m) 0.374 0.118 0.142 0.120 67.9%

角度偏差(度) 10.08 3.69 4.18 3.56 64.7%

在一个实施例中，在数据集1和2的检测和收集时，处理/训练逻辑1605可以进一步用于执行评估，诸如CNN回归、由CNN网络进行神经代码、Bow和/或诸如此类等的评估。结果中的上面提到的改进显示，实施例提供了一种新颖技术以实现比原始CNN回归技术的常规技术更好的性能。

在一个实施例中，如通过重新定位机制1510所促进的这种新颖技术仅仅使用来自CNN回归模型的信息进一步提供用于更好的精度性能。另外，例如，这种新颖技术通过CNN回归提供了具有很高效率的定位模式，并且定位模式以高精度获取，并且能实时切换。

例如，可能有四类重新定位方法，诸如：1）基于WiFi和超宽带（UWB）的技术，其需要安装附加装置并增加了金钱成本和人力；2）基于激光雷达的技术，其导致高金钱成本；3）基于惯性测量单元（IMU）的技术，其导致高漂移误差；4）基于视觉的技术。有两种基于视觉的重新定位技术，诸如：a）利用特征点的图像特征（例如，ORB、尺度不变特征变换（SIFT）、SURF等）或神经代码找到匹配的关键帧并使用视觉里程计来准确计算相机姿势的基于检索的技术。这些技术的缺点之一是，它们都具有低召回率以用于依赖于视觉里程计，视觉里程计基于特征点检测和经常失败的匹配。当视觉里程计失败并且检索的关键帧的姿势被用作姿势的估计时，精度在很大程度上降级；并且b）基于CNN回归的技术，其通过计算CNN回归来定位帧。该技术具有高的、近乎100％的召回率，同时具有相对较低的精度。

实施例提供了一种用于利用CNN回归的中间层来找到匹配的关键帧并使用视觉里程计来计算图像姿势的估计的新颖技术。由于并非所有图像都能具有对应于找到的关键帧的足够匹配关键点，因此视觉里程计可能失败，在这种情况下，原始CNN回归结果的结果被接受并转发以被显示。

由于许多原因，实施例比常规技术优选，诸如当视觉里程计失败时，CNN回归结果被输出为比匹配的关键帧的姿势具有更高的精度。类似地，当视觉里程计成功时，生成并显示比原CNN回归更精确和准确得多的结果。

已知上面提到的常规技术具有相当高的存储器和计算成本。实施例提供了一种新颖技术，其仅仅使用CNN模型的单次加载，并将其用于CNN回归和相关的基于中间层的关键帧，并且另外，这种新颖技术允许在其自身与原CNN回归之间的平滑变换，因为使用了相同的CNN模型。

在一个实施例中，选择/比较逻辑1603进一步选择一个或多个中间层以获得关键帧，使得然后可以将它们的特征与在（一个或多个）数据库1630已经可用的关键帧特征进行比较。该比较可以由选择/比较逻辑1603执行，以允许处理/训练逻辑1605执行必要的数据处理，以便在获得了一个或多个中间层的时候，获得与CNN回归关联的结果的准确性有关的估计。如果预期这些结果是不准确的，则处理/训练逻辑1605然后可以选择以执行一些数据处理和CNN模型的训练以确保基于与如从（一个或多个）数据库1630获得的输入图像关联的数据的相机重新定位。该输入图像相关的数据更准确，并且可能已经通过实时评估输入图像获得或者从（一个或多个）数据库1630获得，数据库1630可以通过将一个或多个先前事务来获得以应用于这个事务。

如将参考随后的附图进一步图示和描述的，在一个实施例中，处理/训练逻辑1605可用于准确预测相机重新定位和随后指示执行/输出逻辑1607执行准确相机重新定位并经由I/O源1504的一个或多个显示装置将相关结果输出给用户。相比之下，如果通过处理/训练逻辑1605确定原始的是相当准确的，则不需要执行任何附加处理或预测准确结果或相机重新定位等，并且因此，指示执行/输出逻辑1607执行并输出未解决的结果而没有任何更改。

例如，在一些实施例中，预处理阶段可以由处理/训练逻辑1605进行，其中在该处理阶段，回归CNN可以被训练以便将输入图像变换为图像的姿势（例如，达到三个位置参数和三个旋转参数的程度）以及随后的某些关键帧（由预定判据选择，诸如当图像的姿势与最后一个关键帧之间的距离超过某一阈值时）并放入列表中，并且进行处理以得到它们的相应姿势和CNN特征（如本文档中后面所详述的）。

在一个实施例中，使用处理/训练逻辑1605，输入图像可以由CNN处理，CNN对相机的姿势进行回归（诸如结果相机姿势可以被表示为Td直接结果变换）。如前所述，可以通过选择/比较逻辑1603选择单个中间层或两个或更多中间层的组合，并且如由检测/收集逻辑1601所促进的，从一个或多个中间层获得的任何数据然后可以被用作输入图像的CNN特征（CNNF）。然后，计算表示输入图像和每个关键帧之间距离的距离，其中该计算包含欧几里德距离连同任何绝对距离等。

从输入图像的关键帧特征与从一个或多个中间层获得的关键帧特征的比较中获得的任何数据可被用于确定未决的输出结果是否准确。如果结果是准确的，则它被输出以提供给用户，如由执行/输出逻辑1607所促进的。类似地，如果未决的输出结果不准确，则处理/训练逻辑1605处理、训练和推荐任何数字和/或参数以实时执行相机重新定位，这又触发执行/输出逻辑1607执行推荐的数字和/或参数以实现必要的相机重新定位，并向用户提供图像的最终准确结果。

通信/兼容性逻辑1609可用于促进计算装置1500与任何数量和类型的其它计算装置（诸如移动计算装置、桌上型计算机、服务器计算装置等）；处理装置或组件（诸如CPU、GPU等）；捕获/感测/检测装置（诸如捕获/感测组件，包含相机、深度感测相机、相机传感器、红绿蓝（“RGB”或“rgb”）传感器、麦克风等）；显示装置（诸如输出组件，包含显示屏、显示区域、显示投影仪等）；用户/上下文感知组件和/或标识/验证传感器/装置（诸如生物传感器/检测器、扫描仪等）；（一个或多个）数据库1630（诸如存储器或存储装置、数据库和/或数据源（诸如数据存储装置、硬驱、固态驱动、硬盘、存储器卡或装置、存储器电路等）；（一个或多个）通信介质1625、诸如一个或多个通信信道或网络（例如云网络、因特网、内联网、蜂窝网络、接近网络诸如蓝牙、蓝牙低能耗（BLE）、蓝牙智能、Wi-Fi接近、射频标识（RFID）、近场通信（NFC）、体域网（BAN）等）；无线或有线通信以及相关协议（例如Wi-Fi®、WiMAX、以太网等）；连接性和位置管理技术；软件应用/网站（例如社交和/或商业连网网站等、商业应用、游戏以及其它娱乐应用等）；以及编程语言等之间的动态通信和兼容性，同时确保与正在改变的技术、参数、协议、标准等的兼容性。

在此文档通篇，像“逻辑”、“组件”、“模块”、“框架”、“引擎”、“机制”等术语可互换地引用，并且作为示例包含软件、硬件和/或软件和硬件的任何组合，诸如固件。在一个示例中，“逻辑”可以指代或包含能够与计算装置（诸如计算装置1500）的操作系统（例如，操作系统1506）、图形驱动器（例如，图形驱动器1516）等中的一个或多个一起工作的软件组件。在另一示例中，“逻辑”可以指代或包含能够作为计算装置（诸如计算装置1500）的一个或多个系统硬件元件（诸如应用处理器（例如，CPU 1512）、图形处理器（例如，GPU 1514）等）的一部分或与之一起物理安装的硬件组件。在又一实施例中，“逻辑”可以指代或包含能够作为计算装置（诸如计算装置1500）的系统固件（诸如应用处理器（例如，CPU 1512）或图形处理器（例如，GPU 1514）等的固件）的一部分的固件组件。

另外，对具体品牌、单词、术语、短语、名称和/或首字母缩略词诸如“GPU”、“GPU域”、“GPGPU”、“CPU”、“CPU域”、“图形驱动器”、“工作负载”、“应用”、“图形流水线”、“流水线过程”、“机器人”、“欧拉”、“角度”、“训练”、“回归”、“相机”、“定位”、“重新定位”、“准确结果”、“不准确结果”、“输入图像”、“高速缓存”、“姿势回归”、“神经网络”、“卷积神经网络”、“CNN”、“执行单元”、“EU”、“指令”、“自主机器”、“人工智能代理”、“机器人”、“自主交通工具”、“自主设备”、“API”、“3D API”、“OpenGL®”、“DirectX®”、“硬件”、“软件”、“代理”、“图形驱动”、“内核模式图形驱动”、“用户模式驱动”、“用户模式驱动器框架”、“缓冲器”、“图形缓冲器”、“任务”、“过程”、“操作”、“软件应用”、“游戏”等的任何使用都不应被解读为将实施例限制于在此文档外部的文献或产品中带有该标签的软件或装置。

可以预见，任何数量和类型的组件都可被添加到重新定位机制1510，和/或从中移除，以促进各种实施例，包含添加、移除和/或增强某些特征。为了简洁、清晰和容易理解重新定位机制1510，许多标准和/或已知组件（诸如计算装置的那些组件）在此未显示或论述。可以预见，本文所描述的实施例不限于任何具体技术、拓扑、系统、架构和/或标准，并且足够动态以采纳并适应于将来的任何改变。

图17图示了与常规技术有关的事务序列1700。如所图示的，接收输入图像1701，并且在框1703，使用诸如Bow 1721、神经代码1723和颜色直方图1725之类的一个或多个信息或特征输入来计算输入图像1701的特征。使用计算的特征，在框1705计算距离和次序。使用关键帧池1727，在框1707，使用5点方法获得视觉里程计。在框1709，关于测量或匹配是否成功进行确定。如果是，则在框1711输出并提交视觉里程计的结果以供显示。如果否，则在框1713输出并提交最相似的关键帧的姿势以供显示。

图18图示了根据一个实施例的用于准确相机重新定位的事务序列1800。为了简洁起见，之前参考图1-17论述的许多细节在下文可以不论述或重复。事务序列1800可由处理逻辑执行，该处理逻辑可包括硬件（例如电路、专用逻辑、可编程逻辑等）、软件（诸如在处理装置上运行的指令）或它们的组合，如由图15的重新定位机制1800所促进的。事务序列1800的过程为了呈现中的简洁和清楚起见按线性顺序图示；然而，可以预见的是，任何数量的过程可并行、异步或按不同次序执行。

如所图示的，在一个实施例中，输入图像1801（诸如物理对象的图像）通过一个或多个I/O源（诸如计算装置（诸如图15的计算装置1500）的相机）捕获。在一个实施例中，图16的检测/收集逻辑1601可用于检测或接收捕获的图像。在一个实施例中，促进两个相关模式（诸如快速模式1821和准确模式1823）之间的平滑互换，其中快速模式1821输出CNN回归，诸如在框1815基于CNN回归1803的姿势回归结果，而准确模式1823在框1813输出具有视觉里程计的基于CNN回归中间层的关键帧发现。

例如，在一个实施例中，在框1805，通过图16的选择/比较逻辑1603选择或选取中间层，并抽取该中间层的一个或多个特征。在框1807，基于一个或多个抽取的特征并使用关键帧池1825，计算距离和次序。在框1809，计算视觉里程计，诸如基于5点技术，并且在框1811，关于测量或匹配是否成功进行确定。如果是，则在框1813输出视觉里程计的基于准确模式的结果。如果否，则在框1815输出基于快速模式的姿势回归结果。

图19图示了根据一个实施例的用于准确相机重新定位的方法1900。为了简洁起见，之前参考图1-18论述的许多细节在下文可以不论述或重复。方法1900可由处理逻辑执行，该处理逻辑可包括硬件（例如电路、专用逻辑、可编程逻辑等）、软件（诸如在处理装置上运行的指令）或它们的组合，如由图15的重新定位机制1900所促进的。方法1900的过程为了呈现中的简洁和清楚起见按线性顺序图示；然而，可以预见的是，任何数量的过程可并行、异步或按不同次序执行。

在图示的实施例中，方法1900被示出为提供神经回归输出与回归网络的中间层特征的组合，以用于准确相机重新定位。在一个实施例中，提供CNN层1901、1903、105以用于接受在初始层1901的当前输入图像1911，其然后按层1901、1903、1905的顺序进行处理，输出表示CNN回归的最终层1905的相机姿势1913，其是包含位置（x，y，z）和平移角度（偏转，俯仰，滚动）的帧的姿势，其被变换为姿势矩阵。在框1915，获得当前输入图像1911的特征向量，其中特征向量与CNN的中间层（LU）1903输出关联。

继续方法1900，从一个或多个数据库（诸如图16的（一个或多个）数据库1630）中并且通过存取一个或多个数据库获得关键帧1917的特征列表，其中在框1919，计算当前输入图像1911的特征向量1915与关键帧的特征向量之间的距离，并且通过比较进行排序。类似地，从关键帧信息数据库1941中获得具有关键帧的原始帧的关键帧图像列表1921。在框1923，从数据库1941中选择用于到当前输入图像1911的前N个最接近的关键帧的关键帧图像列表1921的关键帧的原始帧。在框1925，使用变换矩阵计算来计算当前输入图像1911与N个最接近的关键帧之间的特征点对应关系。

在框1927，关于来自框1923的N个最接近的关键帧中的至少一个关键帧是否具有足够的特征点对应以成功进行确定。如果是，则方法1900在框1931处继续，而如果否，则方法1900在框1929处继续。例如，在一个实施例中，如果对于框1927的确定为否，则方法1900在框1929处继续提供未更改的相机姿势1913作为在框1939处的最终结果或结果输出。

例如，在一个实施例中，如果对于框1927的确定为是，则方法1900在框1931处继续根据当前输入图像1911与在框1927中标识的至少一个关键帧之间的对应特征点来计算Tc2kf（i）。在一个实施例中，方法1900继续从数据库1941获得关键帧发布列表1933，而在框1935，从关键帧发布列表1933中选择框1927的至少一个关键帧的姿势，并且对应的变换矩阵Tkf2w（i）根据它计算。继续方法1900，在框1937，通过Tkf2w（i）*Tc2kf（i）计算当前输入图像1911的变换矩阵Tc2w，并且随后在框1939，将其呈现为结果或结果输出。

图20图示了根据一个实施例的用于准确相机重新定位的方法2000。为了简洁起见，之前参考图1-19论述的许多细节在下文可以不论述或重复。方法2000可由处理逻辑执行，该处理逻辑可包括硬件（例如电路、专用逻辑、可编程逻辑等）、软件（诸如在处理装置上运行的指令）或它们的组合，如由图15的重新定位机制2000所促进的。方法2000的过程为了呈现中的简洁和清楚起见按线性顺序图示；然而，可以预见的是，任何数量的过程可并行、异步或按不同次序执行。

如图19中，在图示的实施例中，CNN层2001、2003、2005示出具有表示相关中间层（LU）的层2003。在一个实施例中，在处理任何输入图像之前，需要生成一个或多个关键帧并在关键帧图像列表2011中列出，以充当具有例如通过视觉同时定位和映射（SLAM）或其他此类技术估计的对应姿势的训练图像的代表性样本。然后，关键帧图像列表2011的关键帧图像被保存在数据库（诸如关键帧信息数据库2017）中。

获得每个关键帧的姿势并将其放置在关键帧发布列表2013中，然后将其存储在关键帧信息数据库2017。另外，每个关键帧被用作CNN的输入，并且中间层2003的数据被用作特征向量2015中的其特征。然后，将特征向量2015的所有这些特征都存储在关键帧信息数据库2017中，而在一个实施例中，根据中间层2003是最接近或最靠近最终层2005的同时具有例如多于500等的充分特征长度的预定判据来执行中间层2003的选择。在一个实施例中，该关键帧信息数据库2017当用于处理图19中的输入图像1911时与关键帧信息数据库1941相同或被加载为关键帧信息数据库1941。

对“一个实施例”、“实施例”、“示例实施例”、“各种实施例”等的提及指示如此描述的（一个或多个）实施例可包含具体特征、结构或特性，但不是每一个实施例都一定包含所述具体特征、结构或特性。另外，一些实施例可具有对于其它实施例描述的一些特征、所有特征，或没有这些特征。

在前述说明书中，已经参考其特定示范实施例描述了实施例。然而，将显然的是，在不脱离如在所附权利要求书中所阐述的实施例的较宽的精神和范围的前提下，可对其进行各种修改和改变。说明书和附图相应地被视为说明性的，而非约束的意思。

在如下说明书和权利要求书中，可使用术语“耦合”连同其派生词。“耦合”用于指示两个或更多个元件彼此协作或交互，但它们在它们之间可以具有或者可以没有介于中间的物理或电气组件。

如权利要求书中所使用的，除非另有规定，否则使用序数形容词“第一”、“第二”、“第三”等来描述公共元件，仅仅指示相似元件的不同实例被提及，并不意图暗示如此描述的元件必须在时间、空间上、排名中，或者以任何其它方式处于给定顺序。

如下语句和/或示例涉及另外实施例或示例。示例中的特定细节可以用在一个或多个实施例中的任何地方。不同实施例或示例的各种特征可按各种方式与所包含的一些特征和所排除的其它特征组合，以适用各种各样不同的应用。示例可包含根据本文描述的实施例和示例的主题：诸如方法、用于执行该方法的动作的部件、包括在由机器执行时使该机器执行该方法的动作的指令的至少一个机器可读介质、或者用于促进混合通信的装置或系统。

一些实施例涉及示例1，其包含一种促进自主机器中的准确相机重新定位的设备，所述设备包括：图像捕获装置，用于捕获对象的图像；选择/比较逻辑，用于从多个卷积神经网络（CNN）层中选择中间层；处理/训练逻辑，用于用与所述中间层关联的一个或多个基于层的关键帧处理所述图像的一个或多个原始关键帧的优越性；以及执行/输出逻辑，用于如果所述一个或多个原始关键帧中的一个优于所述一个或多个基于层的关键帧，则输出基于所述一个或多个原始关键帧的第一结果。

示例2包含示例1的主题，其中所述执行/输出逻辑进一步用于如果所述一个或多个原始关键帧次于所述一个或多个基于层的关键帧则输出基于所述一个或多个基于层的关键帧的第二结果。

示例3含示例1的主题，其中所述处理/训练逻辑用于基于所述一个或多个原始关键帧中的优越关键帧来训练CNN模型。

示例4含示例1的主题，其中所述选择/比较逻辑进一步用于将所述一个或多个原始关键帧与所述一个或多个基于层的关键帧进行比较。

示例5包含示例1的主题，进一步包括：检测/收集逻辑，用于从数据库存取所述一个或多个原始关键帧，其中所述一个或多个原始关键帧基于所述图像，其中所述数据库存储包含与过去图像有关的过去关键帧的历史数据。

示例6含示例5的主题，其中所述检测/收集逻辑进一步用于检测所述图像，并且其中所述执行/输出逻辑进一步用于基于所述第一结果或所述第二结果使用耦合到所述设备的显示装置显示所述图像，其中所述设备包含自主机器。

示例7含示例1的主题，其中所述中间层选自最靠近所述多个CNN层的最后一层的一个或多个层，其中所述第二结果基于所述最后一层，并且其中所述第一结果基于所述中间层。

一些实施例涉及示例8，其包含一种用于促进自主机器中的准确相机重新定位的方法，所述方法包括：由图像捕获装置捕获对象的图像；从多个卷积神经网络（CNN）层中选择中间层；用与所述中间层关联的一个或多个基于层的关键帧处理所述图像的一个或多个原始关键帧的优越性；以及如果所述一个或多个原始关键帧中的一个优于所述一个或多个基于层的关键帧，则输出基于所述一个或多个原始关键帧的第一结果。

示例9包含示例8的主题，进一步包括：如果所述一个或多个原始关键帧次于所述一个或多个基于层的关键帧，则输出基于所述一个或多个基于层的关键帧的第二结果。

示例10包含示例8的主题，进一步包括：基于所述一个或多个原始关键帧中的优越关键帧来训练CNN模型。

示例11包含示例8的主题，进一步包括：将所述一个或多个原始关键帧与所述一个或多个基于层的关键帧进行比较。

示例12包含示例8的主题，进一步包括：从数据库存取所述一个或多个原始关键帧，其中所述一个或多个原始关键帧基于所述图像，其中所述数据库存储包含与过去图像有关的过去关键帧的历史数据。

示例13包含示例12的主题，进一步包括：检测所述图像；以及基于所述第一结果或所述第二结果使用耦合到计算装置的显示装置显示所述图像，其中所述计算装置包含自主机器。

示例14包含示例8的主题，其中所述中间层选自最靠近所述多个CNN层的最后一层的一个或多个层，其中所述第二结果基于所述最后一层，并且其中所述第一结果基于所述中间层。

一些实施例涉及示例15，其包含一种系统，所述系统包括计算装置，所述计算装置包含存储装置和耦合到存储装置的处理装置，所述处理装置用于：由图像捕获装置捕获对象的图像；从多个卷积神经网络（CNN）层中选择中间层；用与所述中间层关联的一个或多个基于层的关键帧处理所述图像的一个或多个原始关键帧的优越性；以及如果所述一个或多个原始关键帧中的一个优于所述一个或多个基于层的关键帧，则输出基于所述一个或多个原始关键帧的第一结果。

示例16包含示例15的主题，其中所述处理进一步用于：如果所述一个或多个原始关键帧次于所述一个或多个基于层的关键帧，则输出基于所述一个或多个基于层的关键帧的第二结果。

示例17包含示例15的主题，其中所述处理进一步用于：基于所述一个或多个原始关键帧中的优越关键帧来训练CNN模型。

示例18包含示例15的主题，其中所述处理进一步用于：将所述一个或多个原始关键帧与所述一个或多个基于层的关键帧进行比较。

示例19包含示例15的主题，其中所述处理进一步用于：从数据库存取所述一个或多个原始关键帧，其中所述一个或多个原始关键帧基于所述图像，其中所述数据库存储包含与过去图像有关的过去关键帧的历史数据。

示例20包含示例19的主题，其中所述处理进一步用于：检测所述图像；以及基于所述第一结果或所述第二结果使用耦合到计算装置的显示装置显示所述图像，其中所述计算装置包含自主机器。

示例21包含示例15的主题，其中所述中间层选自最靠近所述多个CNN层的最后一层的一个或多个层，其中所述第二结果基于所述最后一层，并且其中所述第一结果基于所述中间层。

有关示例22的一些实施例包含一种设备，所述设备包括：

用于由图像捕获装置捕获对象的图像的部件；用于从多个卷积神经网络（CNN）层中选择中间层的部件；用于用与所述中间层关联的一个或多个基于层的关键帧处理所述图像的一个或多个原始关键帧的优越性的部件；以及用于如果所述一个或多个原始关键帧中的一个优于所述一个或多个基于层的关键帧则输出基于所述一个或多个原始关键帧的第一结果的部件。

示例23包含示例22的主题，进一步包括：用于如果所述一个或多个原始关键帧次于所述一个或多个基于层的关键帧则输出基于所述一个或多个基于层的关键帧的第二结果的部件。

示例24包含示例22的主题，进一步包括：用于基于所述一个或多个原始关键帧中的优越关键帧来训练CNN模型的部件。

示例25包含示例22的主题，进一步包括：用于将所述一个或多个原始关键帧与所述一个或多个基于层的关键帧进行比较的部件。

示例26包含示例22的主题，进一步包括：用于从数据库存取所述一个或多个原始关键帧的部件，其中所述一个或多个原始关键帧基于所述图像，其中所述数据库存储包含与过去图像有关的过去关键帧的历史数据。

示例27包含示例26的主题，进一步包括：用于检测所述图像的部件；以及用于基于所述第一结果或所述第二结果使用耦合到计算装置的显示装置显示所述图像的部件，其中所述计算装置包含自主机器。

示例28含示例22的主题，其中所述中间层选自最靠近所述多个CNN层的最后一层的一个或多个层，其中所述第二结果基于所述最后一层，并且其中所述第一结果基于所述中间层。

示例29包含至少一个非暂态或有形机器可读介质，其包括多个指令，所述指令当在计算装置上执行时，实现或执行如在权利要求或示例8-14中任一项所要求保护的方法。

示例30包含至少一个机器可读介质，其包括多个指令，所述指令当在计算装置上执行时，实现或执行如在权利要求或示例8-14中任一项所要求保护的方法。

示例31包含一种系统，其包括实现或执行如在权利要求或示例8-14中任一项所要求保护的方法的机制。

示例32包含一种设备，其包括执行如在权利要求或示例8-14中任一项所要求保护的方法的部件。

示例33包含一种计算装置，其布置成实现或执行如在权利要求或示例8-14中任一项所要求保护的方法。

示例34包含一种通信装置，其布置成实现或执行如在权利要求或示例8-14中任一项所要求保护的方法。

示例35包含至少一个机器可读介质，其包括多个指令，所述指令当在计算装置上执行时，实现或执行如上述任一权利要求中所要求保护的方法，或实现上述任一权利要求中所要求保护的设备。

示例36包含至少一个非暂态或有形机器可读介质，其包括多个指令，所述指令当在计算装置上执行时，实现或执行如上述任一权利要求中所要求保护的方法，或实现上述任一权利要求中所要求保护的设备。

示例37包含一种系统，其包括实现或执行如上述任一权利要求中所要求保护的方法或实现上述任一权利要求中所要求保护的设备的机制。

示例38包含一种设备，其包括执行如上述任一权利要求中所要求保护的方法的部件。

示例39包含一种计算装置，其布置成实现或执行如上述任一权利要求中所要求保护的方法或实现上述任一权利要求中所要求保护的设备。

示例40包含一种通信装置，其布置成实现或执行如上述任一权利要求中所要求保护的方法或实现上述任一权利要求中所要求保护的设备。

附图和前述描述给出了实施例的示例。本领域技术人员将认识到，一个或多个所描述的元件可被很好地组合成单个功能元件。备选地，某些元件可被分成多个功能元件。来自一个实施例的元件可被添加到另一个实施例。例如，本文描述的过程的次序可以改变，并不限于本文所描述的方式。而且，任何流程图的动作都不需要按显示的次序实现；也不是所有的动作都一定需要执行。还有，与其它动作无关的那些动作可与其它动作并行执行。实施例的范围绝不受这些特定示例限制。众多变化，不管在说明书中是否明确给出，诸如在结构、尺寸和材料使用上的差异，都是有可能的。实施例的范围至少与随附权利要求书所给出的范围一样宽。

Claims (19)

1.一种用于促进自主机器中的准确相机重新定位的设备，所述设备包括：

图像捕获装置，所述图像捕获装置用于捕获对象的图像；

选择/比较逻辑，所述选择/比较逻辑用于从多个卷积神经网络（CNN）层中选择中间层；

处理/训练逻辑，所述处理/训练逻辑用于用与所述中间层关联的一个或多个基于层的关键帧处理所述图像的一个或多个原始关键帧的优越性；以及

执行/输出逻辑，所述执行/输出逻辑用于如果所述一个或多个原始关键帧中的一个优于所述一个或多个基于层的关键帧，则输出基于所述一个或多个原始关键帧的第一结果。

2.如权利要求1所述的设备，其中所述执行/输出逻辑进一步用于如果所述一个或多个原始关键帧次于所述一个或多个基于层的关键帧，则输出基于所述一个或多个基于层的关键帧的第二结果。

3.如权利要求1所述的设备，其中所述处理/训练逻辑用于基于所述一个或多个原始关键帧中的所述优越关键帧来训练CNN模型。

4.如权利要求1所述的设备，其中所述选择/比较逻辑进一步用于将所述一个或多个原始关键帧与所述一个或多个基于层的关键帧进行比较。

5.如权利要求2所述的设备，进一步包括：检测/收集逻辑，所述检测/收集逻辑用于从数据库存取所述一个或多个原始关键帧，其中所述一个或多个原始关键帧基于所述图像，其中所述数据库存储包含与过去图像有关的过去关键帧的历史数据。

6.如权利要求5所述的设备，其中所述检测/收集逻辑进一步用于检测所述图像，并且其中所述执行/输出逻辑进一步用于基于所述第一结果或所述第二结果使用耦合到所述设备的显示装置显示所述图像，其中所述设备包含自主机器。

7.如权利要求2所述的设备，其中所述中间层选自最靠近所述多个CNN层的最后一层的一个或多个层，其中所述第二结果基于所述最后一层，并且其中所述第一结果基于所述中间层。

8.一种用于促进自主机器中的准确相机重新定位的方法，所述方法包括：

由图像捕获装置捕获对象的图像；

从多个卷积神经网络（CNN）层中选择中间层；

用与所述中间层关联的一个或多个基于层的关键帧处理所述图像的一个或多个原始关键帧的优越性；以及

如果所述一个或多个原始关键帧中的一个优于所述一个或多个基于层的关键帧，则输出基于所述一个或多个原始关键帧的第一结果。

9.如权利要求8所述的方法，进一步包括：如果所述一个或多个原始关键帧次于所述一个或多个基于层的关键帧，则输出基于所述一个或多个基于层的关键帧的第二结果。

10.如权利要求8所述的方法，进一步包括：基于所述一个或多个原始关键帧中的所述优越关键帧来训练CNN模型。

11.如权利要求8所述的方法，进一步包括：将所述一个或多个原始关键帧与所述一个或多个基于层的关键帧进行比较。

12.如权利要求9所述的方法，进一步包括：从数据库存取所述一个或多个原始关键帧，其中所述一个或多个原始关键帧基于所述图像，其中所述数据库存储包含与过去图像有关的过去关键帧的历史数据。

13.如权利要求12所述的方法，进一步包括：

检测所述图像；以及

基于所述第一结果或所述第二结果使用耦合到计算装置的显示装置显示所述图像，其中所述计算装置包含自主机器。

14.如权利要求9所述的方法，其中所述中间层选自最靠近所述多个CNN层的最后一层的一个或多个层，其中所述第二结果基于所述最后一层，并且其中所述第一结果基于所述中间层。

15.至少一种机器可读介质，包括多个指令，所述指令当在计算装置上执行时实现或执行如权利要求8-14的任一项中所述的方法。

16.一种系统，包括实现或执行如权利要求8-14的任一项中所述的方法的机制。

17.一种设备，包括用于执行如权利要求8-14的任一项中所述的方法的部件。

18.一种计算装置，布置成实现或执行如权利要求8-14的任一项中所述的方法。

19.一种通信装置，布置成实现或执行如权利要求8-14的任一项中所述的方法。

Images