CN103106638A

CN103106638A - 用于实时图像处理的图形处理装置

Info

Publication number: CN103106638A
Application number: CN2011103593787A
Authority: CN
Inventors: 李延勋; 揭应亮; 焦莹; 杨小彬
Original assignee: Nvidia Corp
Current assignee: Nvidia Corp
Priority date: 2011-11-14
Filing date: 2011-11-14
Publication date: 2013-05-15
Also published as: US9508109B2; US20130120406A1

Abstract

本发明提供了一种用于实时图像处理的图形处理装置，所述装置包括：接口，连接到外部用于接收外部数据；数据转换装置，连接到所述接口，将从所述接口接收到的外部数据进行转换；图形处理单元，连接到所述数据转换装置对转换后的所述外部数据进行处理。本发明还提供了用于图形处理装置的实时图像处理的方法，包括如下步骤：启动并配置所述图形处理单元；所述图形处理单元监测有无采集外部数据的请求；当有采集外部数据的请求时，所述图形处理单元配置所述接口和所述数据转换单元；采集来自外部的数据，通过所述接口和数据转换单元转换并传送给所述图形处理单元进行处理。

Description

用于实时图像处理的图形处理装置

技术领域

本发明大体上涉及图形及视频信号的数字处理，且更明确地说涉及一种能够实现实时图形处理的系统和方法。

背景技术

现代图形处理单元(GPU)中包含数百个运算单元，可以提供高速的运算以实现大量且密集的计算。有效利用GPU的视频处理的关键是高效的数据并行算法，其实现依赖于可扩展的数百个处理单元的设计和实施。由于GPU强大的处理和计算能力，以及其并行计算的特性，许多图像和视频处理应用是非常适合于GPU的。在某些场合，GPU的使用可以甚至提供优于CPU的速度，并对最终的图像质量没有任何影响。

随着互联网设备和数字视频内容的爆炸性增长，对视频处理技术的要求也日益增大，其中大致包括数字视频的压缩、增强、分析，以及合成。视频处理是计算密集型的，而且往往要求具有实时性。例如，安全监控和保卫系统需要实时分析来自多个监控摄像机的实时视频，以自动检测和对异常事件发出报警。除此，视频处理系统的功能和速度的持续增长也可能会带来进一步新的应用。

由于视频算法呈现出很强的局部计算特性，因此视频处理非常适合于采用并行处理。例如，时间上看，一段视频中出现在第10帧的视频序列内容与出现在第1000帧的内容并与紧密的关联。空间上看：左侧单帧的对象内容与右边的像素值也无必然的关联性。这种局部性导致可以将视频划分成较小的、关联性较弱的多个单独的视频处理任务进行并行处理。此外，这些单独的任务可以共享数据，以节省内存带宽。

然而，已发现在当前设计的图形卡中，大多数图形卡只有显示端口输出，而没有任何能够实现实时视频捕获的视频输入功能。此外，在进行视频编码时，例如通过外部摄像头采集视频数据后，这些数据通常先由CPU获取并存储到系统存储器中，然后GPU在通过CPU获得这些视频数据，存储到图形设备中的相应存储器中以进行下一步的处理。图1显示出现有的图形卡系统100的架构。在系统100中，视频摄像头102采集外部的视频数据，通过中央处理单元101传送并保存到系统缓冲器103中。当需要对这些数据进行处理时，图形处理单元105通过接口104将从系统缓冲器103中读取这些视频数据，存储到专用于存储图形的数据的帧缓冲器106中，进行后续的处理。这种方式可能会消耗大量的数据传输时间，并使得图像的处理速度受限于传输接口的速度，这种设计远远不能达到很多需要实时且快速地处理视频数据的场合的要求。

因此，需要一种能够对采集的视频数据需要实时处理的图形处理系统，已实现快速的视频处理。

发明内容

利用本发明的具有视频输入端口的图形处理装置，使得图像信息可以在获取后直接传输到图形处理装置中的存储器，并进而直接由图形处理单元进行处理，而不需要在CPU和GPU之间的数据传输。根据本发明的图形处理装置和方法，使得图形处理，特别是实时的图形处理过程速度大大提高。

根据本发明的一个方面，提供了一种用于实时图像处理的图形处理装置，所述装置包括：接口，连接到外部用于接收外部数据；数据转换装置，连接到所述接口，将从所述接口接收到的外部数据进行转换；以及图形处理单元，连接到所述数据转换装置对转换后的所述外部数据进行处理。

优选地，所述装置进一步包括供电装置，用于为所述图形处理单元和所述数据转换装置供电。

优选地，所述数据转换装置用于将串行视频数据转换为并行视频数据。

优选地，所述外部数据是来自外部摄像头采集的视频数据。

优选地，所述接口选自RS 232、USB、IEEE 1394、红外线接口中的至少一种。

优选地，所述接口为支持联网协议的有线或无线网络接口。

根据本发明的另一方面，提供了一种用于图形处理装置的实时图像处理的方法，所述装置包括连接到外部用于接收外部数据的接口；连接到所述接口的数据转换装置，将从所述接口接收到的外部数据进行转换，以及图形处理单元，连接到所述数据转换装置对转换后的所述外部数据进行处理，所述方法包括如下步骤：启动并配置所述图形处理单元；所述图形处理单元监测有无采集外部数据的请求；当有采集外部数据的请求时，所述图形处理单元配置所述接口和所述数据转换单元；采集来自外部的数据，通过所述接口和数据转换单元转换并传送给所述图形处理单元进行处理。

优选地，所述图形处理单元可响应中断处理。

优选地，由图形处理单元配置所述接口和所述数据转换单元可同时或顺序进行。

优选地，数据转换单元可同时具有所述接口的功能和数据转换功能。

根据本发明的又一方面，提供了一种用于实时图像处理的计算机系统，所述计算机系统包括：接口，其连接到所述外部来源；存储器，其存储多个指令；中央处理单元，其执行所述多个指令；数据转换装置，连接到所述接口，将从所述接口接收到的外部数据进行转换；以及图形处理单元，连接到所述数据转换装置对转换后的所述外部数据进行处理。

优选地，所述计算机系统进一步包括供电装置，用于为所述图形处理单元和所述数据转换装置供电。

利用本发明的具有视频数据输入接口和数据转换装置的图形处理装置，可以方便地使图形处理装置同时具有视频采集和处理的功能。视频输入端口可以采用本领域常见的USB端口，方便于用户连接常用的视频设备，如USB摄像头、带USB接口的移动电话等等。

附图说明

将参看下文简要描述的以下附图描述实例实施例。

图1是现有技术中的图形处理系统的框图。

图2是说明根据本发明的图形处理装置的框图。

图3是说明本发明一个实施例的图形处理装置的电路图。

图4是说明根据本发明用于实时处理图像的方法流程图。

图5是说明根据本发明的包含图形处理装置的计算机系统的框图。

附图中，相同参考标号通常指示相同、功能上类似且/或结构上类似的元件。元件首先出现的附图由相应参考标号中的最左边的数字指示。

具体实施方式

根据本发明的图形处理装置可以用于对采集来的视频数据进行实时地高速处理。通过在图形处理装置上设置专用的图形数据接口，可以使图形处理装置直接从视频采集装置中获取视频数据，在获取后直接传输到图形处理装置中的存储器，并进而由图形处理单元进行处理。根据本发明的图形处理装置避免了视频数据在采集后需要在CPU和GPU之间进行传输而造成的处理速度下降，使得图像处理，特别是实时的视频处理过程速度大大提高。

本发明的图形处理装置可配备有常用的视频输入端口，例如USB接口，从而可以方便地使图形处理装置同时具有视频采集和处理的功能。视频输入端口方便于用户连接常用的视频设备，如USB摄像头、带USB接口和照相/摄像功能的移动电话、平板电脑等等。

下文参考用于说明的实例描述本发明的若干方面。应了解，陈述许多特定细节、关系和方法以提供对本发明的充分理解。然而，相关领域的技术人员将容易了解，可在没有所述特定细节中的一者或一者以上或利用其它方法等的情况下实践本发明。在其它情况下，为了避免混淆本发明的特征而未详细展示众所周知的结构或操作。

图2是根据本发明的图形处理装置的一个具体实施例的框图。如图2所示，本发明的图形处理装置200包括图形处理单元(GPU)202、数据转换单元203、电源204和接口205。数据转换单元203连接在GPU 202和接口205之间，用于转换接收到的图像数据。电源204连接到GPU 202和数据转换单元203用于为它们供电。为了便于理解，仅包含和描述与理解实例实施例的操作有关的组件。然而，本发明的若干方面所涵盖的实施例可含有更多或更少的组件。下文详细描述图1的每一组件。

如图2所示，本发明的图形处理装置200包括图形处理单元GPU 202，GPU 202用于通过执行指令来控制图形处理装置200中的各个单元模块进行操作。例如，GPU 202发出指令以便通过接口205从视频采集装置201或其他外围设备中传输采集来的数据。GPU 202还发送控制信号到数据转换单元203，用于控制数据转换单元203进行数据转换的操作。

视频采集装置201可以是USB摄像头、带USB接口和照相/摄像功能的移动电话、平板电脑等等，用于采集视频和/或图像数据，传输给图形处理装置200用于进一步处理。

接口205用于图形处理装置与视频采集装置201或其他外围设备进行数据传送与交换。所述接口205可以为本领域已知的各种用于传输数据的外围接口，例如RS 232、USB、IEEE 1394、红外线等，使得图形处理装置200能够连接到使用各自协议的各种视频采集外围设备。所述接口也可以为支持联网协议的有线或无线网络接口，如蓝牙、LAN接口、光纤接口等等。

数据转换单元203用于将通过接口205从视频采集装置201中采集到的视频数据进行转换。在某些情况下，例如视频采集数据是来自于USB摄像头时，视频采集装置201采集到的数据是串行数据，而需要给GPU 202提供处理的数据应为并行数据。此时，需要数据转换单元203将采集到的串行数据转换为并行数据以便提供给GPU 202进行进一步的处理。当然，对于本领域技术人员来说显而易见的时，当从外围的视频采集装置201中采集到的数据是可以满足GPU 202直接进行处理的格式时，可以省去此处的数据转换单元203。

电源204设置在图形处理器装置200中，用于为图形处理装置200中的各个功能部件及单元，例如为GPU 202和数据转换单元203进行供电。

图3是实现图2所示的根据本发明的图形处理装置的一个具体实施例的电路图。如图3所示，根据本实施例的图形处理装置300包括图形处理单元(GPU)302、数据转换单元303、电源304。数据转换单元203在本实施例中用并行接口芯片CH 374实现，其兼具串行数据和并行数据的转换功能以及与USB摄像头301接口的功能。电源304连接到GPU 302用于为其供电。

在将图形处理装置300上电后，GPU 302通过其端口例如MIOBD8、MIOBD9、MIOBD10和MIOBD11发出控制指令给并行接口芯片，即数据转换单元303，指示其从USB摄像头301接收串行数据格式的视频流数据UD。在接收到视频流数据后，并行接口芯片303将这些数据转换为GPU 302可以直接处理的数据，即如图所示的数据D[7-0]，输入到GPU 302的数据输入接口MIOBD0～MIOBD7。图中所示的是8位并行数据，但是本领域技术人员可以理解的是，本发明可应用于其他任意宽度的视频数据处理，例如16位、32位等等。在接收到数据D[7-0]，GPU 302可直接对其进行处理，而无需在CPU的指令之下从其他的缓存中读取数据后再进行处理，大大缩短了数据处理的时间，提高了数据处理的效率，为视频流数据的实时处理提供了可能。

图4是说明本发明实施例中对视频数据进行实时处理的方法流程图。仅为了说明而参看图4描述所述流程图。然而，可在其它环境和其它组件中实施各种特征。此外，仅为了说明而以特定次序描述步骤。也可实施使用其它组件和不同次序的步骤的其它环境中的替代实施例，而不脱离本发明的若干方面的范围和精神，如相关领域的技术人员通过阅读本文提供的揭示内容将了解。

流程图在步骤401中开始，在步骤401中，GPU上电启动。

在步骤402中，GPU进入工作状态，即GPU的BIOS和驱动程序载入到其缓存中用于配置GPU进入工作状态。

在步骤403中，GPU监测有无采集外部数据的请求，具体地，例如监测外部摄像头是否发出捕捉视频的请求，若没有监测到该请求，则GPU一直等待，直到检测到请求出现，若请求信号出现，则进入步骤404。

步骤404中分为两个子步骤404a和404b，在步骤404a中，GPU发出控制信号到配置寄存器用来配置图形处理装置与外部摄像头的接口；在步骤404a中，GPU发出控制信号到配置寄存器用来配置数据转换单元，即串行数据转换并行数据用的芯片。可选地，当数据转换单元可以兼有接口功能和数据转换功能时，步骤404a和404b可以合并为一个步骤。当图形处理装置具有单独的接口和数据转换单元时，GPU可以对其进行分别配置，则可以分为两个步骤，即如图所示的404a和404b。配置步骤可以同时进行或顺序进行。

接着进入到步骤405，在步骤404配置完各个寄存器及相应的接口和数据转换单元后，摄像头开启并开始捕捉视频图像，且通过接口和数据转换单元转换成并行数据传送给GPU进行进一步的处理。

可选地，GPU还可以响应中断处理，如步骤406所示。在GPU响应了中断请求后，进入步骤407进行中断响应和处理。

在步骤408中，当GPU处理完数据后，关闭摄像头，在步骤409中结束。

应了解，上文描述的方法可在各种操作环境中实施。

图5是说明其中可实施本发明的若干特征的实例环境的框图。实例环境展示为仅含有用于说明的代表性系统。然而，现实环境可含有更多/更少/不同的系统/组件，如相关领域的技术人员将了解。此类环境中的实施方案也预期在本发明的各方面的范围和精神内。

系统500展示为含有CPU 510、系统存储器520、图形处理单元(GPU)530、GPU存储器540、外围接口550和可移除存储器595。为了简明和便于理解，仅包含和描述与理解实例实施例的操作有关的组件。然而，本发明的若干方面所涵盖的实施例可含有更多或更少的组件。下文详细描述图5的每一组件。

CPU 510表示中央处理器，其通过执行存储在系统存储器520中的指令而控制各种其它模块(系统500中)的操作(或非操作)。由CPU 510执行的一些指令还表示由系统500提供的各种用户应用(例如，播放视频、视频记录等)。

系统存储器520含有存储由CPU 510使用的指令和/或数据的各种随机可存取位置。如上文注意到，一些指令可表示用户应用。其它指令可表示操作系统(含有装置驱动程序或与装置驱动程序接口)等。系统存储器520可使用SRAM、SDRAM、DDR RAM等中的一者或一者以上来实施。具体地，待处理和/或即将用到的像素值可通过CPU510经由路径521存储在系统存储器520中。

可移除存储器595可经由路径596来存储数据(例如，捕捉的视频或静止图像等)。在一个实施例中，可移除存储器595实施为快闪存储器。或者，可移除存储器595可实施为可移除插入式卡，因此允许用户将所存储的数据移动到另一系统以供检视或处理，或使用插入式卡的其它例子。

可移除存储器595可含有额外的存储器单元(例如，ROM、EEPROM等)，其存储各种指令，所述指令当由CPU 510和GPU 530执行时提供本文描述的本发明的各种特征。一般来说，可从中检索和执行(由CPU或GPU)指令的此类存储器单元(包含RAM、非易失性存储器(可移除或不可移除的))称为计算机可读媒体。应了解，在各种其它实施例中，计算机可读媒体可潜在地部署在并非既定用于捕捉视频或图像但提供本文描述的若干特征的装置中。

外围接口550提供连接以不同协议操作的不同外围装置和/或其它系统所需的任何所要求的物理/电接口和协议接口。仅为了说明，外围接口550展示为与多个接口模块接口的单一模块。例如，外围接口550包含USB摄像头模块590。然而，外围接口550可含有多个单元，其每一者适于特定接口模块，如相关领域的技术人员将了解。

输入和输出(I/O)接口560向用户提供将输入提供到多媒体装置并接收输出的设施。输入接口(例如，与键盘或滚球或类似配置(未图示)的接口)向用户提供将输入提供到多媒体装置(例如，选择例如是否将执行编码等特征)的设施。输出接口提供输出信号(例如，提供到显示单元(未图示))。输入接口和输出接口一起为用户形成适宜的用户接口的基础。

串/并接口570以及其它接口580(含有相关领域中已知的各种外围接口，例如RS232、USB、火线、红外线等)使多媒体装置能够连接到使用各自协议的各种外围设备和装置。

可从GPU存储器540(其可使用SRAM、SDRAM、DDR RAM等中的一者或一者以上来实施)中检索数据以供由GPU 530处理。GPU存储器540可与GPU 530一起集成到单一集成电路中或位于其外部。作为替代，GPU存储器540可含有多个单元，其中一些单元集成到GPU 530中且一些提供在GPU外部。除了支持如下文段落中所描述的编码外，GPU存储器540还可用于存储数据以支持各种图形操作，并基于向显示单元产生哪些显示信号而存储现行帧。

图形处理单元(GPU)530用于通过执行指令来控制数据转换单元550和接口560，以便通过接口560从视频采集装置，即USB摄像头590传输采集来的数据。GPU 530还发送控制信号到数据转换单元550，用于控制数据转换单元550进行数据转换的操作。GPU 530将转换的图像或视频数据进行处理以执行操作，并从如此处理/产生的图像数据中向显示单元产生显示信号。

也可实施使用其它组件和不同次序的步骤的其它环境中的替代实施例，而不脱离本发明的若干方面的范围和精神，如相关领域的技术人员通过阅读本文提供的揭示内容将了解。

虽然上文已描述本发明的各种实施例，但应了解，其仅以举例的方式而不是限制的方式呈现。因此，本发明的广度和范围不应受上文描述的示范性实施例的任一者限制，而是应仅根据所附权利要求书及其等效物来界定。

Claims

1.一种用于实时图像处理的图形处理装置，所述装置包括：

接口，连接到外部用于接收外部数据；

数据转换装置，连接到所述接口，将从所述接口接收到的外部数据进行转换；以及

图形处理单元，连接到所述数据转换装置对转换后的所述外部数据进行处理。

2.根据权利要求1所述的装置，其进一步包括供电装置，用于为所述图形处理单元和所述数据转换装置供电。

3.根据权利要求1所述的装置，其中所述数据转换装置用于将串行视频数据转换为并行视频数据。

4.根据权利要求1所述的装置，其中所述外部数据是来自外部摄像头采集的视频数据。

5.根据权利要求1所述的装置，其中所述接口选自RS 232、USB、IEEE 1394、红外线接口中的至少一种。

6.根据权利要求1所述的装置，其中所述接口为支持联网协议的有线或无线网络接口。

7.一种用于图形处理装置的实时图像处理的方法，所述装置包括连接到外部用于接收外部数据的接口；连接到所述接口的数据转换装置，将从所述接口接收到的外部数据进行转换，以及图形处理单元，连接到所述数据转换装置对转换后的所述外部数据进行处理，所述方法包括如下步骤：

启动并配置所述图形处理单元；

所述图形处理单元监测有无采集外部数据的请求；

当有采集外部数据的请求时，所述图形处理单元配置所述接口和所述数据转换单元：

采集来自外部的数据，通过所述接口和数据转换单元转换并传送给所述图形处理单元进行处理。

8.根据权利要求7所述的实时图像处理的方法，其中所述图形处理单元可响应中断处理。

9.根据权利要求7所述的实时图像处理的方法，其中由图形处理单元配置所述接口和所述数据转换单元可同时或顺序进行。

10.根据权利要求7所述的实时图像处理的方法，其中数据转换单元同时具有所述接口的功能和数据转换功能。

11.根据权利要求7所述的实时图像处理的方法，其中所述数据转换装置用于将串行视频数据转换为并行视频数据。

12.根据权利要求7所述的实时图像处理的方法，其中所述外部数据是来自外部摄像头采集的视频数据。

13.根据权利要求7所述的实时图像处理的方法，其中所述接口选自RS 232、USB、IEEE1394、红外线接口中的至少一种。

14.根据权利要求7所述的实时图像处理的方法，其中所述接口为支持联网协议的有线或无线网络接口。

15.一种用于实时图像处理的计算机系统，所述计算机系统包括：

接口，其连接到所述外部来源；

存储器，其存储多个指令；

中央处理单元，其执行所述多个指令；

16.根据权利要求15所述的计算机系统，其进一步包括供电装置，用于为所述图形处理单元和所述数据转换装置供电。

17.根据权利要求15所述的计算机系统，其中所述数据转换装置用于将串行视频数据转换为并行视频数据。

18.根据权利要求15所述的计算机系统，其中所述外部数据是来自外部摄像头采集的视频数据。

19.根据权利要求15所述的计算机系统，其中所述接口选自RS 232、USB、IEEE 1394、红外线接口中的至少一种。

20.根据权利要求15所述的计算机系统，其中所述接口为支持联网协议的有线或无线网络接口。