CN102932645A - 一种图形处理器与视频编解码器融合的电路结构 - Google Patents
一种图形处理器与视频编解码器融合的电路结构 Download PDFInfo
- Publication number
- CN102932645A CN102932645A CN2012104969763A CN201210496976A CN102932645A CN 102932645 A CN102932645 A CN 102932645A CN 2012104969763 A CN2012104969763 A CN 2012104969763A CN 201210496976 A CN201210496976 A CN 201210496976A CN 102932645 A CN102932645 A CN 102932645A
- Authority
- CN
- China
- Prior art keywords
- video
- processing unit
- graphics
- unit
- stream handle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 claims abstract description 75
- 238000000034 method Methods 0.000 claims abstract description 13
- 238000004364 calculation method Methods 0.000 claims description 16
- 230000004927 fusion Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims 1
- 238000013461 design Methods 0.000 abstract description 17
- 230000005540 biological transmission Effects 0.000 abstract description 12
- 238000007792 addition Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000002699 waste material Substances 0.000 description 3
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 230000003071 parasitic effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种图形处理器与视频编解码器融合的电路结构，包括图形处理器，所述图形处理器包括流处理器，其特征在于，所述流处理器包括：图形处理单元、视频处理单元、从控制器、共享单元。本发明对集成电路图形与视频处理芯片分开设计所导致的可靠性不足、数据传输时延大、芯片的流片费用高昂、以及片上资源利用率低等问题，提出了行之有效的设计结构，对传统的图形与视频分开设计的方法存在的问题进行了很好的解决，提高了电路设计的可靠性，减小了数据传输时延，降低了流片费用，很大程度的提高了片上资源的利用率。
Description
技术领域
本发明涉及集成电路芯片设计技术领域，具体地讲，涉及一种图形处理器与视频编解码器融合的电路结构。
背景技术
随着消费者对电子产品要求越来越高，电子产品升级越来越快，对图像视频处理的要求也越来越高，而电子产品价格的大幅降低对产品的成本的控制也提出了新的要求，因此图形及视频芯片设计挑战也越来越大：
1) 提高可重用率，缩短芯片的设计周期，加快产品上市时间，从而提高产品竞争力。
2) 提高片上资源复用度，提高片上资源的利用率，从而减小芯片面积，减少流片成本。
3）图像、视频对处理速度有很高要求，将图像处理、视频处理集成在同一芯片中有利于提高图像、视频处理速度，实现视频图像处理的实时对接与融合。
4）对图像视频高质量的传输有了更高的要求，因此最新的H.265视频编码标准，正在逐渐显现出优势。
5）将图形与视频功能集成在一起有助于简化电路系统的设计，电路系统的简化有助于缩短研发周期，提升竞争力。
现在的集成电路芯片设计中，图形与视频处理大多分开在两块芯片中进行，视频处理后的数据要经过板级总线传输到图形处理器中，数据传输的实时性不好。即使是将图形与视频集成在同一个芯片中，也是简单的把一个编解码模块整个放入图形处理器中，这样虽然减小了传输时延，但是对片上资源确实一种极大的浪费，图形处理与视频编解码算法中很多运算是可以重用的，因此只是简单的堆砌与成本控制相违背。
传统的将图形与视频处理分开设计的方法具有以下几点不足：
1)可靠性不足
视频处理与图形处理器需要通过板级总线进行连接，板级总线容易收到外界的电磁干扰，从而造成数据传输错误。
2)传输时延大
板级总线走线比较长，其上的寄生参数影响大，造成数据传输的的时延大，这对于需要实时处理的图形、视频数据造成很大问题。
3）电路设计复杂
两个芯片需要互相协调，每个芯片还要与主控芯片保持通讯，接口很多，连接复杂，提高了电路设计的复杂性。
4）片上资源利用率低
当有大量视频数据需要处理，没有图形数据需要处理时，图形处理器的流处理器单元便闲置下来造成资源的浪费；同理，当没有视频数据需要处理，而有大量图形数据需要处理时，视频处理器的大量运算单元又处于闲置状态，因此，传统的设计方法造成了片上资源利用率低，导致许多计算资源浪费。
所以，必须提出新的图形与视频处理相融合的结构，从而达到既能提高可靠性、缩短传输时延，又能提高片上资源利用率的目标。
发明内容
本发明要解决的技术问题是提供一种图形处理器与视频编解码器融合的电路结构，既能提高可靠性、缩短传输时延，又能提高片上资源利用率的目标。
本发明采用如下技术方案实现发明目的：
一种图形处理器与视频编解码器融合的电路结构，包括图形处理器，所述图形处理器包括流处理器，其特征在于，所述流处理器包括：
图形处理单元：识别图形运算控制帧，获取图形处理数据，在获得主控制器发出的图形运算信号后，结合共享单元中的硬件运算资源进行图形相关的运算操作；
视频处理单元：识别视频编解码运算帧，获取编解码数据，在获得主控制器发出的视频编解码运算信号后，结合共享单元中的硬件运算资源进行视频相关的编解码运算操作；
从控制器：接收主控制器控制信号，根据控制信号，对流处理器单元内各个单元进行协调控制，使各部分协调工作，当图形处理单元工作时，将共享单元使用权交给图形处理单元，此时视频处理单元不能占用共享单元；当视频处理单元工作时，控制权将会交给视频处理单元，此时图形处理单元则不能使用共享单元；
共享单元：实为硬件运算单元，硬件实现各种数学运算，包括求倒数、求平方根、求指数以及大量的加法、乘法操作，为图形处理单元和视频处理单元共享，提高资源利用率和灵活性。
作为对本技术方案的进一步限定，所述流处理器连接所述主控制器，所述主控制器用于分配流处理器，对同一时间进行图形处理的流处理器个数和进行视频处理的流处理器的个数进行分配，以达到分时复用；主控制器根据当前图形和视频数据的计算量，合理分配处于视频编解码计算和图形计算的流处理器数量，尽可能地提高片上资源的利用率。
作为对本技术方案的进一步限定，所述流处理器连接高速缓冲存储器。
作为对本技术方案的进一步限定，所述视频处理单元采用视频编码标准H.265。
与现有技术相比，本发明的优点和积极效果是：本发明对集成电路图形与视频处理芯片分开设计所导致的可靠性不足、数据传输时延大、芯片的流片费用高昂、以及片上资源利用率低等问题，提出了行之有效的设计结构，对传统的图形与视频分开设计的方法存在的问题进行了很好的解决，提高了电路设计的可靠性，减小了数据传输时延，降低了流片费用，很大程度的提高了片上资源的利用率。
附图说明
图1为本发明流处理器的原理结构图。
图2为本发明着色器结构方框图。
其中，1、流处理器，2、从控制器, 3、图形处理单元， 4、共享单元,5、视频处理单元，6、着色器结构图，7、主控制器，8、高速缓冲存储器，9、后续处理单元。
具体实施方式
下面结合附图和优选实施例对本发明作更进一步的详细描述。
参见图1、图2，一种图形处理器与视频编解码器融合的电路结构，包括图形处理器，所述图形处理器包括流处理器，所述流处理器包括：
图形处理单元：识别图形运算控制帧，获取图形处理数据，在获得主控制器发出的图形运算信号后，结合共享单元中的硬件运算资源进行图形相关的运算操作；
视频处理单元：识别视频编解码运算帧，获取编解码数据，在获得主控制器发出的视频编解码运算信号后，结合共享单元中的硬件运算资源进行视频相关的编解码运算操作；
从控制器：接收主控制器控制信号，根据控制信号，对流处理器单元内各个单元进行协调控制，使各部分协调工作，当图形处理单元工作时，将共享单元使用权交给图形处理单元，此时视频处理单元不能占用共享单元；当视频处理单元工作时，控制权将会交给视频处理单元，此时图形处理单元则不能使用共享单元；
共享单元：实为硬件运算单元，硬件实现各种数学运算，包括求倒数、求平方根、求指数以及大量的加法、乘法操作，为图形处理单元和视频处理单元共享，提高资源利用率和灵活性。
所述流处理器连接所述主控制器，所述主控制器用于分配流处理器，对同一时间进行图形处理的流处理器个数和进行视频处理的流处理器的个数进行分配，以达到分时复用；主控制器根据当前图形和视频数据的计算量，合理分配处于视频编解码计算和图形计算的流处理器数量，尽可能地提高片上资源的利用率。
所述流处理器连接高速缓冲存储器。
所述视频处理单元采用视频编码标准H.265。
本发明的处理流程为：从控制器接收主控制器信号，根据控制信号进行相应操作，使流处理器处于图形运算状态，或是视频编解码状态。流处理器处于图形运算状态时，从控制器将共享单元的使用权交给图形处理单元，此时视频处理单元将不能使用共享单元，同时从控制器将图形运算帧传给图形处理单元，同时图形处理单元获取图形处理数据，图形处理单元对图形运算帧进行解析，根据解析内容对图形数据进行相应运算，进行运算时需要用到共享单元的计算资源，图形处理单元与共享单元间可以互相传递数据，运算结束后数据将由图形处理单元输出到流处理器外部；流处理器处于视频编解码状态时，从控制器将共享单元的使用权交给视频处理单元，此时图形单元将不能使用共享单元，同时从控制器将视频编解码运算帧传给视频处理单元，同时视频处理单元获取视频处理数据，视频处理单元对视频编解码运算帧进行解析，根据解析内容对视频数据进行相应运算，进行运算时需要用到共享单元的计算资源，视频处理单元与共享单元间可以互相传递数据，运算结束后数据将由视频处理单元输出到流处理器外部。
当然，上述说明并非对本发明的限制，本发明也不仅限于上述举例，本技术领域的普通技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也属于本发明的保护范围。
Claims (4)
1.一种图形处理器与视频编解码器融合的电路结构，包括图形处理器，所述图形处理器包括流处理器，其特征在于，所述流处理器包括：
图形处理单元：识别图形运算控制帧，获取图形处理数据，在获得主控制器发出的图形运算信号后，结合共享单元中的硬件运算资源进行图形相关的运算操作；
视频处理单元：识别视频编解码运算帧，获取编解码数据，在获得主控制器发出的视频编解码运算信号后，结合共享单元中的硬件运算资源进行视频相关的编解码运算操作；
从控制器：接收主控制器控制信号，根据控制信号，对流处理器单元内各个单元进行协调控制，使各部分协调工作，当图形处理单元工作时，将共享单元使用权交给图形处理单元，此时视频处理单元不能占用共享单元；当视频处理单元工作时，控制权将会交给视频处理单元，此时图形处理单元则不能使用共享单元；
共享单元：实为硬件运算单元，硬件实现各种数学运算，包括求倒数、求平方根、求指数以及大量的加法、乘法操作，为图形处理单元和视频处理单元共享，提高资源利用率和灵活性。
2.根据权利要求1所述的图形处理器与视频编解码器融合的电路结构，其特征在于，所述流处理器连接所述主控制器，所述主控制器用于分配流处理器，对同一时间进行图形处理的流处理器个数和进行视频处理的流处理器的个数进行分配，以达到分时复用；主控制器根据当前图形和视频数据的计算量，合理分配处于视频编解码计算和图形计算的流处理器数量，尽可能地提高片上资源的利用率。
3.根据权利要求1所述的图形处理器与视频编解码器融合的电路结构，其特征在于，所述流处理器连接高速缓冲存储器。
4.根据权利要求1-3之一所述的图形处理器与视频编解码器融合的电路结构，其特征在于，所述视频处理单元采用视频编码标准H.265。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210496976.3A CN102932645B (zh) | 2012-11-29 | 2012-11-29 | 一种图形处理器与视频编解码器融合的电路结构 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210496976.3A CN102932645B (zh) | 2012-11-29 | 2012-11-29 | 一种图形处理器与视频编解码器融合的电路结构 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102932645A true CN102932645A (zh) | 2013-02-13 |
| CN102932645B CN102932645B (zh) | 2016-04-20 |
Family
ID=47647330
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210496976.3A Active CN102932645B (zh) | 2012-11-29 | 2012-11-29 | 一种图形处理器与视频编解码器融合的电路结构 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102932645B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104143334A (zh) * | 2013-05-10 | 2014-11-12 | 中国电信股份有限公司 | 可编程图形处理器及其对多路音频进行混音的方法 |
| CN110582003A (zh) * | 2019-01-12 | 2019-12-17 | 陈波 | 兼容性大数据采集终端 |
| CN111182239A (zh) * | 2020-01-12 | 2020-05-19 | 苏州浪潮智能科技有限公司 | 一种ai视频处理方法与装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100199076A1 (en) * | 2009-02-03 | 2010-08-05 | Yoo Dong-Hoon | Computing apparatus and method of handling interrupt |
| CN101866476A (zh) * | 2009-04-17 | 2010-10-20 | Arm有限公司 | 生成和解析图形处理流水线内的像素值 |
-
2012
- 2012-11-29 CN CN201210496976.3A patent/CN102932645B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100199076A1 (en) * | 2009-02-03 | 2010-08-05 | Yoo Dong-Hoon | Computing apparatus and method of handling interrupt |
| CN101866476A (zh) * | 2009-04-17 | 2010-10-20 | Arm有限公司 | 生成和解析图形处理流水线内的像素值 |
Non-Patent Citations (2)
| Title |
|---|
| MAHENDRA KUMAR ANGAMUTHU GANESAN, ET AL: "《H.264 Decoder at hd resolution on a coarse grain dynamically reconfigurable architecture》", 《IEEE 2007》, 31 December 2007 (2007-12-31) * |
| MANHWEE JO,ET AL: "《Chip Implementation of a Coarse-Grained Reconfigurable Architecture Supporting Floatin-Point Operations》", 《2008 INTERNATIONAL SOC DESIGN CONFERENCE》, 31 December 2008 (2008-12-31) * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104143334A (zh) * | 2013-05-10 | 2014-11-12 | 中国电信股份有限公司 | 可编程图形处理器及其对多路音频进行混音的方法 |
| CN104143334B (zh) * | 2013-05-10 | 2017-06-16 | 中国电信股份有限公司 | 可编程图形处理器及其对多路音频进行混音的方法 |
| CN110582003A (zh) * | 2019-01-12 | 2019-12-17 | 陈波 | 兼容性大数据采集终端 |
| CN111182239A (zh) * | 2020-01-12 | 2020-05-19 | 苏州浪潮智能科技有限公司 | 一种ai视频处理方法与装置 |
| CN111182239B (zh) * | 2020-01-12 | 2021-07-06 | 苏州浪潮智能科技有限公司 | 一种ai视频处理方法与装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102932645B (zh) | 2016-04-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106095583B (zh) | 基于新神威处理器的主从核协同计算编程框架 | |
| CN108206937B (zh) | 一种提升智能分析性能的方法和装置 | |
| CN103049926B (zh) | 分布式三维渲染系统 | |
| JP2022097484A (ja) | 低電力コンピュータイメージング | |
| CN103631634A (zh) | 实现图形处理器虚拟化的方法与装置 | |
| CN101667169A (zh) | 一种数字信号的多处理器并行处理系统 | |
| CN110276110A (zh) | 一种双目立体视觉系统的软硬件协同设计方法 | |
| CN102932645B (zh) | 一种图形处理器与视频编解码器融合的电路结构 | |
| CN110730304B (zh) | 一种加速图像采集和显示的智能相机 | |
| CN104360319A (zh) | 一种基于cuda平台的雷达b显处理方法 | |
| TW201618030A (zh) | 促進針對在計算裝置上之部分被遮蔽圖形影像之動態且有效的預啓用裁剪之技術 | |
| CN201765584U (zh) | 一种利用dvi接口发送图形处理器通用计算数据的装置 | |
| CN101567078A (zh) | 一种双总线的视觉处理芯片架构 | |
| CN103347071B (zh) | 一种mipi数据传输控制方法和电子装置 | |
| Guo et al. | An FPGA implementation of multi-channel video processing and 4K real-time display system | |
| CN104780294A (zh) | 基于FPGA Soc并行处理的分布式大数据量视频处理系统和方法 | |
| CN102509315B (zh) | 笔划式符号发生器及其书写方法 | |
| WO2023184754A1 (zh) | 可配置实时视差点云计算装置及方法 | |
| CN115623339A (zh) | 用于多摄像头的图像数据交换方法、装置、系统和汽车 | |
| CN103744632A (zh) | 一种基于NiosⅡ的低成本机载显示器图形生成装置及其方法 | |
| CN103281262B (zh) | 数据报文收发系统及方法 | |
| CN209524887U (zh) | 基于fpga的三维测量系统 | |
| CN201465098U (zh) | 一种多通道交叉的dma | |
| CN109308282A (zh) | 一种运用在mr混合现实设备上的并行架构方法及装置 | |
| US9824413B2 (en) | Sort-free threading model for a multi-threaded graphics pipeline |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Zhang Bo Inventor after: Sun Tao Inventor after: Zhou Li Inventor after: Zhang Congcong Inventor before: Sun Tao Inventor before: Zhou Li Inventor before: Zhang Congcong |
|
| COR | Change of bibliographic data | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210917 Address after: 250101 room 1505, floor 15, building 3, Aosheng building, 1166 Xinluo street, Lixia District, Jinan City, Shandong Province Patentee after: SHANDONG LINGNENG ELECTRONIC TECHNOLOGY Co.,Ltd. Address before: Ji'nan City Central Jiwei Road No. 106 of 250022 cities in Shandong Province Patentee before: University of Jinan |
|
| TR01 | Transfer of patent right |