CN107147890B - 一种兼容不同分辨率和宽长比的多视频缩放模块及并行工作方法 - Google Patents
一种兼容不同分辨率和宽长比的多视频缩放模块及并行工作方法 Download PDFInfo
- Publication number
- CN107147890B CN107147890B CN201710332008.1A CN201710332008A CN107147890B CN 107147890 B CN107147890 B CN 107147890B CN 201710332008 A CN201710332008 A CN 201710332008A CN 107147890 B CN107147890 B CN 107147890B
- Authority
- CN
- China
- Prior art keywords
- module
- data
- zoom
- interpolation window
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 9
- 230000004927 fusion Effects 0.000 claims abstract description 18
- 230000000007 visual effect Effects 0.000 claims abstract description 7
- 238000003709 image segmentation Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 2
- 230000003245 working effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 238000000151 deposition Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Controls And Circuits For Display Device (AREA)
- Television Systems (AREA)
Abstract
本发明公开一种兼容不同分辨率和宽长比的多视频缩放模块及并行工作方法，包括：(1)、根据输入视频分辨率和输出分辨率需求，确定缩放模块个数；(2)、根据步骤(1)确定的个数和缩放算法，构建插值窗；(3)、由缩放模块产生控制信号，从行存中读取数据并更新到插值窗中；(4)、根据缩放模块产生的控制信号，从步骤(2)构建的插值窗中选取对应数据分别送到工作的缩放模块；每个缩放模块分别将视频源各子视场相对应的位置数据进行缩放，再将缩放后的数据融合输出。本发明在数据吞吐率大幅度增加的前提下使系统能在较低时钟频率下稳定工作；同时该发明兼容普通的2D视频源缩放和裸眼3D视频的缩放处理，而且兼容不同宽长比的显示终端。
Description
技术领域
本发明属于视频图像处理技术领域，具体涉及一种多缩放模块及其并行工作方法。
背景技术
为了追求更清晰、更细腻、更逼真的观看体验，在显示设备上，出现了1080P、4K、8K以及更高分辨和支持更多视场的显示终端：如裸眼3D电视等。这对视频图像处理技术提出了更高的要求。
在高分辨率显示设备逐渐普及的情况下，与分辨率相匹配的视频源是良好画质的必要条件。但就目前的情况来看，720P、1080P分辨率视频源日渐丰富，4K以及更高分辨率视频源相对匮乏。为使4K及更高分辨率的显示设备可以有良好的显示效果，须将720P、1080P等分辨率视频源进行插值放大。由于分辨率的提升，数据吞吐量急剧上升。在相同的帧频下，以4K分辨率为例，其一帧图片的像素量是1080P分辨率的4倍，是720P分辨率的9倍。如果采用单一缩放模块对视频图像进行放大，其工作频率也要随着显示终端的分辨率提高相应的倍数。以输入视频源为1080P@60Hz为例，其像素时钟频率为148.5MHz，将其放大至4K分辨率时，数据吞吐量要提高至4倍，单一缩放模块的工作频率将会达到594MHz。所以，当显示终端的分辨率提升到8K、16K甚至更高的时候，采用单一模块的工作频率需达到上千兆。
发明内容
本发明的目的在于提供一种兼容不同分辨率和宽长比的多视频缩放模块及其并行工作方法，以解决上述技术问题；本发明在满足数据吞吐量的前提下，有效降低了缩放模块的工作频率，使之可以在相对较低的时钟频率情况下稳定工作，并保证了视频处理的实时性。
为了实现上述目的，本发明采用如下技术方案：
一种兼容不同分辨率和宽长比的多视频缩放模块并行工作方法，包括：
(1)、根据输入视频分辨率和输出分辨率需求，计算缩放比，并根据时钟要求，从缩放模块组合中确定启动缩放模块的个数
(2)、根据步骤(1)确定的缩放模块个数和缩放算法，构建插值窗；
(3)、由缩放模块产生控制信号，从行存中读取数据并更新到插值窗中；
(4)、根据缩放模块产生的控制信号，从步骤(2)构建的插值窗中选取对应数据分别送到工作的缩放模块；每个缩放模块分别将视频源各子视场相对应的位置数据进行缩放，再将缩放后的数据融合输出。
进一步的，插值窗的规模为n×m；n取决于构造插值窗所需要的行存数目，m取决于全部缩放模块在同一时钟周期需要的不同插值窗的个数，且m≥n；两个相邻插值像素点计算所需要的不同插值窗存在多列的公共部分。
进一步的，行存中数据的读取和插值窗中数据的更新由缩放模块产生的控制信号来控制，该控制信号还负责从插值窗中选取对应的组合和数据调度，作为各缩放模块的输入。
进一步的，每个缩放模块由一个控制器和计算单元构成；计算单元用于实现插值缩放功能；控制器用于根据所要缩放的目标点，来确定插值窗在原图像中的位置，并产生读地址和使能信号，从行存中读取像素点的值，并对插值窗中的数据进行更新。
一种兼容不同分辨率和宽长比的多视频缩放模块，包括行存、插值窗数据模块、时钟/电源控制模块、插值窗更新控制模块、若干缩放模块和数据融合模块；时钟/电源控制模块通过控制总线连接所有缩放模块，所有缩放模块通过控制总线连接插值窗更新控制模块，插值窗更新控制模块通过行存连接插值窗数据模块，插值窗数据模块连接所有缩放模块，所有缩放模块连接数据融合模块。
进一步的，根据输入视频分辨率和输出分辨率需求，计算缩放比，并根据时钟要求，确定若干缩放模块中进行工作的缩放模块的个数；利用时钟/电源控制模块，通过控制总线发出相应的使能信号，使能相应个数的缩放模块进入工作模式；由某个缩放模块发出数据更新请求，通过控制总线向插值窗更新控制模块发出相应的数据更新信号，由插值窗更新控制模块控制行存中需要更新的数据更新到插值窗数据模块中；各缩放模块根据自身需求从插值窗数据模块内选择相应的数据；每个缩放模块分别将视频源各子视场相对应的位置数据进行缩放，再将缩放后的数据送入到数据融合模块；数据融合模块根据每个缩放模块在显示终端上的目标位置的不同从各自缩放模块所送出的缩放后数据中选择不同位置信息的数据进行融合输出。
进一步的，还包括2D/3D判别模块和视频源图像分割模块；2D/3D判别模块用于判断视频源输入的为2D还是3D视频；如果是2D视频，直接采用2D视频数据构建插值窗；如果是3D视频，对视频源通过视频源图像分割模块分割后构建插值窗。
1、确定缩放模块数目
目前市面上常见的电视分辨率为1080P(1920x1080)和4K(3840x2160)，屏幕驱动通过多通道接收的像素信号，因此缩放模块的个数N可以确定为：输出时钟频率与单通道像素频率的倍数。
2、插值窗的构建
插值窗的构建与缩放模块的个数、缩放比和缩放算法有关。单个缩放模块，插值窗的规模一般为n*n。本发明采用多个缩放模块的情况下，插值窗的规模为n*m。n取决于构建插值窗所需要的行存数目，m取决于全部缩放模块在同一时钟周期需要的不同插值窗的个数，一般的m≥n。由于两个相邻插值像素点所需要的插值窗存在公共部分，所以插值窗只需增加L列，就可构成L+1个不同的插值窗。
3、缩放模块的构成
每个缩放模块都由一个控制器和计算单元构成。计算单元实现插值缩放功能，如双三次插值，双线性插值等。控制器的作用是根据所要缩放的目标点，来确定插值窗在原图像中的位置，并产生读地址和使能信号，从行存中读取像素点的值，并对插值窗中的数据进行更新。
4、多个缩放模块并行工作的实现方式
在存在多个缩放模块的情况下(假设缩放模块数为N，并将其命名为S1、S2、…、SN)，则每个模块缩放的目标点在行方向上的坐标分别为an,an+1,...,an+N-1(n＝0、1、2、…)。模块SN产生的读地址和使能信号，用于从行存中请求数据；该使能信号也可作为插值窗更新数据的使能信号，用于将行存中读出的像素点更新到插值窗中。其它缩放模块控制器产生的使能信号，作为选择插值窗的选择信号，确定将哪个插值窗作为缩放模块的输入。
5、低功耗处理
多个缩放模块并行工作是为了降低系统的工作频率，面向不同分辨率显示要求时，可以根据处理需要来配置相应的缩放模块数目，以应对不同分辨率显示设备的时钟频率需求。针对低分辨率显示时，对没有使用到的缩放模块可使用门控时钟或电源门控使其处于休眠状态，达到降低系统功耗的目的。
6、兼容2D和多视点裸眼3D视频缩放处理
根据是否需要将视频源图像进行分割，选择是否将视频源图像送入分图模块，以达到兼容2D和多视点裸眼3D视频处理，如附图3所示。
相对于现有技术，本发明具有以下有益效果：本发明通过设置多个视频缩放模块，根据输入输出视频分辨率以及时钟频率的要求，能够选择一个或多个视频缩放模块并行工作，以有效降低单一缩放模块的工作频率；在数据吞吐率大幅度增加的需求下使系统能在较低时钟频率下稳定工作；同时本发明兼容普通的2D视频源缩放和裸眼3D视频的缩放处理，而且兼容不同宽长比的显示终端。
附图说明
图1为4K@30Hz的9宫格裸眼3D视频的并行缩放模块示意图；
图2为兼容高分辨率的多缩放模块的结构示意图；
图3为兼容2D和多视点裸眼3D视频缩放处理模块示意图。
具体实施方式
裸眼3D视频的处理，需要将多宫格视频源的每帧图像按照几何位置关系分割，获得不同视点的图像。将每个视点的图像分辨率放大到目标显示分辨率(如：4K)，然后按照裸眼3D视频处理的算法要求，从各个视点放大后的图像中选取相应的子像素点进行融合，最终构成4K图像。模块设计见附图1。
请参阅图2所示，本发明一种兼容不同分辨率和宽长比的多视频缩放模块，包括行存、插值窗数据模块、时钟/电源控制模块、插值窗更新控制模块、若干缩放模块和数据融合模块。时钟/电源控制模块通过控制总线连接若干缩放模块，若干缩放模块通过控制总线连接插值窗更新控制模块，插值窗更新控制模块通过行存连接插值窗数据模块，插值窗数据模块连接所有缩放模块，所有缩放模块连接数据融合模块。
如图2所示，本发明在设计中预先设置多个缩放模块，根据输入视频源的分辨率、显示的分辨率和工作频率要求，确定所需要的缩放模块个数，利用时钟/电源控制模块，通过控制总线发出相应的使能信号，使能相应个数的缩放模块(假设为N，N小于等于总缩放模块个数)进入工作模式。通常由缩放模块SN发出数据更新请求，通过控制总线向插值窗更新控制模块发出相应的数据更新信号，由插值窗更新控制模块控制行存中需要更新的数据更新到插值窗数据模块中。各缩放模块根据自身需求从插值窗数据模块内选择相应的数据。每个缩放模块分别将视频源各子视场相对应的位置数据进行缩放，再将缩放后的数据送入到数据融合模块。数据融合模块根据每个缩放模块在显示终端上的位置的不同从各自缩放模块所送出的缩放后数据中选择不同位置信息的数据进行融合。如此，利用N个缩放模块同时工作，经过数据融合后每个时钟周期便可得到N个最终的显示像素点数据，通过输出模块输出相应的数据。
请参阅图1至图3所示，本发明以4K@30Hz裸眼3D视频插值缩放处理为例说明本发明的具体实现。
1、根据电视屏幕驱动板的要求，4K@30H视频的像素频率为297MHz，利用门控时钟或者电源门控使能多缩放模块中的两个使其同时工作(多缩放模块为了满足更高分辨率显示需求)，工作频率为148.5MHz，如附图2所示。
2、假设缩放模块均采用双三次插值缩放算法，在同一时钟周期需要用到2个不同的插值窗。因此，插值窗的规模为4*5。由于两个相邻目标点所需要的插值窗存在公共部分，所以插值窗只需增加一列，就可构成满足两个插值像素点计算的要求。
3、系统工作时，当缩放模块S2控制器产生输出有效信号时，从行存中读取控制器读地址所指向位置的像素点的值。由于从行存中读取数据有若干时钟周期的延迟(由具体构成行存的器件决定)，有效信号也需要延迟相应的时钟周期后，才能作为插值窗更新像素点的使能信号，与读出的像素的保持同步。插值窗像素点的更新是由缩放模块S2驱动的，因此缩放模块S2始终选择最新的插值窗作为输入，缩放模块S1根据其控制器产生的有效信号来选择新构成的插值窗或原有插值窗作为输入。
这样便构成了两个并行工作的缩放模块，单个模块的工作频率为148.5MHz。
本发明的优点在于，采用了多缩放模块并行工作，降低了系统的工作频率，更易于实现高分辨率图像的缩放处理，采用门控时钟或电源门控来控制缩放模块，达到根据计算负载需求动态调整系统功耗的目的；兼容2D与多视点裸眼3D视频。该设计不需要对源视频进行特殊处理，简化了缩放模块前的电路设计，节省了资源。通过缩放模块中控制器产生的控制信号，对插值窗进行选取，使设计更加灵活。
Claims (4)
1.一种兼容不同分辨率和宽长比的多视频缩放模块并行工作方法，其特征在于，包括：
(1)、根据视频输入分辨率和输出分辨率需求，计算缩放比，并根据时钟要求，从缩放模块组合中确定启动缩放模块的个数N；缩放模块的个数N可以确定为：输出时钟频率与单通道像素频率的倍数；
(2)、根据步骤(1)确定的缩放模块个数和缩放算法，构建插值窗；
(3)、由缩放模块产生控制信号，从行存中读取数据并更新到插值窗中；
(4)、根据缩放模块产生的控制信号，从步骤(2)构建的插值窗中选取对应数据分别送到工作的缩放模块；每个缩放模块分别将视频源各子视场相对应的位置数据进行缩放，再将缩放后的数据融合输出；
插值窗的规模为n×m；n取决于构造插值窗所需要的行存数目，m取决于全部缩放模块在同一时钟周期需要的不同插值窗的个数，且m≥n；两个相邻插值像素点计算所需要的不同插值窗存在多列的公共部分；
每个缩放模块由一个控制器和计算单元构成；计算单元用于实现插值缩放功能；控制器用于根据所要缩放的目标点，来确定插值窗在原图像中的位置，并产生读地址和使能信号，从行存中读取像素点的值，并对插值窗中的数据进行更新。
2.根据权利要求1所述的一种兼容不同分辨率和宽长比的多视频缩放模块并行工作方法，其特征在于，行存中数据的读取和插值窗中数据的更新由缩放模块产生的控制信号来控制，该控制信号还负责从插值窗中选取对应的组合和数据调度，作为各缩放模块的输入。
3.一种兼容不同分辨率和宽长比的多视频缩放模块，其特征在于，包括行存、插值窗数据模块、时钟/电源控制模块、插值窗更新控制模块、若干缩放模块和数据融合模块；时钟/电源控制模块通过控制总线连接所有缩放模块，所有缩放模块通过控制总线连接插值窗更新控制模块，插值窗更新控制模块通过行存连接插值窗数据模块，插值窗数据模块连接所有缩放模块，所有缩放模块连接数据融合模块；
根据输入视频分辨率和输出分辨率需求，计算缩放比，并根据时钟要求，从缩放模块组合中确定启动缩放模块的个数N；缩放模块的个数N可以确定为：输出时钟频率与单通道像素频率的倍数；利用时钟/电源控制模块，通过控制总线发出相应的使能信号，使能相应的缩放模块进入工作模式；由某个缩放模块发出数据更新请求，通过控制总线向插值窗更新控制模块发出相应的数据更新信号，由插值窗更新控制模块控制行存中需要更新的数据更新到插值窗数据模块中；各缩放模块根据自身需求从插值窗数据模块内选择相应的数据；每个缩放模块分别将视频源各子视场相对应的位置数据进行缩放，再将缩放后的数据送入到数据融合模块；数据融合模块根据每个缩放模块在显示终端上的位置的不同从各自缩放模块所送出的缩放后数据中选择不同位置信息的数据进行融合输出。
4.根据权利要求3所述的一种兼容不同分辨率和宽长比的多视频缩放模块，其特征在于，包括2D/3D判别模块和视频源图像分割模块，兼容2D/3D显示；2D/3D判别模块用于判断视频源输入的为2D还是3D视频；如果是2D视频，直接采用2D视频数据构建插值窗；如果是3D视频，对视频源通过视频源图像分割模块分割后构建插值窗。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710332008.1A CN107147890B (zh) | 2017-05-11 | 2017-05-11 | 一种兼容不同分辨率和宽长比的多视频缩放模块及并行工作方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710332008.1A CN107147890B (zh) | 2017-05-11 | 2017-05-11 | 一种兼容不同分辨率和宽长比的多视频缩放模块及并行工作方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107147890A CN107147890A (zh) | 2017-09-08 |
| CN107147890B true CN107147890B (zh) | 2018-12-07 |
Family
ID=59778307
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710332008.1A Active CN107147890B (zh) | 2017-05-11 | 2017-05-11 | 一种兼容不同分辨率和宽长比的多视频缩放模块及并行工作方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107147890B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108040246B (zh) * | 2017-12-21 | 2019-09-24 | 四川长虹电器股份有限公司 | 多视点裸眼3d显示系统中降低时钟频率的方法 |
| CN111314624B (zh) * | 2018-12-11 | 2022-11-04 | 杭州海康威视数字技术股份有限公司 | 预览画面生成方法、装置、硬盘录像机及存储介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100632297B1 (ko) * | 2004-08-31 | 2006-10-11 | 매그나칩 반도체 유한회사 | 해상도 저감기 |
| CN102693111B (zh) * | 2011-07-06 | 2015-08-19 | 合肥华恒电子科技有限责任公司 | 一种Android移动终端支持不同分辨率的方法 |
| JP2014225718A (ja) * | 2013-05-15 | 2014-12-04 | ソニー株式会社 | 画像処理装置および画像処理方法 |
| CN103945208B (zh) * | 2014-04-24 | 2015-10-28 | 西安交通大学 | 一种针对多视点裸眼3d显示的并行同步缩放引擎及方法 |
| CN104317968A (zh) * | 2014-11-18 | 2015-01-28 | 苏州科达科技股份有限公司 | 一种页面自适应调整方法及系统 |
| CN204859381U (zh) * | 2015-08-30 | 2015-12-09 | 深圳市特力科信息技术有限公司 | 基于fpga视频处理多分辨率转换模块及视频处理系统 |
-
2017
- 2017-05-11 CN CN201710332008.1A patent/CN107147890B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN107147890A (zh) | 2017-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104992957B (zh) | 阵列基板、显示面板和显示装置 | |
| CN103021378B (zh) | 一种多屏拼接显示装置和方法 | |
| CN102929572B (zh) | 一种实现大屏幕多投影无缝拼接的方法及其拼接融合器 | |
| CN102376293A (zh) | 一种基于fpga的图像拼接处理器及图像拼接方法 | |
| CN102543018B (zh) | 液晶显示装置及其驱动方法 | |
| CN104952425B (zh) | 显示基板、显示装置以及显示基板分辨率调节方法 | |
| CN109448633A (zh) | 一种异形led显示屏显示实现控制方法及实现系统 | |
| CN103813107A (zh) | 一种基于fpga多路高清视频叠加方法 | |
| CN100365701C (zh) | 多层实时图像叠加控制器 | |
| CN102843522B (zh) | 基于pcie的视频拼接处理卡、其控制系统及控制方法 | |
| CN111064906A (zh) | 国产处理器和国产fpga多路4k高清视频综合显示方法 | |
| CN107147890B (zh) | 一种兼容不同分辨率和宽长比的多视频缩放模块及并行工作方法 | |
| CN105448226A (zh) | 一种栅极驱动电路和显示装置 | |
| US20160063946A1 (en) | Timing control unit and apparatus and method for displaying using the same | |
| CN103685977B (zh) | 一种实时显示合成孔径雷达图像的装置 | |
| CN101814269A (zh) | 全彩led点阵上同时显示实时多画面的方法及装置 | |
| CN100356418C (zh) | 通用型平板显示控制器及其控制方法 | |
| CN104836974A (zh) | 视频播放器、显示装置、视频播放系统和视频播放方法 | |
| CN104238984A (zh) | 一种多机并行同步输出图像的方法及系统 | |
| CN109599070A (zh) | 液晶显示装置及其控制方法 | |
| CN102497526B (zh) | 一种同一链路显示多路视频的方法及系统 | |
| CN101390040A (zh) | 在至少两个显示器上输出不同的图像的装置和方法 | |
| CN107529024A (zh) | 多功能图像视频切换板 | |
| CN101193217A (zh) | 具有双路lvds输出电路的液晶电视机 | |
| CN101266760B (zh) | 在液晶显示器中整合反交错及过驱动以处理影像数据的方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |