CN111711858B - 数据传输方法、装置、集成芯片及视频图像处理系统 - Google Patents

数据传输方法、装置、集成芯片及视频图像处理系统 Download PDF

Info

Publication number
CN111711858B
CN111711858B CN202010515091.8A CN202010515091A CN111711858B CN 111711858 B CN111711858 B CN 111711858B CN 202010515091 A CN202010515091 A CN 202010515091A CN 111711858 B CN111711858 B CN 111711858B
Authority
CN
China
Prior art keywords
transmission unit
image processing
video image
processing system
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010515091.8A
Other languages
English (en)
Other versions
CN111711858A (zh
Inventor
魏巍
金凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou HYC Technology Co Ltd
Original Assignee
Suzhou HYC Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou HYC Technology Co Ltd filed Critical Suzhou HYC Technology Co Ltd
Priority to CN202010515091.8A priority Critical patent/CN111711858B/zh
Publication of CN111711858A publication Critical patent/CN111711858A/zh
Application granted granted Critical
Publication of CN111711858B publication Critical patent/CN111711858B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display

Abstract

本发明公开了一种数据传输方法、装置、集成芯片及视频图像处理系统。该方法包括:根据视频图像处理系统的工作参数确定所述视频图像处理系统的传输单元尺寸;根据所述传输单元尺寸和所述视频图像处理系统支持的传输单元的最大尺寸阈值调整所述工作参数;基于调整后的工作参数对应的传输单元传输数据。上述技术方案依据视频图像处理系统支持的传输单元的最大尺寸阈值调整工作参数,有效保证了视频图像处理系统的数据传输效率和稳定性。

Description

数据传输方法、装置、集成芯片及视频图像处理系统
技术领域
本发明实施例涉及数据通信技术领域,尤其涉及一种数据传输方法、装置、集成芯片及视频图像处理系统。
背景技术
视频图像处理系统在设备检验/检测、安全监控、工业视觉以及人工智能等众多的领域中得到日益广泛的应用。随着视频图像处理系统分辨率的不断提升,视频显示的终端设备上使用的通道(Lane)数增多,链路速率(Link Rate,LR)也在不断提高,这对视频图像处理系统的硬件平台的稳定性、协调性等的要求越来越高。
在数据处理量大增的场景下,如果数据传输单元(Transfer Unit,TU)的尺寸过小,导致数据的传输效率过低,无法满足实际需求,如果数据传输单元的尺寸过大,超出视频图像处理系统的传输能力,则会影响链路质量,降低系统运行的稳定性。
发明内容
本发明提供了一种数据传输方法、装置、集成芯片及视频图像处理系统,以有效保证视频图像处理系统的数据传输效率和稳定性。
第一方面,本发明实施例提供了一种数据传输方法,应用于视频图像处理系统的集成芯片,包括:
根据视频图像处理系统的工作参数确定所述视频图像处理系统的传输单元尺寸;
根据所述传输单元尺寸和所述视频图像处理系统支持的传输单元的最大尺寸阈值调整所述工作参数;
基于调整后的工作参数对应的传输单元传输数据。
进一步的,在根据视频图像处理系统的工作参数确定所述视频图像处理系统的传输单元尺寸之前,还包括:
获取所述视频图像处理系统的工作参数;
所述工作参数包括:帧率(Frame Rate,FR)、每像素的位数(Bits Per Pixel,BPP)、通道数和链路速率特征值(Link Rate Characteristic Value,LRCV)。
进一步的,所述根据所述传输单元尺寸和所述视频图像处理系统支持的传输单元的最大尺寸阈值调整所述工作参数,包括:
若所述传输单元尺寸大于所述视频图像处理系统支持的传输单元的最大尺寸阈值,则根据至少一个参数调整策略调整所述工作参数,直至所述工作参数对应的传输单元的尺寸小于或等于所述视频图像处理系统支持的传输单元的最大尺寸阈值。
进一步的,所述参数调整策略包括以下至少之一:
选取传输单元可达到的最大尺寸对应的工作参数;
调整所述视频图像处理系统的帧率;
调整所述视频图像处理系统的每像素的位数;
调整所述视频图像处理系统的通道数;
调整所述视频图像处理系统的链路速率特征值。
进一步的,所述根据所述传输单元尺寸和所述视频图像处理系统支持的传输单元的最大尺寸阈值调整所述工作参数,还包括:
通过以下方式至少之一将所述工作参数对应的传输单元尺寸调整为整数:
调整所述视频图像处理系统的面板时序参数;
对所述工作参数对应的传输单元的尺寸进行取整计算;
对所述工作参数对应的传输单元进行假数据填充。
进一步的,还包括:
若遍历所述视频图像处理系统的工作参数,对应的传输单元尺寸均大于所述最大尺寸阈值,则生成不支持传输单元尺寸的提示信息。
进一步的,还包括:
若数据的重传次数大于或等于设定次数,则调整所述视频图像处理系统的增益(Gains)和均衡(Equalizer,EQ)值。
第二方面,本发明实施例提供了一种数据传输装置,包括:
尺寸确定模块,用于根据视频图像处理系统的工作参数确定所述视频图像处理系统的传输单元尺寸;
参数调整模块,用于根据所述传输单元尺寸和所述视频图像处理系统支持的传输单元的最大尺寸阈值调整所述工作参数;
数据传输模块,用于基于调整后的工作参数对应的传输单元传输数据。
第三方面,本发明实施例提供了一种集成芯片,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如第一方面所述的数据传输方法。
第四方面,本发明实施例还提供了一种视频图像处理系统,包括:嵌入式控制模块、外部模块以及如第三方面所述的集成芯片,所述集成芯片分别与所述嵌入式控制模块和所述外部模块连接;
其中,所述嵌入式控制模块用于向所述集成芯片发起数据传输请求;
所述外部模块用于存储待处理的视频数据并提供视频图像数据显示的物理层接口。
本发明实施例提供了一种数据传输方法、装置、集成芯片及视频图像处理系统。该方法包括:根据视频图像处理系统的工作参数确定所述视频图像处理系统的传输单元尺寸;根据所述传输单元尺寸和所述视频图像处理系统支持的传输单元的最大尺寸阈值调整所述工作参数;基于调整后的工作参数对应的传输单元传输数据。上述技术方案依据传输单元的最大尺寸阈值和所述视频图像处理系统支持的传输单元的最大尺寸阈值调整工作参数,保证了视频图像处理系统的数据传输效率和稳定性。
附图说明
图1为本发明实施例一提供的一种数据传输方法的流程图;
图2为本发明实施例二提供的一种数据传输方法的流程图;
图3为本发明实施例三提供的一种数据传输装置的结构示意图;
图4为本发明实施例四提供的一种集成芯片的硬件结构示意图;
图5为本发明实施例五提供的一种视频图像处理系统的结构示意图;
图6为本发明实施例五提供的一种视频图像处理系统的实现示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种数据传输方法的流程图,本实施例可适用于数据在视频图像处理系统的各模块之间以及与外部设备之间传输的情况,具体的,可适用于基于现场可编程门阵列(Field Programmable Gate Array,FPGA)和嵌入式系统的视频图像处理系统,尤其涉及带有视频电子标准协会(Video Electronics StandardsAssociation,VESA)的数字式视频接口标准(DisplayPort,DP)、移动产业处理器接口标准(Mobile Industry Processor Interface,MIPI)、高清多媒体接口标准(High DefinitionMultimedia Interface,HDMI)的视频图像处理系统。
本实施例的数据传输方法可以由数据传输装置执行,该数据传输装置可以通过软件和/或硬件的方式实现,并集成在集成芯片中。本实施例中,传输的数据包括视频图像数据,视频图像数据为连续的静态图像的序列。视频图像处理系统是一种基于图像处理算法对视频图像进行处理的系统。集成芯片包括但不限于FPGA、微控制单元(MicrocontrollerUnit,MCU)、数字信号处理器(Digital Signal Processor,DSP)等。
如图1所示,该方法具体包括如下步骤:
S110、根据视频图像处理系统的工作参数确定所述视频图像处理系统的传输单元尺寸。
具体的,视频图像处理系统中的数据以传输单元为单位传输,不同的传输单元尺寸即不同的载荷值。不同的工作参数对应的传输单元的尺寸也不同。影响传输单元尺寸的工作参数包括帧率、通道数、每个像素的位数、链路速率等,例如,帧率越大,传输单元的尺寸越大;通道数越多,传输单元的尺寸越小。本实施例根据视频图像处理系统的工作参数首先确定系统使用的传输单元尺寸,进而确定是否可以采用该传输单元尺寸传输数据,如果无法保证视频图像处理系统有足够的能力支持以该传输单元尺寸为单位的数据传输,则需要对视频图像处理系统的工作参数进行调整,从而逐步降低传输单元尺寸。
S120、根据所述传输单元尺寸和所述视频图像处理系统支持的传输单元的最大尺寸阈值调整所述工作参数。
具体的,本实施例中先根据视频图像处理系统的工作参数确定系统使用的传输单元尺寸,然后以视频图像处理系统支持的传输单元的最大尺寸阈值为基准,对实际使用的工作参数进行调整,以逐步降低传输单元尺寸。所述视频图像处理系统支持的传输单元的最大尺寸阈值可以理解为视频图像处理系统的传输单元的最佳尺寸,例如在保证芯片运行稳定、内存占用不会过高的情况下可以使用的最大的尺寸,也可以是用户给定的或者系统默认的尺寸,也可以是根据历史数据传输过程中效率最高、链路质量或吞吐量最高、或者采用次数最多的尺寸设定的阈值,作为调整工作参数的基准。调整工作参数的目的是逐步降低传输单元尺寸,直至降低至最大尺寸阈值以下,或者降低至最大尺寸阈值的允许浮动范围内,或者是降低到两个最大尺寸阈值的区间之内等,以尽可能使用较大的传输单元尺寸,提高数据传输效率,同时保证数据传输过程中的链路质量和稳定性。
S130、基于调整后的工作参数对应的传输单元传输数据。
具体的,调整后的工作参数对应的传输单元具有最佳尺寸,基于该尺寸的传输单元传输数据,能够兼顾数据传输效率和链路质量。
本发明实施例一提供的一种数据传输方法,以视频图像处理系统支持的最大尺寸阈值为参考对工作参数进行调整,以适当降低传输单元尺寸,在保证数据传输效率的同时,有效提升数据传输过程中的链路质量和稳定性。
实施例二
图2为本发明实施例二提供的一种数据传输方法的流程图,本实施例是在上述实施例的基础上进行优化,对工作参数的调整过程进行具体描述。本实施例中,根据所述传输单元尺寸和所述视频图像处理系统支持的传输单元的最大尺寸阈值调整所述工作参数,包括:若所述传输单元尺寸大于所述最大尺寸阈值,则根据至少一个参数调整策略调整所述工作参数,直至所述工作参数对应的传输单元的尺寸小于或等于所述最大尺寸阈值。还包括:若遍历所述视频图像处理系统的工作参数,对应的传输单元尺寸均大于所述最大尺寸阈值,则生成不支持传输单元尺寸的提示信息。需要说明的是,未在本实施例中详尽描述的技术细节可参见上述任意实施例。
具体的,如图2所示,该方法具体包括如下步骤:
S201、获取视频图像处理系统的工作参数。
在一实施例中,工作参数包括:帧率、每像素的位数、通道数和链路速率特征值。
具体的,视频图像处理系统中的工作参数包括帧率(例如30Hz、50Hz、60Hz、75Hz、120Hz、144Hz等)、每像素的位数(例如18、24、30、36、48等)、通道数(例如1、2、4、6等)以及链路速率特征值。其中,链路速率特征值是由链路速率(Lane Rate,LR)决定的。
表1链路速率与链路速率特征值的映射关系表
链路速率(Gbps/Lane) 链路速率特征值
1.62 6
2.70 10
5.40 20
8.10 30
表1为链路速率与链路速率特征值的映射关系表。链路速率与链路速率特征值之间具有一定的映射关系,该映射关系可以根据现有协议确定。
S202、根据视频图像处理系统的工作参数确定视频图像处理系统的传输单元尺寸。
具体的,视频图像处理系统中支持的面板时序参数一定,则可以计算出总像素数。在总像素数一定的情况下,不同工作参数对应的传输单元的尺寸不同。表2为工作参数与传输单元尺寸的映射关系表。如表2所示,从中可以确定视频图像处理系统可能达到的最大的传输单元尺寸为1843.0157,对应的工作参数包括:帧率为120,每像素的位数为48,通道数为1,链路速率特征值为6。表2中,可能有一些传送单元的尺寸大于视频图像处理系统支持的传输单元的最大尺寸阈值,这些传送单元的尺寸将不被系统所支持,需要做进一步的调整。
表2工作参数与传输单元尺寸的映射关系表
传输单元尺寸 帧率(Hz) 每像素的位数(bit) 通道数 链路速率特征值
230.377 30 24 1 6
115.1885 30 24 2 6
57.5942 30 24 4 6
46.0754 30 24 1 30
23.0377 30 24 2 30
11.5188 30 24 4 30
460.7539 30 48 1 6
230.377 30 48 2 6
115.1885 30 48 4 6
92.1508 30 48 1 30
46.0754 30 48 2 30
23.0377 30 48 4 30
460.7539 60 24 1 6
230.377 60 24 2 6
115.1885 60 24 4 6
92.1508 60 24 1 30
46.0754 60 24 2 30
23.0377 60 24 4 30
921.5078 60 48 1 6
460.7539 60 48 2 6
230.377 60 48 4 6
184.3016 60 48 1 30
92.1508 60 48 2 30
46.0754 60 48 4 30
921.5078 120 24 1 6
460.7539 120 24 2 6
230.377 120 24 4 6
184.3016 120 24 1 30
92.1508 120 24 2 30
46.0754 120 24 4 30
1843.0157 120 48 1 6
921.5078 120 48 2 6
460.7539 120 48 4 6
368.6031 120 48 1 30
184.3016 120 48 2 30
92.1508 120 48 4 30
进一步的,根据表2还可以得到不同工作参数与传输单元尺寸之间的关系:帧率和每像素的位数分别与传输单元尺寸成正相关,通道数和链路速率特征值分别与传输单元尺寸成负相关。不同工作参数与传输单元尺寸之间的关系可以作为调整工作参数的依据。
S203、传输单元尺寸大于最大尺寸阈值?若是,则执行S205;否则,执行S210。
具体的,如果当前的工作参数对应的传输单元尺寸大于视频图像处理系统支持的最大尺寸阈值,说明当前的传输单元尺寸值过大,如果按照该传输单元尺寸的传输单元传输数据,将会导致视频图像处理系统的链路质量下降、传输不稳定,这种情况下,需要调整工作参数,重新选择传输单元的尺寸。而如果当前的工作参数对应的传输单元尺寸小于或等于最大尺寸阈值,则可以直接采用该传输单元尺寸基于传输单元传输数据。
S204、根据至少一个参数调整策略调整所述工作参数。
在一实施例中,参数调整策略包括以下至少之一:选取传输单元可达到的最大尺寸对应的工作参数;调整所述视频图像处理系统的帧率;调整所述视频图像处理系统的每像素的位数;调整所述视频图像处理系统的通道数;调整所述视频图像处理系统的链路速率特征值。
具体的,如果当前的传输单元尺寸大于视频图像处理系统支持的传输单元的最大尺寸阈值,则可以通过调整一项或多项工作参数,使传输单元尺寸逐步降低。本实施例中,可以采取一个或多个参数调整策略调整工作参数。例如,优先选取传输单元可达到的最大尺寸对应的工作参数(例如表2中传输单元可达到的最大尺寸为1843.0157,其对应的工作参数包括:帧率为120,每像素的位数为48,通道数为1,链路速率特征值为6);在此基础上,如果该最大尺寸超过最大尺寸阈值、无法得到系统支持,则对于选取的该可达到的最大尺寸对应的工作参数,可以再通过其他参数调整策略继续调整工作参数,逐步降低传输单元尺寸至最大尺寸阈值以下,从而得到尽可能大、又满足视频图像处理系统支持的传输单元的最大尺寸阈值限制的传输单元尺寸。例如,通过降低帧率或减少每像素的位数使得传输单元的尺寸降低,通过增加通道数或者提高链路速率特征值(实质是提高链路速率,也提高了链路的吞吐量)使得传输单元的尺寸降低等。
示例性的,在传输单元可达到的最大尺寸超过最大尺寸阈值的情况下,以进一步采用降低帧率的参数调整策略为例,在其他工作参数不变的情况下,降低帧率可能使得传输单元尺寸由大于最大尺寸阈值调整为小于或等于最大尺寸阈值,但在满足最大尺寸阈值限制的前提下,为了使传输单元尺寸尽可能大,也可以选择不降低帧率,而是适当降低每像素的位数、增加通道数或者提高链路速率,从而通过遍历不同工作参数的各种组合情况,在小于或等于最大尺寸阈值的前提下得到尽可能大的传输单元尺寸,以提高每个传送单元的有效载荷(Payload),保证较高的传输效率。此外,在调整过程中可以采用逐步调整的方式,例如按照一定的步长、等级或者比例调整工作参数,避免调整幅度过大导致传输单元尺寸偏低,影响传输效率。
S205、所述工作参数对应的传输单元尺寸小于或等于所述视频图像处理系统支持的传输单元的最大尺寸阈值?若是,则执行S206;否则,执行S210。
本实施例在调整工作参数的过程中,如果确定了传输单元尺寸小于或等于最大尺寸阈值的工作参数,即可基于该调整后的工作参数对应的传输单元传输数据,这种情况下,视频图像处理系统具有最高的传输效率和链路质量。
S206、基于调整后的工作参数对应的传输单元传输数据。
S207、数据的重传次数大于或等于设定次数?若是,则执行S208;否则,返回执行S206。
S208、调整所述视频图像处理系统的增益和均衡值。
本实施例中,在数据的重传次数大于或等于设定次数的情况下,还可以通过调整视频图像处理系统中的器件的增益和均衡值,减少重传次数和频率,降低重传过程的信令开销,进一步提高传输效率和稳定性。可选的,在每次调整工作参数之后,显示当前的增益和均衡值。
S209、基于最大尺寸阈值的传输单元传输数据。
S210、遍历所有工作参数?若是,则执行S211;否则,返回执行S204。
本实施例中,如果遍历所有工作参数后,传输单元尺寸均大于最大尺寸阈值,则说明系统无法支持给定面板的点亮、参数配置有误,或者给定面板为特殊的面板等,此时生成不支持传输单元尺寸的提示信息。
S211、生成不支持传输单元尺寸的提示信息。
以下通过一实例对工作参数调整过程进行说明。本实例基于表2所示的工作参数与传输单元尺寸的映射关系对工作参数进行调整,例如视频图像处理系统中的工作参数初始值如下:帧率为120Hz;每像素位数为48bit;Lane数为1;链路速率特征值为6;最大尺寸阈值为64。
首先,可以选取传输单元可达到的最大尺寸对应的工作参数,即表2中,传输单元可达到的最大尺寸为1843.0157,则工作参数初始值可以调整为该可达到的最大尺寸对应的工作参数(本实例中该可达到的最大尺寸对应的工作参数与工作参数初始值相同,则无需调整):帧率为120Hz,每像素的位数为48bit,通道数为1,链路速率特征值为6;
由于此时选取的可达到的最大尺寸是大于最大尺寸阈值的,无法得到系统的可靠支持,因此可以再通过调整帧率的策略,例如将帧率调整为60Hz,以降低传输单元尺寸,根据表2可以重新计算出传输单元尺寸为921.5078;
由于此时的传输单元尺寸仍大于最大尺寸阈值,因此可以再通过增加通道数的策略,例如将通道数调整为2,以降低传输单元尺寸,根据表2可以重新计算出传输单元尺寸为460.7539;
由于此时的传输单元尺寸仍大于最大尺寸阈值,因此可以再通过降低每像素的位数的策略,例如将每像素的位数调整为24bit,以降低传输单元尺寸,根据表2可以重新计算出传输单元尺寸为230.377;
由于此时的传输单元尺寸仍大于最大尺寸阈值,因此可以再通过提高链路速率的策略,将链路速率特征值提高到30,以降低传输单元尺寸,根据表2可以重新计算出传输单元尺寸为46.0754;
此时的传输单元尺寸小于最大尺寸阈值,因此可以确定最终的工作参数为:帧率为60Hz;每像素位数为24bit;Lane数为2;链路速率特征值为30。
在此基础上,每次调整工作参数之后,显示最新的工作参数下用于反映链路质量的参数(包括重传次数),当重传次数大于或等于设定次数时,还可以急性采用上述的一个或多个参数调整策略,例如通过调整帧率,来调整增益和均衡值,从而减小重传次数。
在一实施例中,根据所述传输单元尺寸和所述视频图像处理系统支持的传输单元的最大尺寸阈值调整所述工作参数,还包括:通过以下方式至少之一将所述工作参数对应的传输单元尺寸调整为整数:调整所述视频图像处理系统的面板时序参数;对所述工作参数对应的传输单元的尺寸进行取整计算;对所述工作参数对应的传输单元进行假数据填充。
示例性的,如果对于视频图像处理系统,根据支持的面板时序参数计算得到总的像素数为:8888000,且在帧率为120Hz、每像素的位数为24bit、通道数为4、链路速率特征值为30的情况下,计算得到传输单元尺寸为46.0754,非整数,则该传输单元尺寸是不能直接配置到系统中使用的。这种情况下,可以采用以下的一种或多种方式将传送单元的尺寸调整为整数:
1)可以调整面板时序参数中的(Horizontal Front Porch,HFP)、(HorizontalBack Porch,HBP)、(Vertical Front Porch,VFP)、(Vertical Back Porch,VBP)的值,以及小范围调整帧率,使传送单元的尺寸的计算结果为整数;
2)采用取整计算,例如,对传输单元尺寸进行四舍五入、向上取整、向下取整等;
3)对于修正过面板时序参数或者经过取整计算的传输单元,在计算像素总数时仍正常计算,而在调整为整数的过程中增加或者减少的部分在时序中采用填充假数据的方式进行补足。其中,假数据可以根据系统需要进行有效填充,填充值的选取原则是要区别于实际的有效像素数据,从而保证有效数据不会受到影响,能够可靠传输。
在一实施例中,还可以通过调整实际进入集成芯片(IP Core)的并行处理的有效像素数,有效降低传输单元尺寸。例如,在此实例中,可以调整实际进入集成芯片的并行处理的有效像素数为8,此时,实际在集成芯片中处理的传输单元尺寸为:23.0377;这种情况下,集成芯片内部的数据处理时钟由原来的266.64MHz下降为133.32MHz,从而有效提高了集成芯片运行的稳定性。在此基础上,还可以持续调整每像素位数和链路速率(链路速率特征值),以提升集成芯片的数据处理能力,使实际处理的传输单元尺寸更接近于系统能够支持的最大尺寸阈值,进一步提高传送单元的传输效率,并保证数据传输的稳定性。
在一些实施例中,还可以通过有效像素缓存的方式进行传输单元尺寸变换,即,将集成芯片内已经处理的数据缓存于存储器中,在实际输出集成芯片时,采用视频图像处理系统中支持的传输单元尺寸进行读取,从而提升传输单元尺寸在集成芯片内外变换的灵活性。
在一实施例中,还包括:生成数据传输指令,其中,数据传输指令包括:帧率指示字段,用于指示视频图像处理系统中支持的面板的实际帧率;通道数指示字段,用于指示视频图像处理系统支持的通道数;每像素位数指示字段,用于指示系统中支持并使用的实际每像素位数;链路速率特征值指示字段,用于指示系统中支持并使用与链路速率相关的实际链路速率特征值;链路质量响应字段,确定系统中反映链路质量的表征参数,包括重传次数等。如果链路质量响应字段中指示的重传次数的值大于或等于设定次数,则会触发增益和均衡值的调整。
具体的,集成芯片通过按照预设格式生成数据传输指令,明确最大尺寸阈值以及各种系统内的工作参数,为计算传输单元尺寸以及调整工作参数提供依据,在视频图像处理系统中的模块之间均按照此格式进行信令交互,提高数据流的传输效率,保证数据流传输的稳定性。
在一实施例中,所述数据传输指令还包括:主从模块定义字段,用于指示所述集成芯片在数据传输过程中与所述视频图像处理系统的模块之间的信令交互关系。
具体的,主从模块定义字段定义了视频图像处理系统的模块包括主模块和从模块,主模块与从模块是根据命令的发起方与接收方而定义的,不同的信令交互过程对应的各模块间主从关系可能不同。例如,嵌入式控制模块可以作为主模块向集成芯片(如FPGA)发起数据传输信令集成芯片作为从模块来接收信令并执行;集成芯片也可以作为主模块,向嵌入式控制模块发起信令,而嵌入式控制模块此时则为从模块。又如,集成芯片的数据传输信令在集成芯片内部的各个模块之间由主模块转发至从模块,由从模块完成数据传输并向主模块反馈、主模块再向嵌入式控制模块反馈等,在此过程中,数据传输信令以及反馈信息都按照模块间的主从结构传输,而不会跃级传输,每一组具有主从关系的模块在各自的链路中进行信令的分层转发和交互,从而将系统的组织结构标准化,提高交互的可靠性和效率。所述数据传输指令还可以包括反馈字段,用于定义数据传输信令交互完成后的模块状态,所述模块状态包括确认(ACK)状态和非确认(NACK)状态,完成信令交互的确认操作。所述数据传输指令还可以包括校验字段,用于在信令传输信道质量无法保证的情况下对所传输的信令及消息结构自身质量的保证。
本发明实施例二提供的一种数据传输方法,在上述实施例的基础上进行优化,在最大限度的提升链路质量的同时,使用最大的传送单元尺寸,以提高有效载荷,从而提高传输效率;通过在重传次数大于或等于设定次数时调整增益和均衡值,有效降低错误重传的频率,降低重传时的信令开销,从而提高传输稳定性;通过将传输单元尺寸调整为整数并调整并行处理的有效像素数,进一步细化传输单元尺寸调整的精度,提高可用性;通过基于预设信令格式和主从模块结构实现系统中工作参数的调整和数据传输,提高系统中各模块交互的可靠性和效率。
实施例三
图3为本发明实施例三提供的一种数据传输装置的结构示意图。如图3所示,本实施例提供的数据传输装置包括:
尺寸确定模块310,用于根据视频图像处理系统的工作参数确定所述视频图像处理系统的传输单元尺寸;
参数调整模块320,用于根据所述传输单元尺寸和所述视频图像处理系统支持的传输单元的最大尺寸阈值调整所述工作参数;
数据传输模块330,用于基于调整后的工作参数对应的传输单元传输数据。
本发明实施例三提供的一种数据传输装置,依据传输单元的最大尺寸阈值和所述视频图像处理系统支持的传输单元的最大尺寸阈值调整工作参数,有效保证了视频图像处理系统的数据传输效率和稳定性。
在上述实施例的基础上,还包括:
参数确定模块,用于获取所述视频图像处理系统的工作参数;
所述工作参数包括:帧率、每像素的位数、通道数和链路速率特征值。
在上述实施例的基础上,参数调整模块320,具体用于:
若所述传输单元尺寸大于所述视频图像处理系统支持的传输单元的最大尺寸阈值,则根据至少一个参数调整策略调整所述工作参数,直至所述工作参数对应的传输单元的尺寸小于或等于所述视频图像处理系统支持的传输单元的最大尺寸阈值。
进一步的,所述参数调整策略包括以下至少之一:
选取传输单元可达到的最大尺寸对应的工作参数;
调整所述视频图像处理系统的帧率;
调整所述视频图像处理系统的每像素的位数;
调整所述视频图像处理系统的通道数;
调整所述视频图像处理系统的链路速率特征值。
进一步的,参数调整模块320,还用于:
过以下方式至少之一将所述工作参数对应的传输单元尺寸调整为整数:
调整所述视频图像处理系统的面板时序参数;
对所述工作参数对应的传输单元的尺寸进行取整计算;
对所述工作参数对应的传输单元进行假数据填充。
进一步的,还包括:
提示模块,用于若遍历所述视频图像处理系统的工作参数,对应的传输单元尺寸均大于所述最大尺寸阈值,则生成不支持传输单元尺寸的提示信息。
进一步的,还包括:
重传调整模块,用于若数据的重传次数大于或等于设定次数,则调整所述视频图像处理系统的增益和均衡值。
本发明实施例三提供的数据传输装置可以用于执行上述任意实施例提供的数据传输方法,具备相应的功能和有益效果。
实施例四
图4为本发明实施例四提供的一种集成芯片的硬件结构示意图。集成芯片可以为FPGA、MCU、DSP等。如图4所示,本实施例提供的一种集成芯片,包括:处理器410和存储装置420。该集成芯片中的处理器可以是一个或多个,图4中以一个处理器410为例,所述集成芯片中的处理器410和存储装置420可以通过总线或其他方式连接,图4中以通过总线连接为例。
所述一个或多个程序被所述一个或多个处理器410执行,使得所述一个或多个处理器实现上述实施例中任意所述的数据传输方法。
该集成芯片中的存储装置420作为一种计算机可读存储介质,可用于存储一个或多个程序,所述程序可以是软件程序、计算机可执行程序以及模块,如本发明实施例中数据传输方法对应的程序指令/模块(例如,附图3所示的数据传输装置中的模块,包括:尺寸确定模块310、参数调整模块320以及数据传输模块330)。处理器410通过运行存储在存储装置420中的软件程序、指令以及模块,从而执行集成芯片的各种功能应用以及数据处理,即实现上述方法实施例中的数据传输方法。
存储装置420主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据集成芯片的使用所创建的数据等(如上述实施例中的工作参数、所述视频图像处理系统支持的传输单元的最大尺寸阈值等)。此外,存储装置420可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储装置420可进一步包括相对于处理器410远程设置的存储器,这些远程存储器可以通过网络连接至集成芯片。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
并且,当上述集成芯片中所包括一个或者多个程序被所述一个或者多个处理器410执行时,进行如下操作:根据视频图像处理系统的工作参数确定所述视频图像处理系统的传输单元尺寸;根据所述传输单元尺寸和所述视频图像处理系统支持的传输单元的最大尺寸阈值调整所述工作参数;基于调整后的工作参数对应的传输单元传输数据。
本实施例提出的集成芯片与上述实施例提出的数据传输方法属于同一发明构思,未在本实施例中详尽描述的技术细节可参见上述任意实施例,并且本实施例具备与执行数据传输方法相同的有益效果。
实施例五
本发明实施例五提供一种视频图像处理系统。图5为本发明实施例五提供的一种视频图像处理系统的结构示意图。如图5所示,该系统包括嵌入式控制模块10、外部模块30以及集成芯片20,集成芯片20分别与嵌入式控制模块10和外部模块30连接;其中,嵌入式控制模块10用于向集成芯片20发起数据传输请求;外部模块30用于存储待处理的视频数据并提供视频图像数据显示的物理层接口。
嵌入式控制模块10可以采用任意嵌入式芯片与系统,用于发起数据传输请求,还可以用于请求读/写寄存器数据、请求启用/关闭视频显示单元或模块、请求外设控制或请求修改视频显示模块的参数设置等。集成芯片20用于根据视频图像处理系统的工作参数确定传输单元尺寸、结合最大尺寸阈值调整工作参数并基于传输单元传输数据,还用于实现存储控制、外设控制、视频接口IP核实现等需要大量数据处理、低往返时延(latency)的操作的实施或执行。
图6为本发明实施例五提供的一种视频图像处理系统的实现示意图。如图6所示,外部模块30包括外部存储模块、快速存储模块、外设模块以及视频接口物理层实现模块,其中,外部存储模块用于存储所述系统中需要显示的视频或图像的原始数据流。示例性的,外部存储模块可采用Flash存储器(如Nand Flash,Nand闪存)、固态驱动器(Solid StateDrive,SSD)等存储介质。快速存储模块是在集成芯片20内部需要进行大量数据处理、低往返时延(latency)的信令执行的情况下,为了进一步减小时延而用于暂时存储数据的模块,可采用快速、低时延的物理器件,例如,双倍速率同步动态随机存储器((Double Data RateSDRAM,DDR)等。外设模块可以为通用型输入输出(General-purpose input/output,GPIO)、通用异步收发传输器(Universal Asynchronous Receiver/Transmitter,UART)、通用串行总线(Universal Serial Bus,USB)、网口等。视频接口物理层实现模块用于驱动显示模块的物理层实现,例如,显示接口(Display Port,DP)的收发传输器(Transmitter/Receiver,TX/RX)的端口物理层(Physical Layer,PHY),移动产业处理器接口(Mobile IndustryProcessor Interface,MIPI)的串行显示接口的端口物理层(Display Serial InterfacePhysical Layer,D-PHY)等。
如图6所示,集成芯片20具体可以包括以下的一种或多种:总线交互模块、MCU、视频流预处理单元、视频数据流传输控制模块、时钟控制模块、嵌入式软核控制模块、总线控制器模块、视频图样处理模块、内部存储控制器模块、外设控制模块、显示时钟发生器模块、视频时序控制器模块、视频接口IP核模块。
示例性的,总线交互模块用于对所有与之相连的模块进行选择或决策等;MCU视频流预处理单元用于将从外部存储模块输入的视频数据流按照系统设定的格式与参数类型进行预处理和转换,以便于后续的处理;视频数据流传输控制模块用于控制经过数据流预处理和转换之后的数据流的时序与参数;时钟控制模块负责视频或图像处理过程中全局时钟的产生与控制;嵌入式软核控制模块是FPGA模块的控制核心,用于实现FPGA模块内部所有模块的时序控制、参数配置、物理过程实现等核心功能,可采用Xilinx的软和处理器(MicroBlaze)等;总线控制器模块用于对所有与总线交互模块相连的模块的控制;视频图样处理模块负责适应视频接口IP核模块对应的视频图像数据流的模式转换与时序控制;内部存储控制器模块用于实现对快速存储模块的控制,包括数据流的写入/读取、帧控制等;外设控制模块用于控制所有的外设模块,包括外设的启用/关闭、工作模式控制等;显示时钟发生器模块用于对所有与视频接口IP核模块、视频接口物理层实现模块的时序控制;视频时序控制器模块负责从视频图样处理模块输入的数据传输到视频接口IP核模块过程中的数据转换与时序控制等的处理。需要说明的是,集成芯片20内部的多个模块之间、以及与嵌入式控制模块10和外部模块30之间都可以具有主从关系。
本实施例的视频图像处理系统,通过定义预设的消息结构和格式能够建立完善的信令交互机制,每一组具有主从关系的模块在各自的链路中进行信令的转发和交互,明确了各模块的交互结构和规范,实现主/从模块之间有组织的、精准的信令交互,在保证硬件系统与平台无缝、平滑无死机等情况下完成数据流转换,同时确保系统以事件驱动的前提下具有最小的有效系统时延,提高交互的可靠性和效率。
本实施例五提供的一种视频图像处理系统可以用于执行上述任意实施例提供的数据传输方法,具备相应的功能和有益效果。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (9)

1.一种数据传输方法,应用于视频图像处理系统的集成芯片,其特征在于,包括:
根据视频图像处理系统的工作参数确定所述视频图像处理系统的传输单元尺寸;
根据所述传输单元尺寸和所述视频图像处理系统支持的传输单元的最大尺寸阈值调整所述工作参数;
若所述传输单元尺寸大于所述最大尺寸阈值,则通过调整一项或多项工作参数,使传输单元尺寸逐步降低至小于等于所述最大尺寸阈值,并遍历不同工作参数的各种组合情况以使在小于或等于所述最大尺寸阈值的前提下得到尽可能大的传输单元尺寸;
基于调整后的工作参数对应的传输单元传输数据;
所述在根据视频图像处理系统的工作参数确定所述视频图像处理系统的传输单元尺寸之前,还包括:
获取所述视频图像处理系统的工作参数;
所述工作参数包括:帧率、每像素的位数、通道数和链路速率特征值。
2.根据权利要求1所述的方法,其特征在于,所述根据所述传输单元尺寸和所述视频图像处理系统支持的传输单元的最大尺寸阈值调整所述工作参数,包括:
若所述传输单元尺寸大于所述最大尺寸阈值,则根据至少一个参数调整策略调整所述工作参数,直至所述工作参数对应的传输单元的尺寸小于或等于所述最大尺寸阈值。
3.根据权利要求2所述的方法,其特征在于,所述参数调整策略包括以下至少之一:
选取传输单元可达到的最大尺寸对应的工作参数;
调整所述视频图像处理系统的帧率;
调整所述视频图像处理系统的每像素的位数;
调整所述视频图像处理系统的通道数;
调整所述视频图像处理系统的链路速率特征值。
4.根据权利要求2所述的方法,其特征在于,所述根据所述传输单元尺寸和所述视频图像处理系统支持的传输单元的最大尺寸阈值调整所述工作参数,还包括:
通过以下方式至少之一将所述工作参数对应的传输单元尺寸调整为整数:
调整所述视频图像处理系统的面板时序参数;
对所述工作参数对应的传输单元的尺寸进行取整计算;
对所述工作参数对应的传输单元进行假数据填充。
5.根据权利要求2所述的方法,其特征在于,还包括:
若遍历所述视频图像处理系统的工作参数,对应的传输单元尺寸均大于所述最大尺寸阈值,则生成不支持传输单元尺寸的提示信息。
6.根据权利要求1-5任一项所述的方法,其特征在于,还包括:
若数据的重传次数大于或等于设定次数,则调整所述视频图像处理系统的增益和均衡值。
7.一种数据传输装置,其特征在于,包括:
尺寸确定模块,用于根据视频图像处理系统的工作参数确定所述视频图像处理系统的传输单元尺寸;
参数调整模块,用于根据所述传输单元尺寸和所述视频图像处理系统支持的传输单元的最大尺寸阈值调整所述工作参数;
数据传输模块,用于基于调整后的工作参数对应的传输单元传输数据;
参数确定模块,用于获取所述视频图像处理系统的工作参数;
所述工作参数包括:帧率、每像素的位数、通道数和链路速率特征值;
所述参数调整模块具体用于,若所述传输单元尺寸大于所述最大尺寸阈值,则通过调整一项或多项工作参数,使传输单元尺寸逐步降低至小于等于所述最大尺寸阈值,并遍历不同工作参数的各种组合情况以使在小于或等于所述最大尺寸阈值的前提下得到尽可能大的传输单元尺寸。
8.一种集成芯片,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-6中任一所述的数据传输方法。
9.一种视频图像处理系统,其特征在于,包括:嵌入式控制模块、外部模块以及如权利要求8所述的集成芯片,所述集成芯片分别与所述嵌入式控制模块和所述外部模块连接;
其中,所述嵌入式控制模块用于向所述集成芯片发起数据传输请求;
所述外部模块用于存储待处理的视频数据并提供视频图像数据显示的物理层接口。
CN202010515091.8A 2020-06-08 2020-06-08 数据传输方法、装置、集成芯片及视频图像处理系统 Active CN111711858B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010515091.8A CN111711858B (zh) 2020-06-08 2020-06-08 数据传输方法、装置、集成芯片及视频图像处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010515091.8A CN111711858B (zh) 2020-06-08 2020-06-08 数据传输方法、装置、集成芯片及视频图像处理系统

Publications (2)

Publication Number Publication Date
CN111711858A CN111711858A (zh) 2020-09-25
CN111711858B true CN111711858B (zh) 2022-10-14

Family

ID=72539460

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010515091.8A Active CN111711858B (zh) 2020-06-08 2020-06-08 数据传输方法、装置、集成芯片及视频图像处理系统

Country Status (1)

Country Link
CN (1) CN111711858B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112383383B (zh) * 2020-11-11 2021-09-14 苏州华兴源创科技股份有限公司 多通道数据传输的自适应调整方法和数据处理系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101335590A (zh) * 2008-07-17 2008-12-31 上海华为技术有限公司 一种数据传输的方法和装置
CN103686218A (zh) * 2012-09-18 2014-03-26 中国科学院声学研究所 一种MIMO-OFDM系统下基于QoE的跨层优化视频传输方法及系统
CN104243048A (zh) * 2014-08-28 2014-12-24 北京邮电大学 相干光通信系统中基于单纯形的传输性能优化方法及系统
CN108509389A (zh) * 2018-03-25 2018-09-07 中国人民解放军海军工程大学 一种威布尔型串联部件的备件需求量计算方法
CN109327392A (zh) * 2017-07-24 2019-02-12 网宿科技股份有限公司 一种多路径传输中路径选择方法及装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100608835B1 (ko) * 2004-12-09 2006-08-08 엘지전자 주식회사 휴대단말기의 이미지 전송방법
CN101488967B (zh) * 2009-01-14 2015-05-13 深圳市同洲电子股份有限公司 一种视频传输方法、嵌入式监控终端及监控平台服务器
US8121135B2 (en) * 2009-06-23 2012-02-21 Juniper Networks, Inc. Discovering path maximum transmission unit size
US8890880B2 (en) * 2009-12-16 2014-11-18 Intel Corporation Graphics pipeline scheduling architecture utilizing performance counters
CN105263066A (zh) * 2014-06-13 2016-01-20 珠海全志科技股份有限公司 移动设备视频流传输控制方法及系统
US10142251B2 (en) * 2015-01-26 2018-11-27 Hfi Innovation Inc. Control of maximum transmission unit size discovery using AT commands
CN107342885A (zh) * 2016-05-03 2017-11-10 中兴通讯股份有限公司 终端最大传输单元的调整方法、装置和终端设备
CN107623851B (zh) * 2017-09-01 2019-12-31 苏州科达科技股份有限公司 视频码流传输控制装置及控制方法
CN108366244A (zh) * 2018-03-16 2018-08-03 北京虚拟映画科技有限公司 影视图像传输方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101335590A (zh) * 2008-07-17 2008-12-31 上海华为技术有限公司 一种数据传输的方法和装置
CN103686218A (zh) * 2012-09-18 2014-03-26 中国科学院声学研究所 一种MIMO-OFDM系统下基于QoE的跨层优化视频传输方法及系统
CN104243048A (zh) * 2014-08-28 2014-12-24 北京邮电大学 相干光通信系统中基于单纯形的传输性能优化方法及系统
CN109327392A (zh) * 2017-07-24 2019-02-12 网宿科技股份有限公司 一种多路径传输中路径选择方法及装置
CN108509389A (zh) * 2018-03-25 2018-09-07 中国人民解放军海军工程大学 一种威布尔型串联部件的备件需求量计算方法

Also Published As

Publication number Publication date
CN111711858A (zh) 2020-09-25

Similar Documents

Publication Publication Date Title
US8214552B2 (en) Transmission apparatus, transmission method, communication apparatus, and program
KR102108321B1 (ko) 영상 구동 장치, 영상 구동 장치를 포함하는 전자 장치 및 영상 구동 방법
CN110278157B (zh) 拥塞控制方法及网络设备
CN112684994B (zh) 多通道资源调整方法和计算机可读存储介质
TWI753063B (zh) 資料傳送裝置及資料傳送方法
WO2023077850A1 (zh) 发送卡及其控制方法、显示设备、计算机设备和存储介质
US11233736B2 (en) Vehicle gateway and method of controlling the same
US11665313B2 (en) Adaptive method and system for data flow control based on variable frame structure in video image processing system
CN112383383B (zh) 多通道数据传输的自适应调整方法和数据处理系统
CN111711858B (zh) 数据传输方法、装置、集成芯片及视频图像处理系统
US9489331B2 (en) Method and protocol for high-speed data channel detection control
JP4883520B2 (ja) メモリ制御装置およびメモリ制御方法
JP2011019098A (ja) 通信システム
JP5155221B2 (ja) メモリ制御装置
CN113535631A (zh) 数据分配方法、装置、集成芯片及视频图像处理系统
CN114760529A (zh) 多通道视频数据的传输方法、装置、计算机设备
CA2808284C (en) A packet structure for a mobile display digital interface
CN112702377B (zh) 一种数据流转换系统
WO2022060647A3 (en) Data frame interface network device
CN112699145B (zh) 一种数据处理系统
CA2685073C (en) A packet structure for a mobile display digital interface
CN113132792A (zh) 一种hdmi信号的调整方法、设备及存储介质
WO2023119511A1 (ja) 通信装置、通信システム、及び通信方法
CN112422771B (zh) 一种资源重置系统
CN111757038B (zh) 一种像素数据处理方法和集成芯片

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant