CN107707860A - 一种视频数据处理方法、处理装置及计算机可读存储介质 - Google Patents

一种视频数据处理方法、处理装置及计算机可读存储介质 Download PDF

Info

Publication number
CN107707860A
CN107707860A CN201711001979.4A CN201711001979A CN107707860A CN 107707860 A CN107707860 A CN 107707860A CN 201711001979 A CN201711001979 A CN 201711001979A CN 107707860 A CN107707860 A CN 107707860A
Authority
CN
China
Prior art keywords
video data
frame
transmission
video
frame rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711001979.4A
Other languages
English (en)
Other versions
CN107707860B (zh
Inventor
钟光华
郑自浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang Black Shark Technology Co Ltd
Original Assignee
Nanchang Black Shark Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang Black Shark Technology Co Ltd filed Critical Nanchang Black Shark Technology Co Ltd
Priority to CN201711001979.4A priority Critical patent/CN107707860B/zh
Publication of CN107707860A publication Critical patent/CN107707860A/zh
Priority to KR1020207006697A priority patent/KR20200077507A/ko
Priority to JP2020520518A priority patent/JP2021500786A/ja
Priority to PCT/CN2018/111520 priority patent/WO2019080847A1/zh
Priority to EP18869522.5A priority patent/EP3644613A4/en
Application granted granted Critical
Publication of CN107707860B publication Critical patent/CN107707860B/zh
Priority to US16/854,819 priority patent/US20200252581A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/013Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the incoming video signal comprising different parts having originally different frame rate, e.g. video and graphics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/12Synchronisation between the display unit and other units, e.g. other display units, video-disc players
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0105Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level using a storage device with different write and read speed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/0132Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/10Special adaptations of display systems for operation with variable images
    • G09G2320/106Determination of movement vectors or equivalent parameters within the image
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/02Handling of images in compressed format, e.g. JPEG, MPEG
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435Change or adaptation of the frame rate of the video stream
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/12Frame memory handling
    • G09G2360/121Frame memory handling using a cache memory
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/04Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/12Use of DVI or HDMI protocol in interfaces along the display data pipeline
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Abstract

本发明提供了一种视频数据处理方法、处理装置及计算机可读存储介质,用于处理由工作于第一帧速率的发送端通过视频传输接口发送至工作于第二帧速率的接收端的视频数据,包括以下步骤:S101:所述发送端按照所述第一帧速率将所述视频数据转换为至少一个视频数据帧;S102:所述发送端在所述第一帧速率对应的每一帧时长内向所述接收端发送前一帧时长内产生的视频数据帧1次,其中每一视频数据帧的传输周期内的数据传输时间与所述传输周期的比值小于或等于二分之一;S103:所述接收端于所述第一帧速率对应的相邻两个帧时长内分别接收一视频数据帧。上述技术方案实施后,有效减少视频数据在处理过程中的延时,提升用户体验。

Description

一种视频数据处理方法、处理装置及计算机可读存储介质
技术领域
本发明涉及视频处理领域,尤其涉及一种视频数据处理方法、处理装置及计算机可读存储介质。
背景技术
人们使用视频播放设备播放视频时,需要将视频数据解码后传输给播放设备,例如显卡将存储的视频数据解码后按照一定的帧速率传输给显示屏幕,解码设备与显示屏幕之间采用MIPI、HDMI、DisplayPort等视频传输接口连接。目前,现有的视频帧速率为15fps,24fps和30fps,如果要达到人眼观看流畅的效果,需要帧率保持在60fps以上,这也是显示屏幕的刷新率在60hz以上的原因。但是由于视频数据的帧速率与显示屏幕的刷新率不同,就会造成视频数据显示到显示屏幕上时出现卡顿或者抖动现象。
为了解决卡顿的问题,现有技术中有一种叫做MEMC(运动插帧和运动补偿)的视频增强算法,它根据物体运动的矢量,对视频数据进行插帧,使得视频数据的帧数等于显示屏幕刷新所需的帧数。由于插帧之后的视频数据的帧数和显示屏幕的帧数相同,显示屏幕上只需要逐帧处理即可,因此不会在显示屏幕上产生卡顿或者抖动的问题。
然而,采用MEMC视频增强算法解决视频卡顿和抖动的问题时,由于运动矢量的计算需要至少两帧的数据才可以计算出插帧内容,视频数据的显示将有延时。也就是说插帧至少要等到参与插帧运算的第二帧视频数据接收完毕才能计算出来,显示屏幕上显示视频数据的延时包括等待接收第一帧视频数据和第二帧视频数据的时间以及插帧计算时间,其中插帧计算时间远小于第一帧视频数据的传输时间。例如视频数据的帧速率为每秒30fps,等待两帧的时间即为66.6ms,即显示延时至少为66.6ms。如果视频数据和用户存在交互的情况,例如游戏操作界面,那么显示的延时将引起交互不同步的问题,降低了用户交互操作的体验。
此外,在不进行插帧运算的应用场合,视频处理中往往还需要进行降噪、压缩等运算处理,也需要等待至少两帧视频数据才能进行运算,等待接收视频数据也会造成延时,使后续的运算处理过程延后。
综上所述,如何提早后续运算处理过程的开始时间,最终总体缩短所述视频的处理时间,是一个需要解决的技术问题。
发明内容
为了克服现有技术缺陷,本发明的目的在于提供一种视频数据处理方法、处理装置及计算机可读存储介质,通过提升视频数据传输速度,提早运算处理的时机,实现减小视频处理延时的技术效果。
本发明公开了一种视频数据处理方法,用于处理由工作于第一帧速率的发送端通过视频传输接口发送至工作于第二帧速率的接收端的视频数据,包括以下步骤:
S101:所述发送端按照所述第一帧速率将所述视频数据转换为至少一个视频数据帧;
S102:所述发送端在所述第一帧速率对应的每一帧时长内向所述接收端发送前一帧时长内产生的视频数据帧1次,其中每一视频数据帧的传输周期内的数据传输时间与所述传输周期的比值小于或等于二分之一;
S103:所述接收端于所述第一帧速率对应的相邻两个帧时长内分别接收一视频数据帧。
优选地,步骤S103之后,所述视频数据处理方法还包括以下步骤:
S104:对步骤S103中接收的两个视频数据帧进行运算处理;
S105:将运算处理后的视频数据帧组合为一组待播放的视频数据帧。
优选地,所述步骤S102在所述第一帧速率对应的每一帧时长内执行以下步骤:
S102-1:从所述发送端内的缓存单元获取一视频数据帧;
S102-2:向所述视频传输接口传输控制信号及辅助信号;
S102-3:于一预设时间阈值内向所述视频传输接口传输所述视频数据帧;
S102-4:等待当前传输周期结束。
优选地,步骤S102-3执行时,调整行同步信号的频率与基准频率的比值至少为2;步骤S103执行时,对接收的行同步信号按照所述比值进行分频。
优选地,步骤S105之后,所述视频数据处理方法还包括以下步骤:
S106:所述接收端按照所述第二帧速率显示所述待播放的视频数据帧。
本发明还公开了一种视频数据处理装置,包括工作于第一帧速率的发送端及工作于第二帧速率的接收端,所述发送端通过视频传输接口与所述接收端连接,所述视频数据处理装置包括:
转换模块,设于所述发送端,按照所述第一帧速率将所述视频数据转换为至少一个视频数据帧;
发送模块,设于所述发送端,与所述转换模块连接,在所述第一帧速率对应的每一帧时长内向所述接收端发送前一帧时长内产生的视频数据帧1次,其中每一视频数据帧的传输周期内的数据传输时间与所述传输周期的比值小于或等于二分之一;
接收模块,设于所述接收端,于所述第一帧速率对应的相邻两个帧时长内分别接收一视频数据帧。
优选地,所述视频数据处理装置还包括:
运算处理模块,设于所述接收端,与所述接收模块连接,对所述接收模块接收的两个视频数据帧进行运算处理;
组帧模块,设于所述接收端,与所述运算处理模块连接,将运算处理后的视频数据帧组合为一组待播放的视频数据帧。
优选地,所述发送模块包括:
缓存单元,设于所述发送端,在所述第一帧速率对应的一帧时长内从所述缓存单元获取一视频数据帧;
信号传输单元,设于所述发送端,向所述视频传输接口传输控制信号及辅助信号;
数据传输单元,设于所述发送端,与所述缓存单元连接,于一预设时间阈值内向所述视频传输接口传输所述视频数据帧;
周期补偿单元,等待当前传输周期结束。
优选地,所述数据传输单元传输所述视频数据帧时,调整行同步信号的频率与基准频率的比值至少为2;
所述接收模块对接收的行同步信号按照所述比值进行分频。
优选地,所述视频数据处理装置还包括:
播放模块,按照所述第二帧速率显示所述待播放的视频数据帧。
本发明还公开了一种计算机可读存储介质,其上存储有计算机程序,用于处理由工作于第一帧速率的发送端通过视频传输接口发送至工作于第二帧速率的接收端的视频数据,所述计算机程序被处理器执行时实现以下步骤:
S107:所述发送端按照所述第一帧速率将所述视频数据转换为至少一个视频数据帧;
S108:所述发送端在所述第一帧速率对应的每一帧时长内向所述接收端发送前一帧时长内产生的视频数据帧1次,其中每一视频数据帧的传输周期内的数据传输时间与所述传输周期的比值小于或等于二分之一;
S109:所述接收端于所述第一帧速率对应的相邻两个帧时长内分别接收一视频数据帧。
优选地,步骤S109之后,所述计算机程序还包括以下步骤:
S110:对步骤S109中接收的两个视频数据帧进行运算处理;
S111:将运算处理后的视频数据帧组合为一组待播放的视频数据帧。
优选地,所述步骤S108在所述第一帧速率对应的每一帧时长内执行以下步骤:
S108-1:从所述发送端内的缓存单元获取一视频数据帧;
S108-2:向所述视频传输接口传输控制信号及辅助信号;
S108-3:于一预设时间阈值内向所述视频传输接口传输所述视频数据帧;
S108-4:等待当前传输周期结束。
优选地,步骤S108-3执行时,调整行同步信号的频率与基准频率的比值至少为2;步骤S109执行时,对接收的行同步信号按照所述比值进行分频。
优选地,步骤S111之后,所述计算机程序还包括以下步骤:
S112:所述接收端按照所述第二帧速率显示所述待播放的视频数据帧。
采用了上述技术方案后,与现有技术相比,具有以下有益效果:
1.有效减少视频数据在处理过程中的延时,提高交互操作实时性,提升用户体验;
2.无须对硬件设备作改动,成本较低。
附图说明
图1为符合本发明一优选实施例中所述视频数据处理方法的流程示意图;
图2为图1中步骤S102的流程示意图;
图3为符合本发明一优选实施例中所述视频数据处理装置的结构框图;
图4为符合本发明一优选实施例中所述发送模块的结构框图;
图5为符合本发明一优选实施例中所述视频数据处理方法的时序示意图;
图6为符合本发明一优选实施例中所述计算机可读存储介质中计算机程序的流程示意图;
图7为图6中步骤S108的流程示意图。
附图标记:
10-视频数据处理装置、11-发送端、111-转换模块、112-发送模块、1121-缓存单元、1122-信号传输单元、1123-数据传输单元、1124-周期补偿单元、12-接收端、121-接收模块、122-运算处理模块、123-组帧模块、124-播放模块。
具体实施方式
以下结合附图与具体实施例进一步阐述本发明的优点。
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本公开可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本公开范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
在本发明的描述中,需要理解的是,术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
在本发明的描述中,除非另有规定和限定,需要说明的是,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是机械连接或电连接,也可以是两个元件内部的连通,可以是直接相连,也可以通过中间媒介间接相连,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。
在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明,其本身并没有特定的意义。因此,“模块”与“部件”可以混合地使用。
参阅图1,为符合本发明一优选实施例中所述视频数据处理方法的流程示意图,所述视频数据处理方法包括:
S101:所述发送端11按照所述第一帧速率将所述视频数据转换为至少一个视频数据帧。
所述发送端11可以是播放机、显卡等具备解码能力的设备,将数字格式的视频文件解码为可播放的视频信号,所述视频信号由多帧视频数据组成。所述发送端11按照第一帧速率产生的各帧视频数据,所述第一帧速率可以是15fps,24fps或30fps,其中fps指每秒传输帧数,每秒钟帧数愈多,所显示的动作就会愈流畅。通常,要避免动作不流畅的最低值是30fps,某些计算机视频格式每秒只能提供15帧。所述视频数据可以是wmv、rmvb、3gp、mp4等数据格式,常以视频文件的形式存储在存储设备中。本步骤将所述视频数据转换为至少一个视频数据帧,所述视频数据帧即每一帧播放的视频数据内容,常常为像素画面的形式,可以视为一幅图;当第一帧速率为15fps时,1秒内有15个视频数据帧。根据视频数据的播放时长及第一帧速率的不同,转换出的视频数据帧的数量也不同。所述视频数据帧为后续播放操作的基础,播放设备按照一帧一帧的方式播放所述视频数据帧,实现动态的视频效果。
S102:所述发送端11在所述第一帧速率对应的每一帧时长内向所述接收端12发送前一帧时长内产生的视频数据帧1次,其中每一视频数据帧的传输周期内的数据传输时间与所述传输周期的比值小于或等于二分之一。
所述接收端12即播放视频的设备,可以是显示屏幕、电视机等设备,工作在第二帧速率,可以是60fps甚至更高。第二帧速率可能是第一帧速率的2倍甚至更多倍,以实现流畅的播放效果。同样地,当用户选择快进时,所述播放视频的设备会提升所述第二帧速率,实现快进的效果,快进时所述第一帧速率也将同步提升。所述发送端11通过一视频传输接口向所述接收端12发送视频数据帧。所述视频传输接口可以是MIPI、HDMI、DisplayPort等视频传输接口,所述发送端11和接收端12按照所述视频传输接口的协议进行视频数据传输。
参阅图5,在现有技术中,所述发送端11发送所述视频数据帧的时长与播放显示一视频数据帧的时长是大致相等的,即传输一帧,播放一帧;且当前传输的视频数据帧为上一帧时长的时间内将所述视频文件转换出的视频数据帧。图5中的纵向箭头表示帧同步信号,也就是Vsync信号,所述发送端11和接收端12分别采用不同频率的帧同步信号进行传输及采样。举例来说,当第一帧速率为30fps时,对应的每一帧时长为33.3毫秒,步骤S101在每一帧时长内转换出一个视频数据帧;所述发送端11事先转换出第一个视频数据帧,则在0毫秒-33.3毫秒的第二帧时长内传输所述第一视频数据帧至所述接收端12,仅传输1次,同时所述发送端11还继续转换出第二视频数据帧;在33.3毫秒-66.6毫秒内,所述发送端11发送所述第二视频数据帧至所述接收端12;以此类推,不断地一帧一帧传输所述视频数据帧,直至所述视频文件传输完毕。每一视频数据帧的传输周期与一帧时长大致相等,包括数据传输时间与辅助传输时间,其中所述数据传输时间实质实际用于传输所述视频数据帧有效数据的时间,所述辅助传输时间是进行控制信号传输、音频信号传输或其他辅助信息传输的时间,所述辅助传输时间也被称为消隐期,在软件开发中用blanking表示。其中所述数据传输时间占所述传输周期的比例一般在80%以上,也就是说所述视频数据帧有效数据传输占用的时间在所述传输周期的一大半以上。此外,在视频数据帧有效数据传输之前,会先进行小段时间辅助数据的传输。
本步骤对上述现有技术提出了改进,通过提升所述视频数据帧的传输速度来缩短所述数据传输时间,从而降低所述数据传输时间与所述传输周期的比值,所述比值小于或等于二分之一。所述传输周期中的辅助传输时间可以相应地延长,使得所述传输周期保持不变,仍与一帧时长大致相等。本步骤的要点是所述视频数据帧的生成速度与传输速度分离,突破现有技术中两者基本协调同步的技术路线,通过提升所述视频数据帧的传输速度来缩短视频数据传输的时间。提升所述视频数据帧的传输速度可通过提升传输接口的利用率来实现,例如HDMI接口最高数据传输速度为48Gbps,一个1080p的视频和一个8声道的音频信号需求少于0.5GB/s,因此传输接口仍有很大的提升容量,可以成倍甚至几十倍地提升所述视频数据帧的传输速度。
参阅图5,所述发送端11的帧同步信号的频率不变,仍为所述第一帧速率。当所述数据传输时间与所述传输周期的比值为二分之一时,第一帧速率为30fps,对应的每一帧时长为33.3毫秒,步骤S101事先转换出一个视频数据帧;所述发送端11在0-16.65毫秒内,传输所述第一视频数据帧有效数据至所述接收端12,所述第一帧时长内剩下的16.65毫秒-33.3毫秒为辅助传输时间,用于传输第一视频数据帧辅助数据;在所述第一帧时长内,所述发送端11转换出第二个视频数据帧;在33.3毫秒-50毫秒内,所述发送端11发送所述第二个视频数据帧有效数据至所述接收端12。现有技术中发送完成第二视频数据帧有效数据的时间为66.6毫秒,本步骤为50毫秒,提前了16.6毫秒。上述时间计算未考虑所述传输周期内传输所述视频数据帧有效数据之前的辅助数据传输时间,该辅助数据传输时间较短,对视频处理延时的影响可忽略不计。需要注意的是,实现本步骤的帧时长是以第一帧速率计算的,即在第一帧速率下每一帧的播放时长。
需要说明的是,图5中关于所述接收端12对应的时序,显示的是经运算处理完成后按照时间前后紧凑排布的各视频数据帧及插入帧,而非刚收到各视频数据帧的时序。
S103:所述接收端12于所述第一帧速率对应的相邻两个帧时长内分别接收一视频数据帧。
本步骤阐述所述接收端12的接收方式。由于步骤S102在第一帧速率对应的同一时长内传输同一视频数据帧仍为1次,也就意味着所述接收端12在同样的时间内最多接收到1次视频数据帧。由于步骤S102在每一传输周期中压缩了视频数据帧有效数据的传输时间,实际上所述接收端12并不必等到当前帧时长结束即可完成对所述视频数据帧有效数据的接收,也可以提前进行后续的运算处理。本步骤中,所述接收端12在所述第一帧速率对应的相邻两个帧时长内分别接收一视频数据帧,作为后续步骤进行插帧运算的基础。
参阅图5,所述接收端12按照所述第二帧速率进行帧同步信号采样,也就是Vsync信号采样,所述第二帧速率为60fps。当所述数据传输时间与所述传输周期的比值为二分之一时,第一帧速率为30fps,对应的每一帧时长为33.3毫秒,在0毫秒-16.65毫秒内所述接收端12接收到第一视频数据帧有效数据,在16.65毫秒-33.33毫秒内接收第一视频数据帧辅助数据;在33.3毫秒-50毫秒内,所述接收端12接收第二视频数据帧有效数据,接收完成的时刻为50毫秒。同样地,每经过一帧时长,所述接收端12就在当前帧时长结束前接收到一个视频数据帧有效数据,以此类推,直至所述视频数据全部接收完成,每两个相邻的帧时长内均接收一次视频数据帧。注意,实现本步骤的帧时长是以第一帧速率计算的。
在现有技术中,所述插帧运算必须依托两个视频数据帧才能进行,所述接收端12至少要接收到所述第二视频数据帧有效数据中至少一行才能开始插帧运算,因此所述接收端12只能在第二帧时长结束时接收完成所述第二视频数据帧有效,再过至少一行的同步时间,方能完成插入帧1,所述插入帧1的完成时间至少要等到第二帧时长结束,也就是第66.6毫秒以后。
本步骤压缩了所述接收端12的接收时间,上述示例中所述接收端12在50毫秒完成第二视频数据帧有效数据的接收,可随即在至少一行的时间内完成插入帧1的运算及播放,例如3毫秒左右,则在53毫秒的时刻即可完成插入帧1,相对于现有技术减少了插入帧延迟,从整体上缩短了视频播放延时。以此类推,可继续提前完成插入帧2、插入帧3等等。若步骤S102中所述发送端11在同一帧时长内发送同一视频数据帧有效数据的速度更快,则所述接收端12在一帧时长内接收到一个视频数据帧有效数据的时间会更短,将插帧运算的时间进一步提前,使得视频处理延时更短。
需要注意的是,图5中选用了插帧运算作为运算处理方式的一种进行示例,本发明对于运算处理时间的提前并不限于插帧运算,还可以是其他依赖于至少2个视频数据帧的运算处理方式。
作为所述视频数据处理方法的进一步改进,步骤S103之后,所述视频数据处理方法还包括以下步骤:
S104:对步骤S103中接收的两个视频数据帧进行运算处理。
对所述两个视频数据帧进行运算处理的方式可以是进行插帧运算、矢量降噪、视频压缩、矢量预估等运算处理方式,以上运算处理方式均需要所述接收端12接收至少两个视频数据帧,因此通过步骤S101至步骤S103可提早所述视频插入帧的开始及完成时间,缩短整个视频处理过程的延时。
S105:将运算处理后的视频数据帧组合为一组待播放的视频数据帧。
本步骤执行组帧操作,将步骤S104中处理后的视频数据帧进行组合,形成一组待播放的视频数据帧,这样就能使播放设备按照硬件的工作频率,也就是第二帧速率一帧一帧地播放所述视频数据帧了,且不会产生卡顿。
作为所述视频数据处理方法的进一步改进,步骤S105之后,所述视频数据处理方法还包括以下步骤:
S106:所述接收端12按照所述第二帧速率显示所述待播放的视频数据帧。
本步骤执行播放操作,将组帧完毕的一组视频数据帧在显示设备上播放。每一视频数据帧已经记录了播放画面所需的像素信息,可由硬件设备显示所述像素信息,实现视频数据的播放。由于步骤S103、S104、S105是不断连续执行的步骤,会源源不断地产生待播放的视频数据帧,因此本步骤不必等到接收很多视频数据帧才播放,而是在步骤S105组帧完毕后即可按照所述第二帧速率进行播放操作。
参阅图2,为符合本发明一优选实施例中所述步骤S102的流程示意图,所述步骤S102在所述第一帧速率对应的每一帧时长内执行以下步骤:
S102-1:从所述发送端11内的缓存单元1121获取一视频数据帧。
所述缓存单元1121在某些应用环境下所述缓存单元1121又称为Frame Buffer。本步骤在代码层完成,即在一帧时长内向所述缓存单元1121执行1次获取指令。
S102-2:向所述视频传输接口传输控制信号及辅助信号。
本步骤执行控制信号及辅助信号传输操作,也可以包括音频信号的传输。上述信号的传输与视频数据帧的传输占用的传输时间不被压缩。根据不同的视频传输接口,其控制信号的类型和接口协议均不同,也会有不同的控制信号时序,部分控制信号可能会在所述视频数据帧的传输过程中协同作用,不一定按照分离的步骤单独执行。
S102-3:于一预设时间阈值内向所述视频传输接口传输所述视频数据帧。
本步骤将所述缓存单元1121内的视频数据帧发送至所述视频传输接口,通过驱动层实现,将软件数据转换为电信号通过所述视频传输接口发出。本步骤执行须满足所述视频传输接口的协议。本步骤中传输所述视频数据帧的时间应在一预设的时间阈值内,即其中视频数据帧有效数据的传输时间在所述时间阈值内,所述时间阈值小于所述传输周期的二分之一,实际上就是限定了所述视频数据帧有效数据的传输时间,以实现缩短视频处理延时的技术效果。
S102-4:等待当前传输周期结束。
本步骤的目的是补足当前传输周期的时长,以保证所述视频数据帧的传输节奏。由于所述发送端11产生所述视频数据帧的速度按照所述第一帧数率进行,也就是帧同步信号不变,因此即便所述视频数据帧有效数据的传输速度变快了,仍需等待所述发送端11产生下一视频数据帧才能进行传输,故实施本步骤保持所述传输周期稳定不变。
作为所述视频数据处理方法的进一步改进,步骤S102-3执行时,调整行同步信号的频率与基准频率的比值至少为2;步骤S103执行时,对接收的行同步信号按照所述比值进行分频。本改进实施例进一步优选了缩短所述视频数据帧的传输时间的技术手段,即通过调整视频数据帧传输时的行同步信号的频率来实现。所述基准频率为现有技术中所述数据传输时间占所述传输周期的比例在80%以上时的行同步信号的频率。行同步又称为水平同步,为控制显示屏幕中电子束从右边返回起点(屏幕的左端)的过程,也叫行逆程。随着数字显示技术的发展,在数字化的视频数据传输时,行同步信号又被称为HSYNC,当HSYNC有效时,接收到的信号属于同1行。相应地,还有帧同步信号又被称为VSYNC,当VSYNC有效时,接收到的信号属于同一帧。比如,要显示一个像素为Ax B的画面,则有:VSYNC=HSYNC×B;HSYNC=PLCK×A,其中PCLK为像素点同步时钟信号,每个PCLK对应一个像素点。所述基准频率即在现有技术中HSYNC的频率。根据上述计算关系,若将HSYNC的频率提升为基准频率的3倍,而VSYNC的工作周期不变,则所述视频数据帧有效数据也就是像素点数据可在所述传输周期三分之一的时间内完成,还需插入所述传输周期三分之二长度的辅助传输时间,也就是Blinking时间。本改进实施例中,所述行同步信号的频率与所述基准频率的比值至少为2,也就是所述视频数据帧有效数据的传输时间缩短至少1倍。由于行同步信号的频率提升了1倍,那么接收端12需要对接收到的行同步信号进行分频,以还原实际的行同步时序,可在所述接收端12增设一分频器来实现,所述分频器的分频倍数为所述行同步信号的频率阈所述基准频率的比值。所述接收端12还需对所述视频数据帧先行缓存,而后配合分频后的行同步信号进行处理,从而实现显示同步。
参阅图3,为符合本发明一优选实施例中所述视频数据处理装置10的结构框图,所述视频数据处理装置10包括工作于第一帧速率的发送端11及工作于第二帧速率的接收端12,所述发送端11通过视频传输接口与所述接收端12连接,所述视频传输接口可以是MIPI、HDMI、DisplayPort等视频传输接口,所述发送端11和接收端12按照所述视频传输接口的协议进行视频数据传输。
所述视频数据处理装置10还包括:
-转换模块111
所述转换模块111设于所述发送端12,按照所述第一帧速率将所述视频数据转换为至少一个视频数据帧。所述转换模块111可以是播放机、显卡等具备解码能力的设备,将不同数据格式的所述视频数据转换为多个视频数据帧,转换视频数据帧时满足所述第一帧速率。
-发送模块112
所述发送模块112设于所述发送端11,与所述转换模112连接,所述发送端11在所述第一帧速率对应的每一帧时长内向所述接收端12发送前一帧时长内产生的视频数据帧1次,其中每一视频数据帧的传输周期内的数据传输时间与所述传输周期的比值小于或等于二分之一。所述发送模块112从所述转换模块111接收转换好的视频数据帧并向所述接收端12发送。所述发送模块112充分利用了视频数据传输通道的容量,提升了传输速率,压缩了发送一个视频数据帧的时间。
-接收模块121
所述接收模块121设于所述接收端12,于所述第一帧速率对应的相邻两个帧时长内分别接收一视频数据帧。所述接收模块121接收所述发送模块112发来的视频数据帧,由于所述发送模块112压缩了所述视频数据帧的传输时间,因此所述接收模块121在所述传输周期的当中即可接收完成所述视频数据帧。所述接收模块121在相邻两个帧时长内可分别接收到两个视频数据帧,为后续的运算处理提供基础。由于所述接收模块121在一个帧时长内最多有二分之一的时间用于接收所述视频数据帧,因此所述帧时长内的剩余时间可用于运算处理,相对于现有技术提前了运算处理开始的时刻。所述接收模块121工作参照的帧时长是以第一帧速率计算的,即在第一帧速率下每一帧的播放时长。
-运算处理模块122
所述运算处理模块122设于所述接收端12,与所述接收模块121连接,对所述接收模块121接收的两个视频数据帧进行运算处理。所述运算处理模块122进行插帧运算、矢量降噪、视频压缩、矢量预估等运算处理。
-组帧模块123
所述组帧模块123设于所述接收端12,与所述运算处理模块122连接,将运算处理后的视频数据帧组合为一组待播放的视频数据帧。所述组帧模块123从所述运算处理模块122获取运算处理后的视频数据帧,共同组成一组待播放的视频数据帧。
作为所述视频数据处理装置10的进一步改进,所述视频数据处理装置10还包括:
-播放模块124
所述播放模块124设于所述接收端12,与所述组帧模块123连接,按照所述第二帧速率显示所述待播放的视频数据帧。所述播放模块124从所述组帧模块123获取所述待播放的视频数据帧,并按照所述第二帧速率进行播放。所述播放模块124可以是显示屏及其显示电路,显示电路用于将所述视频数据帧转换为显现物理像素的电信号,所述显示屏显示所述物理像素。
参阅图4,为符合本发明一优选实施例中所述发送模块112的结构框图,所述发送模块112包括:
-缓存单元1121
所述缓存单元1121设于所述发送端11,在所述第一帧速率对应的一帧时长内从所述缓存单元获取一视频数据帧。所述缓存单元1121可以是物理存储介质,例如内存、硬盘等,能够存储数据。
-信号传输单元1122
所述信号传输单元1122,设于所述发送端11,向所述视频传输接口传输控制信号及辅助信号。所述信号传输单元1122执行控制信号及辅助信号传输操作,也可以包括音频信号的传输操作。根据不同的视频传输接口,其控制信号的类型和接口协议均不同,也会有不同的控制信号时序,部分控制信号会在所述视频数据帧的传输过程中协同作用。
-数据传输单元1123
所述数据传输单元1123设于所述发送端11,与所述缓存单元1121连接,于一预设时间阈值内向所述视频传输接口传输所述视频数据帧。所述数据传输单元1123通过驱动层实现将软件数据转换为电信号通过所述视频传输接口发出。所述数据传输单元1123传输所述视频数据帧时须满足所述视频传输接口的协议,且传输所述视频数据帧的时间应在一预设的时间阈值内,所述时间阈值小于所述传输周期的二分之一,实际上就是限定了所述视频数据帧传输时间,以实现缩短视频处理延时的技术效果。根据某些视频传输接口的接口协议,所述数据传输单元1123传输所述视频数据帧时,需要所述信号传输单元1122同步配合进行控制信号状态控制,例如在HDMI接口中,需要对VSYNC和HSYNC的高低电平进行控制,以进行数据传输的辅助确认。
-周期补偿单元1124
所述周期补偿单元1124等待当前传输周期结束。所述周期补偿单元1124的作用是补足当前传输周期的时长,以保证所述视频数据帧的传输节奏。由于所述转换模块111产生所述视频数据帧的速度按照所述第一帧数率进行,因此即便所述视频数据帧的传输速度变快了,仍需等待所述转换模块111产生下一视频数据帧才能进行传输。故在所述数据传输单元1123传输所述视频数据帧完毕后,所述周期补偿单元1124保持所述传输周期稳定不变。
作为上述视频数据处理装置10的进一步改进,所述数据传输单元1123传输所述视频数据帧时,调整行同步信号的频率与基准频率的比值至少为2;所述接收模块121对接收的行同步信号按照所述比值进行分频。本改进实施例进一步优选了缩短所述视频数据帧的传输时间的技术手段,即通过调整视频数据帧传输时的行同步信号的频率来实现。所述数据传输单元1123将行同步信号的频率提升至少1倍,使所述视频数据帧的传输时间缩短至少1倍。所述接收模块121还设有分频器,对接收到的行同步信号进行分频,以还原实际的行同步时序。所述分频器的分频倍数为所述行同步信号的频率阈所述基准频率的比值。所述接收模块121还需对所述视频数据帧先行缓存,而后配合分频后的行同步信号进行处理,从而实现显示同步。
参阅图6,为符合本发明一优选实施例中所述计算机可读存储介质中计算机程序的流程示意图,所述计算机可读存储介质上存储有计算机程序,用于处理由工作于第一帧速率的发送端11通过视频传输接口发送至工作于第二帧速率的接收端12的视频数据,所述计算机程序被处理器执行时实现以下步骤:
S101:所述发送端按照所述第一帧速率将所述视频数据转换为至少一个视频数据帧;
S102:所述发送端在所述第一帧速率对应的每一帧时长内向所述接收端发送前一帧时长内产生的视频数据帧1次,其中每一视频数据帧的传输周期内的数据传输时间与所述传输周期的比值小于或等于二分之一;
S103:所述接收端于所述第一帧速率对应的相邻两个帧时长内分别接收一视频数据帧。
作为所述计算机程序的进一步改进,步骤S109之后,所述计算机程序还包括以下步骤:
S110:对步骤S109中接收的两个视频数据帧进行运算处理;
S111:将运算处理后的视频数据帧组合为一组待播放的视频数据帧。
作为所述计算机程序的进一步改进,所述步骤S108在所述第一帧速率对应的每一帧时长内执行以下步骤:
S108-1:从所述发送端内的缓存单元获取一视频数据帧;
S108-2:向所述视频传输接口传输控制信号及辅助信号;
S108-3:于一预设时间阈值内向所述视频传输接口传输所述视频数据帧;
S108-4:等待当前传输周期结束。
作为所述计算机程序的进一步改进,步骤S108-3执行时,调整行同步信号的频率与基准频率的比值至少为2;
步骤S109执行时,对接收的行同步信号按照所述比值进行分频。
作为所述计算机程序的进一步改进,步骤S111之后,所述计算机程序还包括以下步骤:
S112:所述接收端按照所述第二帧速率显示所述待播放的视频数据帧。
上述计算机程序的方法步骤与本发明中的视频数据处理方法的实现方式一致,不再赘述。
应当注意的是,本发明的实施例有较佳的实施性,且并非对本发明作任何形式的限制,任何熟悉该领域的技术人员可能利用上述揭示的技术内容变更或修饰为等同的有效实施例,但凡未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所作的任何修改或等同变化及修饰,均仍属于本发明技术方案的范围内。

Claims (15)

1.一种视频数据处理方法,用于处理由工作于第一帧速率的发送端通过视频传输接口发送至工作于第二帧速率的接收端的视频数据,其特征在于,包括以下步骤:
S101:所述发送端按照所述第一帧速率将所述视频数据转换为至少一个视频数据帧;
S102:所述发送端在所述第一帧速率对应的每一帧时长内向所述接收端发送前一帧时长内产生的视频数据帧1次,其中每一视频数据帧的传输周期内的数据传输时间与所述传输周期的比值小于或等于二分之一;
S103:所述接收端于所述第一帧速率对应的相邻两个帧时长内分别接收一视频数据帧。
2.如权利要求1所述的视频数据处理方法,其特征在于,
步骤S103之后,所述视频数据处理方法还包括以下步骤:
S104:对步骤S103中接收的两个视频数据帧进行运算处理;
S105:将运算处理后的视频数据帧组合为一组待播放的视频数据帧。
3.如权利要求1或2所述的视频数据处理方法,其特征在于,
所述步骤S102在所述第一帧速率对应的每一帧时长内执行以下步骤:
S102-1:从所述发送端内的缓存单元获取一视频数据帧;
S102-2:向所述视频传输接口传输控制信号及辅助信号;
S102-3:于一预设时间阈值内向所述视频传输接口传输所述视频数据帧;
S102-4:等待当前传输周期结束。
4.如权利要求3所述的视频数据处理方法,其特征在于,
步骤S102-3执行时,调整行同步信号的频率与基准频率的比值至少为2;
步骤S103执行时,对接收的行同步信号按照所述比值进行分频。
5.如权利要求2所述的视频数据处理方法,其特征在于,
步骤S105之后,所述视频数据处理方法还包括以下步骤:
S106:所述接收端按照所述第二帧速率显示所述待播放的视频数据帧。
6.一种视频数据处理装置,包括工作于第一帧速率的发送端及工作于第二帧速率的接收端,所述发送端通过视频传输接口与所述接收端连接,其特征在于,所述视频数据处理装置包括:
转换模块,设于所述发送端,按照所述第一帧速率将所述视频数据转换为至少一个视频数据帧;
发送模块,设于所述发送端,与所述转换模块连接,在所述第一帧速率对应的每一帧时长内向所述接收端发送前一帧时长内产生的视频数据帧1次,其中每一视频数据帧的传输周期内的数据传输时间与所述传输周期的比值小于或等于二分之一;
接收模块,设于所述接收端,于所述第一帧速率对应的相邻两个帧时长内分别接收一视频数据帧。
7.如权利要求6所述的视频数据处理装置,其特征在于,
所述视频处数据理装置还包括:
运算处理模块,设于所述接收端,与所述接收模块连接,对所述接收模块接收的两个视频数据帧进行运算处理;
组帧模块,设于所述接收端,与所述运算处理模块连接,将运算处理后的视频数据帧组合为一组待播放的视频数据帧。
8.如权利要求6或7所述的视频数据处理装置,其特征在于,
所述发送模块包括:
缓存单元,设于所述发送端,在所述第一帧速率对应的一帧时长内从所述缓存单元获取一视频数据帧;
信号传输单元,设于所述发送端,向所述视频传输接口传输控制信号及辅助信号;
数据传输单元,设于所述发送端,与所述缓存单元连接,于一预设时间阈值内向所述视频传输接口传输所述视频数据帧;
周期补偿单元,等待当前传输周期结束。
9.如权利要求8所述的视频数据处理装置,其特征在于,
所述数据传输单元传输所述视频数据帧时,调整行同步信号的频率与基准频率的比值至少为2;
所述接收模块对接收的行同步信号按照所述比值进行分频。
10.如权利要求7所述的视频数据处理装置,其特征在于,
所述视频数据处理装置还包括:
播放模块,按照所述第二帧速率显示所述待播放的视频数据帧。
11.一种计算机可读存储介质,其上存储有计算机程序,用于处理由工作于第一帧速率的发送端通过视频传输接口发送至工作于第二帧速率的接收端的视频数据,其特征在于,所述计算机程序被处理器执行时实现以下步骤:
S107:所述发送端按照所述第一帧速率将所述视频数据转换为至少一个视频数据帧;
S108:所述发送端在所述第一帧速率对应的每一帧时长内向所述接收端发送前一帧时长内产生的视频数据帧1次,其中每一视频数据帧的传输周期内的数据传输时间与所述传输周期的比值小于或等于二分之一;
S109:所述接收端于所述第一帧速率对应的相邻两个帧时长内分别接收一视频数据帧。
12.如权利要求11所述的计算机可读存储介质,其特征在于,
步骤S109之后,所述计算机程序还包括以下步骤:
S110:对步骤S109中接收的两个视频数据帧进行运算处理;
S111:将运算处理后的视频数据帧组合为一组待播放的视频数据帧。
13.如权利要求11或12所述的计算机可读存储介质,其特征在于,
所述步骤S108在所述第一帧速率对应的每一帧时长内执行以下步骤:
S108-1:从所述发送端内的缓存单元获取一视频数据帧;
S108-2:向所述视频传输接口传输控制信号及辅助信号;
S108-3:于一预设时间阈值内向所述视频传输接口传输所述视频数据帧;
S108-4:等待当前传输周期结束。
14.如权利要求13所述的计算机可读存储介质,其特征在于,
步骤S108-3执行时,调整行同步信号的频率与基准频率的比值至少为2;
步骤S109执行时,对接收的行同步信号按照所述比值进行分频。
15.如权利要求12所述的计算机可读存储介质,其特征在于,
步骤S111之后,所述计算机程序还包括以下步骤:
S112:所述接收端按照所述第二帧速率显示所述待播放的视频数据帧。
CN201711001979.4A 2017-10-24 2017-10-24 一种视频数据处理方法、处理装置及计算机可读存储介质 Active CN107707860B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201711001979.4A CN107707860B (zh) 2017-10-24 2017-10-24 一种视频数据处理方法、处理装置及计算机可读存储介质
KR1020207006697A KR20200077507A (ko) 2017-10-24 2018-10-23 비디오 데이터 처리 방법 및 비디오 데이터 처리 장치
JP2020520518A JP2021500786A (ja) 2017-10-24 2018-10-23 ビデオデータ処理方法及びビデオデータ処理装置
PCT/CN2018/111520 WO2019080847A1 (zh) 2017-10-24 2018-10-23 一种视频数据处理方法及视频数据处理装置
EP18869522.5A EP3644613A4 (en) 2017-10-24 2018-10-23 VIDEO DATA PROCESSING PROCESS AND VIDEO DATA PROCESSING DEVICE
US16/854,819 US20200252581A1 (en) 2017-10-24 2020-04-21 Video data processing method and video data processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711001979.4A CN107707860B (zh) 2017-10-24 2017-10-24 一种视频数据处理方法、处理装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN107707860A true CN107707860A (zh) 2018-02-16
CN107707860B CN107707860B (zh) 2020-04-10

Family

ID=61182224

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711001979.4A Active CN107707860B (zh) 2017-10-24 2017-10-24 一种视频数据处理方法、处理装置及计算机可读存储介质

Country Status (6)

Country Link
US (1) US20200252581A1 (zh)
EP (1) EP3644613A4 (zh)
JP (1) JP2021500786A (zh)
KR (1) KR20200077507A (zh)
CN (1) CN107707860B (zh)
WO (1) WO2019080847A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019080846A1 (zh) * 2017-10-24 2019-05-02 南昌黑鲨科技有限公司 一种视频数据处理方法及视频数据处理装置
WO2019080847A1 (zh) * 2017-10-24 2019-05-02 南昌黑鲨科技有限公司 一种视频数据处理方法及视频数据处理装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111586319B (zh) * 2020-05-27 2024-04-09 北京百度网讯科技有限公司 视频的处理方法和装置
KR20220006680A (ko) * 2020-07-08 2022-01-18 삼성디스플레이 주식회사 표시 장치 및 이를 이용한 표시 패널의 구동 방법
EP4280595A4 (en) * 2021-01-29 2024-03-06 Huawei Tech Co Ltd DATA TRANSMISSION METHOD AND APPARATUS

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101031042A (zh) * 2006-02-28 2007-09-05 三星电子株式会社 具有帧率转换的图像显示设备及其方法
US20090135910A1 (en) * 2007-11-27 2009-05-28 Samsung Electronics, Co., Ltd Video apparatus to combine graphical user interface (gui) with frame rate conversion (frc) video and method of providing a gui thereof
CN101529890A (zh) * 2006-10-24 2009-09-09 索尼株式会社 图像摄取设备和再现控制设备
CN101669361A (zh) * 2007-02-16 2010-03-10 马维尔国际贸易有限公司 用于改善低分辨率和低帧速率视频的方法和系统
CN106713855A (zh) * 2016-12-13 2017-05-24 深圳英飞拓科技股份有限公司 一种视频播放方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8542747B2 (en) * 2006-12-26 2013-09-24 Broadcom Corporation Low latency cadence detection for frame rate conversion
JP5183231B2 (ja) * 2008-02-05 2013-04-17 キヤノン株式会社 映像再生装置及び制御方法
CN105828183B (zh) * 2015-01-04 2017-12-05 华为技术有限公司 视频帧处理方法及视频帧处理芯片
CN105306866A (zh) * 2015-10-27 2016-02-03 青岛海信电器股份有限公司 帧率转换方法及装置
CN107707860B (zh) * 2017-10-24 2020-04-10 南昌黑鲨科技有限公司 一种视频数据处理方法、处理装置及计算机可读存储介质
CN107707934A (zh) * 2017-10-24 2018-02-16 南昌黑鲨科技有限公司 一种视频数据处理方法、处理装置及计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101031042A (zh) * 2006-02-28 2007-09-05 三星电子株式会社 具有帧率转换的图像显示设备及其方法
CN101529890A (zh) * 2006-10-24 2009-09-09 索尼株式会社 图像摄取设备和再现控制设备
CN101669361A (zh) * 2007-02-16 2010-03-10 马维尔国际贸易有限公司 用于改善低分辨率和低帧速率视频的方法和系统
US20090135910A1 (en) * 2007-11-27 2009-05-28 Samsung Electronics, Co., Ltd Video apparatus to combine graphical user interface (gui) with frame rate conversion (frc) video and method of providing a gui thereof
CN106713855A (zh) * 2016-12-13 2017-05-24 深圳英飞拓科技股份有限公司 一种视频播放方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019080846A1 (zh) * 2017-10-24 2019-05-02 南昌黑鲨科技有限公司 一种视频数据处理方法及视频数据处理装置
WO2019080847A1 (zh) * 2017-10-24 2019-05-02 南昌黑鲨科技有限公司 一种视频数据处理方法及视频数据处理装置

Also Published As

Publication number Publication date
CN107707860B (zh) 2020-04-10
EP3644613A4 (en) 2020-12-09
KR20200077507A (ko) 2020-06-30
EP3644613A1 (en) 2020-04-29
US20200252581A1 (en) 2020-08-06
JP2021500786A (ja) 2021-01-07
WO2019080847A1 (zh) 2019-05-02

Similar Documents

Publication Publication Date Title
CN107707860A (zh) 一种视频数据处理方法、处理装置及计算机可读存储介质
US11404022B2 (en) Video frame rate compensation through adjustment of vertical blanking
US8300087B2 (en) Method and system for response time compensation for 3D video processing
US6584125B1 (en) Coding/decoding apparatus, coding/decoding system and multiplexed bit stream
US7792412B2 (en) Multi-screen image reproducing apparatus and image reproducing method in multi-screen image reproducing apparatus
CN107707934A (zh) 一种视频数据处理方法、处理装置及计算机可读存储介质
CN101374233B (zh) 视频流帧率适配方法和装置及fpga芯片及视频流处理设备
AU683056B2 (en) Adaptive video decompression
CN105681720A (zh) 视频播放的处理方法及装置
US8593575B2 (en) Video display apparatus for shortened-delay processing of a video signal and video processing method
CN114613306A (zh) 显示控制芯片、显示面板及相关设备、方法和装置
CN102625086B (zh) 一种用于高清数字矩阵的ddr2存储方法和系统
US6573946B1 (en) Synchronizing video streams with different pixel clock rates
WO2024051674A1 (zh) 图像处理电路和电子设备
CN1367611A (zh) 三维视频图像数字编码方法
CN100471273C (zh) 数字视频无线传输系统
WO2015132957A1 (ja) 映像機器及び映像処理方法
JP3098485B2 (ja) 画像復号装置
CN117812332A (zh) 播放处理方法、装置、电子设备及计算机存储介质
KR20120050041A (ko) 복수의 입체 영상 재생장치를 포함하는 멀티비전 시스템 및 입체 영상 재생방법
CN109413356A (zh) 一种hdmi高画质同步去隔行系统及方法
CN111212315A (zh) 抗数据漂移低延时视频缓存方法、系统、播放方法、终端
JP2010166337A (ja) 通信装置、通信装置の制御方法、制御プログラム、および、記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant