CN113518259A - 一种数据处理方法及装置 - Google Patents

一种数据处理方法及装置 Download PDF

Info

Publication number
CN113518259A
CN113518259A CN202110572128.5A CN202110572128A CN113518259A CN 113518259 A CN113518259 A CN 113518259A CN 202110572128 A CN202110572128 A CN 202110572128A CN 113518259 A CN113518259 A CN 113518259A
Authority
CN
China
Prior art keywords
data
video
source
auxiliary data
auxiliary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110572128.5A
Other languages
English (en)
Other versions
CN113518259B (zh
Inventor
边慧
包生辉
苏进
高赛
朱选胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Long Xun Semiconductor Hefei Co ltd
Original Assignee
Long Xun Semiconductor Hefei Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Long Xun Semiconductor Hefei Co ltd filed Critical Long Xun Semiconductor Hefei Co ltd
Priority to CN202110572128.5A priority Critical patent/CN113518259B/zh
Priority to US17/410,985 priority patent/US11722728B2/en
Publication of CN113518259A publication Critical patent/CN113518259A/zh
Application granted granted Critical
Publication of CN113518259B publication Critical patent/CN113518259B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0041—Arrangements at the transmitter end
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
    • G06F12/0811—Multiuser, multiprocessor or multiprocessing cache systems with multilevel cache hierarchies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
    • G06F12/0815—Cache consistency protocols
    • G06F12/0831—Cache consistency protocols using a bus scheme, e.g. with bus monitoring or watching means
    • G06F12/0835—Cache consistency protocols using a bus scheme, e.g. with bus monitoring or watching means for main memory peripheral accesses (e.g. I/O or DMA)
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0893—Caches characterised by their organisation or structure
    • G06F12/0897—Caches characterised by their organisation or structure with two or more cache hierarchy levels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0045—Arrangements at the receiver end
    • H04L1/0047—Decoding adapted to other signal detection operation
    • H04L1/005—Iterative decoding, including iteration between signal detection and decoding operation
    • H04L1/0051—Stopping criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4331—Caching operations, e.g. of an advertisement for later insertion during playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4383—Accessing a communication channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/45—Caching of specific data in cache memory
    • G06F2212/455—Image or video data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0056—Systems characterized by the type of code used
    • H04L1/0071—Use of interleaving

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Systems (AREA)

Abstract

本申请提供一种数据处理方法及装置，该方法应用于数字接口，该方法包括：读取数据源所缓存的数据，数据源包括视频源和辅助数据源；若视频源所缓存的视频数据不为空，则输出视频数据，视频数据被输出时其帧结构和行结构的首尾位置处均具有相应的位置标记；若视频源所缓存的视频数据为空、辅助数据源所缓存的辅助数据不为空、且当前视频数据的帧结构或者行结构已被输出，则输出辅助数据，辅助数据被输出时其首尾位置处具有相应的位置标记。基于本发明，能够用不同的特殊序列表示不同类型的数据，实现多类型数据通过一个数字接口完成接收和发送，支持各通道数的传输，提高带宽利用率。

Description

一种数据处理方法及装置
技术领域
本发明涉及通信技术领域，更具体地说，涉及一种数据处理方法及装置、。
背景技术
移动设备的内部接口如摄像头、显示屏等使用广泛的是MIPI或者LVDS接口。移动设备通常体积小，所以设备内部接口之间距离短，以非常紧凑的方式连接在一起。
而现在很多应用环境中的移动设备空间大、距离长达几十米，例如汽车应用中的远程通信、智能交通系统和自动驾驶系统等需要将诸如摄像头、雷达和传感器等外围设备检测的信号经过长达几十米的距离到主控显示器上显示。
因此，如何将这些多路信号打包，通过一个接口、一根传输线可以延长几十米实现互联，成为亟需解决的问题。
发明内容
有鉴于此，为解决上述问题，本发明提供一种数据处理方法及装置，技术方案如下：
一种数据处理方法，所述方法应用于数字接口，所述方法包括：
读取数据源所缓存的数据，所述数据源包括视频源和辅助数据源；
若所述视频源所缓存的视频数据不为空，则输出所述视频数据，所述视频数据被输出时其帧结构和行结构的首尾位置处均具有相应的位置标记；
若所述视频源所缓存的视频数据为空、所述辅助数据源所缓存的辅助数据不为空、且当前所述视频数据的帧结构或者行结构已被输出，则输出所述辅助数据，所述辅助数据被输出时其首尾位置处具有相应的位置标记。
优选的，所述数据接口的带宽大于所述视频源的带宽，所述方法还包括：
若所述视频源所缓存的视频数据为空、且所述辅助数据源所缓存的辅助数据不为空，则停止对所述视频源的读取，输出所述辅助数据，直到所述辅助数据输出结束后，启动对所述视频源的读取。
优选的，所述辅助数据源的处理优先级高于所述视频源的处理优先级，所述方法还包括:
若所述视频源所缓存的视频数据不为空、且所述辅助数据源所缓存的辅助数据不为空，则输出所述辅助数据，直到所述辅助数据输出结束后，输出所述视频数据；
若所述视频源所缓存的视频数据为空、且所述辅助数据源所缓存的辅助数据不为空，则输出所述辅助数据。
优选的，所述数字接口接入FEC编码的时序控制电路，所述方法还包括：
若接收到所述时序控制电路的控制信号，则停止输出所述视频数据/所述辅助数据，响应所述控制信号，直到所述控制信号响应结束后，继续输出所述视频数据/所述辅助数据。
优选的，所述辅助数据源包括音频源和其它辅助数据源；
相应的，所述输出所述辅助数据，包括：
以所述音频源和所述其他辅助数据源交替输出的方式，输出所述音频源所缓存的音频数据和所述其他辅助数据源所缓存的数据。
优选的，所述方法还包括：
按照通道数输出所述视频数据/所述辅助数据。
一种数据处理装置，所述装置包括：
数据读取模块，用于读取数据源所缓存的数据，所述数据源包括视频源和辅助数据源；
数据输出模块，用于若所述视频源所缓存的视频数据不为空，则输出所述视频数据，所述视频数据被输出时其帧结构和行结构的首尾位置处均具有相应的位置标记；若所述视频源所缓存的视频数据为空、所述辅助数据源所缓存的辅助数据不为空、且当前所述视频数据的帧结构或者行结构已被输出，则输出所述辅助数据，所述辅助数据被输出时其首尾位置处具有相应的位置标记。
优选的，所述数据接口的带宽大于所述视频源的带宽，所述数据输出模块，还用于：
若所述视频源所缓存的视频数据为空、且所述辅助数据源所缓存的辅助数据不为空，则停止对所述视频源的读取，输出所述辅助数据，直到所述辅助数据输出结束后，启动对所述视频源的读取。
优选的，所述辅助数据源的处理优先级高于所述视频源的处理优先级，所述数据输出模块，还用于：
若所述视频源所缓存的视频数据不为空、且所述辅助数据源所缓存的辅助数据不为空，则输出所述辅助数据，直到所述辅助数据输出结束后，输出所述视频数据；若所述视频源所缓存的视频数据为空、且所述辅助数据源所缓存的辅助数据不为空，则输出所述辅助数据。
优选的，所述数字接口接入FEC编码的时序控制电路，所述数据输出模块，还用于：
若接收到所述时序控制电路的控制信号，则停止输出所述视频数据/所述辅助数据，响应所述控制信号，直到所述控制信号响应结束后，继续输出所述视频数据/所述辅助数据。
相较于现有技术，本发明实现的有益效果为：
本发明提供一种数据处理方法及装置，对于视频源和辅助数据源各自所缓存的数据能够用不同的特殊序列来表示。具体的，对于视频源所缓存的视频数据，其帧结构或者行结构的开始、结束位置都有相应的位置标记；对于辅助数据源所缓存的辅助数据，其开始、结束位置也有相应的位置标记。进一步，存在视频数据时，能够及时输出该视频数据；不存在视频数据、但存在辅助数据时，能够在视频数据的帧结构间或者行结构间输出辅助数据，从而将辅助数据及时输出。基于本发明，能够用不同的特殊序列表示不同类型的数据，实现多类型数据通过一个数字接口完成接收和发送，支持各通道数的传输，提高带宽利用率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种数据处理方法的方法流程图；
图2为本发明实施例提供的视频数据标记示意图；
图3为本发明实施例提供的辅助数据标记示意图；
图4为本发明实施例提供的辅助数据示意图；
图5为本发明实施例提供的数字接口协议的实现框架图；
图6为本发明实施例提供的数据处理装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明实施例提供一种数据处理方案，基于该方案数字接口能够将多种类型的数据打包至一个通道传输，实现及时传输音视频的数字接口协议，提高带宽利用率。
参见图1所示的数据处理方法，该方法应用于数字接口，该方法包括如下步骤：
S10，读取数据源所缓存的数据，数据源包括视频源和辅助数据源。
本发明实施例中，对于数据源分为视频源和非视频源，即辅助数据源，该辅助数据源可以包括音频源、视频参数源、中断源、I2C单向数据源等等，本发明实施例对此不做限定。
需要说明的是，音频源所缓存的数据即为音频数据，视频参数源所缓存的数据即为视频参数，中断源所缓存的数据即为中断状态，I2C单向数据源所缓存的数据即为I2C单向数据。
再者，实际应用中，每个数据源都有相应的缓存区域afifo，各数据源将其所缓存的数据写入各自的afifo中。
S20，若视频源所缓存的视频数据不为空，则输出视频数据，视频数据被输出时其帧结构和行结构的首尾位置处均具有相应的位置标记。
本发明实施例中，有视频数据流时，及时将其打包到数字协议层。而没有视频流时，则可以插入辅助数据。具体的：
只要视频源所缓存的视频数据不为空，即输出该视频数据，并且该视频数据在输出时，对于其帧结构和行结构的开始、结束位置都设置相应的位置标记。即，在视频数据一帧开始时插入帧开始标记AVS，一帧结束时插入帧结束标记AVE；视频数据一行开始是插入行开始标记ABE，一行结束时插入行结束标记ABS。
需要说明的是，一帧视频数据具有多行。参见图2，其为两帧视频数据输出时的标记示意图。可见，在行结构间、以及帧结构间存在插入辅助数据的时隙。
S30，若视频源所缓存的视频数据为空、辅助数据源所缓存的辅助数据不为空、且当前视频数据的帧结构或者行结构已被输出，则输出辅助数据，辅助数据被输出时其首尾位置处具有相应的位置标记。
本发明实施例中，数字接口的带宽通常会大于视频源的带宽，即视频源的输出速度小于数字接口的读取速度，在视频源未缓存视频数据、而辅助数据源缓存有辅助数据的情况下，为提高数字接口带宽利用率，可以考虑将辅助数据插入到视频数据中，即在视频数据的行结构或者帧结构间插入辅助数据，并输出。
当然，辅助数据在输出时，其开始位置、结束位置都设置相应的位置标记。即辅助数据开始时插入辅助数据开始标记AFS，结束时插入辅助数据结束标记AFE。继续以图2为例，在其帧结构间和多个行结构间插入输出辅助数据的示意图如图3所示，辅助数据用数据a、b、c表示。
需要说明的是，对于辅助数据的不同类型，可以采用不同的标记来表示。具体的，对于诸如音频数据、视频参数和中断状态等辅助数据，数据开始标记可以为ASS、数据结束标记可以为ASE，而为区分不同类型，可以在ASS和ASE后面增加一个数据定义，比如“8’h00”表示音频数据、“8’h01”表示视频参数、“8’h02”表示中断状态。需要说明的是，对于诸如I2C单向数据等其他辅助数据的数据定义还可以自行设置，本发明对此不做限定。
继续以图3中的辅助数据b来说明，该辅助数据b中可以包含同一类型的辅助数据，还可以包含多个类型的辅助数据。一般来说，视频参数常用于描述一帧视频数据，因此辅助数据b中常出现视频参数，假设辅助数据b中还包含音频数据，其示意图如图4所示。
在其他一些实施例中，当数据接口的带宽比较冗余时，即数据接口的带宽大于视频源的带宽一定倍数以上时，如果视频数据已读空，可以插入辅助数据，在辅助数据传输结束后再开始传输视频数据。具体的，图1所示数据处理方法的基础上还包括如下步骤：
若视频源所缓存的视频数据为空、且辅助数据源所缓存的辅助数据不为空，则停止对视频源的读取，输出辅助数据，直到辅助数据输出结束后，启动对视频源的读取。
本发明实施例中，以辅助数据包含音频数据为例，如果视频源未缓存视频数据、而音频源缓存有音频数据，则此时可以暂停读取视频数据，开始输出音频数据，先插入标记AFS、再插入标记ASS_8’h00、再插入音频数据、再插入标记ASE_8’h00、最后插入标记AFE。
此外，辅助数据源除音频源以外，还存在其他诸如视频参数源等，且此时视频参数源缓存有视频参数，在音频数据输出结束、启动对视频源的读取之前，还可以输出视频参数，视频参数的输出可以参照音频数据，即先插入标记AFS、再插入标记ASS_8’h01、再插入视频参数、再插入标记ASE_8’h01、最后插入标记AFE。当然，视频参数还可以下次视频源缓存视频数据为空时，再输出，本发明实施例对此不做限定。
反之，视频参数源的处理优先级高于音频源，第一次出现视频数据未缓存时，同时缓存有视频参数和音频数据，则停止读取视频源后，传输视频参数，视频参数传输结束后，再读取视频数据。第二次出现视频数据未缓存时，停止读取视频源后，传输音频数据，音频数据传输结束后，再读取视频数据。
再者，音频数据和视频参数在输出时，还可以一起输出，即输出时先插入标记AFS、再插入标记ASS_8’h00、再插入音频数据、再插入标记ASE_8’h00、进而插入标记ASS_8’h01、再插入视频参数、再插入标记ASE_8’h01、最后插入标记AFE。这样，可以将音频数据和视频参数在一个辅助数据中输出。也就是说，辅助数据中并不限定于仅针对一个数据类型，其可以包含多个数据类型的数据，并在传输时不同数据类型的传输优先级可以设置。
在其他一些实施例中，为防止音频流中断，在辅助数据源包括音频源和其他诸如视频参数源、I2C单向数据源等其他辅助数据源时，输出辅助数据的过程中，可以以音频源和其他辅助数据源交替输出的方式，输出音频数据和其他辅助数据源所缓存的数据。
以辅助数据源包括视频参数源、I2C单向数据源为例，在输出辅助数据时，可以以音频数据、视频参数、音频数据、I2C单向数据、音频数据、视频参数、音频数据、I2C单向数据……的次序传输。
在其他一些实施例中，对于个别应用场景，部分辅助数据源的处理优先级会高于视频源的处理优先级，比如中断源，此时如果正在传输视频数据，可以暂停传输，插入该辅助数据源的辅助数据传输。具体的，在图1所示数据处理方法的基础上，还包括如下步骤：
若视频源所缓存的视频数据不为空、且辅助数据源所缓存的辅助数据不为空，则输出辅助数据，直到辅助数据输出结束后，输出视频数据；
若视频源所缓存的视频数据为空、且辅助数据源所缓存的辅助数据不为空，则输出辅助数据。
本发明实施例中，对于中断状态的传输可以参照音频数据或者视频参数，即先插入标记AFS、再插入标记ASS_8’h02、再插入中断状态、再插入标记ASE_8’h02、最后插入标记AFE。
这就可以保证高处理优先级的辅助数据流不被中断。
在其他一些实施例中，数字接口对于具有快速响应需求的处理算法优先响应，比如FEC编码算法。在数据接口接入FEC编码的时序控制电路时，在图1所示数据处理方法的基础上，还包括如下步骤：
若接收到时序控制电路的控制信号，则停止输出视频数据/辅助数据，响应控制信号，直到控制信号响应结束后，继续输出视频数据/辅助数据。
本发明实施例中，FEC工作，即FEC编码的时序控制电路输出控制信号，数字接口检测到该控制信号后即响应，暂停输出视频数据/辅助数据，在响应结束后，再继续输出视频数据/辅助数据。该控制信号中包含FEC的PM标记，即APM，数字接口通过识别APM即可执行响应。
另外，本发明实施例所实现的数字接口协议可以支持一个通道到多通道，对于通道数可以不做限定，按照通道数输出视频数据/辅助数据。
参见下表所示的通道个数与数据的排序关系
Figure BDA0003082943830000091
需要说明是，数字接口向各通道依次传输视频数据/辅助数据时，每次传输1个byte的数据，并且，对于同一数据，若其分属于多个通道，则其在每个通道中都具有开始、结束位置的位置标记。
参见图5所示的数字接口协议的实现框架图。该图中有三路数据，包括视频源100、音频源101和其他辅助数据源102，各数据源将其数据写入各自的afifo中缓存。
视频源100在afifo103中缓存的视频数据在帧结构和行结构间没有数据，此时afifo103是空的，adptx packet(即数字接口)107从afifo103中读取不到视频数据。在此期间，音频源101有音频数据写入afifo104中，则adptx packet107从afifo104中读取音频数据，插入AFS、ASS_8’h00开始传输音频数据，当afifo104中所有音频数据读空后，packet107再插入ASE_8’h00和AFE，表示音频数据传输结束。
另外，在adptx packet107从afifo103中读取不到视频数据的期间，音频源101有音频数据写入afifo104中、其他辅助数据源102也有其他辅助数据写入afifo105中，adptxpacket107可以根据音频数据和其他辅助数据的处理优先级选择性传输，或者交替传输。传输时，音频数据和其他辅助数据是独立和完整的，即各自首尾位置都具有相应的位置标记，以ASS开始、ASE结束，根据类型区分不同数据。
再者，视频源100有视频数据写入afifo103中，adptx packet107在视频数据一帧开始前插入AVS、再插入读取到的视频数据，一帧结束后插入AVE。在插入视频数据的过程中，每行开始前插入ABE、再插入该行数据、该行结束后再插入ABS，一帧数据的第一行，需要插入AVS再插入ABE。如果一行没有结束时afifo103的视频数据读空，但afifo104或者afifo105中能够读取到辅助数据，则此时插入AFS表示辅助数据的开始，进而按照类型插入辅助数据，当afifo103中又有视频数据后，在辅助数据之后插入AFE表示辅助数据结束，再继续传输视频数据。
此外，adptx packet107传输一帧视频数据没有结束时，其他辅助数据源也有数据写入afifo105中，若其处理优先级高于视频源，则暂停传输afifo103中的视频数据，插入AFS、按照其他辅助数据的类型插入ASS、再插入其他辅助数据、该其他辅助数据结束后再插入相应类型的ASE、最后插入AFE。之后，再继续传输afifo103中的视频数据。
本方案的数字接口协议支持FEC编码，FEC编码时处理优先级最高，需要暂停所有数据的传输。当FEC编码的时序控制电路106输出控制信号，需要FEC编码的时序期间，adptxpacket107暂停传输所有数据，各数据源将其数据缓存在afifo103、104和105中。
adptx packet107将afifo103、104和105的三路数据打包输出到一个或多个通道。图中通道Lane0先经过Scramber模块108加扰数据，Scramber模块108输出的数据再进入Encoder模块109进行8b10b编码，Encoder模块109输出的数据再进入FEC Encoder模块110进行FEC编码，FEC Encoder模块110输出的数据再进入P-to-S Converter111进行并转串输出到物理接口。其他通道与Lane0的处理流程相同，在此不再赘述。
需要说明的是，Scramber模块108的算法选择是VESA DisplayPort(DP)Standard中的Scrambling。Encoder模块109选择的是8b10b编码，各位置标记和APM的k code如下表。FEC Encoder模块110的算法可以自定义，需求是FEC编码后不能破坏8b10b的编码特性。
8b 10b k code
ABS K28.5
ABE K27.7
AFS K30.7
AFE K23.7
AVS K28.2
AVE K29.7
APM K28.1
ASS K28.4
ASE K28.6
综上所述，在一个数字接口中，能够用不同的特殊序列来区分多路数据源。音视频数据能够及时接收、打包和发送，缓存需要小，可以通过辅助数据包发送额外更多的状态和信息。辅助数据的优先级别可以实时控制，可以优先于视频数据的发送。例如说中断状态需要及时发送，这种协议的设计，应用灵活。
基于上述实施例提供的数据处理方法，本发明实施例还提供一种数据处理装置，该装置的结构示意图如图6所示，包括：
数据读取模块10，用于读取数据源所缓存的数据，数据源包括视频源和辅助数据源；
数据输出模块20，用于若视频源所缓存的视频数据不为空，则输出视频数据，视频数据被输出时其帧结构和行结构的首尾位置处均具有相应的位置标记；若视频源所缓存的视频数据为空、辅助数据源所缓存的辅助数据不为空、且当前视频数据的帧结构或者行结构已被输出，则输出辅助数据，辅助数据被输出时其首尾位置处具有相应的位置标记。
可选的，数据接口的带宽大于视频源的带宽，数据输出模块20，还用于：
若视频源所缓存的视频数据为空、且辅助数据源所缓存的辅助数据不为空，则停止对视频源的读取，输出辅助数据，直到辅助数据输出结束后，启动对视频源的读取。
可选的，辅助数据源的处理优先级高于视频源的处理优先级，数据输出模块20，还用于：
若视频源所缓存的视频数据不为空、且辅助数据源所缓存的辅助数据不为空，则输出辅助数据，直到辅助数据输出结束后，输出视频数据；若视频源所缓存的视频数据为空、且辅助数据源所缓存的辅助数据不为空，则输出辅助数据。
可选的，数字接口接入FEC编码的时序控制电路，数据输出模块20，还用于：
若接收到时序控制电路的控制信号，则停止输出视频数据/辅助数据，响应控制信号，直到控制信号响应结束后，继续输出视频数据/辅助数据。
可选的，辅助数据源包括音频源和其它辅助数据源；
相应的，数据输出模块20输出辅助数据的过程，包括：
以音频源和其他辅助数据源交替输出的方式，输出音频源所缓存的音频数据和其他辅助数据源所缓存的数据。
可选的，数据输出模块20还用于：
按照通道数输出视频数据/辅助数据。
本发明实施例提供的数据处理装置，能够用不同的特殊序列表示不同类型的数据，实现多类型数据通过一个数字接口完成接收和发送，支持各通道数的传输，提高带宽利用率。
以上对本发明所提供的一种数据处理方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备所固有的要素，或者是还包括为这些过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据处理方法，其特征在于，所述方法应用于数字接口，所述方法包括：
读取数据源所缓存的数据，所述数据源包括视频源和辅助数据源；
若所述视频源所缓存的视频数据不为空，则输出所述视频数据，所述视频数据被输出时其帧结构和行结构的首尾位置处均具有相应的位置标记；
若所述视频源所缓存的视频数据为空、所述辅助数据源所缓存的辅助数据不为空、且当前所述视频数据的帧结构或者行结构已被输出，则输出所述辅助数据，所述辅助数据被输出时其首尾位置处具有相应的位置标记。
2.根据权利要求1所述的方法，其特征在于，所述数据接口的带宽大于所述视频源的带宽，所述方法还包括：
若所述视频源所缓存的视频数据为空、且所述辅助数据源所缓存的辅助数据不为空，则停止对所述视频源的读取，输出所述辅助数据，直到所述辅助数据输出结束后，启动对所述视频源的读取。
3.根据权利要求1所述的方法，其特征在于，所述辅助数据源的处理优先级高于所述视频源的处理优先级，所述方法还包括:
若所述视频源所缓存的视频数据不为空、且所述辅助数据源所缓存的辅助数据不为空，则输出所述辅助数据，直到所述辅助数据输出结束后，输出所述视频数据；
若所述视频源所缓存的视频数据为空、且所述辅助数据源所缓存的辅助数据不为空，则输出所述辅助数据。
4.根据权利要求1所述的方法，其特征在于，所述数字接口接入FEC编码的时序控制电路，所述方法还包括：
若接收到所述时序控制电路的控制信号，则停止输出所述视频数据/所述辅助数据，响应所述控制信号，直到所述控制信号响应结束后，继续输出所述视频数据/所述辅助数据。
5.根据权利要求1所述的方法，其特征在于，所述辅助数据源包括音频源和其它辅助数据源；
相应的，所述输出所述辅助数据，包括：
以所述音频源和所述其他辅助数据源交替输出的方式，输出所述音频源所缓存的音频数据和所述其他辅助数据源所缓存的数据。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
按照通道数输出所述视频数据/所述辅助数据。
7.一种数据处理装置，其特征在于，所述装置包括：
数据读取模块，用于读取数据源所缓存的数据，所述数据源包括视频源和辅助数据源；
数据输出模块，用于若所述视频源所缓存的视频数据不为空，则输出所述视频数据，所述视频数据被输出时其帧结构和行结构的首尾位置处均具有相应的位置标记；若所述视频源所缓存的视频数据为空、所述辅助数据源所缓存的辅助数据不为空、且当前所述视频数据的帧结构或者行结构已被输出，则输出所述辅助数据，所述辅助数据被输出时其首尾位置处具有相应的位置标记。
8.根据权利要求7所述的装置，其特征在于，所述数据接口的带宽大于所述视频源的带宽，所述数据输出模块，还用于：
若所述视频源所缓存的视频数据为空、且所述辅助数据源所缓存的辅助数据不为空，则停止对所述视频源的读取，输出所述辅助数据，直到所述辅助数据输出结束后，启动对所述视频源的读取。
9.根据权利要求7所述的装置，其特征在于，所述辅助数据源的处理优先级高于所述视频源的处理优先级，所述数据输出模块，还用于：
若所述视频源所缓存的视频数据不为空、且所述辅助数据源所缓存的辅助数据不为空，则输出所述辅助数据，直到所述辅助数据输出结束后，输出所述视频数据；若所述视频源所缓存的视频数据为空、且所述辅助数据源所缓存的辅助数据不为空，则输出所述辅助数据。
10.根据权利要求7所述的装置，其特征在于，所述数字接口接入FEC编码的时序控制电路，所述数据输出模块，还用于：
若接收到所述时序控制电路的控制信号，则停止输出所述视频数据/所述辅助数据，响应所述控制信号，直到所述控制信号响应结束后，继续输出所述视频数据/所述辅助数据。
CN202110572128.5A 2021-05-25 2021-05-25 一种数据处理方法及装置 Active CN113518259B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110572128.5A CN113518259B (zh) 2021-05-25 2021-05-25 一种数据处理方法及装置
US17/410,985 US11722728B2 (en) 2021-05-25 2021-08-24 Data processing method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110572128.5A CN113518259B (zh) 2021-05-25 2021-05-25 一种数据处理方法及装置

Publications (2)

Publication Number Publication Date
CN113518259A true CN113518259A (zh) 2021-10-19
CN113518259B CN113518259B (zh) 2023-06-09

Family

ID=78064986

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110572128.5A Active CN113518259B (zh) 2021-05-25 2021-05-25 一种数据处理方法及装置

Country Status (2)

Country Link
US (1) US11722728B2 (zh)
CN (1) CN113518259B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104349205A (zh) * 2014-11-17 2015-02-11 广东威创视讯科技股份有限公司 音视频处理方法及系统
US20170223349A1 (en) * 2016-02-03 2017-08-03 Mediatek Inc. Video transmitting system with on-the-fly encoding and on-the-fly delivering and associated video receiving system
CN108449567A (zh) * 2018-03-23 2018-08-24 广州市奥威亚电子科技有限公司 一种用于传输数字视频的方法及装置
CN111669645A (zh) * 2020-06-12 2020-09-15 腾讯科技（深圳）有限公司 视频的播放方法、装置、电子设备及存储介质
CN111726634A (zh) * 2020-07-01 2020-09-29 成都傅立叶电子科技有限公司 基于fpga的高分辨率视频图像压缩传输方法及系统
EP3806477A1 (en) * 2018-05-31 2021-04-14 Tencent Technology (Shenzhen) Company Limited Video transcoding system and method, apparatus, and storage medium

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5619501A (en) * 1994-04-22 1997-04-08 Thomson Consumer Electronics, Inc. Conditional access filter as for a packet video signal inverse transport system
US7339993B1 (en) * 1999-10-01 2008-03-04 Vidiator Enterprises Inc. Methods for transforming streaming video data
US8515250B2 (en) * 2008-07-17 2013-08-20 Panasonic Corporation Video recording device, video reproduction device, and method thereof

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104349205A (zh) * 2014-11-17 2015-02-11 广东威创视讯科技股份有限公司 音视频处理方法及系统
US20170223349A1 (en) * 2016-02-03 2017-08-03 Mediatek Inc. Video transmitting system with on-the-fly encoding and on-the-fly delivering and associated video receiving system
CN108449567A (zh) * 2018-03-23 2018-08-24 广州市奥威亚电子科技有限公司 一种用于传输数字视频的方法及装置
EP3806477A1 (en) * 2018-05-31 2021-04-14 Tencent Technology (Shenzhen) Company Limited Video transcoding system and method, apparatus, and storage medium
CN111669645A (zh) * 2020-06-12 2020-09-15 腾讯科技（深圳）有限公司 视频的播放方法、装置、电子设备及存储介质
CN111726634A (zh) * 2020-07-01 2020-09-29 成都傅立叶电子科技有限公司 基于fpga的高分辨率视频图像压缩传输方法及系统

Also Published As

Publication number Publication date
US20220385971A1 (en) 2022-12-01
CN113518259B (zh) 2023-06-09
US11722728B2 (en) 2023-08-08

Similar Documents

Publication Publication Date Title
KR100930270B1 (ko) 디지털 데이터 인터페이스 디바이스 메시지 포맷을 가지는 메시지 데이터가 저장된 컴퓨터-판독가능한 매체 및 그 디지털 데이터 인터페이스 디바이스
CN100473058C (zh) 用于高数据速率信号传送的通信协议和接口的产生和实现
US8692838B2 (en) Methods and systems for updating a buffer
US8539119B2 (en) Methods and apparatus for exchanging messages having a digital data interface device message format
US20180027174A1 (en) Signaling camera configuration changes using metadata defined for a camera command set
CN101197652A (zh) 用于高数据速率信号传送的通信协议和接口的产生和实现
KR20160065206A (ko) 카메라 제어 인터페이스 슬레이브 디바이스 대 슬레이브 디바이스 통신
KR100405250B1 (ko) 데이터 전송 제어 장치 및 전자 기기
CN113099133A (zh) 串行解串器链路传输高带宽相机数据的方法
JP2003069603A (ja) パケット通信制御装置
CN113518259B (zh) 一种数据处理方法及装置
CN100574386C (zh) 能执行附加操作的数字音频/视频装置和方法
CA2808595C (en) A packet structure for a mobile display digital interface
CN108024033B (zh) 一种基于arinc818协议的视频图像发送电路
EP2147532B1 (en) A packet structure for a mobile display digital interface
CN112711436B (zh) 消息处理方法及装置
CN214480992U (zh) 一种可适应多种视频格式的编码核心板
US8175171B2 (en) Transmitter, receiver, transmitting method, receiving method, variable-length serial burst data transfer system, semiconductor device and hybrid semiconductor device
CN208110580U (zh) 多设备非同步显示系统
KR20160031199A (ko) 링크 명령으로서 동기화 신호를 사용하는 향상된 통신 링크
JPS62159540A (ja) フレ−ム伝送装置
JP5231533B2 (ja) モバイル・ディスプレイ・ディジタル・インターフェース用パケット構造
CN112596244A (zh) 一种分体式ar智能眼镜及其数据传输方法
CN109889886A (zh) 利用无线传输的双向操作方法
JPH0321153A (ja) 信号装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant