CN114554269A - 数据处理方法、电子设备及计算机可读存储介质 - Google Patents

数据处理方法、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN114554269A
CN114554269A CN202210175472.5A CN202210175472A CN114554269A CN 114554269 A CN114554269 A CN 114554269A CN 202210175472 A CN202210175472 A CN 202210175472A CN 114554269 A CN114554269 A CN 114554269A
Authority
CN
China
Prior art keywords
data frame
processor
time variable
target
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210175472.5A
Other languages
English (en)
Inventor
林锦添
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen TCL New Technology Co Ltd
Original Assignee
Shenzhen TCL New Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen TCL New Technology Co Ltd filed Critical Shenzhen TCL New Technology Co Ltd
Priority to CN202210175472.5A priority Critical patent/CN114554269A/zh
Publication of CN114554269A publication Critical patent/CN114554269A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供了一种数据处理方法、电子设备及计算机可读存储介质，数据处理方法包括：第一处理器根据系统时间和目标音频数据帧的原始时间戳，确定目标音频数据帧的音频时间变量，第二处理器在目标音频数据帧播放时，根据音频时间变量，判断与目标音频数据帧对应的目标视频数据帧是否满足显示条件，若满足，则第二处理器确定对目标视频数据帧进行显示，本发明提供的数据处理方法，通过将音频时间变量作为第二处理器判断是否对目标音频数据帧对应的目标视频数据帧进行显示的参考特征，可以提高目标音频数据帧与目标视频数据帧的同步性，进而有效地避免了播放出来的声音和画面不同步的问题的出现。

Description

数据处理方法、电子设备及计算机可读存储介质
技术领域
本发明涉及通讯技术领域，尤其涉及一种数据处理方法、电子设备及计算机可读存储介质。
背景技术
在多媒体播放领域，多媒体数据流经过解复用流程后，音频数据帧和视频数据帧会分别独立解码，解码后的音频数据帧和视频数据帧需要通过终端里的同步模块进行同步处理，以使播放出来的声音和画面同步。
由于超高清画质终端自带的处理器没有解码超高清分辨率视频数据帧的能力，所以，通常会在超高清画质终端内设置用以解码高清分辨率视频数据帧的另一处理器。但是，由于视频数据帧在独立于终端处理器的另一处理器中进行了解码，解码后的视频数据帧并不会与终端解码的音频数据帧在终端内进行同步处理，从而会导致最终播放出来的声音和画面不同步。
发明内容
本发明提供了一种数据处理方法、电子设备及计算机可读存储介质，有效地解决了由于超高清视频数据帧需要在独立于终端处理器的另一处理器中进行解码，解码后的视频数据帧与终端解码的音频数据帧未做同步处理，从而导致播放出来的声音和画面不同步的问题。
为了解决上述问题，本发明提供了一种数据处理方法，包括：
第一处理器根据系统时间和目标音频数据帧的原始时间戳，确定所述目标音频数据帧的音频时间变量；
第二处理器在所述目标音频数据帧播放时，根据所述音频时间变量，判断与所述目标音频数据帧对应的目标视频数据帧是否满足显示条件；
若满足，则所述第二处理器确定对所述目标视频数据帧进行显示。
进一步优选的，所述第二处理器在所述目标音频数据帧播放时，根据所述音频时间变量，判断与所述目标音频数据帧对应的目标视频数据帧是否满足显示条件的步骤，包括：
第二处理器在所述目标音频数据帧播放时，根据所述目标音频数据帧播放时的系统时间和所述目标视频数据帧的原始时间戳确定所述目标视频数据帧的第一视频时间变量；
所述第二处理器根据所述第一视频时间变量和所述音频时间变量，判断所述目标视频数据帧是否满足显示条件。
进一步优选的，所述第二处理器根据所述第一视频时间变量和所述音频时间变量，判断所述目标视频数据帧是否满足显示条件的步骤，包括：
所述第二处理器在所述第一视频时间变量小于所述音频时间变量，且所述第一视频时间变量与所述音频时间变量之间的差值小于预设阈值时，确定所述目标视频数据帧满足显示条件。
进一步优选的，所述第二处理器根据所述第一视频时间变量和所述音频时间变量，判断所述目标视频数据帧是否满足显示条件的步骤，包括：
所述第二处理器在所述第一视频时间变量大于或等于所述音频时间变量时，根据目标时刻对应的系统时间和所述目标视频数据帧的原始时间戳，确定所述目标视频数据帧的第二视频时间变量；
根据所述第二视频时间变量和所述音频时间变量，判断所述目标视频数据帧是否满足显示条件。
进一步优选的，所述方法还包括：
所述第二处理器在所述第一视频时间变量小于所述音频时间变量，且所述第一视频时间变量与所述音频时间变量之间的差值大于或等于预设阈值时，确定所述目标视频数据帧不满足显示条件。
进一步优选的，在第一处理器根据系统时间和目标音频数据帧的原始时间戳，确定所述目标音频数据帧的音频时间变量之前，还包括：
对所获取到的多媒体数据流进行解复用处理，以得到解复用音频数据和解复用视频数据，其中，所述解复用音频数据包括至少一个音频数据帧，所述解复用视频数据包括至少一个视频数据帧，所述目标音频数据帧为所述至少一个音频数据帧中的任意一个，所述目标视频数据帧属于所述至少一个视频数据帧。
进一步优选的，所述方法还包括：
所述第一处理器在得到所述解复用音频数据之后，对所述解复用音频数据进行解码，以得到所述至少一个音频数据帧。
进一步优选的，所述方法还包括：
所述第二处理器在所述第一处理器得到所述解复用视频数据后，对所述解复用视频数据进行解码，以得到所述至少一个视频数据帧。
另一方面，本发明还提供了一种电子设备，所述电子设备包括：第一处理器、第二处理器和存储器，其中；
所述存储器中存储有程序指令；
所述第一处理器和所述第二处理器中至少一个用于执行存储器中存储的程序指令，以使得所述电子设备实现上述任一项所述的方法。
另一方面，本发明还提供了一种计算机可读存储介质，包括指令，当所述指令在电子设备上运行时，使得所述电子设备执行上述任一项所述的方法。
另一方面，本发明还提供了一种数据处理装置，包括：
第一处理器，用于根据系统时间和目标音频数据帧的原始时间戳，确定所述目标音频数据帧的音频时间变量；
第二处理器，用于从所述第一处理器获取所述目标音频数据帧的音频时间变量；当所述目标音频数据帧播放时，根据所述音频时间变量，判断与所述目标音频数据帧对应的目标视频数据帧是否满足显示条件；若满足，则确定对所述目标视频数据帧进行显示。
进一步优选的，其中：
所述第二处理器，用于在所述目标音频数据帧播放时，根据所述目标音频数据播放时的系统时间和所述目标视频数据帧的原始时间戳确定所述目标视频数据帧的第一视频时间变量；根据所述第一视频时间变量和所述音频时间变量，判断所述目标视频数据帧是否满足显示条件。
进一步优选的，其中：
所述第二处理器，用于在当所述第一视频时间变量小于所述音频时间变量，且所述第一视频时间变量与所述音频时间变量之间的差值小于预设阈值时，确定所述目标视频数据帧满足显示条件。
进一步优选的，其中：
所述第二处理器，用于在当所述第一视频时间变量大于或等于所述音频时间变量时，根据目标时刻对应的系统时间和所述目标视频数据帧的原始时间戳确定所述目标视频数据帧的第二视频时间变量；根据所述第二视频时间变量和所述音频时间变量，判断所述目标视频数据帧是否满足显示条件。
进一步优选的，其中：
所述第二处理器，用于在当所述第一视频时间变量小于所述音频时间变量，且所述第一视频时间变量与所述音频时间变量之间的差值大于或等于预设阈值时，丢弃所述目标视频数据帧。
进一步优选的，其中：
第一处理器，还用于在根据系统时间和所述目标音频数据帧的原始时间戳确定所述目标音频数据帧的音频时间变量之前，对所获取到的多媒体数据流进行解复用处理，以得到解复用音频数据和解复用视频数据，其中，所述解复用音频数据包括至少一个音频数据帧，所述解复用视频数据包括至少一个视频数据帧，所述目标音频数据帧为所述至少一个音频数据帧中的任意一个，所述目标视频数据帧属于所述至少一个视频数据帧。
进一步优选的，其中：
所述第一处理器，还用于在得到所述解复用音频数据之后，对所述解复用音频数据进行解码，以得到所述至少一个音频数据帧。
进一步优选的，其中：
所述第二处理器，还用于在所述第一处理器得到所述解复用视频数据后，对所述解复用视频数据进行解码，以得到所述至少一个视频数据帧。
本发明的有益效果为：本发明提供了一种数据处理方法，包括：第一处理器根据系统时间和目标音频数据帧的原始时间戳，确定目标音频数据帧的音频时间变量，第二处理器在目标音频数据帧播放时，根据音频时间变量，判断与目标音频数据帧对应的目标视频数据帧是否满足显示条件，若满足，则第二处理器确定对目标视频数据帧进行显示，本发明提供的数据处理方法，通过将音频时间变量作为第二处理器判断是否对目标音频数据帧对应的目标视频数据帧进行显示的参考特征，可以提高目标音频数据帧与目标视频数据帧的同步性，进而有效地避免了播放出来的声音和画面不同步的问题的出现。
附图说明
为了更清楚地说明本发明的技术方案，下面将对根据本发明而成的各实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明而成的实施例所提供的电子设备的结构示意图。
图2是根据本发明而成的实施例所提供的电子设备的处理器的结构示意图。
图3是根据本发明而成的实施例所提供的数据处理方法的流程示意图。
图4是根据本发明而成的实施例所提供的数据处理方法的进一步流程示意图。
图5是根据本发明而成的实施例所提供的数据处理方法的应用场景示意图。
图6是根据本发明而成的实施例所提供的数据处理方法的另一应用场景示意图。
具体实施方式
下面将结合本发明而成的实施例中的附图，对本发明而成的实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明针对现有技术下的超高清画质移动终端，由于终端自带的处理器没有解码超高清分辨率视频数据帧的能力，所以，超高清视频数据帧需要在独立于终端处理器的另一处理器中进行解码，而由于解码后的视频数据帧与终端解码的音频数据帧未做同步处理，从而导致播放出来的声音和画面会出现不同步的问题，根据本发明而成的实施例用以解决该问题。
本申请实施例首先提供一种电子设备。如图1所示，为本申请实施例提供的一种简化的电子设备的结构示意图。为了便于说明，仅示出了与本发明相关的部分，具体技术细节未揭示的，可以参照后文中本发明实施例方法部分，不应理解为对本申请的限制。
参阅图1，本申请实施例提供的电子设备(例如智能电视，Television，TV)包括处理器10、存储器20、接口电路30、电源管理器40和通信器件50。处理器10可以与存储器20、接口电路30、电源管理器40、通信器件50之间相互耦合，具体可通过至少一种总线或其他接口相连。可以理解的是，接口电路30可以为输入输出接口，可用于将电子设备连接至其他设备，如其他芯片、电路板、外置存储器、外设或传感器等。
电源管理器40为处理器10、存储器20和接口电路30提供工作所需的电源电压，也可进一步提供处理器10、存储器20和接口电路30工作所需时钟。可选地，电源管理器40可以将来自电池的能量或来自墙上电源的能量转化为处理器10、存储器20和接口电路30工作所需电压。可选地，电源管理器40可以利用一个基础时钟，例如晶振时钟，产生处理器10、存储器20和接口电路30工作所需时钟，本实施例对此不限定。可选地，电源管理器40包括电源管理芯片，其中包括电压生成器和时钟产生器等电路。
通信器件50则用于实现该电子设备对外通信功能，包括但不限于有线通信和无线通信。所述无线通信包括但不限于短距离无线通信和蜂窝无线通信，本实施例对具体通信形式不做限定。
处理器10也可以处理芯片、单板、处理模块或处理装置等方式实现。处理器10是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行存储在存储器20中存储的软件程序或软件模块，以及调用存储在存储器20中的数据，执行电子设备的各种功能应用以及处理数据，从而对电子设备进行整体监控。
存储器20可用于存储软件程序以及模块。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、或至少一个功能所需的应用程序等，还可包括其他类型的驱动程序，如通信、图像、视频、语音或人工智能相关的驱动程序；存储数据区可存储根据电子设备的使用所创建的数据等，也可存储其他用户数据、安全数据或系统数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。为便于说明，图1中仅示出了一个存储器。在实际的电子设备产品中，可以存在一个或多个存储器。存储器也可以称为存储介质或者存储设备等。存储器可以是独立于处理器设置，也可以是与处理器集成在一起，本申请实施例对此不做限制。
进一步地，本申请实施例中的电子设备可以是指用户设备(user equipment，UE)、接入终端、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理或用户装置、可以是是支持5G新空口(NR，new radio)的移动设备。典型的，本申请实施例中的电子设备可以是智能电视。除此之外，电子设备也可以是智能手机、平板电脑、便携式笔记本电脑、虚拟\混合\增强现实设备、导航设备、计算设备、车载设备、可穿戴设备、机顶盒或未来的其他通信系统中的终端设备等，本申请实施例对此不作限定，后续以终端设备为例做说明。
本申请实施例中，电子设备的处理器10包括：第二处理器102和第一处理器101。优选的，在本申请实施例中，第一处理器101可以是中央处理器(Central Processing Unit，CPU)，第二处理器102是外挂的具有8k解码能力的协处理器。如图2所示，为本申请实施例提供的处理器10的结构示意图。具体结合图1，第二处理器102、第一处理器101、存储器20和接口电路30之间相互耦合。具体的，存储器20，用于存储第二处理器102或第一处理器101中至少一个执行的指令、第二处理器102或第一处理器101中至少一个运行指令所需要的输入数据，或第二处理器102或第一处理器101中至少一个运行指令后产生的数据，包括但不限于最终数据或中间数据。可选地，存储器20可以是类似于图1那样独立于处理器10设置，也可以是与第二处理器102或第一处理器101中至少一个集成在一起，本申请实施例对此不做限制。第二处理器102和第一处理器101中至少一个通过执行存储器20中存储的程序指令，可以使得电子设备实现如下文中任意一个实施例中的技术方案。
需要说明的是，本申请实施例中，本申请实施例中的第一处理器101是电子设备的计算安全系统运算及控制核心。第一处理器101可以包含如下至少一项：一个或多个中央处理器(central processing unit，CPU)或一个或多个微控制单元(micro control unit，MCU)。除此之外，还可以选择性包括其它通类型用处理器，例如，还进一步可包括数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其它可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其他通用处理器可以是微处理器或微控制器，也可以是任何常规的处理器。
第二处理器102具备解码超高清分辨率视频数据的能力，第二处理器102能够协助第一处理器101，进行超高清分辨率视频数据的解码。例如，第二处理器102可以具备8K数据解码能力。可选地，本申请实施例中的第二处理器102可以是外挂于电子设备的处理器或者处理单元。
需要说明的是，本申请实施例中的数据处理装置可以是指图1所示的电子设备，也可以是指处理器10，除此之外，还可以是包含处理器10的其他形态的处理装置，如一种芯片系统或电路板等，本申请实施例对数据处理装置的具体形态不作限定。
接下来对本申请实施例提供的数据处理方法进行介绍。
请参阅图3，图3示出了根据本发明而成的实施例所提供的数据处理方法的流程示意图。可选地，也可以一并参阅图5以及图6所示的根据本发明而成的实施例所提供的数据处理方法的应用场景示意图对图3进行理解。如图3所示，该数据处理方法具体可以包括以下步骤：
步骤S101：第一处理器根据系统时间和目标音频数据帧的原始时间戳，确定目标音频数据帧的音频时间变量。
系统时间具体是指第一处理器的系统时间源。
当智能电视接收到服务器或其他设备发来的原始多媒体数据流后，其第一处理器根据系统时间和目标音频数据帧的原始时间戳，确定目标音频数据帧的音频时间变量，其中，目标音频数据帧是第一处理器通过对获取到的多媒体数据流进行解复用处理而得到的。
步骤S102：第二处理器在目标音频数据帧播放时，根据音频时间变量，判断与目标音频数据帧对应的目标视频数据帧是否满足显示条件。
当第一处理器确定目标音频数据帧的音频时间变量之后，第二处理器会在目标音频数据帧播放时，根据第一处理器确定的音频时间变量，判断与目标音频数据帧对应的目标视频数据帧是否满足显示条件。
步骤S103：若满足，则第二处理器确定对目标视频数据帧进行显示。
容易理解的是，基于图3中实施例，目标音频数据帧对应的目标视频数据帧具有第一视频时间变量，第二处理器可以是通过比较音频时间变量以及第一视频时间变量来判断目标视频数据帧是否满足显示条件，例如，请参阅图4，图4是根据本发明而成的实施例所提供的数据处理方法的进一步流程示意图，如图4所示，上述步骤S102具体可以包括：
步骤S1021：第二处理器在目标音频数据帧播放时，根据目标音频数据帧播放时的系统时间和目标视频数据帧的原始时间戳确定目标视频数据帧的第一视频时间变量；
步骤S1022：第二处理器根据第一视频时间变量和音频时间变量，判断目标视频数据帧是否满足显示条件。
需要说明的是，目标音频数据帧的音频时间变量，可以通过对第一处理器的系统时间和目标音频数据帧的原始时间戳套用第一预设公式计算得到，且目标视频数据帧的第一视频时间变量，可以通过对第二处理器的系统时间和目标视频数据帧的原始时间戳套用第二预设公式计算得到。进一步地，由于第一处理器以及第二处理器设置于同一移动终端内，第一处理器以及第二处理器会与同一时钟源电连接，所以，第一处理器的系统时间与第二处理器的系统时间相等。
进一步地，在第二处理器根据第一视频时间变量和音频时间变量判断目标视频数据帧是否满足显示条件时，会出现“第一视频时间变量小于音频时间变量”以及“第一视频时间变量大于等于音频时间变量”这两种情况，在不同情况下，第二处理器会有不同的判断方式，例如，上述判断子步骤S1022具体可以包括：
第二处理器在第一视频时间变量小于音频时间变量，且第一视频时间变量与音频时间变量之间的差值小于预设阈值时，确定目标视频数据帧满足显示条件；
第二处理器在第一视频时间变量小于音频时间变量，且第一视频时间变量与音频时间变量之间的差值大于或等于预设阈值时，确定目标视频数据帧不满足显示条件。
需要说明的是，在第一视频时间变量小于音频时间变量的情况下，第二处理器是根据第一视频时间变量与音频时间变量之间的差值是否小于预设阈值来判断目标视频数据帧是否满足显示条件，若第一视频时间变量与音频时间变量之间的差值大于等于预设阈值时，此时目标视频数据帧和目标音频数据帧在时间维度上相差较大，若将该目标视频数据帧送至显示屏进行显示，用户会感受到明显的画音不同步，所以，第二处理器会对该目标视频数据帧进行舍弃。
进一步地，上述判断子步骤S1022还可以包括：
第二处理器在第一视频时间变量大于或等于音频时间变量时，根据目标时刻对应的系统时间和目标视频数据帧的原始时间戳，确定目标视频数据帧的第二视频时间变量，之后，根据第二视频时间变量和音频时间变量，判断目标视频数据帧是否满足显示条件。
需要说明的是，上述目标时刻为对当前系统时间进行延迟后的系统时间，若延迟之后，第二视频时间变量小于音频时间变量、且第二视频时间变量与音频时间变量之间的差值小于上述预设阈值，则确定目标视频数据帧满足显示条件。具体地，上述延迟的时间示例性的取值可以是10秒。
容易理解的是，第一处理器是通过对获取到的多媒体数据流进行解复用处理，从而得到包括多个目标音频数据帧的解复用音频数据以及包括多个目标视频数据帧的解复用视频数据，进一步地，在上述音频时间变量确定步骤S101之前，还包括：
对所获取到的多媒体数据流进行解复用处理，以得到解复用音频数据和解复用视频数据，其中，解复用音频数据包括至少一个音频数据帧，解复用视频数据包括至少一个视频数据帧，目标音频数据帧为至少一个音频数据帧中的任意一个，目标视频数据帧属于至少一个视频数据帧。
容易理解的是，需要通过对解复用音频数据和解复用视频数据进行解码，才能得到多个目标音频数据帧以及多个目标视频数据帧，例如，该数据处理方法还包括：
第一处理器在得到解复用音频数据之后，对解复用音频数据进行解码，以得到至少一个音频数据帧；
第二处理器在第一处理器得到解复用视频数据后，对解复用视频数据进行解码，以得到至少一个视频数据帧。
具体的，上述视频数据帧为超高清分辨率视频数据帧，每一视频数据帧的分辨率为8K。
容易理解的是，由于上述视频数据帧是超高清视频数据帧，第一处理器并不具备解码该视频数据帧的能力，所以，第一处理器会透过私有协议，把解复用得到的视频数据帧对应的视频物理地址发送给具备解码超高清视频数据帧的第二处理器，以使第二处理器可以通过该视频物理地址从第一处理器中读取出该视频数据帧，并进行解码。
需要说明的是，为了保证第二处理器解码视频数据帧的效率，以及其运行的性能，在第二处理器对视频数据帧进行解码时，第二处理器并不会拷贝上述视频数据帧。
容易理解的是，在上述步骤S103中，满足显示条件的目标视频数据帧会被发送至显示屏以进行显示，同时，对应的目标音频数据帧会被发送至音频驱动以进行放音，如图5所示。
需要说明的是，由于第一处理器中的多个目标音频数据帧是数字信号，它们在时间的维度上是离散的信号，为了使其发送至音频驱动进行放音时用户可以听懂，通常会将多个目标音频数据帧转换为模拟信号后再发送至音频驱动放音。
区别于现有技术，本发明提供了一种数据处理方法，包括：第一处理器根据系统时间和目标音频数据帧的原始时间戳，确定目标音频数据帧的音频时间变量，第二处理器在目标音频数据帧播放时，根据音频时间变量，判断与目标音频数据帧对应的目标视频数据帧是否满足显示条件，若满足，则第二处理器确定对目标视频数据帧进行显示，本发明提供的数据处理方法，通过将音频时间变量作为第二处理器判断是否对目标音频数据帧对应的目标视频数据帧进行显示的参考特征，可以提高目标音频数据帧与目标视频数据帧的同步性，进而有效地避免了播放出来的声音和画面不同步的问题的出现。
进一步地，请继续参阅图2，包括第一处理器101以及第二处理器102的处理器10被设置于电子设备的数据处理装置中，其中：
第一处理器101用于根据系统时间和目标音频数据帧的原始时间戳，确定目标音频数据帧的音频时间变量；
第二处理器102用于从第一处理器101获取目标音频数据帧的音频时间变量；当目标音频数据帧播放时，根据音频时间变量，判断与目标音频数据帧对应的目标视频数据帧是否满足显示条件；若满足，则确定对目标视频数据帧进行显示。
进一步地，目标音频数据帧对应的目标视频数据帧具有第一视频时间变量，第二处理器102可以是通过比较音频时间变量以及第一视频时间变量来判断目标视频数据帧是否满足显示条件，例如，第二处理器102还可以用于：
在目标音频数据帧播放时，根据目标音频数据播放时的系统时间和目标视频数据帧的原始时间戳确定目标视频数据帧的第一视频时间变量；
根据第一视频时间变量和音频时间变量，判断目标视频数据帧是否满足显示条件。
需要说明的是，目标音频数据帧的音频时间变量，可以通过对第一处理器101的系统时间和目标音频数据帧的原始时间戳套用第一预设公式计算得到，且目标视频数据帧的第一视频时间变量，可以通过对第二处理器102的系统时间和目标视频数据帧的原始时间戳套用第二预设公式计算得到。进一步地，由于第一处理器101以及第二处理器102设置于同一移动终端内，第一处理器101以及第二处理器102会与同一时钟源电连接，所以，第一处理器101的系统时间与第二处理器102的系统时间相等。
进一步地，在第二处理器102根据第一视频时间变量和音频时间变量判断目标视频数据帧是否满足显示条件时，会出现“第一视频时间变量小于音频时间变量”以及“第一视频时间变量大于等于音频时间变量”这两种情况，在不同情况下，第二处理器102会有不同的判断方式，例如，第二处理器102还可以用于：
在第一视频时间变量小于音频时间变量，且第一视频时间变量与音频时间变量之间的差值小于预设阈值时，确定目标视频数据帧满足显示条件；
在第一视频时间变量小于音频时间变量，且第一视频时间变量与音频时间变量之间的差值大于或等于预设阈值时，确定目标视频数据帧不满足显示条件。
需要说明的是，在第一视频时间变量小于音频时间变量的情况下，第二处理器102是根据第一视频时间变量与音频时间变量之间的差值是否小于预设阈值来判断目标视频数据帧是否满足显示条件，若第一视频时间变量与音频时间变量之间的差值大于等于预设阈值时，此时目标视频数据帧和目标音频数据帧在时间维度上相差较大，若将该目标视频数据帧送至显示屏进行显示，用户会感受到明显的画音不同步，所以，第二处理器102会对该目标视频数据帧进行舍弃。
进一步地，第二处理器102还可以用于：
在第一视频时间变量大于或等于音频时间变量时，根据目标时刻对应的系统时间和目标视频数据帧的原始时间戳，确定目标视频数据帧的第二视频时间变量，之后，根据第二视频时间变量和音频时间变量，判断目标视频数据帧是否满足显示条件。
需要说明的是，上述目标时刻为对当前系统时间进行延迟后的系统时间，若延迟之后，第二视频时间变量小于音频时间变量、且第二视频时间变量与音频时间变量之间的差值小于上述预设阈值，则确定目标视频数据帧满足显示条件。具体地，上述延迟的时间示例性的取值可以是10秒。
容易理解的是，第一处理器是通过对获取到的多媒体数据流进行解复用处理，从而得到包括多个目标音频数据帧的解复用音频数据以及包括多个目标视频数据帧的解复用视频数据，进一步地，第一处理器101还用于：
在根据系统时间和目标音频数据帧的原始时间戳确定目标音频数据帧的音频时间变量之前，对所获取到的多媒体数据流进行解复用处理，以得到解复用音频数据和解复用视频数据，其中，解复用音频数据包括至少一个音频数据帧，解复用视频数据包括至少一个视频数据帧，目标音频数据帧为至少一个音频数据帧中的任意一个，目标视频数据帧属于至少一个视频数据帧。
容易理解的是，需要通过对解复用音频数据和解复用视频数据进行解码，才能得到多个目标音频数据帧以及多个目标视频数据帧。
因此，第一处理器101还用于在得到解复用音频数据之后，对解复用音频数据进行解码，以得到至少一个音频数据帧；第二处理器102还用于在第一处理器得到解复用视频数据后，对解复用视频数据进行解码，以得到至少一个视频数据帧。
具体的，上述视频数据帧为超高清分辨率视频数据帧，每一视频数据帧的分辨率为8K。
容易理解的是，由于上述视频数据帧是超高清视频数据帧，第一处理器101并不具备解码该视频数据帧的能力，所以，第一处理器101会透过私有协议，把解复用得到的视频数据帧对应的视频物理地址发送给具备解码超高清视频数据帧的第二处理器102，以使第二处理器102可以通过该视频物理地址从第一处理器101中读取出该视频数据帧，并进行解码。
需要说明的是，为了保证第二处理器102解码视频数据帧的效率，以及其运行的性能，在第二处理器102对视频数据帧进行解码时，第二处理器102并不会拷贝上述视频数据帧。
区别于现有技术，本发明提供了一种数据处理装置，包括第一处理器101以及第二处理器102，其中：第一处理器101用于根据系统时间和目标音频数据帧的原始时间戳，确定目标音频数据帧的音频时间变量；第二处理器102用于从第一处理器101获取目标音频数据帧的音频时间变量；当目标音频数据帧播放时，根据音频时间变量，判断与目标音频数据帧对应的目标视频数据帧是否满足显示条件；若满足，则确定对目标视频数据帧进行显示，本发明提供的数据处理装置，通过将音频时间变量作为第二处理器102判断是否对目标音频数据帧对应的目标视频数据帧进行显示的参考特征，可以提高目标音频数据帧与目标视频数据帧的同步性，进而有效地避免了播放出来的声音和画面不同步的问题的出现。
除上述实施例外，本发明还可以有其他实施方式。凡采用等同替换或等效替换形成的技术方案，均落在本发明要求的保护范围。
综上所述，虽然本发明已将优选实施例揭露如上，但上述优选实施例并非用以限制本发明，本领域的普通技术人员，在不脱离本发明的精神和范围内，均可作各种更动与润饰，因此本发明的保护范围以权利要求界定的范围为准。

Claims (10)

1.一种数据处理方法，其特征在于，包括：
第一处理器根据系统时间和目标音频数据帧的原始时间戳，确定所述目标音频数据帧的音频时间变量；
第二处理器在所述目标音频数据帧播放时，根据所述音频时间变量，判断与所述目标音频数据帧对应的目标视频数据帧是否满足显示条件；
若满足，则所述第二处理器确定对所述目标视频数据帧进行显示。
2.根据权利要求1所述的方法，其特征在于，所述第二处理器在所述目标音频数据帧播放时，根据所述音频时间变量，判断与所述目标音频数据帧对应的目标视频数据帧是否满足显示条件的步骤，包括：
所述第二处理器在所述目标音频数据帧播放时，根据所述目标音频数据帧播放时的系统时间和所述目标视频数据帧的原始时间戳确定所述目标视频数据帧的第一视频时间变量；
所述第二处理器根据所述第一视频时间变量和所述音频时间变量，判断所述目标视频数据帧是否满足显示条件。
3.根据权利要求2所述的方法，其特征在于，所述第二处理器根据所述第一视频时间变量和所述音频时间变量，判断所述目标视频数据帧是否满足显示条件的步骤，包括：
所述第二处理器在所述第一视频时间变量小于所述音频时间变量，且所述第一视频时间变量与所述音频时间变量之间的差值小于预设阈值时，确定所述目标视频数据帧满足显示条件。
4.根据权利要求2所述的方法，其特征在于，所述第二处理器根据所述第一视频时间变量和所述音频时间变量，判断所述目标视频数据帧是否满足显示条件的步骤，包括：
所述第二处理器在所述第一视频时间变量大于或等于所述音频时间变量时，根据目标时刻对应的系统时间和所述目标视频数据帧的原始时间戳，确定所述目标视频数据帧的第二视频时间变量；
根据所述第二视频时间变量和所述音频时间变量，判断所述目标视频数据帧是否满足显示条件。
5.根据权利要求2所述的方法，其特征在于，所述方法还包括：
所述第二处理器在所述第一视频时间变量小于所述音频时间变量，且所述第一视频时间变量与所述音频时间变量之间的差值大于或等于预设阈值时，确定所述目标视频数据帧不满足显示条件。
6.根据权利要求1-5任一所述的方法，其特征在于，在第一处理器根据系统时间和目标音频数据帧的原始时间戳，确定所述目标音频数据帧的音频时间变量之前，还包括：
对所获取到的多媒体数据流进行解复用处理，以得到解复用音频数据和解复用视频数据，其中，所述解复用音频数据包括至少一个音频数据帧，所述解复用视频数据包括至少一个视频数据帧，所述目标音频数据帧为所述至少一个音频数据帧中的任意一个，所述目标视频数据帧属于所述至少一个视频数据帧。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
所述第一处理器在得到所述解复用音频数据之后，对所述解复用音频数据进行解码，以得到所述至少一个音频数据帧。
8.根据权利要求6所述的方法，其特征在于，所述方法还包括：
所述第二处理器在所述第一处理器得到所述解复用视频数据后，对所述解复用视频数据进行解码，以得到所述至少一个视频数据帧。
9.一种电子设备，其特征在于，所述电子设备包括：第一处理器、第二处理器和存储器，其中；
所述存储器中存储有程序指令；
所述第一处理器和所述第二处理器中至少一个用于执行存储器中存储的程序指令，以使得所述电子设备实现如权利要求1-8任一项所述的方法。
10.一种计算机可读存储介质，包括指令，其特征在于，当所述指令在电子设备上运行时，使得所述电子设备执行如权利要求1-8中任一项所述的方法。
CN202210175472.5A 2022-02-25 2022-02-25 数据处理方法、电子设备及计算机可读存储介质 Pending CN114554269A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210175472.5A CN114554269A (zh) 2022-02-25 2022-02-25 数据处理方法、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210175472.5A CN114554269A (zh) 2022-02-25 2022-02-25 数据处理方法、电子设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN114554269A true CN114554269A (zh) 2022-05-27

Family

ID=81679882

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210175472.5A Pending CN114554269A (zh) 2022-02-25 2022-02-25 数据处理方法、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN114554269A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115474082A (zh) * 2022-10-13 2022-12-13 闪耀现实(无锡)科技有限公司 播放媒体数据的方法和装置、系统、车辆、设备和介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030110463A1 (en) * 2001-12-10 2003-06-12 International Business Machines Corporation Field programmable network processor and method for customizing a network processor
CN1637430A (zh) * 2003-12-22 2005-07-13 李剑 北斗导航定位系统的终端用户机
CN101383954A (zh) * 2007-09-06 2009-03-11 北京中电华大电子设计有限责任公司 一种支持多种音视频标准的媒体处理芯片的实现方法
CN101512656A (zh) * 2005-06-30 2009-08-19 微软公司 具有提前渲染队列的gpu时间线
US20140049689A1 (en) * 2011-12-05 2014-02-20 Guangzhou Ucweb Computer Technology Co., Ltd Method and apparatus for streaming media data processing, and streaming media playback equipment
CN106792124A (zh) * 2016-12-30 2017-05-31 合网络技术（北京）有限公司 多媒体资源解码播放方法及装置
CN109600564A (zh) * 2018-08-01 2019-04-09 北京微播视界科技有限公司 用于确定时间戳的方法和装置
US20210064745A1 (en) * 2019-08-29 2021-03-04 Flexxon Pte Ltd Methods and systems using an ai co-processor to detect anomolies caused by malware in storage devices
CN113490029A (zh) * 2021-06-21 2021-10-08 深圳Tcl新技术有限公司 视频播放方法、装置、设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030110463A1 (en) * 2001-12-10 2003-06-12 International Business Machines Corporation Field programmable network processor and method for customizing a network processor
CN1637430A (zh) * 2003-12-22 2005-07-13 李剑 北斗导航定位系统的终端用户机
CN101512656A (zh) * 2005-06-30 2009-08-19 微软公司 具有提前渲染队列的gpu时间线
CN101383954A (zh) * 2007-09-06 2009-03-11 北京中电华大电子设计有限责任公司 一种支持多种音视频标准的媒体处理芯片的实现方法
US20140049689A1 (en) * 2011-12-05 2014-02-20 Guangzhou Ucweb Computer Technology Co., Ltd Method and apparatus for streaming media data processing, and streaming media playback equipment
CN106792124A (zh) * 2016-12-30 2017-05-31 合网络技术（北京）有限公司 多媒体资源解码播放方法及装置
CN109600564A (zh) * 2018-08-01 2019-04-09 北京微播视界科技有限公司 用于确定时间戳的方法和装置
US20210064745A1 (en) * 2019-08-29 2021-03-04 Flexxon Pte Ltd Methods and systems using an ai co-processor to detect anomolies caused by malware in storage devices
CN113490029A (zh) * 2021-06-21 2021-10-08 深圳Tcl新技术有限公司 视频播放方法、装置、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115474082A (zh) * 2022-10-13 2022-12-13 闪耀现实(无锡)科技有限公司 播放媒体数据的方法和装置、系统、车辆、设备和介质

Similar Documents

Publication Publication Date Title
WO2022037251A1 (zh) 视频数据处理方法及装置
CN109151966B (zh) 终端控制方法、装置、终端设备及存储介质
CN107211186B (zh) 用于提供多视图流媒体服务的方法和设备
CN112235604B (zh) 渲染方法及装置、计算机可读存储介质、电子设备
CN104869305B (zh) 处理图像数据的方法及其装置
CN109275011B (zh) 智能电视运动模式切换的处理方法及装置、用户设备
US20240036792A1 (en) Picture displaying method and apparatus, and electronic device
US9558718B2 (en) Streaming video data in the graphics domain
US20240275997A1 (en) Method, apparatus, storage media and program product for video decoding
CN107295352B (zh) 一种视频压缩方法、装置、设备及存储介质
WO2017202175A1 (zh) 一种视频压缩方法、装置及电子设备
WO2014063517A1 (zh) 一种终端及其同步控制方法
CN114554269A (zh) 数据处理方法、电子设备及计算机可读存储介质
CN109688462B (zh) 降低设备功耗的方法、装置、电子设备及存储介质
CN101441510A (zh) 一种实现多处理器处理信息的方法和终端
CN118042040A (zh) 云手机的多终端扩展显示方法、装置及系统
CN113923498A (zh) 一种处理方法及装置
CN111741343B (zh) 视频处理方法及装置、电子设备
JP2023504092A (ja) ビデオ再生ページ表示方法、装置、電子機器及び媒体
CN112954452A (zh) 视频生成方法、装置、终端及存储介质
CN108134957A (zh) 一种投屏方法、终端和计算机存储介质
JP2019515516A (ja) 画像描画方法、関係するデバイス及びシステム
CN113190196B (zh) 多设备联动实现方法、装置、介质及电子设备
CN114040252B (zh) 显示帧率控制方法及装置、计算机可读介质和电子设备
JP7500776B2 (ja) ビデオ特殊効果の配置方法、ビデオ特殊効果の配置装置、デバイス及び記憶媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220527

RJ01 Rejection of invention patent application after publication