CN115811628A - 声音与画面的同步处理方法及相关装置 - Google Patents
声音与画面的同步处理方法及相关装置 Download PDFInfo
- Publication number
- CN115811628A CN115811628A CN202211368983.5A CN202211368983A CN115811628A CN 115811628 A CN115811628 A CN 115811628A CN 202211368983 A CN202211368983 A CN 202211368983A CN 115811628 A CN115811628 A CN 115811628A
- Authority
- CN
- China
- Prior art keywords
- sound
- time
- intelligent
- picture
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001360 synchronised effect Effects 0.000 title claims abstract description 91
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 238000000034 method Methods 0.000 claims abstract description 29
- 238000004891 communication Methods 0.000 claims description 23
- 230000003111 delayed effect Effects 0.000 claims description 22
- 238000005516 engineering process Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本申请适用于数据处理技术领域，提供声音与画面的同步处理方法及相关装置，解决现有技术中智能影音设备在最终输出画面和声音时不同步的问题。本申请的方法应用于智能终端时主要包括：向智能影音设备发送同步启动指令，以使得智能影音设备根据同步开始指令播放：一定时长内相邻播放至少两幅色彩差距较大的画面的视频、以及在两幅所述画面切换时发出的校准音；通过摄像头录制智能影音设备的视频的录像；通过麦克风录制智能影音设备的校准音的录音；计算录像中两幅色彩差距较大的画面切换时的第一时间与录音中录制到校准音的第二时间的时间差值，将时间差值发送智能影音设备，以使得智能影音设备根据时间差值调整自身对画面与声音的输出配合参数。
Description
技术领域
本申请属于数据处理技术领域，尤其涉及一种声音与画面的同步处理方法及相关装置。
背景技术
智能电视播放的媒体资源包括在时间序列上同轨的声音与画面资源，智能电视为实现对媒体资源中的声音和画面输出，需要先获取媒体资源，再将媒体资源经过相关协议解析、音视频解码、同步渲染等工作，最后才通过智能电视的屏幕输出画面和通过智能电视的喇叭或外接音响输出声音。在上述过程中，从音视频解码开始，视频和音频就分开不同路径进行处理，视频和音频分开处理后的每个环节都可能会导致视频和音频产生一定的时间差，最终在通过智能电视的屏幕输出画面和通过智能电视的喇叭或外接音响输出声音时可能会让用户觉得画面和声音不同步，影响观看体验。
现有技术中，未发现存在相关解决方案。
发明内容
本申请的目的在于提供一种声音与画面的同步处理方法及相关装置，旨在解决现有技术中智能影音设备在最终输出画面和声音时不同步的问题。
第一方面，本申请提供一种画面与声音的同步处理方法，应用于具有摄像头和麦克风的智能终端，包括：
与智能影音设备建立同步通信连接；
向所述智能影音设备发送同步启动指令，以使得所述智能影音设备根据所述同步开始指令播放预设的校准媒体资源，所述校准媒体资源包括：一定时长内相邻播放至少两幅色彩差距较大的画面的视频、以及在两幅所述画面切换时发出的校准音；
通过所述摄像头录制所述智能影音设备的所述视频的录像；
通过所述麦克风录制所述智能影音设备的所述校准音的录音；
确定所述录像中两幅色彩差距较大的所述画面切换时的第一时间；
确定所述录音中录制到所述校准音的第二时间；
计算所述第一时间与所述第二时间的时间差值，
将所述时间差值发送所述智能影音设备，以使得所述智能影音设备根据所述时间差值调整自身对所述画面与声音的输出配合参数。
可选的，所述通过所述麦克风录制所述智能影音设备的所述校准音的录音包括：
所述麦克风录制所述智能影音设备的喇叭播放的所述校准音的录音；或，
所述麦克风录制所述智能影音设备连接的音箱播放的所述校准音的录音。
可选的，在计算所述第一时间与所述第二时间的时间差值之后，将所述时间差值发送所述智能影音设备之前，所述方法还包括：
判断所述时间差值是否达到或大于预设标准时长值；
若所述时间差值达到或大于所述预设标准时长值，则触发执行将所述时间差值发送所述智能影音设备的步骤；
若所述时间差值小于所述预设标准时长值，则向所述智能影音设备发送同步处理完成指令。
第二方面，本申请提供另一种画面与声音的同步处理方法，应用于智能影音设备，包括：
与智能终端建立同步通信连接；
接收所述智能终端发送的同步启动指令；
根据所述同步启动指令播放预设的校准媒体资源，所述校准媒体资源包括：一定时长内相邻播放至少两幅色彩差距较大的画面的视频、以及在两幅所述画面切换时发出的校准音；
接收所述智能终端发送的时间差值，所述时间差值为所述智能终端通过摄像头录制所述视频中两幅色彩差距较大的所述画面切换时的第一时间与通过麦克风录制所述校准音的第二时间之间的差值；
根据所述时间差值调整画面与声音的输出配合参数。
可选的，所述根据所述时间差值调整画面与声音的输出配合参数包括：
当所述时间差值反映出所述画面比所述声音提前时，延后所述时间差值的时长播放所述画面；或，提前所述时间差值的时长播放所述声音；
当所述时间差值反映出所述画面比所述声音延迟时，提前所述时间差值的时长播放所述画面；或，延后所述时间差值的时长播放所述声音。
可选的，在接收所述智能终端发送的同步启动指令之后，所述方法还包括：
接收所述智能终端发送的同步处理完成指令；
根据所述同步处理完成指令，保存当前所述画面和所述声音的输出配合参数。
第三方面，本申请提供一种画面与声音的同步处理系统，应用于具有摄像头和麦克风的智能终端，包括：
连接单元，用于与智能影音设备建立同步通信连接；
发送单元，用于向所述智能影音设备发送同步启动指令，以使得所述智能影音设备根据所述同步开始指令播放预设的校准媒体资源，所述校准媒体资源包括：一定时长内相邻播放至少两幅色彩差距较大的画面的视频、以及在两幅所述画面切换时发出的校准音；
录制单元，用于通过所述摄像头录制所述智能影音设备的所述视频的录像；
所述录制单元，还用于通过所述麦克风录制所述智能影音设备的所述校准音的录音；
确定单元，用于确定所述录像中两幅色彩差距较大的所述画面切换时的第一时间；
所述确定单元，还用于确定所述录音中录制到所述校准音的第二时间；
计算单元，用于计算所述第一时间与所述第二时间的时间差值，
所述发送单元，还用于将所述时间差值发送所述智能影音设备，以使得所述智能影音设备根据所述时间差值调整自身对所述画面与声音的输出配合参数。
可选的，所述录制单元通过所述麦克风录制所述智能影音设备的所述校准音的录音时，具体用于：
所述麦克风录制所述智能影音设备的喇叭播放的所述校准音的录音；或，
所述麦克风录制所述智能影音设备连接的音箱播放的所述校准音的录音。
可选的，所述系统还包括：
判断单元，用于判断所述时间差值是否达到或大于预设标准时长值；
触发单元，用于若所述时间差值达到或大于所述预设标准时长值，则触发执行将所述时间差值发送所述智能影音设备的步骤；
所述发送单元，还用于若所述时间差值小于所述预设标准时长值，则向所述智能影音设备发送同步处理完成指令。
第四方面，本申请提供一种画面与声音的同步处理系统，应用于智能影音设备，包括：
连接单元，用于与智能终端建立同步通信连接；
接收单元，用于接收所述智能终端发送的同步启动指令；
播放单元，用于根据所述同步启动指令播放预设的校准媒体资源，所述校准媒体资源包括：一定时长内相邻播放至少两幅色彩差距较大的画面的视频、以及在两幅所述画面切换时发出的校准音；
所述接收单元，还用于接收所述智能终端发送的时间差值，所述时间差值为所述智能终端通过摄像头录制所述视频中两幅色彩差距较大的所述画面切换时的第一时间与通过麦克风录制所述校准音的第二时间之间的差值；
调整单元，用于根据所述时间差值调整画面与声音的输出配合参数。
可选的，所述调整单元根据所述时间差值调整画面与声音的输出配合参数时，具体用于：
当所述时间差值反映出所述画面比所述声音提前时，延后所述时间差值的时长播放所述画面；或，提前所述时间差值的时长播放所述声音；
当所述时间差值反映出所述画面比所述声音延迟时，提前所述时间差值的时长播放所述画面；或，延后所述时间差值的时长播放所述声音。
可选的，所述系统还包括：
所述接收单元，还用于接收所述智能终端发送的同步处理完成指令；
保存单元，用于根据所述同步处理完成指令，保存当前所述画面和所述声音的输出配合参数。
第五方面，本申请提供一种计算机设备，包括：
处理器、存储器、总线、输入输出接口、网络接口；
所述处理器通过所述总线与所述存储器、所述输入输出接口、所述网络接口；
所述存储器中存储有程序；
所述处理器执行所述存储器中存储的所述程序时，实现如前述第一方面或第二方面中任意一项所述画面与声音的同步处理方法。
第六方面，本申请提供一种计算机存储介质，所述计算机存储介质中存储有指令，所述指令在计算机上执行时，使得所述计算机执行如前述第一方面或第二方面中任意一项所述画面与声音的同步处理方法。
第七方面，本申请提供一种计算机程序产品，所述计算机程序产品在计算机上执行时，使得所述计算机执行如前述第一方面或第二方面中任一项所述画面与声音的同步处理方法。
以上技术方案可以看出，本申请实施例具有以下优点：
本申请画面与声音的同步处理方法适用于通过智能终端与智能影音设备的配合实现对智能影音设备在最终输出画面和声音时同步。首先智能终端与智能影音设备建立同步通信连接，智能终端向智能影音设备发送同步启动指令，以使得智能影音设备根据同步开始指令播放预设的校准媒体资源，其中该校准媒体资源包括：一定时长内相邻播放至少两幅色彩差距较大的画面的视频、以及在两幅所述画面切换时发出的校准音；智能终端再通过摄像头录制智能影音设备播放该视频的录像以及通过麦克风录制智能影音设备播放该校准音的录音；然后智能终端计算上述录像中两幅色彩差距较大的画面切换时的第一时间与上述录音中录制到校准音的第二时间的时间差值，智能终端再将时间差值发送智能影音设备，以使得智能影音设备根据该时间差值调整自身对画面与声音的输出配合参数，实现智能影音设备的画面与声音同步。
附图说明
图1为本申请应用于智能终端的画面与声音同步处理方法的一个实施例流程示意图；
图2为本申请应用于智能影音设备的画面与声音同步处理方法的一个实施例流程示意图；
图3为本申请画面与声音同步处理方法应用于智能终端与智能影音设备之间的一个实施例交互流程示意图；
图4为本申请应用于智能终端的画面与声音同步处理系统的一个实施例结构示意图；
图5为本申请应用于智能影音设备的画面与声音同步处理系统的一个实施例结构示意图；
图6为本申请计算机设备的一个实施例结构示意图；
图7为现有技术中智能影音设备播放媒体资源时的一个实施例数据流流向示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
需要说明的是，本实施例的智能影音设备是指用来播放媒体资源的设备，本实施例所指的媒体资源是指具有在时间上同轨声音和画面的电子资源，例如电视剧、电影等视频。能实现对媒体资源进行播放的智能影音设备可以是智能电视、智能投影仪、智能手机、智能平板、笔记本电脑以及台式电脑等中的一种。
请参阅图7，以智能影音设备为智能电视为例进行说明，智能电视播放的上述媒体资源时，智能电视为实现对媒体资源中的声音和画面的分别输出，需要先获取媒体资源700，再将媒体资源700经过相关协议解析、音视频解码、渲染等工作后分别得到：基于时间序列上均有先后顺序的画面帧序列集合710、以及基于时间序列上均有先后顺序的声音帧序列结合720；最后才通过智能电视的屏幕按照时间序列先后顺序展示画面帧序列集合710中的画面帧711，以及通过智能电视的喇叭按照时间序列先后顺序播放声音帧序列结合720中的声音帧721；当智能电视通过蓝牙功能与同样具有蓝牙功能的音箱配对连接后，可以由音箱实现声音帧721的输出，具体为智能电视将声音帧序列结合720准备播放的声音帧721转换为可以通过蓝牙传输的声音帧721”并通过蓝牙传输给音箱，音箱接收到声音帧721”之后进行相应处理后得到准备播放的声音帧721，音箱再对该声音帧721进行播放。在上述过程中，从音视频解码开始，视频画面和视频声音就分开不同路径进行处理，视频画面和视频声音分开处理后的每个环节都可能会导致视频画面和视频声音产生一定的时间差，最终在通过智能电视的屏幕输出视频画面和通过智能电视的喇叭或外接音响输出视频声音时可能会让用户觉得画面和声音不同步，影响观看体验。特别是在智能电视通过外接外部音频设备实现声音播放时，智能电视需要将声音信号进行压缩处理后通过发送给外部音频设备，外部音频设备再将压缩的声音进行解压处理后播放，相比通过智能电视自身喇叭进行声音播放还需耗费更多的时间，可能会让用户较为明显地感觉到智能电视播放画面比从外部音频设备听到的声音要快一些，影响用户观看体验。例如，外部音频设备为蓝牙音箱，蓝牙音箱与智能电视进行声音信号传输时，智能电视会先对声音信号编码，再经过智能电视的蓝牙传输到蓝牙音箱，蓝牙音箱再进行解码和播放。经过这些路径传播的各种因素影响，等到在蓝牙音箱播放时通常都会产生较高的延迟。
智能电视作为家庭常用的视听设备，最常见的使用场景就是通过输出画面和声音来让用户可以同时实现看和听。鉴于此，智能电视输出的画面和声音必须是同步才能使得用户有较好的体验。通常情况下，智能电视输出的画面和声音的延迟标准控制在50毫秒以内可以为用户带来较佳体验；智能电视输出的画面和声音的延迟控制在50毫秒至100毫秒之间可以为用户带来一般体验；智能电视输出的画面和声音的延迟在100毫秒至200毫秒时，用户会感觉到轻微不适；智能电视输出的画面和声音的延迟在200毫秒至300毫秒时，用户会感觉严重不适；当智能电视输出的画面和声音的延迟超过300毫秒时，无法再正常观看。
基于上述理解的基础上，为了解决智能影音设备播放画面与声音不同步的问题，本实施例提出了一种结合智能终端的解决方案，其中该智能终端可以为手机、平板等具有摄像头和麦克风的移动智能终端。请参阅图1，本申请应用于具有摄像头和麦克风的智能终端的画面与声音的同步处理方法的一个实施例，包括：
101、与智能影音设备建立同步通信连接。
需要说明的是，本实施例需要通过智能终端与智能影音设备的配合才能实现对智能影音设备在最终输出画面和声音时的同步，所以首先需要和智能影音设备建立同步通信连接。该同步通信连接可以为无线网络连接或有线网络连接，例如无线网络连接可以为蓝牙、WiFi等，有线网络连接可以为USB、光纤等。
102、向智能影音设备发送同步启动指令，以使得智能影音设备根据同步开始指令播放预设的校准媒体资源，校准媒体资源包括：一定时长内相邻播放至少两幅色彩差距较大的画面的视频、以及在两幅画面切换时发出的校准音。
在步骤101智能终端与智能影音设备建立同步通信连接，就可以随时向智能影音设备发送同步启动指令，以便智能影音设备开始配合智能终端进行画面与声音同步的校准工作。本实施例需要智能影音设备在接收到智能终端发送的同步开始指令后即播放预设的校准媒体资源，该校准媒体资源至少包括：一定时长内相邻播放至少两幅色彩差距较大的画面的视频、以及在两幅画面切换时发出的校准音。例如，该校准媒体资源为时长10秒的视频，该视频前5秒展示全黑画面，在第5秒过后展示全白画面直至视频结束，在第5秒过后视频从全黑画面切换至全白画面的同时输出“哔”的校准音时长1秒。
103、通过摄像头录制智能影音设备的视频的录像。
使用智能终端的摄像头对步骤102中智能影音设备播放的视频进行录像，得到录像文件。
104、通过麦克风录制智能影音设备的校准音的录音。
使用智能终端的麦克风对步骤102中智能影音设备播放的校准媒体资源全程录音，得到录音文件，该录音文件会记录到智能影音设备的校准音播放。
105、确定录像中两幅色彩差距较大的画面切换时的第一时间。
智能终端使用自身的计算资源对步骤103中的录像文件进行逐帧分析，确定录像中两幅色彩差距较大的画面切换时的第一时间。例如，在录像文件记载的录像的第5秒整从全黑画面切换至全白画面，该第5秒整即为第一时间。
106、确定录音中录制到校准音的第二时间。
需要说明的是，本实施例默认智能终端开启录像录音功能后，会使用同一条时间序列轨道通过摄像头进行录像以及通过麦克风进行录音，因此认为上述步骤103得到的录像与步骤104得到的录音是在时间序列上是同轨的，即录音录像同时开始与用时结束。智能终端使用自身的计算资源对步骤104中的录音文件进行分析，确定录音中开始录制到校准音的第二时间。例如，在录音文件记载的录音的第5.300秒开始录制到校准音，该第5.300秒即为第二时间；又例如，在录音文件记载的录音的第4.800秒开始录制到校准音，该第4.800秒即为第二时间。
107、计算第一时间与第二时间的时间差值。
智能终端使用自身的计算资源对步骤105中的第一时间与步骤106中的第二时间作差计算，得到第一时间与第二时间的时间差值。例如，当画面切换的第一时间为第5秒整，录制到校准音的第二时间为第5.300秒时，第一时间与第二时间的差值为300毫秒，反映出智能影音设备播放的画面要比对应的声音提前了300毫秒，即智能影音设备播放的声音要比对应的画面延迟了300毫秒；又例如，当画面切换的第一时间为第5秒整，录制到校准音的第二时间为第4.800秒时，第一时间与第二时间的差值为-200毫秒，反映出智能影音设备播放的画面要比对应的声音延迟了200毫秒，即智能影音设备播放的声音要比对应的画面提前了200毫秒。
108、将时间差值发送智能影音设备，以使得智能影音设备根据时间差值调整自身对画面与声音的输出配合参数。
智能终端使用自身的计算资源在步骤107计算出智能影音设备的画面与声音存在的时间差值之后，本步骤可以将时间差值发送智能影音设备，以使得智能影音设备根据时间差值调整对画面与声音的输出配合参数，以实现智能影音设备的画面与声音的同步。例如，当智能影音设备播放的画面要比对应的声音提前了300毫秒时，使用缓存技术对时间序列上300毫秒时长的画面进行缓存，使得智能影音设备播放的画面延后300毫秒，实现与声音同步；又例如，当智能影音设备播放的画面要比对应的声音延迟了200毫秒时，同样可以使用缓存技术对时间序列上200毫秒时长的审意进行缓存，使得智能影音设备播放的声音延后200毫秒，实现与画面同步。
可见，本实施例智能终端通过自身的摄像头和麦克风对智能影音设备播放的校准媒体资源进行录像录音，并使用智能终端自身的计算资源算出智能影音设备播放画面与声音的时间差值，减少了智能影音设备的算力支出，同时也使得智能终端从客观的用户观看视角来得出该时间差值，这样使得智能影音设备根据该时间差值调整后的画面与声音的输出配合参数更加适合现场的同步感受。
请参阅图2，本申请应用于智能影音设备的画面与声音的同步处理方法的一个实施例，包括：
201、与智能终端建立同步通信连接。
需要说明的是，本实施例需要通过智能影音设备与智能终端的配合才能实现对自身在最终输出画面和声音时的同步，所以首先需要和智能终端建立同步通信连接。该同步通信连接可以为无线网络连接或有线网络连接，例如无线网络连接可以为蓝牙、WiFi等，有线网络连接可以为USB、光纤等。
202、接收智能终端发送的同步启动指令。
智能影音设备的主要工作是对媒体资源的播放为用户提供视觉与听觉的感受，所以要对智能影音设备进行画面与声音同步的校准工作，需要智能影音设备在步骤201中与智能终端建立同步通信连接，且在本步骤接收到智能终端发送的同步启动指令才会启动，以避免误判和保证安全。
203、根据同步启动指令播放预设的校准媒体资源，校准媒体资源包括：一定时长内相邻播放至少两幅色彩差距较大的画面的视频、以及在两幅画面切换时发出的校准音。
值得注意的是，本实施例的智能影音设备需要预先存储有预设的校准媒体资源，该校准媒体资源至少包括：一定时长内相邻播放至少两幅色彩差距较大的画面的视频、以及在两幅画面切换时发出的校准音。例如，该校准媒体资源为时长10秒的视频，该视频前5秒展示全黑画面，在第5秒过后展示全白画面直至视频结束，在第5秒过后视频从全黑画面切换至全白画面的同时输出“哔”的校准音时长1秒。在步骤202接收智能终端发送的同步启动指令后，即可根据同步启动指令播放预设的校准媒体资源。
204、接收智能终端发送的时间差值，时间差值为智能终端通过摄像头录制视频中两幅色彩差距较大的画面切换时的第一时间与通过麦克风录制校准音的第二时间之间的差值。
智能影音设备在步骤203播放预设的校准媒体资源之后，会接收到该智能终端反馈回的时间差值，该时间差值生成的过程请参阅图1实施例步骤103至步骤107过程，重复部分在此不再赘述。
205、根据时间差值调整画面与声音的输出配合参数。
例如，当时间差值反映出智能影音设备播放的画面要比对应的声音提前了300毫秒时，使用缓存技术对时间序列上300毫秒时长的画面进行缓存，使得智能影音设备播放的画面延后300毫秒，实现与声音同步；又例如，当时间差值反映出智能影音设备播放的画面要比对应的声音延迟了200毫秒时，同样可以使用缓存技术对时间序列上200毫秒时长的审意进行缓存，使得智能影音设备播放的声音延后200毫秒，实现与画面同步。
可见，本实施例智能影音设备仅需要在接收智能终端发送的同步启动指令之后播放预设的校准媒体资源，就可以从智能终端获取到需要调整画面与声音的输出配合参数的时间差值，无需投入过多计算资源，同时由于智能终端从客观的用户观看视角来得出该时间差值，这样使得智能影音设备根据该时间差值调整后的画面与声音的输出配合参数更加适合现场的同步感受，用户体验更佳。
请参阅图3，本申请画面与声音同步处理方法应用于智能终端与智能影音设备之间的一个交互实施例，包括：
301、智能终端与智能影音设备建立同步通信连接。
本步骤的执行请参阅前述图1实施例中的步骤101以及前述图2实施例的步骤201类似，在此不再赘述。
302、智能终端向智能影音设备发送同步启动指令。
本步骤的执行请参阅前述图1实施例中的步骤102以及前述图2实施例的步骤202类似，重复部分在此不再赘述。
303、智能影音设备根据同步启动指定播放预设的校准媒体资源。
本步骤的执行请参阅前述图2实施例的步骤203类似，在此不再赘述。
304、智能终端录制智能影音设备播放该校准媒体资源的录像。
本步骤的执行请参阅前述图1实施例的步骤103类似，在此不再赘述。
305、智能终端确定录像中两幅色彩差距较大的画面切换时的第一时间。
本步骤的执行请参阅前述图1实施例的步骤105类似，在此不再赘述。
306、智能终端录制智能影音设备播放该校准媒体资源的录音。
本步骤的执行请参阅前述图1实施例的步骤104类似，在此不再赘述。
需要说明的是，本步骤可以是智能终端使用麦克风录制智能影音设备的喇叭播放的校准音的录音；或，本步骤还可以是智能终端使用麦克风录制智能影音设备连接(无线连接或有线连接)的音箱播放的校准音的录音。
307、智能终端确定录音中录制到校准音的第二时间。
本步骤的执行请参阅前述图1实施例的步骤106类似，在此不再赘述。
308、智能终端计算第一时间与第二时间的时间差值。
本步骤的执行请参阅前述图1实施例的步骤107类似，在此不再赘述。
309、智能终端判断时间差值是否达到或大于预设标准时长值，当时间差值达到或大于预设标准时长值，则执行步骤310；若时间差值小于预设标准时长值，则执行步骤313。
可以理解的是，智能终端中预先存储有预设标准时长值，该预设标准时长值用于限定：不需要智能影音设备进行画面与声音的调整的误差范围。因为当智能影音设备播放画面与声音之间的时间差值少于一定时长值，大部分用户是无法感受到差别的，而且现实技术中智能影音设备播放画面与声音之间的时间差值是一定会存在，无法实现真正的画面与声音绝对对齐，只需控制时间差值在用户可以接受的误差范围，即视为智能影音设备播放画面与声音之间同步。例如，本步骤预设标准时长值为50毫秒。
310、智能终端向智能影音设备发送时间差值。
当智能终端在步骤309确定该时间差值达到或大于预设标准时长值，证明智能影音设备播放画面与声音之间的延迟可能会给用户带来不好的视听感受，需要智能影音设备对播放画面与声音进行同步调整，那么本步骤智能终端向智能影音设备发送时间差值。
311、当智能影音设备确定时间差值反映出画面比声音提前时，延后时间差值的时长播放画面；或，提前时间差值的时长播放声音。
可以理解的是，本实施的时间差值是画面切换的第一时间与录制到校准音的第二时间的差值。例如，通过时间差值是正数可以确定智能影音设备播放的画面比声音提前了，此时智能影音设备需要在按照时间序列顺序保持声音连续播放不变的前提下延后时间差值的时长播放画面；或，此时智能影音设备需要按照时间序列顺序保持画面连续播放不变的前提下提前时间差值的时长播放声音。其中，对延后时间差值的时长播放画面或提前时间差值的时长播放声音的实现方式可以使用缓存技术实现，在此不再赘述，在实际应用中还可以通过其他方式实现，在此不做具体限定。
312、当智能影音设备确定时间差值反映出画面比声音延迟时，提前时间差值的时长播放画面；或，延后时间差值的时长播放声音。
可以理解的是，本实施的时间差值是画面切换的第一时间与录制到校准音的第二时间的差值。例如，通过时间差值是负数可以确定智能影音设备播放的画面比声音延迟了，此时智能影音设备需要在按照时间序列顺序保持画面连续播放不变的前提下延后时间差值的时长播放声音；或，此时智能影音设备需要按照时间序列顺序保持声音连续播放不变的前提下提前时间差值的时长播放画面。其中，提前时间差值的时长播放画面或延后时间差值的时长播放声音还可以通过改变画面或声音的编码方式来实现，在此不做具体限定，在实际应用中还可以通过其他方式实现。
313.智能终端向智能影音设备发送同步处理完成指令。
当智能终端在步骤309确定时间差值小于预设标准时长值，证明智能影音设备播放画面与声音之间的延迟大概率不会给用户带来不好的视听感受，暂不需要智能影音设备对播放画面与声音进行同步调整，那么本步骤智能终端向智能影音设备发送同步处理完成指令，同步处理完成指令用于告知智能影音设备已完成的画面与声音的同步，当前智能影音设备播放的画面与声音满足同步要求。
314.智能影音设备保存当前画面和声音的输出配合参数。
智能影音设备在步骤313中接收到智能终端发送的同步处理完成指令之后，应该保存当前画面和声音的输出配合参数(智能影音设备根据时间差值调整后画面和声音的输出配合时差)。
可见，本申请画面与声音的同步处理方法实现了通过智能终端与智能影音设备的配合，对智能影音设备在最终输出画面和声音时自动同步。
上述实施例对本申请应用于智能终端和/或智能影音设备的画面与声音的同步处理方法进行了描述，下面对本申请应用于具有摄像头和麦克风的智能终端的画面与声音的同步处理系统进行描述，请参阅图4，本申请应用于具有摄像头和麦克风的智能终端的画面与声音的同步处理系统的一个实施例，包括：
连接单元401，用于与智能影音设备建立同步通信连接；
发送单元402，用于向所述智能影音设备发送同步启动指令，以使得所述智能影音设备根据所述同步开始指令播放预设的校准媒体资源，所述校准媒体资源包括：一定时长内相邻播放至少两幅色彩差距较大的画面的视频、以及在两幅所述画面切换时发出的校准音；
录制单元403，用于通过所述摄像头录制所述智能影音设备的所述视频的录像；
所述录制单元403，还用于通过所述麦克风录制所述智能影音设备的所述校准音的录音；
确定单元404，用于确定所述录像中两幅色彩差距较大的所述画面切换时的第一时间；
所述确定单元404，还用于确定所述录音中录制到所述校准音的第二时间；
计算单元405，用于计算所述第一时间与所述第二时间的时间差值，
所述发送单元402，还用于将所述时间差值发送所述智能影音设备，以使得所述智能影音设备根据所述时间差值调整自身对所述画面与声音的输出配合参数。
可选的，所述录制单元403通过所述麦克风录制所述智能影音设备的所述校准音的录音时，具体用于：
所述麦克风录制所述智能影音设备的喇叭播放的所述校准音的录音；或，
所述麦克风录制所述智能影音设备连接的音箱播放的所述校准音的录音。
可选的，所述系统还包括：
判断单元406，用于判断所述时间差值是否达到或大于预设标准时长值；
触发单元407，用于若所述时间差值达到或大于所述预设标准时长值，则触发执行将所述时间差值发送所述智能影音设备的步骤；
所述发送单元402，还用于若所述时间差值小于所述预设标准时长值，则向所述智能影音设备发送同步处理完成指令。
本申请应用于具有摄像头和麦克风的智能终端的画面与声音的同步处理系统所执行的操作与前述图1、图3实施例中智能终端所执行的操作类似，在此不再进行赘述。
请参阅图5，本申请应用于智能影音设备的画面与声音的同步处理系统的一个实施例，包括：
连接单元501，用于与智能终端建立同步通信连接；
接收单元502，用于接收所述智能终端发送的同步启动指令；
播放单元503，用于根据所述同步启动指令播放预设的校准媒体资源，所述校准媒体资源包括：一定时长内相邻播放至少两幅色彩差距较大的画面的视频、以及在两幅所述画面切换时发出的校准音；
所述接收单元502，还用于接收所述智能终端发送的时间差值，所述时间差值为所述智能终端通过摄像头录制所述视频中两幅色彩差距较大的所述画面切换时的第一时间与通过麦克风录制所述校准音的第二时间之间的差值；
调整单元504，用于根据所述时间差值调整画面与声音的输出配合参数。
可选的，所述调整单元504根据所述时间差值调整画面与声音的输出配合参数时，具体用于：
当所述时间差值反映出所述画面比所述声音提前时，延后所述时间差值的时长播放所述画面；或，提前所述时间差值的时长播放所述声音；
当所述时间差值反映出所述画面比所述声音延迟时，提前所述时间差值的时长播放所述画面；或，延后所述时间差值的时长播放所述声音。
可选的，所述系统还包括：
所述接收单元502，还用于接收所述智能终端发送的同步处理完成指令；
保存单元505，用于根据所述同步处理完成指令，保存当前所述画面和所述声音的输出配合参数。
本申请应用于智能影音设备的画面与声音的同步处理系统所执行的操作与前述图2、图3实施例中智能影音设备所执行的操作类似，在此不再进行赘述。
下面对本申请实施例中的计算机设备进行描述，请参阅图6，本申请实施例中计算机设备的一个实施例包括：
该计算机设备600可以包括一个或一个以上处理器(central processing units，CPU)601和存储器602，该存储器602中存储有一个或一个以上的应用程序或数据。其中，存储器602是易失性存储或持久存储。存储在存储器602的程序可以包括一个或一个以上模块，每个模块可以包括对计算机设备中的一系列指令操作。更进一步地，处理器601可以设置为与存储器602通信，在计算机设备600上执行存储器602中的一系列指令操作。计算机设备600还可以包括一个或一个以上网络接口603，一个或一个以上输入输出接口604，和/或，一个或一个以上操作系统，例如Windows Server，Mac OS，Unix,Linux，FreeBSD等。该处理器601可以执行前述图1、图2或图3所示实施例中智能终端或智能影音设备所执行的操作，具体此处不再赘述。
在本申请实施例所提供的几个实施例中，本领域技术人员应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，该单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，read-only memory)、随机存取存储器(RAM，randomaccess memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内所作的任何修改、等同替换或改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.画面与声音的同步处理方法，其特征在于，应用于具有摄像头和麦克风的智能终端，包括：
与智能影音设备建立同步通信连接；
向所述智能影音设备发送同步启动指令，以使得所述智能影音设备根据所述同步开始指令播放预设的校准媒体资源，所述校准媒体资源包括：一定时长内相邻播放至少两幅色彩差距较大的画面的视频、以及在两幅所述画面切换时发出的校准音；
通过所述摄像头录制所述智能影音设备的所述视频的录像；
通过所述麦克风录制所述智能影音设备的所述校准音的录音；
确定所述录像中两幅色彩差距较大的所述画面切换时的第一时间；
确定所述录音中录制到所述校准音的第二时间；
计算所述第一时间与所述第二时间的时间差值，
将所述时间差值发送所述智能影音设备，以使得所述智能影音设备根据所述时间差值调整自身对所述画面与声音的输出配合参数。
2.根据权利要求1所述同步处理方法，其特征在于，所述通过所述麦克风录制所述智能影音设备的所述校准音的录音包括：
所述麦克风录制所述智能影音设备的喇叭播放的所述校准音的录音；或，
所述麦克风录制所述智能影音设备连接的音箱播放的所述校准音的录音。
3.根据权利要求1所述同步处理方法，其特征在于，在计算所述第一时间与所述第二时间的时间差值之后，将所述时间差值发送所述智能影音设备之前，所述方法还包括：
判断所述时间差值是否达到或大于预设标准时长值；
若所述时间差值达到或大于所述预设标准时长值，则触发执行将所述时间差值发送所述智能影音设备的步骤；
若所述时间差值小于所述预设标准时长值，则向所述智能影音设备发送同步处理完成指令。
4.画面与声音的同步处理方法，其特征在于，应用于智能影音设备，包括：
与智能终端建立同步通信连接；
接收所述智能终端发送的同步启动指令；
根据所述同步启动指令播放预设的校准媒体资源，所述校准媒体资源包括：一定时长内相邻播放至少两幅色彩差距较大的画面的视频、以及在两幅所述画面切换时发出的校准音；
接收所述智能终端发送的时间差值，所述时间差值为所述智能终端通过摄像头录制所述视频中两幅色彩差距较大的所述画面切换时的第一时间与通过麦克风录制所述校准音的第二时间之间的差值；
根据所述时间差值调整画面与声音的输出配合参数。
5.根据权利要求4所述同步处理方法，其特征在于，所述根据所述时间差值调整画面与声音的输出配合参数包括：
当所述时间差值反映出所述画面比所述声音提前时，延后所述时间差值的时长播放所述画面；或，提前所述时间差值的时长播放所述声音；
当所述时间差值反映出所述画面比所述声音延迟时，提前所述时间差值的时长播放所述画面；或，延后所述时间差值的时长播放所述声音。
6.根据权利要求4所述同步处理方法，其特征在于，在接收所述智能终端发送的同步启动指令之后，所述方法还包括：
接收所述智能终端发送的同步处理完成指令；
根据所述同步处理完成指令，保存当前所述画面和所述声音的输出配合参数。
7.画面与声音的同步处理系统，其特征在于，应用于具有摄像头和麦克风的智能终端，包括：
连接单元，用于与智能影音设备建立同步通信连接；
发送单元，用于向所述智能影音设备发送同步启动指令，以使得所述智能影音设备根据所述同步开始指令播放预设的校准媒体资源，所述校准媒体资源包括：一定时长内相邻播放至少两幅色彩差距较大的画面的视频、以及在两幅所述画面切换时发出的校准音；
录制单元，用于通过所述摄像头录制所述智能影音设备的所述视频的录像；
所述录制单元，还用于通过所述麦克风录制所述智能影音设备的所述校准音的录音；
确定单元，用于确定所述录像中两幅色彩差距较大的所述画面切换时的第一时间；
所述确定单元，还用于确定所述录音中录制到所述校准音的第二时间；
计算单元，用于计算所述第一时间与所述第二时间的时间差值，
发送单元，用于将所述时间差值发送所述智能影音设备，以使得所述智能影音设备根据所述时间差值调整自身对所述画面与声音的输出配合参数。
8.画面与声音的同步处理系统，其特征在于，应用于智能影音设备，包括：
连接单元，用于与智能终端建立同步通信连接；
接收单元，用于接收所述智能终端发送的同步启动指令；
播放单元，用于根据所述同步启动指令播放预设的校准媒体资源，所述校准媒体资源包括：一定时长内相邻播放至少两幅色彩差距较大的画面的视频、以及在两幅所述画面切换时发出的校准音；
所述接收单元，还用于接收所述智能终端发送的时间差值，所述时间差值为所述智能终端通过摄像头录制所述视频中两幅色彩差距较大的所述画面切换时的第一时间与通过麦克风录制所述校准音的第二时间之间的差值；
调整单元，用于根据所述时间差值调整画面与声音的输出配合参数。
9.一种计算机设备，其特征在于，包括：
处理器、存储器、总线、输入输出接口、网络接口；
所述处理器通过所述总线与所述存储器、所述输入输出接口、所述网络接口；
所述存储器中存储有程序；
所述处理器执行所述存储器中存储的所述程序时，实现如权利要求1至6中任意一项所述画面与声音的同步处理方法。
10.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有指令，所述指令在计算机上执行时，使得所述计算机执行如权利要求1至6中任意一项所述画面与声音的同步处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211368983.5A CN115811628A (zh) | 2022-11-03 | 2022-11-03 | 声音与画面的同步处理方法及相关装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211368983.5A CN115811628A (zh) | 2022-11-03 | 2022-11-03 | 声音与画面的同步处理方法及相关装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115811628A true CN115811628A (zh) | 2023-03-17 |
Family
ID=85482889
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211368983.5A Pending CN115811628A (zh) | 2022-11-03 | 2022-11-03 | 声音与画面的同步处理方法及相关装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115811628A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103237203A (zh) * | 2013-04-09 | 2013-08-07 | 广东欧珀移动通信有限公司 | 一种基于移动终端的音视频同步方法及系统 |
| CN112040225A (zh) * | 2020-09-02 | 2020-12-04 | 广州市百果园信息技术有限公司 | 播放延时差测量方法、装置、设备、系统及存储介质 |
| CN114827581A (zh) * | 2021-01-28 | 2022-07-29 | 华为技术有限公司 | 同步时延测量方法、内容同步方法、终端设备及存储介质 |
-
2022
- 2022-11-03 CN CN202211368983.5A patent/CN115811628A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103237203A (zh) * | 2013-04-09 | 2013-08-07 | 广东欧珀移动通信有限公司 | 一种基于移动终端的音视频同步方法及系统 |
| CN112040225A (zh) * | 2020-09-02 | 2020-12-04 | 广州市百果园信息技术有限公司 | 播放延时差测量方法、装置、设备、系统及存储介质 |
| CN114827581A (zh) * | 2021-01-28 | 2022-07-29 | 华为技术有限公司 | 同步时延测量方法、内容同步方法、终端设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3562163B1 (en) | Audio-video synthesis method and system | |
| US20190173663A1 (en) | Audio and video playback system and method for playing audio data applied thereto | |
| US20070217505A1 (en) | Adaptive Decoding Of Video Data | |
| WO2020042350A1 (zh) | 一种桌面投屏方法、装置、设备及存储介质 | |
| US20140376873A1 (en) | Video-audio processing device and video-audio processing method | |
| CN109167890B (zh) | 一种音画同步方法和装置及显示设备 | |
| MX2011005782A (es) | Metodo y aparato para controlar la reproduccion de datos de video-audio. | |
| KR20210029829A (ko) | 미디어 스트림 재생들 사이를 트랜지션하는 동안 트랜지션 프레임들의 동적 재생 | |
| WO2017101312A1 (zh) | 双画面下的音量自动调节方法、装置及智能设备 | |
| US11025986B2 (en) | Temporal placement of a rebuffering event | |
| US20130166769A1 (en) | Receiving device, screen frame transmission system and method | |
| WO2020233263A1 (zh) | 音频处理方法及电子设备 | |
| CN112367542A (zh) | 一种镜像投屏的终端播放系统及方法 | |
| CN112423074B (zh) | 音视频同步处理方法、装置、电子设备及存储介质 | |
| US8379150B2 (en) | Data transmission method and audio/video system capable of splitting and synchronizing audio/video data | |
| CN114554277B (zh) | 多媒体的处理方法、装置、服务器及计算机可读存储介质 | |
| JP5304860B2 (ja) | コンテンツ再生装置およびコンテンツ処理方法 | |
| US20210195256A1 (en) | Decoder equipment with two audio links | |
| JP2017147594A (ja) | オーディオ機器 | |
| CN115811628A (zh) | 声音与画面的同步处理方法及相关装置 | |
| JP6987567B2 (ja) | 配信装置、受信装置及びプログラム | |
| CN115767158A (zh) | 同步播放方法、终端设备及存储介质 | |
| CN113301410A (zh) | 音频画面同步方法、装置和系统以及发送控制器 | |
| US11704088B2 (en) | Intelligent control method and electronic device | |
| TWI539291B (zh) | 鏡像傳輸方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |