CN106792024B - 多媒体信息的分享方法及装置 - Google Patents

多媒体信息的分享方法及装置 Download PDF

Info

Publication number
CN106792024B
CN106792024B CN201611180088.5A CN201611180088A CN106792024B CN 106792024 B CN106792024 B CN 106792024B CN 201611180088 A CN201611180088 A CN 201611180088A CN 106792024 B CN106792024 B CN 106792024B
Authority
CN
China
Prior art keywords
terminal
multimedia information
mode
sharing
currently played
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611180088.5A
Other languages
English (en)
Other versions
CN106792024A (zh
Inventor
吴桂洲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN201611180088.5A priority Critical patent/CN106792024B/zh
Publication of CN106792024A publication Critical patent/CN106792024A/zh
Application granted granted Critical
Publication of CN106792024B publication Critical patent/CN106792024B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43637Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4122Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • H04N21/4394Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping

Abstract

本公开是关于一种多媒体信息的分享方法及装置,属于终端技术领域。所述方法包括:当接收到多媒体信息分享指令时,确定分享模式,所述分享模式为所述第一终端向所述第二终端分享多媒体信息的模式,获取当前播放的多媒体信息,按照所述分享模式,通过无线显示WFD的底层多媒体传输功能将所述多媒体信息分享给所述第二终端。本公开提高了分享多媒体信息的灵活性和分享效果。

Description

多媒体信息的分享方法及装置
技术领域
本公开涉及终端技术领域,尤其涉及一种多媒体信息的分享方法及装置。
背景技术
随着终端技术的发展,手机、智能手表、平板电脑等终端的应用越来越广泛。该终端通常可以播放电影、音乐、图片、幻灯片等多媒体信息,但用户在通过该终端观看该多媒体信息时,通常还希望将该多媒体信息分享给其它用户,因此,亟需一种多媒体信息的分享方法。
相关技术中,该终端可以预先将需要分享的多媒体信息发送给其它终端,之后,该终端和该其它终端可以分别播放该多媒体信息,从而将该多媒体信息分享给其它终端的用户。
发明内容
为克服相关技术中存在的问题,本公开提供一种多媒体信息的分享方法及装置。
根据本公开实施例的第一方面,提供一种多媒体信息的分享方法,应用于第一终端中,所述方法包括:
当接收到多媒体信息分享指令时,确定分享模式,所述分享模式为所述第一终端向所述第二终端分享多媒体信息的模式;
获取当前播放的多媒体信息;
按照所述分享模式,通过WFD(WiFi Display,无线显示)的底层多媒体传输功能将所述多媒体信息分享给所述第二终端。
可选地,所述分享模式包括质量模式和速度模式,所述质量模式为确保分享多媒体信息的质量的模式,所述速度模式为确保分享多媒体信息的效率的模式;
相应地,所述按照所述分享模式,通过WFD的底层多媒体传输功能将所述多媒体信息分享给所述第二终端,包括:
当所述分享模式为质量模式时,基于TCP(Transmission Control Protocol,传输控制协议),通过所述WFD的底层多媒体传输功能将所述多媒体信息发送给所述第二终端;或,
当所述分享模式为速度模式时,基于UDP(User Data Protocol,用户数据报协议),通过所述WFD的底层多媒体传输功能将所述多媒体信息发送给所述第二终端。
根据本公开实施例的第二方面,提供一种多媒体信息的分享方法,应用于第二终端中,所述方法包括:
接收第一终端分享的多媒体信息;
通过ALSA(Advanced Linux Sound Architecture,高级Linux声音架构)播放所述多媒体信息中的声音数据;
通过FrameBuffer(帧缓冲)播放所述多媒体信息中的图像数据。
可选地,所述通过ALSA播放所述多媒体信息中的声音数据,包括:
当所述声音数据的采样率与所述第二终端支持的采样率不同时,根据所述第二终端支持的采样率对所述声音数据进行重采样;
通过所述ALSA播放重采样后的声音数据。
可选地,所述根据所述第二终端支持的采样率对所述声音数据进行重采样,包括:
当所述第二终端支持NEON指令集时,通过所述NEON指令集,根据所述第二终端支持的采样率对所述声音数据进行重采样,所述NEON指令集为128位SIMD(SingleInstruction Multiple Data,单指令多数据)的扩展结构,所述NEON指令集用于加速对多媒体信息的处理。
可选地,所述通过帧缓冲FrameBuffer播放所述多媒体信息中的图像数据,包括:
当所述图像数据的帧率与所述第二终端支持的帧率不同时,根据所述第二终端支持的帧率对所述图像数据进行帧率转换;
通过所述FrameBuffer播放帧率转换后的图像数据。
可选地,所述根据所述第二终端支持的帧率对所述图像数据进行帧率转换,包括:
当所述第二终端支持NEON指令集时,通过所述NEON指令集,根据所述第二终端支持的帧率对所述图像数据进行帧率转换。
根据本公开实施例的第三方面,提供一种多媒体信息的分享装置,应用于第一终端中,所述装置包括:
确定模块,用于当接收到多媒体信息分享指令时,确定分享模式,所述分享模式为所述第一终端向所述第二终端分享多媒体信息的模式;
获取模块,用于获取当前播放的多媒体信息;
分享模块,用于按照所述分享模式,通过WFD的底层多媒体传输功能将所述多媒体信息分享给所述第二终端。
可选地,所述分享模式包括质量模式和速度模式,所述质量模式为确保分享多媒体信息的质量的模式,所述速度模式为确保分享多媒体信息的效率的模式;
相应地,所述分享模块包括:
第一发送子模块,用于当所述分享模式为质量模式时,基于TCP,通过所述WFD的底层多媒体传输功能将所述多媒体信息发送给所述第二终端;或,
第二发送子模块,用于当所述分享模式为速度模式时,基于UDP,通过所述WFD的底层多媒体传输功能将所述多媒体信息发送给所述第二终端。
根据本公开实施例的第四方面,提供一种多媒体信息的分享装置,应用于第二终端中,所述装置包括:
接收模块,用于接收第一终端分享的多媒体信息;
第一播放模块,用于通过ALSA播放所述多媒体信息中的声音数据;
第二播放模块,用于通过FrameBuffer播放所述多媒体信息中的图像数据。
可选地,所述第一播放模块包括:
采样子模块,用于当所述声音数据的采样率与所述第二终端支持的采样率不同时,根据所述第二终端支持的采样率对所述声音数据进行重采样;
第一播放子模块,用于通过所述ALSA播放重采样后的声音数据。
可选地,所述采样子模块还用于:
当所述第二终端支持NEON指令集时,通过所述NEON指令集,根据所述第二终端支持的采样率对所述声音数据进行重采样,所述NEON指令集为128位SIMD的扩展结构,所述NEON指令集用于加速对多媒体信息的处理。
可选地,所述第二播放模块,包括:
转换子模块,用于当所述图像数据的帧率与所述第二终端支持的帧率不同时,根据所述第二终端支持的帧率对所述图像数据进行帧率转换;
第二播放子模块,用于通过所述FrameBuffer播放帧率转换后的图像数据。
可选地,所述转换子模块还用于:
当所述第二终端支持NEON指令集时,通过所述NEON指令集,根据所述第二终端支持的帧率对所述图像数据进行帧率转换。
根据本公开实施例的第五方面,提供一种多媒体信息的分享装置,应用于第一终端中,所述装置包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
当接收到多媒体信息分享指令时,确定分享模式,所述分享模式为所述第一终端向所述第二终端分享多媒体信息的模式;
获取当前播放的多媒体信息;
按照所述分享模式,通过WFD的底层多媒体传输功能将所述多媒体信息分享给所述第二终端。
根据本公开实施例的第六方面,提供一种多媒体信息的分享装置,应用于第二终端中,所述装置包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
接收第一终端分享的多媒体信息;
通过ALSA播放所述多媒体信息中的声音数据;
通过FrameBuffer播放所述多媒体信息中的图像数据。
本公开的实施例提供的技术方案可以包括以下有益效果:在本公开实施例中,首先,第一终端在接收到多媒体信息分享指令时,能够确定分享模式,并根据该分享模式将该多媒体信息发送给第二终端,提高了分享多媒体信息的灵活性,其次,该多媒体信息时第一终端当前播放的多媒体信息,且该多媒体信息是通过WFD的底层多媒体传输功能分享给第二终端,因此,确保了能够实时同步与第二终端分享该多媒体信息,提高了分享多媒体信息的实时性和分享效果。另外,第二终端在接收到该多媒体信息时,可以直接通过ALSA播放该多媒体声音数据,通过FrameBuffer播放该多媒体信息中的图像数据,简化了播放该声音数据和图像数据的过程,提高了播放该多媒体信息的效率,进一步提高了分享多媒体信息的实时性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1A是根据一示例性实施例示出的一种多媒体信息的分享系统架构图。
图1B是根据一示例性实施例示出的一种多媒体信息的分享方法流程图。
图2是根据一示例性实施例示出的另一种多媒体信息的分享方法流程图。
图3是根据一示例性实施例示出的又一种多媒体信息的分享方法流程图。
图4是根据一示例性实施例示出的一种多媒体信息的分享装置框图。
图5是根据一示例性实施例示出的另一种多媒体信息的分享装置框图。
图6是根据一示例性实施例示出的又一种多媒体信息的分享装置框图。
图7是根据一示例性实施例示出的又一种多媒体信息的分享装置框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在对本公开实施例进行详细的解释说明之前,先对本公开实施例的应用场景予以介绍。用户在通过第一终端观看电影、音乐、图片或幻灯片等多媒体信息时,通常希望与其它用户一起分享该多媒体信息。相关技术中,该终端可以预先将该多媒体信息发送给其它终端,之后,该终端和该其它终端可以分别播放该多媒体信息,但这种方式下,由于该终端与其它终端播放该多媒体的过程是相互独立地,分享多媒体信息的方式单一,且实时性很差,因此,本公开实施例提供了一种多媒体信息的分享方法。
图1A是根据一示例性实施例示出的一种多媒体信息的分享系统架构图,参照图1A,该系统包括第一终端01和第二终端02,第一终端01与第二终端02之间可以通过网络连接。第一终端01能够在接收到多媒体分享指令时,获取第一终端01当前播放的多媒体信息,将该多媒体信息发送给第二终端02,第二终端在接收到该多媒体信息时,播放该多媒体信息,从而与第一终端01同步播放该多媒体信息。
图1B是根据一示例性实施例示出的一种多媒体信息的分享方法流程图,参照图1B,该多媒体信息的分享方法用于第一终端中,包括以下步骤。
在步骤101中,当接收到多媒体信息分享指令时,确定分享模式,该分享模式为该第一终端向该第二终端分享多媒体信息的模式。
在步骤102中,获取当前播放的多媒体信息。
在步骤103中,按照该分享模式,通过WFD的底层多媒体传输功能将该多媒体信息分享给该第二终端。
在本公开实施例中,首先,第一终端在接收到多媒体信息分享指令时,能够确定分享模式,并根据该分享模式将该多媒体信息发送给第二终端,提高了分享多媒体信息的灵活性,其次,该多媒体信息时第一终端当前播放的多媒体信息,且该多媒体信息是通过WFD的底层多媒体传输功能分享给第二终端,因此,确保了能够实时同步与第二终端分享该多媒体信息,提高了分享多媒体信息的实时性和分享效果。
可选地,该分享模式包括质量模式和速度模式,该质量模式为确保分享多媒体信息的质量的模式,该速度模式为确保分享多媒体信息的效率的模式;
相应地,按照该分享模式,通过WFD的底层多媒体传输功能将该多媒体信息分享给该第二终端,包括:
当该分享模式为质量模式时,基于TCP,通过该WFD的底层多媒体传输功能将该多媒体信息发送给该第二终端;或,
当该分享模式为速度模式时,基于UDP,通过该WFD的底层多媒体传输功能将该多媒体信息发送给该第二终端。
上述所有可选技术方案,均可按照任意结合形成本公开的可选实施例,本公开实施例对此不再一一赘述。
图2是根据一示例性实施例示出的一种多媒体信息的分享方法流程图,参照图2,该多媒体信息的分享方法用于第二终端中,包括以下步骤。
在步骤201中,接收第一终端分享的多媒体信息。
在步骤202中,通过ALSA播放该多媒体信息中的声音数据。
在步骤203中,通过FrameBuffer播放该多媒体信息中的图像数据。
在本公开实施例中,第二终端在接收到第一终端分享的多媒体信息时,可以直接通过ALSA播放该多媒体声音数据,通过FrameBuffer播放该多媒体信息中的图像数据,简化了播放该声音数据和图像数据的过程,提高了播放该多媒体信息的效率,进一步提高了分享多媒体信息的实时性。
可选地,通过ALSA播放该多媒体信息中的声音数据,包括:
当该声音数据的采样率与该第二终端支持的采样率不同时,根据该第二终端支持的采样率对该声音数据进行重采样;
通过该ALSA播放重采样后的声音数据。
可选地,根据该第二终端支持的采样率对该声音数据进行重采样,包括:
当该第二终端支持NEON指令集时,通过该NEON指令集,根据该第二终端支持的采样率对该声音数据进行重采样,该NEON指令集为128位SIMD的扩展结构,该NEON指令集用于加速对多媒体信息的处理。
可选地,通过FrameBuffer播放该多媒体信息中的图像数据,包括:
当该图像数据的帧率与该第二终端支持的帧率不同时,根据该第二终端支持的帧率对该图像数据进行帧率转换;
通过该FrameBuffer播放帧率转换后的图像数据。
可选地,根据该第二终端支持的帧率对该图像数据进行帧率转换,包括:
当该第二终端支持NEON指令集时,通过该NEON指令集,根据该第二终端支持的帧率对该图像数据进行帧率转换。
图3是根据一示例性实施例示出的一种多媒体信息的分享方法流程图,参照图3,该多媒体信息的分享方法用于第一终端与第二终端的交互中,包括以下步骤。
在步骤301中,当第一终端接收到多媒体信息分享指令时,确定分享模式,该分享模式为第一终端向第二终端分享多媒体信息的模式。
由于第一终端在向第二终端分享多媒体信息时,可能会有不同的需求,比如确保第二终端在播放该多媒体信息时能够流畅播放无卡顿,或者确保第二终端在播放该多媒体信息时不会出现马赛克等,因此,第一终端在接收到多媒体信息分享指令时,可以确定分享模式。
其中,第一终端可以是手机、平板电脑等终端,第二终端可以是电脑、智能电视、手机、平板电脑等终端。
需要说明的是,该多媒体信息分享指令用于指示第一终端向第二终端分享多媒体信息,该多媒体信息分享指令可以由用户通过执行预设操作触发,该预设操作可以是点击操作、触摸操作、滑动操作、按键操作等操作,当然,在实际应用中,该预设操作还可以是其它操作。
还需要说明的是,该多媒体信息可以是第一终端当前播放的多媒体信息,包括第一终端的显示屏幕中当前显示的图像和第一终端的扬声器当前播放的声音中的至少一个。
其中,为了满足第一终端在分享多媒体信息时的不同需求,提高分享多媒体信息的灵活性,该分享模式包括质量模式和速度模式,该质量模式为确保分享多媒体信息的质量的模式,该速度模式为确保分享多媒体信息的效率的模式
需要说明的是,该分享模式可以根据该多媒体信息分享指令确定,比如,该多媒体信息分享指令中可以携带分享模式信息,当第一终端接收到该多媒体信息分享指令时,可以根据该多媒体信息分享指令中携带的分享模式信息,确定该分享模式。其中,该分享模式信息可以是一个字符或字符串,比如,布尔值1或0,当该多媒体信息分享指令中携带的分享模式信息为1时,可以确定该分享模式为质量模式;当该多媒体信息分享指令中携带的分享模式为0时,可以确定该分享模式为速度模式。
另外,在实际应用中,第一终端还可以通过其它方式来确定该分享模式,比如,一种可能的实现方式为,第一终端在接收到该多媒体信息分享指令之后,可以显示分享模式选择提示信息,以提示用户选择一个分享模式,当基于显示的分享模式选择提示信息接收到用户的选择指令时,将用户选择的分享模式确定为该分享模式。
需要说明的是,第一终端可以通过窗口或弹窗等方式显示该分享模式选择提示信息,当然,在实际应用中,该终端还可以通过其它方式显示该分享模式选择提示信息。
还需要说明的是,该选择指令用于选择一种分享模式,该选择指令可以由用户通过执行预设操作触发。
在步骤302中,第一终端获取当前播放的多媒体信息。
为了能够与第二终端同步播放该多媒体信息,确保分享该多媒体信息的实时性,提高分享效果,第一终端可以获取当前播放的多媒体信息。
其中,第一终端可以获取ALSA中输出的数据从而得到第一终端的扬声器当前播放的声音数据,可以从FrameBuffer中获取第一终端的显示屏幕中当前显示的图像数据,进而得到第一终端当前播放的多媒体信息。当然,在实际应用中,第一终端还可以通过其它方式来获取当前播放的多媒体信息。
需要说明的是,ALSA是高级Linux声音架构,用于播放声音数据,其中Linux是一种操作系统。
还需要说明的是,FrameBuffer是帧缓冲,终端可以通过FrameBuffer播放图像数据,也即是,在终端的显示屏幕中显示图像。
在步骤303中,第一终端按照该分享模式,通过WFD的底层多媒体传输功能将该多媒体信息分享给第二终端。
由于WFD传输数据的效率和可靠性较高,因此,可以通过WFD的底层多媒体传输功能,将该多媒体信息发送给第二终端。
其中,由于TCP是面向连接的传输协议,而UDP是面向无连接的传输协议,,因此通过TCP传输数据的可靠性通常要由于通过UDP传输数据的可靠性,但通过TCP传输数据的速率通常小于通过UDP传输数据的速率,所以,当该分享模式为质量模式时,第一终端可以基于TCP,通过该WFD的底层多媒体传输功能将该多媒体信息发送给该第二终端。当该分享模式为速度模式时,第一终端可以基于UDP,通过该WFD的底层多媒体传输功能将该多媒体信息发送给该第二终端。
在步骤304中,第二终端接收第一终端分享的多媒体信息,对该多媒体信息进行播放。
由于该多媒体信息时第一终端当前正在播放的多媒体信息,因此,第二终端可以播放该多媒体信息,从而与第一终端同步播放该多媒体信息,也即是,第一终端能够与第二终端实时同步地分享该多媒体信息。
其中,由于第二终端在播放该多媒体信息中的声音数据时,还可能需要播放其它声音数据,因此,可以通过音频输出服务AudioFlinger将该多媒体信息中的声音数据与该其它数据进行混合叠加之后再通过ALSA播放,相似地,可以通过视频输出服务SurfaceFlinger将该多媒体信息中的图像数据与其它图像数据混合之后再通过FrameBuffer播放。
需要说明的是,AudioFlinger是一种音频输出服务,用于将多个来源的声音数据进行混合叠加,FrameBuffer是一种视频输出服务,用于将多个来源的图像数据进行混合叠加。
进一步地,由于一般情况下投屏的时候没有其他声音输出,不用做混音,为了简化播放该多媒体信息的过程,从而降低播放该多媒体信息过程中的延迟,提高播放该多媒体信息的实时性,进而提高分享效果,第二终端可以通过ALSA播放该多媒体信息中的声音数据,同理,投屏的时候屏幕被投屏程序独占,不用做图层混合,可以直接通过FrameBuffer播放该多媒体信息中的图像数据,也即是,节省将该声音数据输入至AudioFlinger以及将该图像数据输入至SurfaceFlinger的步骤。
进一步地,由于第二终端与第一终端不是同一个终端,不同的终端可能支持不同的参数的多媒体信息,因此,为了减少第二终端无法播放该多媒体信息而导致分享失败的问题,从而提高分享该多媒体信息的可靠性和分享效果,第二终端可以对该多媒体信息进行处理之后再播放:
对于该多媒体信息中的声音数据,当该声音数据的采样率与第二终端支持的采样率不同时,第二终端可以根据第二终端支持的采样率对该声音数据进行重采样,通过该ALSA播放重采样后的声音数据。
其中,第二终端可以在当该声音数据的采样率与第二终端支持的采样率不同时,第二终端可以根据第二终端支持的采样率对该声音数据进行重采样之前,确定该声音数据的采样率和第二终端所支持的采样率,并将该声音数据的采样率与第二终端支持的采样率进行对比,从而确定该声音数据的采样率与第二终端支持的采样率是否相同。
需要说明的是,第二终端可以通过对第二终端中的音频输出设备进行检测,从而确定第二终端所支持的采样率,当然,在实际应用中,第二终端还可以通过其它方式来确定第二终端所支持的采样率。
还需要说明的是,该声音数据的采样率可以是携带在该声音数据中。当然,在实际应用中,第二终端还可以通过其它方式确定该声音数据的采样率。
例如,第二终端接收到的多媒体信息中包括声音数据1,声音数据1的采样率为47250Hz(赫兹),而第二终端支持的采样率为44100Hz,因此,第二终端以44100Hz对声音数据1进行重采样。
进一步地,为提高对该声音进行重采样的效率,进而提高播放该多媒体信息的实时性,当该第二终端支持NEON指令集时,通过该NEON指令集,根据第二终端支持的采样率对该声音数据进行重采样,该NEON指令集为128位SIMD(Single Instruction MultipleData,单指令多数据)的扩展结构,该NEON指令集可以用于加速对多媒体信息的处理。
对于该多媒体信息中的图像数据,当该图像数据的帧率与第二终端支持的帧率不同时,第二终端可以根据第二终端支持的帧率对该图像数据进行帧率转换,通过该FrameBuffer播放帧率转换后的图像数据。
其中,第二终端可以在当该图像数据的帧率与第二终端支持的帧率不同时,第二终端可以根据第二终端支持的帧率对该图像数据进行帧率转换之前,确定该图像数据的帧率以及第二终端所支持的帧率,并将该图像数据的帧率与第二终端所支持的帧率进行对比,从而确定该图像数据的帧率与第二终端所支持的帧率是否相同
需要说明额是,第二终端确定第二终端所支持的帧率的操作,可以与第二终端确定第二终端所支持的采样率的操作相似。
还需要说明的是,该图像数据的帧率可以是携带在该图像数据中。当然,在实际应用中,第二终端还可以通过其它方式确定该图像数据的帧率。
进一步地,为了提高对该图像数据进行帧率转换的效率,从而提高播放该多媒体信息的实时性,当该第二终端支持NEON指令集时,第二终端可以通过该NEON指令集,根据第二终端支持的采样率对该图像数据进行帧率转换。
另外,为了进一步提高播放该多媒体信息的播放效果,进而提高分享多媒体信息的效果,第二终端在播放该多媒体信息时,除采样率和帧率之外,还可以获取第二终端所支持的其它参数,并在其它参数与该多媒体信息的其它参数不同时,根据第二终端所支持的其它参数,对该多媒体信息进行处理之后再播放。
进一步地,由前述可知,第一终端在向第二终端分享该多媒体信息时,可以根据为了确保分享多媒体信息的质量选择质量模式或者为了确保分享多媒体信息的速率选择速度模式,因此,为了进一步提高分享多媒体信息的灵活性,第二终端也可以根据当前的分享模式选择不同的播放策略来播放第一终端分享的多媒体信息。
由前述可知,当该分享模式为质量模式时,第一终端通过TCP将该多媒体信息发送给第二终端,当该分享模式为速度模式时,第二终端通过UDP将该多媒体信息发送给第二终端,因此,当第二终端通过TCP接收到该多媒体信息时,可以确定该分享模式为质量模式,当第二终端通过UDP接收到该多媒体信息时,可以确定该分享模式为速度模式。当然,在实际应用中,第二终端还可以通过其它方式来确定该分享模式,比如,一种可能的实现方式为,第二终端可以向第一终端发送模式查询信息,当第一终端接收到该模式查询信息时,可以向第二终端发送查询响应,以说明该分享模式为质量模式或速度模式。
其中,当该分享模式为质量模式,且当前播放的声音数据的显示时间戳与当前播放的图像数据的显示时间戳之间的差值大于或等于第一同步时差阈值时,确定当前播放该多媒体信息音画不同步,对当前播放的图像数据进行修正,以使当前播放的声音数据的显示时间戳与当前播放的图像数据的显示时间戳之间的差值小于第一同步时差阈值。当该分享模式为速度模式,且当前播放的声音数据的显示时间戳与当前播放的图像数据的显示时间戳之间的差值大于或等于第二同步时差阈值时,确定当前播放该多媒体信息音画不同步,对当前播放的图像数据进行修正,以使当前播放的声音数据的显示时间戳与当前播放的图像数据的显示时间戳之间的差值小于第二同步时差阈值。其中,第一同步时差阈值小于第二同步时差阈值。
需要说明的是,该显示时间戳用于指示该声音数据或该图像数据的时间,该显示时间戳可以由第一终端在获取该多媒体信息时得到,当然,在实际应用中,该显示时间戳还可以通过其它方式得到。
还需要说明的是,第一同步时差阈值或第二同步时差阈值可以由第二终端在确定当前播放该多媒体信息音画不同步之前确定,比如,一种可能的实现方式为,第一同步时差阈值或第二同步时差阈值可以由第二终端接收用户输入的数值得到。当然,在实际应用中,第二终端还可以通过其它方式来确定第一同步时差阈值或第二同步时差阈值。
在本公开实施例中,首先,第一终端在接收到多媒体信息分享指令时,能够确定分享模式,并根据该分享模式将该多媒体信息发送给第二终端,提高了分享多媒体信息的灵活性,其次,该多媒体信息时第一终端当前播放的多媒体信息,且该多媒体信息是通过WFD的底层多媒体传输功能分享给第二终端,因此,确保了能够实时同步与第二终端分享该多媒体信息,提高了分享多媒体信息的实时性和分享效果。另外,第二终端在接收到该多媒体信息时,可以直接通过ALSA播放该多媒体声音数据,通过FrameBuffer播放该多媒体信息中的图像数据,简化了播放该声音数据和图像数据的过程,提高了播放该多媒体信息的效率,进一步提高了分享多媒体信息的实时性。最后,第二终端在播放该多媒体信息时,还可以将该多媒体信息的参数与第二终端所支持的参数进行对比,当该多媒体信息的参数与第二终端所支持的参数不同时,对该多媒体信息进行处理,以使该多媒体信息的参数与第二终端所支持的参数相同,从而提高了播放该多媒体信息的可靠性,也即是提高了分享多媒体信息的可靠性。
图4是根据一示例性实施例示出的一种多媒体信息的分享装置框图。参照图4,该装置应用于第一终端中,该装置包括确定模块401,获取模块402和分享模块403。
确定模块401,用于当接收到多媒体信息分享指令时,确定分享模式,该分享模式为该第一终端向该第二终端分享多媒体信息的模式;
获取模块402,用于获取当前播放的多媒体信息;
分享模块403,用于按照该分享模式,通过WFD的底层多媒体传输功能将该多媒体信息分享给该第二终端。
可选地,该分享模式包括质量模式和速度模式,该质量模式为确保分享多媒体信息的质量的模式,该速度模式为确保分享多媒体信息的效率的模式;
相应地,该分享模块403包括:
第一发送子模块,用于当该分享模式为质量模式时,基于TCP,通过该WFD的底层多媒体传输功能将该多媒体信息发送给该第二终端;或,
第二发送子模块,用于当该分享模式为速度模式时,基于UDP,通过该WFD的底层多媒体传输功能将该多媒体信息发送给该第二终端。
在本公开实施例中,首先,第一终端在接收到多媒体信息分享指令时,能够确定分享模式,并根据该分享模式将该多媒体信息发送给第二终端,提高了分享多媒体信息的灵活性,其次,该多媒体信息时第一终端当前播放的多媒体信息,且该多媒体信息是通过WFD的底层多媒体传输功能分享给第二终端,因此,确保了能够实时同步与第二终端分享该多媒体信息,提高了分享多媒体信息的实时性和分享效果。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图5是根据一示例性实施例示出的一种多媒体信息的分享装置框图。参照图5,应用于第二终端中,该装置包括:接收模块501,第一播放模块502和第二播放模块503。
接收模块501,用于接收第一终端分享的多媒体信息;
第一播放模块502,用于通过ALSA播放该多媒体信息中的声音数据;
第二播放模块503,用于通过FrameBuffer播放该多媒体信息中的图像数据。
可选地,该第一播放模块502包括:
采样子模块,用于当该声音数据的采样率与该第二终端支持的采样率不同时,根据该第二终端支持的采样率对该声音数据进行重采样;
第一播放子模块,用于通过该ALSA播放重采样后的声音数据。
可选地,该采样子模块还用于:
当该第二终端支持NEON指令集时,通过该NEON指令集,根据该第二终端支持的采样率对该声音数据进行重采样,该NEON指令集为128位SIMD的扩展结构,该NEON指令集用于加速对多媒体信息的处理。
可选地,该第二播放模块503,包括:
转换子模块,用于当该图像数据的帧率与该第二终端支持的帧率不同时,根据该第二终端支持的帧率对该图像数据进行帧率转换;
第二播放子模块,用于通过该FrameBuffer播放帧率转换后的图像数据。
可选地,该转换子模块还用于:
当该第二终端支持NEON指令集时,通过该NEON指令集,根据该第二终端支持的帧率对该图像数据进行帧率转换。
在本公开实施例中,第二终端在接收到第一终端分享的多媒体信息时,可以直接通过ALSA播放该多媒体声音数据,通过FrameBuffer播放该多媒体信息中的图像数据,简化了播放该声音数据和图像数据的过程,提高了播放该多媒体信息的效率,进一步提高了分享多媒体信息的实时性。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图6是根据一示例性实施例示出的一种用于多媒体信息的分享装置600的框图,该装置600应用于第一终端中。例如,装置600可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图6,装置600可以包括以下一个或多个组件:处理组件602,存储器604,电源组件606,多媒体组件608,音频组件610,输入/输出(I/O)的接口612,传感器组件614,以及通信组件616。
处理组件602通常控制装置600的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件602可以包括一个或多个处理器620来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件602可以包括一个或多个模块,便于处理组件602和其他组件之间的交互。例如,处理组件602可以包括多媒体模块,以方便多媒体组件608和处理组件602之间的交互。
存储器604被配置为存储各种类型的数据以支持在装置600的操作。这些数据的示例包括用于在装置600上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件606为装置600的各种组件提供电源。电源组件606可以包括电源管理系统,一个或多个电源,及其他与为装置600生成、管理和分配电源相关联的组件。
多媒体组件608包括在所述装置600和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件608包括一个前置摄像头和/或后置摄像头。当装置600处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件610被配置为输出和/或输入音频信号。例如,音频组件610包括一个麦克风(MIC),当装置600处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器604或经由通信组件616发送。在一些实施例中,音频组件610还包括一个扬声器,用于输出音频信号。
I/O接口612为处理组件602和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件614包括一个或多个传感器,用于为装置600提供各个方面的状态评估。例如,传感器组件614可以检测到装置600的打开/关闭状态,组件的相对定位,例如所述组件为装置600的显示器和小键盘,传感器组件614还可以检测装置600或装置600一个组件的位置改变,用户与装置600接触的存在或不存在,装置600方位或加速/减速和装置600的温度变化。传感器组件614可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件614还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件614还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件616被配置为便于装置600和其他设备之间有线或无线方式的通信。装置600可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件616经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件616还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,装置600可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器604,上述指令可由装置600的处理器620执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质,当所述存储介质中的指令由移动终端的处理器执行时,使得移动终端能够执行一种多媒体信息的分享方法,所述方法包括:
当接收到多媒体信息分享指令时,确定分享模式,该分享模式为该第一终端向该第二终端分享多媒体信息的模式;
获取当前播放的多媒体信息;
按照该分享模式,通过WFD的底层多媒体传输功能将该多媒体信息分享给该第二终端。
可选地,该分享模式包括质量模式和速度模式,该质量模式为确保分享多媒体信息的质量的模式,该速度模式为确保分享多媒体信息的效率的模式;
相应地,按照该分享模式,通过WFD的底层多媒体传输功能将该多媒体信息分享给该第二终端,包括:
当该分享模式为质量模式时,基于TCP,通过该WFD的底层多媒体传输功能将该多媒体信息发送给该第二终端;或,
当该分享模式为速度模式时,基于UDP,通过该WFD的底层多媒体传输功能将该多媒体信息发送给该第二终端。
在本公开实施例中,首先,第一终端在接收到多媒体信息分享指令时,能够确定分享模式,并根据该分享模式将该多媒体信息发送给第二终端,提高了分享多媒体信息的灵活性,其次,该多媒体信息时第一终端当前播放的多媒体信息,且该多媒体信息是通过WFD的底层多媒体传输功能分享给第二终端,因此,确保了能够实时同步与第二终端分享该多媒体信息,提高了分享多媒体信息的实时性和分享效果。
图7是根据一示例性实施例示出的一种用于多媒体信息的分享装置700的框图,该装置700应用于第二终端中。例如,装置700可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图7,装置700可以包括以下一个或多个组件:处理组件702,存储器704,电源组件706,多媒体组件708,音频组件710,输入/输出(I/O)的接口712,传感器组件714,以及通信组件716。
处理组件702通常控制装置700的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件702可以包括一个或多个处理器720来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件702可以包括一个或多个模块,便于处理组件702和其他组件之间的交互。例如,处理组件702可以包括多媒体模块,以方便多媒体组件708和处理组件702之间的交互。
存储器704被配置为存储各种类型的数据以支持在装置700的操作。这些数据的示例包括用于在装置700上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器704可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件706为装置700的各种组件提供电源。电源组件706可以包括电源管理系统,一个或多个电源,及其他与为装置700生成、管理和分配电源相关联的组件。
多媒体组件708包括在所述装置700和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件708包括一个前置摄像头和/或后置摄像头。当装置700处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件710被配置为输出和/或输入音频信号。例如,音频组件710包括一个麦克风(MIC),当装置700处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器704或经由通信组件716发送。在一些实施例中,音频组件710还包括一个扬声器,用于输出音频信号。
I/O接口712为处理组件702和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件714包括一个或多个传感器,用于为装置700提供各个方面的状态评估。例如,传感器组件714可以检测到装置700的打开/关闭状态,组件的相对定位,例如所述组件为装置700的显示器和小键盘,传感器组件714还可以检测装置700或装置700一个组件的位置改变,用户与装置700接触的存在或不存在,装置700方位或加速/减速和装置700的温度变化。传感器组件714可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件714还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件714还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件716被配置为便于装置700和其他设备之间有线或无线方式的通信。装置700可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件716经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件716还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,装置700可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器704,上述指令可由装置700的处理器720执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质,当所述存储介质中的指令由移动终端的处理器执行时,使得移动终端能够执行一种多媒体信息的分享方法,所述方法包括:
接收第一终端分享的多媒体信息;
通过ALSA播放该多媒体信息中的声音数据;
通过FrameBuffer播放该多媒体信息中的图像数据。
可选地,通过ALSA播放该多媒体信息中的声音数据,包括:
当该声音数据的采样率与该第二终端支持的采样率不同时,根据该第二终端支持的采样率对该声音数据进行重采样;
通过该ALSA播放重采样后的声音数据。
可选地,根据该第二终端支持的采样率对该声音数据进行重采样,包括:
当该第二终端支持NEON指令集时,通过该NEON指令集,根据该第二终端支持的采样率对该声音数据进行重采样,该NEON指令集为128位SIMD的扩展结构,该NEON指令集用于加速对多媒体信息的处理。
可选地,通过FrameBuffer播放该多媒体信息中的图像数据,包括:
当该图像数据的帧率与该第二终端支持的帧率不同时,根据该第二终端支持的帧率对该图像数据进行帧率转换;
通过该FrameBuffer播放帧率转换后的图像数据。
可选地,根据该第二终端支持的帧率对该图像数据进行帧率转换,包括:
当该第二终端支持NEON指令集时,通过该NEON指令集,根据该第二终端支持的帧率对该图像数据进行帧率转换。
在本公开实施例中,第二终端在接收到第一终端分享的多媒体信息时,可以直接通过ALSA播放该多媒体声音数据,通过FrameBuffer播放该多媒体信息中的图像数据,简化了播放该声音数据和图像数据的过程,提高了播放该多媒体信息的效率,进一步提高了分享多媒体信息的实时性。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (14)

1.一种多媒体信息的分享方法,其特征在于,应用于第一终端中,所述方法包括:
当接收到多媒体信息分享指令时,确定分享模式,所述分享模式为所述第一终端向所述第二终端分享多媒体信息的模式,所述分享模式包括质量模式和速度模式,所述质量模式为确保分享多媒体信息的质量的模式,所述速度模式为确保分享多媒体信息的效率的模式;
当所述分享模式为质量模式时,基于传输控制协议TCP,通过WFD的底层多媒体传输功能将所述多媒体信息发送给所述第二终端;或,
当所述分享模式为速度模式时,基于用户数据报协议UDP,通过所述WFD的底层多媒体传输功能将所述多媒体信息发送给所述第二终端;
其中,所述多媒体信息是ALSA中获取的所述第一终端的扬声器当前播放的声音数据和FrameBuffer中获取的所述第一终端的显示屏幕中当前显示的图像数据中的至少一个;
所述第二终端用于当所述分享模式为质量模式,且当前播放的所述声音数据的显示时间戳与当前播放的所述图像数据的显示时间戳之间的差值大于或等于第一同步时差阈值时,确定当前播放所述多媒体信息音画不同步,对当前播放的所述图像数据进行修正,以使当前播放的所述声音数据的显示时间戳与当前播放的所述图像数据的显示时间戳之间的差值小于所述同步时差阈值,或者,所述第二终端用于当所述分享模式为速度模式,且当前播放的所述声音数据的显示时间戳与当前播放的所述图像数据的显示时间戳之间的差值大于或等于第二同步时差阈值时,确定当前播放所述多媒体信息音画不同步,对当前播放的所述图像数据进行修正,以使当前播放的所述声音数据的显示时间戳与当前播放的所述图像数据的显示时间戳之间的差值小于所述同步时差阈值,其中第一同步时差阈值小于第二同步时差阈值。
2.一种多媒体信息的分享方法,其特征在于,应用于第二终端中,所述方法包括:
接收第一终端按照分享模式分享的多媒体信息,所述分享模式为所述第一终端向所述第二终端分享多媒体信息的模式,所述分享模式包括质量模式和速度模式,所述质量模式为确保分享多媒体信息的质量的模式,所述速度模式为确保分享多媒体信息的效率的模式,当所述分享模式为质量模式时,接收第一终端基于传输控制协议TCP,通过WFD的底层多媒体传输功能发送的所述多媒体信息,当所述分享模式为速度模式时,接收第一终端基于用户数据报协议UDP,通过所述WFD的底层多媒体传输功能发送的所述多媒体信息,所述多媒体信息是ALSA中获取的所述第一终端的扬声器当前播放的声音数据和FrameBuffer中获取的所述第一终端的显示屏幕中当前显示的图像数据中的至少一个;
通过高级Linux声音架构ALSA播放所述多媒体信息中的声音数据;
通过帧缓冲FrameBuffer播放所述多媒体信息中的图像数据;
所述方法还包括:当所述分享模式为质量模式,且当前播放的所述声音数据的显示时间戳与当前播放的所述图像数据的显示时间戳之间的差值大于或等于第一同步时差阈值时,确定当前播放所述多媒体信息音画不同步,对当前播放的所述图像数据进行修正,以使当前播放的所述声音数据的显示时间戳与当前播放的所述图像数据的显示时间戳之间的差值小于所述同步时差阈值,或者,所述第二终端用于当所述分享模式为速度模式,且当前播放的所述声音数据的显示时间戳与当前播放的所述图像数据的显示时间戳之间的差值大于或等于第二同步时差阈值时,确定当前播放所述多媒体信息音画不同步,对当前播放的所述图像数据进行修正,以使当前播放的所述声音数据的显示时间戳与当前播放的所述图像数据的显示时间戳之间的差值小于所述同步时差阈值,其中第一同步时差阈值小于第二同步时差阈值。
3.如权利要求2所述的方法,其特征在于,所述通过高级Linux声音架构ALSA播放所述多媒体信息中的声音数据,包括:
当所述声音数据的采样率与所述第二终端支持的采样率不同时,根据所述第二终端支持的采样率对所述声音数据进行重采样;
通过所述ALSA播放重采样后的声音数据。
4.如权利要求3所述的方法,其特征在于,所述根据所述第二终端支持的采样率对所述声音数据进行重采样,包括:
当所述第二终端支持NEON指令集时,通过所述NEON指令集,根据所述第二终端支持的采样率对所述声音数据进行重采样,所述NEON指令集为128位单指令多数据SIMD的扩展结构,所述NEON指令集用于加速对多媒体信息的处理。
5.如权利要求2所述的方法,其特征在于,所述通过帧缓冲FrameBuffer播放所述多媒体信息中的图像数据,包括:
当所述图像数据的帧率与所述第二终端支持的帧率不同时,根据所述第二终端支持的帧率对所述图像数据进行帧率转换;
通过所述FrameBuffer播放帧率转换后的图像数据。
6.如权利要求5所述的方法,其特征在于,所述根据所述第二终端支持的帧率对所述图像数据进行帧率转换,包括:
当所述第二终端支持NEON指令集时,通过所述NEON指令集,根据所述第二终端支持的帧率对所述图像数据进行帧率转换。
7.一种多媒体信息的分享装置,其特征在于,应用于第一终端中,所述装置包括:
确定模块,用于当接收到多媒体信息分享指令时,确定分享模式,所述分享模式为所述第一终端向所述第二终端分享多媒体信息的模式;所述分享模式包括质量模式和速度模式,所述质量模式为确保分享多媒体信息的质量的模式,所述速度模式为确保分享多媒体信息的效率的模式;
获取模块,用于获取ALSA中输出的数据从而得到所述第一终端的扬声器当前播放的声音数据,从FrameBuffer中获取所述第一终端的显示屏幕中当前显示的图像数据,进而得到所述第一终端当前播放的多媒体信息;
分享模块,用于当所述分享模式为质量模式时,基于传输控制协议TCP,通过WFD的底层多媒体传输功能将所述多媒体信息发送给所述第二终端;或,
当所述分享模式为速度模式时,基于用户数据报协议UDP,通过所述WFD的底层多媒体传输功能将所述多媒体信息发送给所述第二终端;
所述第二终端用于当所述分享模式为质量模式,且当前播放的所述声音数据的显示时间戳与当前播放的所述图像数据的显示时间戳之间的差值大于或等于第一同步时差阈值时,确定当前播放所述多媒体信息音画不同步,对当前播放的所述图像数据进行修正,以使当前播放的所述声音数据的显示时间戳与当前播放的所述图像数据的显示时间戳之间的差值小于所述同步时差阈值,或者,所述第二终端用于当所述分享模式为速度模式,且当前播放的所述声音数据的显示时间戳与当前播放的所述图像数据的显示时间戳之间的差值大于或等于第二同步时差阈值时,确定当前播放所述多媒体信息音画不同步,对当前播放的所述图像数据进行修正,以使当前播放的所述声音数据的显示时间戳与当前播放的所述图像数据的显示时间戳之间的差值小于所述同步时差阈值,其中第一同步时差阈值小于第二同步时差阈值。
8.一种多媒体信息的分享装置,其特征在于,应用于第二终端中,所述装置包括:
接收模块,用于接收第一终端按照分享模式分享的多媒体信息,所述分享模式为所述第一终端向所述第二终端分享多媒体信息的模式,所述分享模式包括质量模式和速度模式,所述质量模式为确保分享多媒体信息的质量的模式,所述速度模式为确保分享多媒体信息的效率的模式,当所述分享模式为质量模式时,接收第一终端基于传输控制协议TCP,通过WFD的底层多媒体传输功能发送的所述多媒体信息,当所述分享模式为速度模式时,接收第一终端基于用户数据报协议UDP,通过所述WFD的底层多媒体传输功能发送的所述多媒体信息,所述多媒体信息是ALSA中获取的所述第一终端的扬声器当前播放的声音数据和FrameBuffer中获取的所述第一终端的显示屏幕中当前显示的图像数据中的至少一个;
第一播放模块,用于通过高级Linux声音架构ALSA播放所述多媒体信息中的声音数据;
第二播放模块,用于通过帧缓冲FrameBuffer播放所述多媒体信息中的图像数据;
用于当所述分享模式为质量模式,且当前播放的所述声音数据的显示时间戳与当前播放的所述图像数据的显示时间戳之间的差值大于或等于第一同步时差阈值时,确定当前播放所述多媒体信息音画不同步,对当前播放的所述图像数据进行修正,以使当前播放的所述声音数据的显示时间戳与当前播放的所述图像数据的显示时间戳之间的差值小于所述同步时差阈值,或者,所述第二终端用于当所述分享模式为速度模式,且当前播放的所述声音数据的显示时间戳与当前播放的所述图像数据的显示时间戳之间的差值大于或等于第二同步时差阈值时,确定当前播放所述多媒体信息音画不同步,对当前播放的所述图像数据进行修正,以使当前播放的所述声音数据的显示时间戳与当前播放的所述图像数据的显示时间戳之间的差值小于所述同步时差阈值,其中第一同步时差阈值小于第二同步时差阈值。
9.如权利要求8所述的装置,其特征在于,所述第一播放模块包括:
采样子模块,用于当所述声音数据的采样率与所述第二终端支持的采样率不同时,根据所述第二终端支持的采样率对所述声音数据进行重采样;
第一播放子模块,用于通过所述ALSA播放重采样后的声音数据。
10.如权利要求9所述的装置,其特征在于,所述采样子模块还用于:
当所述第二终端支持NEON指令集时,通过所述NEON指令集,根据所述第二终端支持的采样率对所述声音数据进行重采样,所述NEON指令集为128位单指令多数据SIMD的扩展结构,所述NEON指令集用于加速对多媒体信息的处理。
11.如权利要求9所述的装置,其特征在于,所述第二播放模块,包括:
转换子模块,用于当所述图像数据的帧率与所述第二终端支持的帧率不同时,根据所述第二终端支持的帧率对所述图像数据进行帧率转换;
第二播放子模块,用于通过所述FrameBuffer播放帧率转换后的图像数据。
12.如权利要求11所述的装置,其特征在于,所述转换子模块还用于:
当所述第二终端支持NEON指令集时,通过所述NEON指令集,根据所述第二终端支持的帧率对所述图像数据进行帧率转换。
13.一种多媒体信息的分享装置,其特征在于,应用于第一终端中,所述装置包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
当接收到多媒体信息分享指令时,确定分享模式,所述分享模式为所述第一终端向所述第二终端分享多媒体信息的模式,所述分享模式包括质量模式和速度模式,所述质量模式为确保分享多媒体信息的质量的模式,所述速度模式为确保分享多媒体信息的效率的模式;
当所述分享模式为质量模式时,基于传输控制协议TCP,通过WFD的底层多媒体传输功能将所述多媒体信息发送给所述第二终端;或,
当所述分享模式为速度模式时,基于用户数据报协议UDP,通过所述WFD的底层多媒体传输功能将所述多媒体信息发送给所述第二终端;
按照所述分享模式,通过WFD的底层多媒体传输功能将所述多媒体信息分享给所述第二终端;
获取所述多媒体信息,所述多媒体信息是ALSA中获取的所述第一终端的扬声器当前播放的声音数据和FrameBuffer中获取的所述第一终端的显示屏幕中当前显示的图像数据中的至少一个;
所述第二终端用于当所述分享模式为质量模式,且当前播放的所述声音数据的显示时间戳与当前播放的所述图像数据的显示时间戳之间的差值大于或等于第一同步时差阈值时,确定当前播放所述多媒体信息音画不同步,对当前播放的所述图像数据进行修正,以使当前播放的所述声音数据的显示时间戳与当前播放的所述图像数据的显示时间戳之间的差值小于所述同步时差阈值,或者,所述第二终端用于当所述分享模式为速度模式,且当前播放的所述声音数据的显示时间戳与当前播放的所述图像数据的显示时间戳之间的差值大于或等于第二同步时差阈值时,确定当前播放所述多媒体信息音画不同步,对当前播放的所述图像数据进行修正,以使当前播放的所述声音数据的显示时间戳与当前播放的所述图像数据的显示时间戳之间的差值小于所述同步时差阈值,其中第一同步时差阈值小于第二同步时差阈值。
14.一种多媒体信息的分享装置,其特征在于,应用于第二终端中,所述装置包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
接收第一终端按照分享模式分享的多媒体信息,所述分享模式为所述第一终端向所述第二终端分享多媒体信息的模式,所述分享模式包括质量模式和速度模式,所述质量模式为确保分享多媒体信息的质量的模式,所述速度模式为确保分享多媒体信息的效率的模式,当所述分享模式为质量模式时,接收第一终端基于传输控制协议TCP,通过WFD的底层多媒体传输功能发送的所述多媒体信息,当所述分享模式为速度模式时,接收第一终端基于用户数据报协议UDP,通过所述WFD的底层多媒体传输功能发送的所述多媒体信息,所述多媒体信息是ALSA中获取的所述第一终端的扬声器当前播放的声音数据和FrameBuffer中获取的所述第一终端的显示屏幕中当前显示的图像数据中的至少一个;
通过高级Linux声音架构ALSA播放所述多媒体信息中的声音数据;
通过帧缓冲FrameBuffer播放所述多媒体信息中的图像数据;
所述处理器还被配置为:当所述分享模式为质量模式,且当前播放的所述声音数据的显示时间戳与当前播放的所述图像数据的显示时间戳之间的差值大于或等于第一同步时差阈值时,确定当前播放所述多媒体信息音画不同步,对当前播放的所述图像数据进行修正,以使当前播放的所述声音数据的显示时间戳与当前播放的所述图像数据的显示时间戳之间的差值小于所述同步时差阈值,或者,所述第二终端用于当所述分享模式为速度模式,且当前播放的所述声音数据的显示时间戳与当前播放的所述图像数据的显示时间戳之间的差值大于或等于第二同步时差阈值时,确定当前播放所述多媒体信息音画不同步,对当前播放的所述图像数据进行修正,以使当前播放的所述声音数据的显示时间戳与当前播放的所述图像数据的显示时间戳之间的差值小于所述同步时差阈值,其中第一同步时差阈值小于第二同步时差阈值。
CN201611180088.5A 2016-12-19 2016-12-19 多媒体信息的分享方法及装置 Active CN106792024B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611180088.5A CN106792024B (zh) 2016-12-19 2016-12-19 多媒体信息的分享方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611180088.5A CN106792024B (zh) 2016-12-19 2016-12-19 多媒体信息的分享方法及装置

Publications (2)

Publication Number Publication Date
CN106792024A CN106792024A (zh) 2017-05-31
CN106792024B true CN106792024B (zh) 2020-07-03

Family

ID=58890617

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611180088.5A Active CN106792024B (zh) 2016-12-19 2016-12-19 多媒体信息的分享方法及装置

Country Status (1)

Country Link
CN (1) CN106792024B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107465606A (zh) * 2017-09-18 2017-12-12 刘柏铄 多媒体信息共享方法、系统和存储设备
CN109275130A (zh) * 2018-09-13 2019-01-25 锐捷网络股份有限公司 一种投屏方法、装置及存储介质
CN109660842B (zh) * 2018-11-14 2021-06-15 华为技术有限公司 一种播放多媒体数据的方法及电子设备
CN113099438A (zh) * 2021-03-25 2021-07-09 深圳市铭博达科技有限公司 一种基于ip网络连接的无线屏幕镜像方法及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103582165A (zh) * 2012-08-07 2014-02-12 中国移动通信集团公司 连接建立方法、设备及系统、数据传输方法、设备及系统
CN104159139A (zh) * 2014-08-25 2014-11-19 小米科技有限责任公司 多媒体同步方法及装置
CN105046618A (zh) * 2015-07-29 2015-11-11 上海涵予健康管理咨询有限公司 基于云计算的健康信息管理o2o网络平台
CN105979312A (zh) * 2016-07-13 2016-09-28 腾讯科技(深圳)有限公司 一种信息分享方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI277322B (en) * 2003-12-12 2007-03-21 Via Tech Inc Switch capable of controlling data packet transmission and related method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103582165A (zh) * 2012-08-07 2014-02-12 中国移动通信集团公司 连接建立方法、设备及系统、数据传输方法、设备及系统
CN104159139A (zh) * 2014-08-25 2014-11-19 小米科技有限责任公司 多媒体同步方法及装置
CN105046618A (zh) * 2015-07-29 2015-11-11 上海涵予健康管理咨询有限公司 基于云计算的健康信息管理o2o网络平台
CN105979312A (zh) * 2016-07-13 2016-09-28 腾讯科技(深圳)有限公司 一种信息分享方法及装置

Also Published As

Publication number Publication date
CN106792024A (zh) 2017-05-31

Similar Documents

Publication Publication Date Title
EP3046309B1 (en) Method, device and system for projection on screen
US20170304735A1 (en) Method and Apparatus for Performing Live Broadcast on Game
EP3276976A1 (en) Method, apparatus, host terminal, server and system for processing live broadcasting information
CN106506448B (zh) 直播显示方法、装置及终端
WO2017219347A1 (zh) 直播显示方法、装置及系统
US9961393B2 (en) Method and device for playing multimedia file
CN111314768A (zh) 投屏方法、投屏装置、电子设备以及计算机可读存储介质
WO2017181551A1 (zh) 视频处理方法及装置
KR20160022286A (ko) 동영상 정보를 공유하는 방법, 장치, 프로그램 및 기록매체
CN107526591B (zh) 切换直播间类型的方法和装置
CN106792024B (zh) 多媒体信息的分享方法及装置
CN112114765A (zh) 投屏方法、装置及存储介质
CN111343476A (zh) 视频共享方法、装置、电子设备及存储介质
US11146854B2 (en) Method for playing videos and electronic device
CN113365153B (zh) 数据分享方法、装置、存储介质及电子设备
CN111583952A (zh) 音频处理方法、装置、电子设备及存储介质
CN111343477A (zh) 数据传输方法、装置、电子设备及存储介质
CN111182328B (zh) 一种视频剪辑方法、装置、服务器、终端及存储介质
CN108616719B (zh) 监控视频展示的方法、装置及系统
CN107272896B (zh) Vr模式与非vr模式之间切换的方法及装置
CN112291631A (zh) 信息获取方法、装置、终端及存储介质
CN112910592B (zh) 时钟同步方法及装置、终端及存储介质
CN110992920A (zh) 直播合唱方法、装置、电子设备及存储介质
CN111355973B (zh) 数据播放方法、装置、电子设备及存储介质
CN110213531B (zh) 监控录像处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant