CN116418942A - 基于浏览器的音视频处理方法、装置、电子设备及介质 - Google Patents

基于浏览器的音视频处理方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN116418942A
CN116418942A CN202111646049.0A CN202111646049A CN116418942A CN 116418942 A CN116418942 A CN 116418942A CN 202111646049 A CN202111646049 A CN 202111646049A CN 116418942 A CN116418942 A CN 116418942A
Authority
CN
China
Prior art keywords
audio
video
browser
processing unit
decoding processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111646049.0A
Other languages
English (en)
Inventor
陈浩
董缘缘
汤晓斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Uniview Technologies Co Ltd
Original Assignee
Zhejiang Uniview Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Uniview Technologies Co Ltd filed Critical Zhejiang Uniview Technologies Co Ltd
Priority to CN202111646049.0A priority Critical patent/CN116418942A/zh
Publication of CN116418942A publication Critical patent/CN116418942A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4782—Web browsing, e.g. WebTV
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明实施例中公开了一种基于浏览器的音视频处理方法、装置、电子设备及介质。该方法包括：在浏览器页面上预留用于显示音视频信息的音视频区域；将音视频解码处理单元的音视频显示窗格调整到预留的音视频区域中；浏览器与音视频解码处理单元运行于同一设备，且音视频解码处理单元未运行于浏览器上；通过调整到音视频区域的音视频显示窗格进行音视频播放。采用本申请方案，可通过独立于浏览器的音视频解码处理单元解码音视频数据，并将解码后的音视频显示窗格调整到浏览器的音视频区域中进行音视频播放，解决了浏览器解码类型有限和内存有限的问题，无需安装解码插件和向浏览器回传解码数据，减少了网络资源浪费和对浏览器内存消耗的浪费。

Description

基于浏览器的音视频处理方法、装置、电子设备及介质
技术领域
本发明实施例涉及视频监控技术领域，尤其涉及一种基于浏览器的音视频处理方法、装置、电子设备及介质。
背景技术
目前，在音视频监控场景下，用户可以在浏览器上通过访问网络视频录像机(Network Video Recorder，NVR)等前端设备的IP地址来查看监控音视频信息等。但是，由于主流的浏览器已逐步取消对ActiveX和NPAPI插件的支持，而浏览器自身的解码类型又有限，同时通过本地解码单元解码后将音视频数据传回浏览器进行渲染显示的方式对网络资源的消耗又很大。因此，如何通过浏览器高效地播放音视频资源变得极为重要。
发明内容
本发明实施例中提供了一种基于浏览器的音视频处理方法、装置、电子设备及介质，以实现通过进程交互的原理在浏览器上进行本地音视频解码播放。
第一方面，本发明实施例中提供了一种基于浏览器的音视频处理方法，该方法包括：
在浏览器页面上预留用于显示音视频信息的音视频区域；
将音视频解码处理单元的音视频显示窗格调整到预留的音视频区域中；所述浏览器与所述音视频解码处理单元运行于同一设备，且所述音视频解码处理单元未运行于所述浏览器上；
通过调整到所述音视频区域的音视频显示窗格进行音视频播放。
第二方面，本发明实施例中还提供了一种基于浏览器的音视频处理装置，包括：
音视频区域预留模块，用于在浏览器页面上预留用于显示音视频信息的音视频区域；
显示窗格适配模块，用于将音视频解码处理单元的音视频显示窗格调整到预留的音视频区域中；所述浏览器与所述音视频解码处理单元运行于同一设备，且所述音视频解码处理单元未运行于所述浏览器上；
音视频播放模块，用于通过调整到所述音视频区域的音视频显示窗格进行音视频播放。
第三方面，本发明实施例中还提供了一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例中提供的基于浏览器的音视频处理方法。
第四方面，本发明实施例中还提供了一种介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例中提供的基于浏览器的音视频处理方法。
本发明实施例中提供了一种基于浏览器的音视频处理方法，在浏览器页面上预留用于显示音视频信息的音视频区域，然后将音视频解码处理单元的音视频显示窗格调整到预留的音视频区域中，其中浏览器与音视频解码处理单元运行于同一设备，且音视频解码处理单元未运行于浏览器上，再通过调整到音视频区域的音视频显示窗格进行音视频播放。采用本申请技术方案，可通过独立于浏览器进程的音视频解码处理单元对音视频数据进行解码，并通过将解码后的音视频显示窗格调整到浏览器预留的音视频区域中实现音视频播放，有效解决了浏览器解码类型有限和浏览器内存有限的问题，无需在浏览器中安装音视频解码插件，且无需将解码后的数据发送给浏览器进行渲染，从而大大减少了网络资源的浪费和对浏览器内存的消耗的浪费。
上述发明内容仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1是本发明实施例中提供的一种基于浏览器的音视频处理方法的流程图；
图2是本发明实施例中提供的另一种基于浏览器的音视频处理方法的流程图；
图3是本发明实施例中提供的一种数据传输的示意图；
图4是本发明实施例中提供的一种基于浏览器的音视频处理装置的结构框图；
图5是本发明实施例中提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
下面通过以下实施例及各实施例的可选技术方案对基于浏览器的音视频处理方法、装置、电子设备及介质进行详细阐述。
图1是本发明实施例中提供的一种基于浏览器的音视频处理方法的流程图。本发明实施例可适用于通过进程交互的原理在浏览器上进行本地音视频解码播放的情况。该方法可由基于浏览器的音视频处理装置执行，该装置可采用软件和/或硬件的方式实现，并集成在任何具有网络通信功能的电子设备上。例如，该电子设备可包括但不限于解码设备、计算机设备以及服务器等。
如图1所示，本发明实施例中提供的基于浏览器的音视频处理方法，可包括以下步骤S110-S130：
S110、在浏览器页面上预留用于显示音视频信息的音视频区域。
在本实施例中，在需要进行音视频播放的页面中，浏览器可以在音视频播放位置预留出一定大小的音视频区域，用以显示音视频信息。其中，音视频区域的位置和大小不是固定不变的，可以由浏览器根据实际播放需求对预留的音视频区域做出调整。
S120、将音视频解码处理单元的音视频显示窗格调整到预留的音视频区域中；浏览器与音视频解码处理单元运行于同一设备，且音视频解码处理单元未运行于浏览器上。
其中，音视频解码处理单元可以是指一种对音视频流进行解码并将解码后的数据渲染展示的可执行exe文件。在本实施例中，可以通过音视频解码处理单元对音视频数据进行解码处理，并在音视频解码处理单元中的音视频显示窗格中对解码后的音视频进行播放。进而可以根据浏览器页面预留的音视频区域的位置，将音视频解码处理单元中的音视频显示窗格拖拽至浏览器的音视频区域中，以实现在浏览器页面上进行音视频播放。其中，浏览器与音视频解码处理单元运行于同一设备，且音视频解码处理单元未运行于浏览器上。
在本实施例中，当用户访问浏览器时，可以自动提示用户下载并安装音视频解码处理单元到浏览器本地。需要说明的是，音视频解码处理单元并不属于浏览器，且音视频解码处理单元和浏览器是两个相互独立运行的进程，仅是将音视频显示窗格的显示位置调整到音视频区域所在位置去显示，并且在显示时覆盖在音视频区域上，给人一种由浏览器的音视频区域进行内容显示的沉浸式显示感觉。
S130、通过调整到音视频区域的音视频显示窗格进行音视频播放。
在本实施例中，可以通过浏览器将预留的音视频区域信息发送给音视频解码处理单元，进而可以将音视频解码处理单元的音视频显示窗格拖拽至音视频区域的音视频显示窗格，从而实现在浏览器中进行音视频播放。其中，音视频区域信息可以包括音视频区域的位置信息以及尺寸信息。
具体的，通过浏览器将预留的音视频区域的位置信息和尺寸信息发送给音视频解码处理单元，当音视频解码处理单元接收到浏览器的消息时，可以根据音视频区域的位置信息和尺寸信息调整音视频解码处理单元的音视频显示窗格，使其以预留尺寸展示在浏览器预留位置的音视频区域中。
需要说明的是，本方案是通过独立于浏览器的音视频解码处理单元对音视频数据进行解码，并通过音视频解码处理单元中的音视频显示窗格播放解码后的音视频。整个解码过程未在浏览器上运行，也不需要将解码后的音视频数据传输给浏览器，仅仅是通过进程通信调整音视频解码处理单元位置与浏览器预留的音视频区域重合，从而营造出一种通过浏览器播放任何格式音视频的效果。
本发明实施例中提供了一种基于浏览器的音视频处理方法，采用本申请方案，可以通过独立于浏览器进程的音视频解码处理单元对音视频数据进行解码，并通过将解码后的音视频显示窗格调整到浏览器预留的音视频区域中实现音视频播放，有效解决了浏览器解码类型有限和浏览器内存有限的问题，无需在浏览器中安装音视频解码插件，且无需将解码后的数据发送给浏览器进行渲染，从而大大减少了网络资源的浪费和对浏览器内存的消耗的浪费。
在上述实施例的基础上，可选地，在通过调整到音视频区域的音视频显示窗格进行音视频播放之后，还可包括以下步骤A1-A2：
步骤A1、确定对音视频区域的音视频显示窗格的窗格调整信息；窗格调整信息指示对音视频显示窗格进行尺寸调整、位置调整、裁剪以及启动控制。
其中，窗格调整信息可以包括窗格的尺寸信息、位置信息、裁剪信息以及启动调整信息等，可以分别用于对音视频显示窗格进行尺寸调整、位置调整、裁剪以及启动控制。
在本实施例中，当用户对浏览器进行缩放等操作时，或者浏览器页面元素需要展示的区域被音视频解码处理单元覆盖时，以及当浏览器页面无需进行音视频播放或者浏览器页面直接关闭时，可以对音视频显示窗格进行适应性调整，此时首先需要获得对应的窗格调整信息。其中，页面元素可以是指显示在浏览器页面上的对象，例如页面元素可以是提示弹窗。
可以理解的是，当用户对浏览器进行缩放等操作时，浏览器页面上预留的音视频区域的位置和尺寸会发生相应变化。当页面元素需要展示在音视频解码处理单元覆盖的浏览器音视频区域时，可以通过剪裁覆盖区域使页面元素显示在浏览器上。此外，当浏览器切换到没有音视频播放的界面或者直接关闭页面时，可以直接关闭音视频解码处理单元的音视频显示窗格。
步骤A2、向音视频解码处理单元发送窗格调整信息，以使音视频解码处理单元按窗格调整信息对音视频区域内的音视频显示窗格进行调整。
在本实施例中，可以通过浏览器向音视频解码处理单元发送窗格调整信息，并由音视频解码处理单元依据窗格调整信息实现对音视频区域内的音视频显示窗格的调整。具体的，当用户对浏览器进行缩放等操作时，可以通过浏览器向音视频解码处理单元重新发送音视频区域内的音视频显示窗格的位置、尺寸及启动调整信息，并通过音视频解码处理单元根据启动调整信息开启窗格调整，同时根据位置和尺寸信息更新音视频区域内的音视频显示窗格的位置和尺寸。
当页面元素需要展示在音视频解码处理单元覆盖的区域时，可以通过浏览器获得遮挡住页面元素区域的位置及尺寸，并将遮挡区域的位置、尺寸及启动调整信息发送给音视频解码处理单元，再由音视频解码处理单元根据启动调整信息开启窗格调整，同时根据遮挡区域的位置以及尺寸信息以修改音视频显示窗格尺寸的方式将窗格遮挡的区域裁减掉。如果想要为整个页面增加遮罩，则需要将整个音视频显示窗格裁剪掉。
当浏览器切换到没有音视频播放的界面或者直接关闭页面时，可以通过浏览器向音视频解码处理单元发送启动调整信息，指示音视频解码处理单元关闭音视频显示窗格，以防遮挡其他页面信息展示。
在本实施例中，可选地，窗格调整信息包括对音视频显示窗格中局部窗格进行裁剪的调整信息；局部窗格基于被音视频显示窗格遮挡的浏览器页面元素相对音视频显示窗格的位置与尺寸确定。
在本实施例中，可以根据被音视频显示窗格遮挡的浏览器页面元素相对于音视频显示窗格的位置和尺寸确定局部窗格。具体的，可以通过浏览器获得页面元素的位置和尺寸信息，以及音视频区域内的音视频显示窗格的位置和尺寸信息，进而根据所获信息综合计算出遮挡住页面元素区域的位置及尺寸信息，从而确定出局部窗格。
采用上述可选实施方案的好处在于，可以响应于用户对浏览器的操作以及浏览器页面元素的显示需求，通过音视频解码处理单元对音视频区域内的音视频显示窗格做出灵活调整，以更好满足音视频播放需求。
在上述实施例的基础上，可选地，在通过调整到音视频区域的音视频显示窗格进行音视频播放之后，还可包括以下步骤B1-B2：
步骤B1、控制音视频解码处理单元开启绘图使能，并获取在音视频显示窗格上绘制的图形。
在本实施例中，当用户在浏览器页面开启绘图功能时，可以通过浏览器向音视频解码处理单元发送消息使之开启绘图使能。在绘图使能开启后，用户就可以使用鼠标在音视频解码处理单元的音视频显示窗格上绘制相应的图形。在完成图形绘制后，可以通过音视频解码处理单元将绘制好的图形数据信息上报给浏览器，再由浏览器对该图形数据进行处理。
步骤B2、将绘制图形对应的区域位置发送给目标前端设备，以使目标前端设备对区域位置的音视频码流数据进行定向标记。
其中，目标前端设备可以是发送音视频数据信息的设备到音视频解码处理单元进行处理的设备，例如目标前端设备可以是NVR设备等。在本实施例中，在浏览器对图形数据进行处理之后，可将处理后的结果发送至目标前端设备，同时可以通过浏览器获取绘制图形所对应的区域位置，并将该区域位置发送给目标前端设备，以使目标前端设备对区域位置的音视频码流数据进行定向标记。
采用上述可选实施方案的好处在于，可以响应用户对浏览器的操作，通过音视频解码处理单元开启绘图使能，以使用户完成绘图操作，从而能够更好地满足用户绘图需求。
图2是本发明实施例中提供的另一种基于浏览器的音视频处理方法的流程图，本发明实施例在上述实施例的基础上对前述实施例中S120和S130的步骤进一步优化，本发明实施例可以与上述一个或者多个实施例中各个可选方案结合。如图2所示，本实施例中提供的基于浏览器的音视频处理方法，可包括以下步骤S210-S240：
S210、在浏览器页面上预留用于显示音视频信息的音视频区域。
S220、在浏览器与音视频解码处理单元之间进行即时通信连接；其中，浏览器与音视频解码处理单元运行于同一设备，且音视频解码处理单元未运行于浏览器上；即时通信连接包括采用WebSocket协议建立的通信连接。
其中，WebSocket协议可以是指一种在单个TCP连接上进行全双工通信的协议。在本实施例中，可以通过WebSocket协议建立浏览器与音视频解码处理单元之间的即时通信连接。
图3是本发明实施例中提供的一种数据传输的示意图。其中，RTSP(Real TimeStreaming Protocol)可以是指一种实时流传输协议。如图3所示，浏览器和目标前端设备之间通过HTTP协议进行数据传递，浏览器和音视频解码处理单元之间通过WebSocket协议建立连接进行双向通信，而音视频解码处理单元通过RTSP协议与目标前端设备建立连接以获取音视频流。需要说明的是，目标前端设备与音视频解码处理单元之间的信息交互，除接收音视频流之外，其他都需要经过浏览器作为中间介质。
在本实施例的一种可选方式中，在浏览器与音视频解码处理单元之间进行即时通信连接，可包括以下步骤C1-C2：
步骤C1、若检测到即时通信连接失败或者失败次数满足预设条件，则确定音视频解码处理单元处于未唤醒状态。
其中，预设条件可以是指预先设定的即时通信连接失败的条件。示例性的，可以通过设定失败次数阈值，进而将预设条件设置为即时通信连接失败的次数达到失败次数阈值。
在本实施例中，当用户访问浏览器界面时，可以触发浏览器通过WebSocket协议与音视频解码处理单元建立连接，并可通过连接建立成功与否判断音视频解码处理单元是否被唤醒。当检测到即时通信连接失败或失败次数满足预设条件时，可以确定音视频解码处理单元处于未唤醒状态。
步骤C2、若确定音视频解码处理单元处于未唤醒状态，则主动唤醒音视频解码处理单元并继续控制浏览器与音视频解码处理单元进行即时通信连接。
在本实施例中，当确定音视频解码处理单元处于未唤醒状态时，可以通过浏览器对音视频解码处理单元进行主动唤醒，并继续使用WebSocket协议在音视频解码处理单元和浏览器之间建立即时通信连接。
采用上述可选实施方案的好处在于，可以在音视频解码处理单元处于未唤醒状态时，通过浏览器主动唤醒音视频解码处理单元，从而实现浏览器与音视频解码处理单元之间的即时通信连接。
S230、在建立即时通信连接后，向音视频解码处理单元发送音视频区域的位置与尺寸信息，以使音视频解码处理单元将对应的音视频显示窗格调整到音视频区域中进行配置展示。
在本实施例中，当通过WebSocket协议连接成功建立浏览器与音视频解码处理单元之间的即时通信连接之后，浏览器可以通过WebSocket请求向音视频解码处理单元发送音视频区域的位置与尺寸信息，以使音视频解码处理单元可根据位置与尺寸信息对音视频显示窗格调整到音视频区域中进行展示。此外，浏览器还可以通过WebSocket请求对音视频解码处理单元进行控制，例如可以控制音视频解码处理单元的显示隐藏、定位、裁剪以及绘图等功能。
S240、通过调整到音视频区域的音视频显示窗格进行音视频播放。
本发明实施例中提供了一种基于浏览器的音视频处理方法，采用本申请方案，可以通过WebSocket协议建立浏览器与音视频解码处理单元之间的即时通信连接，并在音视频解码处理单元处于未唤醒状态时通过浏览器进行主动唤醒，进而可以通过独立于浏览器进程的音视频解码处理单元对音视频数据进行解码，并将解码后的音视频显示窗格调整到浏览器预留的音视频区域中实现音视频播放，有效解决了浏览器解码类型有限和浏览器内存有限的问题，无需在浏览器中安装音视频解码插件，且无需将解码后的数据发送给浏览器，从而大大减少了网络资源的浪费和对浏览器内存的消耗的浪费。
在本实施例的一种可选方式中，通过调整到音视频区域的音视频显示窗格进行音视频播放，可包括以下步骤D1-D2：
步骤D1、向目标前端设备发送目标地址与目标端口；其中目标地址与目标端口包括音视频解码处理单元提供的计划接收目标前端设备的音视频码流的IP地址与空闲端口。
在本实施例中，当用户通过浏览器进行音视频播放等操作时，浏览器首先可以通过HTTP消息把音视频解码处理单元准备接收音视频码流的IP地址和空闲端口传递给目标前端设备，并且通知目标前端设备准备好音视频码流。进而可以通过浏览器获取到目标前端设备发出的音视频播放的会话ID，同时可通过WebSocket消息把会话ID和播放音视频需要的数据传递给音视频解码处理单元，此时音视频解码处理单元已经开始监听传递给目标前端设备的空闲端口。随后，可以通过目标前端设备向音视频解码处理单元指定的IP地址和空闲端口发送音视频码流数据。
步骤D2、通过音视频解码处理单元，获取由目标前端设备按目标地址与目标端口发送的目标音视频码流数据以及解码后播放在音视频区域的音视频显示窗格。
在本实施例中，可以通过音视频解码处理单元获取由目标前端设备按目标地址与目标端口发送的目标音视频码流数据，当接收到音视频码流数据之后，可以对该数据流进行解码，并且在音视频解码处理单元对解码后的音视频进行播放显示。进而可以将音视频解码处理单元的音视频显示窗格放置于浏览器的音视频区域中，给用户一种在浏览器的音视频显示窗格中播放音视频的感觉。
可选的，通过音视频解码处理单元，获取由目标前端设备按目标地址与端口发送的目标音视频码流数据，可包括以下步骤：将从目标前端设备获取的目标音视频码流数据的会话标识信息以及音视频播放关键信息，发送给音视频解码处理单元；通过音视频解码处理单元对目标端口进行监听，并在监听到码流数据时接收由目标前端设备按目标地址与目标端口发送的目标音视频码流数据。
其中，会话标识信息可用于对目标音视频码流数据进行标识，以精准识别对应的目标音视频码流数据。关键信息可以包括音视频播放的时长以及格式等。在本实施例中，可以通过目标前端设备获取到目标音视频码流数据的会话标识信息以及音视频播放关键信息，并将其发送给音视频解码处理单元的目标地址与目标端口。当音视频解码处理单元监听到目标端口出现码流数据时，将会接收由目标前端设备发送的目标音视频码流数据。
采用上述可选实施方案的好处在于，可以将目标音视频码流数据发送至指定的地址和端口，并通过音视频解码处理单元对目标端口进行监听，确保目标音视频码流数据能够成功被接收。
图4是本发明实施例中提供的一种基于浏览器的音视频处理装置的结构框图。本发明实施例可适用于通过进程交互的原理在浏览器上进行本地音视频解码播放的情况。该装置可采用软件和/或硬件的方式实现，并集成在任何具有网络通信功能的电子设备上。如图4所示，本发明实施例中提供的基于浏览器的音视频处理装置，可包括以下内容：音视频区域预留模块410、显示窗格适配模块420和音视频播放模块430。其中：
音视频区域预留模块410，用于在浏览器页面上预留用于显示音视频信息的音视频区域；
显示窗格适配模块420，用于将音视频解码处理单元的音视频显示窗格调整到预留的音视频区域中；所述浏览器与所述音视频解码处理单元运行于同一设备，且所述音视频解码处理单元未运行于所述浏览器上；
音视频播放模块430，用于通过调整到所述音视频区域的音视频显示窗格进行音视频播放。
在上述实施例的基础上，可选地，所述显示窗格适配模块420包括：
即时通信连接单元，用于在浏览器与音视频解码处理单元之间进行即时通信连接；所述即时通信连接包括采用WebSocket协议建立的通信连接；
显示窗格适配单元，用于在建立即时通信连接后，向所述音视频解码处理单元发送所述音视频区域的位置与尺寸信息，以使所述音视频解码处理单元将对应的音视频显示窗格调整到所述音视频区域中进行配置展示。
在上述实施例的基础上，可选地，所述即时通信连接单元包括：
若检测到即时通信连接失败或者失败次数满足预设条件，则确定所述音视频解码处理单元处于未唤醒状态；
若确定音视频解码处理单元处于未唤醒状态，则主动唤醒所述音视频解码处理单元并继续控制浏览器与所述音视频解码处理单元进行即时通信连接。
在上述实施例的基础上，可选地，所述音视频播放模块430包括：
目标信息发送单元，用于向目标前端设备发送目标地址与目标端口；其中所述目标地址与目标端口包括音视频解码处理单元提供的计划接收所述目标前端设备的音视频码流的IP地址与空闲端口；
数据处理单元，用于通过所述音视频解码处理单元，获取由目标前端设备按目标地址与目标端口发送的目标音视频码流数据以及解码后播放在音视频区域的音视频显示窗格。
在上述实施例的基础上，可选地，所述数据处理单元包括：
将从目标前端设备获取的目标音视频码流数据的会话标识信息以及音视频播放关键信息，发送给所述音视频解码处理单元；
通过所述音视频解码处理单元对所述目标端口进行监听，并在监听到码流数据时接收由目标前端设备按目标地址与目标端口发送的目标音视频码流数据。
在上述实施例的基础上，可选地，所述基于浏览器的音视频处理装置还包括：
窗格调整信息确定模块，用于在通过调整到所述音视频区域的音视频显示窗格进行音视频播放之后，确定对所述音视频区域的音视频显示窗格的窗格调整信息；所述窗格调整信息指示对音视频显示窗格进行尺寸调整、位置调整、裁剪以及启动控制；
显示窗格调整模块，用于向所述音视频解码处理单元发送所述窗格调整信息，以使所述音视频解码处理单元按所述窗格调整信息对所述音视频区域内的音视频显示窗格进行调整。
在上述实施例的基础上，可选地，所述窗格调整信息包括对音视频显示窗格中局部窗格进行裁剪的调整信息；所述局部窗格基于被所述音视频显示窗格遮挡的浏览器页面元素相对所述音视频显示窗格的位置与尺寸确定。
在上述实施例的基础上，可选地，所述基于浏览器的音视频处理装置还包括：
绘图获取模块，用于在通过调整到所述音视频区域的音视频显示窗格进行音视频播放之后，控制所述音视频解码处理单元开启绘图使能，并获取在所述音视频显示窗格上绘制的图形；
数据标记模块，用于将绘制图形对应的区域位置发送给目标前端设备，以使所述目标前端设备对所述区域位置的音视频码流数据进行定向标记。
本发明实施例中所提供的基于浏览器的音视频处理装置可执行上述本发明任意实施例中所提供的基于浏览器的音视频处理方法，具备执行该基于浏览器的音视频处理方法相应的功能和有益效果，详细过程参见前述实施例中基于浏览器的音视频处理方法的相关操作。
图5是本发明实施例中提供的一种电子设备的结构示意图。如图5所示结构，本发明实施例中提供的电子设备包括：一个或多个处理器510和存储装置520；该电子设备中的处理器510可以是一个或多个，图5中以一个处理器510为例；存储装置520用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器510执行，使得所述一个或多个处理器510实现如本发明实施例中任一项所述的基于浏览器的音视频处理方法。
该电子设备还可以包括：输入装置530和输出装置540。
该电子设备中的处理器510、存储装置520、输入装置530和输出装置540可以通过总线或其他方式连接，图5中以通过总线连接为例。
该电子设备中的存储装置520作为一种计算机可读存储介质，可用于存储一个或多个程序，所述程序可以是软件程序、计算机可执行程序以及模块，如本发明实施例中所提供的基于浏览器的音视频处理方法对应的程序指令/模块。处理器510通过运行存储在存储装置520中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述方法实施例中基于浏览器的音视频处理方法。
存储装置520可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储装置520可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置520可进一步包括相对于处理器510远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置530可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置540可包括显示屏等显示设备。
并且，当上述电子设备所包括一个或者多个程序被所述一个或者多个处理器510执行时，程序进行如下操作：
在浏览器页面上预留用于显示音视频信息的音视频区域；
将音视频解码处理单元的音视频显示窗格调整到预留的音视频区域中；所述浏览器与所述音视频解码处理单元运行于同一设备，且所述音视频解码处理单元未运行于所述浏览器上；
通过调整到所述音视频区域的音视频显示窗格进行音视频播放。
当然，本领域技术人员可以理解，当上述电子设备所包括一个或者多个程序被所述一个或者多个处理器510执行时，程序还可以进行本发明任意实施例中所提供的基于浏览器的音视频处理方法中的相关操作。
本发明实施例中提供了一种介质，其上存储有计算机程序，该程序被处理器执行时用于执行基于浏览器的音视频处理方法，该方法包括：
在浏览器页面上预留用于显示音视频信息的音视频区域；
将音视频解码处理单元的音视频显示窗格调整到预留的音视频区域中；所述浏览器与所述音视频解码处理单元运行于同一设备，且所述音视频解码处理单元未运行于所述浏览器上；
通过调整到所述音视频区域的音视频显示窗格进行音视频播放。
可选的，该程序被处理器执行时还可以用于执行本发明任意实施例中所提供的基于浏览器的音视频处理方法。
本发明实施例的计算机可读介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random AccessMemory，RAM)、只读存储器(Read Only Memory，ROM)、可擦式可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、闪存、光纤、便携式CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于：电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、无线电频率(RadioFrequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (11)

1.一种基于浏览器的音视频处理方法，其特征在于，所述方法包括：
在浏览器页面上预留用于显示音视频信息的音视频区域；
将音视频解码处理单元的音视频显示窗格调整到预留的音视频区域中；所述浏览器与所述音视频解码处理单元运行于同一设备，且所述音视频解码处理单元未运行于所述浏览器上；
通过调整到所述音视频区域的音视频显示窗格进行音视频播放。
2.根据权利要求1所述的方法，其特征在于，将音视频解码处理单元的音视频显示窗格调整到预留的音视频区域中，包括：
在浏览器与音视频解码处理单元之间进行即时通信连接；所述即时通信连接包括采用WebSocket协议建立的通信连接；
在建立即时通信连接后，向所述音视频解码处理单元发送所述音视频区域的位置与尺寸信息，以使所述音视频解码处理单元将对应的音视频显示窗格调整到所述音视频区域中进行配置展示。
3.根据权利要求2所述的方法，其特征在于，在浏览器与音视频解码处理单元之间进行即时通信连接，包括：
若检测到即时通信连接失败或者失败次数满足预设条件，则确定所述音视频解码处理单元处于未唤醒状态；
若确定音视频解码处理单元处于未唤醒状态，则主动唤醒所述音视频解码处理单元并继续控制浏览器与所述音视频解码处理单元进行即时通信连接。
4.根据权利要求1所述的方法，其特征在于，通过调整到所述音视频区域的音视频显示窗格进行音视频播放，包括：
向目标前端设备发送目标地址与目标端口；其中所述目标地址与目标端口包括音视频解码处理单元提供的计划接收所述目标前端设备的音视频码流的IP地址与空闲端口；
通过所述音视频解码处理单元，获取由目标前端设备按目标地址与目标端口发送的目标音视频码流数据以及解码后播放在音视频区域的音视频显示窗格。
5.根据权利要求4所述的方法，其特征在于，通过所述音视频解码处理单元，获取由目标前端设备按目标地址与端口发送的目标音视频码流数据，包括：
将从目标前端设备获取的目标音视频码流数据的会话标识信息以及音视频播放关键信息，发送给所述音视频解码处理单元；
通过所述音视频解码处理单元对所述目标端口进行监听，并在监听到码流数据时接收由目标前端设备按目标地址与目标端口发送的目标音视频码流数据。
6.根据权利要求1所述的方法，其特征在于，在通过调整到所述音视频区域的音视频显示窗格进行音视频播放之后，还包括：
确定对所述音视频区域的音视频显示窗格的窗格调整信息；所述窗格调整信息指示对音视频显示窗格进行尺寸调整、位置调整、裁剪以及启动控制；
向所述音视频解码处理单元发送所述窗格调整信息，以使所述音视频解码处理单元按所述窗格调整信息对所述音视频区域内的音视频显示窗格进行调整。
7.根据权利要求6所述的方法，其特征在于，所述窗格调整信息包括对音视频显示窗格中局部窗格进行裁剪的调整信息；所述局部窗格基于被所述音视频显示窗格遮挡的浏览器页面元素相对所述音视频显示窗格的位置与尺寸确定。
8.根据权利要求1所述的方法，其特征在于，在通过调整到所述音视频区域的音视频显示窗格进行音视频播放之后，还包括：
控制所述音视频解码处理单元开启绘图使能，并获取在所述音视频显示窗格上绘制的图形；
将绘制图形对应的区域位置发送给目标前端设备，以使所述目标前端设备对所述区域位置的音视频码流数据进行定向标记。
9.一种基于浏览器的音视频处理装置，其特征在于，所述装置包括：
音视频区域预留模块，用于在浏览器页面上预留用于显示音视频信息的音视频区域；
显示窗格适配模块，用于将音视频解码处理单元的音视频显示窗格调整到预留的音视频区域中；所述浏览器与所述音视频解码处理单元运行于同一设备，且所述音视频解码处理单元未运行于所述浏览器上；
音视频播放模块，用于通过调整到所述音视频区域的音视频显示窗格进行音视频播放。
10.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现权利要求1-8中任一所述的基于浏览器的音视频处理方法。
11.一种介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-8中任一所述的基于浏览器的音视频处理方法。
CN202111646049.0A 2021-12-30 2021-12-30 基于浏览器的音视频处理方法、装置、电子设备及介质 Pending CN116418942A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111646049.0A CN116418942A (zh) 2021-12-30 2021-12-30 基于浏览器的音视频处理方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111646049.0A CN116418942A (zh) 2021-12-30 2021-12-30 基于浏览器的音视频处理方法、装置、电子设备及介质

Publications (1)

Publication Number Publication Date
CN116418942A true CN116418942A (zh) 2023-07-11

Family

ID=87051478

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111646049.0A Pending CN116418942A (zh) 2021-12-30 2021-12-30 基于浏览器的音视频处理方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN116418942A (zh)

Similar Documents

Publication Publication Date Title
US20200252571A1 (en) Systems, methods, and media for presenting media content
US10524019B2 (en) Receiver, reception method, transmitter, transmission method, program and broadcasting system
US9285945B2 (en) Method and apparatus for displaying multi-task interface
US8661466B2 (en) Representation of online discussion in conjunction with primary visual content
US8813084B2 (en) Broadcast receiving apparatus and scheduling method thereof
CN110300320B (zh) 一种视频播放方法、装置、电子设备及存储介质
CN111277884A (zh) 视频播放方法及设备
CN112272417B (zh) 一种双蓝牙音响回连方法及显示设备
CN113064645B (zh) 一种开机界面控制方法及显示设备
CN112423009A (zh) 一种控制直播音频的方法及设备
CN113014939A (zh) 显示设备及播放方法
WO2017181966A1 (zh) 一种交互式网络电视业务的访问方法及装置、存储介质
CN112040309B (zh) 一种频道切换方法及显示设备
CN116418942A (zh) 基于浏览器的音视频处理方法、装置、电子设备及介质
JP2006033763A (ja) 電子機器及び通信制御方法
CN115278319A (zh) 一种投屏数据传输方法、装置、电子设备和存储介质
CN113542765B (zh) 一种媒体数据跳变续播方法及显示设备
CN114630136A (zh) 视频界面交互方法、装置、电子设备和计算机可读介质
JPWO2009011017A1 (ja) 情報配信システム、及び方法、情報配信装置、並びに受信装置
CN111147879B (zh) 直播节目缓存方法、系统、设备和计算机存储介质
CN112911359A (zh) 一种资源显示方法、显示设备及遥控器
US20130259451A1 (en) Information processing apparatus, information processing method, and computer program
CN113453063B (zh) 一种资源播放方法及显示设备
WO2022033153A1 (zh) 一种显示方法及显示设备
US20150026752A1 (en) Information processing method, information processing device, and information processing system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination