CN114885207A - 多媒体文件的渲染方法、装置、存储介质及电子装置 - Google Patents

多媒体文件的渲染方法、装置、存储介质及电子装置 Download PDF

Info

Publication number
CN114885207A
CN114885207A CN202210278699.2A CN202210278699A CN114885207A CN 114885207 A CN114885207 A CN 114885207A CN 202210278699 A CN202210278699 A CN 202210278699A CN 114885207 A CN114885207 A CN 114885207A
Authority
CN
China
Prior art keywords
multimedia file
identification information
native layer
multimedia
rendering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210278699.2A
Other languages
English (en)
Other versions
CN114885207B (zh
Inventor
李蜜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Haier Technology Co Ltd
Haier Smart Home Co Ltd
Original Assignee
Qingdao Haier Technology Co Ltd
Haier Smart Home Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Haier Technology Co Ltd, Haier Smart Home Co Ltd filed Critical Qingdao Haier Technology Co Ltd
Priority to CN202210278699.2A priority Critical patent/CN114885207B/zh
Publication of CN114885207A publication Critical patent/CN114885207A/zh
Application granted granted Critical
Publication of CN114885207B publication Critical patent/CN114885207B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440227—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8166—Monomedia components thereof involving executable data, e.g. software
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8352—Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请公开了一种多媒体文件的渲染方法、装置、存储介质及电子装置，涉及应用开发技术领域，该多媒体文件的渲染方法包括：确定接收到的获取指令中包括的第一标识信息，其中，第一标识信息用于标识多媒体文件；将第一标识信息传递到原生层，在原生层中基于第一标识信息获取多媒体文件，其中，原生层存储有多媒体文件；在接收到预览指令的情况下，在移动应用软件开发工具包中渲染在原生层中获取的多媒体文件。通过本发明，解决了相关技术中存在的多媒体文件预览速度慢，用户体验差的问题，提高了预览多媒体文件的速度，提升了用户体验。

Description

多媒体文件的渲染方法、装置、存储介质及电子装置
技术领域
本申请涉及应用开发技术领域，具体而言，涉及一种多媒体文件的渲染方法、装置、存储介质及电子装置。
背景技术
在应用app的flutter相册package中，目前的相册库在进行多媒体预览，如视频预览的时候，加载慢，若视频较长，首次进入视频预览的时候会出现长时间的黑屏，且视频越长，黑屏时间越长，严重影响用户体验。
由此可知，相关技术中存在多媒体文件预览速度慢，用户体验差的问题。
针对相关技术中存在的上述问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种多媒体文件的渲染方法、装置、存储介质及电子装置，以至少解决相关技术中存在的多媒体文件预览速度慢，用户体验差的问题。
根据本发明的一个实施例，提供了一种多媒体文件的渲染方法，包括：确定接收到的获取指令中包括的第一标识信息，其中，所述第一标识信息用于标识所述多媒体文件；将所述第一标识信息传递到原生层，在所述原生层中基于所述第一标识信息获取所述多媒体文件，其中，所述原生层存储有所述多媒体文件；在接收到预览指令的情况下，在移动应用软件开发工具包中渲染在所述原生层中获取的所述多媒体文件。
在一个示例性实施例中，将所述第一标识信息传递到原生层包括：创建由移动应用软件开发工具包到原生层的信息传递接口；基于所述信息传递接口将所述第一标识信息传递到所述原生层。
在一个示例性实施例中，创建由移动应用软件开发工具包到原生层的信息传递接口包括：创建多媒体播放器；创建所述多媒体播放器的平台接口；将所述平台接口确定为所述信息传递接口。
在一个示例性实施例中，在所述原生层中基于所述第一标识信息获取所述多媒体文件包括：基于所述第一标识信息获取系统相册资源对象；在所述原生层基于所述系统相册资源对象获取所述多媒体文件。
在一个示例性实施例中，在所述原生层基于所述系统相册资源对象获取所述多媒体文件之后，所述方法还包括：在所述原生层初始化系统多媒体播放器；基于所述多媒体文件生成目标纹理；将所述目标纹理与初始化后的所述系统多媒体播放器进行关联；将与所述系统多媒体播放器进行关联后的所述目标纹理发送给所述移动应用软件开发工具包，以指示所述移动应用软件开发工具包基于所述目标纹理的第二标识信息渲染所述多媒体文件。
在一个示例性实施例中，在移动应用软件开发工具包中渲染所述多媒体文件包括：向所述原生层发送所述预览指令，其中，所述预览指令中包括目标纹理的第二标识信息；基于所述第二标识信息获取与所述目标纹理相关联的系统多媒体播放器；设置所述系统多媒体播放器的属性信息，以将所述多媒体文件渲染到移动应用软件开发工具包的页面中。
根据本发明的另一个实施例，提供了一种多媒体文件的渲染装置，包括：确定模块，用于确定接收到的获取指令中包括的第一标识信息，其中，所述第一标识信息用于标识所述多媒体文件；获取模块，用于将所述第一标识信息传递到原生层，在所述原生层中基于所述第一标识信息获取所述多媒体文件，其中，所述原生层存储有所述多媒体文件；渲染模块，用于在接收到预览指令的情况下，在移动应用软件开发工具包中渲染在所述原生层中获取的所述多媒体文件。
在一个示例性实施例中，所述获取模块包括：创建单元，用于创建由移动应用软件开发工具包到原生层的信息传递接口；传递单元，用于基于所述信息传递接口将所述第一标识信息传递到所述原生层。
在一个示例性实施例中，创建单元通过如下方式实现创建由移动应用软件开发工具包到原生层的信息传递接口：创建多媒体播放器；创建所述多媒体播放器的平台接口；将所述平台接口确定为所述信息传递接口
在一个示例性实施例中，获取模块可以通过如下方式实现在所述原生层中基于所述第一标识信息获取所述多媒体文件：基于所述第一标识信息获取系统相册资源对象；在所述原生层基于所述系统相册资源对象获取所述多媒体文件。
在一个示例性实施例中，所述装置还可以用于在所述原生层基于所述系统相册资源对象获取所述多媒体文件之后：在所述原生层初始化系统多媒体播放器；基于所述多媒体文件生成目标纹理；将所述目标纹理与初始化后的所述系统多媒体播放器进行关联；将与所述系统多媒体播放器进行关联后的所述目标纹理发送给所述移动应用软件开发工具包，以指示所述移动应用软件开发工具包基于所述目标纹理的第二标识信息渲染所述多媒体文件。
在一个示例性实施例中，所述渲染模块可以通过如下方式实现在移动应用软件开发工具包中渲染所述多媒体文件：向所述原生层发送所述预览指令，其中，所述预览指令中包括目标纹理的第二标识信息；基于所述第二标识信息获取与所述目标纹理相关联的系统多媒体播放器；设置所述系统多媒体播放器的属性信息，以将所述多媒体文件渲染到移动应用软件开发工具包的页面中。
根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现上述任一项中所述的方法的步骤。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过上述步骤，确定接收到的获取指令中包括的待预览的多媒体文件的第一标识信息，将第一标识信息传递到原生层，并在原生层根据第一标识信息获取多媒体文件，在接收到预览指令的情况下，在移动应用软件开发工具包中渲染在原生层中获取的多媒体文件。由于可以直接将多媒体文件的第一标识信息传递到原生层，直接渲染在原生层获取到的多媒体文件，以实现在移动应用软件开发工具包中快速预览多媒体文件，解决了相关技术中存在的多媒体文件预览速度慢，用户体验差的问题，提高了预览多媒体文件的速度，提升了用户体验。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是根据本申请实施例的一种多媒体文件的浏览方法的硬件环境示意图；
图2是根据本发明实施例的多媒体文件的渲染方法的流程图；
图3是根据本发明示例性实施例的将第一标识信息传递到原生层流程图；
图4是根据本发明示例性实施例的在原生层中基于第一标识信息获取多媒体文件流程图；
图5是根据本发明具体实施例的多媒体文件的渲染方法时序图；
图6是根据本发明实施例的多媒体文件的渲染装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本申请实施例的一个方面，提供了一种多媒体文件的浏览方法。该多媒体文件的浏览方法广泛应用于智慧家庭(Smart Home)、智能家居、智能家用设备生态、智慧住宅(Intelligence House)生态等全屋智能数字化控制应用场景。可选地，在本实施例中，上述多媒体文件的浏览方法可以应用于如图1所示的由终端设备102和服务器104所构成的硬件环境中。如图1所示，服务器104通过网络与终端设备102进行连接，可用于为终端或终端上安装的客户端提供服务(如应用服务等)，可在服务器上或独立于服务器设置数据库，用于为服务器104提供数据存储服务，可在服务器上或独立于服务器配置云计算和/或边缘计算服务，用于为服务器104提供数据运算服务。
上述网络可以包括但不限于以下至少之一：有线网络，无线网络。上述有线网络可以包括但不限于以下至少之一：广域网，城域网，局域网，上述无线网络可以包括但不限于以下至少之一：WIFI(Wireless Fidelity，无线保真)，蓝牙。终端设备102可以并不限定于为PC、手机、平板电脑、智能空调、智能烟机、智能冰箱、智能烤箱、智能炉灶、智能洗衣机、智能热水器、智能洗涤设备、智能洗碗机、智能投影设备、智能电视、智能晾衣架、智能窗帘、智能影音、智能插座、智能音响、智能音箱、智能新风设备、智能厨卫设备、智能卫浴设备、智能扫地机器人、智能擦窗机器人、智能拖地机器人、智能空气净化设备、智能蒸箱、智能微波炉、智能厨宝、智能净化器、智能饮水机、智能门锁等。
在相关技术中，Flutter视频播放库提供的视频预览方式包括：asset、network、file等。其中，asset适合预览本地资源视频，network适合预览网络视频，file可通过文件路径预览相册视频。对于一些Flutter相册是预览手机相册视频的APP，只能通过file的方式预览视频。由于file方式预览视频需要在视频预览的时候拿到视频文件，Flutter又不能直接访问手机相册的视频文件，因此，可以借助PhotoManager库的get file方法将系统相册的视频文件缓存到缓存文件中，从而拿到缓存文件中的缓存视频，从而进行视频预览，但此过程有视频的缓存过程，如果视频较长，需要的时间会比较长，从而影响视频预览体验。
针对相关技术中存在的上述问题，提出一些实施例：
在本实施例中提供了一种多媒体文件的渲染方法，图2是根据本发明实施例的多媒体文件的渲染方法的流程图，如图2所示，该流程包括如下步骤：
步骤S202，确定接收到的获取指令中包括的第一标识信息，其中，所述第一标识信息用于标识多媒体文件；
步骤S204，将所述第一标识信息传递到原生层，在所述原生层中基于所述第一标识信息获取所述多媒体文件，其中，所述原生层存储有所述多媒体文件；
步骤S206，在接收到预览指令的情况下，在移动应用软件开发工具包中渲染在所述原生层中获取的所述多媒体文件。
在上述实施例中，用户可以通过APP输入获取指令，获取指令用于指示获取待预览的多媒体文件，APP在接收到获取指令后，可以确定获取指令中包括的第一标识信息。其中，第一标识信息为待预览的多媒体文件。多媒体文件可以为视频、图像等。APP可以是物联网APP，或者是用于控制智能设备的APP，智能设备可以包括智能监控设备、智能空调、智能烟机、智能冰箱、智能烤箱、智能炉灶、智能洗衣机、智能热水器、智能洗涤设备、智能洗碗机、智能投影设备、智能电视、智能晾衣架、智能窗帘、智能影音、智能插座、智能音响、智能音箱、智能新风设备、智能厨卫设备、智能卫浴设备、智能扫地机器人、智能擦窗机器人、智能拖地机器人、智能空气净化设备、智能蒸箱、智能微波炉、智能厨宝、智能净化器、智能饮水机、智能门锁等。APP可以按照在智能终端中，如智能手机、平板电脑、计算机等终端，还可以安装在智能穿戴设备上，如智能手表、智能头戴设备等。
在上述实施例中，APP可以安装在智能终端中，与智能监控设备连接。智能监控设备可以对监控区域进行监控，实时生成多媒体文件，如监控视频、抓拍图像等。生成的多媒体文件可以按照时间进行保存，例如，可以按照一天为周期，存成一个文件。当用户想要查看多媒体文件时，可以在APP中点击想要查看的多媒体文件，即输入获取指令。在点击了想要查看的多媒体文件后，APP可以确定点击的多媒体文件的第一标识信息。将第一标识信息传递到native原生层，在原生层获取多媒体文件，并在用户通过app点击播放时，在移动应用软件开发工具包Flutter中渲染在原生层中获取到的多媒体文件，以实现快速预览多媒体文件的效果。
需要说明的是，在将第一标识信息传递到原生层之前，可以对智能终端的文件管理系统进行初始化。
可选地，上述步骤的执行主体可以是APP、后台处理器，或者其他的具备类似处理能力的设备，还可以是至少集成有数据处理设备的机器，其中，数据处理设备可以包括计算机、手机等终端，但不限于此。
通过上述步骤，确定接收到的获取指令中包括的待预览的多媒体文件的第一标识信息，将第一标识信息传递到原生层，并在原生层根据第一标识信息获取多媒体文件，在接收到预览指令的情况下，在移动应用软件开发工具包中渲染在原生层中获取的多媒体文件。由于可以直接将多媒体文件的第一标识信息传递到原生层，直接渲染在原生层获取到的多媒体文件，以实现在移动应用软件开发工具包中快速预览多媒体文件，解决了相关技术中存在的多媒体文件预览速度慢，用户体验差的问题，提高了预览多媒体文件的速度，提升了用户体验。
在一个示例性实施例中，将所述第一标识信息传递到原生层包括：创建由移动应用软件开发工具包到原生层的信息传递接口；基于所述信息传递接口将所述第一标识信息传递到所述原生层。在本实施例中，由于移动应用软件开发工具包Flutter无法直接访问原生native层，因此，可以创建由移动应用软件开发工具包到原生层的信息传递接口，通过信息传递接口将第一标识信息传递到原生层。从而可以从原生层获取多媒体文件。
在一个示例性实施例中，创建由移动应用软件开发工具包到原生层的信息传递接口流程图可参见附图3如图3所示，该流程包括：
步骤S302，创建多媒体播放器；
步骤S304，创建所述多媒体播放器的平台接口；
步骤S306，将所述平台接口确定为所述信息传递接口。
在本实施例中，创建多媒体播放器平台接口需要依赖多媒体文件播放器，因此，在创建多媒体播放器平台接口video player platform interface之前，可以创建videoplayer。在创建了video player以及video player platform interface之后，可以通过video player以及video player platform interface将多媒体文件的第一标识信息传递给native原生层。即在将第一标识信息传递到原生层时，可以是预先创建多媒体播放器平台接口，如video player platform interface。通过创建后的video player platforminterface将第一标识信息传递到原生层。其中，第一标识信息可以是多媒体文件统一资源定位符url，还可以是多媒体文件的文件地址标识，如file.uri。
在一个示例性实施例中，在所述原生层中基于所述第一标识信息获取所述多媒体文件流程图可参见附图4，如图4所示，该流程包括：
步骤S402，基于所述第一标识信息获取系统相册资源对象；
步骤S404，在所述原生层基于所述系统相册资源对象获取所述多媒体文件。
在本实施例中，在通过video player以及video player platform interface将多媒体文件的第一标识信息传递给native原生层后，可以在原生层通过第一标识信息获取系统相册资源对象PHAsset，从而获取AVPplayerItem。进而在原生层根据系统相册资源对象PHAsset获取多媒体文件。例如，可以将系统相册资源对象PHAsset中获取到与第一标识信息相同的文件确定为多媒体文件。
在一个示例性实施例中，在所述原生层基于所述系统相册资源对象获取所述多媒体文件之后，所述方法还包括：在所述原生层初始化系统多媒体播放器；基于所述多媒体文件生成目标纹理；将所述目标纹理与初始化后的所述系统多媒体播放器进行关联；将与所述系统多媒体播放器进行关联后的所述目标纹理发送给所述移动应用软件开发工具包，以指示所述移动应用软件开发工具包基于所述目标纹理的第二标识信息渲染所述多媒体文件。在本实施例中，在获取到多媒体文件之后，可以在原生层初始化系统多媒体播放器，根据多媒体文件生成目标纹理，将目标纹理与系统多媒体播放器进行关联。即在获取到多媒体文件之后，可以生成textureld。并将textureld与系统多媒体播放器进行关联。在关联了textureld与系统多媒体播放器之后，可以将textureld与系统多媒体播放器存储在map中，并将textureld的第二标识信息通过video player以及video player platforminterface发送给Flutter。在Flutter接收到预览指令的情况下，请求根据第二标识信息渲染多媒体文件。
在一个示例性实施例中，在移动应用软件开发工具包中渲染所述多媒体文件包括：向所述原生层发送所述预览指令，其中，所述预览指令中包括目标纹理的第二标识信息；基于所述第二标识信息获取与所述目标纹理相关联的系统多媒体播放器；设置所述系统多媒体播放器的属性信息，以将所述多媒体文件渲染到所述移动应用软件开发工具包页面中。在本实施例中，当用户通过APP输入预览指令时，如在APP中点击播放指令时，可以通过video player以及video player platform interface将预览指令传递到原生层，其中，预览指令中包括第二标识信息。在原生层中，可以根据第二标识信息获取系统多媒体播放器，如视频播放器。设置系统多媒体播放器的属性信息，将多媒体文件渲染到移动应用软件开发工具包页面中。
其中，设置系统多媒体播放器的属性信息可以包括设置displayLink.paused为false，触发[_rugistry textureFrameAvailable：_textureld]。
下面结合具体实施方式对多媒体文件的渲染方法进行说明：
图5是根据本发明具体实施例的多媒体文件的渲染方法时序图，如图5所示，该方法包括：
1.在flutter package中，initialize(file.url)初始化。
2.创建video player。
3.创建video player platform interface。
4.在native原生层通过file.uri获取系统相册资源对象PHAsset，从而获取AVPlayerItem。
5.在native原生层初始化视频播放器initWithAVPlayer。
6.在native原生层生成textureld。
7.在native原生层将textureld和视频播放器关联存储进map中。
8.返回textureld到video player platform interface。
9.返回textureld到video player。
10.在flutter package中发送play指令，即预览指令。
11.在video player中传递play textureld。
12.在video player platform interface中传递play textureld。
13.在native原生层根据textureld获取视频播放器。
14.设置displayLink.paused为false，触发[_rugistrytextureFrameAvailable：_textureld]。
15.在flutter package中渲染多媒体文件。
需要说明的是，通知Flatter之前注册的纹理的内容已更新。在渲染时，将在光栅线程上触发对“-[PixelBuffer]”的调用。即，Notifies Flutter that the content ofthe previously registered texture has been updated。This willtrigger a call to`-[FlutterTexture copyPixelBuffer]`on the raster thread.
在前述实施例中，在flutter视频播放库增加一种视频加载方式photo。其传入系统相册视频id，并将id传递到native层。在native层，通过id查找到系统相册视频资源，并获取native视频播放器AVPlayerItem，从而初始化视频播放器，从而规避了之前相册视频预览的视频缓存操作，达到快速视频播放的效果。通过在视频播放器中增加photo方法，将系统相册视频id直接传入native侧，使用系统视频播放器AVPlayerItem，初始化视频方法器，从而达到快速预览视频的目的。随着移动端APP发展，跨平台开发已越来越受市场欢迎，而flutter以其快速的UI渲染效率，优势明显。而通过上述实施例，在不影响相册基本功能的情况下，在预览视频的时候，使加载速度在体验上达到跟图片一样的效果，解决了flutter相册预览系统视频时，视频较长，预览有长时间黑屏的问题，极大的优化了用户体验。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种多媒体文件的渲染装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图6是根据本发明实施例的多媒体文件的渲染装置的结构框图，如图6所示，该装置包括：
确定模块62，用于确定接收到的获取指令中包括的第一标识信息，其中，所述第一标识信息用于标识所述多媒体文件；
获取模块64，用于将所述第一标识信息传递到原生层，在所述原生层中基于所述第一标识信息获取所述多媒体文件，其中，所述原生层存储有所述多媒体文件；
渲染模块66，用于在接收到预览指令的情况下，在移动应用软件开发工具包中渲染在所述原生层中获取的所述多媒体文件。
在上述实施例中，用户可以通过APP输入获取指令，取指令用于指示获取待预览的多媒体文件，APP在接收到获取指令后，可以确定获取指令中包括的第一标识信息。其中，第一标识信息为待预览的多媒体文件。多媒体文件可以为视频、图像等。APP可以是物联网APP，或者是用于控制智能设备的APP，智能设备可以包括智能监控设备、智能空调、智能烟机、智能冰箱、智能烤箱、智能炉灶、智能洗衣机、智能热水器、智能洗涤设备、智能洗碗机、智能投影设备、智能电视、智能晾衣架、智能窗帘、智能影音、智能插座、智能音响、智能音箱、智能新风设备、智能厨卫设备、智能卫浴设备、智能扫地机器人、智能擦窗机器人、智能拖地机器人、智能空气净化设备、智能蒸箱、智能微波炉、智能厨宝、智能净化器、智能饮水机、智能门锁等。APP可以按照在智能终端中，如智能手机、平板电脑、计算机等终端，还可以安装在智能穿戴设备上，如智能手表、智能头戴设备等。
在上述实施例中，APP可以安装在智能终端中，与智能监控设备连接。智能监控设备可以对监控区域进行监控，实时生成多媒体文件，如监控视频、抓拍图像等。生成的多媒体文件可以按照时间进行保存，例如，可以按照一天为周期，存成一个文件。当用户想要查看多媒体文件时，可以在APP中点击想要查看的多媒体文件，即输入获取指令。在点击了想要查看的多媒体文件后，APP可以确定点击的多媒体文件的第一标识信息。将第一标识信息传递到native原生层，在原生层获取多媒体文件，并在用户通过app点击播放时，在移动应用软件开发工具包Flutter中渲染在原生层中获取到的多媒体文件，以实现快速预览多媒体文件的效果。
需要说明的是，在将第一标识信息传递到原生层之前，可以对智能终端的文件管理系统进行初始化。
通过上述步骤，确定接收到的获取指令中包括的待预览的多媒体文件的第一标识信息，将第一标识信息传递到原生层，并在原生层根据第一标识信息获取多媒体文件，在接收到预览指令的情况下，在移动应用软件开发工具包中渲染在原生层中获取的多媒体文件。由于可以直接将多媒体文件的第一标识信息传递到原生层，直接渲染在原生层获取到的多媒体文件，以实现在移动应用软件开发工具包中快速预览多媒体文件，解决了相关技术中存在的多媒体文件预览速度慢，用户体验差的问题，提高了预览多媒体文件的速度，提升了用户体验。
在一个示例性实施例中，所述获取模块64包括：创建单元，用于创建由移动应用软件开发工具包到原生层的信息传递接口；传递单元，用于基于所述信息传递接口将所述第一标识信息传递到所述原生层。在本实施例中，由于移动应用软件开发工具包Flutter无法直接访问原生native层，因此，可以创建由移动应用软件开发工具包到原生层的信息传递接口，通过信息传递接口将第一标识信息传递到原生层。从而可以从原生层获取多媒体文件。
在一个示例性实施例中，创建单元可以通过如下方式实现创建由移动应用软件开发工具包到原生层的信息传递接口：创建多媒体播放器；创建所述多媒体播放器的平台接口；将所述平台接口确定为所述信息传递接口。
在本实施例中，创建多媒体播放器平台接口需要依赖多媒体文件播放器，因此，在创建多媒体播放器平台接口video player platform interface之前，可以创建videoplayer。在创建了video player以及video player platform interface之后，可以通过video player以及video player platform interface将多媒体文件的第一标识信息传递给native原生层。即在将第一标识信息传递到原生层时，可以是预先创建多媒体播放器平台接口，如video player platform interface。通过创建后的video player platforminterface将第一标识信息传递到原生层。其中，第一标识信息可以是多媒体文件统一资源定位符url，还可以是多媒体文件的文件地址标识，如file.uri。
在一个示例性实施例中，获取模块64可以通过如下方式实现在所述原生层中基于所述第一标识信息获取所述多媒体文件：基于所述第一标识信息获取系统相册资源对象；在所述原生层基于所述系统相册资源对象获取所述多媒体文件。在本实施例中，在通过video player以及video player platform interface将多媒体文件的第一标识信息传递给native原生层后，可以在原生层通过第一标识信息获取系统相册资源对象PHAsset，从而获取AVPplayerItem。进而在原生层根据系统相册资源对象PHAsset获取多媒体文件。例如，可以将系统相册资源对象PHAsset中获取到与第一标识信息相同的文件确定为多媒体文件。
在一个示例性实施例中，所述装置还可以用于在所述原生层基于所述系统相册资源对象获取所述多媒体文件之后：在所述原生层初始化系统多媒体播放器；基于所述多媒体文件生成目标纹理；将所述目标纹理与初始化后的所述系统多媒体播放器进行关联；将与所述系统多媒体播放器进行关联后的所述目标纹理发送给所述移动应用软件开发工具包，以指示所述移动应用软件开发工具包基于所述目标纹理的第二标识信息渲染所述多媒体文件。在本实施例中，在获取到多媒体文件之后，可以在原生层初始化系统多媒体播放器，根据多媒体文件生成目标纹理，将目标纹理与系统多媒体播放器进行关联。即在获取到多媒体文件之后，可以生成textureld。并将textureld与系统多媒体播放器进行关联。在关联了textureld与系统多媒体播放器之后，可以将textureld与系统多媒体播放器存储在map中，并将textureld的第二标识信息通过video player以及video player platforminterface发送给Flutter。在Flutter接收到预览指令的情况下，请求根据第二标识信息渲染多媒体文件。
在一个示例性实施例中，所述渲染模块66可以通过如下方式实现在移动应用软件开发工具包中渲染所述多媒体文件：向所述原生层发送所述预览指令，其中，所述预览指令中包括目标纹理的第二标识信息；基于所述第二标识信息获取与所述目标纹理相关联的系统多媒体播放器；设置所述系统多媒体播放器的属性信息，以将所述多媒体文件渲染到移动应用软件开发工具包的页面中。在本实施例中，当用户通过APP输入预览指令时，如在APP中点击播放指令时，可以通过video player以及video player platform interface将预览指令传递到原生层，其中，预览指令中包括第二标识信息。在原生层中，可以根据第二标识信息获取系统多媒体播放器，如视频播放器。设置系统多媒体播放器的属性信息，将多媒体文件渲染到移动应用软件开发工具包页面中。
其中，设置系统多媒体播放器的属性信息可以包括设置displayLink.paused为false，触发[_rugistry textureFrameAvailable：_textureld]。
在前述实施例中，在flutter视频播放库增加一种视频加载方式photo。其传入系统相册视频id，并将id传递到native层。在native层，通过id查找到系统相册视频资源，并获取native视频播放器AVPlayerItem，从而初始化视频播放器，从而规避了之前相册视频预览的视频缓存操作，达到快速视频播放的效果。通过在视频播放器中增加photo方法，将系统相册视频id直接传入native侧，使用系统视频播放器AVPlayerItem，初始化视频方法器，从而达到快速预览视频的目的。随着移动端APP发展，跨平台开发已越来越受市场欢迎，而flutter以其快速的UI渲染效率，优势明显。而通过上述实施例，在不影响相册基本功能的情况下，在预览视频的时候，使加载速度在体验上达到跟图片一样的效果，解决了flutter相册预览系统视频时，视频较长，预览有长时间黑屏的问题，极大的优化了用户体验。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现上述任一项中所述的方法的步骤。
在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种多媒体文件的渲染方法，其特征在于，包括：
确定接收到的获取指令中包括的第一标识信息，所述第一标识信息用于标识多媒体文件；
将所述第一标识信息传递到原生层，在所述原生层中基于所述第一标识信息获取所述多媒体文件，其中，所述原生层存储有所述多媒体文件；
在接收到预览指令的情况下，在移动应用软件开发工具包中渲染在所述原生层中获取的所述多媒体文件。
2.根据权利要求1所述的多媒体文件的渲染方法，其特征在于，将所述第一标识信息传递到原生层包括：
创建由移动应用软件开发工具包到原生层的信息传递接口；
基于所述信息传递接口将所述第一标识信息传递到所述原生层。
3.根据权利要求2所述的多媒体文件的渲染方法，其特征在于，创建由移动应用软件开发工具包到原生层的信息传递接口包括：
创建多媒体播放器；
创建所述多媒体播放器的平台接口；
将所述平台接口确定为所述信息传递接口。
4.根据权利要求1所述的多媒体文件的渲染方法，其特征在于，在所述原生层中基于所述第一标识信息获取所述多媒体文件包括：
基于所述第一标识信息获取系统相册资源对象；
在所述原生层基于所述系统相册资源对象获取所述多媒体文件。
5.根据权利要求4所述的多媒体文件的渲染方法，其特征在于，在所述原生层基于所述系统相册资源对象获取所述多媒体文件之后，所述方法还包括：
在所述原生层初始化系统多媒体播放器；
基于所述多媒体文件生成目标纹理；
将所述目标纹理与初始化后的所述系统多媒体播放器进行关联；
将与所述系统多媒体播放器进行关联后的所述目标纹理发送给所述移动应用软件开发工具包，以指示所述移动应用软件开发工具包基于所述目标纹理的第二标识信息渲染所述多媒体文件。
6.根据权利要求1所述的多媒体文件的渲染方法，其特征在于，在移动应用软件开发工具包中渲染所述多媒体文件包括：
向所述原生层发送所述预览指令，其中，所述预览指令中包括目标纹理的第二标识信息；
基于所述第二标识信息获取与所述目标纹理相关联的系统多媒体播放器；
设置所述系统多媒体播放器的属性信息，以将所述多媒体文件渲染到所述移动应用软件开发工具包的页面中。
7.一种多媒体文件的渲染装置，其特征在于，包括：
确定模块，用于确定接收到的获取指令中包括的第一标识信息，其中，所述第一标识信息用于标识多媒体文件；
获取模块，用于将所述第一标识信息传递到原生层，在所述原生层中基于所述第一标识信息获取所述多媒体文件，其中，所述原生层存储有所述多媒体文件；
渲染模块，用于在接收到预览指令的情况下，在移动应用软件开发工具包中渲染在所述原生层中获取的所述多媒体文件。
8.根据权利要求7所述的多媒体文件的渲染装置，其特征在于，所述获取模块包括：
创建单元，用于创建由移动应用软件开发工具包到原生层的信息传递接口；
传递单元，用于基于所述信息传递接口将所述第一标识信息传递到所述原生层。
9.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行权利要求1至6中任一项所述的方法。
10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行权利要求1至6中任一项所述的方法。
CN202210278699.2A 2022-03-21 2022-03-21 多媒体文件的渲染方法、装置、存储介质及电子装置 Active CN114885207B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210278699.2A CN114885207B (zh) 2022-03-21 2022-03-21 多媒体文件的渲染方法、装置、存储介质及电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210278699.2A CN114885207B (zh) 2022-03-21 2022-03-21 多媒体文件的渲染方法、装置、存储介质及电子装置

Publications (2)

Publication Number Publication Date
CN114885207A true CN114885207A (zh) 2022-08-09
CN114885207B CN114885207B (zh) 2024-04-19

Family

ID=82668115

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210278699.2A Active CN114885207B (zh) 2022-03-21 2022-03-21 多媒体文件的渲染方法、装置、存储介质及电子装置

Country Status (1)

Country Link
CN (1) CN114885207B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8582956B1 (en) * 2007-07-18 2013-11-12 Adobe Systems Incorporated System and method for previewing multimedia files
US20160345052A1 (en) * 2015-05-19 2016-11-24 Lemobile Information Technology (Beijing) Co., Ltd. Method and device for previewing video files
CN110149539A (zh) * 2019-05-21 2019-08-20 北京字节跳动网络技术有限公司 多媒体文件播放方法、装置、电子设备和存储介质
CN112331235A (zh) * 2021-01-04 2021-02-05 腾讯科技（深圳）有限公司 多媒体内容的编辑控制方法、装置、电子设备和存储介质
CN112732255A (zh) * 2020-12-29 2021-04-30 特赞（上海）信息科技有限公司 渲染方法、装置、设备和存储介质
CN112947905A (zh) * 2019-11-26 2021-06-11 腾讯科技（深圳）有限公司 一种图片加载方法、装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8582956B1 (en) * 2007-07-18 2013-11-12 Adobe Systems Incorporated System and method for previewing multimedia files
US20160345052A1 (en) * 2015-05-19 2016-11-24 Lemobile Information Technology (Beijing) Co., Ltd. Method and device for previewing video files
CN110149539A (zh) * 2019-05-21 2019-08-20 北京字节跳动网络技术有限公司 多媒体文件播放方法、装置、电子设备和存储介质
CN112947905A (zh) * 2019-11-26 2021-06-11 腾讯科技（深圳）有限公司 一种图片加载方法、装置
CN112732255A (zh) * 2020-12-29 2021-04-30 特赞（上海）信息科技有限公司 渲染方法、装置、设备和存储介质
CN112331235A (zh) * 2021-01-04 2021-02-05 腾讯科技（深圳）有限公司 多媒体内容的编辑控制方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN114885207B (zh) 2024-04-19

Similar Documents

Publication Publication Date Title
US9716908B2 (en) Distributing media content via media channels based on associated content being provided over other media channels
CN109152095B (zh) 用于终端的无线网络连接方法
CN108848401B (zh) 视频起播方法及装置
CN107045508B (zh) 应用程序的处理方法和装置
CN109388762B (zh) 应用分享的方法和装置
WO2020199751A1 (zh) 用于加载页面图片的方法、装置和电子设备
KR102045602B1 (ko) 애플리케이션 코드 실행이 없는 라이브 타일들
CN104462570B (zh) 网页内容获取方法及装置
US11310066B2 (en) Method and apparatus for pushing information
CN109451333B (zh) 一种弹幕显示方法、装置、终端及系统
CN106649446B (zh) 信息推送方法和装置
CN109618176B (zh) 一种直播业务的处理方法、设备和存储介质
CN111744174A (zh) 云游戏的账号管理方法、账号登录方法、装置及电子设备
CN110708571B (zh) 视频片段的播放控制方法及相关产品
CN111901695A (zh) 视频内容截取方法、装置和设备及计算机存储介质
CN110998503A (zh) 捕获内容共享界面
CN113014934A (zh) 产品展示方法、产品展示装置、计算机设备及存储介质
CN112346887A (zh) 数据处理方法、装置、显示设备以及计算机可读存储介质
CN110049358B (zh) 一种基于电视的物品推送方法和系统
CN113542904A (zh) 一种视频投屏播放方法、装置、电子设备及存储介质
CN110286954A (zh) 一种应用程序的启动方法、装置及存储介质
CN112328895A (zh) 用户画像生成方法、装置、服务器及存储介质
CN108521598B (zh) 一种用于视频预览的方法、装置及计算机设备
CN114885207A (zh) 多媒体文件的渲染方法、装置、存储介质及电子装置
CN114675928A (zh) 容器镜像的构建方法和装置、存储介质及电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant