CN110636322B - 多媒体数据的处理方法、装置、智能终端及存储介质 - Google Patents

多媒体数据的处理方法、装置、智能终端及存储介质 Download PDF

Info

Publication number
CN110636322B
CN110636322B CN201910951809.5A CN201910951809A CN110636322B CN 110636322 B CN110636322 B CN 110636322B CN 201910951809 A CN201910951809 A CN 201910951809A CN 110636322 B CN110636322 B CN 110636322B
Authority
CN
China
Prior art keywords
image frame
image
multimedia
determining
target image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910951809.5A
Other languages
English (en)
Other versions
CN110636322A (zh
Inventor
高萌
马标
曹超利
黄小凤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910951809.5A priority Critical patent/CN110636322B/zh
Publication of CN110636322A publication Critical patent/CN110636322A/zh
Application granted granted Critical
Publication of CN110636322B publication Critical patent/CN110636322B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/44—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施例公开了一种多媒体数据的处理方法、装置、智能终端及存储介质，其中方法包括：在多媒体播放界面播放多媒体数据的过程中，若检测到目标操作指令，则从所述多媒体数据中确定出目标图像帧；获取所述目标图像帧对应的像素点集合；根据所述像素点集合中各像素点对应的像素值，确定所述目标图像帧包括的图像元素；基于所述目标图像帧包括的图像元素生成多媒体影像，并在所述多媒体播放界面中显示所述多媒体影像，可将用户操作和多媒体数据进行有效的关联，可提升多媒体数据在播放过程中的趣味性。

Description

多媒体数据的处理方法、装置、智能终端及存储介质
技术领域
本申请涉及计算机技术领域，尤其涉及一种多媒体数据的处理方法、装置、 智能终端及存储介质。
背景技术
随着终端技术的不断发展，智能终端中的应用也不断丰富，以提升用户的 日常娱乐活动，如随之兴起的短视频播放软件，极大地改变了用户对视频的观 看习惯。为了增强用户在观看视频过程中和播放的视频的互动性，在短视频播 放软件中常配置有点赞功能，在智能终端检测到用户的点赞操作时，可基于点 赞功能生成反馈动画，并将反馈动画显示在播放界面中，以实现用户和视频播 放的交互，提升用户对短视频软件的使用满意度。
而当前基于用户的点赞操作生成的反馈动画，一般是智能终端设定好的固 定动画，在检测到用户的点赞操作时进行机械式的反馈，如检测到用户的点赞 操作时显示点赞手势或者爱心图案等，而机械式的点赞反馈不能体现出和视频 内容的关联性，互动性较低，可见，如何增强点赞操作和视频内容的关联性， 成为当前的研究热点。
发明内容
本发明实施例提供了一种多媒体数据的处理方法、装置、智能终端及存储 介质，可将用户操作和多媒体数据进行有效的关联，可提升多媒体数据在播放 过程中的趣味性。
一方面，本发明实施例提供了一种多媒体数据的处理方法，所述方法包括：
在多媒体播放界面播放多媒体数据的过程中，若检测到目标操作指令，则 从所述多媒体数据中确定出目标图像帧；
获取所述目标图像帧对应的像素点集合；
根据所述像素点集合中各像素点对应的像素值，确定所述目标图像帧包括 的图像元素；
基于所述目标图像帧包括的图像元素生成多媒体影像，并在所述多媒体播 放界面中显示所述多媒体影像。
另一方面，本发明实施例提供了一种多媒体数据的处理装置，所述装置包 括：
确定单元，用于在多媒体播放界面播放多媒体数据的过程中，若检测到目 标操作指令，则从所述多媒体数据中确定出目标图像帧；
获取单元，用于获取所述目标图像帧对应的像素点集合；
所述确定单元，还用于根据所述像素点集合中各像素点对应的像素值，确 定所述目标图像帧包括的图像元素；
显示单元，用于基于所述目标图像帧包括的图像元素生成多媒体影像，并 在所述多媒体播放界面中显示所述多媒体影像。
再一方面，本发明实施例提供了一种智能终端，包括处理器、输入设备、 输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其 中，所述存储器用于存储支持终端执行上述方法的计算机程序，所述计算机程 序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如下步骤：
在多媒体播放界面播放多媒体数据的过程中，若检测到目标操作指令，则 从所述多媒体数据中确定出目标图像帧；
获取所述目标图像帧对应的像素点集合；
根据所述像素点集合中各像素点对应的像素值，确定所述目标图像帧包括 的图像元素；
基于所述目标图像帧包括的图像元素生成多媒体影像，并在所述多媒体播 放界面中显示所述多媒体影像。
再一方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可 读存储介质中存储有计算机程序指令，所述计算机程序指令被处理器执行时， 用于执行如第一方面所述的多媒体数据的处理方法。
在本发明实施例中，智能终端在多媒体播放界面播放多媒体数据的过程中， 若检测到目标操作指令，则可从所述多媒体数据中确定出目标图像帧，进一步 地，所述智能终端可获取所述目标图像帧对应的像素点集合，从而可基于该像 素点集合中各像素点对应的像素值，确定该目标图像帧包括的图像元素，所述 智能终端则可基于所述目标图像帧中包括的图像元素生成多媒体影像，并在所 述多媒体播放界面中显示所述多媒体影像，实现了基于目标操作指令实时生成 不同的多媒体影像，可增强多媒体播放数据的趣味性，以及与用户之前的交互 乐趣。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要 使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实 施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以 根据这些附图获得其他的附图。
图1a是本发明实施例提供的一种多媒体数据的处理方法的示意流程图；
图1b是本发明实施例提供的一种多媒体播放界面的示意图；
图1c是本发明另一实施例提供的一种多媒体播放界面的示意图；
图1d是本发明另一实施例提供的一种多媒体数据的处理方法的示意流程图；
图2是本发明又一实施例提供的一种多媒体数据的处理方法的示意流程图；
图3a是本发明实施例提供的一种目标图像帧的示意图；
图3b是本发明实施例提供的一种对目标图像帧进行语义分割后的示意图；
图4a是本发明实施例提供的一种目标图像帧的示意图；
图4b是本发明实施例提供的一种在多媒体播放界面显示多媒体影像的示意 图；
图4c是本发明另一实施例提供的一种在多媒体播放界面显示多媒体影像的 示意图；
图5是本发明又一实施例提供的一种多媒体数据的处理方法的示意流程图；
图6是本发明实施例提供的一种风格迁移的示意图；
图7是本发明又一实施例提供的一种在多媒体播放界面显示多媒体影像的 示意图；
图8是本发明实施例提供的一种多媒体数据的处理装置的示意性框图；
图9是本发明实施例提供的一种智能终端的示意性框图。
具体实施方式
本发明实施例提出了一种针对多媒体数据的处理方法，智能终端可在所述 多媒体数据的播放过程中，对操作指令进行检测，在所述智能终端检测到目标 操作指令时，可基于图像识别技术，确定出该多媒体数据中包括的图像元素， 其中，所述目标操作指令包括点赞操作，所述多媒体数据包括视频数据以及直 播数据等，所述视频数据例如可以是短视频数据等；所述图像识别技术包括基 于增强现实(Augmented Reality，AR)的图像识别技术。在确定出该多媒体数 据包括的图像元素后，所述智能终端可基于提取的图像元素生成对应的多媒体 影像，并可将生成的多媒体影像显示在该多媒体播放界面上，实现对目标操作 指令和多媒体影像的相关展示，增强内容的互动性，让目标操作指令的反馈效 果更佳的个性化和智能化，提升用户在观看多媒体数据过程中的满意度。在一 个实施例中，所述智能终端可采用人工智能(Artificial Intelligence，AI)算法， 基于提取的图像元素生成对应的多媒体影像。
在一个实施例中，基于所述AR图像识别技术，智能终端可确定出所述多媒 体数据中的图像元素，进一步地，所述智能终端可采用抠图技术，从所述多媒 体数据中得到所述图像元素，然后，可基于AI算法，对所述图像元素在所述多 媒体数据中出现的次数，面积以及位置等，确定所述图像元素的显示优先级， 从而可基于该显示优先级，绘制对应图像元素的多媒体影像，从而可在所述多 媒体播放界面中显示所述多媒体影像，实现目标操作指令与多媒体影像的互动 展示，增强用户对所述多媒体数据的观赏性。在一个实施例中，在所述目标操 作指令为点赞操作时，智能终端可基于所述点赞操作生成对应的多媒体影像，并将生成的多媒体影像展示在所述多媒体播放界面中，使得点赞反馈效果和多 媒体数据的显示内容实现强相关，提升了点赞操作的互动性和趣味性，同时， 还实现了用户反馈的个性化诉求，可改善用户对点赞操作的反馈体验。
在一个实施例中，以所述目标操作指令为点赞操作时，对所述多媒体数据 的处理方法进行详细说明，具体地，可参见如图1a所示的一种多媒体数据的处 理方法的示意流程图，如图1a所示，智能终端在检测到点赞操作时，可通过AR 图像识别技术对所述多媒体数据中的目标图像帧进行识别，以确定出所述目标 图像帧包括的图像元素。其中，在所述多媒体数据的播放过程中，若所述智能 终端检测到对目标按键的点击指令，或者对终端屏幕的连击指令，则可确定检 测到对所述多媒体数据的点赞操作，其中，所述目标按键例如可以是如图1b中 用10标识的按键，也可以是如图1c中用11标识的按键，所述连击指令包括双击指令或者三击指令等。所述目标图像帧中的图像元素例如可以是如图1b中所 示的夹子等。
在所述智能终端确定出目标图像帧包括的图像元素后，可基于该图像元素 在所述目标图像帧中出现的面积、次数以及位置，从目标图像帧中提取出图像 元素，在一个实施例中，可采用抠图技术从该目标图像帧中提取得到图像元素， 在所述智能终端提取到图像元素后，可基于该图像元素绘制对应的多媒体影像， 具体地，所述智能终端可先按照算法指令转化，确定提取的图像元素的显示优 先级。在一个实施例中，若提取的图像元素包括夹子、火柴和轮子，可基于不 同用户在观看所述多媒体数据的过程中出现点赞操作时，该点赞操作作用的当 前图像帧中包括的图像元素，确定各图像元素获取到的点赞次数，从而可基于 用户的不断点赞，确定用户对不同图像元素的感兴趣程度，也即确定出所述不同图像元素对应的显示优先级，并可基于用户的点赞的变化，对所述不同图像 元素的显示优先级进行实时更新。
在一个实施例中，如图1d所示，所述智能终端在确定出图像元素后，还可 先基于AI识别，将确定出的所述图像元素转化为可用于和预设数据库进行检索 的文字信息或者图像信息，进一步地，所述智能终端可向所述预设数据库发送 检索请求，以从所述预设数据库中确定出和所述文字信息或者图片信息匹配的 图像元素，所述智能终端则可将包括所述匹配的图像元素的多媒体影像作为基 于所述目标图像帧中图像元素生成的多媒体影像，保证了点赞反馈元素和当前 视频图像内容的关联性。
智能终端在确定出不同图像元素的显示优先级后，还可按照该显示优先级 指示的先后顺序，绘制(生成)对应图像元素的多媒体影像，并可按照该显示 优先级指示的顺序，对所述多媒体影像进行依次展示。举例来说，如上述图像 元素的显示优先级分别为火柴、夹子和轮子，则所述智能终端可优先展示基于 火柴元素绘制的多媒体影像，再展示基于夹子元素绘制的多媒体影像，最后展 示基于轮子元素绘制的多媒体影像。
在所述智能终端基于图像元素生成对应的多媒体影像时，还可先对所述图 像元素进行优化处理，在所述智能终端对所述图像元素进行优化时，可将该图 像元素转化为对应的图标元素，从而可基于该图标元素生成对应的多媒体影像， 其中，所述智能终端在将图像元素转化为图标元素时，可对该图像元素进行剪 裁，颜色优化以及边缘平滑处理，从而得到所述图像元素对应的图标元素。在 一个实施例中，所述智能终端在对所述图像元素进行优化时，还可先确定所述 点赞操作作用的当前图像帧的图像风格，从而可对该图像元素进行风格迁移处 理，将所述图像元素的风格转换为所述当前图像帧对应的图像风格。
在一个实施例中，所述智能终端提取的图像元素包括一个或多个，在所述 智能图像提取到多个图像元素时，可基于该多个图像元素对应的显示优先级， 构建显示队列，并基于该显示队列对由该图像元素生成的多媒体影像进行显示， 在所述智能终端显示所述多媒体影像时，还可为各多媒体影像添加显示动画， 所述显示动画例如可以是一下一种或多种：飘动、平移以及渐进显示。
请参见图2，是本发明实施例提出的一种多媒体数据的处理方法的示意流程 图，如图2所示，该方法包括：
S201，在多媒体播放界面播放多媒体数据的过程中，若检测到目标操作指 令，则从所述多媒体数据中确定出目标图像帧。
在一个实施例中，所述多媒体数据包括直播数据和短视频数据，其中，直 播数据是指不经过事先录制，直播用户进行现场演出而生成的实时播放数据， 短视频数据是指提前录制的几秒～几分钟不等的播放数据，所述多媒体播放界面 用于支持运行多媒体数据的播放过程，所述多媒体播放界面例如可以是如图1b 所示的界面。
在一个实施例中，所述目标操作指令例如可以是点赞操作，智能终端可在 检测到对所述多媒体播放界面中目标按键的操作指令(如点击指令，按压指令 以及触摸指令等)时，确定检测到目标操作指令，也可检测到特定的操作指令 时，确定检测到所述目标操作指令，其中，所述目标按键可以是如图1b中由编 号10标识的按键，也可以是如图1c中由编号11标识的按键，所述特定的操作 指令例如可以是针对终端屏幕的双击指令，或者连击指令，其中，连击指令为 在预设时间间隔内针对所述终端屏幕连续进行三次或三次以上的点击指令。
在一个实施例中，智能终端在检测到所述目标操作后，为了使得基于该目 标操作显示的多媒体影像和当前播放的多媒体数据具有较强的关联性，所述智 能终端可基于该目标操作确定该多媒体数据中的目标图像帧，以便于进一步地 基于该目标图像帧中的图像元素生成该多媒体影像，以丰富所述多媒体数据的 趣味性和并提升用户与所述多媒体数据之间的互动性。在一个实施例中，所述 智能终端在基于所述多媒体数据确定出目标图像帧时，可将所述目标操作指令 作用于所述多媒体数据的当前图像帧作为所述目标图像帧，也可将所述目标操 作指令作用于所述多媒体数据的当前图像帧，以及位于所述当前图像帧的播放 时间之前的历史图像帧作为所述目标图像帧，其中，所述历史图像帧可以是基于所述多媒体数据的播放时间顺序，位于所述当前图像帧的播放时间之前的所 有图像帧，也可以是对位于所述当前图像帧的播放时间之前的所有图像帧进行 隔帧抽取得到的图像帧。
在所述智能终端从所述多媒体数据中确定出目标图像帧后，为了确定出该 目标图像帧包括的图像元素，可采用实例分割技术，其中，实例分割技术具体 包括物品检测以及语义分割技术，具体地，物品检测技术是指对所述目标图像 帧中的物体进行识别，以确定出所述目标图像帧中的物体(object)，语义分割 技术是指对物品检测技术识别出的物体进行进一步的精确的分割，确定该物体 所属的物体类别，对应于目标图像帧的位置，以及像素等信息。在一个实施例 中，智能终端在采用示例分割技术确定目标图像帧中的图像元素时，可先执行 步骤S202。
S202，获取所述目标图像帧对应的像素点集合。
在一个实施例中，在所述目标图像帧为所述目标操作指令作用于所述多媒 体数据的当前图像帧时，所述目标图像帧对应的像素点集合即为所述当前图像 帧对应的像素点集合；在所述目标图像帧为所述当前图像帧和历史图像帧时， 所述目标图像帧对应的像素点集合即是所述当前图像帧和历史图像帧中各帧图 像分别对应的像素点集合。在本发明实施例中，可以所述目标图像帧为当前图 像帧时具体说明获取所述目标图像帧对应的像素点集合的执行步骤，在所述目 标图像帧还包括历史图像帧时，确定该目标图像帧对应的像素点集合的执行步 骤还可参见所述目标图像帧为所述当前图像帧时的执行步骤。
在一个实施例中，所述智能终端在确定所述当前图像帧对应的像素点集合 时，可先基于物品检测算法对所述当前图像帧进行物品检测，从而可基于物品 检测结果确定所述当前图像帧对应的像素点集合，其中，所述智能终端可基于 物品检测结果，将检测到的一个物品对应的像素点作为所述当前图像帧对应的 像素点集合，也可将检测到的每个物品对应的像素点，作为所述当前图像帧对 应的像素点集合。在所述智能终端采用物品检测算法对所述当前图像帧进行物 品检测时，可先随机选取一个窗口(box)，从而可对所述窗口中的图像元素进 行图像识别(classify)，进一步地，可对该窗口的位置、大小等信息进行暴力穷 举，从而得到每个不同的窗口对应的图像识别分值(classification scores)，进一 步地，可选取所述图像识别分值最高的窗口作为目标窗口，并将该目标窗口中 的物品确定为对所述当前图像帧进行物品检测的结果输出。
在一个实施例中，为了更好地使得物品检测算法适应于移动端的模型迁移， 所述智能终端采用物品检测算法对所述当前图像帧进行物品检测时，还可先采 用卷积神经网络(Region Convolutional Neural Networks，R-CNN)算法，从所 述当前图像帧中确定出物品的候选位置(Region Proposal)，从而可基于物品的 纹理以及颜色等信息，确定出该候选位置中的物品，基于候选位置确定对应物 品的方法，可保证在较少的窗口数量时，保持较高的召回率(Recall)，从而可 更好地适用于智能终端等移动端的模型迁移。
在所述智能终端获取到所述目标图像帧对应的像素点集合后，基于该像素 点集合中各像素点对应的像素值，确定出该目标图像帧包括的图像元素，即转 而执行步骤S203。
S203，根据所述像素点集合中各像素点对应的像素值，确定所述目标图像 帧包括的图像元素。
在一个实施例中，智能终端在基于该像素点集合中各像素点对应的像素值， 确定该目标图像帧包括的图像元素时，可对所述目标图像帧对应的像素点集合 进行语义分割处理，从而可基于语义分割处理结果，确定所述目标图像帧包括 的图像元素。其中，语义分割是指在像素层面上对物品进行分类，由于在确定 所述目标图像帧对应的像素点集合时，可确定出所述目标图像帧中包含物品的 窗口，从而可对所述窗口中的物品进行像素级的标注，得到对应的掩码层(mask)， 实现基于物品类别的不同的切割。
所述智能终端可采用多层卷积神经网络实现对所述目标图像帧中像素点集 合的语义分割处理，由于浅层神经网络结构中纹理特征表现明显，分辨率较高， 所以对像素定位比较准确，而深层神经网络结构虽然分辨率较低，但分类特征 明显，对像素的分类比较准确，所以，可采用由所述浅层神经网络结构以及所 述深层神经网络结构合并得到的多层卷积神经网络结构，从而可结合所述浅层 神经网络结构以及深层神经网络结构的优势，确定出所述目标图像帧中不同位 置对应的像素点，以及该像素点对应的物品类别，从而可确定出所述目标图像 帧包括的图像元素，在一个实施例中，所述目标图像帧包括的图像元素即是由 一个或多个像素点组成的物品图像，如人物图像，树木图像，以及动物图像等 等。在一个实施例中，所述多层卷积神经网络例如可以是全卷积网络(Fully ConvolutionalNetworks，FCN)或者U形卷积网络(U-Net)等。
在一个实施例中，所述目标图像帧可以如图3a中用标号30标记的图像帧 所示，对由30标记的图像帧进行语义分割处理时，可基于该图像帧30中包含 物品的窗口进行像素级标注，得到对应的掩码层，如图像帧30中包含物品301 的窗口，对该窗口进行像素级标注后，得到对应的掩码层，确定所述目标图像 帧中的图像元素后，所述智能终端可得到如图3a中用标号31标记的图像。在 一个实施例中，所述智能终端在确定所述目标图像帧中的图像元素时，可基于 对所述目标图像帧的语义分割结果，在标号为31的图像中对所述图像帧中的图 像元素进行标记，并同时标记基于该语义分割得到的图像元素所属的类别的准 确度，如图3b所示，由31标记的物品进行语义分割后，确定该图像元素所属 的类别为人，且该判别的准确度为0.869，由32标记的物品进行语义分割后， 确定该图像元素所属的类别为球，且该判别的准确度为0.953，从而可基于各图 像元素对应的所属类别的准确度，确定出该图像元素的类别。
在一个实施例中，所述智能终端可对所述多媒体数据的每帧图像进行实时 的实例分割(具体包括物品检测和语义分割)处理，或者也可对所述多媒体数 据中的目标图像帧进行实时的实例分割处理，以得到对应图像帧包括的图像元 素，以及每个图像元素对应的分类结果，在所述目标图像帧中的位置信息，以 及像素位置等信息。其中，所述目标图像帧例如可以是所述多媒体数据中的隔 帧图像，或者，也可将所述多媒体数据中每隔两帧的图像作为所述目标图像帧。 在所述智能终端确定出所述目标图像帧中的图像元素后，可执行步骤S204，以 基于确定出的图像元素生成多媒体影像，从而实现基于当前播放的多媒体数据 中图像元素的区别，动态生成不同的多媒体影像，以增强用户对所述多媒体数 据的趣味性，以及和所述多媒体数据的互动性。
S204，基于所述目标图像帧包括的图像元素生成多媒体影像，并在所述多 媒体播放界面中显示所述多媒体影像。
在所述智能终端确定出所述目标图像帧包括的图像元素后，在基于所述图 像元素生成多媒体影像时，可基于所述目标图像帧中各图像元素出现的频次、 位置、面积以及视觉焦点等信息，确定各图像元素的显示优先级，从而可基于 该显示优先级指示的显示顺序，生成对应图像元素的多媒体影像，并按照该显 示顺序在所述多媒体播放界面中显示生成的所述多媒体影像。在一个实施例中， 所述智能终端在基于显示优先级指示的显示顺序，生成对应图像元素的多媒体 影像时，可先基于不同图像元素分别指示的显示优先级，从所述目标图像帧包 括的图像元素中确定出关键图像元素，从而基于关键图像元素生成对应的多媒 体影像，并在所述多媒体播放界面中显示所述多媒体影像。
在一个实施例中，所述智能终端在确定所述目标图像帧中各图像元素的显 示优先级时，可先按照预设的权重累计算法，确定图像元素中各信息数据，如 上述的频次、位置以及面积等信息数据的权重值，具体地，所述智能终端可将 所述频次、位置以及面积等信息数据加权成一个浮点数值，从而可将确定的所 述浮点数值作为所述各个信息数据对应的权重值，或者，所述智能终端还可预 先将不同的图像元素，以及该图像元素的频次、位置、面积以及视觉焦点等信 息输入到预设的学习模型中，从而可通过机器学习算法，确定出不同信息数据 分别对应的权重值。其中，所述机器学习算法例如可以是Light GBM算法，所 述智能终端在确定不同信息数据对应的权重值后，可基于图像元素中对应的信 息数据，以及不同信息数据分别对应的权重值，计算该图像元素的显示优先级。
在一个实施例中，所述智能终端确定出的图像元素可能包括一个或者多个， 所述智能终端可基于所述图像元素分别生成对应的多媒体影像，从而可基于各 图像元素对应的显示优先级，在所述多媒体播放界面中显示所述多媒体影像。 具体地，所述智能终端在将所述多媒体影像显示在所述多媒体播放界面中时， 可将所述多媒体影像显示在所述目标操作指令作用的当前图像帧中，所述智能 终端可将每个图像元素对应的多媒体影像显示在所述多媒体播放界面上，也可 只显示基于图像元素的显示优先级最高的图像元素对应的多媒体影像，其中， 所述多媒体影像包括多媒体图像以及多媒体动画。
在一个实施例中，若所述智能终端检测到点赞操作(即目标操作指令)后， 确定出的目标图像帧包括如图4a所示的三帧图像，在所述智能终端分别获取所 述目标图像帧中包括的三帧图像中的像素点集合后，可确定出所述目标图像帧 包括的图像元素有：夹子40，火柴41和轮子43，进一步地，所述智能终端可 基于所述夹子40，火柴41和轮子43分别生成对应的多媒体影像，从而可将生 成的多媒体影像显示在所述多媒体播放界面中。在所述智能终端在将生成的多 媒体影像显示在所述多媒体播放界面中时，可先确定所述图像元素夹子40，火 柴41和轮子43分别对应的显示优先级，其中，若所述智能终端确定所述图像元素对应的显示优先级为夹子40，轮子43和火柴41，所述智能终端可仅将基 于夹子40生成的多媒体影像展示在所述多媒体播放界面上，如图4b所示，所 述多媒体影像包括由401，402，403和404标记的图形，且所述多媒体影像均 是基于夹子40生成的；或者，所述智能终端也可将基于夹子40生成的多媒体 影像，以及基于火柴41生成的多媒体影像分别显示在所述多媒体播放界面上， 如图4c所示，所述多媒体影像包括由405，406，407，408和409标记的图形， 且由405,407和409标记的图形是由火柴41生成的，而由406和408标记的图 形则是由夹子40生成的；或者，所述智能终端还可将基于夹子40、火柴41和 轮子43分别生成的多媒体影像显示在所述多媒体播放界面上。
在本发明实施例中，智能终端在多媒体播放界面播放多媒体数据的过程中， 若检测到目标操作指令，则可从所述多媒体数据中确定出目标图像帧，进一步 地，所述智能终端可获取所述目标图像帧对应的像素点集合，从而可基于该像 素点集合中各像素点对应的像素值，确定该目标图像帧包括的图像元素，所述 智能终端则可基于所述目标图像帧中包括的图像元素生成多媒体影像，并在所 述多媒体播放界面中显示所述多媒体影像，实现了基于目标操作指令实时生成 不同的多媒体影像，可增强多媒体播放数据的趣味性，以及与用户之前的交互 乐趣。
请参见图5，是本发明另一实施例提出的一种多媒体数据的处理方法，如图 5所示，该方法包括：
S501，在多媒体播放界面播放多媒体数据的过程中，若检测到目标操作指 令，则从所述多媒体数据中确定出目标图像帧。
在一个实施例中，智能终端在检测到目标操作指令后，所述智能终端可先 确定所述目标操作指令在所述多媒体数据中作用的当前图像帧，从而所述智能 终端可将所述当前图像帧作为所述目标图像帧；或者，所述智能终端在确定出 当前图像帧后，所述智能终端可进一步地基于所述多媒体数据的播放时间顺序 确定位于所述当前图像帧之前的历史图像帧，从而可将所述当前图像帧和所述 历史图像帧作为所述目标图像帧。
在一个实施例中，基于所述智能终端确定出所述目标操作指令作用的当前 图像帧后，在所述智能终端确定出所述目标图像帧包括的图像元素后，可将基 于所述图像元素生成的多媒体影像显示在所述当前图像帧中，使得在所述当前 图像帧中显示的多媒体影像是基于所述目标图像帧中图像元素的不同而动态展 示的，从而实现对所述多媒体数据播放过程趣味性的提升。
S502，获取所述目标图像帧对应的像素点集合。
S503，根据所述像素点集合中各像素点对应的像素值，确定所述目标图像 帧包括的图像元素。
在步骤S502和步骤S503中，所述智能终端在获取所述目标图像帧对应的 像素点集合时，可先确定所述目标图像帧对应的窗口划分，并基于所述窗口划 分确定所述目标图像帧中的图像窗口集；进一步地，所述智能终端在确定窗口 划分后，可对所述图像窗口集中的任一图像窗口进行图像识别，并根据识别结 果确定所述任一图像窗口中图像元素对应的分值；所述智能终端在确定任一图 像窗口中图像元素对应的分值后，可根据所述分值确定对所述目标图像帧进行 划分的目标图像窗口，从而可将所述目标图像窗口中的像素点作为所述目标图 像帧对应的像素点集合。
在所述智能终端确定所述目标图像帧对应的像素点集合后，在基于所述像 素点集合中各像素点对应的像素值，确定所述目标图像帧包括的图像元素时， 可先根据所述像素点集合中各像素点对应的像素值，对所述目标图像帧进行语 义分割处理，并根据处理结果确定所述像素点集合中各像素点对应的元素类别； 从而可根据所述像素点集合中各像素点对应的元素类别，确定所述目标图像帧 包括的图像元素，在一个实施例中，所述智能终端确定的目标图像帧中的图像 元素，例如可以是如图4a中用40标记的夹子，用41标记的火柴，以及用42 标记的轮子等。
在一个实施例中，所述智能终端在确定所述目标图像帧包括的图像元素后， 所述智能终端在基于所述图像元素生成多媒体影像之前，所述智能终端还可对 所述图像元素进行优化处理，从而可得到所述图像元素对应的图标元素，使得 优化后的图像元素能更好地适应于多媒体影像的展示。具体地，所述智能终端 在对所述图像元素进行优化处理时，可先获取所述目标操作指令作用的当前图 像帧的图像风格，从而可根据所述图像风格对所述图像元素进行风格迁移处理， 使得所述图像元素的图像风格为所述当前图像帧的图像风格；或者，所述智能 终端在对所述图像元素进行优化处理时，还可对所述图像元素进行裁剪，边缘 平滑或者颜色优化处理，以得到优化后的图像元素。如图6所示的一种进行风格迁移的示意图，图像元素的原始图像风格为由60标记的图像帧对应的图像风 格，在经风格迁移处理后，得到的图像元素的风格可为61标记的图像帧对应的 图像风格，或者，在得到61标记的图像帧对应的图像风格的图像元素后，还可 进行进一步的风格迁移，得到由62标记的图像帧对应的图像风格的图像元素。 在一个实施例中，在确定所述图像元素对应的图标元素后，所述智能终端可基 于得到的图标元素生成多媒体影像，基于图标元素生成的多媒体影像为和产品 风格一致的图标图像。
S504，确定所述目标图像帧中各个所述图像元素对应的显示优先级，所述 显示优先级用于确定由对应图像元素生成的多媒体影像的显示顺序。
S505，根据所述显示优先级指示的显示顺序，在所述多媒体播放界面中显 示所述由对应图像元素生成的多媒体影像。
在一个实施例中，步骤S504和步骤S505是对上述实施例中步骤S204的具 体细化，在步骤S504和步骤S505中，所述智能终端在确定所述目标图像帧中 各个所述图像元素对应的显示优先级时，可先确定所述目标图像帧中不同图像 元素的属性信息，所述属性信息包括以下至少一个维度下的属性值：对应于所 述目标图像帧的位置维度的位置值，在所述目标图像帧中出现的次数，以及在 所述目标图像帧中出现的面积；进一步地，所述智能终端可获取所述至少一个 维度对应的预设权重，并基于所述预设权重对所述属性值进行计算，确定所述 目标图像帧包括的各个所述图像元素的显示优先级。
在一个实施例中，所述智能终端在确定所述各个图像元素对应的显示优先 级时，还可先确定针对所述目标图像帧中不同图像元素的目标操作指令的指令 数量，具体地，所述智能终端可获取在所述多媒体数据播放过程中，一个或多 个用户对所述多媒体数据的目标操作指令，并确定所述目标操作指令产生时， 当前图像帧包括的图像元素，从而可确定出各图像元素接收到的目标操作指令 的指令数量，基于所述不同图像元素对应的指令数量，所述智能终端可确定所 述各个图像元素对应的显示优先级。随着多媒体数据的播放过程，目标操作指 令的数量不断变化，而每个图像元素对应的指令数量也是不断变化的，则可基 于所述每个图像元素对应的指令数量的变化，实现基于多媒体数据的点赞反馈 效果，也就是说，基于每个图像元素对应的指令数量的变化，可实时更新所述 图像元素对应的显示优先级，使得基于所述显示优先级显示的多媒体影像是更 符合用户偏好的，可为用户带来更好的点赞互动体验。
在一个实施例中，如图7所示，若基于所述目标操作指令确定出的目标图 像帧包括的图像元素，生成的多媒体影像显示在所述多媒体播放界面后为由70 标记的播放界面，随着所述目标操作指令的不断增加，确定每个图像元素对应 的指令数量不断变化，基于变化后的图像元素对应的指令数量，对所述图像元 素对应的显示优先级进行更新，基于更新后的显示优先级，可在所述多媒体播 放界面中显示如图7中由71标记的多媒体影像数据。
在一个实施例中，所述智能终端在确定所述目标图像帧包括的图像元素， 并基于确定的所述图像元素生成多媒体影像后，可同时生成所述多媒体影像对 应的动画效果，具体地，在为所述智能终端配置的操作系统为安卓(Android) 系统时，可将所述图像元素对应的图标元素绘制在一个自定义的圆角图像子窗 口(Image View)上，同时，在为所述圆角Image View配备点赞动画，所述点 赞动画例如可以是：飘动、平移或者透明度变化中的一种或多种，在所述智能 终端检测到目标操作指令(如点赞操作)后，基于为所述圆角ImageView配备 的点赞动画，可在所述多媒体播放界面的特定位置处，以该点赞动画显示所述多媒体影像。
在本发明实施例中，智能终端在多媒体播放界面中播放多媒体数据的过程 中，如果检测到目标操作指令，则可从该多媒体数据中确定出目标图像帧，从 而可获取该目标图像帧对应的像素点集合，并基于该像素点集合中各像素点对 应的像素值，可确定出所述目标图像帧包括的图像元素，在所述智能终端确定 出所述目标图像帧包括的图像元素后，可基于所述各图像元素对应的显示优先 级，并按照该显示优先级指示的显示顺序，在所述多媒体播放界面上显示由对 应图像元素生成的多媒体影像，实现了基于目标操作指令确定用户感兴趣的图 像元素，基于该用户感兴趣的图像元素生成的多媒体影像，可提升和用户之间 的互动性，从提升用户的使用满意度。
基于上述多媒体数据的处理方法实施例的描述，本发明实施例还提供了一 种多媒体数据的处理装置，该多媒体数据的处理装置可以是运行于上述智能终 端中的一个计算机程序(包括程序代码)。多媒体数据的处理方法可执行如图2 和图5所示的多媒体数据的处理方法，请参见图8，所述多媒体数据的处理装置 包括：确定单元801，获取单元802和显示单元803。
确定单元801，用于在多媒体播放界面播放多媒体数据的过程中，若检测到 目标操作指令，则从所述多媒体数据中确定出目标图像帧；
获取单元802，用于获取所述目标图像帧对应的像素点集合；
所述确定单元801，还用于根据所述像素点集合中各像素点对应的像素值， 确定所述目标图像帧包括的图像元素；
显示单元803，用于基于所述目标图像帧包括的图像元素生成多媒体影像， 并在所述多媒体播放界面中显示所述多媒体影像。
在一个实施例中，所述目标图像帧包括一个或多个图像元素；所述显示单 元803，具体用于：
确定所述目标图像帧中各个所述图像元素对应的显示优先级，所述显示优 先级用于确定由对应图像元素生成的多媒体影像的显示顺序；
根据所述显示优先级指示的显示顺序，在所述多媒体播放界面中显示所述 由对应图像元素生成的多媒体影像。
在一个实施例中，所述确定单元801，具体用于：
确定所述目标图像帧中不同图像元素的属性信息，所述属性信息包括以下 至少一个维度下的属性值：对应于所述目标图像帧的位置维度的位置值，在所 述目标图像帧中出现的次数，以及在所述目标图像帧中出现的面积；
获取所述至少一个维度对应的预设权重，并基于所述预设权重对所述属性 值进行计算，确定所述目标图像帧包括的各个所述图像元素的显示优先级。
在一个实施例中，所述确定单元801，具体用于：
确定针对所述目标图像帧中不同图像元素的目标操作指令的指令数量；
根据所述不同图像元素对应的指令数量，确定所述各个图像元素对应的显 示优先级。
在一个实施例中，所述确定单元801，具体用于：
确定所述目标操作指令在所述多媒体数据中作用的当前图像帧，并基于所 述多媒体数据的播放时间顺序确定位于所述当前图像帧之前的历史图像帧；
将所述当前图像帧和所述历史图像帧作为所述目标图像帧。
在一个实施例中，所述获取单元802，具体用于：
确定所述目标图像帧对应的窗口划分，并基于所述窗口划分确定所述目标 图像帧中的图像窗口集；
对所述图像窗口集中的任一图像窗口进行图像识别，并根据识别结果确定 所述任一图像窗口中图像元素对应的分值；
根据所述分值确定对所述目标图像帧进行划分的目标图像窗口，并将所述 目标图像窗口中的像素点作为所述目标图像帧对应的像素点集合。
在一个实施例中，所述确定单元801，具体用于：
根据所述像素点集合中各像素点对应的像素值，对所述目标图像帧进行语 义分割处理，并根据处理结果确定所述像素点集合中各像素点对应的元素类别；
根据所述像素点集合中各像素点对应的元素类别，确定所述目标图像帧包 括的图像元素。
在一个实施例中，所述装置还包括：优化单元804。
优化单元804，用于对所述图像元素进行优化处理，得到所述图像元素对应 的图标元素；
所述显示单元803，具体用于：
基于所述图像元素对应的图标元素生成多媒体影像。
在本发明实施例中，确定单元801在多媒体播放界面播放多媒体数据的过 程中，若检测到目标操作指令，则可从所述多媒体数据中确定出目标图像帧， 进一步地，获取单元802可获取所述目标图像帧对应的像素点集合，从而可基 于该像素点集合中各像素点对应的像素值，所述确定单元801确定该目标图像 帧包括的图像元素，所述智能终端则可基于所述目标图像帧中包括的图像元素 生成多媒体影像，显示单元803在所述多媒体播放界面中显示所述多媒体影像， 实现了基于目标操作指令实时生成不同的多媒体影像，可增强多媒体播放数据 的趣味性，以及与用户之前的交互乐趣。
请参见图9，是本发明实施例提供的一种智能终端的结构示意性框图，如图 9所示的本发明实施例中的智能终端可包括：一个或多个处理器901；一个或多 个输入设备902，一个或多个输出设备903和存储器904。上述处理器901、输 入设备902、输出设备903和存储器904通过总线905连接。存储器902用于存 储计算机程序，所述计算机程序包括程序指令，处理器901用于执行存储器902 存储的程序指令。
所述存储器904可以包括易失性存储器(volatile memory)，如随机存取存 储器(random-access memory，RAM)；存储器904也可以包括非易失性存储器 (non-volatilememory)，如快闪存储器(flash memory)，固态硬盘(solid-state drive， SSD)等；存储器904还可以包括上述种类的存储器的组合。
所述处理器901可以是中央处理器(central processing unit，CPU)。所述处 理器901还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路 (application-specific integrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)等。该PLD可以是现场可编程逻辑门阵列(field-programmable gate array，FPGA)，通用阵列逻辑(generic array logic，GAL)等。所述处理器 901也可以为上述结构的组合。
在一个实施例中，所述程序代码被调用时处理器901具体用于执行：
在多媒体播放界面播放多媒体数据的过程中，若检测到目标操作指令，则 从所述多媒体数据中确定出目标图像帧；
获取所述目标图像帧对应的像素点集合；
根据所述像素点集合中各像素点对应的像素值，确定所述目标图像帧包括 的图像元素；
基于所述目标图像帧包括的图像元素生成多媒体影像，并在所述多媒体播 放界面中显示所述多媒体影像。
在一个实施例中，所述程序代码被调用时处理器901具体还用于执行：
所述基于所述目标图像帧包括的图像元素生成多媒体影像，并在所述多媒 体播放界面中显示所述多媒体影像，包括：
确定所述目标图像帧中各个所述图像元素对应的显示优先级，所述显示优 先级用于确定由对应图像元素生成的多媒体影像的显示顺序；
根据所述显示优先级指示的显示顺序，在所述多媒体播放界面中显示所述 由对应图像元素生成的多媒体影像。
在一个实施例中，所述程序代码被调用时处理器901具体还用于执行：
确定所述目标图像帧中不同图像元素的属性信息，所述属性信息包括以下 至少一个维度下的属性值：对应于所述目标图像帧的位置维度的位置值，在所 述目标图像帧中出现的次数，以及在所述目标图像帧中出现的面积；
获取所述至少一个维度对应的预设权重，并基于所述预设权重对所述属性 值进行计算，确定所述目标图像帧包括的各个所述图像元素的显示优先级。
在一个实施例中，所述程序代码被调用时处理器901具体还用于执行：
确定针对所述目标图像帧中不同图像元素的目标操作指令的指令数量；
根据所述不同图像元素对应的指令数量，确定所述各个图像元素对应的显 示优先级。
在一个实施例中，所述程序代码被调用时处理器901具体还用于执行：
确定所述目标操作指令在所述多媒体数据中作用的当前图像帧，并基于所 述多媒体数据的播放时间顺序确定位于所述当前图像帧之前的历史图像帧；
将所述当前图像帧和所述历史图像帧作为所述目标图像帧。
在一个实施例中，所述程序代码被调用时处理器901具体还用于执行：
确定所述目标图像帧对应的窗口划分，并基于所述窗口划分确定所述目标 图像帧中的图像窗口集；
对所述图像窗口集中的任一图像窗口进行图像识别，并根据识别结果确定 所述任一图像窗口中图像元素对应的分值；
根据所述分值确定对所述目标图像帧进行划分的目标图像窗口，并将所述 目标图像窗口中的像素点作为所述目标图像帧对应的像素点集合。
在一个实施例中，所述程序代码被调用时处理器901具体还用于执行：
根据所述像素点集合中各像素点对应的像素值，对所述目标图像帧进行语 义分割处理，并根据处理结果确定所述像素点集合中各像素点对应的元素类别；
根据所述像素点集合中各像素点对应的元素类别，确定所述目标图像帧包 括的图像元素。
在一个实施例中，所述程序代码被调用时处理器901具体还用于执行：
对所述图像元素进行优化处理，得到所述图像元素对应的图标元素；
所述基于所述图像元素生成多媒体影像，包括：
基于所述图像元素对应的图标元素生成多媒体影像。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程， 是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算 机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。 其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory， ROM)或随机存储记忆体(RandomAccess Memory，RAM)等。
以上所揭露的仅为本发明的局部实施例而已，当然不能以此来限定本发明 之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或局部流程， 并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (10)

1.一种多媒体数据的处理方法，其特征在于，包括：
在多媒体播放界面播放多媒体数据的过程中，若检测到目标操作指令，则从所述多媒体数据中确定出目标图像帧；所述目标图像帧包括一个或多个图像元素；
获取所述目标图像帧对应的像素点集合；
根据所述像素点集合中各像素点对应的像素值，确定所述目标图像帧包括的图像元素；
确定所述目标图像帧中各个所述图像元素对应的显示优先级，所述显示优先级用于确定由对应图像元素生成的多媒体影像的显示顺序；并根据所述显示优先级指示的显示顺序，在所述多媒体播放界面中显示所述由对应图像元素生成的多媒体影像。
2.根据权利要求1所述的方法，其特征在于，所述确定所述目标图像帧中各个所述图像元素对应的显示优先级，包括：
确定所述目标图像帧中不同图像元素的属性信息，所述属性信息包括以下至少一个维度下的属性值：对应于所述目标图像帧的位置维度的位置值，在所述目标图像帧中出现的次数，以及在所述目标图像帧中出现的面积；
获取所述至少一个维度对应的预设权重，并基于所述预设权重对所述属性值进行计算，确定所述目标图像帧包括的各个所述图像元素的显示优先级。
3.根据权利要求1所述的方法，其特征在于，所述确定所述目标图像帧中各个所述图像元素对应的显示优先级，包括：
确定针对所述目标图像帧中不同图像元素的目标操作指令的指令数量；
根据所述不同图像元素对应的指令数量，确定所述各个图像元素对应的显示优先级。
4.根据权利要求1所述的方法，其特征在于，所述从所述多媒体数据中确定出目标图像帧，包括：
确定所述目标操作指令在所述多媒体数据中作用的当前图像帧，并基于所述多媒体数据的播放时间顺序确定位于所述当前图像帧之前的历史图像帧；
将所述当前图像帧和所述历史图像帧作为所述目标图像帧。
5.根据权利要求1所述的方法，其特征在于，所述获取所述目标图像帧对应的像素点集合，包括：
确定所述目标图像帧对应的窗口划分，并基于所述窗口划分确定所述目标图像帧中的图像窗口集；
对所述图像窗口集中的任一图像窗口进行图像识别，并根据识别结果确定所述任一图像窗口中图像元素对应的分值；
根据所述分值确定对所述目标图像帧进行划分的目标图像窗口，并将所述目标图像窗口中的像素点作为所述目标图像帧对应的像素点集合。
6.根据权利要求1所述的方法，其特征在于，所述根据所述像素点集合中各像素点对应的像素值，确定所述目标图像帧包括的图像元素，包括：
根据所述像素点集合中各像素点对应的像素值，对所述目标图像帧进行语义分割处理，并根据处理结果确定所述像素点集合中各像素点对应的元素类别；
根据所述像素点集合中各像素点对应的元素类别，确定所述目标图像帧包括的图像元素。
7.根据权利要求1所述的方法，其特征在于，所述基于所述图像元素生成多媒体影像之前，所述方法还包括：
对所述图像元素进行优化处理，得到所述图像元素对应的图标元素；
所述基于所述图像元素生成多媒体影像，包括：
基于所述图像元素对应的图标元素生成多媒体影像。
8.一种多媒体数据的处理装置，其特征在于，包括：
确定单元，用于在多媒体播放界面播放多媒体数据的过程中，若检测到目标操作指令，则从所述多媒体数据中确定出目标图像帧；所述目标图像帧包括一个或多个图像元素；
获取单元，用于获取所述目标图像帧对应的像素点集合；
所述确定单元，还用于根据所述像素点集合中各像素点对应的像素值，确定所述目标图像帧包括的图像元素；
显示单元，用于确定所述目标图像帧中各个所述图像元素对应的显示优先级，所述显示优先级用于确定由对应图像元素生成的多媒体影像的显示顺序；并根据所述显示优先级指示的显示顺序，在所述多媒体播放界面中显示所述由对应图像元素生成的多媒体影像。
9.一种智能终端，其特征在于，包括处理器、输入设备、输出设备和存储器，所述处理器、所述输入设备、所述输出设备和所述存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序指令，所述计算机程序指令被处理器执行时，用于执行如权利要求1-7任一项所述的多媒体数据的处理方法。
CN201910951809.5A 2019-09-29 2019-09-29 多媒体数据的处理方法、装置、智能终端及存储介质 Active CN110636322B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910951809.5A CN110636322B (zh) 2019-09-29 2019-09-29 多媒体数据的处理方法、装置、智能终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910951809.5A CN110636322B (zh) 2019-09-29 2019-09-29 多媒体数据的处理方法、装置、智能终端及存储介质

Publications (2)

Publication Number Publication Date
CN110636322A CN110636322A (zh) 2019-12-31
CN110636322B true CN110636322B (zh) 2022-06-21

Family

ID=68975800

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910951809.5A Active CN110636322B (zh) 2019-09-29 2019-09-29 多媒体数据的处理方法、装置、智能终端及存储介质

Country Status (1)

Country Link
CN (1) CN110636322B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112764612A (zh) * 2021-01-21 2021-05-07 北京字跳网络技术有限公司 互动方法、装置、电子设备和存储介质
CN113011919B (zh) * 2021-03-10 2024-02-02 腾讯科技（深圳）有限公司 识别兴趣对象的方法及装置、推荐方法、介质、电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2071578A1 (en) * 2007-12-13 2009-06-17 Sony Computer Entertainment Europe Ltd. Video interaction apparatus and method
GB201003289D0 (en) * 2010-02-26 2010-04-14 Sony Corp Method and system for processing video machines
WO2012084908A1 (en) * 2010-12-23 2012-06-28 Eldon Technology Limited Recognition of images within a video based on a stored representation
JP2014123908A (ja) * 2012-12-21 2014-07-03 Jvc Kenwood Corp 画像処理装置、画像切り出し方法、及びプログラム
WO2015027953A1 (en) * 2013-09-02 2015-03-05 Tencent Technology (Shenzhen) Company Limited Method, apparatus and terminal device for dynamic image processing
WO2015054638A1 (en) * 2013-10-10 2015-04-16 Elwha Llc Methods, systems, and devices for handling image data from captured images
CN104574256A (zh) * 2013-10-23 2015-04-29 腾讯科技（深圳）有限公司 对图像进行局部选择处理的方法和装置
GB201521218D0 (en) * 2015-12-01 2016-01-13 Zaptobuy Ltd Methods and systems for identifying an object in a video image
WO2017189985A1 (en) * 2016-04-29 2017-11-02 Grasscrown, Inc. Methods and apparatus for providing interactive images

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6047992B2 (ja) * 2012-08-14 2016-12-21 富士ゼロックス株式会社 表示制御装置、画像形成装置及びプログラム
US10158920B2 (en) * 2015-02-17 2018-12-18 Jong Park Interaction system and interaction method thereof
CN106210808B (zh) * 2016-08-08 2019-04-16 腾讯科技（深圳）有限公司 媒体信息投放方法、终端、服务器及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2071578A1 (en) * 2007-12-13 2009-06-17 Sony Computer Entertainment Europe Ltd. Video interaction apparatus and method
GB201003289D0 (en) * 2010-02-26 2010-04-14 Sony Corp Method and system for processing video machines
WO2012084908A1 (en) * 2010-12-23 2012-06-28 Eldon Technology Limited Recognition of images within a video based on a stored representation
JP2014123908A (ja) * 2012-12-21 2014-07-03 Jvc Kenwood Corp 画像処理装置、画像切り出し方法、及びプログラム
WO2015027953A1 (en) * 2013-09-02 2015-03-05 Tencent Technology (Shenzhen) Company Limited Method, apparatus and terminal device for dynamic image processing
WO2015054638A1 (en) * 2013-10-10 2015-04-16 Elwha Llc Methods, systems, and devices for handling image data from captured images
CN104574256A (zh) * 2013-10-23 2015-04-29 腾讯科技（深圳）有限公司 对图像进行局部选择处理的方法和装置
GB201521218D0 (en) * 2015-12-01 2016-01-13 Zaptobuy Ltd Methods and systems for identifying an object in a video image
WO2017189985A1 (en) * 2016-04-29 2017-11-02 Grasscrown, Inc. Methods and apparatus for providing interactive images

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"场景图像文字提取方法研究与应用";柏宏飞;《中国优秀硕博毕业论文》;20091231;全文 *

Also Published As

Publication number Publication date
CN110636322A (zh) 2019-12-31

Similar Documents

Publication Publication Date Title
US10776970B2 (en) Method and apparatus for processing video image and computer readable medium
US12073621B2 (en) Method and apparatus for detecting information insertion region, electronic device, and storage medium
CN110149530B (zh) 一种视频处理方法和装置
US10810633B2 (en) Generating a shoppable video
US11941049B2 (en) Adaptive search results for multimedia search queries
WO2017190639A1 (zh) 媒体信息的展示方法、客户端及服务器
WO2022089170A1 (zh) 字幕区域识别方法、装置、设备及存储介质
WO2018228384A1 (zh) 图像处理方法、装置、电子设备及存储介质
US11681409B2 (en) Systems and methods for augmented or mixed reality writing
KR102102164B1 (ko) 영상 전처리 방법, 장치 및 컴퓨터 프로그램
CN113766330A (zh) 基于视频生成推荐信息的方法和装置
CN110636322B (zh) 多媒体数据的处理方法、装置、智能终端及存储介质
WO2023045635A1 (zh) 多媒体文件的字幕处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品
WO2014100936A1 (zh) 视频的关联信息库制作和视频播放的方法、平台及系统
CN114372172A (zh) 生成视频封面图像的方法、装置、计算机设备及存储介质
CN112101344B (zh) 一种视频文本跟踪方法及装置
US20240330581A1 (en) Method for automatically generating responsive media
US10606884B1 (en) Techniques for generating representative images
CN111709762B (zh) 信息匹配度的评估方法、装置、设备及存储介质
CN111046232B (zh) 一种视频分类方法、装置及系统
US20150181288A1 (en) Video sales and marketing system
CN110942056A (zh) 服饰关键点定位方法、装置、电子设备及介质
CN113569668A (zh) 确定视频中高光片段的方法、介质、装置和计算设备
CN112312205A (zh) 一种视频处理方法、装置、电子设备和计算机存储介质
CN116781971B (zh) 视频播放方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40019574

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant