CN111405314B - 一种信息处理方法、装置、设备及存储介质 - Google Patents

一种信息处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111405314B
CN111405314B CN202010158760.0A CN202010158760A CN111405314B CN 111405314 B CN111405314 B CN 111405314B CN 202010158760 A CN202010158760 A CN 202010158760A CN 111405314 B CN111405314 B CN 111405314B
Authority
CN
China
Prior art keywords
target
target image
information analysis
image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010158760.0A
Other languages
English (en)
Other versions
CN111405314A (zh
Inventor
邓朔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010158760.0A priority Critical patent/CN111405314B/zh
Publication of CN111405314A publication Critical patent/CN111405314A/zh
Application granted granted Critical
Publication of CN111405314B publication Critical patent/CN111405314B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Abstract

本申请提供了一种信息处理方法、装置、设备及存储介质，该方法包括：获取包括多帧按序排列的目标图像的目标图像序列；基于图像信息分析模型分别对裁剪后的第一目标图像和第二目标图像进行信息分析，得到第一目标图像对应的第一信息分析结果和第二目标图像对应的第二信息分析结果；基于第一信息分析结果确定第一目标图像的第一显示区域，基于第二信息分析结果确定所候选区域；确定第一显示区域和候选区域之间的第一偏移向量；基于第一显示区域和第一偏移向量，确定第二目标图像的第二显示区域以及其他目标图像的第三显示区域；渲染显示第一显示区域、第三显示区域和第二显示区域。本申请能够正确地展示信息流中的重要信息，降低信息损失率。

Description

一种信息处理方法、装置、设备及存储介质
技术领域
本申请属于互联网技术领域，具体涉及一种信息处理方法、装置、设备及存储介质。
背景技术
信息流是指可以滚动浏览的内容流，其可以包括文字、视频或图片中的至少一种。随着移动互联网的发展，信息流作为一种重要的产品形态在越来越多的应用中出现，例如微博中的信息流，微信朋友圈中的信息流等。
当信息流为视频时，由于视频的属性多样性，例如4:3、16:9等不同比例的视频，为了保证视觉形态的一致性，对于在同一页面但比例不一致的视频，通常会采用裁剪的方式进行播放(即播放视频中的一小部分)。
现有技术通常采用固定单一的策略对视频进行裁剪播放。但固定单一的裁剪策略裁剪，会降低视频中图像的信息熵，无法正确地展示视频中的重要信息，导致用户在信息流界面中，无法获得正常的观看体验。
发明内容
为了正确地展示信息流中的重要信息，降低信息流中的信息损失率，提高用户的观看体验，本申请提出一种信息处理方法、装置、设备及存储介质。
一方面，本申请提出了一种信息处理方法，所述方法包括：
获取目标图像序列，所述目标图像序列包括多帧按序排列的目标图像；
对排序最前的第一目标图像和排序最后的第二目标图像进行裁剪；
基于图像信息分析模型分别对裁剪后的第一目标图像和第二目标图像进行信息分析，得到所述第一目标图像对应的第一信息分析结果和所述第二目标图像对应的第二信息分析结果；
基于所述第一信息分析结果确定所述第一目标图像对应的第一显示区域，基于所述第二信息分析结果确定所述第二目标图像对应的候选区域；
确定所述第一显示区域和所述候选区域之间的第一偏移向量；
基于所述第一显示区域和所述第一偏移向量，确定所述第二目标图像对应的第二显示区域以及所述目标图像序列中除所述第一目标图像和所述第二目标图像之外的其他目标图像对应的第三显示区域；
渲染显示所述第一显示区域、所述第三显示区域和所述第二显示区域。
另一方面，本申请提出了一种信息处理装置，所述装置包括：
目标图像序列获取模块，用于获取目标图像序列，所述目标图像序列包括多帧按序排列的目标图像；
裁剪模块，用于对排序最前的第一目标图像和排序最后的第二目标图像进行裁剪；
信息分析模块，用于基于图像信息分析模型分别对裁剪后的第一目标图像和第二目标图像进行信息分析，得到所述第一目标图像对应的第一信息分析结果和所述第二目标图像对应的第二信息分析结果；
第一区域确定模块，用于基于所述第一信息分析结果确定所述第一目标图像对应的第一显示区域，基于所述第二信息分析结果确定所述第二目标图像对应的候选区域；
第一偏移向量确定模块，用于确定所述第一显示区域和所述候选区域之间的第一偏移向量；
第二区域确定模块，用于基于所述第一显示区域和所述第一偏移向量，确定所述第二目标图像对应的第二显示区域以及所述目标图像序列中除所述第一目标图像和所述第二目标图像之外的其他目标图像对应的第三显示区域；
渲染模块，用于渲染显示所述第一显示区域、所述第三显示区域和所述第二显示区域。
另一方面，本申请提出了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上述所述的信息处理方法。
另一方面，本申请提出了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如上述所述的信息处理方法。
本申请提出的一种信息处理方法、装置、设备及存储介质，从目标多媒体信息(比如待播放视频中)获取目标图像序列，并使用预设训练好的图像信息分析模型对裁剪后的首帧目标图像和最后一帧目标图像进行信息分析处理，得到首帧目标图像和最后一帧目标图像对应的信息分析结果，根据该信息分析结果，确定首帧目标图像的最大信息裁剪方式(即第一显示区域)和最后一帧目标图像的候选区域，接着根据第一显示区域和候选区域确定偏移向量，并根据第一显示区域和所述偏移向量，确定除首帧图像之外的其他图像对应的显示区域，即确定最终的渲染模式。本申请一方面通过图像信息分析模型对目标图像进行信息分析处理，可以最大化目标图像的信息熵，确保正确展示每帧目标图像中的重要信息，降低信息损失率；另一方面，根据第一显示区域和所述偏移向量确定渲染模式，可以减少信息流播放过程中的跳动，确保用户可在信息流的场景下获得更好的播放体验。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1是本申请实施例提供的一种信息处理方法的实施环境示意图。
图2是本申请实施例提供的一种信息处理方法的流程示意图。
图3是本申请实施例提供的另一种信息处理方法的流程示意图。
图4是本申请实施例提供的通过图像信息分析模型寻找最大裁剪区域的原理示意图。
图5是本申请实施例提供的一种获取图像信息分析模型的流程示意图。
图6是本申请实施例提供的另一种获取图像信息分析模型的流程示意图。
图7是本申请实施例提供的构建目标样本图像数据的原理示意图。
图8是本申请实施例提供的确定第二偏移向量的结构示意图。
图9是本申请实施例提供的区块链系统的一个可选的结构示意图。
图10是本申请实施例提供的区块结构(Block Structure)一个可选的示意图。
图11是本申请实施例提供的一种信息处理装置的结构示意图。
图12是本申请实施例提供的一种服务器结构示意图。
具体实施方式
随着人工智能(Artificial Intelligence,AI)的研究和进步，AI在多个领域展开研究和应用。AI是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。
具体地，本申请实施例提供的方案涉及人工智能的机器学习(Machine Learning,ML)技术和计算机视觉技术(Computer Vision,CV)。ML是门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科，其专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。ML通常包括深度学习、增强学习、迁移学习、归纳学习、示教学习等技术。CV是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。CV通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
具体地，本申请实施例提供的获取图像信息分析模型的步骤涉及ML中的深度学习技术等。
具体地，本申请实施例提供的对目标图像进行信息分析处理涉及CV中的图像语义理解技术，对候选样本图像进行目标检测处理涉及CV中的视频语义理解技术等。
具体地，本申请实施例提供的技术方案通过如下实施例进行说明。
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
图1是本申请实施例提供的一种信息处理方法的实施环境示意图。如图1所示，该实施环境至少可以包终端01和服务器02，终端01可以通过有线或无线方式与服务器02建立直接或间接地连接，以通过此网络实现与服务器02之间的数据传输。例如，服务器02可以对目标图像进行剪裁、信息分析等处理，渲染生成不同目标图像对应的显示区域，并将控制终端01中对该显示区域进行渲染显示。
具体地，服务器02可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
具体地，终端01可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。
需要说明的是，图1仅仅是一种示例。
图2是本申请实施例提供的一种信息处理方法的流程示意图，本说明书提供了如实施例或流程图的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图2所示，方法可以包括：
S101.获取目标图像序列，目标图像序列包括多帧按序排列的目标图像。
具体地，如图3所示，S101可以包括：
S10101.获取目标多媒体信息，目标多媒体信息中包括多帧目标图像，多帧目标图像按照播放时间的先后顺序进行顺序排序。
S10103.将相邻的预设数量帧目标图像所组成的序列作为目标图像序列。
其中，目标多媒体信息包括至少一个目标图像序列。
在实际应用中，该目标多媒体信息可以为信息流，该信息流包括但不限于文字、视频、相册等。
以目标多媒体信息为视频为例，由于视频的播放是连续的，如果简单的对目标多媒体信息中的每帧目标图像选取信息评价最大的裁剪，将会使不同帧的目标图像在播放的时候产生跳动，从而导致视频播放的不连续。基于此，为了保证视频播放的连续性，可以将多媒体信息中的相邻的预设数量帧目标图像作为一组，以形成一个目标图像序列。在对目标多媒体信息中的目标图像进行处理信息分析处理的时候，可以以每个目标图像序列作为一个处理单元进行处理，从而能够避免对每帧目标图像进行处理，不仅可以大大降低图像处理时长，提高了图像处理效率，还可以有效避免不同帧目标图像在播放时候的跳动情况，保证视频播放的连续性。
S103.对排序最前的第一目标图像和排序最后的第二目标图像进行裁剪。
具体地，S103可以包括：基于预设裁剪策略分别对排序最前的第一目标图像和排序最后的第二目标图像进行裁剪，得到第一目标图像对应的多个第一裁剪区域和第二目标图像对应的多个第二裁剪区域。
S105.基于图像信息分析模型分别对裁剪后的第一目标图像和第二目标图像进行信息分析，得到第一目标图像对应的第一信息分析结果和第二目标图像对应的第二信息分析结果。
具体地，如图3所示，S105可以包括：
S1051.基于图像信息分析模型分别对每个第一裁剪区域和每个第二裁剪区域进行信息分析，得到每个第一裁剪区域对应的第一信息分析值和每个第二裁剪区域对应的第二信息分析值。
S1053.将数值大于第一阈值的第一信息分析值作为第一信息分析结果，将数值大于第一阈值的第二信息分析值作为第二信息分析结果。
S107.基于第一信息分析结果确定第一目标图像对应的第一显示区域，基于第二信息分析结果确定第二目标图像对应的候选区域。
具体地，如图3所示，S107可以包括：
将第一信息分析结果对应的第一裁剪区域作为第一显示区域，将第二信息分析结果对应的第二剪裁区域作为候选区域。
本申请实施例中，图像信息分析模型可以基于样本图像及相应的信息分析标签进行机器训练学习得到。在信息评估过程中，将目标图像对应的裁剪区域输入该图像信息分析模型之后，可以得到每个裁剪区域的信息评估得分，公式如下：
score＝f(image)。
图4所示为本申请实施例中通过图像信息分析模型寻找最大裁剪区域的原理示意图。在实际应用中，可以认为得分最高的裁剪区域的信息损失最小，因此如图4所示，在将经过裁剪后的目标多媒体信息(比如视频)中的目标图像输入图像信息分析模型之后，可以将得分最高的剪裁区域作为该目标图像最终的显示区域，即最大信息裁剪区域。该最大信息裁剪区域可以认为是信息含量最大的区域，即图像的信息是损失最小或信息熵最大的区域。
本申请实施例中，由于使用图像信息分析模型对目标图像进行信息分析处理，可以有效避免由于视频中的重要信息被裁剪导致的图像信息熵较低的问题，使目标图像的信息损失最小，确保目标图像的信息最大化显示。
在实际应用中，假设该目标图像序列中包括N帧图像，则对于该序列中的首帧图像(即排序最前的第一目标图像)，可以利用预先训练好的图像信息分析模型，进行动态全域搜索，获取其最大的信息裁剪方式。具体地，如S103所述，可将通过不同的裁剪方式对该第一目标图像进行裁剪，得到多个第一裁剪区域。如S1051-S1053所述，可以将该多个第一裁剪区域输入预先训练好的图像信息分析模型进行信息分析处理，得到每个第一裁剪区域对应的第一信息分析值，将数值大于第一阈值的第一信息分析值(比如，数值最大的第一信息分析值)作为第一信息分析结果。最后，如S107所述，可以将数值最大的第一信息分析指对应的第一裁剪区域作为第一显示区域，比如将该第一显示区域记为
Figure BDA0002405012100000081
其中，动态全域搜索是指：通过不同的剪裁方式，对首帧目标图像的各个部分进行动态裁剪，从而得到多个第一裁剪区域。通过动态全域搜索能够准确获取信息最大的裁剪，可信度和权威性较高。
本申请实施例中，对于第N帧目标图像(即排序最后的第二目标图像)，可以按照S103的方式对该第N帧目标图像进行裁剪，得到多个第二裁剪区域。接着按照S1051-S1053，可以将该多个第二裁剪区域输入预先训练好的图像信息分析模型进行信息分析处理，得到每个第二裁剪区域对应的第二信息分析值，将数值大于第一阈值的第二信息分析值(比如，数值最大的第二信息分析值)作为第二信息分析结果。最后，如S107所述，可以将数值最大的第二信息分析指对应的第二裁剪区域作为第N帧目标图像对应的候选区域。
需要说明的是，为了减少视频画面的跳动，确保视频播放的连续性，第N帧目标图像输入图像信息分析模型得到的得分对应的候选区域并不是第N帧目标图像最终的最大裁剪区域，候选区域可以用于确定第一偏移向量，第N帧目标图像最终的最大裁剪区域可以根据第一显示区域和第一偏移向量得到。
S109.确定第一显示区域和候选区域之间的第一偏移向量。
具体地，如图3所示，S109可以包括：
S1091.确定第一显示区域的第一重心和候选区域的第二重心。
S1093.基于第一重心与第二重心，确定第一偏移向量。
本申请实施例中，如S1091-S1093，在得到第一显示区域和候选区域之后，可以以第一显示区域的重心为起点，以候选区域的重心为终点，确定第一显示区域与候选区域之间的第一偏移向量
Figure BDA0002405012100000091
该
Figure BDA0002405012100000092
表征的是第一显示区域与候选区域之间的位置偏移情况，
Figure BDA0002405012100000093
可以包括第一偏移方向和第一偏移大小。
S1011.基于第一显示区域和第一偏移向量，确定第二目标图像对应的第二显示区域以及目标图像序列中除第一目标图像和第二目标图像之外的其他目标图像对应的第三显示区域。
具体地，如图3所示，S1011可以包括：
S10111.基于第一预设数量将第一偏移向量的长度进行平分，得到第一预设数量个向量长度；第一预设数量与目标图像序列中所包含的目标图像的数量相对应。
S10113.将第一显示区域沿着第一偏移向量的方向，移动第二预设数量个向量长度，得到其他目标图像对应的第三显示区域和第二目标图像对应的第二显示区域。
其中，第一预设数量大于或等于第二预设数量，第二预设数量与其他图像在目标图像序列中的位置以及第二目标图像在目标图像序列中的位置相对应。
本申请实施例中，在确定
Figure BDA0002405012100000101
和
Figure BDA0002405012100000102
之后，可以根据二者动态渲染其他目标图像对应的第三显示区域和第N帧目标图像对应的第二显示区域，具体过程可以如下：
如S10111所述，可以将该第一偏移向量的长度平分为第一预设数量份，比如平分为N-1份。
对于第二帧目标图像：将
Figure BDA0002405012100000103
沿着第一偏移向量的方向移动第二预设数量个向量长度，得到移动后的第一矩形区域，根据移动后的第一矩形区域的位置信息和尺寸信息对第二帧目标图像进行裁剪，得到第二帧目标图像对应的最大信息裁剪区域(即包含最大显示信息的第三显示区域)，记为
Figure BDA0002405012100000104
此处的第二预设数量可以为1，即此处的第二预设数量＝第二帧目标图像在目标图像序列中的排序号-1。
对于第三帧目标图像：将
Figure BDA0002405012100000105
沿着第一偏移向量的方向移动第二预设数量个向量长度，得到移动后的第二矩形区域，根据该移动后的第二矩形区域的位置信息和尺寸信息对第三帧目标图像进行裁剪，得到第三帧目标图像对应的最大信息裁剪区域(即包含最大显示信息的第三显示区域)，记为
Figure BDA0002405012100000106
此处的第二预设数量可以为2，即此处的第二预设数量＝第三帧目标图像在目标图像序列中的排序号-1。
以此类推，对于第N帧目标图像：将
Figure BDA0002405012100000107
沿着第一偏移向量的方向移动第二预设数量个向量长度，得到移动后的第N-1矩形区域，根据该移动后的第N-1矩形区域的位置信息和尺寸信息对该第N帧目标图像进行裁剪，得到第N帧目标图像对应的最大信息裁剪区域(即包含最大显示信息的第二显示区域)，记为
Figure BDA0002405012100000108
此处的第二预设数量可以为N-1，即此处的第二预设数量＝第N帧目标图像在目标图像序列中的排序号-1。
S1013.渲染显示第一显示区域、第三显示区域和第二显示区域。
在实际应用中，在得到第一显示区域、第三显示区域和第二显示区域之后，可以对第一显示区域、第三显示区域和第二显示区域中所包含的信息内容进行显示，即可以按照顺序将第一显示区域、第三显示区域和第二显示区域合成剪裁后的视频并进行播放。
本申请实施例中，由于使用图像信息分析模型对目标图像进行信息分析处理，使目标图像的信息损失最小，确保视频中图像的信息最大化显示，此外由于使用搜索的方式，确定最终的渲染模式，且仅通过图像信息分析模型对每个目标图像序列中的首帧和第N帧进行信息分析，首帧与第N帧目标图像之间的其他图像对应的显示区域由
Figure BDA0002405012100000111
与
Figure BDA0002405012100000112
不对其他图像进行信息分析处理，由此减少视频播放过程中的跳动，确保用户可在信息流的场景下获得更好的播放体验。
在实际应用中，寻找信息最大化的播放区域，本质上是一种最优化问题，即在当前画面中，对给定大小的矩形区域，寻找信息含量最大的区域。基于此，可以提出一种衡量图像信息的方式，用以表述图像的信息密度，例如边缘信息，人脸信息等。表1为对图像的裁剪区域进行评价分级的一种方式，如表1所示，该分级是非常主观的评价行为，例如4分、5分是较为模糊的存在，采集的训练数据集的可信度和权威性较低，且采集此类的训练数据的时长较长。基于此，本申请实施例提出一种自动构建训练数据集(即目标样本图像数据)的方法，并使用该训练数据集对预设机器学习模型进行训练，得到能够对图像进行分级的图像信息分析模型，从而达到信息评估的作用。
表1对图像的裁剪区域进行评价分级
得分 解释
5 清晰，完整的图像
4 完整图像，不影响图像的理解
3 图像残缺，影响图像理解内容
2 图像残缺，错误理解图像内容
1 图像残缺，完全无法理解图像内容
具体地，如图5所示，所述方法还可以包括获取图像信息分析模型的步骤，该获取图像信息分析模型可以包括：
S201.获取标注有信息分析标签的目标样本图像数据。
S203.基于目标样本图像数据对预设机器学习模型进行信息分析训练学习，在训练学习过程中调整预设机器学习模型的模型参数至预设机器学习模型输出的信息分析标签与目标样本图像数据的信息分析标签相匹配。
S205.将当前模型参数对应的机器学习模型作为图像信息分析模型。
在一个可行的实施例中，该预设机器学习模型可以为卷积神经网络模型，比如轻量级网络(Mobilenet)，通过目标样本图像数据对Mobilenet进行信息分析训练，从而得到达到信息评估作用的图像信息分析模型。
其中，Mobilenet是深度卷积(depthwise convolution)和逐点卷积(pointwiseconvolution)组成的新卷积结构。其中，depthwise convolution应用在每一个输入通道上，pointwise convolution合并每一个深度卷积的输出。
具体地，如图6所示，S201可以包括：
S2011.获取候选样本图像。
S2013.基于预设目标检测模型对候选样本图像进行目标检测处理，得到候选样本图像对应的目标检测结果。
在实际应用中，该预设目标检测模型在对候选样本图像进行目标检测处理过程中，其追踪的目标包但不限于：汽车、动物、人、人脸等携带大量的信息目标的实体对象，比如，通过检测“人脸”告诉用户词视频中的主/副角，以及主/副角的情绪等信息。
在一个可行的实施例中，该目标检测结果可以为该候选样本图像对应的多个矩形位置，即Obji，i＝{1，…，n}。图7所示为一种构建目标样本图像数据的原理示意图，该目标检测结果可以如图7A中的灰色边框所示。
在一个可行的实施例中，预设目标检测模型包括但不限于：Faster Region-CNN(Faster R-CNN)、Single Shot MultiBox Detector(SSD)或You Only Look Once(YOLO)等模型。
S2015.基于目标检测结果，确定候选样本图像对应的第一样本图像区域。
本实施例中，在得到Obji，i＝{1，…，n}之后，可以求取Obji，i＝{1，…，n}的最小正切矩形，并将该最小正切矩形作为最好的裁剪区域(即第一样本图像区域)，可以记为C5，可以如图7B中的白色虚线边框所述。
S2017.将第一样本图像区域按照预设移动策略在候选样本图像中进行移动，得到候选样本图像对应的多个第二样本图像区域。
S2019.基于第一样本图像区域与多个第二样本图像区域之间的重叠区域的大小，确定第三样本图像区域。
在一个可行的实施例中，S2017中的预设移动策略可以为：向上、下、左、右四个方向移动裁剪区域C5至第一样本图像的边缘，得到
Figure BDA0002405012100000131
其中，
Figure BDA0002405012100000132
可以如图7C所述，
Figure BDA0002405012100000133
可以如图7D所示，
Figure BDA0002405012100000134
可以如图7E所示，由于图7中的第一样本图像区域的左边缘与候选样本图像的左边缘重叠，因此，第一样本图像区域无法向候选样本图像的左边进行移动，因此，此处可以不考虑
Figure BDA0002405012100000135
的影响。接着在S2019中，分别计算
Figure BDA0002405012100000136
与区域C5的重叠面积，寻找出其最小的重叠区域，即第三样本图像区域，第三样本图像区域的公式可以如下：
Figure BDA0002405012100000137
其中，
Figure BDA0002405012100000138
表示C′1与C5之间的重叠区域。
根据上述计算公式可以得到，图7中的第三样本图像区域可以为
Figure BDA0002405012100000139
与C5之间的重叠区域，如图7C所述。
S20111.基于第三样本图像区域的重心与第一样本图像区域的重心，确定第三样本图像区域与第一样本图像区域之间的第二偏移向量。
本申请实施例中，如图8所示，可以以第三样本图像区域的重心和第一样本图像区域的重心确定第三样本图像区域与第一样本图像区域之间的第二偏移向量
Figure BDA00024050121000001310
公式可以如下：
Figure BDA0002405012100000141
其中，G代表矩形的重心。
S20113.将第一样本图像区域按照第二偏移向量进行移动，得到候选样本图像对应的目标样本图像区域。
本申请实施例中，可以将
Figure BDA0002405012100000142
的向量长度平分为第三预设数量份，将C5按照平分好的第二偏移向量进行移动，得到至少一个目标样本图像区域C′1。以下，以该第三预设数量为4为例对S20113进行说明：
如果不移动第一样本图像区域，则C′1为C5。
如果将第一样本图像区域按照
Figure BDA0002405012100000143
的方向移动1/4个
Figure BDA0002405012100000144
的向量长度，则得到一个目标样本图像区域。
如果将第一样本图像区域按照
Figure BDA0002405012100000145
的方向移动2/4个
Figure BDA0002405012100000146
的向量长度，则得到另一个目标样本图像区域。
如果将第一样本图像区域按照
Figure BDA0002405012100000147
的方向移动3/4个
Figure BDA0002405012100000148
的向量长度，则得到另一个目标样本图像区域。
如果将第一样本图像区域按照
Figure BDA0002405012100000149
的方向移动整个
Figure BDA00024050121000001410
的向量长度，则得到另一个目标样本图像区域。
由此，可以得到以上5个目标样本图像区域。
S20115.对目标样本图像区域标注信息分析标签。
S20117.将标注有信息分析标签的目标样本图像区域作为目标样本图像数据。
本申请实施例中，在得到以上5个目标样本区域后，可以为这些目标样本区域标注信息分析标签，该信息分析标签可以为样本图像区域的得分，并将标注有信息分析标签的目标样本图像区域作为目标样本图像数据。
本申请实施例中，通过预设目标检测模型对候选样本图像进行目标检测，从而自动构建训练数据集(即目标样本图像数据)，大大缩减该训练数据集的采集时间，有效减轻系统负担，且通过该目标样本图像数据对预设机器学习模型进行训练得到图像信息分析模型，使得该图像信息分析模型具有较高的可信度和权威性较高。此外，通过该图像信息分析模型对目标图像的裁剪区域进行信息评估分析，能够有效避免主观的评价行为以及较为模糊的评价分析结果，提高裁剪区域信息评估的准确性和效率。
在一个可行的实施例中，S201中的目标样本图像数据可以存储于区块链系统中。参见图9，图9所示是本申请实施例提供的区块链系统的一个可选的结构示意图，多个节点之间形成组成的点对点(P2P，Peer To Peer)网络，P2P协议是一个运行在传输控制协议(TCP，Transmission Control Protocol)协议之上的应用层协议。在区块链系统中，任何机器如服务器、终端都可以加入而成为节点，节点包括硬件层、中间层、操作系统层和应用层。
参见图9示出的区块链系统中各节点的功能，涉及的功能包括：
1)路由，节点具有的基本功能，用于支持节点之间的通信。
节点除具有路由功能外，还可以具有以下功能：
2)应用，用于部署在区块链中，根据实际业务需求而实现特定业务，记录实现功能相关的数据形成记录数据，在记录数据中携带数字签名以表示任务数据的来源，将记录数据发送到区块链系统中的其他节点，供其他节点在验证记录数据来源以及完整性成功时，将记录数据添加到临时区块中。
3)区块链，包括一系列按照产生的先后时间顺序相互接续的区块(Block)，新区块一旦加入到区块链中就不会再被移除，区块中记录了区块链系统中节点提交的记录数据。
参见图10，图10为本申请实施例提供的区块结构(Block Structure)一个可选的示意图，每个区块中包括本区块存储交易记录的哈希值(本区块的哈希值)、以及前一区块的哈希值，各区块通过哈希值连接形成区块链。另外，区块中还可以包括有区块生成时的时间戳等信息。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了相关的信息，用于验证其信息的有效性(防伪)和生成下一个区块。
如图11所示，本申请实施例提供了一种信息处理装置，装置可以包括：
目标图像序列获取模块301，可以用于获取目标图像序列，目标图像序列包括多帧按序排列的目标图像。
具体地，目标图像序列获取模块301可以包括：
目标多媒体信息获取单元，可以用于获取目标多媒体信息，目标多媒体信息中包括多帧目标图像，多帧目标图像按照播放时间的先后顺序进行顺序排序。
目标图像序列确定子单元，可以用于将相邻的预设数量帧目标图像所组成的序列作为目标图像序列。
其中，目标多媒体信息包括至少一个目标图像序列。
裁剪模块303，可以用于对排序最前的第一目标图像和排序最后的第二目标图像进行裁剪。
具体地，裁剪模块303可以进一步用于：基于预设裁剪策略分别对排序最前的第一目标图像和排序最后的第二目标图像进行裁剪，得到第一目标图像对应的多个第一裁剪区域和第二目标图像对应的多个第二裁剪区域。
信息分析模块305，可以用于基于图像信息分析模型分别对裁剪后的第一目标图像和第二目标图像进行信息分析，得到第一目标图像对应的第一信息分析结果和第二目标图像对应的第二信息分析结果。
具体地，信息分析模块305可以包括：
信息分析值确定单元，可以用于基于图像信息分析模型分别对每个第一裁剪区域和每个第二裁剪区域进行信息分析，得到每个第一裁剪区域对应的第一信息分析值和每个第二裁剪区域对应的第二信息分析值。
信息分析结果确定单元，可以用于将数值大于第一阈值的第一信息分析值作为第一信息分析结果，将数值大于第一阈值的第二信息分析值作为第二信息分析结果。
第一区域确定模块307，可以用于基于第一信息分析结果确定第一目标图像对应的第一显示区域，基于第二信息分析结果确定第二目标图像对应的候选区域。
具体地，第一区域确定模块307可以进一步用于：将第一信息分析结果对应的第一裁剪区域作为第一显示区域，将第二信息分析结果对应的第二剪裁区域作为候选区域。
第一偏移向量确定模块309，可以用于确定第一显示区域和候选区域之间的第一偏移向量。
具体地，第一偏移向量确定模块309可以包括：
重心确定单元，可以用于确定第一显示区域的第一重心和候选区域的第二重心。
向量获取单元，可以用于基于第一重心与第二重心，确定第一偏移向量。
第二区域确定模块3011，可以用于基于第一显示区域和第一偏移向量，确定第二目标图像对应的第二显示区域以及目标图像序列中除第一目标图像和第二目标图像之外的其他目标图像对应的第三显示区域。
具体地，第二区域确定模块3011可以包括：
平分单元，可以用于基于第一预设数量将第一偏移向量的长度进行平分，得到第一预设数量个向量长度；第一预设数量与目标图像序列中所包含的目标图像的数量相对应。
第一显示区域移动单元，可以用于将第一显示区域沿着第一偏移向量的方向，移动第二预设数量个向量长度，得到其他目标图像对应的第三显示区域和第二目标图像对应的第二显示区域。
其中，第一预设数量大于或等于第二预设数量，第二预设数量与其他图像在目标图像序列中的位置以及第二目标图像在目标图像序列中的位置相对应。
渲染模块3013，可以用于渲染显示第一显示区域、第三显示区域和第二显示区域。
本申请实施例中还包括图像信息分析模型获取模块300，图像信息分析模型获取模块可以包括：
目标样本图像数据获取单元，可以用于获取标注有信息分析标签的目标样本图像数据。
训练学习单元，可以用于基于目标样本图像数据对预设机器学习模型进行信息分析训练学习，在训练学习过程中调整预设机器学习模型的模型参数至预设机器学习模型输出的信息分析标签与目标样本图像数据的信息分析标签相匹配。
图像信息分析模型确定单元，可以用于将当前模型参数对应的机器学习模型作为图像信息分析模型。
具体地，目标样本图像数据获取单元可以包括：
取候选样本图像获取子单元，可以用于获取候选样本图像。
目标检测结果确定子单元，可以用于基于预设目标检测模型对候选样本图像进行目标检测处理，得到候选样本图像对应的目标检测结果。
第一样本图像区域确定子单元，可以用于基于目标检测结果，确定候选样本图像对应的第一样本图像区域。
第二样本图像区域确定子单元，可以用于将第一样本图像区域按照预设移动策略在候选样本图像中进行移动，得到候选样本图像对应的多个第二样本图像区域。
第三样本图像区域确定子单元，可以用于基于第一样本图像区域与多个第二样本图像区域之间的重叠区域的大小，确定第三样本图像区域。
第二偏移向量确定子单元，可以用于基于第三样本图像区域的重心与第一样本图像区域的重心，确定第三样本图像区域与第一样本图像区域之间的第二偏移向量。
目标样本图像区域获取子单元，可以用于将第一样本图像区域按照第二偏移向量进行移动，得到候选样本图像对应的目标样本图像区域。
信息分析标签标注子单元，可以用于对目标样本图像区域标注信息分析标签。
目标样本图像数据确定子单元，可以用于将标注有信息分析标签的目标样本图像区域作为目标样本图像数据。
需要说明的是，本申请实施例提供的装置实施例与上述方法实施例基于相同的发明构思。
本申请实施例还提供了一种信息处理的电子设备，电子设备包括处理器和存储器，存储器中存储有至少一条指令或至少一段程序，至少一条指令或至少一段程序由处理器加载并执行以实现如上述方法实施例所提供的信息处理方法。
本申请的实施例还提供了一种存储介质，计算机可读存储介质中存储有至少一条指令或至少一段程序，至少一条指令或至少一段程序由处理器加载并执行以实现上述方法实施例提供的信息处理方法。
可选地，在本说明书实施例中，存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书实施例存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用程序以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。
本申请实施例提供的信息处理方法、装置、设备及存储介质，以目标多媒体信息为视频为例，使用自动构建的训练数据集对预设机器学习模型进行训练得到图像信息分析模型，使得该图像信息分析模型具有较高的可信度和权威性较高。再者，通过该图像信息分析模型对目标图像的裁剪区域进行信息评估分析，能够有效避免主观的评价行为以及较为模糊的评价分析结果，且以有效避免由于视频中的重要信息被裁剪导致的图像信息熵较低的问题，使目标图像的信息损失最小，确保目标图像的信息最大化显示提高裁剪区域信息评估的准确性和效率。此外，由于使用搜索的方式，确定最终的渲染模式，且仅通过图像信息分析模型对每个目标图像序列中的首帧和第N帧进行信息分析，首帧与第N帧目标图像之间的其他图像对应的显示区域由第一显示区域与第一偏移向量进行确定，不需要对其他图像进行信息分析处理，由此减少视频播放过程中的跳动，确保用户可在信息流的场景下获得更好的播放体验，且能够降低系统处理压力，有效减轻系统负担。
本申请实施例所提供的信息处理方法实施例可以在移动终端、计算机终端、服务器或者类似的运算装置中执行。以运行在服务器上为例，图12是本申请实施例提供的一种信息处理方法的服务器的硬件结构框图。如图12所示，该服务器400可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(Central Processing Units，CPU)410(处理器410可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器430，一个或一个以上存储应用程序423或数据422的存储介质420(例如一个或一个以上海量存储设备)。其中，存储器430和存储介质420可以是短暂存储或持久存储。存储在存储介质420的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器410可以设置为与存储介质420通信，在服务器400上执行存储介质420中的一系列指令操作。服务器400还可以包括一个或一个以上电源460，一个或一个以上有线或无线网络接口450，一个或一个以上输入输出接口440，和/或，一个或一个以上操作系统421，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM等等。
输入输出接口440可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器400的通信供应商提供的无线网络。在一个实例中，输入输出接口440包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，输入输出接口440可以为射频(RadioFrequency，RF)模块，其用于通过无线方式与互联网进行通讯。
本领域普通技术人员可以理解，图12所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，服务器400还可包括比图12中所示更多或者更少的组件，或者具有与图12所示不同的配置。
需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置和服务器实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (9)

1.一种信息处理方法，其特征在于，所述方法包括：
获取目标图像序列，所述目标图像序列包括多帧按序排列的目标图像；
对排序最前的第一目标图像和排序最后的第二目标图像进行裁剪；
基于图像信息分析模型分别对裁剪后的第一目标图像和第二目标图像进行信息分析，得到所述第一目标图像对应的第一信息分析结果和所述第二目标图像对应的第二信息分析结果；
基于所述第一信息分析结果确定所述第一目标图像对应的第一显示区域，基于所述第二信息分析结果确定所述第二目标图像对应的候选区域；
确定所述第一显示区域和所述候选区域之间的第一偏移向量；
基于第一预设数量将所述第一偏移向量的长度进行平分，得到第一预设数量个向量长度；将所述第一显示区域沿着所述第一偏移向量的方向，移动第二预设数量个向量长度，得到所述第二目标图像对应的第二显示区域以及所述目标图像序列中除所述第一目标图像和所述第二目标图像之外的其他目标图像对应的第三显示区域；其中，所述第一预设数量与所述目标图像序列中所包含的目标图像的数量相对应，所述第一预设数量大于或等于所述第二预设数量，所述第二预设数量与所述其他图像在所述目标图像序列中的位置以及所述第二目标图像在所述目标图像序列中的位置相对应
渲染显示所述第一显示区域、所述第三显示区域和所述第二显示区域。
2.根据权利要求1所述的方法，其特征在于，
所述对排序最前的第一目标图像和排序最后的第二目标图像进行裁剪，包括：
基于预设裁剪策略分别对排序最前的第一目标图像和排序最后的第二目标图像进行裁剪，得到所述第一目标图像对应的多个第一裁剪区域和所述第二目标图像对应的多个第二裁剪区域；
相应地，所述基于图像信息分析模型分别对裁剪后的第一目标图像和第二目标图像进行信息分析，得到所述第一目标图像对应的第一信息分析结果和所述第二目标图像对应的第二信息分析结果，包括：
基于所述图像信息分析模型分别对每个第一裁剪区域和每个第二裁剪区域进行信息分析，得到每个第一裁剪区域对应的第一信息分析值和每个第二裁剪区域对应的第二信息分析值；
将数值大于第一阈值的第一信息分析值作为所述第一信息分析结果，将数值大于所述第一阈值的第二信息分析值作为所述第二信息分析结果；
相应地，基于所述第一信息分析结果确定所述第一目标图像对应的第一显示区域，基于所述第二信息分析结果确定所述第二目标图像对应的候选区域，包括：
将所述第一信息分析结果对应的第一裁剪区域作为所述第一显示区域，将所述第二信息分析结果对应的第二剪裁区域作为所述候选区域。
3.根据权利要求1所述的方法，其特征在于，所述确定所述第一显示区域和所述候选区域之间的第一偏移向量，包括：
确定所述第一显示区域的第一重心和所述候选区域的第二重心；
基于所述第一重心与所述第二重心，确定所述第一偏移向量。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括获取所述图像信息分析模型的步骤，所述获取所述图像信息分析模型包括：
获取标注有信息分析标签的目标样本图像数据；
基于所述目标样本图像数据对预设机器学习模型进行信息分析训练学习，在训练学习过程中调整所述预设机器学习模型的模型参数至所述预设机器学习模型输出的信息分析标签与所述目标样本图像数据的信息分析标签相匹配；
将当前模型参数对应的机器学习模型作为所述图像信息分析模型。
5.根据权利要求4所述的方法，其特征在于，所述获取标注有信息分析标签的目标样本图像数据，包括：
获取候选样本图像；
基于预设目标检测模型对所述候选样本图像进行目标检测处理，得到所述候选样本图像对应的目标检测结果；
基于所述目标检测结果，确定所述候选样本图像对应的第一样本图像区域；
将所述第一样本图像区域按照预设移动策略在所述候选样本图像中进行移动，得到所述候选样本图像对应的多个第二样本图像区域；
基于所述第一样本图像区域与所述多个第二样本图像区域之间的重叠区域的大小，确定第三样本图像区域；
基于所述第三样本图像区域的重心与所述第一样本图像区域的重心，确定所述第三样本图像区域与所述第一样本图像区域之间的第二偏移向量；
将所述第一样本图像区域按照所述第二偏移向量进行移动，得到所述候选样本图像对应的目标样本图像区域；
对所述目标样本图像区域标注信息分析标签；
将标注有信息分析标签的目标样本图像区域作为所述目标样本图像数据。
6.根据权利要求1所述的方法，其特征在于，所述获取目标图像序列，所述目标图像序列包括多帧目标图像，包括：
获取目标多媒体信息，所述目标多媒体信息中包括多帧目标图像，所述多帧目标图像按照播放时间的先后顺序进行顺序排序；
将相邻的预设数量帧目标图像所组成的序列作为所述目标图像序列；
其中，所述目标多媒体信息包括至少一个目标图像序列。
7.一种信息处理装置，其特征在于，所述装置包括：
目标图像序列获取模块，用于获取目标图像序列，所述目标图像序列包括多帧按序排列的目标图像；
裁剪模块，用于对排序最前的第一目标图像和排序最后的第二目标图像进行裁剪；
信息分析模块，用于基于图像信息分析模型分别对裁剪后的第一目标图像和第二目标图像进行信息分析，得到所述第一目标图像对应的第一信息分析结果和所述第二目标图像对应的第二信息分析结果；
第一区域确定模块，用于基于所述第一信息分析结果确定所述第一目标图像对应的第一显示区域，基于所述第二信息分析结果确定所述第二目标图像对应的候选区域；
第一偏移向量确定模块，用于确定所述第一显示区域和所述候选区域之间的第一偏移向量；
第二区域确定模块，用于基于所述第一显示区域和所述第一偏移向量，确定所述第二目标图像对应的第二显示区域以及所述目标图像序列中除所述第一目标图像和所述第二目标图像之外的其他目标图像对应的第三显示区域；所述第二区域确定模块包括：平分单元，用于基于第一预设数量将所述第一偏移向量的长度进行平分，得到第一预设数量个向量长度；第一显示区域移动单元，用于将所述第一显示区域沿着所述第一偏移向量的方向，移动第二预设数量个向量长度，得到所述第二目标图像对应的第二显示区域以及所述目标图像序列中除所述第一目标图像和所述第二目标图像之外的其他目标图像对应的第三显示区域；其中，所述第一预设数量与所述目标图像序列中所包含的目标图像的数量相对应，所述第一预设数量大于或等于所述第二预设数量，所述第二预设数量与所述其他图像在所述目标图像序列中的位置以及所述第二目标图像在所述目标图像序列中的位置相对应；
渲染模块，用于渲染显示所述第一显示区域、所述第三显示区域和所述第二显示区域。
8.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如权利要求1至6任一所述的信息处理方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1至6任一所述的信息处理方法。
CN202010158760.0A 2020-03-09 2020-03-09 一种信息处理方法、装置、设备及存储介质 Active CN111405314B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010158760.0A CN111405314B (zh) 2020-03-09 2020-03-09 一种信息处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010158760.0A CN111405314B (zh) 2020-03-09 2020-03-09 一种信息处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111405314A CN111405314A (zh) 2020-07-10
CN111405314B true CN111405314B (zh) 2021-06-15

Family

ID=71413246

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010158760.0A Active CN111405314B (zh) 2020-03-09 2020-03-09 一种信息处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111405314B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112101106A (zh) * 2020-08-07 2020-12-18 深圳数联天下智能科技有限公司 人脸关键点确定方法、装置以及存储介质
CN114491429A (zh) * 2022-04-01 2022-05-13 北京嘉沐安科技有限公司 一种基于区块链的直播短视频大数据篡改识别方法及系统
CN116911714B (zh) * 2023-09-11 2023-12-08 中关村科学城城市大脑股份有限公司 物品运输方法、装置、电子设备和计算机可读介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110689551A (zh) * 2019-10-14 2020-01-14 慧影医疗科技（北京）有限公司 四肢骨分割方法、装置、电子设备及可读存储介质
CN110719453A (zh) * 2019-09-18 2020-01-21 宁波大学 一种立体视频裁剪方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3134568B2 (ja) * 1993-01-13 2001-02-13 ソニー株式会社 画像記録装置
US20090164601A1 (en) * 2007-12-21 2009-06-25 Eyedestinations Inc. System and method for providing a primary video stream with a secondary video stream for display on an electronic device
US20110292449A1 (en) * 2010-05-26 2011-12-01 Hin Leong Tan Flatbed scanner with cropping marker
JP6135391B2 (ja) * 2013-08-16 2017-05-31 ソニー株式会社 撮像装置、画像処理装置、および画像処理方法、並びにプログラム
CN106560840B (zh) * 2015-09-30 2019-08-13 腾讯科技（深圳）有限公司 一种图像信息识别处理方法及装置
CN106204458B (zh) * 2016-07-12 2019-04-23 北京理工大学 一种基于运动几何量约束的视频稳像裁剪控制方法
CN106358076A (zh) * 2016-09-05 2017-01-25 北京金山安全软件有限公司 视频裁剪方法、装置及电子设备
FR3064388B1 (fr) * 2017-03-22 2021-07-30 Aloa Inc Generation automatique d’une image animee pour son impression sur un support lenticulaire
CN107564089B (zh) * 2017-08-10 2022-03-01 腾讯科技（深圳）有限公司 三维图像处理方法、装置、存储介质和计算机设备
CN108366294A (zh) * 2018-03-06 2018-08-03 广州市千钧网络科技有限公司 一种视频裁剪方法及装置
CN110298858B (zh) * 2019-07-01 2021-06-22 北京奇艺世纪科技有限公司 一种图像裁剪方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110719453A (zh) * 2019-09-18 2020-01-21 宁波大学 一种立体视频裁剪方法
CN110689551A (zh) * 2019-10-14 2020-01-14 慧影医疗科技（北京）有限公司 四肢骨分割方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
CN111405314A (zh) 2020-07-10

Similar Documents

Publication Publication Date Title
CN111062871B (zh) 一种图像处理方法、装置、计算机设备及可读存储介质
CN111405314B (zh) 一种信息处理方法、装置、设备及存储介质
CN110046600B (zh) 用于人体检测的方法和装置
CN111680678B (zh) 目标区域识别方法、装置、设备及可读存储介质
CN110232403A (zh) 一种标签预测方法、装置、电子设备及介质
CN110765882B (zh) 一种视频标签确定方法、装置、服务器及存储介质
CN111209897B (zh) 视频处理的方法、装置和存储介质
US11704893B2 (en) Segment action detection
EP3172681A1 (en) Identifying presentation styles of educational videos
CN108875539B (zh) 表情匹配方法、装置和系统及存储介质
CN113298197B (zh) 数据聚类方法、装置、设备及可读存储介质
CN111989665A (zh) 设备上图像识别
CN112328833B (zh) 标签处理方法、装置及计算机可读存储介质
CN110866469A (zh) 一种人脸五官识别方法、装置、设备及介质
CN111598899A (zh) 图像处理方法、装置及计算机可读存储介质
CN113515669A (zh) 基于人工智能的数据处理方法和相关设备
CN111222399B (zh) 一种图像中的对象标识信息识别方法、装置及存储介质
CN112818995A (zh) 图像分类方法、装置、电子设备及存储介质
CN113590854B (zh) 一种数据处理方法、设备以及计算机可读存储介质
CN111581421A (zh) 图像检索方法、图像检索装置及图像检索系统
CN112995757B (zh) 视频剪裁方法及装置
CN108921138B (zh) 用于生成信息的方法和装置
CN111626212A (zh) 图片中对象的识别方法和装置、存储介质及电子装置
CN110598785A (zh) 一种训练样本图像的生成方法及装置
CN116958626A (zh) 一种图像分类模型训练、图像分类方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant