CN112162672A - 信息流的显示处理方法、装置、电子设备及存储介质 - Google Patents
信息流的显示处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112162672A CN112162672A CN202011119536.7A CN202011119536A CN112162672A CN 112162672 A CN112162672 A CN 112162672A CN 202011119536 A CN202011119536 A CN 202011119536A CN 112162672 A CN112162672 A CN 112162672A
- Authority
- CN
- China
- Prior art keywords
- control
- information flow
- flow interface
- target area
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 238000003672 processing method Methods 0.000 title abstract description 28
- 239000000463 material Substances 0.000 claims abstract description 253
- 238000000034 method Methods 0.000 claims abstract description 46
- 230000006870 function Effects 0.000 claims description 43
- 238000012545 processing Methods 0.000 claims description 40
- 230000015654 memory Effects 0.000 claims description 23
- 238000003062 neural network model Methods 0.000 claims description 16
- 238000001914 filtration Methods 0.000 claims description 14
- 239000013598 vector Substances 0.000 claims description 12
- 239000003086 colorant Substances 0.000 claims description 6
- 230000003993 interaction Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000012552 review Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 22
- 238000013473 artificial intelligence Methods 0.000 abstract description 9
- 230000006978 adaptation Effects 0.000 description 22
- 239000000523 sample Substances 0.000 description 18
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 210000001508 eye Anatomy 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000013515 script Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 210000004087 cornea Anatomy 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 210000000697 sensory organ Anatomy 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000010420 art technique Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005111 flow chemistry technique Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请提供了一种信息流的显示处理方法、装置、电子设备及计算机可读存储介质；涉及人工智能领域的计算机视觉技术；方法包括：接收信息流的素材；识别出所述素材中的对象，并识别出信息流界面中的控件；当所述信息流界面中的所述控件和所述对象之间存在遮挡关系时，更新所述对象和所述控件之间的相对位置，以消除所述遮挡关系；根据更新后的所述对象和所述控件之间的相对位置，在所述信息流界面中显示所述素材和所述控件。通过本申请，能够实现信息流界面中的控件和信息流的良好适配性。
Description
技术领域
本申请涉及人工智能技术和互联网技术，尤其涉及一种信息流的显示处理方法、装置、电子设备及计算机可读存储介质。
背景技术
人工智能(AI，Artificial Intelligence)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法和技术及应用系统。随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用。
以信息流的应用场景为例，信息流是互联网中信息传播的重要途径。信息流界面虽然能够承载各种类型的素材，例如文本、图片和视频等。但是，由于信息流界面中所包含的控件的多样性，会导致信息流界面所包含的控件和待显示的素材之间不适配，例如，控件可能会对素材中的对象造成遮挡。相关技术通常只能够通过人工手动调节来避免控件和素材中的对象之间的相互遮挡。如此，将会出现在提高控件和素材之间的适配性的同时导致适配操作的效率较低，对此，相关技术尚无有效解决方案。
发明内容
本申请实施例提供一种信息流的显示处理方法、装置、电子设备及计算机可读存储介质，能够实现信息流界面中的控件和信息流的良好适配性。
本申请实施例的技术方案是这样实现的：
本申请实施例提供一种信息流的显示处理方法，包括：
接收信息流的素材；
识别出所述素材中的对象，并识别出信息流界面中的控件；
当所述信息流界面中的所述控件和所述对象之间存在遮挡关系时，更新所述对象和所述控件之间的相对位置，以消除所述遮挡关系；
根据更新后的所述对象和所述控件之间的相对位置，在所述信息流界面中显示所述素材和所述控件。
在上述方案中，在所述信息流界面中显示所述素材和所述控件之前，所述方法还包括：
当所述对象在所述素材中对应的目标区域的面积超过区域面积阈值、且所述控件和所述对象之间存在遮挡关系时，调高所述控件的透明程度；
或者，
无论所述控件和所述对象之间是否存在遮挡关系，调高所述控件的透明程度。
本申请实施例提供一种信息流的显示处理方法，包括：
接收信息流的素材；
当所述素材中的对象与信息流界面中的控件存在遮挡关系时，在所述信息流界面中显示形成所述遮挡关系的所述素材和所述控件；
更新所述信息流界面中显示的所述控件和所述对象之间的相对位置，以显示消除所述遮挡关系的所述素材和所述控件。
本申请实施例提供一种信息流的显示处理装置，包括：
接收模块，用于接收信息流的素材；
识别模块，用于识别出所述素材中的对象，并识别出信息流界面中的控件；
更新模块，用于当所述信息流界面中的所述控件和所述对象之间存在遮挡关系时，更新所述对象和所述控件之间的相对位置，以消除所述遮挡关系；
显示模块，用于根据更新后的所述对象和所述控件之间的相对位置，在所述信息流界面中显示所述素材和所述控件。
在上述方案中，所述识别模块，还用于获取所述信息流界面的框架中被标记的控件的位置；当所述对象在所述素材中对应的目标区域和所述信息流框架中用于显示所述控件的控件区域存在重合部分时，确定所述控件和所述对象之间存在所述遮挡关系。
在上述方案中，所述更新模块，还用于识别出所述对象在所述素材中对应的目标区域；对所述素材在所述信息流界面的框架中的位置进行整体性地移动，以使所述目标区域避让所述控件。
在上述方案中，所述更新模块，还用于识别出所述对象在所述素材中对应的目标区域；保持所述素材在所述信息流界面的框架中的整体位置不变，将所述目标区域在所述框架中的位置沿着远离所述控件的方向进行移动，以使移动后的所述目标区域避让所述控件。
在上述方案中，所述更新模块，还用于识别出所述对象在所述素材中对应的目标区域；将所述控件在所述信息流界面的框架中的位置，沿着远离所述目标区域的方向进行移动，以使移动后的所述控件避让所述目标区域。
在上述方案中，所述更新模块，还用于识别出所述对象在所述素材中对应的目标区域；将所述控件在所述信息流界面的框架中的形状进行变换，以使形状变换后的所述控件避让所述目标区域。
在上述方案中，所述信息流的显示处理装置还包括：填充模块，用于确定更新所述对象和所述控件之间的相对位置后所述框架中出现的空缺区域；在所述素材中位于所述空缺区域的相邻区域进行取色处理，以获得用于填充所述空缺区域的颜色；在所述空缺区域中填充所述颜色。
在上述方案中，所述识别模块，还用于在所述素材中确定多个候选区域；调用神经网络模型对每个所述候选区域执行以下处理：提取所述候选区域的特征向量；将所述特征向量分别映射为属于感兴趣类型和属于不感兴趣类型的概率，并将最大概率所对应的类型确定为所述候选区域的类型；在所述多个候选区域中选取属于所述感兴趣类型的候选区域，以作为所述目标区域；其中，所述神经网络模型是以样本区域、以及针对所述样本区域的标记数据为样本训练得到的。
在上述方案中，所述识别模块，还用于确定所述信息流界面中包括的多个控件；在所述多个控件中，过滤掉满足以下条件至少之一的控件：使用频率低于频率阈值；位于所述信息流界面中的特定区域；面积不超过控件面积阈值；透明程度超过透明程度阈值；形状是特定形状；不具备特定功能；其中，所述特定功能包括：播放功能、互动功能、提示功能、搜索功能和按键功能。
在上述方案中，所述信息流的显示处理装置还包括：过滤模块，用于在所述信息流的多个素材中，过滤掉未满足感兴趣条件的素材；将过滤后剩余的素材作为需要进行对象识别的素材；其中，所述感兴趣条件包括以下至少之一：包含历史评论对象；包含历史查看对象；包含历史点赞对象；包含历史关注对象；包含历史转发对象。
在上述方案中，所述更新模块，还用于确定所述素材中的所述对象满足关注条件；其中，所述关注条件包括以下至少之一：所述素材中的所述对象处于视线的落点；所述素材中的所述对象处于视线的落点的时间超过时间阈值；所述素材中的所述对象处于触发位置；所述对象在所述素材中对应的目标区域是被圈定的区域。
在上述方案中，所述更新模块，还用于当所述对象在所述素材中对应的目标区域的面积超过区域面积阈值、且所述控件和所述对象之间存在遮挡关系时，调高所述控件的透明程度；或者，无论所述控件和所述对象之间是否存在遮挡关系，调高所述控件的透明程度。
本申请实施例提供一种信息流的显示处理装置，包括：
接收模块，用于接收信息流的素材；
显示模块，用于当所述素材中的对象与信息流界面中的控件存在遮挡关系时，在所述信息流界面中显示形成所述遮挡关系的所述素材和所述控件；
更新模块，用于更新所述信息流界面中显示的所述控件和所述对象之间的相对位置，以显示消除所述遮挡关系的所述素材和所述控件。
本申请实施例提供一种电子设备，包括：
存储器，用于存储计算机可执行指令；
处理器，用于执行所述存储器中存储的计算机可执行指令时，实现本申请实施例提供的信息流的显示处理方法。
本申请实施例提供一种计算机可读存储介质，存储有计算机可执行指令，用于被处理器执行时，实现本申请实施例提供的信息流的显示处理方法。
本申请实施例具有以下有益效果：
通过更新信息流的素材中的对象和信息流界面中的控件之间的相对位置，使得素材中的对象不被控件所遮挡，能够保证素材中的对象的完整性，从而不仅能够实现信息流界面中的控件和信息流的良好适配性，而且相较于相关技术中通过人工手动调节来保证对象的完整性来说，提高了适配操作的效率。
附图说明
图1是本申请实施例提供的信息流的显示处理系统100的结构示意图；
图2是本申请实施例提供的终端400的结构示意图；
图3是本申请实施例提供的信息流的显示处理方法的流程示意图；
图4是本申请实施例提供的信息流的显示处理方法的流程示意图；
图5是本申请实施例提供的信息流的显示处理方法的流程示意图；
图6是本申请实施例提供的信息流的显示处理方法的流程示意图；
图7是本申请实施例提供的信息流的显示处理方法的应用场景示意图；
图8A、图8B、图8C、图8D、图8E、图8F、图8G和图8H是本申请实施例提供的信息流的显示处理方法的原理示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。
1)响应于，用于表示所执行的操作所依赖的条件或者状态，当满足所依赖的条件或状态时，所执行的一个或多个操作可以是实时的，也可以具有设定的延迟；在没有特别说明的情况下，所执行的多个操作不存在执行先后顺序的限制。
2)客户端，终端中运行的用于提供各种服务的应用程序，例如网页客户端、新闻客户端或短视频客户端等。
3)计算机视觉技术(CV，Computer Vision)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
4)控件，是客户端中执行操作指令的标示，例如按钮、计时器、进度条等，由视觉设计统一输出大小和尺寸，前端开发实现功能，在前端开发中可以统一将控件标记为基础操作能力。
5)移动适配，根据算法和图片识别，调整信息流界面中的控件和素材中的对象之间的相对位置。
6)信息流界面中的框架，或称前端基础视觉框架，是视觉设计的客户端呈现方式和框架，框架通过前端开发实现功能，用于承载信息流的素材，一般来说大部分客户端都有前端视觉规范。
随着信息流产品的普及，信息流的浏览体验非常重要，并且信息流中承载了越来越多的素材形式，例如图文、视频等。由于素材的数量较多，导致素材和信息流界面中的框架的多变性和不定性增加，因此为了更好地适配多变的素材和信息流界面中的框架，需要让框架中的控件和素材中的对象不相互遮挡，提高用户的使用体验。
相关技术只能通过人工手动调节，避免素材与框架中的控件相互遮挡或素材超出显示区域。在本申请实施例中发现相关技术存在以下技术问题：相关技术会在素材上传时就规定好素材的格式和尺寸，并且需要上传者不断预览和调整上传的素材，直到预览效果最佳再发布。但是也有上传者为了提高上传效率而不进行反复的调试，导致呈现出来的素材存在遮挡或显示不全等问题。
针对上述技术问题，本申请实施例提供一种信息流的显示处理方法，能够实现信息流界面中的控件和信息流的良好适配性。下面说明本申请实施例提供的信息流的显示处理方法的示例性应用，本申请实施例提供的信息流的显示处理方法可以由各种电子设备实施，例如，可以由终端单独实施，也可以由服务器和终端协同实施。
接下来，以由服务器和终端协同实施为例说明本申请实施例，参见图1，图1是本申请实施例提供的信息流的显示处理系统100的结构示意图。其中，信息流的显示处理系统100包括有：服务器200、网络300、以及终端400，将分别进行说明。
服务器200是客户端410的后台服务器，用于响应客户端410的信息流获取请求，向客户端410发送信息流的素材。
网络300，用于作为服务器200和终端400之间通信的媒介，可以是广域网或者局域网，又或者是二者的组合。
终端400，用于运行客户端410，客户端410是具备信息流显示功能的客户端。客户端410，用于接收服务器200发送的信息流的素材，识别出素材中的对象，以及识别出信息流界面中的控件；还用于当信息流界面中的控件和对象之间存在遮挡关系时，更新对象和控件之间的相对位置，以消除遮挡关系；还用于根据更新后的对象和控件之间的相对位置，在信息流界面中显示消除遮挡关系的素材和控件。
在一些实施例中，终端400通过运行计算机程序来实现本申请实施例提供的信息流的显示处理方法，例如，计算机程序可以是操作系统中的原生程序或软件模块；可以是本地(Native)应用程序(APP，Application)，即需要在操作系统中安装才能运行的程序，例如网页APP、新闻APP或短视频APP；也可以是小程序，即只需要下载到浏览器环境中就可以运行的程序；还可以是能够嵌入至任意APP中的网页小程序、新闻小程序或短视频小程序。总而言之，上述计算机程序可以是任意形式的应用程序、模块或插件。
需要说明的是，客户端410可以调用终端400的相应服务(例如，位置更新服务)，通过终端400完成更新对象和控件之间的相对位置的过程。客户端410也可以调用服务器200的相应服务(例如，位置更新服务)，通过服务器200完成更新对象和控件之间的相对位置的过程。
本申请实施例可以借助于云技术(Cloud Technology)实现，云技术是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。
云技术是基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、以及应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源。
作为示例，服务器200可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端400可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、以及智能手表等，但并不局限于此。终端400以及服务器200可以通过有线或无线通信方式进行直接或间接地连接，本申请实施例中不做限制。
接下来说明图1中的终端400的结构。参见图2，图2是本申请实施例提供的终端400的结构示意图，图2所示的终端400包括：至少一个处理器410、存储器450、至少一个网络接口420和用户接口430。终端400中的各个组件通过总线系统440耦合在一起。可理解，总线系统440用于实现这些组件之间的连接通信。总线系统440除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统440。
处理器410可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
用户接口430包括使得能够呈现媒体内容的一个或多个输出装置431，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口430还包括一个或多个输入装置432，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器450可以是可移除的，不可移除的或其组合。示例性的硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器450可选地包括在物理位置上远离处理器410的一个或多个存储设备。
存储器450包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM，Read Only Memory)，易失性存储器可以是随机存取存储器(RAM，Random Access Memory)。本申请实施例描述的存储器450旨在包括任意适合类型的存储器。
在一些实施例中，存储器450能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。
操作系统451，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。
网络通信模块452，用于经由一个或多个(有线或无线)网络接口420到达其他计算设备，示例性的网络接口420包括：蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB，Universal Serial Bus)等。
呈现模块453，用于经由一个或多个与用户接口430相关联的输出装置431(例如，显示屏、扬声器等)使得能够呈现信息(例如，用于操作外围设备和显示内容和信息的用户接口)。
输入处理模块454，用于对一个或多个来自一个或多个输入装置432之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中，本申请实施例提供的直播过程中的信息提示装置可以采用软件方式实现，图2示出了存储在存储器450中的信息流的显示处理装置455，其可以是程序和插件等形式的软件，包括以下软件模块：接收模块4551、识别模块4552、更新模块4553和显示模块4554，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分。将在下文中说明各个模块的功能。
本申请实施例提供的信息流的显示处理方法可以由图1中的终端400单独执行，也可以由图1中的终端400和服务器200协同执行。
下面，以由图1中的终端400单独执行本申请实施例提供的信息流的显示处理方法为例说明。参见图3，图3是本申请实施例提供的信息流的显示处理方法的流程示意图，将结合图3示出的步骤进行说明。
需要说明的是，图3示出的方法可以由终端400运行的各种形式计算机程序执行，并不局限于上述的客户端410，例如上文的操作系统451、软件模块和脚本，因此下文中以客户端的示例中结合客户端信息流处理的说明不应视为对本申请实施例的限定。
在步骤S101中，接收信息流的素材。
这里，信息流的素材的类型包括：文本；图片(包括静态图片和动态图片)；视频。需要说明的是，素材还可以是上述多个类型的素材的组合形式，例如，图文结合或视频文本结合等。
在一些实施例中，响应于针对信息流的阅览操作，向服务器发送信息流获取请求；接收服务器发送的至少一个信息流的素材。
在步骤S102中，识别出素材中的对象，并识别出信息流界面中的控件。
在一些实施例中，客户端可以调用终端的相应服务(例如，识别服务)，通过终端完成识别素材中的对象、以及信息流界面中的控件的过程。客户端也可以调用服务器的相应服务(例如，识别服务)，通过服务器完成识别素材中的对象、以及信息流界面中的控件的过程。
下面，以由客户端调用终端的相应服务(例如，识别服务)，通过终端完成识别素材中的对象、以及信息流界面中的控件的过程为例进行说明。需要说明的是，客户端调用服务器的相应服务(例如，识别服务)完成识别素材中的对象、以及信息流界面中的控件的过程与下述类似，将不再进行赘述。
在一些实施例中，确定信息流界面中包括的多个控件；在多个控件中，过滤掉满足以下条件至少之一的控件：使用频率低于频率阈值；位于信息流界面中的特定区域；面积不超过控件面积阈值；透明程度超过透明程度阈值；形状是特定形状；不具备特定功能。
作为示例一，频率阈值可以是缺省值，也可以是用户、客户端或服务器设定的值，还可以是根据所有控件对应的使用频率所确定的，例如，将所有控件对应的使用频率的平均值作为频率阈值。
由于使用频率较低的控件通常位于信息流界面中的边缘区域，遮挡素材中的对象的概率较低，因此，本申请实施例将使用频率较低的控件进行过滤，不考虑过滤后的控件对于对象的遮挡，不仅能够提高识别信息流界面中的控件的效率，还能够提高后续更新对象和控件之间的相对位置的速度。
作为示例二，特定区域可以是信息流界面的框架中的任意区域，例如，边缘区域等。特定区域可以是缺省区域，也可以是用户、客户端或服务器设定的区域，还可以是根据对象出现在框架中的各个区域的频率所确定的，例如，将对象出现的频率最低的区域确定为特定区域。
由于对象出现的频率较低的区域中的控件出现遮挡素材中的对象的概率较低，因此，本申请实施例将位于信息流界面中的特定区域的控件进行过滤，不考虑过滤后的控件对于对象的遮挡，不仅能够提高识别信息流界面中的控件的效率，还能够提高后续更新对象和控件之间的相对位置的速度。
作为示例三，控件面积阈值可以是缺省值，也可以是用户、客户端或服务器设定的值，还可以是根据所有控件在信息流界面的框架中的面积所确定的，例如，将所有控件在信息流界面的框架中的面积的平均值作为控件面积阈值。
由于控件在信息流界面的框架中的面积决定了会对素材中的对象造成遮挡的概率，例如，控件在信息流界面的框架中的面积越大，表征会对素材中的对象造成遮挡的概率越大；控件在信息流界面的框架中的面积越小，表征会对素材中的对象造成遮挡的概率越小。因此，本申请实施例将面积较小的控件进行过滤，不考虑过滤后的控件对于对象的遮挡，不仅能够提高识别信息流界面中的控件的效率，还能够提高后续更新对象和控件之间的相对位置的速度。
作为示例四，透明程度阈值可以是缺省值，也可以是用户、客户端或服务器设定的值，还可以是根据所有控件在信息流界面的框架中的透明程度所确定的，例如，将所有控件在信息流界面的框架中的透明程度的平均值作为透明程度阈值。
由于控件在信息流界面的框架中的透明程度决定了会对素材中的对象造成遮挡的概率，例如，控件在信息流界面的框架中的透明程度越大，表征会对素材中的对象造成遮挡的概率越小；控件在信息流界面的框架中的透明程度越小，表征会对素材中的对象造成遮挡的概率越大。因此，本申请实施例将透明程度较大的控件进行过滤，不考虑过滤后的控件对于对象的遮挡，不仅能够提高识别信息流界面中的控件的效率，还能够提高后续更新对象和控件之间的相对位置的速度。
作为示例五，特定形状可以是任意形状，例如，长条形、圆形等。特定形状可以是缺省形状，也可以是用户、客户端或服务器设定的形状。
由于控件的形状决定了会对素材中的对象造成遮挡的概率，例如，面积相同的长条形状的控件对素材中的对象造成遮挡的概率小于圆形的控件对素材中的对象造成遮挡的概率。因此，本申请实施例将特定形状的控件进行过滤，不考虑过滤后的控件对于对象的遮挡，不仅能够提高识别信息流界面中的控件的效率，还能够提高后续更新对象和控件之间的相对位置的速度。
作为示例六，特定功能包括：播放功能、互动(例如转发、评论、点赞等)功能、提示功能、搜索功能和按键功能等。特定功能可以是缺省功能，也可以是用户、客户端或服务器设定的功能。
由于具备特定功能的控件(例如，便于用户使用的控件或者用于提示的控件)通常位于信息流界面的中央区域，而素材中的对象位于中央区域的可能性较高，因此，不具备特定功能的控件遮挡素材中的对象的概率较低。如此，本申请实施例将不具备特定功能的控件进行过滤，不考虑过滤后的控件对于对象的遮挡，不仅能够提高识别信息流界面中的控件的效率，还能够提高后续更新对象和控件之间的相对位置的速度。
在步骤S103中，当信息流界面中的控件和对象之间存在遮挡关系时，更新对象和控件之间的相对位置，以消除遮挡关系。
在一些实施例中，在更新对象和控件之间的相对位置之前，还可以获取信息流界面的框架中被标记的控件的位置；当对象在素材中对应的目标区域和信息流框架中用于显示控件的控件区域存在重合部分时，确定控件和对象之间存在遮挡关系；当对象在素材中对应的目标区域和信息流框架中用于显示控件的控件区域不存在重合部分时，确定控件和对象之间不存在遮挡关系。
作为示例，目标区域是素材中的对象在信息流界面的框架中显示的位置；控件区域是控件在信息流界面的框架中显示的位置。
例如，被标记的控件可以是已经规定好、且打好标记的控件。当信息流界面的框架中有被标记的控件时，才会启动移动适配机制。当信息流界面的框架中没有被标记的控件时，不会启动移动适配机制。如此，无需耗费不必要的计算资源对没有被标记的控件的框架启动移动适配机制。
在一些实施例中，更新对象和控件之间的相对位置具体是更新素材中的对象与控件在信息流界面的框架中的位置之间的相对位置。下面，以多个示例说明更新对象和控件之间的相对位置的具体实现方式。
作为示例一，识别出对象在素材中对应的目标区域(即包围框)；保持控件的位置不变，对素材在信息流界面的框架中的位置进行整体性地移动，以使目标区域避让控件。
以素材是图片为例，图8F中示出的是对图片的整体性移动，目标区域801的中心点距离遮挡区域803的直线距离为a。将整张图片沿着中心点指向遮挡区域803边缘的反方向移动，其中，移动的距离为a。
作为示例二，识别出对象在素材中对应的目标区域；保持控件的位置不变、以及素材在信息流界面的框架中的整体位置不变，将目标区域在框架中的位置沿着远离控件的方向进行移动，以使移动后的目标区域避让控件。
以素材是图片为例，图8D中，目标区域801的中心点距离遮挡区域803的直线距离为a。将目标区域801沿着中心点指向遮挡区域803边缘的反方向移动，其中，移动的距离为a。
由于客户端已经规定好信息流界面的框架中的控件的样式，不可随意更改，因此，示例一和示例二中，保持控件的位置不变，通过移动整体素材或素材中的目标区域的位置来更新对象和控件之间的相对位置，相较于改变控件的位置的其操作更简单、且更易实现，从而能够提高信息流界面显示素材的速度，进而能够减少信息流界面刷新素材的时间。
作为示例三，识别出对象在素材中对应的目标区域；保持素材的位置不变，将控件在信息流界面的框架中的位置，沿着远离目标区域的方向进行移动，以使移动后的控件避让目标区域。
以素材是图片为例，图8G中，目标区域801和控件804之间重合的遮挡区域803在水平方向中的最大距离是a。将控件804沿着远离目标区域的方向进行移动，其中，移动的距离为a。
作为示例四，识别出对象在素材中对应的目标区域；保持素材的位置不变，将控件在信息流界面的框架中的形状进行变换，以使形状变换后的控件避让目标区域。
举例来说，变换控件的形状可以是将控件的面积缩小，也可以是将控件的形状由圆形变为矩形等，本申请实施例对此不进行限制。
举例来说，图8H中，将控件804的面积进行缩小，以使形状变换后的控件804避让目标区域801。
由于信息流可以是推荐算法确定的，从而符合客户端用户的偏好，所以信息流界面中显示的素材可以是符合用户画像的，而符合用户画像的多个素材中的对象有较大概率位于相同位置，因此，示例三和示例四中，保持素材的位置不变，通过改变控件来更新对象和控件之间的相对位置，适用于批量更新对象和控件之间的相对位置，能够提高适配操作的效率。
接下来，说明上述示例中识别出对象在素材中对应的目标区域的具体实现方式。
在一些实施例中，提供了基于人工智能来识别感兴趣的对象所属目标区域的方案，例如，在素材中确定多个候选区域；调用神经网络模型对每个候选区域执行以下处理：提取候选区域的特征向量；将特征向量分别映射为属于感兴趣类型和属于不感兴趣类型的概率，并将最大概率所对应的类型确定为候选区域的类型；在多个候选区域中选取属于感兴趣类型的候选区域，以作为目标区域；其中，神经网络模型是以样本区域、以及针对样本区域的标记数据(例如属于感兴趣类型或属于不感兴趣类型)为样本训练得到的；其中，标记的属于感兴趣类型的样本区域中包括以下感兴趣的对象至少之一：历史评论对象；历史查看对象；历史点赞对象；历史关注对象；历史转发对象，其中，感兴趣的对象可以是在客户端用户的历史行为数据中获取的。如此，可以准确从素材中识别用户感兴趣的对象在素材中对应的目标区域。
作为示例，神经网络模型可以包括各种类型，例如，卷积神经网络(CNN，Convolutional Neural Networks)模型、循环神经网络(RNN，Recurrent Neural Network)模型、以及多层前馈神经网络模型等。可以结合有监督的方式来训练上述神经网络模型，其中，用于训练神经网络模型的损失函数用于表示预测值与实际标记数据之间的差异，损失函数可以是0-1损失函数、感知损失函数或交叉熵损失函数等。
在另一些实施例中，提供了基于人工智能来识别特定类型对象所属目标区域的方案，例如，在素材中确定多个候选区域；调用神经网络模型对每个候选区域执行以下处理：提取候选区域的特征向量；将特征向量分别映射为属于设定类型和属于非设定类型的概率，并将最大概率所对应的类型确定为候选区域的类型；在多个候选区域中选取属于设定类型的候选区域，以作为目标区域；其中，神经网络模型是以样本区域、以及针对样本区域的标记数据(例如属于设定类型或属于非设定类型)为样本训练得到的。如此，可以准确从素材中识别属于设定类型的对象在素材中对应的目标区域。
作为示例，设定类型可以是缺省的类型，也可以是用户、客户端或服务器设定的类型，例如，人物五官、动物、人体或动物等。
在又一些实施例中，对素材进行轮廓检测处理，以获得多个轮廓；将每个轮廓所包含的区域确定为候选区域，以得到与多个轮廓一一对应的多个候选区域；将多个候选区域进行比对处理，以在多个候选区域中选取包含对象的目标区域。
本申请实施例通过轮廓检测确定目标区域，相较于通过机器学习确定目标区域，其不仅操作简单，容易实现，而且识别目标区域的速度更快，从而能够提高适配操作的速度。
在一些实施例中，在更新对象和控件之间的相对位置之前，还可以确定素材中的对象满足关注条件；其中，关注条件包括以下至少之一：素材中的对象处于视线的落点；素材中的对象处于视线的落点的时间超过时间阈值；素材中的对象处于触发位置；对象在素材中对应的目标区域是被圈定的区域。
作为示例一，通过眼动追踪的方式，确定客户端用户的视线在素材中的落点，当素材中的对象处于视线的落点时，确定素材中的对象满足关注条件。
举例来说，可以通过调用终端的摄像装置(例如摄像头)采集用户的瞳孔和眼球角膜外表面的反射亮斑的位置；根据用户的瞳孔和眼球角膜外表面的反射亮斑的位置，在素材中确定对应于用户视线的落点。
由于对象处于视线的落点表征用户正在观看对象，因此，本申请实施例考虑控件对处于视线的落点的对象的遮挡，能够避免控件遮挡用户正在观看的对象，从而提高用户的观看体验。
作为示例二，通过眼动追踪方式，确定视线在素材中的落点，当素材中的对象处于视线的落点、且素材中的对象处于视线的落点的时间超过时间阈值时，确定素材中的对象满足关注条件。
例如，时间阈值可以是缺省值，也可以是设定的值，例如，可以由客户端通过学习用户的历史观看习惯而自动设定。
由于对象处于视线的落点的时间较长表征用户正在专注于观看对象，因此，本申请实施例考虑控件对处于视线的落点的时间较长的对象的遮挡，能够避免控件遮挡用户正在专注观看的对象，从而提高用户的观看体验。
作为示例三，响应于针对素材的触发操作，当素材中的对象处于触发位置时，确定素材中的对象满足关注条件。
由于对象处于触发位置表征触发的对象是用户想要观看的，因此，本申请实施例考虑控件对处于触发位置的对象的遮挡，能够避免控件遮挡用户想要观看的对象，从而提高用户的观看体验。
作为示例四，响应于针对素材的圈定操作，当对象在素材中对应的目标区域是被圈定的区域时，确定素材中的对象满足关注条件。
由于对象处于被圈定的区域表征被圈定的区域是用户想要观看的区域，因此，本申请实施例考虑控件对处于被圈定的区域的对象的遮挡，能够避免控件遮挡用户想要观看的对象，从而提高用户的观看体验。
本申请实施例仅考虑素材中满足关注条件的对象和控件之间的遮挡关系，无需针对素材中的所有对象实施适配操作，不仅能够节约计算资源，而且能够提高信息流界面显示素材的速度。
在步骤S104中，根据更新后的对象和控件之间的相对位置，在信息流界面中显示素材和控件。
在一些实施例中，由于更新对象和控件之间的相对位置之后，框架中可能会出现的空缺区域，因此，在信息流界面中显示素材和控件时，还可以确定更新对象和控件之间的相对位置后框架中出现的空缺区域；在素材中位于空缺区域的相邻区域进行取色处理，以获得用于填充空缺区域的颜色；在空缺区域中填充颜色。
作为示例，填充空缺区域的内容不仅限于颜色，还可以是文字、纹理或图片。例如，当素材是文本时，填充的内容可以是文字；当素材是图片时，填充的内容可以是颜色、纹理或图片。
以素材是图片为例，图8E和图8F中，在空缺区域806的边缘区域805打n个点进行取色；将取得的颜色按照渐变规则填满空缺区域806，其中，n是大于等于1的整数。
举例来说，渐变规则是指将取得的颜色按照规律性的变化进行填充，例如，将取得的颜色由浅至深或由深至浅依次进行填充。
本申请实施例能够避免由于更新对象和控件之间的相对位置而导致信息流界面中显示素材的空缺，提高了信息流界面所包含的控件和信息流的素材之间的适配性。
在一些实施例中，当步骤S101是接收信息流的多个素材时，参见图4，图4是本申请实施例提供的信息流的显示处理方法的流程示意图，基于图3，在步骤S102之前可以包括步骤S105。
在步骤S105中，在信息流的多个素材中，过滤掉未满足感兴趣条件的素材，并将过滤后剩余的素材作为需要进行对象识别的素材。
在一些实施例中，感兴趣条件包括以下至少之一：包含历史评论对象；包含历史查看对象；包含历史点赞对象；包含历史关注对象；包含历史转发对象。
作为示例，调用神经网络模型对每个素材执行以下处理：提取素材的特征向量；将特征向量分别映射为属于感兴趣类型和属于不感兴趣类型的概率，并将最大概率所对应的类型确定为素材的类型；在多个素材中过滤掉属于不感兴趣类型的素材；其中，神经网络模型是以样本素材、以及针对样本素材的标记数据(例如属于感兴趣类型或属于不感兴趣类型)为样本训练得到的；其中，标记的属于感兴趣类型的样本素材中包括以下感兴趣的对象至少之一：历史评论对象；历史查看对象；历史点赞对象；历史关注对象；历史转发对象，其中，感兴趣的对象可以是在客户端用户的历史行为数据中获取的。如此，可以准确从多个素材中选取用户感兴趣的素材。
本申请实施例仅考虑用户感兴趣的素材中的对象和控件之间的遮挡关系，无需针对所有的素材实施适配操作，不仅能够节约计算资源，而且能够提高信息流界面显示素材的速度。
在一些实施例中，参见图5，图5是本申请实施例提供的信息流的显示处理方法的流程示意图，基于图3，在步骤S104之前可以包括步骤S106。
在步骤S106中，调高控件的透明程度。
在一些实施例中，可以是将控件的透明程度自动调整至设定程度，其中，设定程度可以是缺省值，也可以是用户、客户端或服务器设定的值。例如，用户在客户端中提前设定控件的透明程度，并将信息流中包括的全部控件应用用户设定的透明程度。
在一些实施例中，当对象在素材中对应的目标区域的面积超过区域面积阈值、且控件和对象之间存在遮挡关系时，调高控件的透明程度。
作为示例，区域面积阈值可以是缺省值，也可以是用户、客户端或服务器设定的值。由于当目标区域面积太大时，可能难以通过更新对象和控件之间的相对位置实现完全消除遮挡关系的效果，因此，本申请实施例通过调高控件的透明程度，可以进一步保证目标区域的完整性，从而保证了内容露出的有效性和用户阅读信息流的体验，大大提升了看点系信息流的用户体验口碑，让内容更好地传递，从而提升素材的点击率和转化率。
在另一些实施例中，无论控件和对象之间是否存在遮挡关系，调高控件的透明程度。
作为示例，无需确定控件和对象之间是否存在遮挡关系，均调高控件的透明程度，也就是说，在调高控件的透明程度的过程中，无需识别出素材中的对象，以及信息流界面中的控件。如此，可以在保证目标区域的完整性的同时，节约服务器或终端的识别资源，提高适配操作的效率，从而提高信息流界面显示素材的速度。
至此，已经说明了信息流界面中显示素材和控件之前，更新素材中的对象和控件之间的相对位置，以消除对象和控件之间的遮挡关系的方案。
需要指出，上文是以直接显示消除了遮挡关系的对象和控件为例说明的，但是不局限于此，对于对象和控件存在遮挡关系的情况，本申请实施例中也可以显示对象和控件之间的遮挡关系，进而自动消除遮挡关系，以显示消除了遮挡关系的控件和素材。
当然，也可以是在接收到消除对象和控件的遮挡关系的触发操作后，自动消除遮挡关系，以显示消除了遮挡关系的控件和素材，并针对后续显示的素材和控件进行自动消除遮挡关系的处理。
下面，以在信息流界面中显示形成遮挡关系的素材和控件，并更新控件和对象之间的相对位置，以消除对象和控件之间的遮挡关系为例，说明本申请实施例提供的信息流的显示处理方法。参见图6，图6是本申请实施例提供的信息流的显示处理方法的流程示意图，将结合图6示出的步骤进行说明。
在步骤S201中，接收信息流的素材。
在步骤S202中，当素材中的对象与信息流界面中的控件存在遮挡关系时，在信息流界面中显示形成遮挡关系的素材和控件。
在步骤S203中，更新信息流界面中显示的控件和对象之间的相对位置，以显示消除遮挡关系的素材和控件。
在一些实施例中，在步骤S202之前可以包括：识别出素材中的对象，并识别出信息流界面中的控件；在步骤S203之前可以包括：更新对象和控件之间的相对位置，以消除遮挡关系。
需要说明的是，步骤S202和步骤S203中的相关处理可以根据上文的理解而实施，将在此不再进行赘述。
本申请实施例在信息流界面中显示形成遮挡关系的素材和控件之后，更新控件和对象之间的相对位置，以消除对象和控件之间的遮挡关系，能够保证素材中的对象的完整性，从而不仅能够提高信息流界面所包含的控件和信息流的素材之间的适配性，而且相较于相关技术中通过人工手动调节来保证对象的完整性来说，提高了适配操作的效率。
下面，以信息流中的信息是视频，需要进行遮挡关系处理的素材是视频封面的图片为例说明。
本申请实施例基于海量的素材、以及信息流界面的框架(或称信息流框架)和控件，通过图像识别和控件识别的技术，能够消除框架中的控件和素材中的对象(即核心内容)遮挡问题。以素材是图片为例，在信息流界面的框架中，识别出图片的对象，例如人物五官、动物、人体等。当这些对象被客户端(或称前端)已经打好标记的控件遮挡时，图片会自动向左右或上下移动，直到这些对象不被控件遮挡，而移动后的图片在信息流界面的框架中无法填满的部分，将会由机器取色和进行图片构成分析，自动填满。
参见图7，图7是本申请实施例提供的信息流的显示处理方法的应用场景示意图。图7中，信息流界面的框架通常会默认一张静态图片当作视频封面，而此框架上有一个视频播放的按钮701，视频播放的按钮701是客户端设定好的控件。经过图像识别，当视频播放的按钮701与图片上的对象702有重叠时(相当于存在遮挡关系)，客户端或服务器(或称后台)会自动将图片移动适配，以避免对象702被视频播放的按钮701遮挡。
参见图8A、图8B、图8C、图8D和图8E，图8A、图8B、图8C、图8D和图8E是本申请实施例提供的信息流的显示处理方法的原理示意图。
下面，将结合图8A、图8B、图8C、图8D和图8E，以由服务器实施、且对象是人脸为例说明图像移动适配的具体实现方式。
(一)图像移动适配的时机。
图8A中，在图片加载时，同时进行图片对象与控件的位置识别，即图片从服务器下发到客户端的时候，服务器就完成了图片的对象识别，并将对象在图片中对应的目标区域801和相应的轮廓进行标记。当目标区域801与客户端已经打好标记的控件在坐标上有重合位置时，服务器触发移动适配的机制，最终在框架上适配完成，以在用户面前呈现对象不被遮挡的样式。
(二)图像的移动适配。
图8B中，服务器将即将下发的图片进行对象识别，并在图片中标记目标区域；标记完成后，确定即将下发到哪个框架中进行展示，并判断此框架中是否有和服务器已经规定好、且打好标记的控件。当框架中有已打好标记的控件时，启动移动适配机制，将目标区域进行移动，从而避免目标区域被控件遮挡。移动适配完成后，服务器下发已适配好的图片。当目标区域没有被控件遮挡时，不做调整。其中，控件库中的控件支持编辑、添加和管理。
(三)控件可在服务器中进行添加。
在服务器管理中，可以对已有的控件进行添加和标记，即打上“需要移动适配监视的控件”标签。一旦控件被打上标签后，客户端会针对所有相同命名的控件进行上述移动适配机制。
(四)移动适配机制的具体实现方式。
(1)识别目标区域被控件遮挡的部分。
图8C中，客户端已经规定好控件804和框架802的样式，不可随意更改，服务器将即将下发的图片先套入框架802，然后标记出图片中的目标区域801被控件804所遮挡的遮挡区域803。
(2)移动目标区域或图片。
在一些实施例中，图8D和图8E中，目标区域801的中心点距离遮挡区域803的直线距离为a。首先，将目标区域801沿着中心点指向遮挡区域803边缘的反方向移动，其中，移动的距离为a；然后，填满图片中由于移动目标区域801后原本位置的空缺区域806，其中，填满规则可以包括：在空缺区域806的边缘区域805打n个点进行取色；将取得的颜色按照渐变规则填满空缺区域806。
在另一些实施例中，图8F中移动的是整张图片，目标区域801的中心点距离遮挡区域803的直线距离为a。首先，将整张图片沿着中心点指向遮挡区域803边缘的反方向移动，其中，移动的距离为a；然后，填满框架中由于移动整张图片后边缘出现的空缺区域806，其中，填满规则可以包括：在空缺区域806的边缘区域805打n个点进行取色；将取得的颜色按照渐变规则填满空缺区域806。
本申请实施例能够灵活显示信息流中的各种素材，提供较高的框架兼容性，并且显示的素材中的对象与控件之间无遮挡，保证了内容露出的有效性和用户阅读信息流的体验，大大提升了看点系信息流的用户体验口碑，让内容更好地传递，从而提升素材的点击率和转化率。本申请实施例不仅对基础信息流体验有所帮助，而且对广告内容的转化性也提供了较好的保障。
下面结合图2说明本申请实施例提供的信息流的显示处理装置的实施为软件模块的示例性结构。
在一些实施例中，如图2所示，存储在存储器450的信息流的显示处理装置455中的软件模块可以包括：
接收模块4551，用于接收信息流的素材；
识别模块4552，用于识别出素材中的对象，并识别出信息流界面中的控件；
更新模块4553，用于当信息流界面中的控件和对象之间存在遮挡关系时，更新对象和控件之间的相对位置，以消除遮挡关系；
显示模块4554，用于根据更新后的对象和控件之间的相对位置，在信息流界面中显示素材和控件。
在上述方案中，识别模块4552，还用于获取信息流界面的框架中被标记的控件的位置；当对象在素材中对应的目标区域和信息流框架中用于显示控件的控件区域存在重合部分时，确定控件和对象之间存在遮挡关系。
在上述方案中，更新模块4553，还用于识别出对象在素材中对应的目标区域；对素材在信息流界面的框架中的位置进行整体性地移动，以使目标区域避让控件。
在上述方案中，更新模块4553，还用于识别出对象在素材中对应的目标区域；保持素材在信息流界面的框架中的整体位置不变，将目标区域在框架中的位置沿着远离控件的方向进行移动，以使移动后的目标区域避让控件。
在上述方案中，更新模块4553，还用于识别出对象在素材中对应的目标区域；将控件在信息流界面的框架中的位置，沿着远离目标区域的方向进行移动，以使移动后的控件避让目标区域。
在上述方案中，更新模块4553，还用于识别出对象在素材中对应的目标区域；将控件在信息流界面的框架中的形状进行变换，以使形状变换后的控件避让目标区域。
在上述方案中，信息流的显示处理装置455还包括：填充模块，用于确定更新对象和控件之间的相对位置后框架中出现的空缺区域；在素材中位于空缺区域的相邻区域进行取色处理，以获得用于填充空缺区域的颜色；在空缺区域中填充颜色。
在上述方案中，识别模块4552，还用于在素材中确定多个候选区域；调用神经网络模型对每个候选区域执行以下处理：提取候选区域的特征向量；将特征向量分别映射为属于感兴趣类型和属于不感兴趣类型的概率，并将最大概率所对应的类型确定为候选区域的类型；在多个候选区域中选取属于感兴趣类型的候选区域，以作为目标区域；其中，所述神经网络模型是以样本区域、以及针对所述样本区域的标记数据为样本训练得到的。
在上述方案中，识别模块4552，还用于确定信息流界面中包括的多个控件；在多个控件中，过滤掉满足以下条件至少之一的控件：使用频率低于频率阈值；位于信息流界面中的特定区域；面积不超过控件面积阈值；透明程度超过透明程度阈值；形状是特定形状；不具备特定功能；其中，特定功能包括：播放功能、互动功能、提示功能、搜索功能和按键功能。
在上述方案中，信息流的显示处理装置455还包括：过滤模块，用于在信息流的多个素材中，过滤掉未满足感兴趣条件的素材；将过滤后剩余的素材作为需要进行对象识别的素材；其中，感兴趣条件包括以下至少之一：包含历史评论对象；包含历史查看对象；包含历史点赞对象；包含历史关注对象；包含历史转发对象。
在上述方案中，更新模块4553，还用于确定素材中的对象满足关注条件；其中，关注条件包括以下至少之一：素材中的对象处于视线的落点；素材中的对象处于视线的落点的时间超过时间阈值；素材中的对象处于触发位置；对象在素材中对应的目标区域是被圈定的区域。
在上述方案中，更新模块4553，还用于当对象在素材中对应的目标区域的面积超过区域面积阈值、且控件和对象之间存在遮挡关系时，调高控件的透明程度；或者，无论控件和对象之间是否存在遮挡关系，调高控件的透明程度。
本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本申请实施例上述的信息流的显示处理方法。
本申请实施例提供一种存储有计算机可执行指令的计算机可读存储介质，其中存储有计算机可执行指令，当计算机可执行指令被处理器执行时，将引起处理器执行本申请实施例提供的信息流的显示处理方法，例如，图3、图4、图5和图6示出的信息流的显示处理方法，计算机包括智能终端和服务器在内的各种计算设备。
在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中，计算机可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，计算机可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。
作为示例，计算机可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
综上所述，本申请实施例具有以下有益效果：
(1)通过更新信息流的素材中的对象和信息流界面中的控件之间的相对位置，使得素材中的对象不被控件所遮挡，能够保证素材中的对象的完整性，从而不仅能够提高信息流界面所包含的控件和信息流的素材之间的适配性，而且相较于相关技术中通过人工手动调节来保证对象的完整性来说，提高了适配操作的效率。
(2)保持素材的位置不变，通过改变控件来更新对象和控件之间的相对位置，适用于批量更新对象和控件之间的相对位置，能够提高适配操作的效率。通过移动整体素材或素材中的目标区域的位置来更新对象和控件之间的相对位置，相较于改变控件的位置的其操作更简单、且更易实现，从而能够提高信息流界面显示素材的速度，进而能够减少信息流界面刷新素材的时间。
(3)仅考虑用户感兴趣的素材中的对象和控件之间的遮挡关系，无需针对所有的素材实施适配操作，不仅能够节约计算资源，而且能够提高信息流界面显示素材的速度。
(4)仅考虑素材中满足关注条件的对象和控件之间的遮挡关系，无需针对素材中的所有对象实施适配操作，不仅能够节约计算资源，而且能够提高信息流界面显示素材的速度。
(5)将控件进行过滤，不考虑过滤后的控件对于对象的遮挡，不仅能够提高识别信息流界面中的控件的效率，还能够提高后续更新对象和控件之间的相对位置的速度。
(6)调高控件的透明程度，可以进一步避免遮挡目标区域，从而保证了内容露出的有效性和用户阅读信息流的体验，大大提升了看点系信息流的用户体验口碑，让内容更好地传递，从而提升素材的点击率和转化率。
以上所述，仅为本申请的实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本申请的保护范围之内。
Claims (15)
1.一种信息流的显示处理方法，其特征在于，所述方法包括：
接收信息流的素材；
识别出所述素材中的对象，并识别出信息流界面中的控件；
当所述信息流界面中的所述控件和所述对象之间存在遮挡关系时，更新所述对象和所述控件之间的相对位置，以消除所述遮挡关系；
根据更新后的所述对象和所述控件之间的相对位置，在所述信息流界面中显示所述素材和所述控件。
2.根据权利要求1所述的方法，其特征在于，在所述更新所述对象和所述控件之间的相对位置之前，所述方法还包括：
获取所述信息流界面的框架中被标记的控件的位置；
当所述对象在所述素材中对应的目标区域和所述信息流框架中用于显示所述控件的控件区域存在重合部分时，确定所述控件和所述对象之间存在所述遮挡关系。
3.根据权利要求1所述的方法，其特征在于，所述更新所述对象和所述控件之间的相对位置，以消除所述遮挡关系，包括：
识别出所述对象在所述素材中对应的目标区域；
对所述素材在所述信息流界面的框架中的位置进行整体性地移动，以使所述目标区域避让所述控件。
4.根据权利要求1所述的方法，其特征在于，所述更新所述对象和所述控件之间的相对位置，以消除所述遮挡关系，包括：
识别出所述对象在所述素材中对应的目标区域；
保持所述素材在所述信息流界面的框架中的整体位置不变，将所述目标区域在所述框架中的位置沿着远离所述控件的方向进行移动，以使
移动后的所述目标区域避让所述控件。
5.根据权利要求1所述的方法，其特征在于，所述更新所述对象和所述控件之间的相对位置，以消除所述遮挡关系，包括：
识别出所述对象在所述素材中对应的目标区域；
将所述控件在所述信息流界面的框架中的位置，沿着远离所述目标区域的方向进行移动，以使
移动后的所述控件避让所述目标区域。
6.根据权利要求1所述的方法，其特征在于，所述更新所述对象和所述控件之间的相对位置，以消除所述遮挡关系，包括：
识别出所述对象在所述素材中对应的目标区域；
将所述控件在所述信息流界面的框架中的形状进行变换，以使形状变换后的所述控件避让所述目标区域。
7.根据权利要求3至6任一项所述的方法，其特征在于，在所述信息流界面中显示所述素材和所述控件时，所述方法还包括：
确定更新所述对象和所述控件之间的相对位置后所述框架中出现的空缺区域；
在所述素材中位于所述空缺区域的相邻区域进行取色处理，以获得用于填充所述空缺区域的颜色；
在所述空缺区域中填充所述颜色。
8.根据权利要求3至6任一项所述的方法，其特征在于，所述识别出所述对象在所述素材中对应的目标区域，包括：
在所述素材中确定多个候选区域；
调用神经网络模型对每个所述候选区域执行以下处理：
提取所述候选区域的特征向量；
将所述特征向量分别映射为属于感兴趣类型和属于不感兴趣类型的概率，并将最大概率所对应的类型确定为所述候选区域的类型；
在所述多个候选区域中选取属于所述感兴趣类型的候选区域，以作为所述目标区域；
其中，所述神经网络模型是以样本区域、以及针对所述样本区域的标记数据为样本训练得到的。
9.根据权利要求1所述的方法，其特征在于，所述识别出信息流界面中的控件，包括：
确定所述信息流界面中包括的多个控件；
在所述多个控件中，过滤掉满足以下条件至少之一的控件：
使用频率低于频率阈值；位于所述信息流界面中的特定区域；面积不超过控件面积阈值；透明程度超过透明程度阈值；形状是特定形状；不具备特定功能；
其中，所述特定功能包括：播放功能、互动功能、提示功能、搜索功能和按键功能。
10.根据权利要求1所述的方法，其特征在于，在所述识别出所述素材中的对象之前，所述方法还包括：
在所述信息流的多个素材中，过滤掉未满足感兴趣条件的素材；
将过滤后剩余的素材作为需要进行对象识别的素材；
其中，所述感兴趣条件包括以下至少之一：
包含历史评论对象；包含历史查看对象；包含历史点赞对象；包含历史关注对象；包含历史转发对象。
11.根据权利要求1所述的方法，其特征在于，在所述更新所述对象和所述控件之间的相对位置，以消除所述遮挡关系之前，所述方法还包括：
确定所述素材中的所述对象满足关注条件；
其中，所述关注条件包括以下至少之一：
所述素材中的所述对象处于视线的落点；
所述素材中的所述对象处于视线的落点的时间超过时间阈值；
所述素材中的所述对象处于触发位置；
所述对象在所述素材中对应的目标区域是被圈定的区域。
12.一种信息流的显示处理方法，其特征在于，所述方法包括：
接收信息流的素材；
当所述素材中的对象与信息流界面中的控件存在遮挡关系时，在所述信息流界面中显示形成所述遮挡关系的所述素材和所述控件；
更新所述信息流界面中显示的所述控件和所述对象之间的相对位置，以显示消除所述遮挡关系的所述素材和所述控件。
13.一种信息流的显示处理装置，其特征在于，包括：
接收模块，用于接收信息流的素材；
识别模块，用于识别出所述素材中的对象，并识别出信息流界面中的控件；
更新模块，用于当所述信息流界面中的所述控件和所述对象之间存在遮挡关系时，更新所述对象和所述控件之间的相对位置，以消除所述遮挡关系；
显示模块，用于根据更新后的所述对象和所述控件之间的相对位置，在所述信息流界面中显示所述素材和所述控件。
14.一种电子设备，其特征在于，包括：
存储器，用于存储计算机可执行指令；
处理器，用于执行所述存储器中存储的计算机可执行指令时，实现权利要求1至12任一项所述的信息流的显示处理方法。
15.一种计算机可读存储介质，其特征在于，存储有计算机可执行指令，所述计算机可执行指令被执行时用于实现权利要求1至12任一项所述的信息流的显示处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011119536.7A CN112162672A (zh) | 2020-10-19 | 2020-10-19 | 信息流的显示处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011119536.7A CN112162672A (zh) | 2020-10-19 | 2020-10-19 | 信息流的显示处理方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112162672A true CN112162672A (zh) | 2021-01-01 |
Family
ID=73867422
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011119536.7A Pending CN112162672A (zh) | 2020-10-19 | 2020-10-19 | 信息流的显示处理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112162672A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113051432A (zh) * | 2021-04-25 | 2021-06-29 | 聚好看科技股份有限公司 | 显示设备及媒资播放方法 |
| CN113569066A (zh) * | 2021-07-30 | 2021-10-29 | 北京达佳互联信息技术有限公司 | 多媒体展示方法、装置、电子设备、服务器及存储介质 |
| WO2022078154A1 (zh) * | 2020-10-15 | 2022-04-21 | 聚好看科技股份有限公司 | 显示设备及媒资播放方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105808040A (zh) * | 2014-12-30 | 2016-07-27 | 华为终端（东莞）有限公司 | 一种图形用户界面的显示方法及移动终端 |
| CN105872710A (zh) * | 2016-03-31 | 2016-08-17 | 乐视控股（北京）有限公司 | 视频播放方法、装置及客户端 |
| CN107943390A (zh) * | 2017-11-15 | 2018-04-20 | 维沃移动通信有限公司 | 一种文字复制方法及移动终端 |
| CN109034115A (zh) * | 2018-08-22 | 2018-12-18 | Oppo广东移动通信有限公司 | 视频识图方法、装置、终端及存储介质 |
| CN109408384A (zh) * | 2018-10-16 | 2019-03-01 | 网易（杭州）网络有限公司 | 软件应用的测试方法、装置、处理器及电子装置 |
| CN109618210A (zh) * | 2018-11-08 | 2019-04-12 | 北京微播视界科技有限公司 | 视频画面调整方法、装置、计算机设备和可读存储介质 |
| CN109948525A (zh) * | 2019-03-18 | 2019-06-28 | Oppo广东移动通信有限公司 | 拍照处理方法、装置、移动终端以及存储介质 |
| CN110750193A (zh) * | 2019-10-17 | 2020-02-04 | 腾讯科技（深圳）有限公司 | 一种基于人工智能的场景拓扑确定方法和装置 |
| CN110750186A (zh) * | 2019-09-02 | 2020-02-04 | 华为终端有限公司 | 一种被遮挡或被误触的控件的调整方法及装置 |
| CN111340030A (zh) * | 2020-02-14 | 2020-06-26 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备、计算机可读存储介质 |
-
2020
- 2020-10-19 CN CN202011119536.7A patent/CN112162672A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105808040A (zh) * | 2014-12-30 | 2016-07-27 | 华为终端（东莞）有限公司 | 一种图形用户界面的显示方法及移动终端 |
| CN105872710A (zh) * | 2016-03-31 | 2016-08-17 | 乐视控股（北京）有限公司 | 视频播放方法、装置及客户端 |
| CN107943390A (zh) * | 2017-11-15 | 2018-04-20 | 维沃移动通信有限公司 | 一种文字复制方法及移动终端 |
| CN109034115A (zh) * | 2018-08-22 | 2018-12-18 | Oppo广东移动通信有限公司 | 视频识图方法、装置、终端及存储介质 |
| CN109408384A (zh) * | 2018-10-16 | 2019-03-01 | 网易（杭州）网络有限公司 | 软件应用的测试方法、装置、处理器及电子装置 |
| CN109618210A (zh) * | 2018-11-08 | 2019-04-12 | 北京微播视界科技有限公司 | 视频画面调整方法、装置、计算机设备和可读存储介质 |
| CN109948525A (zh) * | 2019-03-18 | 2019-06-28 | Oppo广东移动通信有限公司 | 拍照处理方法、装置、移动终端以及存储介质 |
| CN110750186A (zh) * | 2019-09-02 | 2020-02-04 | 华为终端有限公司 | 一种被遮挡或被误触的控件的调整方法及装置 |
| CN110750193A (zh) * | 2019-10-17 | 2020-02-04 | 腾讯科技（深圳）有限公司 | 一种基于人工智能的场景拓扑确定方法和装置 |
| CN111340030A (zh) * | 2020-02-14 | 2020-06-26 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备、计算机可读存储介质 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022078154A1 (zh) * | 2020-10-15 | 2022-04-21 | 聚好看科技股份有限公司 | 显示设备及媒资播放方法 |
| CN113051432A (zh) * | 2021-04-25 | 2021-06-29 | 聚好看科技股份有限公司 | 显示设备及媒资播放方法 |
| CN113569066A (zh) * | 2021-07-30 | 2021-10-29 | 北京达佳互联信息技术有限公司 | 多媒体展示方法、装置、电子设备、服务器及存储介质 |
| CN113569066B (zh) * | 2021-07-30 | 2023-10-03 | 北京达佳互联信息技术有限公司 | 多媒体展示方法、装置、电子设备、服务器及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109246464B (zh) | 用户界面显示方法、装置、终端及存储介质 | |
| CN109861948B (zh) | 虚拟现实数据处理方法、装置、存储介质和计算机设备 | |
| CN110458918B (zh) | 用于输出信息的方法和装置 | |
| CN112162672A (zh) | 信息流的显示处理方法、装置、电子设备及存储介质 | |
| CN107633541B (zh) | 一种图像特效的生成方法和装置 | |
| US20230048147A1 (en) | Method and apparatus for processing image signal, electronic device, and computer-readable storage medium | |
| US20230091549A1 (en) | Image processing method and apparatus, computer device, and storage medium | |
| CN112215171B (zh) | 目标检测方法、装置、设备及计算机可读存储介质 | |
| CN111445486B (zh) | 图像处理方法、装置、设备及计算机可读存储介质 | |
| CA3083486A1 (en) | Method, medium, and system for live preview via machine learning models | |
| CN114373047B (zh) | 一种基于数字孪生监控物理世界的方法、装置及存储介质 | |
| US20230082638A1 (en) | Picture search method and apparatus, electronic device, computer-readable storage medium | |
| CN113516666A (zh) | 图像裁剪方法、装置、计算机设备及存储介质 | |
| CN110647374A (zh) | 全息展示窗的交互方法、装置以及电子设备 | |
| CN112752132A (zh) | 漫画图片弹幕显示方法、装置、介质及电子设备 | |
| CN112783660A (zh) | 虚拟场景中的资源处理方法、装置及电子设备 | |
| CN112686939A (zh) | 景深图像的渲染方法、装置、设备及计算机可读存储介质 | |
| CN113570615A (zh) | 一种基于深度学习的图像处理方法、电子设备及存储介质 | |
| CN108134906B (zh) | 图像处理方法及其系统 | |
| CN115022726A (zh) | 环绕信息生成和弹幕显示方法、装置、设备及存储介质 | |
| CN113763552A (zh) | 三维地理模型的展示方法、装置、计算机设备和存储介质 | |
| CN114443182A (zh) | 一种界面切换方法、存储介质及终端设备 | |
| US20200126517A1 (en) | Image adjustment method, apparatus, device and computer readable storage medium | |
| US20230298239A1 (en) | Data processing method based on augmented reality | |
| CN110908745A (zh) | 数据分析展示方法及系统、存储介质、服务器及客户端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |