CN111880711A - 显示控制方法、装置、电子设备及存储介质 - Google Patents

显示控制方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111880711A
CN111880711A CN202010765987.1A CN202010765987A CN111880711A CN 111880711 A CN111880711 A CN 111880711A CN 202010765987 A CN202010765987 A CN 202010765987A CN 111880711 A CN111880711 A CN 111880711A
Authority
CN
China
Prior art keywords
display
interface
image
display screen
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010765987.1A
Other languages
English (en)
Other versions
CN111880711B (zh
Inventor
龚章泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010765987.1A priority Critical patent/CN111880711B/zh
Publication of CN111880711A publication Critical patent/CN111880711A/zh
Application granted granted Critical
Publication of CN111880711B publication Critical patent/CN111880711B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Devices (AREA)

Abstract

本申请实施例提供一种显示控制方法、装置、电子设备及存储介质，包括：电子设备的图像信号处理器包括轻量图像前端接口和图像前端接口，第一摄像头连接相机串行接口解码器CSID，CSID连接ISP的轻量图像前端接口，轻量图像前端接口连接DSP，DSP通过CSID和轻量图像前端接口接收来自第一摄像头采集的人脸图像，在执行根据人脸图像判断是否需要旋转显示屏的显示界面的过程中，控制显示屏跟随电子设备的旋转显示动态缩略图，如此，可避免用户感受到明显的旋转卡顿，提高显示画面流畅性，通过ISP的轻量图像前端接口传输第一摄像头采集的人脸图像，从而提升第一摄像头采集人脸图像的效率。

Description

显示控制方法、装置、电子设备及存储介质
技术领域
本申请涉及显示技术领域，具体涉及一种显示控制方法、装置、电子设备及存储介质。
背景技术
目前利用传感器进行情境感知的厂商越来越多，屏幕旋转为情境感知的一种功能，在电子设备检测到机身旋转时，通过第一摄像头进行人脸识别，进而判断是否需要进行横屏与竖屏之间的旋转，从第一摄像头进行人脸识别到判断屏幕旋转的结果之间需要约400ms时长，400ms时长在进行屏幕旋转的进程中会造成显示屏的显示界面产生明显的卡顿，导致用户体验差。
发明内容
本申请实施例提供了一种显示控制方法、装置、电子设备及存储介质，能够提升第一摄像头采集人脸图像的效率，以及，在实现屏幕旋转的过程中，避免用户感受到明显的旋转卡顿，提高显示画面流畅性。
第一方面，本申请实施例提供一种显示控制方法，应用于电子设备，所述电子设备包括运动传感器、第一摄像头、相机串行接口解码器CSID、图像信号处理器ISP、数字信号处理器DSP、显示屏和主处理器，所述ISP包括轻量图像前端接口和图像前端接口，其中，所述第一摄像头连接所述CSID，所述CSID连接所述轻量图像前端接口，所述轻量图像前端接口连接所述DSP；所述方法包括：
在所述运动传感器检测到所述电子设备旋转时，所述主处理器获取所述电子设备的旋转角度；
当所述旋转角度大于第一预设角度时，所述DSP通过所述CSID和所述轻量图像前端接口接收来自所述第一摄像头采集的人脸图像；
所述DSP通过人脸检测算法对所述人脸图像进行特征提取，得到人脸特征集；将所述人脸特征集发送至所述主处理器；
所述主处理器根据所述人脸特征集判断是否需要旋转所述显示屏的显示界面；若所述显示界面为视频播放界面，确定所述视频播放界面当前显示的第一图像之后的多帧图像；根据所述多帧图像生成动态缩略图，在执行所述根据所述人脸特征集判断是否需要旋转所述显示屏的显示界面的过程中，控制所述显示屏跟随所述电子设备的旋转显示所述动态缩略图。
第二方面，本申请实施例提供一种显示控制装置，应用于电子设备，所述电子设备包括运动传感器、第一摄像头、相机串行接口解码器CSID、图像信号处理器ISP、数字信号处理器DSP、显示屏和主处理器，所述ISP包括轻量图像前端接口和图像前端接口，其中，所述第一摄像头连接所述CSID，所述CSID连接所述轻量图像前端接口，所述轻量图像前端接口连接所述DSP；所述装置包括：
第一处理单元，用于在所述运动传感器检测到所述电子设备旋转时，控制所述主处理器获取所述电子设备的旋转角度；
第二处理单元，用于当所述旋转角度大于第一预设角度时，控制所述DSP通过所述CSID和所述轻量图像前端接口接收来自所述第一摄像头采集的人脸图像；
发送单元，用于通过人脸检测算法对所述人脸图像进行特征提取，得到人脸特征集；控制所述DSP将所述人脸特征集发送至所述主处理器；
第一处理单元，还用于控制所述主处理器根据所述人脸特征集判断是否需要旋转所述显示屏的显示界面；若所述显示界面为视频播放界面，确定所述视频播放界面当前显示的第一图像之后的多帧图像；根据所述多帧图像生成动态缩略图；
显示单元，用于在执行所述根据所述人脸特征集判断是否需要旋转所述显示屏的显示界面的过程中，控制所述显示屏跟随所述电子设备的旋转显示所述动态缩略图。
第三方面，一种电子设备，所述电子设备包括运动传感器、第一摄像头、相机串行接口解码器CSID、图像信号处理器ISP、数字信号处理器DSP、显示屏和主处理器，所述ISP包括轻量图像前端接口和图像前端接口，其中，所述第一摄像头连接所述CSID，所述CSID连接所述轻量图像前端接口，所述轻量图像前端接口连接所述DSP；其中
所述主处理器，用于在所述运动传感器检测到所述电子设备旋转时，获取所述电子设备的旋转角度；
所述DSP，用于当所述旋转角度大于第一预设角度时，通过所述CSID和所述轻量图像前端接口接收来自所述第一摄像头采集的人脸图像；
所述DSP，还用于通过人脸检测算法对所述人脸图像进行特征提取，得到人脸特征集；将所述人脸特征集发送至所述主处理器；
所述主处理器，还用于根据所述人脸特征集判断是否需要旋转所述显示屏的显示界面；若所述显示界面为视频播放界面，确定所述视频播放界面当前显示的第一图像之后的多帧图像；根据所述多帧图像生成动态缩略图，在执行所述根据所述人脸特征集判断是否需要旋转所述显示屏的显示界面的过程中，控制所述显示屏跟随所述电子设备的旋转显示所述动态缩略图。
第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。
第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
可以看出，本申请实施例中，电子设备的图像信号处理器包括轻量图像前端接口和图像前端接口，第一摄像头连接CSID、CSID连接ISP的轻量图像前端接口，轻量图像前端接口连接DSP，DSP通过CSID和轻量图像前端接口接收来自第一摄像头采集的人脸图像，通过人脸检测算法对人脸图像进行特征提取，得到人脸特征集；主处理器根据人脸特征集判断是否需要旋转显示屏的显示界面；若显示界面为视频播放界面，确定视频播放界面当前显示的第一图像之后的多帧图像；根据多帧图像生成动态缩略图，在执行根据人脸图像判断是否需要旋转显示屏的显示界面的过程中，控制显示屏跟随电子设备的旋转显示动态缩略图，如此，通过显示动态缩略图的方式，转移用户对旋转卡顿的注意力，避免用户感受到明显的旋转卡顿，提高显示画面流畅性，此外，电子设备的第一摄像头无需使用ISP的图像前端接口，而是通过ISP的轻量图像前端接口将人脸图像传输至DSP，通过DSP处理第一摄像头采集的人脸图像，由于轻量图像前端接口仅用于实现人脸图像的传输工作，不会给ISP增加过多功耗，因此，不影响ISP处理接收到的其他图像数据，从而能够提升第一摄像头采集人脸图像的效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种电子设备的结构示意图；
图2A是本申请实施例提供的一种显示控制方法的流程示意图；
图2B是本申请实施例提供的一种人脸姿态和电子设备的旋转姿态之间满足预设条件的演示示意图；
图2C是本申请实施例提供的一种人脸姿态和电子设备的旋转姿态之间不满足预设条件的演示示意图；
图2D是本申请实施例提供的一种第一特征向量与所述第二特征向量之间在显示屏所在平面上的夹角的演示示意图；
图2E是本申请实施例提供的一种显示屏跟随所述电子设备的旋转显示所述动态缩略图的演示示意图；
图2F是本申请实施例提供的另一种显示屏跟随所述电子设备的旋转显示所述动态缩略图的演示示意图；
图2G是本申请实施例提供的一种显示界面从竖屏状态转换为横屏状态的演示示意图；
图2H是本申请实施例提供的一种不需要旋转所述显示屏的显示界面的演示示意图；
图3是本申请实施例提供的另一种显示控制方法的流程示意图；
图4是本申请实施例提供的一种显示控制装置的功能单元组成框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了更好地理解本申请实施例的方案，下面先对本申请实施例可能涉及的神经网络的相关术语和概念进行介绍。
RAW图像，RAW图像就是CMOS或者CCD图像感应器将捕捉到的光源信号转化为数字信号的原始数据，它包含未压缩的原始图像数据，可使用支持该格式的软件调整曝光和白平衡。
相机串行接口解码器(Camera Serial Interface Decoder，CSID)，CSID是负责图像信号处理器ISP与传感器相连接的接口，具体对传感器的原始数据进行处理以得到RAW图像数据。
图像前端IFE接口，IFE是ISP中的Mipi RAW图像数据单元。
轻量图像前端IFE_lite接口，IFE_lite是ISP中的一种轻量的IFE接口。
图像处理引擎(Image Process Engine，IPE)，IPE是ISP中的降躁及颜色编码方法YUV后处理处理单元。YUV是编译true-color颜色空间(color space)的种类，Y'UV,YUV,YCbCr，YPbPr等专有名词都可以称为YUV，彼此有重叠。“Y”表示明亮度(Luminance或Luma)，也就是灰阶值，“U”和“V”表示的则是色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色。
神经网络处理器(Neural-network Processing Units，NPU)，NPU是为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现手机等电子设备的智能认知等应用，例如：图像识别，人脸识别，语音识别，手势识别等。
请参阅图1，本申请实施例提供了一种电子设备10，该电子设备10包括第一摄像头100、相机串行接口解码器CSID200、图像信号处理器ISP300、数字信号处理器DSP400、运动传感器500、显示屏600和主处理器700，所述ISP300包括轻量图像前端接口310和图像前端接口320，其中，所述第一摄像头100连接所述CSID200，所述CSID200连接所述ISP300的所述轻量图像前端接口310，所述轻量图像前端接口310连接所述DSP400；
所述主处理器，用于在所述运动传感器检测到所述电子设备旋转时，获取所述电子设备的旋转角度；
所述DSP，用于当所述旋转角度大于第一预设角度时，通过所述CSID和所述轻量图像前端接口接收来自所述第一摄像头采集的人脸图像；
所述DSP，还用于通过人脸检测算法对所述人脸图像进行特征提取，得到人脸特征集；将所述人脸特征集发送至所述主处理器；
所述主处理器，还用于根据所述人脸特征集判断是否需要旋转所述显示屏的显示界面；若所述显示界面为视频播放界面，确定所述视频播放界面当前显示的第一图像之后的多帧图像；根据所述多帧图像生成动态缩略图，在执行所述根据所述人脸特征集判断是否需要旋转所述显示屏的显示界面的过程中，控制所述显示屏跟随所述电子设备的旋转显示所述动态缩略图。
其中，通过在电子设备的ISP中设置轻量图像前端接口310，ISP300的轻量图像前端接口310传输来自第一摄像头100的人脸图像，但ISP300并不会人脸图像判断是否需要旋转所述显示屏的显示界面，而是将人脸图像传输至DSP，由DSP通过人脸检测算法对所述人脸图像进行特征提取，得到人脸特征集。
可选地，电子设备还可包括第二摄像头800，ISP300可通过图像前端接口320接收第一摄像头100或者第二摄像头800采集的其他图像数据，并调用硬件模块对该其他图像数据进行处理。由于轻量图像前端接口310仅用于实现人脸图像的传输工作，因此，相对于现有方案中直接通过图像前端接口320传输人脸图像，由ISP对人脸图像进行下一步处理，轻量图像前端接口310的功耗相对更低，不会给ISP增加过多功耗，从而能够提高第一摄像头进行图像采集的效率，以及提升电子设备通过第一摄像头实现手势识别功能的性能。
可见，电子设备的第一摄像头无需使用ISP的图像前端接口，而是通过ISP的轻量图像前端接口将多个原始图像传输至DSP，由电子设备通过DSP调用人脸检测算法处理人脸图像，由于轻量图像前端接口仅用于实现人脸图像的传输工作，不会给ISP增加过多功耗，因此，不影响ISP调用硬件模块处理第一摄像头采集的其他图像数据的性能，也不影响ISP处理第二摄像头采集的其他图像数据的性能，由于DSP是采用的软件层面的算法进行图像数据处理，因此，使电子设备能够实现分别从软硬件层面进行图像数据处理，可实现电子设备在软硬件层面进行图像处理的兼容性，提升图像处理效率。
上述运动传感器可包括以下至少一种：重力传感器、加速度传感器、陀螺仪等等。
其中，主处理器700可以为神经网络处理器NPU，也可以为中央处理器CPU等，此处不做限定，可选地，电子设备可通过NPU根据预设的人工智能算法判断是否需要旋转所述显示屏的显示界面，提升运算效率。
其中，电子设备通过第一摄像头可采集用户的人脸图像，由DSP通过人脸检测算法对所述人脸图像进行特征提取，得到人脸特征集，通过主处理器根据人脸特征集判断是否需要旋转显示屏的显示界面；若显示界面为视频播放界面，确定视频播放界面当前显示的第一图像之后的多帧图像；根据多帧图像生成动态缩略图，在执行根据人脸特征集判断是否需要旋转显示屏的显示界面的过程中，控制显示屏跟随电子设备的旋转显示动态缩略图，在具体实施中，在电子设备进行旋转的过程中，用户注视显示屏上的显示界面，控制显示屏跟随电子设备的旋转显示动态缩略图，可以转移用户对旋转卡顿的注意力，避免用户感受到明显的旋转卡顿，从而提高显示画面流畅性。
可见，通过在电子设备的ISP中设置轻量图像前端接口310，电子设备不需要加大成本来提升ISP的硬件性能，仅根据普通的ISP和DSP即可实现提升第一摄像头采集的图像质量，实现方式便捷，不用增加成本，此外可提升通过第一摄像头在实现屏幕旋转功能中的工作性能，从而提升用户体验。
可以看出，本申请实施例中，电子设备的图像信号处理器包括轻量图像前端接口和图像前端接口，第一摄像头连接CSID、CSID连接ISP的轻量图像前端接口，轻量图像前端接口连接DSP，DSP通过CSID和轻量图像前端接口接收来自第一摄像头采集的人脸图像，通过人脸检测算法对人脸图像进行特征提取，得到人脸特征集；主处理器根据人脸特征集判断是否需要旋转显示屏的显示界面；若显示界面为视频播放界面，确定视频播放界面当前显示的第一图像之后的多帧图像；根据多帧图像生成动态缩略图，在执行根据人脸图像判断是否需要旋转显示屏的显示界面的过程中，控制显示屏跟随电子设备的旋转显示动态缩略图，如此，通过显示动态缩略图的方式，转移用户对旋转卡顿的注意力，避免用户感受到明显的旋转卡顿，提高显示画面流畅性，此外，通过ISP的轻量图像前端接口将人脸图像传输至DSP，DSP处理第一摄像头采集的人脸图像，不影响ISP处理第二摄像头采集的其他图像数据，从而能够提升第一摄像头采集人脸图像的效率。
可选地，在所述根据所述人脸特征集判断是否需要旋转所述显示屏的显示界面方面，所述主处理器具体用于：
检测所述电子设备的旋转参数；
根据所述人脸特征集和所述旋转参数确定人脸姿态和所述电子设备的旋转姿态是否满足预设条件，若是，确定不需要旋转所述显示屏的显示界面，否则，确定需要旋转所述显示屏的显示界面。
其中，上述旋转参数可包括以下至少一种：旋转角度、旋转角速度、加速度、显示屏倾斜角度等。
其中，所述人脸特征集包括鼻子、嘴巴、眼睛、额头、下巴以及其他脸部轮廓特征等。
具体实施中，主处理器根据人脸特征集和旋转参数确定人脸姿态和电子设备的旋转姿态是否满足预设条件，从而可判断用户的人脸是否可正常看到显示屏的显示界面，是否需要旋转显示屏的显示界面来使用户正常观看显示界面。
可选地，在所述根据所述人脸特征集和所述旋转参数确定所述人脸姿态和所述旋转姿态是否满足预设条件方面，所述主处理器具体用于：
根据所述人脸特征集确定人脸对应的第一参考方向的第一特征向量；
根据所述旋转参数确定所述显示屏对应的第二参考方向的第二特征向量；
若所述第一特征向量与所述第二特征向量之间在显示屏所在平面上的夹角小于第二预设角度，则确定所述人脸姿态和所述旋转姿态满足预设条件。
其中，电子设备中可预先设定第一参考方向和第二参考方向，第一参考方向例如可以为额头到下巴的方向，第二参考方向为显示屏从顶部到底部的方向，从而，主处理器可根据第一特征向量和第二特征向量判断人脸姿态和所述旋转姿态满足预设条件，进而判断人脸姿态和所述旋转姿态是否可以使用户正常查看显示屏的显示界面。
可选地，在所述根据所述多帧图像生成动态缩略图方面，所述主处理器具体用于：
若所述显示屏从横屏转向竖屏，则根据所述横屏显示状态下视频播放界面的显示区域面积确定所述动态缩略图的尺寸；
若所述显示屏从竖屏转向横屏，则根据所述竖屏显示状态下视频播放界面的显示区域面积确定所述动态缩略图的尺寸；
按照所述动态缩略图的尺寸将所述多帧图像进行尺寸调整，得到调整后的多帧图像；
根据所述调整后的多帧图像生成动态缩略图。
其中，通过在不同的旋转场景下，根据不同的视频播放界面的显示区域面积确定动态缩略图的尺寸，可以灵活设置动态缩略图的尺寸，使动态缩略图的大小更加适应显示界面，提升动态缩略图的显示效果。
可选地，在所述确定所述视频播放界面当前显示的第一图像之后的多帧图像方面，所述主处理器具体用于：
获取预设时间段内所述主处理器从执行所述获取所述电子设备的旋转角度到所述判断是否需要旋转所述显示屏的显示界面的操作执行结束的历史时长；
根据预设的时长与图像数量之间的映射关系确定与所述历史时长对应的目标数量；
确定所述视频播放界面当前显示的第一图像之后所述目标数量的多帧图像。
其中，上述历史时长例如可以是400ms，也可能是其他数值，不同的电子设备中由于使用情况不同，电子设备中各个硬件模块的性能不同，因此，主处理器从执行所述获取所述电子设备的旋转角度到所述判断是否需要旋转所述显示屏的显示界面的操作执行结束的历史时长也可能不同，因此，可根据历史时长确定对应的目标数量，从而，可灵活设置多帧图像的目标数量，使动态缩略图更加符合显示需求。
可选地，在所述控制所述显示屏跟随所述电子设备的旋转显示所述动态缩略图方面，所述主处理器具体用于：
根据所述旋转参数确定所述动态缩略图的显示参数；
控制所述显示屏根据所述动态缩略图的显示参数显示所述动态缩略图。
其中，上述显示参数可包括以下至少一种：显示位置、旋转角度、旋转方向等等。
具体实施中，当电子设备向右旋转到一定角度时，需要根据电子设备的旋转姿态设置动态缩略图的显示位置、旋转角度、旋转方向等显示参数，使用户能够观看到正面显示的动态缩略图，保证动态缩略图的显示效果。
可选地，所述主处理器还用于：
若判断是否需要旋转所述显示屏的显示界面的判断结果为需要旋转所述显示屏的显示界面，则控制所述显示屏跟随所述电子设备的旋转姿态显示所述视频播放界面的播放视频，并隐藏所述动态缩略图；
若所述判断结果为不需要旋转所述显示屏的显示界面，则隐藏所述动态缩略图，继续控制所述显示屏显示所述视频播放界面。
其中，在得到判断结果后，可根据是否需要进行屏幕旋转，控制显示屏的后续显示操作，具体地，若需要旋转显示屏的显示界面，则控制显示屏跟随电子设备的旋转姿态显示所述视频播放界面的播放视频，并隐藏所述动态缩略图，从而实现屏幕旋转。若不需要旋转显示屏的显示界面，则维持视频播放界面在初始显示状态，不进行屏幕旋转显示。
可选地，所述主处理器还用于：
若所述显示屏从横屏转向竖屏，则在所述根据所述多帧图像生成动态缩略图之前，所述主处理器控制所述视频播放界面在预设时长内暂停播放所述视频；
检测是否接收到针对所述显示界面的预设控制指令；
若否，则执行根据所述多帧图像生成动态缩略图；若是，则执行所述预设控制指令，并隐藏所述视频播放界面。
其中，考虑到横屏转竖屏的情况下，用户可能对电子设备进行其他操作，因此，可在显示屏从横屏转向竖屏的场景下，在根据多帧图像生成动态缩略图之前，主处理器控制视频播放界面在预设时长内暂停播放所述视频，预设时长例如可以是100ms、200ms等，此处不作显示，若检测到用户针对显示界面的预设控制指令，则表明需要跳转至视频播放界面以外的其他界面，因此，可执行预设控制指令，并隐藏视频播放界面，若未接收到针对显示界面的预设控制指令，表明用户未进行其他控制操作，可根据多帧图像生成动态缩略图，执行后续的操作。
与图1一致的，请参阅图2A，图2A是本申请实施例提供的一种显示控制方法，应用于如图1所示的电子设备，所述电子设备包括运动传感器、第一摄像头、相机串行接口解码器CSID、图像信号处理器ISP、数字信号处理器DSP、显示屏和主处理器，所述ISP包括轻量图像前端接口和图像前端接口，其中，所述第一摄像头连接所述CSID，所述CSID连接所述轻量图像前端接口，所述轻量图像前端接口连接所述DSP；所述方法包括如下步骤：
201、在所述运动传感器检测到所述电子设备旋转时，所述主处理器获取所述电子设备的旋转角度。
其中，上述运动传感器可包括以下至少一种：陀螺仪、加速度传感器、重力传感器等，具体实施中，运动传感器检测到电子设备旋转时，主处理器可获取运动传感器采集的旋转参数，根据旋转参数确定电子设备的旋转角度。
202、当所述旋转角度大于第一预设角度时，所述DSP通过所述CSID和所述轻量图像前端接口接收来自所述第一摄像头采集的人脸图像。
所述DSP通过所述CSID和所述轻量图像前端接口接收来自所述第一摄像头采集的人脸图像。
其中，电子设备的ISP中除了图像前端接口以外，还设置有轻量图像前端接口，首先，通过第一摄像头采集人脸图像的原始数据，然后，通过轻量图像前端接口相机串行接口解码器CSID对原始数据进行处理，得到人脸图像，接着，将该原始图像传输至ISP的轻量图像前端接口，最后，ISP的轻量图像前端接口将人脸图像传输至DSP。如此，可通过ISP中的轻量图像前端接口传输人脸图像，轻量图像前端的功耗较低，不会给ISP带来功耗负担，对ISP的性能要求不高，从而可提升电子设备通过第一摄像头采集人脸图像的性能。
203、所述DSP通过人脸检测算法对所述人脸图像进行特征提取，得到人脸特征集；将所述人脸特征集发送至所述主处理器。
其中，所述人脸特征集可包括鼻子、嘴巴、眼睛、额头、下巴以及其他脸部轮廓特征等。
DSP在接收到人脸图像后，对人脸图像进行特征提取，得到人脸特征集；将人脸特征集发送至所述主处理器，如此，可通过DSP对人脸图像进行特征提取，不需要通过ISP对人脸图像进行处理，ISP可以用于并行处理其他摄像头采集的图像数据，从而可提高第一摄像头采集人脸图像的性能。
204、所述主处理器根据所述人脸特征集判断是否需要旋转所述显示屏的显示界面；若所述显示界面为视频播放界面，确定所述视频播放界面当前显示的第一图像之后的多帧图像；根据所述多帧图像生成动态缩略图，在执行所述根据所述人脸特征集判断是否需要旋转所述显示屏的显示界面的过程中，控制所述显示屏跟随所述电子设备的旋转显示所述动态缩略图。
其中，视频播放界面可以是以下任一种应用的进行视频播放界面：腾讯、优酷等视频播放应用，抖音、快手、淘宝等直播应用，微博、微信等社交应用，或浏览器应用等，此处不作限制。
其中，主处理器可根据人脸特征集判断用户人脸的姿态是否为正常观看显示屏的姿态，若用户观看显示屏的姿态不合适，需要将显示屏进行旋转，例如，显示屏为横屏状态时，若用户难以正常观看显示屏上的显示界面，则需要将显示屏的显示界面调整为竖屏状态，使用户更好地观看显示屏上的显示界面。若用户观看显示屏的竖屏显示姿态时，难以正常观看到显示屏的显示界面，则需要将显示屏调整为横屏姿态。
具体实施中，拖显示界面为视频播放界面，在判断是否需要旋转显示屏的显示界面的过程中，由于视频播放加密的视频图像在快速变化，为了避免用户感受到明显的旋转卡顿，可确定视频播放界面当前显示的第一图像之后的多帧图像；根据多帧图像生成动态缩略图，在执行根据所述人脸特征集判断是否需要旋转显示屏的显示界面的过程中，控制显示屏跟随电子设备的旋转显示动态缩略图，如此，通过显示动态缩略图的方式，转移用户对旋转卡顿的注意力，避免用户感受到明显的旋转卡顿，从而提高显示画面流畅性。
可选地，上述步骤203中，所述根据所述人脸特征集判断是否需要旋转所述显示屏的显示界面，可包括以下步骤：
所述主处理器检测所述电子设备的旋转参数；
根据所述人脸特征集和所述旋转参数确定人脸姿态和所述电子设备的旋转姿态是否满足预设条件，若是，确定不需要旋转所述显示屏的显示界面，否则，确定需要旋转所述显示屏的显示界面。
具体实施中，请参阅图2B-2C，图2B为一种人脸姿态和电子设备的旋转姿态之间满足预设条件的演示示意图，图2C为一种人脸姿态和电子设备的旋转姿态之间不满足预设条件的演示示意图，可以看出，当人脸姿态和电子设备的旋转姿态之间满足预设条件，用户可正常观看显示屏的显示界面，当人脸姿态和电子设备的旋转姿态之间不满足预设条件，用户难以正常观看显示屏的显示界面，需要将显示屏的显示界面进行旋转，才能使用户从正常角度观看到显示屏的显示界面。
可选地，上述步骤203中，所述根据所述人脸特征集和所述旋转参数确定所述人脸姿态和所述旋转姿态是否满足预设条件，可包括以下步骤：
根据所述人脸特征集确定人脸对应的第一参考方向的第一特征向量；
根据所述旋转参数确定所述显示屏对应的第二参考方向的第二特征向量；
若所述第一特征向量与所述第二特征向量之间在显示屏所在平面上的夹角小于第二预设角度，则确定所述人脸姿态和所述旋转姿态满足预设条件。
其中，第一参考方向为预先针对人脸设定的一个参考方向，第一参考方向用于在人脸处于不同姿态下表示人脸当时所处姿态的方向，第一参考方向可以为以下任意一种：额头到下巴的方向、从下巴到额头的方向、左眼到右眼的方向、右眼到左眼的方向等等，此处不作限制。具体地，可以确定人脸在任意姿态下的第一参考方向的第一特征向量，第一特征向量可表示人脸当前的姿态，例如，若第一特征向量表示从下巴到额头的方向为竖直向上，表示用户的人脸垂直于水平面，若第一特征向量表示从下巴到额头的方向为水平方向，表示用户的人脸平行水平面，用户人脸可能呈仰视姿态。
其中，第二参考方向为预先针对电子设备设定的一个参考方向，第二参考方向是根据第一参考方向对应设置的，为了使用户正常观看显示屏的显示界面，需要使用户的倾斜方向与电子设备旋转方向保持一致，因此，可对应设置第一参考方向和第二参考方向，例如，第一参考方向为从额头到下巴方向时，第二参考方向为从显示屏顶部到底部的方向；第一参考方向为从下巴到额头方向时，第二参考方向为从显示屏底部到顶部的方向；第一参考方向为从左眼到右眼的方向时，第二参考方向为从显示屏左边框到右边框的方向；第一参考方向为从右眼到左眼的方向时，第二参考方向为从显示屏右边框到左边框的方向。
请参阅图2D，图2D为一种第一特征向量与所述第二特征向量之间在显示屏所在平面上的夹角的演示示意图，其中，在三维坐标系中，第一特征向量与所述第二特征向量可以为任意方向的角度，为了准确判断人脸姿态和旋转姿态是否满足预设条件，可在确定第一特征向量和第二特征向量之后，若第一特征向量和第二特征向量不处于同一竖直平面，可确定第一特征向量在显示屏所在平面上的第一向量分量，然后根据确定第一向量分量和第二特征向量之间的夹角，若该夹角小于第二预设角度，则确定人脸姿态和旋转姿态满足预设条件，如此，可更加准确地判断人脸姿态和旋转姿态是否满足预设条件，防止由于电子设备的翻转导致根据第一特征向量和第二特征向量确定的判断结果不准确。
可选地，上述步骤203中，所述根据所述多帧图像生成动态缩略图，可包括以下步骤：
若所述显示屏从横屏转向竖屏，则所述主处理器根据所述横屏显示状态下视频播放界面的显示区域面积确定所述动态缩略图的尺寸；
若所述显示屏从竖屏转向横屏，则根据所述竖屏显示状态下视频播放界面的显示区域面积确定所述动态缩略图的尺寸；
按照所述动态缩略图的尺寸将所述多帧图像进行尺寸调整，得到调整后的多帧图像；
根据所述调整后的多帧图像生成动态缩略图。
其中，不同的视频播放界面的界面尺寸不一样，例如，腾讯、优酷等视频播放应用，抖音、快手、淘宝等直播应用，微博、微信等社交应用与浏览器应用进行视频播放时，横屏、竖屏状态下视频播放界面的位置、尺寸等都不一样。
因此，可针对不同的旋转场景，根据不同屏幕状态下显示区域面积确定所述动态缩略图的尺寸，如此，可可以灵活设置动态缩略图的尺寸，使动态缩略图的大小更加适应显示界面，提升动态缩略图的显示效果。
可选地，上述步骤203中，所述确定所述视频播放界面当前显示的第一图像之后的多帧图像，可包括以下步骤：
所述主处理器获取预设时间段内所述主处理器从执行所述获取所述电子设备的旋转角度到所述判断是否需要旋转所述显示屏的显示界面的操作执行结束的历史时长；
根据预设的时长与图像数量之间的映射关系确定与所述历史时长对应的目标数量；
确定所述视频播放界面当前显示的第一图像之后所述目标数量的多帧图像。
具体实施中，可根据历史时长确定生成动态缩略图的多帧图像的目标数量，历史时长越长，目标数量越大，从而，在执行根据所述人脸特征集判断是否需要旋转所述显示屏的显示界面的过程中，可控制动态缩略图的显示时长能够与历史时长一致。
可选地，上述步骤203中，所述控制所述显示屏跟随所述电子设备的旋转显示所述动态缩略图，可包括以下步骤：
根据所述旋转参数确定所述动态缩略图的显示参数；
控制所述显示屏根据所述动态缩略图的显示参数显示所述动态缩略图。
其中，上述显示参数可包括以下至少一种：显示位置、旋转角度、旋转方向等等。
具体实施中，可根据显示屏的旋转角度和旋转方向确定动态缩略图的旋转角度和旋转方向和显示位置，例如，请参阅图2E，图2E为一种显示屏跟随所述电子设备的旋转显示所述动态缩略图的演示示意图，当显示屏旋转至显示屏朝下倾斜时，可设置动态缩略图的位置为显示屏中上方区域，请参阅图2F，图2F为另一种显示屏跟随所述电子设备的旋转显示所述动态缩略图的演示示意图，当显示屏向左旋转第一角度时，可将动态缩略图在显示屏上向右旋转第一角度进行显示，使用户能够看到未产生旋转的图像显示效果。
可选地，本申请实施例中，还可包括以下步骤：
若判断是否需要旋转所述显示屏的显示界面的判断结果为需要旋转所述显示屏的显示界面，则所述主处理器控制所述显示屏跟随所述电子设备的旋转姿态显示所述视频播放界面的播放视频，并隐藏所述动态缩略图；
若所述判断结果为不需要旋转所述显示屏的显示界面，则所述主处理器隐藏所述动态缩略图，继续控制所述显示屏显示所述视频播放界面。
具体实施中，在得到判断结果后，若需要旋转显示屏的显示界面，则可以将显示屏的显示界面从横屏状态转换为竖屏状态，或者从竖屏状态转换为横屏状态，并隐藏动态缩略图，请参阅图2G，图2G为一种显示界面从竖屏状态转换为横屏状态的演示示意图，其中，显示屏的初始状态为横屏状态，当电子设备进行旋转时，可使用户观看的视频播放界面随着显示屏的旋转进行旋转，保证用户能够从正常角度观看视频播放界面。请参阅图2H，图2H为一种不需要旋转所述显示屏的显示界面的演示示意图，若不需要旋转显示屏的显示界面，表明电子设备的旋转幅度不大，不需要进行屏幕旋转，可控制显示屏按照电子设备维持旋转之前显示屏的显示界面，不需要进行横屏与竖屏之间的旋转，并隐藏动态缩略图。
可选地，本申请实施例中，所述方法还包括：
若所述显示屏从横屏转向竖屏，则在所述根据所述多帧图像生成动态缩略图之前，所述主处理器控制所述视频播放界面在预设时长内暂停播放所述视频；
检测是否接收到针对所述显示界面的预设控制指令；
若否，则执行根据所述多帧图像生成动态缩略图；若是，则执行所述预设控制指令，并隐藏所述视频播放界面。
其中，上述预设控制指令为跳转至视频播放界面以外的其他界面的控制指令，例如，用户进行应用切换操作时，电子设备接收到应用切换指令，可切换至视频播放应用以外的其他应用；或者，用户切换至桌面时，电子设备可根据预设控制指令回到桌面，隐藏视频播放界面。若未接收预设控制指令，则可根据多帧图像生成动态缩略图，在显示屏的显示界面显示该动态缩略图。
可选地，本申请实施例中，在步骤202之后，所述步骤203之前，还可包括以下步骤：
2021、所述主处理器将所述人脸图像进行多尺度特征分解，得到低频特征分量和高频特征分量；
2022、将所述低频特征分量划分为多个部分；确定所述多个部分中每一部分对应的信息熵，得到多个信息熵；
2023、依据所述多个信息熵确定平均信息熵和目标均方差；确定所述目标均方差对应的目标调节系数；
2024、依据所述目标调节系数对所述平均信息熵进行调节，得到目标信息熵；
2025、按照预设的信息熵与评价值之间的映射关系，确定所述目标信息熵对应的第一评价值；
2026、获取对所述人脸图像对应的目标拍摄参数；
2027、按照预设的拍摄参数与低频权重之间的映射关系，确定所述目标信息熵对应的目标低频权重，依据该目标低频权重确定目标高频权重；
2028、依据所述高频特征分量确定目标特征点分布密度；按照预设的特征点分布密度与评价值之间的映射关系，确定所述目标特征点分布密度对应的第二评价值；
2029、依据所述第一评价值、所述第二评价值、所述目标低频权重和所述目标高频权重进行加权运算，得到所述人脸图像的目标清晰度；
2030、若所述目标清晰度大于预设数值，执行所述步骤203的操作。
具体实现中，主处理器可以采用多尺度分解算法将每一人脸图像进行多尺度特征分解，得到低频特征分量和高频特征分量，多尺度分解算法可以为以下至少一种：金字塔变换算法、小波变换、轮廓波变换、剪切波变换等等，在此不做限定。进一步地，可以将低频特征分量划分为多个部分。低频特征分量反映了图像的主体特征，高频特征分量反映了图像的细节信息。
其中，主处理器可以确定多个部分中每一部分对应的信息熵，得到多个信息熵，依据多个信息熵确定平均信息熵和目标均方差，信息熵在一定程度上反映了图像信息多少，均方差则可以反映图像信息的稳定性。主处理器中可以预先存储预设均方差与调节系数之间的映射关系，进而，可以依据该映射关系确定目标均方差对应的目标调节系数，本申请实施例中，调节系数的取值范围可以为-0.15～0.15。主处理器可以依据目标调节系数对平均信息熵进行调节，得到目标信息熵，目标信息熵＝(1+目标调节系数)*平均信息熵。主处理器中可以预先存储预设的信息熵与评价值之间的映射关系，进而，可以按照预设的信息熵与评价值之间的映射关系，确定目标信息熵对应的第一评价值。
其中，主处理器可以获取人脸图像对应的目标拍摄参数，目标拍摄参数可以为以下至少一种：曝光时长、白平衡参数、对焦参数等等，在此不做限定。主处理器中还可以预先存储预设的拍摄参数与低频权重之间的映射关系，进而，可以按照预设的拍摄参数与低频权重之间的映射关系，确定目标信息熵对应的目标低频权重，依据该目标低频权重确定目标高频权重，目标低频权重+目标高频权重＝1。主处理器可以依据高频特征分量确定目标特征点分布密度，目标特征点分布密度＝高频特征分量的特征点总数量/区域面积。主处理器中还可以预先存储预设的特征点分布密度与评价值之间的映射关系，进而，可以按照预设的特征点分布密度与评价值之间的映射关系，确定目标特征点分布密度对应的第二评价值，最后，依据第一评价值、第二评价值、目标低频权重和目标高频权重进行加权运算，得到所述人脸图像的目标清晰度，具体如下：目标清晰度＝第一评价值*目标低频权重+第二评价值*目标高频权重。
如此，可以基于人脸图像的低频分量以及高频分量两个维度进行图像质量评价，能够精准得到与拍摄环境相宜的评价参数，即目标清晰度，从而在清晰度较高时，通过人脸检测算法对所述人脸图像进行特征提取，得到人脸特征集，提高特征提取的准确度。
可以看出，本申请实施例中，DSP通过CSID和轻量图像前端接口接收来自第一摄像头采集的人脸图像，通过人脸检测算法对人脸图像进行特征提取，得到人脸特征集；主处理器根据人脸特征集判断是否需要旋转显示屏的显示界面；若显示界面为视频播放界面，确定视频播放界面当前显示的第一图像之后的多帧图像；根据多帧图像生成动态缩略图，在执行根据人脸图像判断是否需要旋转显示屏的显示界面的过程中，控制显示屏跟随电子设备的旋转显示动态缩略图，如此，通过显示动态缩略图的方式，转移用户对旋转卡顿的注意力，避免用户感受到明显的旋转卡顿，提高显示画面流畅性，此外，通过ISP的轻量图像前端接口将人脸图像传输至DSP，DSP处理第一摄像头采集的人脸图像，不影响ISP处理第二摄像头采集的其他图像数据，从而能够提升第一摄像头采集人脸图像的效率。
与上述一致地，请参阅图3，为本申请实施例提供的另一种显示控制方法的流程示意图，本实施例中所描述的显示控制方法，应用于如图1所示的电子设备，所述电子设备包括运动传感器、第一摄像头、相机串行接口解码器CSID、图像信号处理器ISP、数字信号处理器DSP、显示屏和主处理器，所述ISP包括轻量图像前端接口和图像前端接口，其中，所述第一摄像头连接所述CSID，所述CSID连接所述轻量图像前端接口，所述轻量图像前端接口连接所述DSP；该方法可包括以下步骤：
301、在所述运动传感器检测到所述电子设备旋转时，所述主处理器获取所述电子设备的旋转角度。
302、当所述旋转角度大于第一预设角度时，所述DSP通过所述CSID和所述轻量图像前端接口接收来自所述第一摄像头采集的人脸图像。
303、所述DSP通过人脸检测算法对所述人脸图像进行特征提取，得到人脸特征集；将所述人脸特征集发送至所述主处理器。
304、所述主处理器根据所述人脸特征集判断是否需要旋转所述显示屏的显示界面。
305、若所述显示界面为视频播放界面，所述主处理器确定所述视频播放界面当前显示的第一图像之后的多帧图像。
306、判断所述显示屏从横屏转向竖屏还是从竖屏转向横屏。
其中，若所述显示屏从竖屏转向横屏，跳转至步骤310执行根据所述多帧图像生成动态缩略图。
307、若所述显示屏从横屏转向竖屏，所述主处理器控制所述视频播放界面在预设时长内暂停播放所述视频。
308、检测是否接收到针对所述显示界面的预设控制指令；
309、若是，则执行所述预设控制指令，并隐藏所述视频播放界面。
310、若否，则根据所述多帧图像生成动态缩略图。
311、在执行所述根据所述人脸特征集判断是否需要旋转所述显示屏的显示界面的过程中，控制所述显示屏跟随所述电子设备的旋转显示所述动态缩略图。
312、若判断是否需要旋转所述显示屏的显示界面的判断结果为需要旋转所述显示屏的显示界面，则所述主处理器控制所述显示屏跟随所述电子设备的旋转姿态显示所述视频播放界面的播放视频，并隐藏所述动态缩略图。
313、若所述判断结果为不需要旋转所述显示屏的显示界面，则所述主处理器隐藏所述动态缩略图，继续控制所述显示屏显示所述视频播放界面。
可以看出，本申请实施例中，通过在执行根据人脸图像判断是否需要旋转显示屏的显示界面的过程中，控制显示屏跟随电子设备的旋转显示动态缩略图，如此，通过显示动态缩略图的方式，转移用户对旋转卡顿的注意力，避免用户感受到明显的旋转卡顿，提高显示画面流畅性；通过在显示屏处于不同的旋转场景下，针对显示屏的视频播放界面进行对应的显示控制操作，可灵活控制显示界面的显示效果，提升用户体验；此外，通过ISP的轻量图像前端接口将人脸图像传输至DSP，DSP处理第一摄像头采集的人脸图像，不影响ISP处理第二摄像头采集的其他图像数据，从而能够提升第一摄像头采集人脸图像的效率。
本申请实施例提供一种显示控制装置，该显示控制装置可以应用于图1所示的电子设备。具体的，显示控制装置用于执行以显示控制方法中测试设备所执行的步骤。本申请实施例提供的显示控制装置可以包括相应步骤所对应的模块。
本申请实施例可以根据上述方法示例对显示控制装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
在采用对应各个功能划分各个功能模块的情况下，图4示出上述实施例中所涉及的显示控制装置的一种可能的结构示意图。如图4所示，显示控制装置应用于电子设备，所述电子设备包括运动传感器、第一摄像头、相机串行接口解码器CSID、图像信号处理器ISP、数字信号处理器DSP、显示屏和主处理器，所述ISP包括轻量图像前端接口和图像前端接口，其中，所述第一摄像头连接所述CSID，所述CSID连接所述轻量图像前端接口，所述轻量图像前端接口连接所述DSP；显示控制装置400包括第一处理单元401、第二处理单元402、发送单元403和显示单元404，其中，
第一处理单元401，用于在所述运动传感器检测到所述电子设备旋转时，控制所述主处理器获取所述电子设备的旋转角度；
第二处理单元402，用于当所述旋转角度大于第一预设角度时，控制所述DSP通过所述CSID和所述轻量图像前端接口接收来自所述第一摄像头采集的人脸图像；通过人脸检测算法对所述人脸图像进行特征提取，得到人脸特征集；
发送单元403，用于控制所述DSP将所述人脸特征集发送至所述主处理器；
第一处理单元401，还用于控制所述主处理器根据所述人脸特征集判断是否需要旋转所述显示屏的显示界面；若所述显示界面为视频播放界面，确定所述视频播放界面当前显示的第一图像之后的多帧图像；根据所述多帧图像生成动态缩略图；
显示单元404，用于在执行所述根据所述人脸特征集判断是否需要旋转所述显示屏的显示界面的过程中，控制所述显示屏跟随所述电子设备的旋转显示所述动态缩略图。
可选地，在所述根据所述人脸特征集判断是否需要旋转所述显示屏的显示界面方面，所述第一处理单元401具体用于：
控制所述主处理器检测所述电子设备的旋转参数；根据所述人脸特征集和所述旋转参数确定人脸姿态和所述电子设备的旋转姿态是否满足预设条件，若是，确定不需要旋转所述显示屏的显示界面，否则，确定需要旋转所述显示屏的显示界面。
可选地，在所述根据所述人脸特征集和所述旋转参数确定所述人脸姿态和所述旋转姿态是否满足预设条件方面，所述第一处理单元401具体用于：
控制所述主处理器根据所述人脸特征集确定人脸对应的第一参考方向的第一特征向量；根据所述旋转参数确定所述显示屏对应的第二参考方向的第二特征向量；若所述第一特征向量与所述第二特征向量之间在显示屏所在平面上的夹角小于第二预设角度，则确定所述人脸姿态和所述旋转姿态满足预设条件。
可选地，在所述根据所述多帧图像生成动态缩略图方面，所述第一处理单元401具体用于：
控制所述主处理器若所述显示屏从横屏转向竖屏，则根据所述横屏显示状态下视频播放界面的显示区域面积确定所述动态缩略图的尺寸；若所述显示屏从竖屏转向横屏，则根据所述竖屏显示状态下视频播放界面的显示区域面积确定所述动态缩略图的尺寸；按照所述动态缩略图的尺寸将所述多帧图像进行尺寸调整，得到调整后的多帧图像；根据所述调整后的多帧图像生成动态缩略图。
可选地，在所述确定所述视频播放界面当前显示的第一图像之后的多帧图像方面，所述第一处理单元401具体用于获取预设时间段内所述主处理器从执行所述获取所述电子设备的旋转角度到所述判断是否需要旋转所述显示屏的显示界面的操作执行结束的历史时长；根据预设的时长与图像数量之间的映射关系确定与所述历史时长对应的目标数量；确定所述视频播放界面当前显示的第一图像之后所述目标数量的多帧图像。
可选地，在所述控制所述显示屏跟随所述电子设备的旋转显示所述动态缩略图方面，所述显示单元404具体用于：
根据所述旋转参数确定所述动态缩略图的显示参数；
控制所述显示屏根据所述动态缩略图的显示参数显示所述动态缩略图。
可选地，显示单元404还用于：
若判断是否需要旋转所述显示屏的显示界面的判断结果为需要旋转所述显示屏的显示界面，则控制所述显示屏跟随所述电子设备的旋转姿态显示所述视频播放界面的播放视频，并隐藏所述动态缩略图；
若所述判断结果为不需要旋转所述显示屏的显示界面，则隐藏所述动态缩略图，继续控制所述显示屏显示所述视频播放界面。
可选地，第一处理单元401还用于：
若所述显示屏从横屏转向竖屏，则在所述根据所述多帧图像生成动态缩略图之前，所述主处理器控制所述视频播放界面在预设时长内暂停播放所述视频；
检测是否接收到针对所述显示界面的预设控制指令；
若否，则执行根据所述多帧图像生成动态缩略图；若是，则执行所述预设控制指令，并隐藏所述视频播放界面。
可以看出，电子设备的图像信号处理器包括轻量图像前端接口和图像前端接口，第一摄像头连接CSID、CSID连接ISP的轻量图像前端接口，轻量图像前端接口连接DSP，DSP通过CSID和轻量图像前端接口接收来自第一摄像头采集的人脸图像，通过人脸检测算法对人脸图像进行特征提取，得到人脸特征集；主处理器根据人脸特征集判断是否需要旋转显示屏的显示界面；若显示界面为视频播放界面，确定视频播放界面当前显示的第一图像之后的多帧图像；根据多帧图像生成动态缩略图，在执行根据人脸图像判断是否需要旋转显示屏的显示界面的过程中，控制显示屏跟随电子设备的旋转显示动态缩略图，如此，通过显示动态缩略图的方式，转移用户对旋转卡顿的注意力，避免用户感受到明显的旋转卡顿，提高显示画面流畅性，此外，通过ISP的轻量图像前端接口将人脸图像传输至DSP，DSP处理第一摄像头采集的人脸图像，不影响ISP处理第二摄像头采集的其他图像数据，从而能够提升第一摄像头采集人脸图像的效率。
其中，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。当然，本申请实施例提供的显示控制装置包括但不限于上述模块，例如：显示控制装置还可以包括存储单元。存储单元可以用于存储该显示控制装置的程序代码和数据。
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。
本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (11)

1.一种显示控制方法，其特征在于，应用于电子设备，所述电子设备包括运动传感器、第一摄像头、相机串行接口解码器CSID、图像信号处理器ISP、数字信号处理器DSP、显示屏和主处理器，所述ISP包括轻量图像前端接口和图像前端接口，其中，所述第一摄像头连接所述CSID，所述CSID连接所述轻量图像前端接口，所述轻量图像前端接口连接所述DSP；所述方法包括：
在所述运动传感器检测到所述电子设备旋转时，所述主处理器获取所述电子设备的旋转角度；
当所述旋转角度大于第一预设角度时，所述DSP通过所述CSID和所述轻量图像前端接口接收来自所述第一摄像头采集的人脸图像；
所述DSP通过人脸检测算法对所述人脸图像进行特征提取，得到人脸特征集；将所述人脸特征集发送至所述主处理器；
所述主处理器根据所述人脸特征集判断是否需要旋转所述显示屏的显示界面；若所述显示界面为视频播放界面，确定所述视频播放界面当前显示的第一图像之后的多帧图像；根据所述多帧图像生成动态缩略图，在执行所述根据所述人脸特征集判断是否需要旋转所述显示屏的显示界面的过程中，控制所述显示屏跟随所述电子设备的旋转显示所述动态缩略图。
2.根据权利要求1所述的方法，其特征在于，所述根据所述人脸特征集判断是否需要旋转所述显示屏的显示界面，包括：
所述主处理器检测所述电子设备的旋转参数；
根据所述人脸特征集和所述旋转参数确定人脸姿态和所述电子设备的旋转姿态是否满足预设条件，若是，确定不需要旋转所述显示屏的显示界面，否则，确定需要旋转所述显示屏的显示界面。
3.根据权利要求2所述的方法，其特征在于，所述根据所述人脸特征集和所述旋转参数确定所述人脸姿态和所述旋转姿态是否满足预设条件，包括：
根据所述人脸特征集确定人脸对应的第一参考方向的第一特征向量；
根据所述旋转参数确定所述显示屏对应的第二参考方向的第二特征向量；
若所述第一特征向量与所述第二特征向量之间在显示屏所在平面上的夹角小于第二预设角度，则确定所述人脸姿态和所述旋转姿态满足预设条件。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述多帧图像生成动态缩略图，包括：
若所述显示屏从横屏转向竖屏，则所述主处理器根据所述横屏显示状态下视频播放界面的显示区域面积确定所述动态缩略图的尺寸；
若所述显示屏从竖屏转向横屏，则根据所述竖屏显示状态下视频播放界面的显示区域面积确定所述动态缩略图的尺寸；
按照所述动态缩略图的尺寸将所述多帧图像进行尺寸调整，得到调整后的多帧图像；
根据所述调整后的多帧图像生成动态缩略图。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述确定所述视频播放界面当前显示的第一图像之后的多帧图像，包括：
所述主处理器获取预设时间段内所述主处理器从执行所述获取所述电子设备的旋转角度到所述判断是否需要旋转所述显示屏的显示界面的操作执行结束的历史时长；
根据预设的时长与图像数量之间的映射关系确定与所述历史时长对应的目标数量；
确定所述视频播放界面当前显示的第一图像之后所述目标数量的多帧图像。
6.根据权利要求2-5任一项所述的方法，其特征在于，所述控制所述显示屏跟随所述电子设备的旋转显示所述动态缩略图，包括：
根据所述旋转参数确定所述动态缩略图的显示参数；
控制所述显示屏根据所述动态缩略图的显示参数显示所述动态缩略图。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述方法还包括：
若判断是否需要旋转所述显示屏的显示界面的判断结果为需要旋转所述显示屏的显示界面，则所述主处理器控制所述显示屏跟随所述电子设备的旋转姿态显示所述视频播放界面的播放视频，并隐藏所述动态缩略图；
若所述判断结果为不需要旋转所述显示屏的显示界面，则所述主处理器隐藏所述动态缩略图，继续控制所述显示屏显示所述视频播放界面。
8.根据权利要求1-7任一项所述的方法，其特征在于，所述方法还包括：
若所述显示屏从横屏转向竖屏，则在所述根据所述多帧图像生成动态缩略图之前，所述主处理器控制所述视频播放界面在预设时长内暂停播放所述视频；
检测是否接收到针对所述显示界面的预设控制指令；
若否，则执行根据所述多帧图像生成动态缩略图；若是，则执行所述预设控制指令，并隐藏所述视频播放界面。
9.一种显示控制装置，其特征在于，应用于电子设备，所述电子设备包括运动传感器、第一摄像头、相机串行接口解码器CSID、图像信号处理器ISP、数字信号处理器DSP、显示屏和主处理器，所述ISP包括轻量图像前端接口和图像前端接口，其中，所述第一摄像头连接所述CSID，所述CSID连接所述轻量图像前端接口，所述轻量图像前端接口连接所述DSP；所述装置包括：
第一处理单元，用于在所述运动传感器检测到所述电子设备旋转时，控制所述主处理器获取所述电子设备的旋转角度；
第二处理单元，用于当所述旋转角度大于第一预设角度时，控制所述DSP通过所述CSID和所述轻量图像前端接口接收来自所述第一摄像头采集的人脸图像；
发送单元，用于通过人脸检测算法对所述人脸图像进行特征提取，得到人脸特征集；控制所述DSP将所述人脸特征集发送至所述主处理器；
所述第一处理单元，还用于控制所述主处理器根据所述人脸特征集判断是否需要旋转所述显示屏的显示界面；若所述显示界面为视频播放界面，确定所述视频播放界面当前显示的第一图像之后的多帧图像；根据所述多帧图像生成动态缩略图；
显示单元，用于在执行所述根据所述人脸特征集判断是否需要旋转所述显示屏的显示界面的过程中，控制所述显示屏跟随所述电子设备的旋转显示所述动态缩略图。
10.一种电子设备，其特征在于，所述电子设备包括运动传感器、第一摄像头、相机串行接口解码器CSID、图像信号处理器ISP、数字信号处理器DSP、显示屏和主处理器，所述ISP包括轻量图像前端接口和图像前端接口，其中，所述第一摄像头连接所述CSID，所述CSID连接所述轻量图像前端接口，所述轻量图像前端接口连接所述DSP；其中，
所述主处理器，用于在所述运动传感器检测到所述电子设备旋转时，获取所述电子设备的旋转角度；
所述DSP，用于当所述旋转角度大于第一预设角度时，通过所述CSID和所述轻量图像前端接口接收来自所述第一摄像头采集的人脸图像；
所述DSP，还用于通过人脸检测算法对所述人脸图像进行特征提取，得到人脸特征集；将所述人脸特征集发送至所述主处理器；
所述主处理器，还用于根据所述人脸特征集判断是否需要旋转所述显示屏的显示界面；若所述显示界面为视频播放界面，确定所述视频播放界面当前显示的第一图像之后的多帧图像；根据所述多帧图像生成动态缩略图，在执行所述根据所述人脸特征集判断是否需要旋转所述显示屏的显示界面的过程中，控制所述显示屏跟随所述电子设备的旋转显示所述动态缩略图。
11.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-8任一项所述的方法。
CN202010765987.1A 2020-07-31 2020-07-31 显示控制方法、装置、电子设备及存储介质 Active CN111880711B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010765987.1A CN111880711B (zh) 2020-07-31 2020-07-31 显示控制方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010765987.1A CN111880711B (zh) 2020-07-31 2020-07-31 显示控制方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111880711A true CN111880711A (zh) 2020-11-03
CN111880711B CN111880711B (zh) 2022-02-01

Family

ID=73205588

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010765987.1A Active CN111880711B (zh) 2020-07-31 2020-07-31 显示控制方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111880711B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113627328A (zh) * 2021-08-10 2021-11-09 安谋科技（中国）有限公司 电子设备及其图像识别方法、片上系统和介质
CN113918766A (zh) * 2021-08-12 2022-01-11 荣耀终端有限公司 视频缩略图的显示方法、设备和存储介质
CN117440212A (zh) * 2023-12-20 2024-01-23 深圳市亿莱顿科技有限公司 投屏显示设备及其控制方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103581423A (zh) * 2012-08-09 2014-02-12 中兴通讯股份有限公司 屏幕翻转方法及装置、移动终端
US20150286719A1 (en) * 2014-04-03 2015-10-08 Sony Corporation Recognizing and registering faces in video
CN106155474A (zh) * 2016-06-15 2016-11-23 广州神马移动信息科技有限公司 显示视图控件动态效果的方法及装置
CN108133454A (zh) * 2016-12-01 2018-06-08 阿里巴巴集团控股有限公司 空间几何模型图像切换方法、装置、系统及交互设备
CN108769514A (zh) * 2018-05-17 2018-11-06 Oppo广东移动通信有限公司 摄像头控制方法、装置、电子装置以及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103581423A (zh) * 2012-08-09 2014-02-12 中兴通讯股份有限公司 屏幕翻转方法及装置、移动终端
US20150286719A1 (en) * 2014-04-03 2015-10-08 Sony Corporation Recognizing and registering faces in video
CN106155474A (zh) * 2016-06-15 2016-11-23 广州神马移动信息科技有限公司 显示视图控件动态效果的方法及装置
CN108133454A (zh) * 2016-12-01 2018-06-08 阿里巴巴集团控股有限公司 空间几何模型图像切换方法、装置、系统及交互设备
CN108769514A (zh) * 2018-05-17 2018-11-06 Oppo广东移动通信有限公司 摄像头控制方法、装置、电子装置以及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113627328A (zh) * 2021-08-10 2021-11-09 安谋科技（中国）有限公司 电子设备及其图像识别方法、片上系统和介质
CN113918766A (zh) * 2021-08-12 2022-01-11 荣耀终端有限公司 视频缩略图的显示方法、设备和存储介质
CN113918766B (zh) * 2021-08-12 2023-10-13 荣耀终端有限公司 视频缩略图的显示方法、设备和存储介质
CN117440212A (zh) * 2023-12-20 2024-01-23 深圳市亿莱顿科技有限公司 投屏显示设备及其控制方法和装置

Also Published As

Publication number Publication date
CN111880711B (zh) 2022-02-01

Similar Documents

Publication Publication Date Title
CN111880711B (zh) 显示控制方法、装置、电子设备及存储介质
EP2634727B1 (en) Method and portable terminal for correcting gaze direction of user in image
WO2017016030A1 (zh) 一种图像处理方法及终端
CN111880640B (zh) 屏幕控制方法、装置、电子设备及存储介质
KR102188613B1 (ko) 컴퓨터―비전 애플리케이션들을 위한 적응형 데이터 경로
US11977981B2 (en) Device for automatically capturing photo or video about specific moment, and operation method thereof
KR102204212B1 (ko) 실감형 콘텐츠 제공 장치 및 방법
CN113099146B (zh) 一种视频生成方法、装置及相关设备
KR102383134B1 (ko) 우선 순위에 기반하여 이미지를 처리하는 전자 장치 및 그 동작 방법
CN108200337B (zh) 拍照处理的方法、装置、终端及存储介质
US10572764B1 (en) Adaptive stereo rendering to reduce motion sickness
CN109313797B (zh) 一种图像显示方法及终端
CN108574803B (zh) 图像的选取方法、装置、存储介质及电子设备
CN114549718A (zh) 虚拟信息的渲染方法、装置、增强现实装置及存储介质
CN112183200A (zh) 一种基于视频图像的眼动追踪方法和系统
CN111814745A (zh) 手势识别方法、装置、电子设备及存储介质
US20220172440A1 (en) Extended field of view generation for split-rendering for virtual reality streaming
JP2020188448A (ja) 撮像装置及び撮像方法
EP4072121A1 (en) Photographing method and apparatus, storage medium, and electronic device
US9323981B2 (en) Face component extraction apparatus, face component extraction method and recording medium in which program for face component extraction method is stored
US20220414830A1 (en) Method and apparatus for improved object detection
CN111385481A (zh) 图像处理方法及装置、电子设备及存储介质
CN108476290B (zh) 用于提供全景图像的电子装置及其控制方法
WO2021024860A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN114647983A (zh) 显示设备及基于人像的距离检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant