CN114816641A - 显示设备、多媒体内容显示方法和存储介质 - Google Patents

显示设备、多媒体内容显示方法和存储介质 Download PDF

Info

Publication number
CN114816641A
CN114816641A CN202210503314.8A CN202210503314A CN114816641A CN 114816641 A CN114816641 A CN 114816641A CN 202210503314 A CN202210503314 A CN 202210503314A CN 114816641 A CN114816641 A CN 114816641A
Authority
CN
China
Prior art keywords
display
multimedia content
determining
image
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210503314.8A
Other languages
English (en)
Other versions
CN114816641B (zh
Inventor
祖荫鹏
卢平光
刘晋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Visual Technology Co Ltd
Original Assignee
Hisense Visual Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Visual Technology Co Ltd filed Critical Hisense Visual Technology Co Ltd
Priority to CN202210503314.8A priority Critical patent/CN114816641B/zh
Priority to CN202280057422.5A priority patent/CN118077208A/zh
Priority to PCT/CN2022/109199 priority patent/WO2023035805A1/zh
Publication of CN114816641A publication Critical patent/CN114816641A/zh
Application granted granted Critical
Publication of CN114816641B publication Critical patent/CN114816641B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本公开涉及一种显示设备、多媒体内容显示方法和存储介质,应用于显示技术领域,解决现有的用户在观看多媒体内容时需要反复根据不同视角进行比例调节影响用户观看效果的问题。该显示设备包括:图像采集接口,被配置为:采集显示设备对应的环境图像;控制器,被配置为:基于环境图像,确定人脸对应的图像区域;基于多媒体内容的初始显示模式和,人脸对应的图像区域与环境图像的位置关系,确定多媒体内容的目标显示模式,目标显示模式用于描述多媒体内容的目标画面显示比例和/或多媒体内容的目标画面显示位置;显示器,被配置为:基于目标显示模式显示多媒体内容。

Description

显示设备、多媒体内容显示方法和存储介质
技术领域
本公开涉及显示技术领域,尤其涉及一种显示设备、多媒体内容显示方法和存储介质。
背景技术
随着科技的发展和进步,显示设备的功能越来越多样化,为人们的工作和生活带来了极大的便利。
用户在显示设备上观看多媒体内容(如观看游戏场景画面)时,经常会以不同姿态视角去观看,如站姿或者坐姿,不同的观看视角会影响用户观看多媒体内容的观看效果。相关技术中,用户在进行姿态视角调整时,可通过触发显示设备上的控制功能来实现对不同画面显示比例的调节,导致用户在观看多媒体内容时需要反复根据不同视角进行比例调节,从而,影响用户的观看效果。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题,本公开提供了一种显示设备、多媒体内容显示方法和存储介质,可以通过用户观看多媒体内容的不同姿态,确定出适配用户的多媒体内容的显示模式,实现始终保持多媒体内容的显示画面与用户眼睛观看角度的最佳匹配,提升用户的观看满意度和观看视角效果。
第一方面,本公开提供了一种显示设备,该显示设备包括:
图像采集接口,被配置为:采集所述显示设备对应的环境图像;
控制器,被配置为:基于所述环境图像,确定人脸对应的图像区域;
基于多媒体内容的初始显示模式和,所述人脸对应的图像区域与所述环境图像的位置关系,确定所述多媒体内容的目标显示模式,所述目标显示模式用于描述所述多媒体内容的目标画面显示比例和/或所述多媒体内容的目标画面显示位置;
显示器,被配置为:基于所述目标显示模式显示所述多媒体内容。
在本公开一些实施例中,所述人脸对应的图像区域与所述环境图像的位置关系包括:相对角度关系,所述相对角度关系为所述图像区域与所述环境图像的中心点在第一方向上的角度信息;
所述控制器,具体被配置为:
获取所述初始显示模式中包括的初始画面显示比例;
基于所述初始画面显示比例和所述位置关系中包括的所述角度信息,确定所述多媒体内容的目标画面显示比例。
在本公开一些实施例中,所述控制器,具体被配置为:
确定所述初始画面显示比例为预设的画面显示比例,且确定所述位置关系中包括的所述角度信息发生变化;所述预设的画面显示比例为所述显示设备处于全屏显示状态时对应的画面显示比例;
基于所述位置关系中包括的所述角度信息,确定所述多媒体内容的目标画面显示比例。
在本公开一些实施例中,所述控制器,具体被配置为:
若所述角度信息处于预设的第一角度范围,则确定所述多媒体内容的目标画面显示比例为第一显示比例;
或者,若所述角度信息处于预设的第二角度范围,则确定所述多媒体内容的目标画面显示比例为第二显示比例;
或者,若所述相对角度处于预设的第三角度范围,则确定所述多媒体内容的目标画面显示比例为第三显示比例。
在本公开一些实施例中,所述人脸对应的图像区域与所述环境图像的位置关系包括:相对垂直关系,所述相对垂直关系为所述图像区域与所述环境图像在第二方向上的距离差;
获取所述初始显示模式中包括的初始画面显示比例;
根据所述初始画面显示比例和所述位置关系中包括的所述距离差,确定所述多媒体内容的目标画面显示位置。
在本公开一些实施例中,所述控制器,具体被配置为:
确定所述初始画面显示比例不为预设的画面显示比例,且确定所述位置关系中包括的所述距离差发生变化,所述预设的画面显示比例为所述显示设备处于全屏显示状态时对应的画面显示比例;
根据所述位置关系中包括的所述距离差,确定所述多媒体内容的目标画面显示位置。
在本公开一些实施例中,所述控制器,具体被配置为:
若所述距离差处于预设的第一距离范围,则确定所述多媒体内容的目标画面显示位置为第一显示位置;
或者,若所述距离差处于预设的第二距离范围,则确定所述多媒体内容的目标画面显示位置为第二显示位置;
或者,所述距离差处于预设的第三距离范围,则确定所述多媒体内容的目标画面显示位置为第三显示位置。
在本公开一些实施例中,所述控制器,还被配置为:
基于预设的画面显示比例对所述目标画面显示比例进行画面比例检查,所述预设的画面显示比例为所述显示设备处于全屏显示状态时对应的画面显示比例;
确定所述目标画面显示比例为所述预设的画面显示比例。
第二方面,本公开提供了一种多媒体内容显示方法,包括:
采集所述显示设备对应的环境图像;
基于所述环境图像,确定人脸对应的图像区域;
基于多媒体内容的初始显示模式和,所述人脸对应的图像区域与所述环境图像的位置关系,确定所述多媒体内容的目标显示模式,所述目标显示模式用于描述所述多媒体内容的目标画面显示比例和/或所述多媒体内容的目标画面显示位置;
基于所述目标显示模式显示所述多媒体内容。
在本公开一些实施例中,所述人脸对应的图像区域与所述环境图像的位置关系包括:相对角度关系,所述相对角度关系为所述图像区域与所述环境图像的中心点在第一方向上的角度信息;
所述基于多媒体内容的初始显示模式和,所述人脸对应的图像区域与所述环境图像的位置关系,确定所述多媒体内容的目标显示模式,包括:
获取所述初始显示模式中包括的初始画面显示比例;
基于所述初始画面显示比例和所述位置关系中包括的所述角度信息,确定所述多媒体内容的目标画面显示比例。
在本公开一些实施例中,所述基于所述初始画面显示比例和所述位置关系中包括的所述角度信息,确定所述多媒体内容的目标画面显示比例,包括:
确定所述初始画面显示比例为预设的画面显示比例,且确定所述位置关系中包括的所述角度信息发生变化,所述预设的画面显示比例为所述显示设备处于全屏显示状态时对应的画面显示比例;
基于所述位置关系中包括的所述角度信息,确定所述多媒体内容的目标画面显示比例。
在本公开一些实施例中,基于所述位置关系中包括的所述角度信息,确定所述多媒体内容的目标画面显示比例,包括:
若所述角度信息处于预设的第一角度范围,则确定所述多媒体内容的目标画面显示比例为第一显示比例;
或者,若所述角度信息处于预设的第二角度范围,则确定所述多媒体内容的目标画面显示比例为第二显示比例;
或者,若所述相对角度处于预设的第三角度范围,则确定所述多媒体内容的目标画面显示比例为第三显示比例。
在本公开一些实施例中,所述人脸对应的图像区域与所述环境图像的位置关系包括:相对垂直关系,所述相对垂直关系为所述图像区域与所述环境图像在第二方向上的距离差;
所述基于多媒体内容的初始显示模式和,所述人脸对应的图像区域与所述环境图像的位置关系,确定所述多媒体内容的目标显示模式,包括:
获取所述初始显示模式中包括的初始画面显示比例;
根据所述初始画面显示比例和所述位置关系中包括的所述距离差,确定所述多媒体内容的目标画面显示位置。
在本公开一些实施例中,所述根据所述初始画面显示比例和所述位置关系中包括的所述距离差,确定所述多媒体内容的目标画面显示位置,包括:
确定所述初始画面显示比例不为预设的画面显示比例,且确定所述位置关系中包括的所述距离差发生变化,所述预设的画面显示比例为所述显示设备处于全屏显示状态时对应的画面显示比例;
根据所述位置关系中包括的所述距离差,确定所述多媒体内容的目标画面显示位置。
在本公开一些实施例中,所述根据所述位置关系中包括的所述距离差,确定所述多媒体内容的目标画面显示位置,包括:
若所述距离差处于预设的第一距离范围,则确定所述多媒体内容的目标画面显示位置为第一显示位置;
或者,若所述距离差处于预设的第二距离范围,则确定所述多媒体内容的目标画面显示位置为第二显示位置;
或者,所述距离差处于预设的第三距离范围,则确定所述多媒体内容的目标画面显示位置为第三显示位置。
在本公开一些实施例中,所述方法还包括:
基于预设的画面显示比例对所述目标画面显示比例进行画面比例检查,所述预设的画面显示比例为所述显示设备处于全屏显示状态时对应的画面显示比例;
确定所述目标画面显示比例为所述预设的画面显示比例。
第三方面,本公开提供了一种计算机可读存储介质,包括:计算机可读存储介质上存储计算机程序,计算机程序被处理器执行时实现如第二方面所示的多媒体内容显示方法。
本公开实施例提供的技术方案与现有技术相比具有如下优点:采集显示设备对应的环境图像,基于环境图像确定其中包括的人脸对应的图像区域,并基于多媒体内容的初始显示模式和,人脸对应的图像区域与环境图像的位置关系,确定多媒体内容的目标显示模式,其中,目标显示模式用于描述多媒体内容的目标画面显示比例和/或多媒体内容的目标画面显示位置,从而基于目标显示模式显示多媒体内容,通过上述方法能够在用户观看多媒体内容时,基于用户不同姿态确定出适配的多媒体内容的显示模式,始终保持多媒体内容的显示画面与用户眼睛观看角度的最佳匹配,提升用户的观看满意度和观看视角效果。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为根据本公开一个或多个实施例的显示设备与控制装置之间操作场景的示意图;
图2为根据本公开一个或多个实施例的控制设备100的硬件配置框图;
图3为根据本公开一个或多个实施例的显示设备200的硬件配置框图;
图4为根据本公开一个或多个实施例的显示设备200中软件配置示意图;
图5为根据本公开一个或多个实施例的显示设备200中应用程序的图标控件界面显示示意图;
图6A为根据本公开一个或多个实施例进行多媒体内容显示的系统框架图;
图6B为根据本公开一个或多个实施例进行多媒体内容显示的架构图;
图7A为本公开实施例提供的一种多媒体内容显示方法的流程示意图;
图7B为本公开实施例提供的一种多媒体内容显示方法对应的系统整体框架图;
图7C为本公开实施例提供的一种多媒体内容的不同画面显示比例的界面示意图;
图7D为本公开实施例提供的一种多媒体内容的不同画面显示位置的界面示意图;
图8A为本公开实施例提供的一种人脸区域与环境图像中心点的夹角示意图;
图8B为本公开实施例提供的一种人眼视角与清晰度关系图;
图8C为本公开实施例提供的一种多媒体内容的第一画面显示比例的示意图;
图8D为本公开实施例提供的一种多媒体内容的第二画面显示比例的示意图;
图8E为本公开实施例提供的一种多媒体内容的第三画面显示比例的示意图;
图9A为本公开实施例提供的一种多媒体内容的显示示意图;
图9B为本公开实施例提供的一种多媒体内容的第一画面显示位置的界面示意图;
图9C为本公开实施例提供的一种多媒体内容的第二画面显示位置的界面示意图;
图9D为本公开实施例提供的一种多媒体内容的第三画面显示位置的界面示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点,下面将对本公开的方案进行进一步描述。需要说明的是,在不冲突的情况下,本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开,但本公开还可以采用其他不同于在此描述的方式来实施;显然,说明书中的实施例只是本公开的一部分实施例,而不是全部的实施例。
显示设备上可播放不同的多媒体内容,其中,显示设备上播放的多媒体内容可包括:教学视频、歌唱视频、跳舞视频、游戏视频等,用户可通过与显示设备进行交互,在显示设备上进行多媒体内容的观看,或者,进行其他数据内容的沉浸式体验(如游戏体验),从而,丰富用户的业余生活。
其中,用户在与显示设备进行交互时,通过会以不同姿态来进行与显示设备的交互,如,用户在显示设备上体验游戏场景时,通常会采用坐姿或者站姿来观看显示设备,具体的,用户的观看视角可能会与显示设备形成一定角度,不在显示设备的最佳观看视角范围内,或者,用户的脸部位置不在显示设备的正中区域内,这会导致用户难以以最佳视角或最佳位置进行游戏场景的体验。
相关技术中,用户可通过控制器/显示设备的上的调节按钮,手动调节显示设备的显示模式,来选取适应自己的画面显示比例/画面显示位置,从而,手动调节方式会影响用户的内容观看,尤其是在游戏场景中,会直接影响到用户的游戏体验,进一步降低用户的设备体验感。
为了解决上述问题,本公开实施例中显示设备通过采集其对应的环境图像,基于环境图像确定其中包括的人脸对应的图像区域,并基于多媒体内容的初始显示模式和,人脸对应的图像区域与环境图像的位置关系,确定多媒体内容的目标显示模式,其中,目标显示模式用于描述多媒体内容的目标画面显示比例和/或多媒体内容的目标画面显示位置,从而基于目标显示模式显示多媒体内容,通过上述方法能够在用户观看多媒体内容时,基于用户不同姿态确定出适配的多媒体内容的显示模式,始终保持多媒体内容的显示画面与用户眼睛观看角度的最佳匹配,提升用户的观看满意度和观看视角效果。
图1为本公开一个或多个实施例的显示设备与控制装置之间操作场景的示意图。如图1所示,用户可通过智能设备300(如手机)或控制装置100(如手柄/鼠标/键盘/遥控器)操作显示设备200,使得显示设备200播放相应的多媒体内容,其中,显示设备200可基于用户的姿态调整显示设备200上播放多媒体内容的画面显示比例和画面显示位置,使得在显示设备200上播放不同画面显示比例的多媒体内容,或者,在显示设备200上的不同播放区域中播放相应的画面显示比例的多媒体内容,其中,显示设备200可将显示区域划分为多个画面显示位置进行多媒体内容的播放,显示设备200上播放的画面显示比例可为显示设备的播放画面的宽高比,具体的,显示设备200上能够播放的画面显示比例可包括:32:9、21:9和16:9(全屏播放)。
在一些实施例中,用户可通过遥控器打开显示设备,并控制显示设备上播放的多媒体内容,显示设备可根据用户的姿态对多媒体内容的画面显示比例和画面显示位置进行相应调整。
示例性的,显示设备的显示画面的显示区域可包括:第一区域、第二区域和第三区域,其中,第一区域在第二区域的上方,第二区域在第三区域的上方,在检测到用户眼睛处于第一区域时,将多媒体内容的画面显示位置调整至第一区域显示,在检测到用户眼睛处于第二区域时,将多媒体内容的画面显示位置调整至第二区域显示,在检测到用户眼睛处于第三区域时,将多媒体内容的画面显示位置调整至第三区域显示;另外,在检测到用户眼睛与显示设备之间的垂直夹角小于或等于30°时,调整多媒体内容的画面显示比例为32:9,在检测到用户眼睛与显示设备之间的垂直夹角大于30°且小于45°时,调整多媒体内容的画面显示比例为21:9,在检测到用户眼睛与显示设备之间的垂直夹角大于45°时,调整多媒体内容的画面显示比例为16:9,从而,解决了现有技术中的问题,能够在用户观看多媒体内容时,基于用户不同姿态确定出适配的多媒体内容的显示模式,始终保持多媒体内容的显示画面与用户眼睛观看角度的最佳匹配,提升用户的观看满意度和观看视角效果。
在一些实施例中,控制装置100可以是遥控器,遥控器和显示设备的通信包括红外协议通信、蓝牙协议通信、无线或其他有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入以及控制面板输入等输入用户指令,来控制显示设备200。在一些实施例中,也可以使用移动终端、平板电脑、计算机、笔记本电脑和其他智能设备来控制显示设备200。
在另一些实施例中,控制设备100还可以是鼠标/键盘/手柄,鼠标/键盘/手柄和显示设备的通信可包括红外协议通信、蓝牙协议通信、无线或其他有线方式来控制显示设备200。用户可以通过鼠标/键盘/手柄上的按键、语音输入以及控制面板输入等输入用户指令,来控制显示设备200。
在一些实施例中,显示设备200可以不使用上述的智能设备或控制设备接收指令,而是通过触摸或者手势等接收用户的控制。
在一些实施例中,显示设备200还可以采用除了控制装置100和智能设备300之外的方式进行控制,例如,可以通过显示设备200设备内部配置的获取语音指令的模块直接接收用户的语音指令控制,也可以通过显示设备200设备外部设置的语音控制设备来接收用户的语音指令控制。
在一些实施例中,智能设备300可与显示设备200中安装的软件应用,通过网络通信协议实现连接通信,实现一对一控制操作的和数据通信的目的。也可以将智能设备300上显示的音视频内容传输到显示设备200上,实现同步显示功能。显示设备200还与服务器400通过多种通信方式进行数据通信,可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以是一个集群,也可以是多个集群,可以包括一类或多类服务器。服务器400可以向显示设备200提供各种内容和互动。显示设备200,可以为液晶显示器、OLED显示器或者投影显示设备等。显示设备200除了提供广播接收电视功能之外,还可以附加提供计算机支持功能的智能网络电视功能。
图2示例性示出了根据示例性实施例中控制装置100的配置框图。如图2所示,控制装置100包括控制器110、通信接口130、用户输入/输出接口140、存储器、供电电源。控制装置100可接收用户的输入操作指令,且将操作指令转换为显示设备200可识别和响应的指令,起用用户与显示设备200之间交互中介作用。通信接口130用于和外部通信,包含WIFI芯片,蓝牙模块,NFC或可替代模块中的至少一种。用户输入/输出接口140包含麦克风,触摸板,传感器,按键或可替代模块中的至少一种。
图3示出了根据示例性实施例中显示设备200的硬件配置框图。如图3所示显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口(即用户输入接口)280和图像采集接口290中的至少一种。控制器250包括中央处理器,视频处理器,音频处理器,图形处理器,RAM,ROM,用于输入/输出的第一接口至第n接口。显示器260可为液晶显示器、OLED显示器、触控显示器以及投影显示器中的至少一种,还可以为一种投影装置和投影屏幕。调谐解调器210通过有线或无线接收方式接收广播电视信号,以及从多个无线或有线广播电视信号中解调出音视频信号,如以及EPG数据信号。通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如:通信器可以包括Wifi模块,蓝牙模块,有线以太网模块等其他网络通信协议芯片或近场通信协议芯片,以及红外接收器中的至少一种。显示设备200可以通过通信器220与外部控制设备100或服务器400建立控制信号和数据信号的发送和接收。检测器230用于采集外部环境或与外部交互的信号。控制器250和调谐解调器210可以位于不同的分体设备中,即调谐解调器210也可在控制器250所在的主体设备的外置设备中,如外置机顶盒等。用户接口280可用于接收控制装置100(如:红外遥控器等)的控制信号。图像采集接口290能够支持外部检测组件/内部检测组件与控制器250的通信连接。
在一些实施例中,控制器250,通过存储在存储器上中各种软件控制程序,来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。用户可在显示器260上显示的图形用户界面(GUI)输入用户命令,则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者,用户可通过输入特定的声音或手势进行输入用户命令,则用户输入接口通过传感器识别出声音或手势,来接收用户输入命令。
在一些实施例中,“用户界面”,是应用程序或操作系统与用户之间进行交互和信息交换的介质接口,它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(Graphic User Interface,简称GUI),是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口和控件等界面元素,其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素中的至少一种。
图4为根据本公开一个或多个实施例的显示设备200中软件配置示意图,如图4所示,将系统分为四层,从上至下分别为应用程序(Applications)层(简称“应用层”),应用程序框架(Application Framework)层(简称“框架层”),安卓运行时(Android runtime)和系统库层(简称“系统运行库层”),以及内核层。
在一些实施例中,应用程序层中运行有至少一个应用程序,这些应用程序可以是操作系统自带的窗口(Window)程序、系统设置程序或时钟程序等;也可以是第三方开发者所开发的应用程序。在具体实施时,应用程序层中的应用程序包括但不限于以上举例。
在一些实施例中,系统运行库层为上层即框架层提供支撑,当框架层被使用时,安卓操作系统会运行系统运行库层中包含的C/C++库以实现框架层要实现的功能。
在一些实施例中,内核层是硬件和软件之间的层,至少包含以下驱动中的至少一种:音频驱动、显示驱动、蓝牙驱动、摄像头驱动、WIFI驱动、USB驱动、HDMI驱动、传感器驱动(如指纹传感器,温度传感器,压力传感器等)、以及电源驱动等。
图5为根据本公开一个或多个实施例的显示设备200中应用程序的图标控件界面显示示意图,如图5中所示,应用程序层包含至少一个应用程序可以在显示器中显示对应的图标控件,如:直播电视应用程序图标控件、视频点播应用程序图标控件、媒体中心应用程序图标控件、应用程序中心图标控件、游戏应用图标控件等。直播电视应用程序,可以通过不同的信号源提供直播电视。视频点播应用程序,可以提供来自不同存储源的视频。不同于直播电视应用程序,视频点播提供来自某些存储源的视频显示。媒体中心应用程序,可以提供各种多媒体内容播放的应用程序。应用程序中心,可以提供储存各种应用程序。
在一些实施例中,上述显示设是具有显示功能的终端设备,例如电视机或者平板电视等。该显示设备中:
在一些实施例中,控制器250,通过存储在存储器上中各种软件控制程序,来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。用户可在显示器260上显示的图形用户界面(GUI)输入用户命令,则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者,用户可通过输入特定的声音或手势进行输入用户命令,则用户输入接口通过传感器识别出声音或手势,来接收用户输入命令。
输出接口(显示器260,和/或,音频输出接口270),被配置为输出用户交互信息;
通信器220,用于与服务器400进行通信;
图像采集接口290,被配置为:采集所述显示设备对应的环境图像;
控制器250,被配置为:基于所述环境图像,确定人脸对应的图像区域;
基于多媒体内容的初始显示模式和,所述人脸对应的图像区域与所述环境图像的位置关系,确定所述多媒体内容的目标显示模式,所述目标显示模式用于描述所述多媒体内容的目标画面显示比例和/或所述多媒体内容的目标画面显示位置;
显示器260,被配置为:基于所述目标显示模式显示所述多媒体内容。
在一些实施例中,所述人脸对应的图像区域与所述环境图像的位置关系包括:相对角度关系,所述相对角度关系为所述图像区域与所述环境图像的中心点在第一方向上的角度信息;控制器250,具体被配置为:获取所述初始显示模式中包括的初始画面显示比例;基于所述初始画面显示比例和所述位置关系中包括的所述角度信息,确定所述多媒体内容的目标画面显示比例。
在一些实施例中,控制器250,具体被配置为:确定所述初始画面显示比例为预设的画面显示比例,且确定所述位置关系中包括的所述角度信息发生变化;所述预设的画面显示比例为所述显示设备处于全屏显示状态时对应的画面显示比例;基于所述位置关系中包括的所述角度信息,确定所述多媒体内容的目标画面显示比例。
在一些实施例中,控制器250,具体被配置为:若所述角度信息处于预设的第一角度范围,则确定所述多媒体内容的目标画面显示比例为第一显示比例;或者,若所述角度信息处于预设的第二角度范围,则确定所述多媒体内容的目标画面显示比例为第二显示比例;或者,若所述相对角度处于预设的第三角度范围,则确定所述多媒体内容的目标画面显示比例为第三显示比例。
在一些实施例中,所述人脸对应的图像区域与所述环境图像的位置关系包括:相对垂直关系,所述相对垂直关系为所述图像区域与所述环境图像在第二方向上的距离差;控制器250,具体被配置为:获取所述初始显示模式中包括的初始画面显示比例;根据所述初始画面显示比例和所述位置关系中包括的所述距离差,确定所述多媒体内容的目标画面显示位置。
在一些实施例中,控制器250,具体被配置为:确定所述初始画面显示比例不为预设的画面显示比例,且确定所述位置关系中包括的所述距离差发生变化,所述预设的画面显示比例为所述显示设备处于全屏显示状态时对应的画面显示比例;根据所述位置关系中包括的所述距离差,确定所述多媒体内容的目标画面显示位置。
在一些实施例中,控制器250,具体被配置为:若所述距离差处于预设的第一距离范围,则确定所述多媒体内容的目标画面显示位置为第一显示位置;或者,若所述距离差处于预设的第二距离范围,则确定所述多媒体内容的目标画面显示位置为第二显示位置;或者,所述距离差处于预设的第三距离范围,则确定所述多媒体内容的目标画面显示位置为第三显示位置。
在一些实施例中,控制器250,还被配置为:基于预设的画面显示比例对所述目标画面显示比例进行画面比例检查,所述预设的画面显示比例为所述显示设备处于全屏显示状态时对应的画面显示比例;确定所述目标画面显示比例为所述预设的画面显示比例。
综上所述,本公开实施例中显示设备通过采集其对应的环境图像,基于环境图像确定其中包括的人脸对应的图像区域,并基于多媒体内容的初始显示模式和,人脸对应的图像区域与环境图像的位置关系,确定多媒体内容的目标显示模式,其中,目标显示模式用于描述多媒体内容的目标画面显示比例和/或多媒体内容的目标画面显示位置,从而基于目标显示模式显示多媒体内容,通过上述方法能够在用户观看多媒体内容时,基于用户不同姿态确定出适配的多媒体内容的显示模式,始终保持多媒体内容的显示画面与用户眼睛观看角度的最佳匹配,提升用户的观看满意度和观看视角效果。
图6A为根据本公开一个或多个实施例进行多媒体内容显示的系统框架图,如图6A所示,该系统中可以包括环境图像采集模块601、图像区域确定模块602、显示模式确定模块603以及多媒体内容显示模块604。该系统在通过环境图像采集模块601采集显示设备对应的环境图像,由图像区域确定模块602从环境图像中查找出人脸对应的图像区域,再由显示模式确定模块603基于多媒体内容的初始显示模式和,人脸对应的图像区域与环境图像的位置关系,确定多媒体内容的目标显示模式,其中,目标显示模式用于描述多媒体内容的目标画面显示比例和/或多媒体内容的目标画面显示位置,也就是,目标显示模式可包括:目标画面显示比例和/或多媒体内容的目标画面显示位置,目标画面显示比例为显示设备上显示的多媒体内容的显示画面的宽高比,目标画面显示位置为显示设备上显示的多媒体内容的显示画面在显示设备的播放画面上的一个显示区域,来基于用户人脸的不同姿态确定出与其适配的多媒体内容的目标画面显示比例和目标画面显示位置,并通过多媒体内容显示模块604基于目标显示模式显示多媒体内容,从而,能够根据用户的不同姿态来确定出适配的多媒体内容的显示模式,保证用户不同姿态下能够浏览到效果统一的多媒体内容,始终保持显示画面与人眼观看角度的最佳匹配,提升用户的浏览体验性。
图6B为根据本公开一个或多个实施例进行多媒体内容显示的架构图,基于上述系统框架,本公开在安卓系统中的实现如图6B所示,安卓系统中主要包括应用层、框架层、系统运行库层以及内核层,实现逻辑主要在应用层体现,其中包括环境图像采集模块、图像区域确定模块、显示模式确定模块以及多媒体内容显示模块。
本公开实施例中提供的多媒体内容显示方法,可以采集到显示设备对应的环境图像,从环境图像中查找出其中包括的人脸的图像区域,通过多媒体内容的初始显示模式和人脸图像区域与数据图像的位置对应关系,确定显示的多媒体内容的最终画面显示比例和/或在显示设备中的最终画面显示位置,并在显示设备上以最终画面显示比例和/或最终画面显示位置显示多媒体内容,通过上述方法能够在用户观看多媒体内容时,基于用户不同姿态确定出适配的多媒体内容的显示模式,始终保持多媒体内容的显示画面与用户眼睛观看角度的最佳匹配,提升用户的观看满意度和观看视角效果。
为了更加详细的说明本方案,以下将以示例性的方式结合图7A进行说明,可以理解的是,图7A中所涉及的步骤在实际实现时可以包括更多的步骤,或者更少的步骤,并且这些步骤之间的顺序也可以不同,以能够实现本公开实施例中提供的多媒体内容显示方法为准,本公开实施例不做限定。
如图7A所示,图7A为本公开实施例提供的一种多媒体内容显示方法的流程示意图,多媒体内容显示方法具体包括如下步骤:
S710、采集显示设备对应的环境图像,基于环境图像,确定人脸对应的图像区域。
其中,可基于摄像装置通过图像采集接口采集显示设备的场景区域,得到环境图像,并通过摄像装置通过图像采集接口与显示设备的通信连接,将采集到的环境图像发送给显示设备,使得显示设备得到环境图像。
需要说明的是,摄像装置可为显示设备内置的一个图像采集单元,通过图像采集接口连接在显示设备的内部,在显示设备播放显示画面的同时,实时采集显示设备的场景图像,或者,摄像装置可为显示设备外置的一个摄像头,通过图像采集接口与显示设备进行连接,可通过与显示设备之间进行有线连接或无线连接,在显示设备播放显示画面的同时,采集显示设备的场景图像。
其中,显示设备可通过在检查摄像装置可用之后,启动工作线程,并指示摄像装置以每秒一帧的采集速度实时拍摄显示设备的场景图像,摄像装置可将获取到的场景图像发送给显示设备的控制器经过模型处理,标记出人脸图像对应的区域。
举例而言,如图7B示例性所示,电视(显示设备)可外置一个摄像装置(外置摄像头),并通过通用串行总线(Universal Serial Bus,USB)与摄像连接,实时拍摄电视前方的场景,并将获取得到的画面依次转换为jpeg文件->bitmap数据->bytebuffer数据,送入控制器中存储的tflite格式的机器学习模型,由机器学习模型匹配人脸特征,若发现画面图像内存在人脸特征,则可将人脸特征框选到矩形区域内并确定对应的矩形四顶点坐标。
S720、基于多媒体内容的初始显示模式和,人脸对应的图像区域与环境图像的位置关系,确定多媒体内容的目标显示模式。
其中,多媒体内容的初始显示模式可用于描述多媒体内容对应的当前画面显示比例和/多媒体内容的当前画面显示位置,也就是,多媒体内容对应的初始显示模式可包括:当前画面显示比例,或者,当前画面显示位置,或者,当前画面显示比例和当前画面显示位置。
其中,多媒体内容对应的当前画面显示比例为当前显示画面对应区域的宽高比,可包括:第一显示比例、第二显示比例和第三显示比例,具体的,第一显示比例可为16:9,第二显示比例可为21:9,第三显示比例可为32:9,16:9对应当前显示画面为显示设备的全屏显示,21:9和32:9对应当前显示画面为显示设备的非全屏显示。
如图7C示例性所示,第一显示比例的显示区域对应显示设备的显示区域1,第二显示比例的显示区域对应显示设备的显示区域2,第三显示区域的显示区域对应显示设备的显示区域3。
多媒体内容对应的当前画面显示位置为当前显示画面对应区域在显示设备中的显示位置,具体的,显示设备可将显示画面拆分为多个显示位置,每个显示位置可对应一个显示区域,如,显示设备将显示画面拆分为三个显示位置,可分别包括:第一显示位置、第二显示位置和第三显示位置。
如图7D示例性所示,第一显示位置可对应显示区域4,可对应显示设备的上方显示区域,第二显示位置可对应显示区域5,可对应显示设备的中间显示区域,第三显示位置可对应显示区域6,可对应显示设备的下方显示区域。
其中,人脸对应的图像区域与环境图像的位置关系,可为人脸对应的图像区域与环境图像的角度值和垂直距离差,角度值可用来反映用户观看显示设备的观看视角,垂直距离差可用来反映用户观看显示设备时与显示设备的垂直位移对应性。
其中,目标显示模式可用于描述多媒体内容的目标画面显示比例和/或多媒体内容的目标画面显示位置,也就是,多媒体内容对应的目标显示模式可包括:目标画面显示比例,或者,目标画面显示位置,或者,目标画面显示比例和目标画面显示位置。
结合上述举例,目标显示模式可包括上述所指的第一显示比例,或者,第二显示比例(/第三显示比例)和第一显示位置,或者,第二显示比例(/第三显示比例)和第二显示位置,或者,第二显示比例(/第三显示比例)和第三显示位置等。
其中,目标显示模式为第一显示比例,指多媒体内容在显示设备上以全屏状态进行显示,目标显示模式为第二显示比例(/第三显示比例)和第一显示位置,指多媒体内容在显示设备上以显示区域2对应的画面大小(或显示区域3对应的画面大小)在全屏上显示。
目标显示模式为第二显示比例(/第三显示比例)和第二显示位置,指多媒体内容在显示设备上以显示区域2对应的画面大小(或显示区域3对应的画面大小)在显示区域5的中心进行显示,显示画面的大小为显示区域2对应的画面大小(或显示区域3对应的画面大小)。
目标显示模式为第二显示比例(/第三显示比例)和第三显示位置,指多媒体内容在显示设备上以显示区域2对应的画面大小(或显示区域3对应的画面大小)在显示区域6的中心进行显示,显示画面的大小为显示区域2对应的画面大小(或显示区域3对应的画面大小)。
S730、基于目标显示模式显示多媒体内容。
其中,显示设备可基于多媒体内容的目标画面显示比例和/或多媒体内容的目标画面显示位置显示多媒体内容。
其中,目标显示模式可包括:目标显示比例、目标显示画面以及目标显示比例和目标显示画面。
结合上述举例,在目标显示模式为第二显示比例时,多媒体内容在显示设备上以全屏状态显示显示区域2对应的画面,在目标显示模式为第三显示比例时,多媒体内容在显示设备上以全屏状态显示显示区域3对应的画面。
在目标显示模式为第一显示位置时,多媒体内容显示在显示设备的显示区域4上,多媒体内容的画面显示大小与显示区域4的画面大小相同,在目标显示模式为第二显示位置时,多媒体内容显示在显示设备的显示区域5上,多媒体内容的画面显示大小与显示区域5的画面大小相同,在目标显示模式为第三显示位置时,多媒体内容显示在显示设备的显示区域6上,多媒体内容的画面显示大小与显示区域6的画面大小相同。
基于上述实施例的描述,在本公开中,人脸对应的图像区域与环境图像的位置关系可以包括:人脸对应的图像区域与环境图像的中心点在垂直方向上的夹角,其中,垂直方向可为以用户站立的地面为水平方向对应的垂直侧的方向。
如图8A示例性所示,其中,环境图像可被水平方向线(横线)和垂直方向线(竖线)划分为四个显示区域,分别为:左上区域、左下区域、右上区域和右下区域,在图8A中,人脸对应的图像区域为人脸区域,环境图像的中心点为点O,人脸区域与点O在垂直方向上的夹角为α。
在一些实施例中,在基于多媒体内容的初始显示模式和,人脸对应的图像区域与环境图像的位置关系,确定多媒体内容的目标显示模式时,可通过对初始显示模式中包括的初始画面显示比例进行判断,并结合人脸对应的图像区域与环境图像的中心点在垂直方向上的夹角,从而,有效确定出多媒体内容的目标显示画面比例。
其中,可通过预先设定的一个画面显示比例,来对初始显示模式中包括的初始画面显示比例进行判断之后,再对人脸对应的图像区域与环境图像的中心点在垂直方向上的夹角进行变化检测,以对多媒体内容的目标画面显示比例进行有效确定。
其中,预先设定的一个画面显示比例,可用来描述显示设备的当前屏幕显示状态,如,可将画面显示比例预设设定为16:9,表示显示设备的当前屏幕显示状态为全屏显示,作为确定位置关系中包括的角度信息发生变化的一个前提条件。
需要说明的是,对人脸对应的图像区域与环境图像的中心点在垂直方向上的夹角进行变化检测时,可预先设置多个夹角范围,在确定出人脸对应的图像区域与环境图像的中心点在垂直方向上的夹角变化为另一个夹角范围时,则确定出人脸对应的图像区域与环境图像的中心点在垂直方向上的夹角发生变化。
举例说明,可预先设置出三个夹角范围,用来反映用户人脸对应的图像区域与环境图像的中心点的夹角,如三个夹角范围为:第一夹角范围、第二夹角范围和第三夹角范围,其中,第一夹角范围为:[0,30°],第二夹角范围:(30°,45°],第三夹角范围:(45°,60°],假设人脸对应的图像区域与环境图像的中心点在垂直方向上的初始夹角为25°,且人脸对应的图像区域与环境图像的中心点在垂直方向上的初始夹角变化为50°,则确定人脸对应的图像区域与环境图像的中心点的夹角发生变化。
其中,在基于位置关系中包括的角度信息,对多媒体内容的目标画面显示比例进行确定时,具体的,可将人脸对应的图像区域与环境图像的中心点的夹角与预先设定的角度范围进行匹配,从而,有效确定出多媒体内容适应于用户人脸的一个目标画面显示比例。
其中,在设定角度范围时,可基于人脸视角与清晰度关系来对人脸对应的图像区域与环境图像的中心点的夹角的具体范围进行设置。
如图8B示例性所示,在人脸视角为第一区域对应的角度范围(α≤30°)时,表示清晰度越好,人脸视角为第二区域对应的角度范围(30°<α≤45°)时,表示清晰度一般,人脸视角为第三区域对应的角度范围(45°<α≤60°)时,表示清晰度不好。
举例而言,在检测到人脸对应的图像区域与环境图像的中心点的夹角在第一个范围内时,可确定出多媒体内容适配与用户人脸的第一个目标画面显示比例,如图8C示例性所示,结合图8A,在检测到人脸与中心点O之间的夹角α小于或等于30°时,可确定出多媒体内容适配与用户人脸的目标画面显示比例为32:9。
在检测到人脸对应的图像区域与环境图像的中心点的夹角在第二个范围内时,可确定出多媒体内容适配与用户人脸的第二个目标画面显示比例,如图8D示例性所示,结合图8A,在检测到人脸与中心点O之间的夹角α大于30°或小于等于45°时,可确定出多媒体内容适配与用户人脸的目标画面显示比例为21:9。
在检测到人脸对应的图像区域与环境图像的中心点的夹角在第三个范围内时,可确定出多媒体内容适配与用户人脸的第三个目标画面显示比例,如图8E示例性所示,结合图8A,在检测到人脸对应的图像区域与环境图像的中心点的夹角α大于45°或小于等于60°时,可确定出多媒体内容适配与用户人脸的目标画面显示比例为16:9。
从而,满足用户以不同视角观看电视时,均能够得到较为满意的观看体验。
另外,在基于用户的观看角度调整多媒体内容的目标画面显示比例之后,还需要基于预设的画面显示比例,对目标画面显示比例进行比例检查,有效保证用户观察位置与电视画面显示垂直位置保持一致。
其中,预设的画面显示比例可为显示设备中进行全屏显示的显示比例,如16:9。
其中,在基于预设的画面显示比例,对目标画面显示比例进行比例检查时,若调整后的多媒体内容的目标画面显示比例为16:9,则确定用户观察垂直位置与电视画面显示垂直位置保持一致,若调整后的多媒体内容的目标画面显示比例不为16:9,则需要再次调整电视画面的垂直显示位置,对画面显示位置的调节方式上述已做说明,此处不再赘述。
基于上述实施例的描述,在本公开中,人脸对应的图像区域与环境图像的位置关系还可以包括:人脸与环境图像(如最上方位置、最下方位置、其中一个位置)在水平方向上相对的垂直距离差,或者,人脸区域(人脸对应的图像区域)的面积在环境图像中多个区域的占比。需要说明的是,人脸与环境图像在水平方向上相对的垂直距离差能够有效表示出人脸区域的面积在环境图像中多个区域的占比。
如图9A示例性所示,其中,环境图像可被划分为三个显示区域,分别为:上方区域、中间区域和下方区域,在图9A中,人脸区域处于下方区域。
在另一些实施例中,在基于多媒体内容的初始显示模式和,人脸对应的图像区域与环境图像的位置关系,确定多媒体内容的目标显示模式时,还可通过对初始画面显示比例进行判断,从而,基于初始画面显示比例和人脸区域的面积在环境图像中多个区域的占比,确定多媒体内容的目标画面显示位置。
其中,可通过预先设定的一个画面显示比例,来对初始显示模式中包括的初始画面显示比例进行判断之后,再对人脸与显示设备在水平方向上相对的垂直距离差进行变化检测,以对多媒体内容的目标画面显示位置进行有效确定。
其中,预先设定的一个画面显示比例,可用来描述显示设备的当前屏幕显示状态,如,可将画面显示比例预设设定为16:9,表示显示设备的当前屏幕显示状态为全屏显示,作为确定位置关系中包括的距离差发生变化的一个前提条件。
需要说明的是,对人脸与环境图像在水平方向上相对的垂直距离差进行变化检测时,可先通过距离差确定出人脸区域在环境图像中的占比区域,在占比区域发生变化时,可确定出人脸与显示设备在水平方向上相对的垂直距离差发送变化。
举例而言,在检测到距离差处于预设的第一个距离范围,可确定出人脸区域在环境图像中的一个最大占比区域,来确定出多媒体内容的目标画面显示位置,如图9B示例性所示,在检测到人脸区域距离环境图像的底部距离差小于1cm时,可确定出人脸区域在环境图像中的最大占比区域为下方区域,则确定出多媒体内容的目标画面显示位置显示设备的显示区域6。
在检测到距离差处于预设的第二个距离范围,可确定出人脸区域在环境图像中的另一个最大占比区域,来确定出多媒体内容的目标画面显示位置,如图9C示例性所示,在检测到人脸区域距离环境图像的底部距离差在20-25cm时,可确定出人脸区域在环境图像中的最大占比区域为中间区域,则确定出多媒体内容的目标画面显示位置显示设备的显示区域5。
在检测到距离差处于预设的第三个距离范围,可确定出人脸区域在环境图像中的又一个最大占比区域,来确定出多媒体内容的目标画面显示位置,如图9D示例性所示,在检测到人脸区域距离环境图像的底部距离差在35-40cm时,可确定出人脸区域在环境图像中的最大占比区域为中间区域,则确定出多媒体内容的目标画面显示位置显示设备的显示区域4。
综上所述,本公开通过在显示设备上执行上述多媒体内容显示方法,通过采集其对应的环境图像,基于环境图像确定其中包括的人脸对应的图像区域,并基于多媒体内容的初始显示模式和,人脸对应的图像区域与环境图像的位置关系,确定多媒体内容的目标显示模式,其中,目标显示模式用于描述多媒体内容的目标画面显示比例和/或多媒体内容的目标画面显示位置,从而基于目标显示模式显示多媒体内容,通过上述方法能够在用户观看多媒体内容时,基于用户不同姿态确定出适配的多媒体内容的显示模式,始终保持多媒体内容的显示画面与用户眼睛观看角度的最佳匹配,提升用户的观看满意度和观看视角效果。
本公开实施例提供一种计算机可读存储介质,该计算机可读存储介质上存储计算机程序,该计算机程序被处理器执行时实现上述多媒体内容显示方法执行的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,该计算机可读存储介质可以为只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等。
本公开提供一种计算机程序产品,其特征在于,包括:当所述计算机程序产品在计算机上运行时,使得所述计算机实现上述的多媒体内容显示方法。
为了方便解释,已经结合具体的实施方式进行了上述说明。但是,上述在一些实施例中讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导,可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用,从而使得本领域技术人员更好的使用实施方式以及适于具体使用考虑的各种不同的变形的实施方式。

Claims (10)

1.一种显示设备,其特征在于,包括:
图像采集接口,被配置为:采集所述显示设备对应的环境图像;
控制器,被配置为:基于所述环境图像,确定人脸对应的图像区域;
基于多媒体内容的初始显示模式和,所述人脸对应的图像区域与所述环境图像的位置关系,确定所述多媒体内容的目标显示模式,所述目标显示模式用于描述所述多媒体内容的目标画面显示比例和/或所述多媒体内容的目标画面显示位置;
显示器,被配置为:基于所述目标显示模式显示所述多媒体内容。
2.根据权利要求1所述的显示设备,其特征在于,所述人脸对应的图像区域与所述环境图像的位置关系包括:相对角度关系,所述相对角度关系为所述图像区域与所述环境图像的中心点在第一方向上的角度信息;
所述控制器,具体被配置为:
获取所述初始显示模式中包括的初始画面显示比例;
基于所述初始画面显示比例和所述位置关系中包括的所述角度信息,确定所述多媒体内容的目标画面显示比例。
3.根据权利要求2所述的显示设备,其特征在于,所述控制器,具体被配置为:
确定所述初始画面显示比例为预设的画面显示比例,且确定所述位置关系中包括的所述角度信息发生变化;所述预设的画面显示比例为所述显示设备处于全屏显示状态时对应的画面显示比例;
基于所述位置关系中包括的所述角度信息,确定所述多媒体内容的目标画面显示比例。
4.根据权利要求3所述的显示设备,其特征在于,所述控制器,具体被配置为:
若所述角度信息处于预设的第一角度范围,则确定所述多媒体内容的目标画面显示比例为第一显示比例;
或者,若所述角度信息处于预设的第二角度范围,则确定所述多媒体内容的目标画面显示比例为第二显示比例;
或者,若所述相对角度处于预设的第三角度范围,则确定所述多媒体内容的目标画面显示比例为第三显示比例。
5.根据权利要求2所述的显示设备,其特征在于,所述人脸对应的图像区域与所述环境图像的位置关系包括:相对垂直关系,所述相对垂直关系为所述图像区域与所述环境图像在第二方向上的距离差;
所述控制器,具体被配置为:
获取所述初始显示模式中包括的初始画面显示比例;
根据所述初始画面显示比例和所述位置关系中包括的所述距离差,确定所述多媒体内容的目标画面显示位置。
6.根据权利要求5所述的显示设备,其特征在于,所述控制器,具体被配置为:
确定所述初始画面显示比例不为预设的画面显示比例,且确定所述位置关系中包括的所述距离差发生变化,所述预设的画面显示比例为所述显示设备处于全屏显示状态时对应的画面显示比例;
根据所述位置关系中包括的所述距离差,确定所述多媒体内容的目标画面显示位置。
7.根据权利要求6所述的显示设备,其特征在于,所述控制器,具体被配置为:
若所述距离差处于预设的第一距离范围,则确定所述多媒体内容的目标画面显示位置为第一显示位置;
或者,若所述距离差处于预设的第二距离范围,则确定所述多媒体内容的目标画面显示位置为第二显示位置;
或者,所述距离差处于预设的第三距离范围,则确定所述多媒体内容的目标画面显示位置为第三显示位置。
8.根据权利要求1所述的显示设备,其特征在于,所述控制器,还被配置为:
基于预设的画面显示比例对所述目标画面显示比例进行画面比例检查,所述预设的画面显示比例为所述显示设备处于全屏显示状态时对应的画面显示比例;
确定所述目标画面显示比例为所述预设的画面显示比例。
9.一种多媒体内容显示方法,其特征在于,包括:
采集所述显示设备对应的环境图像;
基于所述环境图像,确定人脸对应的图像区域;
基于多媒体内容的初始显示模式和,所述人脸对应的图像区域与所述环境图像的位置关系,确定所述多媒体内容的目标显示模式,所述目标显示模式用于描述所述多媒体内容的目标画面显示比例和/或所述多媒体内容的目标画面显示位置;
基于所述目标显示模式显示所述多媒体内容。
10.一种计算机可读存储介质,其特征在于,包括:所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求9所述的多媒体内容显示方法。
CN202210503314.8A 2021-09-07 2022-05-09 显示设备、多媒体内容显示方法和存储介质 Active CN114816641B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202210503314.8A CN114816641B (zh) 2022-05-09 2022-05-09 显示设备、多媒体内容显示方法和存储介质
CN202280057422.5A CN118077208A (zh) 2021-09-07 2022-07-29 一种显示设备及显示方法
PCT/CN2022/109199 WO2023035805A1 (zh) 2021-09-07 2022-07-29 一种显示设备及显示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210503314.8A CN114816641B (zh) 2022-05-09 2022-05-09 显示设备、多媒体内容显示方法和存储介质

Publications (2)

Publication Number Publication Date
CN114816641A true CN114816641A (zh) 2022-07-29
CN114816641B CN114816641B (zh) 2023-05-02

Family

ID=82514012

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210503314.8A Active CN114816641B (zh) 2021-09-07 2022-05-09 显示设备、多媒体内容显示方法和存储介质
CN202280057422.5A Pending CN118077208A (zh) 2021-09-07 2022-07-29 一种显示设备及显示方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202280057422.5A Pending CN118077208A (zh) 2021-09-07 2022-07-29 一种显示设备及显示方法

Country Status (2)

Country Link
CN (2) CN114816641B (zh)
WO (1) WO2023035805A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115373548A (zh) * 2022-08-25 2022-11-22 汉桑(南京)科技股份有限公司 一种显示内容调整方法和系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101944349A (zh) * 2009-07-03 2011-01-12 索尼公司 显示控制装置和显示控制方法
CN102281452A (zh) * 2010-06-13 2011-12-14 深圳Tcl新技术有限公司 一种3d电视上改变菜单会聚位置的方法
CN102740154A (zh) * 2011-04-14 2012-10-17 联发科技股份有限公司 应用于多媒体内容的播放方法与播放装置
CN102917232A (zh) * 2012-10-23 2013-02-06 深圳创维-Rgb电子有限公司 基于人脸识别的3d显示自适应调节方法和装置
JP2013246761A (ja) * 2012-05-29 2013-12-09 Nec Casio Mobile Communications Ltd 情報処理装置、情報処理装置の制御方法およびプログラム
CN106529449A (zh) * 2016-11-03 2017-03-22 英华达(上海)科技有限公司 自动调整显示画面比例的方法及其显示装置
CN106572389A (zh) * 2015-10-08 2017-04-19 小米科技有限责任公司 调节显示图像方法及装置
JP2017134657A (ja) * 2016-01-28 2017-08-03 富士通株式会社 虹彩認証制御装置、虹彩認証制御方法、及び、虹彩認証制御プログラム
CN107169447A (zh) * 2017-05-12 2017-09-15 贵州中信云联科技有限公司 基于人脸识别的医院自助系统
CN108388849A (zh) * 2018-02-07 2018-08-10 广东欧珀移动通信有限公司 调整终端的显示图像的方法和装置、电子设备、存储介质
CN113840757A (zh) * 2021-04-30 2021-12-24 华为技术有限公司 一种显示屏调整方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106155606A (zh) * 2015-04-07 2016-11-23 中国移动通信集团公司 一种多屏互动方法及装置
JP2019113647A (ja) * 2017-12-22 2019-07-11 キヤノン株式会社 表示装置およびその制御方法
CN108762707A (zh) * 2018-05-29 2018-11-06 西安万像电子科技有限公司 多媒体信息采集的自适应方法、装置和系统
CN112533021B (zh) * 2019-09-19 2023-04-11 Vidaa(荷兰)国际控股有限公司 一种显示方法及显示设备
CN111885418B (zh) * 2020-07-30 2022-05-31 深圳创维-Rgb电子有限公司 Edid自适应方法、装置、显示设备和可读存储介质
CN114302193B (zh) * 2021-01-14 2022-09-30 海信视像科技股份有限公司 一种显示设备及协议检测方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101944349A (zh) * 2009-07-03 2011-01-12 索尼公司 显示控制装置和显示控制方法
CN102281452A (zh) * 2010-06-13 2011-12-14 深圳Tcl新技术有限公司 一种3d电视上改变菜单会聚位置的方法
CN102740154A (zh) * 2011-04-14 2012-10-17 联发科技股份有限公司 应用于多媒体内容的播放方法与播放装置
JP2013246761A (ja) * 2012-05-29 2013-12-09 Nec Casio Mobile Communications Ltd 情報処理装置、情報処理装置の制御方法およびプログラム
CN102917232A (zh) * 2012-10-23 2013-02-06 深圳创维-Rgb电子有限公司 基于人脸识别的3d显示自适应调节方法和装置
CN106572389A (zh) * 2015-10-08 2017-04-19 小米科技有限责任公司 调节显示图像方法及装置
JP2017134657A (ja) * 2016-01-28 2017-08-03 富士通株式会社 虹彩認証制御装置、虹彩認証制御方法、及び、虹彩認証制御プログラム
CN106529449A (zh) * 2016-11-03 2017-03-22 英华达(上海)科技有限公司 自动调整显示画面比例的方法及其显示装置
CN107169447A (zh) * 2017-05-12 2017-09-15 贵州中信云联科技有限公司 基于人脸识别的医院自助系统
CN108388849A (zh) * 2018-02-07 2018-08-10 广东欧珀移动通信有限公司 调整终端的显示图像的方法和装置、电子设备、存储介质
CN113840757A (zh) * 2021-04-30 2021-12-24 华为技术有限公司 一种显示屏调整方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YUN-FU LIU等: "Panoramic Face Recognition" *
侯春萍;杨蕾;宋晓炜;戴居丰;: "立体电视技术综述" *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115373548A (zh) * 2022-08-25 2022-11-22 汉桑(南京)科技股份有限公司 一种显示内容调整方法和系统

Also Published As

Publication number Publication date
CN118077208A (zh) 2024-05-24
CN114816641B (zh) 2023-05-02
WO2023035805A1 (zh) 2023-03-16

Similar Documents

Publication Publication Date Title
CN110611787B (zh) 一种显示器及图像处理方法
CN111246266A (zh) 一种显示设备及旋转时ui显示方法
CN112565839B (zh) 投屏图像的显示方法及显示设备
CN106803984B (zh) 一种兼容vr和电视功能的方法和装置
CN112866772B (zh) 一种显示设备及声像人物定位追踪方法
CN112073788B (zh) 视频数据处理方法、装置及显示设备
CN116248936A (zh) 一种显示设备及显示画面旋转适配方法
CN112866773B (zh) 一种显示设备及多人场景下摄像头追踪方法
KR20190026267A (ko) 전자장치, 그 제어방법 및 그 컴퓨터프로그램제품
US11917329B2 (en) Display device and video communication data processing method
CN114816641B (zh) 显示设备、多媒体内容显示方法和存储介质
CN113489938B (zh) 虚拟会议控制方法、智能设备及终端设备
CN111939561B (zh) 显示设备及交互方法
CN113473024A (zh) 显示设备、云台摄像头和摄像头控制方法
WO2021031608A1 (zh) 一种摄像头物理开关锁定状态显示方法及显示设备
CN113556591A (zh) 一种显示设备及投屏画面旋转显示方法
CN111078926A (zh) 一种人像缩略图像的确定方法及显示设备
CN114286153A (zh) 一种基于蓝牙aoa的窗口调节方法以及显示设备
WO2021218473A1 (zh) 一种显示方法及显示设备
CN113573118B (zh) 一种视频画面旋转方法及显示设备
CN112073777B (zh) 一种语音交互方法及显示设备
CN113825001B (zh) 全景图片浏览方法及显示设备
CN113645502B (zh) 一种动态调整控件的方法及显示设备
CN117793424A (zh) 显示设备和分辨率设置方法
CN111901655B (zh) 一种显示设备及摄像头功能的演示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant