CN113824870A - 显示设备及摄像头角度调整方法 - Google Patents

显示设备及摄像头角度调整方法 Download PDF

Info

Publication number
CN113824870A
CN113824870A CN202110736712.XA CN202110736712A CN113824870A CN 113824870 A CN113824870 A CN 113824870A CN 202110736712 A CN202110736712 A CN 202110736712A CN 113824870 A CN113824870 A CN 113824870A
Authority
CN
China
Prior art keywords
camera
angle
user
target
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110736712.XA
Other languages
English (en)
Inventor
姜俊厚
刘晋
杨鲁明
于文钦
李东航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Visual Technology Co Ltd
Original Assignee
Hisense Visual Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Visual Technology Co Ltd filed Critical Hisense Visual Technology Co Ltd
Publication of CN113824870A publication Critical patent/CN113824870A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters

Abstract

本申请公开了显示设备及摄像头角度调整方法,该显示设备提供的设置界面中包括用于调整摄像头初始角度的项目,当用户通过操作控制装置操作该项目时,响应于用户操作,开启摄像头以使摄像头开始采集图像,识别所述摄像头采集的图像中的预设目标,并获取预设目标的位置信息;根据预设目标的位置信息确定目标角度,目标角度为使预设目标位于摄像头的拍摄范围的中心位置的角度;响应于识别到第一预定手势,将目标角度作为摄像头的初始角度进行保存。本申请提供的显示设备,以使预设目标位于摄像头的拍摄范围的中心位置为调整目标,自动完成摄像头初始角度的调整,无需用户的按键操作,提高用户体验。

Description

显示设备及摄像头角度调整方法
本申请要求在2020年8月21日提交中国专利局、申请号为202010852430.1、发明名称为“显 示设备及摄像头角度调整方法”的中国专利申请的优先权,其全部内容通过引用结合在本申请 中。
技术领域
本申请涉及显示设备技术领域,尤其涉及一种显示设备及摄像头角度调整方法。
背景技术
显示设备可以为用户提供诸如音频、视频、图片等播放画面。如今,显示设备不仅可以 为用户提供通过数据广播接收的直播电视节目内容,而且可以为用户提供诸如网络视频、网 络游戏等各种应用和服务内容。
为了进一步满足用户的个性化需求,相关技术在显示设备上配置摄像头,通过显示设备 的控制器获取摄像头采集的本地图像数据并进行处理、显示,在显示设备上实现视频聊天、 拍照、录像等功能。
摄像头所处的角度,如其在竖直方向上的俯仰角度或者其在水平方向上的角度,关乎摄 像头的视场范围,故如何实现对摄像头所处角度的灵活调整,是亟待解决的问题。
发明内容
本申请提供一种显示设备及摄像头角度调整方法,以解决摄像头初始角度的调整问题。
第一方面,本申请提供一种显示设备,包括:
显示器,用于显示用户界面;
摄像头,用于采集图像;
控制器,用于:
响应于接收到指示显示摄像头设置界面的指令,呈现摄像头设置界面,所述摄像头设置 界面包括用于调整摄像头初始角度的项目,所述初始角度为所述摄像头启动后所旋转到的角 度;
响应于接收到对所述用于调整摄像头初始角度的项目的操作,启动摄像头以通过所述摄 像头采集图像;
识别所述摄像头采集的图像中的预设目标,并获取预设目标的位置信息;
根据所述预设目标的位置信息确定目标角度,所述目标角度为使所述预设目标位于所述 摄像头的拍摄范围的中心位置的角度;
响应于识别到第一预定手势,将所述目标角度作为摄像头的初始角度进行保存。
第二方面,本申请还提供一种摄像头角度调整方法,应用于显示设备,所述显示设备包 括所述摄像头,所述方法包括:
响应于接收到指示显示摄像头设置界面的指令,呈现摄像头设置界面,所述摄像头设置 界面包括用于调整摄像头初始角度的项目,所述初始角度为所述摄像头启动后所旋转到的角 度;
响应于接收到对所述用于调整摄像头初始角度的项目的操作,启动摄像头以通过所述摄 像头采集图像;
识别所述摄像头采集的图像中的预设目标,并获取预设目标的位置信息;
根据所述预设目标的位置信息确定目标角度,所述目标角度为使所述预设目标位于所述 摄像头的拍摄范围的中心位置的角度;
响应于识别到第一预定手势,将所述目标角度作为摄像头的初始角度进行保存。
由以上技术方案可知,本申请提供一种显示设备及摄像头角度调整方法,该显示设备提 供的设置界面中包括用于调整摄像头初始角度的项目,当用户通过操作控制装置操作该项目 时,响应于用户操作,开启摄像头以使摄像头开始采集图像,识别所述摄像头采集的图像中 的预设目标,并获取预设目标的位置信息;根据预设目标的位置信息确定目标角度,目标角 度为使预设目标位于摄像头的拍摄范围的中心位置的角度;响应于识别到第一预定手势,将 目标角度作为摄像头的初始角度进行保存。本申请提供的显示设备,以使预设目标位于摄像 头的拍摄范围的中心位置为调整目标,自动完成摄像头初始角度的调整,无需用户的按键操 作,提高用户体验。
附图说明
为了更清楚地说明本申请的技术方案,下面将对实施例中所需要使用的附图作简单地介 绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以 根据这些附图获得其他的附图。
图1中示例性示出了根据一些实施例的显示设备与控制装置之间操作场景的示意图;
图2中示例性示出了根据一些实施例的显示设备200的硬件配置框图;
图3中示例性示出了根据一些实施例的控制设备100的硬件配置框图;
图4中示例性示出了根据一些实施例的显示设备200中软件配置示意图;
图5中示例性示出了根据一些实施例的显示设备200中应用程序的图标控件界面显示示意 图;
图6a至图6f示例性示出了摄像头处于不同角度时的状态示意图;
图7a至图7i示例性示出了调整摄像头初始角度过程中的用户界面变化;
图8为本申请实施例中视场范围变化示意图;
图9为本申请实施例中像素点位置示意图;
图10为本申请实施例中关键点示意图;
图11为本申请实施例中计算旋转角度过程的几何关系示意图;
图12为本申请实施例中调整旋转角度过程示意图。
具体实施方式
为使本申请的目的、实施方式和优点更加清楚,下面将结合本申请示例性实施例中的附 图,对本申请示例性实施方式进行清楚、完整地描述,显然,所描述的示例性实施例仅是本 申请一部分实施例,而不是全部的实施例。
基于本申请描述的示例性实施例,本领域普通技术人员在没有作出创造性劳动前提下所 获得的所有其他实施例,都属于本申请所附权利要求保护的范围。此外,虽然本申请中公开 内容按照示范性一个或几个实例来介绍,但应理解,可以就这些公开内容的各个方面也可以 单独构成一个完整实施方式。
需要说明的是,本申请中对于术语的简要说明,仅是为了方便理解接下来描述的实施方 式,而不是意图限定本申请的实施方式。除非另有说明,这些术语应当按照其普通和通常的 含义理解。
本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区 别类似或同类的对象或实体,而不必然意味着限定特定的顺序或先后次序,除非另外注明 (Unless otherwise indicated)。应该理解这样使用的用语在适当情况下可以互换,例如能够 根据本申请实施例图示或描述中给出那些以外的顺序实施。
此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖但不排他的包含,例如, 包含了一系列组件的产品或设备不必限于清楚地列出的那些组件,而是可包括没有清楚地列 出的或对于这些产品或设备固有的其它组件。
本申请中使用的术语“模块”,是指任何已知或后来开发的硬件、软件、固件、人工智能、 模糊逻辑或硬件或/和软件代码的组合,能够执行与该元件相关的功能。
本申请中使用的术语“遥控器”,是指电子设备(如本申请中公开的显示设备)的一个组 件,通常可在较短的距离范围内无线控制电子设备。一般使用红外线和/或射频(RF)信号和/ 或蓝牙与电子设备连接,也可以包括WiFi、无线USB、蓝牙、动作传感器等功能模块。例如: 手持式触摸遥控器,是以触摸屏中用户界面取代一般遥控装置中的大部分物理内置硬键。
本申请中使用的术语“手势”,是指用户通过一种手型的变化或手部运动等动作,用于表 达预期想法、动作、目的/或结果的用户行为。
图1中示例性示出了根据实施例中显示设备与控制装置之间操作场景的示意图。如图1中 示出,用户可通过移动终端300和控制装置100操作显示设备200。
在一些实施例中,控制装置100可以是遥控器,遥控器和显示设备的通信包括红外协议通 信或蓝牙协议通信,及其他短距离通信方式等,通过无线或其他有线方式来控制显示设备200。 用户可以通过遥控器上按键,语音输入、控制面板输入等输入用户指令,来控制显示设备200。 如:用户可以通过遥控器上音量加减键、频道控制键、上/下/左/右的移动按键、语音输入按 键、菜单键、开关机按键等输入相应控制指令,来实现控制显示设备200的功能。
在一些实施例中,也可以使用移动终端、平板电脑、计算机、笔记本电脑、和其他智能 设备以控制显示设备200。例如,使用在智能设备上运行的应用程序控制显示设备200。该应 用程序通过配置可以在与智能设备关联的屏幕上,在直观的用户界面(UI)中为用户提供各种 控制。
在一些实施例中,移动终端300可与显示设备200安装软件应用,通过网络通信协议实现 连接通信,实现一对一控制操作的和数据通信的目的。如:可以实现用移动终端300与显示设 备200建立控制指令协议,将遥控控制键盘同步到移动终端300上,通过控制移动终端300上用 户界面,实现控制显示设备200的功能。也可以将移动终端300上显示音视频内容传输到显示 设备200上,实现同步显示功能。
如图1中还示出,显示设备200还与服务器400通过多种通信方式进行数据通信。可允许显 示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以 向显示设备200提供各种内容和互动。示例的,显示设备200通过发送和接收信息,以及电子 节目指南(EPG)互动,接收软件程序更新,或访问远程储存的数字媒体库。服务器400可以是 一个集群,也可以是多个集群,可以包括一类或多类服务器。通过服务器400提供视频点播和 广告服务等其他网络服务内容。
显示设备200,可以液晶显示器、OLED显示器、投影显示设备。具体显示设备类型,尺 寸大小和分辨率等不作限定,本领技术人员可以理解的是,显示设备200可以根据需要做性能 和配置上一些改变。
显示设备200除了提供广播接收电视功能之外,还可以附加提供计算机支持功能的智能网 络电视功能,包括但不限于,网络电视、智能电视、互联网协议电视(IPTV)等。
图2中示例性示出了根据示例性实施例中显示设备200的硬件配置框图。
在一些实施例中,显示设备200中包括控制器250、调谐解调器210、通信器220、检测器 230、输入/输出接口(第一接口~第n接口255)、显示器275,音频输出接口285、存储器260、 供电电源290、用户接口265、外部装置接口240中的至少一种。
在一些实施例中,显示器275,用于接收源自第一处理器输出的图像信号,进行显示视频 内容和图像以及菜单操控界面的组件。
在一些实施例中,显示器275,包括用于呈现画面的显示屏组件,以及驱动图像显示的驱 动组件。
在一些实施例中,显示视频内容,可以来自广播电视内容,也可以是说,可通过有线或 无线通信协议接收的各种广播信号。或者,可显示来自网络通信协议接收来自网络服务器端 发送的各种图像内容。
在一些实施例中,显示器275用于呈现显示设备200中产生且用于控制显示设备200的用户 操控UI界面。
在一些实施例中,根据显示器275类型不同,还包括用于驱动显示的驱动组件。
在一些实施例中,显示器275为一种投影显示器,还可以包括一种投影装置和投影屏幕。
在一些实施例中,通信器220是用于根据各种通信协议类型与外部设备或外部服务器进行 通信的组件。例如:通信器可以包括Wifi芯片,蓝牙通信协议芯片,有线以太网通信协议芯 片等其他网络通信协议芯片或近场通信协议芯片,以及红外接收器中的至少一种。
在一些实施例中,显示设备200可以通过通信器220与外部控制设备100或内容提供设备之 间建立控制信号和数据信号发送和接收。
在一些实施例中,用户接口265,可用于接收控制装置100(如:红外遥控器等)红外控 制信号。
在一些实施例中,检测器230是显示设备200用于采集外部环境或与外部交互的信号。
在一些实施例中,检测器230包括光接收器,用于采集环境光线强度的传感器,可以通过 采集环境光可以自适应性显示参数变化等。
在一些实施例中,检测器230还可以包括图像采集器,如相机、摄像头等,可以用于采集 外部环境场景,以及用于采集用户的属性或与用户交互手势,可以自适应变化显示参数,也 可以识别用户手势,以实现与用户之间互动的功能。
在一些实施例中,检测器230还可以包括温度传感器等,如通过感测环境温度。
在一些实施例中,显示设备200可自适应调整图像的显示色温。如当温度偏高的环境时, 可调整显示设备200显示图像色温偏冷色调,或当温度偏低的环境时,可以调整显示设备200 显示图像偏暖色调。
在一些实施例中,检测器230还可声音采集器等,如麦克风,可以用于接收用户的声音。 示例性的,包括用户控制显示设备200的控制指令的语音信号,或采集环境声音,用于识别环 境场景类型,使得显示设备200可以自适应适应环境噪声。
在一些实施例中,如图2所示,输入/输出接口(第一接口~第n接口255)被配置为,可进 行控制器250与外部其他设备或其他控制器250之间的数据传输。如接收外部设备的视频信号 数据和音频信号数据、或命令指令数据等。
在一些实施例中,外部装置接口240可以包括,但不限于如下:可以高清多媒体接口HDMI 接口、模拟或数据高清分量输入接口、复合视频输入接口、USB输入接口、RGB端口等任一 个或多个接口。也可以是上述多个接口形成复合性的输入/输出接口。
在一些实施例中,如图2所示,调谐解调器210被配置为,通过有线或无线接收方式接收 广播电视信号,可以进行放大、混频和谐振等调制解调处理,从多多个无线或有线广播电视 信号中解调出音视频信号,该音视频信号可以包括用户所选择电视频道频率中所携带的电视 音视频信号,以及EPG数据信号。
在一些实施例中,调谐解调器210解调的频点受到控制器250的控制,控制器250可根据用 户选择发出控制信号,以使的调制解调器响应用户选择的电视信号频率以及调制解调该频率 所携带的电视信号。
在一些实施例中,广播电视信号可根据电视信号广播制式不同区分为地面广播信号、有 线广播信号、卫星广播信号或互联网广播信号等。或者根据调制类型不同可以区分为数字调 制信号,模拟调制信号等。或者根据信号种类不同区分为数字信号、模拟信号等。
在一些实施例中,控制器250和调谐解调器210可以位于不同的分体设备中,即调谐解调 器210也可在控制器250所在的主体设备的外置设备中,如外置机顶盒等。这样,机顶盒将接 收到的广播电视信号调制解调后的电视音视频信号输出给主体设备,主体设备经过第一输入/ 输出接口接收音视频信号。
在一些实施例中,控制器250,通过存储在存储器上中各种软件控制程序,来控制显示设 备的工作和响应用户的操作。控制器250可以控制显示设备200的整体操作。例如:响应于接 收到用于选择在显示器275上显示UI对象的用户命令,控制器250便可以执行与由用户命令选 择的对象有关的操作。
在一些实施例中,所述对象可以是可选对象中的任何一个,例如超链接或图标。与所选 择的对象有关操作,例如:显示连接到超链接页面、文档、图像等操作,或者执行与所述图 标相对应程序的操作。用于选择UI对象用户命令,可以是通过连接到显示设备200的各种输入 装置(例如,鼠标、键盘、触摸板等)输入命令或者与由用户说出语音相对应的语音命令。
如图2所示,控制器250包括随机存取存储器251(Random Access Memory,RAM)、只读存储器252(Read-Only Memory,ROM)、视频处理器270、音频处理器280、其他处理器253(例如:图形处理器(Graphics Processing Unit,GPU)、中央处理器254(CentralProcessing Unit,CPU)、通信接口(Communication Interface),以及通信总线256(Bus)中的至少一 种。其中,通信总线连接各个部件。
在一些实施例中,RAM 251用于存储操作系统或其他正在运行中的程序的临时数据
在一些实施例中,ROM 252用于存储各种系统启动的指令。
在一些实施例中,ROM 252用于存储一个基本输入输出系统,称为基本输入输出系统 (Basic Input Output System,BIOS)。用于完成对系统的加电自检、系统中各功能模块的初 始化、系统的基本输入/输出的驱动程序及引导操作系统。
在一些实施例中,在收到开机信号时,显示设备200电源开始启动,CPU运行ROM252 中系统启动指令,将存储在存储器的操作系统的临时数据拷贝至RAM 251中,以便于启动或 运行操作系统。当操作系统启动完成后,CPU再将存储器中各种应用程序的临时数据拷贝至 RAM 251中,然后,以便于启动或运行各种应用程序。
在一些实施例中,CPU处理器254,用于执行存储在存储器中操作系统和应用程序指令。 以及根据接收外部输入的各种交互指令,来执行各种应用程序、数据和内容,以便最终显示 和播放各种音视频内容。
在一些示例性实施例中,CPU处理器254,可以包括多个处理器。多个处理器可包括一个 主处理器以及一个或多个子处理器。主处理器,用于在预加电模式中执行显示设备200一些操 作,和/或在正常模式下显示画面的操作。一个或多个子处理器,用于在待机模式等状态下一 种操作。
在一些实施例中,图形处理器253,用于产生各种图形对象,如:图标、操作菜单、以及 用户输入指令显示图形等。包括运算器,通过接收用户输入各种交互指令进行运算,根据显 示属性显示各种对象。以及包括渲染器,对基于运算器得到的各种对象,进行渲染,上述渲 染后的对象用于显示在显示器上。
在一些实施例中,视频处理器270被配置为将接收外部视频信号,根据输入信号的标准编 解码协议,进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等等视频处 理,可得到直接可显示设备200上显示或播放的信号。
在一些实施例中,视频处理器270,包括解复用模块、视频解码模块、图像合成模块、帧 率转换模块、显示格式化模块等。
其中,解复用模块,用于对输入音视频数据流进行解复用处理,如输入MPEG-2,则解复 用模块进行解复用成视频信号和音频信号等。
视频解码模块,则用于对解复用后的视频信号进行处理,包括解码和缩放处理等。
图像合成模块,如图像合成器,其用于将图形生成器根据用户输入或自身生成的GUI信 号,与缩放处理后视频图像进行叠加混合处理,以生成可供显示的图像信号。
帧率转换模块,用于对转换输入视频帧率,如将60Hz帧率转换为120Hz帧率或240Hz帧率, 通常的格式采用如插帧方式实现。
显示格式化模块,则用于将接收帧率转换后视频输出信号,改变信号以符合显示格式的 信号,如输出RGB数据信号。
在一些实施例中,图形处理器253可以和视频处理器可以集成设置,也可以分开设置,集 成设置的时候可以执行输出给显示器的图形信号的处理,分离设置的时候可以分别执行不同 的功能,例如GPU+FRC(Frame Rate Conversion))架构。
在一些实施例中,音频处理器280,用于接收外部的音频信号,根据输入信号的标准编解 码协议,进行解压缩和解码,以及降噪、数模转换、和放大处理等处理,得到可以在扬声器 中播放的声音信号。
在一些实施例中,视频处理器270可以包括一颗或多颗芯片组成。音频处理器,也可以包 括一颗或多颗芯片组成。
在一些实施例中,视频处理器270和音频处理器280,可以单独的芯片,也可以于控制器 一起集成在一颗或多颗芯片中。
在一些实施例中,音频输出,在控制器250的控制下接收音频处理器280输出的声音信号, 如:扬声器286,以及除了显示设备200自身携带的扬声器之外,可以输出至外接设备的发生 装置的外接音响输出端子,如:外接音响接口或耳机接口等,还可以包括通信接口中的近距 离通信模块,例如:用于进行蓝牙扬声器声音输出的蓝牙模块。
供电电源290,在控制器250控制下,将外部电源输入的电力为显示设备200提供电源供电 支持。供电电源290可以包括安装显示设备200内部的内置电源电路,也可以是安装在显示设 备200外部电源,在显示设备200中提供外接电源的电源接口。
用户接口265,用于接收用户的输入信号,然后,将接收用户输入信号发送给控制器250。 用户输入信号可以是通过红外接收器接收的遥控器信号,可以通过网络通信模块接收各种用 户控制信号。
在一些实施例中,用户通过控制装置100或移动终端300输入用户命令,用户输入接口则 根据用户的输入,显示设备200则通过控制器250响应用户的输入。
在一些实施例中,用户可在显示器275上显示的图形用户界面(GUI)输入用户命令,则 用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者,用户可通过输入特定的 声音或手势进行输入用户命令,则用户输入接口通过传感器识别出声音或手势,来接收用户 输入命令。
在一些实施例中,“用户界面”,是应用程序或操作系统与用户之间进行交互和信息交换 的介质接口,它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现 形式是图形用户界面(Graphic User Interface,GUI),是指采用图形方式显示的与计算机操作相 关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素, 其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget 等可视的界面元素。
存储器260,包括存储用于驱动显示设备200的各种软件模块。如:第一存储器中存储的 各种软件模块,包括:基础模块、检测模块、通信模块、显示控制模块、浏览器模块、和各 种服务模块等中的至少一种。
基础模块用于显示设备200中各个硬件之间信号通信、并向上层模块发送处理和控制信号 的底层软件模块。检测模块用于从各种传感器或用户输入接口中收集各种信息,并进行数模 转换以及分析管理的管理模块。
例如,语音识别模块中包括语音解析模块和语音指令数据库模块。显示控制模块用于控 制显示器进行显示图像内容的模块,可以用于播放多媒体图像内容和UI界面等信息。通信模 块,用于与外部设备之间进行控制和数据通信的模块。浏览器模块,用于执行浏览服务器之 间数据通信的模块。服务模块,用于提供各种服务以及各类应用程序在内的模块。同时,存 储器260还用存储接收外部数据和用户数据、各种用户界面中各个项目的图像以及焦点对象的 视觉效果图等。
图3示例性示出了根据示例性实施例中控制设备100的配置框图。如图3所示,控制设备100 包括控制器110、通信接口130、用户输入/输出接口、存储器、供电电源。
控制设备100被配置为控制显示设备200,以及可接收用户的输入操作指令,且将操作指 令转换为显示设备200可识别和响应的指令,起用用户与显示设备200之间交互中介作用。如: 用户通过操作控制设备100上频道加减键,显示设备200响应频道加减的操作。
在一些实施例中,控制设备100可是一种智能设备。如:控制设备100可根据用户需求安 装控制显示设备200的各种应用。
在一些实施例中,如图1所示,移动终端300或其他智能电子设备,可在安装操控显示设 备200的应用之后,可以起到控制设备100类似功能。如:用户可以通过安装应用,在移动终 端300或其他智能电子设备上可提供的图形用户界面的各种功能键或虚拟按钮,以实现控制设 备100实体按键的功能。
控制器110包括处理器112和RAM 113和ROM 114、通信接口130以及通信总线。控制器用 于控制控制设备100的运行和操作,以及内部各部件之间通信协作以及外部和内部的数据处理 功能。
通信接口130在控制器110的控制下,实现与显示设备200之间控制信号和数据信号的通 信。如:将接收到的用户输入信号发送至显示设备200上。通信接口130可包括WiFi芯片131、 蓝牙模块132、NFC模块133等其他近场通信模块中至少之一种。
用户输入/输出接口140,其中,输入接口包括麦克风141、触摸板142、传感器143、按键 144等其他输入接口中至少一者。如:用户可以通过语音、触摸、手势、按压等动作实现用户 指令输入功能,输入接口通过将接收的模拟信号转换为数字信号,以及数字信号转换为相应 指令信号,发送至显示设备200。
输出接口包括将接收的用户指令发送至显示设备200的接口。在一些实施例中,可以红外 接口,也可以是射频接口。如:红外信号接口时,需要将用户输入指令按照红外控制协议转 化为红外控制信号,经红外发送模块进行发送至显示设备200。再如:射频信号接口时,需将 用户输入指令转化为数字信号,然后按照射频控制信号调制协议进行调制后,由射频发送端 子发送至显示设备200。
在一些实施例中,控制设备100包括通信接口130和输入输出接口140中至少一者。控制设 备100中配置通信接口130,如:WiFi、蓝牙、NFC等模块,可将用户输入指令通过WiFi协议、 或蓝牙协议、或NFC协议编码,发送至显示设备200.
存储器190,用于在控制器的控制下存储驱动和控制控制设备200的各种运行程序、数据 和应用。存储器190,可以存储用户输入的各类控制信号指令。
供电电源180,用于在控制器的控制下为控制设备100各元件提供运行电力支持。可以电 池及相关控制电路。
在一些实施例中,系统可以包括内核(Kernel)、命令解析器(shell)、文件系统和应用 程序。内核、shell和文件系统一起组成了基本的操作系统结构,它们让用户可以管理文件、 运行程序并使用系统。上电后,内核启动,激活内核空间,抽象硬件、初始化硬件参数等, 运行并维护虚拟内存、调度器、信号及进程间通信(IPC)。内核启动后,再加载Shell和用户应 用程序。应用程序在启动后被编译成机器码,形成一个进程。
参见图4,在一些实施例中,将系统分为四层,从上至下分别为应用程序(Applications)层 (简称“应用层”),应用程序框架(Application Framework)层(简称“框架层”),安卓运行时 (Android runtime)和系统库层(简称“系统运行库层”),以及内核层。
在一些实施例中,应用程序层中运行有至少一个应用程序,这些应用程序可以是操作系 统自带的窗口(Window)程序、系统设置程序、时钟程序、相机应用等;也可以是第三方开发 者所开发的应用程序,比如嗨见程序、K歌程序、魔镜程序等。在具体实施时,应用程序层 中的应用程序包不限于以上举例,实际还可以包括其它应用程序包,本申请实施例对此不做 限制。
框架层为应用程序层的应用程序提供应用编程接口(application programminginterface, API)和编程框架。应用程序框架层包括一些预先定义的函数。应用程序框架层相当于一个处 理中心,这个中心决定让应用层中的应用程序做出动作。应用程序通过API接口,可在执行中 访问系统中的资源和取得系统的服务
如图4所示,本申请实施例中应用程序框架层包括管理器(Managers),内容提供者(Content Provider)等,其中管理器包括以下模块中的至少一个:活动管理器(ActivityManager)用与 和系统中正在运行的所有活动进行交互;位置管理器(Location Manager)用于给系统服务或 应用提供了系统位置服务的访问;文件包管理器(Package Manager)用于检索当前安装在设 备上的应用程序包相关的各种信息;通知管理器(NotificationManager)用于控制通知消息的 显示和清除;窗口管理器(Window Manager)用于管理用户界面上的括图标、窗口、工具栏、 壁纸和桌面部件。
在一些实施例中,活动管理器用于:管理各个应用程序的生命周期以及通常的导航回退 功能,比如控制应用程序的退出(包括将显示窗口中当前显示的用户界面切换到系统桌面)、 打开、后退(包括将显示窗口中当前显示的用户界面切换到当前显示的用户界面的上一级用户 界面)等。
在一些实施例中,窗口管理器用于管理所有的窗口程序,比如获取显示屏大小,判断是 否有状态栏,锁定屏幕,截取屏幕,控制显示窗口变化(例如将显示窗口缩小显示、抖动显示、 扭曲变形显示等)等。
在一些实施例中,系统运行库层为上层即框架层提供支撑,当框架层被使用时,安卓操 作系统会运行系统运行库层中包含的C/C++库以实现框架层要实现的功能。
在一些实施例中,内核层是硬件和软件之间的层。如图4所示,内核层至少包含以下驱动 中的至少一种:音频驱动、显示驱动、蓝牙驱动、摄像头驱动、WIFI驱动、USB驱动、HDMI 驱动、传感器驱动(如指纹传感器,温度传感器,触摸传感器、压力传感器等)等。
在一些实施例中,内核层还包括用于进行电源管理的电源驱动模块。
在一些实施例中,图4中的软件架构对应的软件程序和/或模块存储在图2或图3所示的第 一存储器或第二存储器中。
在一些实施例中,以魔镜应用(拍照应用)为例,当遥控接收装置接收到遥控器输入操 作,相应的硬件中断被发给内核层。内核层将输入操作加工成原始输入事件(包括输入操作的 值,输入操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获 取原始输入事件,根据焦点当前的位置识别该输入事件所对应的控件以及以该输入操作是确 认操作,该确认操作所对应的控件为魔镜应用图标的控件,魔镜应用调用应用框架层的接口, 启动魔镜应用,进而通过调用内核层启动摄像头驱动,实现通过摄像头捕获静态图像或视频。
在一些实施例中,对于具备触控功能的显示设备,以分屏操作为例,显示设备接收用户 作用于显示屏上的输入操作(如分屏操作),内核层可以根据输入操作产生相应的输入事件, 并向应用程序框架层上报该事件。由应用程序框架层的活动管理器设置与该输入操作对应的 窗口模式(如多窗口模式)以及窗口位置和大小等。应用程序框架层的窗口管理根据活动管理 器的设置绘制窗口,然后将绘制的窗口数据发送给内核层的显示驱动,由显示驱动在显示屏 的不同显示区域显示与之对应的应用界面。
在一些实施例中,如图5中所示,应用程序层包含至少一个应用程序可以在显示器中显示 对应的图标控件,如:直播电视应用程序图标控件、视频点播应用程序图标控件、媒体中心 应用程序图标控件、应用程序中心图标控件、游戏应用图标控件等。
在一些实施例中,直播电视应用程序,可以通过不同的信号源提供直播电视。例如,直 播电视应用程可以使用来自有线电视、无线广播、卫星服务或其他类型的直播电视服务的输 入提供电视信号。以及,直播电视应用程序可在显示设备200上显示直播电视信号的视频。
在一些实施例中,视频点播应用程序,可以提供来自不同存储源的视频。不同于直播电 视应用程序,视频点播提供来自某些存储源的视频显示。例如,视频点播可以来自云存储的 服务器端、来自包含已存视频节目的本地硬盘储存器。
在一些实施例中,媒体中心应用程序,可以提供各种多媒体内容播放的应用程序。例如, 媒体中心,可以为不同于直播电视或视频点播,用户可通过媒体中心应用程序访问各种图像 或音频所提供服务。
在一些实施例中,应用程序中心,可以提供储存各种应用程序。应用程序可以是一种游 戏、应用程序,或某些和计算机系统或其他设备相关但可以在智能电视中运行的其他应用程 序。应用程序中心可从不同来源获得这些应用程序,将它们储存在本地储存器中,然后在显 示设备200上可运行。
如图2所示,显示设备200包括检测器230,检测器230包括摄像头,该摄像头可以为如图 6a-图6f所示的云台摄像头。
如图2所示,显示设备200包括外部装置接口240,外部装置可以通过该外部装置接口240 接入显示设备200。如图6b所示,外部的云台摄像头231可以通过外部装置接口240与显示设备 的控制器220连接。如图4所示,应用层中的应用包括可调用摄像头的应用,如魔镜应用、嗨 见应用等,这些应用启动后,可控制开启摄像头。
摄像头所处的角度,如其在竖直方向上的俯仰角度或者其在水平方向上的角度,关乎摄 像头的视场范围。云台是安装和固定摄像头的支撑装置,分为固定云台和电动云台,其中, 电动云台适用于大范围扫描拍摄,它可以扩大摄像头的视场范围。电动云台可以是只能左右 旋转的水平旋转云台,也可以是既能左右旋转又能上下旋转的全方位云台。一般,全方位云 台内安装两个电动机,分别用于驱动云台在水平方向和垂直方向上旋转,以改变摄像头所处 的角度。安装在电动云台上的摄像头又称为云台摄像头。对于配置有云台摄像头的显示设备, 利用显示设备控制器对电动云台进行控制,可以使摄像头在多个角度下进行拍摄。
摄像头在水平方向和/或垂直方向可旋转的极限角度,可以由用户根据需求设置。示例性 的,摄像头在水平方向上的可旋转角度范围可以为0°~120°,其中,0°和120°分别为在水平方 向上的两个旋转方向(向左和向右)对应的极限角度;摄像头在垂直方向上的可旋转角度可 以为0°~180°,其中,0°和180°分别为在垂直方向上的两个旋转方向(向上和向下)对应的极 限角度。
图6a至图6f为本申请示例性示出的摄像头所处角度示意图,其中,图6a示例性示出了摄 像头在垂直方向上的俯仰角度为0°时的状态,图6b示例性示出了摄像头在垂直方向上的俯仰 角度为90°时的状态,图6c示例性示出了摄像头在垂直方向上的俯仰角度为105°时的状态,图 6d示例性示出了摄像头在水平方向上的水平角度为0°时的状态,图6e示例性示出了摄像头在 水平方向上的水平角度为60°时的状态,图6f示例性示出了摄像头在水平方向上的水平角度为 120°时的状态。
需要说明的是,本申请一下实施例中涉及的摄像头,在没有特别指出的情况下,均为云 台摄像头。
在一些实施例中,用户可以通过操作控制装置上的指定按键来控制云台旋转,以调整摄 像头所处的角度。例如,用户可以通过操作控制装置上的“向左”和“向右”的方向键,以输入 用于控制云台向左和向右旋转的用户操作,再如,用户可以通过操作控制装置上的“向下”和 “向上”的方向键,以输入用于控制云台向下和向上旋转的用户操作。当显示设备接收到如前 所述的用于调整摄像头角度的用户操作后,响应于接收到的用户操作,控制云台内的电机转 动以驱动云台向用户操作所指示的目标调整方向旋转。
在一些实施例中,摄像头启动后,控制器自动控制摄像头旋转到预先保存的初始角度。 换言之,摄像头的初始角度是指摄像头启动后所旋转到的目标角度。示例性的,该初始角度 可以是用户输入的符合其使用习惯和常用需求的角度,也可以是出厂默认的初始角度,即预 设初始角度。
为了实现并方便用户将摄像头的初始角度调整到另其满意的角度,本申请提供一种显示 设备,该显示设备提供的设置界面中包括用于调整摄像头初始角度的项目,当用户通过操作 控制装置操作该项目时,响应于用户操作,根据用户所操作的项目的不同,会进入到不同的 摄像头初始角度调整场景中,在不同的调整场景中,调整初始角度的实现方式不同。其中, 在第一种调整场景中基于手动调整实现摄像头初始角度的调节,在第二种调整场景中基于自 动调整的实现摄像头初始角度的调节。以下将对该两种场景下调整初始角度的实现方式进行 详细介绍。
图7a至7h为本申请示例性示出的调整摄像头初始角度的交互过程及界面变化示意图。应 理解,本领域技术人员可以基于图7a至7h示出的交互过程增加或者减少交互步骤,得到本申 请的其他实施例,都属于本申请的保护范围。
图7a示例性示出了显示设备提供的播放画面。应当理解,播放画面可以是用户界面、视 频画面和图片画面等中的一个或者多个。在图7a所示示例中,显示的播放画面是系统主页。
当显示器显示如图7a所示的播放画面时,用户可以通过操作控制装置输入菜单项显示指 令,以指示显示设备呈现设置菜单,在设置菜单上具有摄像头对应的设置项目或者用于触发 显示摄像头对应的设置项目的层级较高的项目。当显示设备控制器接收到用户输入的菜单项 显示指令时,控制在显示器上呈现设置菜单。示例性的,用户可以通过触发控制装置上的“菜 单”键而输入指示显示设置菜单的用户指令,控制器可以响应于该用户指令,在显示器上呈现 如图7b所示的用户界面,该用户界面中显示有菜单选项页面,该菜单选项页面70包含多个项 目71-77,以及显示有指示任一项目被选择的选择器78,用户可以通过操作控制装置的输入而 移动选择器78在用户界面中的位置,以改变选择不同的项目。
接着,在图7b中,当用户操作控制装置而输入指示选择器78选择项目76的用户指令时, 控制器可以响应于该用户指令,在显示器上呈现如图7c所示的用户界面,该用户界面中显示 有主设置菜单页面(“AI设置”)76,该主设置菜单页面76对应项目76的详细菜单选项,即项 目761-767。
请参阅图7c,项目761(“摄像头设置”)为一种示例性的摄像头对应的主设置项目。在图7c中,当用户操作控制装置而输入指示选择器78选择项目761的用户指令时,控制器可以响应 于该用户指令,在显示器上呈现如图7d所示的用户界面,该用户界面中显示摄像头对应的菜 单页面(“摄像头设置”)761,该菜单页面761包含用于控制/调整摄像头的子设置项目,即项 目7611-7613。应当理解,摄像头对应的子设置项目是相对于前述主设置项目层级较低的设置 项目。
图7d所示的用户界面包括用于调整摄像头初始角度的项目,即项目7613“摄像头初始角 度”,用户可以通过操作该项目开始调整摄像头初始角度。示例性的,在图7d中,当用户操作 控制装置而输入指示选择器78选择项目7613的用户指令时,控制器可以响应于该用户指令, 在显示器上呈现如图7e所示的用户界面,该用户界面中显示摄像头对应的另一菜单页面(“摄 像头初始角度”)7613,该菜单页面7613包含用于触发手动调整摄像头初始角度的子设置项目 “手动调整”,和用于触发自动调整摄像头初始角度的另一子设置项目“智能调整”。
在一些实施例中,将如图7e所示的包括用于调整摄像头初始角度的项目的用户界面称为 摄像头设置界面。
在一些实施例中,当选择器落入到用于调整摄像头初始角度的子设置项目上时,呈现包 含与该子设置项目对应的特定提示信息的用户界面,该特定提示信息用于指导用户如何执行 用于调整摄像头初始角度的操作。示例性的,在图7e中,当选择器78落入到项目“智能调整” 上时,在该菜单页面的上层不遮挡子设置项目的区域显示如图7f示出的特定提示信息。如图 7f所示,该特定提示信息具体为“通过人体走动和手势操作进行摄像头角度调整”的文字提示。
另外,请参阅图7e,在设置界面中,当用户操作不同的子设置项目时,将会进入到不同 的初始角度调整场景中,即,当用户操作子设置项目“手动调整”时,将进入到手动调整摄像 头初始角度的场景中,当用户操作子设置项目“智能调整”时,将进入到自动调整摄像头初始 角度的场景中。
在一些实施例中,将可以触发进入到自动调整场景的子设置项目称为第一项目,将可以 触发进入到手动调整场景的子设置项目称为第二项目。
实施例一
在一些实施例中,当用户通过操作控制装置操作图7e中的项目“手动调整”时,响应于用 户操作,开启摄像头以使摄像头开始采集图像,并在设置界面中启动视频播放窗口,将摄像 头采集的图像显示在该视频播放窗口中。这样,用户在调整摄像头初始角度的过程中,可以 预览到摄像头所采集的图像画面,为用户的调整操作提供提示和依据。
在一些实施例中,显示设备控制器响应于接收到对界面中用于调整摄像头初始角度的设 置项目的用户操作,直接启动摄像头并呈现摄像头采集的图像。示例性的,在图7e中,用户 可以通过操作项目“手动调整”以指示启动摄像头并呈现摄像头所采集的图像;显示设备控制 器响应于接收到的对项目“手动调整”的操作,启动摄像头,并将摄像头采集的图像呈现在用 户界面中。具体的,在用户界面中设置视频显示窗口,在视频显示窗口中呈现摄像头采集的 图像,即由图7e所示的用户界面进入到如图7h所示的用户界面。
在另一些实施例中,显示设备控制器响应于接收到对界面中用于调整摄像头初始角度的 设置项目的用户操作,呈现包含用于调整摄像头初始角度的操作信息的用户界面,进而,用 户可以根据显示的操作信息获知如何执行调整摄像头初始角度的操作。另外,在包含用于调 整摄像头初始角度的操作信息的用户界面,还提供用于启动摄像头并呈现摄像头采集的图像 的控件,用户可以通过操作该控制以指示启动摄像头并呈现摄像头所采集的图像。示例性的, 显示设备控制器响应于对如图7e中项目“手动调整”的操作,呈现如图7g所示的用户界面,该 用户界面显示有用于调整摄像头初始角度的操作信息和控件“我知道了”。当用户操作控件“我 知道了”时,显示设备控制器启动摄像头并呈现摄像头采集的图像,即由图7g所示的用户界面 进入到如图7h所示的用户界面。
本申请实施例中,在摄像头初始角度调整场景下,在显示如图7h所示的摄像头预览画面 时,用户可以通过操作遥控器上的指定按键(如方向按键)调整摄像头的角度。以遥控器上 用于调整摄像头角度的方向按键为例,当用户以按下某一方向按键时,控制器响应于接收到 的用户操作,根据用户所操作的按键所指示的目标调整方向,控制摄像头在当前角度基础上 向目标调整方向做增量调整。例如,如果用户所操作的按键所指示的目标调整方向为“向右”, 且在接收到用户操作时,摄像头所处的角度是15°,则在15°的基础上向右调整10°,即调整到 25°。
另外,调整摄像头的初始角度过程中,显示设备控制器周期性获取摄像头的当前角度, 并判断摄像头的当前角度是否达到目标调整方向对应的极限角度;当摄像头的当前角度达到 目标调整方向对应的极限角度时,终止对摄像头的角度的调整,并在当前播放画面的上层展 示Toast提示,Toast提示的内容可以如“摄像头角度已到达边缘”。
在一些实施例中,在摄像头初始角度调整场景下,用户可以通过操作控制装置上用于保 存初始角度的按键以输入指示保存初始角度的指令,用于保存初始角度的按键可如图7g示出 的“确定”按键。显示设备控制器响应于指示保存初始角度的指令,将摄像头当前所处角度作 为初始角度进行保存。进而,在后续启动摄像头时,根据保存的初始角度控制摄像头旋转到 该初始角度处。
在一些实施例中,在摄像头初始角度调整场景下,用户可以通过操作控制装置上用于重 置初始角度的按键以输入指示重置初始角度的指令,用于重置初始角度的按键可如图7g示出 的“菜单”按键。显示设备控制器响应于指示重置初始角度的指令,将预设初始角度作为初始 角度进行保存。示例性的,预设初始角度可以为出厂初始角度,如水平60°、垂直9°。
实施例二
在一些实施例中,显示设备控制器响应于接收到对界面中用于调整摄像头初始角度的设 置项目(如图7e中项目“智能调整”)的用户操作,开启摄像头以使摄像头开始采集图像,并 检测采集到的图像中预设目标所在位置,根据预设目标所在位置确定目标角度,该目标角度 是指使预设目标位于采集范围中心的角度,然后控制摄像头旋转到该目标角度。相比于实施 例一,这些实施例可以实现对摄像头初始角度的自动调整,节省用户操作,提升用户体验。
另外,在上述自动调整摄像头初始角度的过程中,在设置界面中启动一个视频显示窗口, 在控制摄像头旋转到目标角度的同时,将摄像头采集的图像显示在该视频显示窗口中。示例 性的,当用户操作图7e中项目“智能调整”时,由图7e所示界面变化为图7i所示界面。如图7i 所示,该用户界面中显示有视频显示窗口,在视频显示窗口中可以预览到摄像头采集的图像。
在一些更为具体的实现方式中,控制器启动摄像头后,利用预先训练好的神经网络模型 对摄像头采集的图像中预设目标进行识别,以尺寸统一的图像数据作为神经网络模型的输入, 输出预设目标的位置坐标,再以预设目标的位置坐标作为新的视场范围的几何中心来确定新 的视场范围,再根据原视场范围和新的视场范围确定目标角度,最后控制云台旋转到目标角 度。示例性的,图8示例性示出了原视场范围A(实线示出的范围)、预设目标位置O和新的 视场范围B(虚线示出的范围)及其相对关系。可以看出,在新的视场范围中,预设目标位 于中心位置。应当理解,使用不同预设目标对应的样本集对初始模型进行训练,可以得到用 于识别不同预设目标的神经网络模型。
需要说明的是,本申请实施例涉及的预设目标可以是人物、物体等,物体可如沙发、床、 壁画等。应当理解,针对于不同的设备使用场景,可以对多个不同预设目标设置优先级,当 摄像头采集的图像中存在多个预设目标时,根据优先级确定以哪个预设目标的位置作为新的 视场范围的几何中心。示例性的,假设多个预设目标中人物的优先级最高、沙发的优先级次 之,那么,当摄像头采集的图像中同时存在人物和沙发时,根据人物的位置坐标确定新的视 场范围以确定目标角度,即,当摄像头旋转到目标角度时,人物位于图像的中心;当采集的 图像中仅存在沙发时,则根据沙发的位置坐标确定目标角度,即,当摄像头旋转到目标角度 时,沙发位于图像的中心。
在一些实施例中,预设目标在图像中的位置可以通过指定关键点在图像中的位置进行表 示。在这些实施例中,当指定关键点在图像中的位置与预设位置置不符和/或二者之间的距离 足够大(如大于预设阈值)时,确定预设目标在图像中的位置偏离预设位置。
在一些实施例中,预设目标在图像中的位置具体可以根据预设目标在图像中的像素点在 指定坐标系中的位置坐标确定或表示。例如,可以根据摄像头的分辨率和可视角度,以图像 的左上角为原点,以向右和向下为正方向构建平面直角坐标系,则图像中的各个像素点均能 够通过这一直角坐标系进行表示,预设目标的位置信息即为其对应的像素点在该坐标系中的 坐标。示例性的,如图9所示,水平方向和垂直方向摄像头可视角度分别为HFOV和VFOV, 可视角度可以根据摄像头CameraInfo获取,摄像头预览图像支持1080P,宽度为1920,高度1080 像素,则图像中每个像素点的位置都可以为(x,y),其中x的取值范围为(0,1920);y 的取值范围为(0,1080)。
在预设目标为用户的实施场景中,为了能够准确表达用户在图像中的位置,以用户肢体 的关键点或者肢体框在图像中的位置信息作为用户在图像中的位置信息。关键点可以是指人 体图像中能够代表人体特征的一系列点。例如,眼睛、耳朵、鼻子、脖子、肩部、手肘、手 腕、腰部、膝关节以及踝关节等。关键点的数量可以设置为多个,并且在一次识别过程中需 要对多个关键点的全部或部分进行位置提取,从而确定包裹肢体的外框区域。例如,如图10 所示,关键点可以包括18个,即2个眼睛点、2个耳朵点、1个鼻子点、1个脖子点、2个肩部点、 2个肘部点、2个腕部点、2个腰部点(或臀部点)、2个膝关节点以及2个踝关节点。显然,当 用户所处位置发生改变或者姿态发生变化时,部分关键点的位置将发生变化。随着这种变化 的出现,摄像头采集的图像中人体相对位置也将发生变化。例如,当人体向左移动位置时, 将使摄像头采集的图像中人体位置偏左。因此,在得到用户位置后,还需要对比用户位置与 校对图像中的预设区域(如中心位置),从而确定是否需要调整摄像头的角度,以及需要调 整的目标角度。
在一些实施例中,用于代表用户的关键点称为指定关键点,如基于用户面部特征确定的 关键点,如鼻子点。
示例性的,用户位置可以通过关键点坐标进行表示,如鼻子点(x,y)。由于摄像头可 以在水平和垂直两个方向上旋转,因此在计算获得鼻子点(x,y)坐标后,可以分别对x轴坐 标和y轴坐标进行判断,以分别确定鼻子点的x轴坐标是否位于整个图像在水平方向上的中心 位置,以及鼻子点的y轴坐标是否位于整个图像在垂直方向上的中心位置。示例性的,对鼻子 点的x轴坐标进行判断:当校对图像为分辨率为(1920,1080)时,校对图像的中心位置x轴坐 标为960;当判定鼻子点的x轴坐标与960不符或者相差足够大时,说明用户不位于整个图像在 水平方向上的中心位置,此时确定需要调整摄像头的角度,并且需要根据脖子点的x轴坐标和 校对图像的中心位置x轴坐标确定在水平方向上的目标角度。类似的,对鼻子点的y轴坐标进 行判断:当校对图像为分辨率为(1920,1080)时,校对图像的中心位置y轴坐标为540;当判 定鼻子点的y轴坐标与540不符或者相差足够大时,说明用户不位于整个图像在垂直方向上的 中心位置,此时确定需要调整摄像头的角度,并且需要根据鼻子点的y轴坐标和校对图像的中 心位置y轴坐标确定在垂直方向上的目标角度。
具体的,可以先计算用户位置和图像的中心点之间的距离;再根据计算的距离,结合摄 像头的最大视角以及图像尺寸计算获得旋转角度;最后将计算的旋转角度以控制指令的形式 发送给云台控制模块,使得云台控制模块控制云台电机带动各转轴进行转动,从而调整镜头 组件的角度。
示例性的,如图11、图12所示,摄像头的预览分辨率为1920×1080,图像的水平宽度: imgWidth=1920;图像水平中心位置坐标x=960;用户位置坐标为(x0,y0)水平中心位置坐 标为x0;水平视角为hfov;则用户位置与中心的距离为:hd=x–x0,则摄像头在水平方向上的 旋转角度则按照下式可计算获得:
Figure BDA0003141810830000161
通过上式,可以计算出在水平方向上的目标角度。再对用户位置与图像中心的坐标数值 进行比较,确定用户位置相对于中心位置的方位,从而确定摄像头的旋转方向。即,如果用 户位置的水平坐标大于中心位置的水平坐标,则向右转动摄像头;反之向左转动摄像头。
上述实施例是以水平方向坐标为例进行判断、调整,在其他实施例中,通过比较用户位 置与图像中心位置之间的竖直方向差异,可以确定在水平方向上的目标角度,具体的调整方 法与水平方向的调整方法相同,此处不予赘述。
本申请实施例中,在摄像头初始角度调整场景下,在显示如图7i所示的摄像头预览画面 时,用户可以通过一些预定手势输入指示保存初始角度的指令,还可以通过另一些预定手势 输入指示退出调整场景的指令,还可以通过又一些预定手势输入指示重置初始角度的指令。 这样,无需用户输入按键操作,也不必受限于遥控器,即可完成对初始角度的保存、重置等 操作,提升用户体验。
为便于区别和说明,本申请将指示保存初始角度的预定手势称为第一预定手势,将指示 退出调整场景的预定手势称为第二预定手势,将指示重置初始角度的预定手势称为第三预定 手势。
在一些更为具体的实现方式中,控制器启动摄像头后,利用预先训练好的神经网络模型 对摄像头采集的图像中的手势动作进行识别,并将识别到的手势动作与预置的手势动作数据 库进行比对;若通过比对确定识别到的手势动作是第一预定手势,则将摄像头当前所处角度 或者前述确定的目标角度作为初始角度进行保存;若通过比对确定识别到的手势动作是第二 预定手势,则退出如图7i所示的用户界面,恢复至图7e所示的用户界面,并关闭摄像头;若 通过比对确定识别到的手势动作是第三预定手势,则将保存的初始角度重置为预设初始角度, 并重新启动摄像头以使摄像头开始采集图像,并检测采集到的图像中预设目标所在位置,根 据预设目标所在位置确定目标角度,该目标角度是指使预设目标位于采集范围中心的角度, 然后控制摄像头旋转到该目标角度。
在一些实施例中,将第一预定手势操作信息、第二预定手势操作信息和/或第三预定手势 操作信息显示在如图7i所示界面中视频显示窗口的上层,以提示用户如何使用手势控制显示 设备。如图7i所示,在视频显示窗口的上层显示有第一预定手势操作信息和第二预定手势操 作信息,即用于保存初始角度的手势操作信息(OK手势)和用于退出调整场景的手势操作信 息(停止手势)。
由上述实施例可以看出,用户可以通过移动位置和手势操作,实现对摄像头初始角度的 调整和保存。
在一些实施例中,在保存初始角度后,若用户需要进一步调整初始角度,则可以通过第 三预定手势重置保存的初始角度。在一些实施例中,在保存初始角度后,图7i所示用户界面 发生变化。参阅图7i可知,变化前后的用户界面所显示的提示信息不同,由图7i变化后的用户 界面中显示有第三预定手势操作信息和第二预定手势操作信息(图中未示出),以提示用户 如何通过手势操作重置已保存的初始角度。
本申请实施例还提供一种摄像头角度调整方法,该方法至少可以应用本申请实施例提供 的显示设备上,该方法的执行主体包括但不限于显示设备的控制器,该方法可以包括如下步 骤:
步骤131,响应于接收到指示显示摄像头设置界面的指令,呈现摄像头设置界面,所述摄 像头设置界面包括用于调整摄像头初始角度的项目,所述初始角度为所述摄像头启动后所旋 转到的角度;
步骤132,响应于接收到对所述用于调整摄像头初始角度的项目的操作,启动摄像头以通 过所述摄像头采集图像;
步骤133,识别所述摄像头采集的图像中的预设目标,并获取预设目标的位置信息;
步骤134,根据所述预设目标的位置信息确定目标角度,所述目标角度为使所述预设目标 位于所述摄像头的拍摄范围的中心位置的角度;
步骤135,响应于识别到第一预定手势,将所述目标角度作为摄像头的初始角度进行保存。
需要说明的是,本申请实施例所提供方法包括上述显示设备控制器被配置的部分或全部 步骤,因此本申请方法实施例的具体实现方式均可参见上述显示设备实施例,此处不多赘述。
具体实现中,本发明还提供一种计算机存储介质,其中,该计算机存储介质可存储有程 序,该程序执行时可包括本发明提供的方法的各实施例中的部分或全部步骤。所述的存储介 质可为磁碟、光盘、只读存储记忆体(英文:read-only memory,简称:ROM)或随机存储 记忆体(英文:random access memory,简称:RAM)等。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬 件平台的方式来实现。基于这样的理解,本发明实施例中的技术方案本质上或者说对现有技 术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质 中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计 算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中各个实施例之间相同相似的部分互相参见即可。尤其,对于实施例而言,由 于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例中的说明即可。
以上所述的本发明实施方式并不构成对本发明保护范围的限定。

Claims (8)

1.一种显示设备,其特征在于,包括:
显示器,用于显示用户界面;
摄像头,用于采集图像;
控制器,用于:
响应于接收到指示显示摄像头设置界面的指令,呈现摄像头设置界面,所述摄像头设置界面包括用于调整摄像头初始角度的项目,所述初始角度为所述摄像头启动后所旋转到的角度;
响应于接收到对所述用于调整摄像头初始角度的项目的操作,启动摄像头以通过所述摄像头采集图像;
识别所述摄像头采集的图像中的预设目标,并获取预设目标的位置信息;
根据所述预设目标的位置信息确定目标角度,所述目标角度为使所述预设目标位于所述摄像头的拍摄范围的中心位置的角度;
响应于识别到第一预定手势,将所述目标角度作为摄像头的初始角度进行保存。
2.根据权利要求1所述的显示设备,其特征在于,所述启动摄像头以通过所述摄像头采集图像后,所述控制器还用于:将所述摄像头采集的图像显示在用户界面中的视频显示窗口中。
3.根据权利要求1所述的显示设备,其特征在于,所述控制器还用于:
当选择器落入到所述用于调整摄像头初始角度的项目上时,在所述摄像头设置界面的上层且不遮挡所述摄像头设置界面上项目的区域显示特定提示信息,所述特定提示信息用于示出用于调整摄像头初始角度的操作信息。
4.根据权利要求2所述的显示设备,其特征在于,所述控制器还用于:
响应于识别到第二预定手势,关闭摄像头以及关闭所述视频显示窗口,并恢复对接收到所述用于调整摄像头初始角度的项目的操作前的用户界面的显示。
5.根据权利要求4所述的显示设备,其特征在于,所述启动摄像头以通过所述摄像头采集图像之后,所述控制器还用于:
识别所述摄像头采集的图像中是否存在手势操作;
将识别到的手势操作与预定手势进行比对,所述预定手势包括第一预定手势和第二预定手势。
6.根据权利要求5所述的显示设备,其特征在于,所述控制器还用于:
在显示的所述摄像头采集的图像的上层,呈现第一预定手势操作信息和/或第二预定手势操作信息。
7.根据权利要求1所述的显示设备,其特征在于,所述根据所述预设目标的位置信息确定目标角度之后,所述控制器还用于:将摄像头的角度调整到所述目标角度。
8.一种摄像头角度调整方法,其特征在于,应用于显示设备,所述显示设备包括所述摄像头,所述方法包括:
响应于接收到指示显示摄像头设置界面的指令,呈现摄像头设置界面,所述摄像头设置界面包括用于调整摄像头初始角度的项目,所述初始角度为所述摄像头启动后所旋转到的角度;
响应于接收到对所述用于调整摄像头初始角度的项目的操作,启动摄像头以通过所述摄像头采集图像;
识别所述摄像头采集的图像中的预设目标,并获取预设目标的位置信息;
根据所述预设目标的位置信息确定目标角度,所述目标角度为使所述预设目标位于所述摄像头的拍摄范围的中心位置的角度;
响应于识别到第一预定手势,将所述目标角度作为摄像头的初始角度进行保存。
CN202110736712.XA 2020-08-21 2021-06-30 显示设备及摄像头角度调整方法 Pending CN113824870A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2020108524301 2020-08-21
CN202010852430 2020-08-21

Publications (1)

Publication Number Publication Date
CN113824870A true CN113824870A (zh) 2021-12-21

Family

ID=78924080

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110736712.XA Pending CN113824870A (zh) 2020-08-21 2021-06-30 显示设备及摄像头角度调整方法

Country Status (1)

Country Link
CN (1) CN113824870A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115474803A (zh) * 2022-10-14 2022-12-16 深圳市分米互联科技有限公司 远程科技项目展示平台及其系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007060260A (ja) * 2005-08-24 2007-03-08 Canon Inc カメラ制御システム
CN103124336A (zh) * 2011-11-18 2013-05-29 康佳集团股份有限公司 具有可调角度的内置摄像头的电视机
CN103248824A (zh) * 2013-04-27 2013-08-14 天脉聚源(北京)传媒科技有限公司 一种摄像头拍摄角度的确定方法、装置及摄像系统
CN105847691A (zh) * 2016-04-15 2016-08-10 乐视控股(北京)有限公司 摄像装置控制方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007060260A (ja) * 2005-08-24 2007-03-08 Canon Inc カメラ制御システム
CN103124336A (zh) * 2011-11-18 2013-05-29 康佳集团股份有限公司 具有可调角度的内置摄像头的电视机
CN103248824A (zh) * 2013-04-27 2013-08-14 天脉聚源(北京)传媒科技有限公司 一种摄像头拍摄角度的确定方法、装置及摄像系统
CN105847691A (zh) * 2016-04-15 2016-08-10 乐视控股(北京)有限公司 摄像装置控制方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115474803A (zh) * 2022-10-14 2022-12-16 深圳市分米互联科技有限公司 远程科技项目展示平台及其系统
CN115474803B (zh) * 2022-10-14 2024-01-26 深圳市分米互联科技有限公司 远程科技项目展示平台

Similar Documents

Publication Publication Date Title
CN113330736B (zh) 一种显示器及图像处理方法
CN112866772B (zh) 一种显示设备及声像人物定位追踪方法
CN112672062B (zh) 一种显示设备及人像定位方法
CN111405338B (zh) 一种智能画质的切换方法及显示设备
CN112291599B (zh) 显示设备及调整摄像头角度的方法
CN111970548B (zh) 显示设备及调整摄像头角度的方法
CN112055240B (zh) 一种显示设备及其与遥控器配对的操作提示展示方法
CN112866773B (zh) 一种显示设备及多人场景下摄像头追踪方法
CN112565862A (zh) 一种显示设备及其设备参数的记忆方法、恢复方法
CN111835969A (zh) 一种控制摄像头角度的交互方法及显示设备
CN112243141A (zh) 投屏功能的显示方法及显示设备
CN111866498B (zh) 一种摄像头异常处理方法及显示设备
CN112954424A (zh) 显示设备及摄像头启动方法
CN112218145A (zh) 智能电视、vr显示设备以及相关方法
CN114430492A (zh) 显示设备、移动终端及图片同步缩放方法
CN112351334A (zh) 一种文件传输进度显示方法及显示设备
CN112040340A (zh) 资源文件获取方法及显示设备
CN113824870A (zh) 显示设备及摄像头角度调整方法
CN111078926A (zh) 一种人像缩略图像的确定方法及显示设备
CN113473024A (zh) 显示设备、云台摄像头和摄像头控制方法
CN111939561B (zh) 显示设备及交互方法
CN112437284A (zh) 一种投影画面校正方法、终端设备及显示设备
CN111931692A (zh) 显示设备及图像识别方法
CN113825001B (zh) 全景图片浏览方法及显示设备
CN112866768B (zh) 显示设备及信息提示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination