CN116472715A - 显示设备及摄像头追踪方法 - Google Patents

显示设备及摄像头追踪方法 Download PDF

Info

Publication number
CN116472715A
CN116472715A CN202180064646.4A CN202180064646A CN116472715A CN 116472715 A CN116472715 A CN 116472715A CN 202180064646 A CN202180064646 A CN 202180064646A CN 116472715 A CN116472715 A CN 116472715A
Authority
CN
China
Prior art keywords
camera
area
image
tracking target
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180064646.4A
Other languages
English (en)
Inventor
祖荫鹏
杨鲁明
宁静
王之奎
贾其燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Visual Technology Co Ltd
Original Assignee
Hisense Visual Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Visual Technology Co Ltd filed Critical Hisense Visual Technology Co Ltd
Publication of CN116472715A publication Critical patent/CN116472715A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Devices (AREA)

Abstract

本申请提供一种显示设备及摄像头追踪方法，所述方法通过获取摄像头拍摄的校对图像并识别人脸区域，从而结合成像参数计算每个人脸区域对应的目标距离。再根据人脸区域面积以及目标距离，为每个人脸区域设置权重，以根据每个人脸区域的权重，提取追踪目标区域。当追踪目标区域不在预设区域中，控制摄像头转动以调整多人区域在图像中的位置。所述方法可以根据追踪目标区域位置判断结果调整摄像头的朝向，实现对筛检后的人物进行追踪。

Description

显示设备及摄像头追踪方法
本申请要求在2020年8月21日提交中国专利局、申请号为202010848922.3、名称为“一种多人场景下摄像头追踪方法”的中国专利申请的优先权，以及在2021年1月6日提交中国专利局、申请号为202110013376.6、名称为“一种多人场景下摄像头追踪方法”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本申请涉及智能电视技术领域，尤其涉及一种显示设备及摄像头追踪方法。
背景技术
当前，由于如智能电视的显示设备可以为用户提供诸如音频、视频、图片等的播放画面，受到用户的广泛关注。
随着大数据与人工智能的发展，用户对显示设备的功能需求与日俱增。例如，用户想要播放显示画面的同时，呈现多路视频聊天画面；或者，当用户在游戏场景中，实时显示参与者是真实画面；或者，用户在教育类应用程序中，在学习当前画面内容的同时，实时与家长/老师进行远程音视频互动等。
发明内容
本申请提供了一种显示设备及摄像头追踪方法，以解决传统摄像头无法精确追踪人像的问题。
第一方面，本申请提供一种显示设备，包括：显示器、接口组件以及控制器；其中，所述显示器被配置为显示用户界面；所述接口组件被配置为连接摄像头，所述摄像头可转动拍摄角度，被配置为拍摄图像；所述控制器被配置为执行以下程序步骤：
获取所述摄像头拍摄的校对图像；
根据所述摄像头的当前成像参数，在所述校对图像中提取追踪目标区域，所述追踪目标区域为根据多个人脸图案权重计算获得的规则形状区域；
向所述摄像头发送旋转指令，以调整所述摄像头的拍摄方向，使所述追踪目标区域位于图像中心区域内。
第二方面，本申请还提供一种显示设备，包括：显示器、摄像头以及控制器；其中，所述显示器被配置为显示用户界面；摄像头可转动拍摄角度，被配置为拍摄图像；所述控制器被配置为执行以下程序步骤：
获取所述摄像头拍摄的校对图像；
根据所述摄像头的当前成像参数，在所述校对图像中提取追踪目标区域，所述追踪目标区域为根据多个人脸图案权重计算获得的规则形状区域；
向所述摄像头发送旋转指令，以调整所述摄像头的拍摄方向，使所述追踪目标区域位于图像中心区域内。
第三方面，本申请还提供一种摄像头追踪方法，应用于显示设备，所述显示设备包括显示器和控制器，所述显示设备内置或通过接口组件外接摄像头，所述摄像头可转动拍摄角度，所述摄像头追踪方法包括：
获取所述摄像头拍摄的校对图像；
根据所述摄像头的当前成像参数，在所述校对图像中提取追踪目标区域，所述追踪目标区域为根据多个人脸图案权重计算获得的规则形状区域；
向所述摄像头发送旋转指令，以调整所述摄像头的拍摄方向，使所述追踪目标区域位于图像中心区域内。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例中显示设备与控制装置之间操作场景的示意图；
图2为本申请实施例中控制设备的硬件配置框图；
图3为本申请实施例中显示设备的硬件配置框图；
图4为本申请实施例中显示设备软件配置示意图；
图5为本申请实施例中显示设备与摄像头布置结构示意图；
图6为本申请实施例中摄像头结构示意图；
图7中示例性示出了本申请实施例构建的坐标轴；
图8中示例性示出了图像数据与裁剪框的相对位置示意图；
图9中示例性示出了人脸定位的示意图；
图10为本申请实施例中识别多个人脸区域示意图；
图11为本申请实施例中计算目标距离示意图；
图12a为本申请实施例中人脸区域识别结果示意图一；
图12b为本申请实施例中人脸区域识别结果示意图二；
图12c为本申请实施例中确定追踪目标区域的结果示意图；
图12d为本申请实施例中对比追踪目标区域与预设区域示意图；
图13a为本申请实施例中人脸区域识别结果示意图；
图13b为本申请实施例中根据权重筛选人脸区域结果示意图；
图13c为本申请实施例中确定追踪目标区域的结果示意图；
图13d为本申请实施例中对比追踪目标区域与预设区域示意图；
图13e为本申请实施例中摄像头调整结果示意图；
图14为本申请实施例中计算追踪目标区域中心位置偏移量示意图；
图15为本申请实施例中计算旋转角示意图。
具体实施方式
下面将详细地对实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下实施例中描述的实施方式并不代表与本申请相一致的所有实施方式。仅是与权利要求书中所详述的、本申请的一些方面相一致的系统和方法的示例。
基于本申请描述的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请所附权利要求保护的范围。此外，虽然 本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。
需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。
本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明(Unless otherwise indicated)。应该理解这样使用的用语在适当情况下可以互换，例如能够根据本申请实施例图示或描述中给出那些以外的顺序实施。
此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
本申请中使用的术语“遥控器”，是指电子设备(如本申请中公开的显示设备)的一个组件，通常可在较短的距离范围内无线控制电子设备。一般使用红外线和/或射频(RF)信号和/或蓝牙与电子设备连接，也可以包括WiFi、无线USB、蓝牙、动作传感器等功能模块。例如：手持式触摸遥控器，是以触摸屏中用户界面取代一般遥控装置中的大部分物理内置硬键。
本申请中使用的术语“手势”，是指用户通过一种手型的变化或手部运动等动作，用于表达预期想法、动作、目的/或结果的用户行为。
图1中示例性示出了根据实施例中显示设备与控制装置之间操作场景的示意图。如图1中示出，用户可通过移动终端300和控制装置100操作显示设备200。
在一些实施例中，控制装置100可以是遥控器，遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信，及其他短距离通信方式等，通过无线或其他有线方式来控制显示设备200。用户可以通过遥控器上按键，语音输入、控制面板输入等输入用户指令，来控制显示设备200。如：用户可以通过遥控器上音量加减键、频道控制键、上/下/左/右的移动按键、语音输入按键、菜单键、开关机按键等输入相应控制指令，来实现控制显示设备200的功能。
在一些实施例中，也可以使用智能设备300(如移动终端、平板电脑、计算机、笔记本电脑等)以控制显示设备200。例如，使用在智能设备上运行的应用程序控制显示设备200。
在一些实施例中，显示设备可以不使用上述的智能设备或控制设备接收指令，而是通过触摸或者手势等接收用户的控制。
在一些实施例中，显示设备200还可以采用除了控制装置100和智能设备300之外的方式进行控制，例如，可以通过显示设备200设备内部配置的获取语音指令的模块直接接收用户的语音指令控制，也可以通过显示设备200设备外部设置的语音控制设备来接收用户的语音指令控制。
在一些实施例中，显示设备200还与服务器400进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。服务器400可以是一个集群，也可以是多个集群，可以包括一类或多类服务器。
图2中示例性示出了根据示例性实施例中控制装置100的硬件配置框图。
在一些实施例中，控制装置100中包括控制器110、通信接口130、用户输入/输出接口140、供电电源180、存储器190中的至少一种。
图3中示例性示出了根据示例性实施例中显示设备200的硬件配置框图。
在一些实施例中，显示设备200中包括控制器250、调谐解调器210、通信器220、检测器230、显示器275，音频输出接口285、存储器260、供电电源290、接口组件240中的至少一种。
在一些实施例中控制器包括处理器，视频处理器，音频处理器，图形处理器，RAM，ROM，用于输入/输出的第一接口至第n接口。
显示器275包括用于呈现画面的显示屏组件，以及驱动图像显示的驱动组件，用于接收源自控制器输出的图像信号，进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控UI界面。
显示器275可为液晶显示器、OLED显示器、以及投影显示器，还可以为一种投影装置和投影屏幕。
通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如：通信器可以包括Wifi模块，蓝牙模块，有线以太网模块等其他网络通信协议芯片或近场通信协议芯片，以及红外接收器中的至少一种。显示设备200可以通过通信器220与外部控制设备100或服务器400建立控制信号和数据信号的发送和接收。
用户接口，可用于接收控制装置100(如：红外遥控器等)的控制信号。
检测器230用于采集外部环境或与外部交互的信号。例如，检测器230包括光接收器，用于采集环境光线强度的传感器；或者，检测器230包括图像采集器，如摄像头，可以用于采集外部环境场景、用户的属性或用户交互手势，再或者，检测器230包括声音采集器，如麦克风等，用于接收外部声音。
接口组件240可以包括但不限于如下：高清多媒体接口接口(HDMI)、模拟或数据高清分量输入接口(分量)、复合视频输入接口(CVBS)、USB输入接口(USB)、RGB端口等任一个或多个接口。也可以是上述多个接口形成的复合性的输入/输出接口。
调谐解调器210通过有线或无线接收方式接收广播电视信号，以及从多个无线或有线广播电视信号中解调出音视频信号，如以及EPG数据信号。
在一些实施例中，控制器250和调谐解调器210可以位于不同的分体设备中，即调谐解调器210也可在控制器250所在的主体设备的外置设备中，如外置机顶盒等。
控制器250，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器275上显示UI对象的用户命令，控制器250便可以执行与由用户命令选择的对象有关的操作。
在一些实施例中控制器包括中央处理器(Central Processing Unit，CPU)，视频处理器，音频处理器，图形处理器(Graphics Processing Unit，GPU)，RAM Random Access Memory，RAM)，ROM(Read-Only Memory,ROM)，用于输入/输出的第一接口至第n接口，通信总线(Bus)等中的至少一种。
用户可在显示器275上显示的图形用户界面(GUI)输入用户命令，则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者，用户可通过输入特定的声 音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。
“用户界面”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(Graphic User Interface，GUI)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。
如图4所示，本申请实施例中应用程序框架层包括管理器(Managers)，内容提供者(Content Provider)等，其中管理器包括以下模块中的至少一个：活动管理器(Activity Manager)用与和系统中正在运行的所有活动进行交互；位置管理器(Location Manager)用于给系统服务或应用提供了系统位置服务的访问；文件包管理器(Package Manager)用于检索当前安装在设备上的应用程序包相关的各种信息；通知管理器(Notification Manager)用于控制通知消息的显示和清除；窗口管理器(Window Manager)用于管理用户界面上的括图标、窗口、工具栏、壁纸和桌面部件。
活动管理器用于：管理各个应用程序的生命周期以及通常的导航回退功能，比如控制应用程序的退出(包括将显示窗口中当前显示的用户界面切换到系统桌面)、打开、后退(包括将显示窗口中当前显示的用户界面切换到当前显示的用户界面的上一级用户界面)等。
窗口管理器用于管理所有的窗口程序，比如获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕，控制显示窗口变化(例如将显示窗口缩小显示、抖动显示、扭曲变形显示等)等。
系统运行库层为上层即框架层提供支撑，当框架层被使用时，安卓操作系统会运行系统运行库层中包含的C/C++库以实现框架层要实现的功能。
内核层是硬件和软件之间的层。如图4所示，内核层至少包含以下驱动中的至少一种：音频驱动、显示驱动、蓝牙驱动、摄像头驱动、WIFI驱动、USB驱动、HDMI驱动、传感器驱动(如指纹传感器，温度传感器，触摸传感器、压力传感器等)等。
在一些实施例中，图4中的软件架构对应的软件程序和/或模块存储在图2或图3所示的第一存储器或第二存储器中。
在一些实施例中，以魔镜应用(拍照应用)为例，当遥控接收装置接收到遥控器输入操作，相应的硬件中断被发给内核层。内核层将输入操作加工成原始输入事件(包括输入操作的值，输入操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件，根据焦点当前的位置识别该输入事件所对应的控件以及以该输入操作是确认操作，该确认操作所对应的控件为魔镜应用图标的控件，魔镜应用调用应用框架层的接口，启动魔镜应用，进而通过调用内核层启动摄像头驱动，实现通过摄像头捕获静态图像或视频。
在一些实施例中，对于具备触控功能的显示设备，以分屏操作为例，显示设备接收用户作用于显示屏上的输入操作(如分屏操作)，内核层可以根据输入操作产生相应的输入事件，并向应用程序框架层上报该事件。由应用程序框架层的活动管理器设置与该输入操作对应的窗口模式(如多窗口模式)以及窗口位置和大小等。应用程序框架 层的窗口管理根据活动管理器的设置绘制窗口，然后将绘制的窗口数据发送给内核层的显示驱动，由显示驱动在显示屏的不同显示区域显示与之对应的应用界面。
智能电视是基于Internet应用技术，具备开放式操作系统与芯片，拥有开放式应用平台，可实现双向人机交互功能，集影音、娱乐、数据等多种功能于一体的电视产品，用于满足用户多样化和个性化需求。智能电视可以通过外接或内置功能设备，并结合应用程序扩展智能电视的功能。
例如，智能电视上可以设置有摄像头等图像采集设备，通过摄像头获取用户图像，并配合“肢体运动”应用程序，使智能电视能够实时显示用户身体图像。当用户肢体动作发生变化时，应用程序会也会显示变化后的图像，并通过检测程序对肢体动作的形态进行检测、矫正，达到运动指导的效果。
本申请实施例中，如图5所示，摄像头231作为一种检测器230可以内置或外接显示设备200上，在启动运行后，摄像头231可以检测图像数据。摄像头231可以通过接口部件与控制器250连接，从而将检测的图像数据发送给控制器250进行处理。
在一些示例性的实施方式中，为了检测图像，摄像头231可以包括镜头组件和云台组件。
具体的，镜头组件可以是基于CCD(Charge Coupled Device，电荷耦合器件)或CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)的图像采集元件，以根据用户图像生成电信号的图像数据。镜头组件设置在云台组件上，云台组件可以带动镜头组件进行转动，以便更改镜头组件的朝向。云台组件可以包括至少两个转动部件，以分别实现带动镜头组件沿数值方向进行左右转动，以及沿水平方向进行上下转动。每个转动部件可以连接电机，以通过电机驱动其自动进行转动。
例如，如图6所示，云台组件可以包括呈竖直状态的第一转轴和呈水平状态的第二转轴，第一转轴设置在显示器275的顶部，与显示器275的顶部可转动地连接；第一转轴上还设有固定件，固定件的顶部可转动的连接有所述第二转轴，第二转轴连接镜头组件，以带动镜头组件进行转动。第一转轴和第二转轴上分别连接有电机以及传动部件。电机可以是能够支持自动控制转角的伺服电机、步进电机等。当获取控制指令后，两个电机可以分别进行旋转以驱动第一转轴和第二转轴进行转动，从而调节镜头组件的朝向。
随着镜头组件的不同朝向，镜头组件可以对位于不同位置上的用户进行视频拍摄，从而获取用户图像数据。显然，不同的朝向对应于不同区域的图像采集，当用户在相对于显示器275正前方位置偏左时，可以通过云台组件上的第一转轴带动固定件以及镜头组件向对应的方向转动，以使拍摄的图像中，用户人像位置位于显示器呈现画面内区域；而当用户躯体成像位置偏下时，可以通过云台组件中的第二转轴带动镜头组件向上转动，以抬高拍摄角度，使用户人像位置位于画面的中心区域。
基于上述摄像头231，控制器250可以通过分析摄像头231采集的图像内容，识别出图像中的人像区域，并根据人像区域确定用户位置，从而根据用户位置控制调整摄像头231进行转动，以使摄像头231拍摄的图像中人像始终位于合适的区域内，实现摄像头231对人物的追踪。
在一些示例性的实施方式中，由于显示设备在房间中的位置比较固定，用户舒适的观看距离较远，因此当两人或多人视频聊天时，对端设备采集的全局图像中，对端 用户尤其是对端用户的面部只占整幅图像的一小部分，从而使本端设备呈现给本端用户的对端用户及其面部很小，加之本端用户与显示设备较远的观看距离，导致本端用户实际观看到的对端用户及其面部更小。若为多人聊天，多个视频窗口在本端屏幕上的同时呈现，导致每一视频窗口中的目标都被进一步缩小，严重影响用户的视频聊天体验。另外，当对端用户移动到更远的位置时，上述问题则将更加严重。
基于上述情况，本申请实施例示出一种显示设备，可以根据人物位置对摄像头采集的图像进行裁剪，并在裁剪后的图像在显示器上输出。
具体包括：
显示器，用于呈现用户界面；
摄像头231，所述摄像头231被配置为采集第一宽高比的图像数据；
控制器250，所述控制器250被配置为接收从用户输入接口输入的指示启动所述摄像头开机或关闭的控制信号，
响应于启动所述摄像头的控制信号，接收从摄像头231输入的图像数据；
根据图像数据中目标物的位置，调整裁剪框的位置，将调整后的图像画面输出至显示器275，所述调整后的图像画面为调整后的裁剪框在所述区域对应的图像数据，所述裁剪框的宽高比为第二宽高比，所述第一宽高比不同于所述第二宽高比。
具体的，根据用户的选定获取目标物的位置：显示器275，用于显示初始画面以及裁剪框，初始状态下裁剪框的位置位于显示器的中心；所述显示器275被配置为呈现图像界面，用户界面，以及在所述用户界面中用以指示在用户界面中项目被选择的选择器。
控制器250自动获取目标物的位置，本申请实施例中控制器250可以通过人脸识技术得到目标物的位置，具体的，人脸特征点的位置信息可以在人脸检测中定位人脸、验证人脸检测的结果以及精确指明人脸位置。
基于ASM的人脸特征点定位方法。在本申请实施例示出的技术方案中可采用ASM(Active Shape Model，活动形状模型)定位，也可以采用AAM(Active Appreance Model，活动外观模型)定位。人脸所在位置的中心点即为目标物的位置。
具体的，裁剪框的调整过程，首先，确定初始状态下，裁剪框的中心位置与目标物的位置是否一致，如果一致则无需调整裁剪框的位置，如果不一致根据所述目标物的位置调整裁剪框的位置。
如果人物坐在位置距离摄像头的距离在一定的范围内，如在图像可采集到的范围内时，不进行摄像头的转动。也就是说，仅仅调整裁剪框在固定摄像头中心下采集画面中的相对位置。而当检测到用户在摄像头拍摄图像内的移动超出该范围内时，则需要通过云台组件带动摄像头的旋转以实现人像跟随。
在本申请实施例示出的技术方案中首先建立坐标轴，所述坐标轴以图像数据左下角为原点，图像数据高方向上的延长线为Y轴，图像数据宽方向上的延长线为X轴，具体的，请参阅图7。可以看出，坐标轴的Y轴为图像数据高方向上的延长线。坐标轴的X轴为图像数据宽方向上的延长线。
为了方便计算本申请实施例示出的技术方案可以采用坐标轴原点(0，0)作为初始状态下，裁剪框左下角的坐标。
可选择的，在用户利用显示设备的摄像头231进行图像采集的时候，用户更倾向 于正面对摄像头231的中心。在此情况下，在图像数据的中心位置裁剪出适用于显示器的显示画面，可以保证显示画面中人脸占整个画面的比重较大。
为了满足上述需求，本申请实施例示出的技术方案所述初始状态下，裁剪框左下角的坐标为(x，y)，其中，裁剪框左下角的坐标在本申请中也称之为起点坐标；
X＝(Wc-Wt)/2；Y＝(Hc-Ht)/2；
其中，Wc为图像数据的宽，Hc为图像数据的高；
其中，Wt为裁剪框的宽，所述裁剪框的宽与显示器的分辨率的宽一致，Ht为裁剪框的高，所述裁剪框的高与显示器的分辨率的高一致。
具体的，请参阅图8，图中坐标中外侧方形为图像数据，设图像数据的宽Wc，图像数据的高为Hc，图中坐标中内侧宽方形为裁剪框，裁剪框的宽Wt，裁剪框的高为Ht。
初始状态下的裁剪框左下角的坐标(X，Y)，X＝(Wc-Wt)/2；Y＝(Hc-Ht)/2；此时可以保证显示画面中人脸占整个画面的比重较大。
本申请实施例示出的技术方案通过判断目标物位置的坐标(第二中心坐标)与裁剪框的中心坐标(第一中心坐标)是否一致，进而确定是否需要移动裁剪框的位置。
具体的，首先，控制器250获取第二中心坐标，第二中心坐标的获取方式可以根据用户的选定获取，也可以是控制器250自动获取。如果是控制器250自动获取，请参阅图9，其中定位到人脸所在区域为区域1，那么区域1的中心对即为第二中心点。
然后，图像处理器303判断所述第二中心坐标与所述第一中心坐标是否重合。如果第二中心坐标与所述第一中心坐标重合，可将裁剪框在所述区域对应的图像数据，输出给显示器275。如果不是，根据第二中心坐标，调整裁剪框的位置，输出调整后的图像画面至显示器275，所述调整后的图像画面为调整后的裁剪框在所述区域对应的图像数据。
在一些示例性的实施方式中，在不考虑摄像头采集图像中人物区域的比例，控制器可直接将摄像头采集的画面呈现在显示器上。或者，摄像头可通过自动调节焦虑的方式放大拍摄人物。
在另一些示例性的实施方式中，在当前场景中存在多个人物时，摄像头231所拍摄的图像中可能包含多个人像区域，导致控制器250无法根据多个人像区域位置针对性的计算摄像头231的转动角度，例如摄像头拍摄到两个人，一个朝左运动，一个朝右运动，摄像头无法确定到底是朝左还是朝右转动，无法实现对人物的追踪。
为了实现对至少一个人物的追踪，还可以通过锁定任一人像区域，使得控制器250根据被锁定的人像区域控制摄像头231转动。但在部分应用场景中，应用程序启动摄像头231的目的是为了获取多人场景图像，通过锁定方式获得的图像并不是应用程序要获得的图像类型。例如，被锁定的人物移动至人群外区域，则摄像头231也跟随拍摄人群外区域，此时拍摄的图像中并不含有多人场景内容。
为了适应多人场景，本申请的部分实施例还提供一种摄像头追踪方法，包括以下步骤：
获取摄像头拍摄的校对图像。
在摄像头231启动运行后，控制器250可以通过摄像头231获取校对图像。所述校对图像即摄像头231对当前场景进行拍摄而获得的图像。显然，在当前场景为多人 场景时，摄像头231所拍摄的校对图像中应包括多个人像。
其中，摄像头231的启动可以为手动启动或自动启动。手动启动即用户通过遥控器等控制装置100在操作界面中选择摄像头231对应的图标后，完成启动。自动启动可以是用户在执行某些需要调用摄像头231的交互动作后，自动启动。例如，用户在“我的应用”界面中选择“照镜子”应用，由于该应用需要调用摄像头231，因此在启动运行该应用的同时，也启动摄像头231。
在所述校对图像中识别人脸区域。
在获取摄像头231拍摄的校对图像后，控制器250可以通过AI算法等图像分析程序，在校对图像中识别人脸区域。其中，具体的识别方式可以根据所适应的场景以及所拍摄的校对图像特点进行设定。
具体为：先通过图形匹配获取所述校对图像中与脸上器官形状相似的关键点；再根据间隔距离符合识别范围的关键点归类，生成关键点集合；再获取所述关键点集合中处于边界位置上的关键点坐标；从而按照边界位置上的关键点坐标划定人脸区域。
例如，可以通过在校对图像中进行图形匹配的方式，获取与脸上器官形状相似的内容，并标记为关键点。经过对多个区域上的内容形状进行匹配，确定多个脸部关键点，从而确定整个人脸区域所处的位置。
在识别出人脸区域后，可以通过特定的区域划分形式对识别出的多个人脸区域进行标记。例如，以识别出的两个耳朵点作为宽度，以额头点和下巴点之间的距离作为高度，将识别出的人脸区域进行标记。另外，在部分应用程序中，还可以将人脸区域实时显示在用户界面中。例如，如图10所示，可以通过与人脸区域相同大小的方框，在显示的画面中将识别出的人脸区域进行框选显示。
显然，识别人脸区域的方式还可以包括其他形式。例如，可以按照设定采样精度，将校对图像划分为多个检测分区，通过分别计算每个分区中像素值的HASH值，再通过计算的HASH值与预设人脸图形的样本HASH值进行比较，当计算的HASH值与样本HASH值差异在合理的范围内时，确定对应检测分区中包含人脸图案。而当人脸具有不同大小时，可以通过多个检测分区进行拼接，从而确定出整个人脸区域位置。
获取所述摄像头231的当前成像参数，以及根据所述成像参数计算每个人脸区域对应的目标距离。
在识别出检测图像中的人脸区域后，控制器250还可以根据每个人脸区域中的图像大小，结合摄像头231镜头组件的焦距等成像参数以及人像中特定关键点之间的距离，可以计算每个人脸区域对应人物与摄像头231镜头组件之间的距离。其中，焦距是光学系统中衡量光的聚集或发散的度量方式，是指透镜中心到光聚集焦点的距离。由于摄像头231的镜头组件的焦距等成像参数会发生改变，因此在计算目标距离时，可以通过摄像头231获取当前成像参数。
如图11所示，通过获取摄像头231镜头组件的当前焦距以及摄像头231，可以通过被拍摄物体某一部分的长度，可以按照下式推导出被拍摄物体与镜头组件之间的距离。
d＝f l×L/l
式中，d为被拍摄物体与镜头组件之间的距离；f l为镜头组件的当前焦距；L为被拍摄物体长度；l为影像大小。
显然为了计算人物与镜头组件之间的距离，上式中被拍摄物体长度可以通过人脸中特定两个器官之间的距离进行计算。如人的头部(或者眼角)宽度，无论种族、性别、身高等因素，其差异较小。因此可以采用眼角宽度作为人体已知的拍摄物体长度，同时辅助与年龄、性别信息，调整拍摄物体长度的数值，可以提高精度。
影像大小可以通过图像中的图形尺寸进行表示，例如人脸眼角成像宽度可以通过摄像头拍摄的图像分辨率及眼角宽度在图像中的像素数计算得出。
在一些实施例中，当根据所述成像参数计算每个人脸区域对应的目标距离时，还可以通过图像识别算法，确定识别出的每个人脸区域所对应的年龄、性别等辅助信息。具体的图像识别算法可以通过启用AI识别功能，将人脸区域对应的图像内容输入到AI模型中，从而通过AI模型获取输入结果，确定人像区域对应的年龄、性别等信息。
在确定辅助信息后，控制器250还可以通过调用数据库，并从数据库中匹配出相应年龄、性别等信息对应的面部尺寸范围，从而确定更准确的被拍摄物体长度，以便于计算人脸区域对应的目标距离。其中，控制器250调用的数据库可以由统计数据组成的数据表，数据库可预先存储在显示设备200或服务器400中，在控制器250执行根据所述成像参数计算每个人脸区域对应的目标距离的步骤时调用。
提取或者追踪目标区域。
如图12a和图12b，目标区域包括至少一个人脸区域，可以是由多个人脸区域构成的一个较大的区域。
如图12c,对比追踪目标区域与校对图像中的预设区域，从而确定当前多用户所处的位置是否在预设区域中。
可以在追踪目标区域中确定一个用于表征多用户所处位置的点，例如可以提取追踪目标区域的中心位置对追踪目标区域位置进行表示。例如，通过获取追踪目标区域水平左右两侧的边界x轴位置坐标，计算追踪目标区域的中心位置，即中心位置x轴坐标x 0＝(x 1+x 2)/2。
由于本申请实施例中摄像头231可以包括两个左右方向旋转和上下方向旋转，因此在计算获得中心位置的x轴坐标后，可以先对x轴坐标进行判断，确定中心位置的x轴坐标是否位于整个图像的中心位置。例如，当校对图像为(1920,1080)的1080P图像时，校对图像的中心点水平坐标为960。
如图12d所示，在确定追踪目标区域的中心位置和图像中心点后，可以通过对比中心位置和图像中心点的值确定追踪目标区域是否位于预设判断区域中。为了避免频繁调整带来的处理负荷增加，以及允许部分检测误差。根据实际应用条件要求以及摄像头231的水平方向可视角度，可以预设一个允许坐标区间，当目标区域的中心位置位于允许坐标区间内，则确定当前追踪目标区域在预设区域中。
例如，最大允许坐标误差为100像素，则允许坐标区间为[860，1060]，当检测获得的追踪目标区域的中心位置坐标在这一区间内时，确定追踪目标区域在预设判断区域中，即计算获得的追踪目标区域的中心位置坐标与960位置相差不大；当检测获得的追踪目标区域的中心位置坐标不在这一区间内时，确定当前追踪目标区域不在预设区域中，即计算获得的追踪目标区域的中心位置坐标与960位置相差较大。
在对比追踪目标区域与校对图像中的预设区域后，可以根据对比结果确定是否需要进行人像追踪，如果当前追踪目标区域的中心位置不在预设区域内，控制摄像头231 旋转，以使多用户成像位置位于画面中部区域，。如果当前追踪目标区域的中心位置在预设区域内，则无需控制摄像头231旋转，维持摄像头的当前朝向即可满足图像采集要求。
在当前追踪目标区域的中心位置不在预设区域内时，为了控制摄像头231进行旋转，控制器250可以根据用户位置计算旋转角度量，并根据旋转角度量生成控制指令，以控制摄像头231进行旋转。
具体地，在确定当前追踪目标区域的中心位置不在预设区域内以后，控制器250可以先计算追踪目标区域的中心位置和图像区域的中心点之间的距离；再根据计算的距离，结合摄像头231镜头组件的最大视角以及图像尺寸计算获得旋转角度；最后将计算的旋转角度以控制指令的形式发送给摄像头231，使得摄像头231中电机带动各转轴进行转动，从而调整镜头组件的朝向。
在一些示例性实施方式中，由于图像检测支持多人人物识别，对于多人场景，都是以尽量囊括检测到的多人为主。但在复杂的多人环境，如会展、卖场以及多人家庭环境，摄像头采集到多个人物，很多并不关注该产品的人在背后走来走去，只有站在摄像头前人脸相对的较大的是真正关注该产品的人。以及摄像头前有快速且频繁运动的人，存在部分人需要聚焦而其他人走动等造成的摄像头频繁调整带来的体验问题。
因此，还需要在多个人中，还需要去除人脸过于小，或者快速且频繁运动的人，以得到一个相对稳定的图像。
具体的，在提取或者目标区域时，根据所述人脸区域面积以及所述目标距离，为每个人脸区域设置权重。
对于检测到的多个人脸区域，可以按照区域的大小进行排序，并根据排序结果设置权重。设置的权重可以由人脸区域面积和目标距离综合计算，也可以根据人脸区域面积和目标距离分别计算。通常，可以根据调用摄像头231的应用程序需求，将人脸区域面积较大的权重设置的较高。同样，可以根据计算的目标距离，对人脸区域由近及远进行排序。显然，距离近的权重大。
权重的设定可以通过预先设定多个面积和距离的设定区间，每个设定区间对应一个权重。例如，面积设定区间和距离设定区间与权重的对应关系可以如下表：
面积区间 权重1 距离区间 权重2
0-20000px 0.05 0-1m 0.5
20000-40000 0.1 1-2m 0.4
…… …… …… ……
通过计算获得人脸区域面积和目标距离后，分别将人脸区域面积与面积设定区间进行对比、以及将目标距离与距离设定区间进行对比，从而确定人脸区域面积和目标距离所归属的设定区间，以确定权重。例如，当人脸区域所占像素点数量为30000px，且计算获得的距离值为1.5m，则确定当前人脸区域对应的权重1为0.1，权重2为0.4，通过权重1和权重2可以计算当前人脸区域的总权重值为0.1+0.4＝0.5。
显然，根据不同的应用场景，权重的设定可以设定为不同的数值。并且可以根据实际处理效果需要，将人脸区域面积对应的权重与目标距离对应的权重进行加权求和，得到综合权重。
根据每个人脸区域的权重，提取追踪目标区域。
其中，追踪目标区域包括至少一个人脸区域，可以是由多个人脸区域构成的一个较大的区域。为了提取出追踪目标区域，在可以设置一个权重判断阈值，并将每个人脸区域对应的权重与权重阈值进行比较。如果人脸区域对应的权重大于或等于权重阈值，则保留该人脸区域；如果人脸区域对应的权重小于权重阈值，则删除该人脸区域。
通过遍历识别出的所有人脸区域对应的权重并进行判断，从而将权重大于或等于权重阈值的人脸区域进行保留，即保留人脸区域面积较大或目标距离较近的人脸区域。将面积较小以及目标距离较小的人脸区域进行删除。再根据剩余的人脸区域位置，确定一个包裹剩余人脸区域的预设形状范围，形成追踪目标区域。
例如，如图13a所示，通过识别程序识别出校对图像中包括5个人脸区域，通过计算权重，得到每个人脸区域权重分别为：W1、W2、W3、W4、W5。通过分别与权重阈值Wt进行对比，确定W1≥Wt、W3≥Wt、W4≥Wt；而W2＜Wt、W5＜Wt。即对人脸区域1、人脸区域3以及人脸区域4进行保留，对人脸区域2和人脸区域5进行删除，如图13b所示。在将人脸区域2和人脸区域5删除后，再通过遍历人脸区域1、人脸区域3以及人脸区域4的边界区域，通过一个矩形范围将人脸区域1、人脸区域3以及人脸区域4包裹在内，从而形成追踪目标区域，如图13c所示。
对比追踪目标区域与校对图像中的预设区域，从而确定当前多用户所处的位置是否在预设区域中。
可以在追踪目标区域中确定一个用于表征多用户所处位置的点，例如可以提取追踪目标区域的中心位置对追踪目标区域位置进行表示。例如，通过获取追踪目标区域水平左右两侧的边界x轴位置坐标，计算追踪目标区域的中心位置，即中心位置x轴坐标x 0＝(x 1+x 2)/2。
由于本申请实施例中摄像头231可以包括两个左右方向旋转和上下方向旋转，因此在计算获得中心位置的x轴坐标后，可以先对x轴坐标进行判断，确定中心位置的x轴坐标是否位于整个图像的中心位置。例如，当校对图像为(1920,1080)的1080P图像时，校对图像的中心点水平坐标为960。
如图13d所示，在确定追踪目标区域的中心位置和图像中心点后，可以通过对比中心位置和图像中心点的值确定追踪目标区域是否位于预设判断区域中。为了避免频繁调整带来的处理负荷增加，以及允许部分检测误差。根据实际应用条件要求以及摄像头231的水平方向可视角度，可以预设一个允许坐标区间，当目标区域的中心位置位于允许坐标区间内，则确定当前追踪目标区域在预设区域中。
例如，最大允许坐标误差为100像素，则允许坐标区间为[860，1060]，当检测获得的追踪目标区域的中心位置坐标在这一区间内时，确定追踪目标区域在预设判断区域中，即计算获得的追踪目标区域的中心位置坐标与960位置相差不大；当检测获得的追踪目标区域的中心位置坐标不在这一区间内时，确定当前追踪目标区域不在预设区域中，即计算获得的追踪目标区域的中心位置坐标与960位置相差较大。
在对比追踪目标区域与校对图像中的预设区域后，可以根据对比结果确定是否需要进行人像追踪，如果当前追踪目标区域的中心位置不在预设区域内，控制摄像头231旋转，以使多用户成像位置位于画面中部区域，如图13e所示。如果当前追踪目标区域的中心位置在预设区域内，则无需控制摄像头231旋转，维持摄像头的当前朝向即可满足图像采集要求。
在当前追踪目标区域的中心位置不在预设区域内时，为了控制摄像头231进行旋转，控制器250可以根据用户位置计算旋转角度量，并根据旋转角度量生成控制指令，以控制摄像头231进行旋转。
具体地，在确定当前追踪目标区域的中心位置不在预设区域内以后，控制器250可以先计算追踪目标区域的中心位置和图像区域的中心点之间的距离；再根据计算的距离，结合摄像头231镜头组件的最大视角以及图像尺寸计算获得旋转角度；最后将计算的旋转角度以控制指令的形式发送给摄像头231，使得摄像头231中电机带动各转轴进行转动，从而调整镜头组件的朝向。
例如，如图14、图15所示，摄像头231的预览分辨率为1920x1080，图像的水平宽度：imgWidth＝1920；图像水平中心位置坐标x＝960；追踪目标区域的中心位置坐标为(x 0，y 0)水平中心位置坐标为x 0；水平视角为hfov；则追踪目标区域的中心位置和图像区域的中心点距离：hd＝x–x 0，则摄像头231在水平方向上的旋转角度按照下式可计算获得：
通过上式，可以计算出摄像头231需要进行调节的角度，控制器250再对追踪目标区域的中心位置与图像区域中心点的坐标数值进行比较，确定追踪目标区域的中心位置相对于图像区域中心点的方位，从而确定摄像头231的旋转方向。即，如果追踪目标区域的中心位置水平坐标比图像中心水平坐标大，则向右转动摄像头231；反之向左转动摄像头231。本申请实施例中，摄像头231可以采用后置摄像头模式，使得屏幕显示图像与摄像头拍摄图像是左右镜像关系，即水平角度旋转是左右相反的。
在确定旋转角度和方向以后，控制器250可以将旋转角度和方向数据进行封装，生成控制指令，并将控制指令发送给摄像头231。摄像头231中的电机可以在接收到控制指令后进行转动，从而通过转轴带动镜头组件转动，调整镜头组件的朝向。
需要说明的是，在上述实施例中，是以水平方向坐标为例进行判断、调整，实际应用中还可以通过比较追踪目标区域的中心位置与图像区域中心点位置之间的竖直方向差异，对镜头组件也进行同样的调整，具体的调整方法与水平方向的调整方法相同，即在确定当前用户位置不在预设区域内以后，控制器250可以先计算追踪目标区域的中心位置和图像区域的中心点之间的竖直距离；再根据计算的竖直距离，结合摄像头231镜头组件的竖直方向最大视角以及图像尺寸计算获得旋转角度；最后将计算的旋转角度以控制指令的形式发送给摄像头231，使得摄像头231中电机带动第二转轴进行转动，从而调整镜头组件的朝向。
在一些实施例中，为了实现对多人区域进行追踪，在向摄像头发送旋转指令后，控制器250还可以周期性地通过摄像头获取校对图像，并在校对图像中检测追踪目标区域，从而在追踪目标区域不在预设的区域内时，根据追踪目标区域的位置再生成追踪指令，最后将追踪指令发送给摄像头231。通过周期性的获取校对图像，可以在使用过程中，持续对追踪目标区域进行检测，并进行调整，以追踪主要人物所处的位置。
由以上技术方案可知，上述实施例中提供的摄像头追踪方法，可以通过获取摄像头231拍摄的校对图像，并结合摄像头231的当前成像参数，在校对图像中提取追踪目标区域，从而向摄像头231发送旋转指令，以调整摄像头231的拍摄方向。该方法 可以改进图像识别过程中检测到的多人场景的检测过程，并根据目标距离、人脸区域面积等设置权重比例，从而根据权重比例对检测到的人脸区域进行筛检，以确定追踪目标区域，最后确定追踪目标区域与图像中预设区域的偏差，并根据判断结果调整摄像头231的朝向，实现对筛检后的人物进行追踪。
需要说明的是，为了实现对多人区域的追踪，控制器250可以按照设定的频率对摄像头231拍摄的多张图像进行进行上述分析。通过对多张图像进行分析，可以针对多个时刻上人物区域的位置进行判断，从而持续调整摄像头231，以使拍摄到的多人人像始终位于图像的合理区域内。显然，分析的频率越高，摄像头231对人物的追踪越及时，但分析过程所需要的处理资源量也越大。因此，分析的频率可以按照摄像头231的控制精度和控制器250的处理能力进行设定。
基于上述摄像头追踪方法，在一些实施例中，还提供一种显示设备200，包括：显示器275、接口组件以及控制器250；其中，显示器275被配置为显示用户界面；接口组件被配置为连接摄像头231，摄像头231可转动拍摄角度，被配置为拍摄图像；控制器250被配置为执行以下程序步骤：获取摄像头231拍摄的校对图像；根据摄像头231的当前成像参数，在校对图像中提取追踪目标区域，追踪目标区域为根据多个人脸图案权重计算获得的规则形状区域；向摄像头231发送旋转指令，以调整摄像头231的拍摄方向，使追踪目标区域位于图像中心。
在上述实施例中，可以通过接口组件外接摄像头231，并结合显示设备200完成上述摄像头追踪方法。在一些实施例中，还可以直接将摄像头231内置在显示设备200中，即显示设备200包括显示器275、摄像头231以及控制器250，其中，摄像头231可以直接连接控制器250，从而直接通过摄像头231获取校对图像，并根据校对图像上的检测结果，直接控制摄像头231进行旋转，从而完成摄像头追踪方法。
本申请提供的实施例之间的相似部分相互参见即可，以上提供的具体实施方式只是本申请总的构思下的几个示例，并不构成本申请保护范围的限定。对于本领域的技术人员而言，在不付出创造性劳动的前提下依据本申请方案所扩展出的任何其他实施方式都属于本申请的保护范围。

Claims (10)

  1. 一种显示设备，其特征在于，包括：
    显示器；
    接口组件，被配置为连接摄像头，所述摄像头可转动拍摄角度，被配置为拍摄图像；
    控制器，被配置为：
    获取所述摄像头拍摄的校对图像；
    根据所述摄像头的当前成像参数，在所述校对图像中提取追踪目标区域，所述追踪目标区域为根据多个人脸图案权重计算获得的规则形状区域；
    向所述摄像头发送旋转指令，以调整所述摄像头的拍摄方向，使所述追踪目标区域位于图像中心区域内。
  2. 根据权利要求1所述的显示设备，其特征在于，根据所述摄像头的当前成像参数，在所述校对图像中提取追踪目标区域的步骤中，所述控制器被进一步配置为：
    获取所述校对图像中与脸上器官形状相似的关键点；
    根据间隔距离符合识别范围的关键点归类，生成关键点集合；
    提取所述关键点集合中处于边界位置上的关键点坐标；
    按照边界位置上的关键点坐标划定人脸区域。
  3. 根据权利要求1所述的显示设备，其特征在于，根据所述摄像头的当前成像参数，在所述校对图像中提取追踪目标区域的步骤中，所述控制器被进一步配置为：
    获取所述摄像头的当前成像参数；
    根据所述成像参数计算每个人脸区域对应的目标距离；
    根据所述人脸区域面积以及所述目标距离，为每个人脸区域设置权重；
    根据每个人脸区域的权重，提取追踪目标区域。
  4. 根据权利要求3所述的显示设备，其特征在于，为每个人脸区域设置权重的步骤中，所述控制器被进一步配置为：
    获取面积设定区间和距离设定区间；
    对比人脸区域面积与面积设定区间，以及对比目标距离与距离设定区间；
    根据人脸区域面积和目标距离所归属的设定区间，计算当前人脸区域的权重。
  5. 根据权利要求3所述的显示设备，其特征在于，提取追踪目标区域的步骤中，所述控制器被进一步配置为：
    获取权重判断阈值；
    如果人脸区域对应的权重大于或等于权重阈值，则保留所述人脸区域；
    如果人脸区域对应的权重小于权重阈值，则删除所述人脸区域；
    生成包含剩余的所述人脸区域的预设形状范围，获得追踪目标区域。
  6. 根据权利要求1所述的显示设备，其特征在于，在所述校对图像中提取追踪目标区域的步骤中，所述控制器被进一步配置为：
    获取追踪目标区域的边界位置坐标；
    根据所述边界位置坐标计算追踪目标区域的中心位置；
    对比追踪目标区域的中心位置和图像中心点坐标的差值；
    如果所述差值在预设判断区间内，控制显示器实时显示所述摄像头拍摄的图像；
    如果所述差值在预设判断区间内，根据所述坐标差生成旋转指令，以及向所述摄像头发送所述旋转指令。
  7. 根据权利要求6所述的显示设备，其特征在于，根据所述坐标差生成旋转指令的步骤中，所述控制器被进一步配置为：
    计算追踪目标区域的中心位置和图像区域的中心点之间的距离和位置关系；
    根据所述位置关系计算旋转方向；
    根据所述距离，结合摄像头镜头组件的最大视角以及图像尺寸计算旋转角度；
    将所述旋转方向和所述旋转角度封装至所述旋转指令。
  8. 根据权利要求1所述的显示设备，其特征在于，向所述摄像头发送旋转指令的步骤后，所述控制器被进一步配置为：
    周期性通过摄像头获取校对图像；
    检测追踪目标区域在所述校对图像中的位置；
    如果所述追踪目标区域不在预设区域内，根据追踪目标区域位置生成追踪指令，所述追踪指令包括旋转方向和旋转角度；
    向所述摄像头发送所述追踪指令。
  9. 一种显示设备，其特征在于，包括：
    显示器；
    摄像头，可转动拍摄角度，被配置为拍摄图像；
    控制器，被配置为：
    获取所述摄像头拍摄的校对图像；
    根据所述摄像头的当前成像参数，在所述校对图像中提取追踪目标区域，所述追踪目标区域为根据多个人脸图案权重计算获得的规则形状区域；
    向所述摄像头发送旋转指令，以调整所述摄像头的拍摄方向，使所述追踪目标区域位于图像中心区域内。
  10. 一种摄像头追踪方法，其特征在于，应用于显示设备，所述显示设备包括显示器和控制器，所述显示设备内置或通过接口组件外接摄像头，所述摄像头可转动拍摄角度，所述摄像头追踪方法包括：
    获取所述摄像头拍摄的校对图像；
    根据所述摄像头的当前成像参数，在所述校对图像中提取追踪目标区域，所述追踪目标区域为根据多个人脸图案权重计算获得的规则形状区域；
    向所述摄像头发送旋转指令，以调整所述摄像头的拍摄方向，使所述追踪目标区域位于图像中心区域内。
CN202180064646.4A 2020-08-21 2021-08-16 显示设备及摄像头追踪方法 Pending CN116472715A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
CN202010848922 2020-08-21
CN2020108489223 2020-08-21
CN202110013376.6A CN112866773B (zh) 2020-08-21 2021-01-06 一种显示设备及多人场景下摄像头追踪方法
CN2021100133766 2021-01-06
PCT/CN2021/112797 WO2022037535A1 (zh) 2020-08-21 2021-08-16 显示设备及摄像头追踪方法

Publications (1)

Publication Number Publication Date
CN116472715A true CN116472715A (zh) 2023-07-21

Family

ID=76004304

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110013376.6A Active CN112866773B (zh) 2020-08-21 2021-01-06 一种显示设备及多人场景下摄像头追踪方法
CN202180064646.4A Pending CN116472715A (zh) 2020-08-21 2021-08-16 显示设备及摄像头追踪方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202110013376.6A Active CN112866773B (zh) 2020-08-21 2021-01-06 一种显示设备及多人场景下摄像头追踪方法

Country Status (3)

Country Link
US (1) US20230209204A1 (zh)
CN (2) CN112866773B (zh)
WO (1) WO2022037535A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117058738A (zh) * 2023-08-07 2023-11-14 深圳市华谕电子科技信息有限公司 移动执法设备移动的远距离人脸检测及识别方法和系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112866773B (zh) * 2020-08-21 2023-09-26 海信视像科技股份有限公司 一种显示设备及多人场景下摄像头追踪方法
CN113778233B (zh) * 2021-09-16 2022-04-05 广东魅视科技股份有限公司 一种操控显示设备的方法、装置及可读介质
CN117651122B (zh) * 2024-01-25 2024-04-19 浙江华创视讯科技有限公司 图像采集过程中的切换角度确定方法、设备及存储介质

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI226020B (en) * 2003-05-16 2005-01-01 Benq Corp Device and method to determine exposure setting for image of scene with human-face area
US20100157135A1 (en) * 2008-12-18 2010-06-24 Nokia Corporation Passive distance estimation for imaging algorithms
CN101807300B (zh) * 2010-03-05 2012-07-25 北京智安邦科技有限公司 一种目标碎片区域融合的方法及装置
US8233789B2 (en) * 2010-04-07 2012-07-31 Apple Inc. Dynamic exposure metering based on face detection
JP5862410B2 (ja) * 2012-03-28 2016-02-16 沖電気工業株式会社 人数集計サーバ、通行人数集計装置、及び通行人数集計システム
CN105812652B (zh) * 2015-07-29 2019-11-26 维沃移动通信有限公司 一种终端的对焦方法及终端
CN106161953A (zh) * 2016-08-12 2016-11-23 零度智控（北京）智能科技有限公司 一种跟踪拍摄方法和装置
CN107633208B (zh) * 2017-08-17 2018-12-18 平安科技（深圳）有限公司 电子装置、人脸追踪的方法及存储介质
CN108154093B (zh) * 2017-12-13 2022-03-01 北京小米移动软件有限公司 人脸信息识别方法及装置、电子设备、机器可读存储介质
CN108733280A (zh) * 2018-03-21 2018-11-02 北京猎户星空科技有限公司 智能设备的焦点跟随方法、装置、智能设备及存储介质
CN109389093A (zh) * 2018-10-23 2019-02-26 同济大学 基于人脸识别的面向型追踪方法
CN109635657B (zh) * 2018-11-12 2023-01-06 平安科技（深圳）有限公司 目标跟踪方法、装置、设备及存储介质
WO2020102978A1 (zh) * 2018-11-20 2020-05-28 华为技术有限公司 图像处理方法及电子设备
CN109348088B (zh) * 2018-11-22 2021-05-11 Oppo广东移动通信有限公司 图像降噪方法、装置、电子设备及计算机可读存储介质
CN109977770B (zh) * 2019-02-21 2023-06-27 安克创新科技股份有限公司 一种自动跟踪拍摄方法、装置、系统及存储介质
CN110099219B (zh) * 2019-06-13 2021-10-08 Oppo广东移动通信有限公司 全景拍摄方法及相关产品
CN110460772B (zh) * 2019-08-14 2021-03-09 广州织点智能科技有限公司 摄像头自动调节方法、装置、设备和存储介质
CN110493518A (zh) * 2019-08-15 2019-11-22 移康智能科技（上海）股份有限公司 一种安防摄像头的图像采集方法
CN111131693B (zh) * 2019-11-07 2021-07-30 深圳市艾为智能有限公司 一种基于多曝光人脸检测的人脸图像增强方法
CN111078926A (zh) * 2019-12-19 2020-04-28 青岛海信电器股份有限公司 一种人像缩略图像的确定方法及显示设备
CN111368678B (zh) * 2020-02-26 2023-08-25 Oppo广东移动通信有限公司 图像处理方法及相关装置
CN112866773B (zh) * 2020-08-21 2023-09-26 海信视像科技股份有限公司 一种显示设备及多人场景下摄像头追踪方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117058738A (zh) * 2023-08-07 2023-11-14 深圳市华谕电子科技信息有限公司 移动执法设备移动的远距离人脸检测及识别方法和系统
CN117058738B (zh) * 2023-08-07 2024-05-03 深圳市华谕电子科技信息有限公司 移动执法设备移动的远距离人脸检测及识别方法和系统

Also Published As

Publication number Publication date
US20230209204A1 (en) 2023-06-29
CN112866773B (zh) 2023-09-26
CN112866773A (zh) 2021-05-28
WO2022037535A1 (zh) 2022-02-24

Similar Documents

Publication Publication Date Title
WO2022001407A1 (zh) 一种摄像头的控制方法及显示设备
CN111541845B (zh) 图像处理方法、装置及电子设备
CN116472715A (zh) 显示设备及摄像头追踪方法
CN112866772B (zh) 一种显示设备及声像人物定位追踪方法
US12028617B2 (en) Display apparatus and processing method for display apparatus with camera
WO2022100262A1 (zh) 显示设备、人体姿态检测方法及应用
CN112672062B (zh) 一种显示设备及人像定位方法
CN113655887A (zh) 一种虚拟现实设备及静态录屏方法
CN117918057A (zh) 显示设备及设备控制方法
CN112449165B (zh) 投影方法、装置及电子设备
CN111939561B (zh) 显示设备及交互方法
US11756302B1 (en) Managing presentation of subject-based segmented video feed on a receiving device
CN114647983A (zh) 显示设备及基于人像的距离检测方法
CN116801027A (zh) 显示设备和投屏方法
US12028645B2 (en) Subject-based smart segmentation of video feed on a transmitting device
CN113587812B (zh) 显示设备、测量方法及装置
US11825237B1 (en) Segmented video preview controls by remote participants in a video communication session
WO2022111005A1 (zh) 虚拟现实设备及vr场景图像识别方法
US12019943B2 (en) Function based selective segmented video feed from a transmitting device to different participants on a video communication session
CN116977882A (zh) 一种三维手势数据采集系统及方法
CN116506678A (zh) 一种显示设备及融合虚拟人物的媒资播放方法
CN117980873A (zh) 一种显示设备及其控制方法
CN117612222A (zh) 显示设备及人脸识别方法
CN118301285A (zh) 一种图像显示方法、终端及计算机可读存储介质
CN116934841A (zh) 一种手部区域的定位方法及显示设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination