CN112929750A - 一种摄像头调节方法及显示设备 - Google Patents

一种摄像头调节方法及显示设备 Download PDF

Info

Publication number
CN112929750A
CN112929750A CN202110156750.8A CN202110156750A CN112929750A CN 112929750 A CN112929750 A CN 112929750A CN 202110156750 A CN202110156750 A CN 202110156750A CN 112929750 A CN112929750 A CN 112929750A
Authority
CN
China
Prior art keywords
image
camera
display
scene
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110156750.8A
Other languages
English (en)
Other versions
CN112929750B (zh
Inventor
杨鲁明
王大勇
于文钦
冯聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Visual Technology Co Ltd
Original Assignee
Hisense Visual Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Visual Technology Co Ltd filed Critical Hisense Visual Technology Co Ltd
Publication of CN112929750A publication Critical patent/CN112929750A/zh
Application granted granted Critical
Publication of CN112929750B publication Critical patent/CN112929750B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N7/144—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display camera and display on the same optical axis, e.g. optically multiplexing the camera and display for eye to eye contact

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开一种摄像头调节方法及显示设备，如果在摄像头拍摄的场景图像中未检测到真实人像，按照定义的运动规则，在场景图像中填加虚拟人物，生成并显示第一图像；检测所述虚拟人物在所述运动规则作用下的第一人脸位置数据，并根据所述第一人脸位置数据控制所述摄像头的动作，以使所述摄像头动态追踪所述虚拟人物。本发明能在场景中无真人时跟随虚拟人物的运动规则，自适应控制调整摄像头的拍摄方位和角度，即根据场景实时状态自适应切换摄像头的追踪对象，从而完成相关场景中摄像头的自动动态调节。

Description

一种摄像头调节方法及显示设备
本申请要求在2020年08月21日提交中国专利局、申请号为202010848094.3、发明名称为“一种摄像头调节方法及显示设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本发明涉及显示设备技术领域，尤其涉及一种摄像头调节方法及显示设备。
背景技术
智能电视是基于Internet应用技术，具备开放式操作系统与芯片，拥有开放式应用平台，可实现双向人机交互功能，集影音、娱乐、数据等多种功能于一体的电视产品，用于满足用户多样化和个性化需求。智能电视可以通过外接或内置功能设备，并结合应用程序扩展智能电视的功能，比如智能电视可以内置或外接摄像头，而如何使智能电视满足不同应用场景下对摄像头自动调节的需求，是本领域技术人员亟待解决的技术问题。
发明内容
为解决上述技术问题，本发明提供一种摄像头调节方法及显示设备。
第一方面提供一种显示设备，包括：
本机内置的摄像头或用于外接摄像头的接口，摄像头用于拍摄场景图像；
图形处理器，用于按照定义的运动规则，在场景图像中填加虚拟人物而得到第一图像；
显示器，用于显示图像；
控制器，用于执行：
如果在所述场景图像中未检测到真实人像，控制图形处理器生成第一图像，并控制显示器显示所述第一图像；
检测所述虚拟人物在所述运动规则作用下的第一人脸位置数据，并根据所述第一人脸位置数据控制所述摄像头的动作，以使所述摄像头动态追踪所述虚拟人物。
第二方面提供一种显示设备中的摄像头调节方法，包括：
如果在摄像头拍摄的场景图像中未检测到真实人像，按照定义的运动规则，在场景图像中填加虚拟人物，生成并显示第一图像；
检测所述虚拟人物在所述运动规则作用下的第一人脸位置数据，并根据所述第一人脸位置数据控制所述摄像头的动作，以使所述摄像头动态追踪所述虚拟人物。
在第一方面和第二方面提供的技术方案中，摄像头拍摄应用场景的场景图像，控制器根据场景图像可以识别应用场景中是否存在真人，如果场景图像中能检测到真实人像，则追踪真实人像的人脸位置去调节摄像头；如果场景图像中未检测到真实人像，导致无法捕捉真人脸部位置变化，则为场景图像中填加虚拟人物，预先定义好虚拟人物的运动规则，然后按照运动规则将虚拟人物叠加到场景图像中，这就相当于利用虚拟人物取代应用场景中真人，基于第一图像中虚拟人物的动态活动，定位和跟踪虚拟人物的人脸位置变化，从而得到第一人脸位置数据，并以第一人脸位置数据作为摄像头调整的计算参数和指引，来控制摄像头的动作，比如摄像头的转向和旋转角度，从而实现跟随虚拟人物的运动规则，自适应控制调整摄像头的拍摄方位和角度。本示例提供的方案可检测应用场景中是否存在真人，在无真人交互时使摄像头动态追踪虚拟人物，若场景中有真人则使摄像头动态追踪真实人像，即可以根据场景实时状态自适应切换摄像头的追踪对象，从而完成相关场景中摄像头的自动动态调节。
第三方面提供另一种显示设备，用于自动化测试场景，包括：
本机内置的摄像头或用于外接摄像头的接口，摄像头用于拍摄场景图像；
图形处理器，用于按照定义的运动规则，在场景图像中填加虚拟人物而得到第一图像；
显示器，用于显示图像；
控制器，用于执行：
控制图形处理器生成所述第一图像，并控制显示器显示所述第一图像；
检测所述虚拟人物在所述运动规则作用下的第一人脸位置数据，并根据所述第一人脸位置数据控制所述摄像头的动作，以使所述摄像头动态追踪所述虚拟人物；
如果在所述场景图像中检测到真实人像，始终保持使摄像头动态追踪虚拟人物的状态，不切换到对所述真实人像的动态追踪。
第四方面提供另一种显示设备中的摄像头调节方法，用于自动化测试场景，包括：
按照定义的运动规则，在摄像头拍摄的场景图像中填加虚拟人物，生成并显示第一图像；
检测所述虚拟人物在所述运动规则作用下的第一人脸位置数据，并根据所述第一人脸位置数据控制所述摄像头的动作，以使所述摄像头动态追踪所述虚拟人物；
如果在所述场景图像中检测到真实人像，始终保持使摄像头动态追踪虚拟人物的状态，不切换到对所述真实人像的动态追踪。
对于第三方面和第四方面提供的技术方案，在无人干预的自动化测试场景中，需要为场景图像填加虚拟人物去辅助测试，预先定义好虚拟人物的运动规则，然后按照运动规则将虚拟人物叠加到场景图像中，得到第一图像，基于第一图像中虚拟人物的动态活动，定位和跟踪虚拟人物的人脸位置变化，从而得到第一人脸位置数据，并以第一人脸位置数据作为摄像头调整的计算参数和指引，来控制摄像头的动作，比如摄像头的转向和旋转角度，从而实现跟随虚拟人物的运动规则，自适应控制调整摄像头的拍摄方位和角度。即便有真人进入拍摄区域内，也始终保持使摄像头动态追踪虚拟人物的状态，而不会切换和改变追踪对象。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要访问的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了根据一些实施例的显示设备的使用场景；
图2示出了根据一些实施例的控制装置100的硬件配置框图；
图3示出了根据一些实施例的显示设备200的硬件配置框图；
图4示出了根据一些实施例的显示设备200中软件配置图；
图5示出了根据一些实施例的显示设备200中应用程序的图标控件界面显示图；
图6中示例性示出了显示设备与摄像头布置结构示意图；
图7中示例性示出了摄像头结构示意图；
图8中示例性示出了图像坐标系及像素点坐标位置的示意图；
图9中示例性示出了图像显示页面显示的场景图像中具有真实人像的示意图；
图10中示例性示出了场景图像中无真实人像时，显示功能页面的示意图；
图11中示例性示出了场景图像中无真实人像时生成的第一图像的示意图；
图12中示例性示出了当虚拟人物向左移动时摄像头同步动作的示意图；
图13中示例性示出了当虚拟人物向右前方移动时摄像头同步动作的示意图；
图14中示例性示出了摄像头调节方法的流程图；
图15中示例性示出了矩形框的中心点和图像中心点的示意图；
图16中示例性示出了计算旋转角度过程的几何关系示意图；
图17中示例性示出了一种自动化测试场景下细化的摄像头调节方法的流程图。
具体实施方式
为使本申请的目的和实施方式更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。
需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。
本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明。应该理解这样使用的用语在适当情况下可以互换。
术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的所有组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
术语“模块”是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。
图1为根据实施例中显示设备的使用场景的示意图。如图1所示，显示设备200还与服务器400进行数据通信，用户可通过智能设备300或控制装置100操作显示设备200。
在一些实施例中，控制装置100可以是遥控器，遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信，及其他短距离通信方式中的至少一种，通过无线或有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等至少一种输入用户指令，来控制显示设备200。
在一些实施例中，智能设备300可以包括移动终端、平板电脑、计算机、笔记本电脑，AR/VR设备等中的任意一种。
在一些实施例中，也可以使用智能设备300以控制显示设备200。例如，使用在智能设备上运行的应用程序控制显示设备200。
在一些实施例中，也可以使用智能设备300和显示设备进行数据的通信。
在一些实施例中，显示设备200还可以采用除了控制装置100和智能设备300之外的方式进行控制，例如，可以通过显示设备200设备内部配置的获取语音指令的模块直接接收用户的语音指令控制，也可以通过显示设备200设备外部设置的语音控制装置来接收用户的语音指令控制。
在一些实施例中，显示设备200还与服务器400进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。服务器400可以是一个集群，也可以是多个集群，可以包括一类或多类服务器。
在一些实施例中，一个步骤执行主体执行的软件步骤可以随需求迁移到与之进行数据通信的另一步骤执行主体上进行执行。示例性的，服务器执行的软件步骤可以随需求迁移到与之数据通信的显示设备上执行，反之亦然。
图2示例性示出了根据示例性实施例中控制装置100的配置框图。如图2所示，控制装置100包括控制器110、通信接口130、用户输入/输出接口140、存储器、供电电源。控制装置100可接收用户的输入操作指令，且将操作指令转换为显示设备200可识别和响应的指令，起用用户与显示设备200之间交互中介作用。
在一些实施例中，通信接口130用于和外部通信，包含WIFI芯片，蓝牙模块，NFC或可替代模块中的至少一种。
在一些实施例中，用户输入/输出接口140包含麦克风，触摸板，传感器，按键或可替代模块中的至少一种。
图3示出了根据示例性实施例中显示设备200的硬件配置框图。
在一些实施例中，显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口中的至少一种。
在一些实施例中控制器包括中央处理器，视频处理器，音频处理器，图形处理器，RAM，ROM，用于输入/输出的第一接口至第n接口。
在一些实施例中，显示器260包括用于呈现画面的显示屏组件，以及驱动图像显示的驱动组件，用于接收源自控制器输出的图像信号，进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控UI界面等。
在一些实施例中，显示器260可为液晶显示器、OLED显示器、以及投影显示器中的至少一种，还可以为一种投影装置和投影屏幕。
在一些实施例中，调谐解调器210通过有线或无线接收方式接收广播电视信号，以及从多个无线或有线广播电视信号中解调出音视频信号，如以及EPG数据信号。
在一些实施例中，通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如：通信器可以包括Wifi模块，蓝牙模块，有线以太网模块等其他网络通信协议芯片或近场通信协议芯片，以及红外接收器中的至少一种。显示设备200可以通过通信器220与控制装置100或服务器400建立控制信号和数据信号的发送和接收。
在一些实施例中，检测器230用于采集外部环境或与外部交互的信号。例如，检测器230包括光接收器，用于采集环境光线强度的传感器；或者，检测器230包括图像采集器，如摄像头，可以用于采集外部环境场景、用户的属性或用户交互手势，再或者，检测器230包括声音采集器，如麦克风等，用于接收外部声音。
在一些实施例中，外部装置接口240可以包括但不限于如下：高清多媒体接口接口(HDMI)、模拟或数据高清分量输入接口(分量)、复合视频输入接口(CVBS)、USB输入接口(USB)、RGB端口等任一个或多个接口。也可以是上述多个接口形成的复合性的输入/输出接口。
在一些实施例中，控制器250和调谐解调器210可以位于不同的分体设备中，即调谐解调器210也可在控制器250所在的主体设备的外置设备中，如外置机顶盒等。
在一些实施例中，控制器250，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器260上显示UI对象的用户命令，控制器250便可以执行与由用户命令选择的对象有关的操作。
在一些实施例中，所述对象可以是可选对象中的任何一个，例如超链接、图标或其他可操作的控件。与所选择的对象有关操作有：显示连接到超链接页面、文档、图像等操作，或者执行与所述图标相对应程序的操作。
在一些实施例中控制器包括中央处理器(Central Processing Unit，CPU)，视频处理器，音频处理器，图形处理器(Graphics Processing Unit，GPU)，RAM Random AccessMemory，RAM)，ROM(Read-Only Memory,ROM)，用于输入/输出的第一接口至第n接口，通信总线(Bus)等中的至少一种。
CPU处理器。用于执行存储在存储器中操作系统和应用程序指令，以及根据接收外部输入的各种交互指令，来执行各种应用程序、数据和内容，以便最终显示和播放各种音视频内容。CPU处理器，可以包括多个处理器。如，包括一个主处理器以及一个或多个子处理器。
在一些实施例中，图形处理器，用于产生各种图形对象，如：图标、操作菜单、以及用户输入指令显示图形等中的至少一种。图形处理器包括运算器，通过接收用户输入各种交互指令进行运算，根据显示属性显示各种对象；还包括渲染器，对基于运算器得到的各种对象，进行渲染，上述渲染后的对象用于显示在显示器上。
在一些实施例中，视频处理器，用于将接收外部视频信号，根据输入信号的标准编解码协议，进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等视频处理中的至少一种，可得到直接可显示设备200上显示或播放的信号。
在一些实施例中，视频处理器，包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等中的至少一种。其中，解复用模块，用于对输入音视频数据流进行解复用处理。视频解码模块，用于对解复用后的视频信号进行处理，包括解码和缩放处理等。图像合成模块，如图像合成器，其用于将图形生成器根据用户输入或自身生成的GUI信号，与缩放处理后视频图像进行叠加混合处理，以生成可供显示的图像信号。帧率转换模块，用于对转换输入视频帧率。显示格式化模块，用于将接收帧率转换后视频输出信号，改变信号以符合显示格式的信号，如输出RGB数据信号。
在一些实施例中，音频处理器，用于接收外部的音频信号，根据输入信号的标准编解码协议，进行解压缩和解码，以及降噪、数模转换、和放大处理等处理中的至少一种，得到可以在扬声器中播放的声音信号。
在一些实施例中，用户可在显示器260上显示的图形用户界面(GUI)输入用户命令，则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。
在一些实施例中，“用户界面”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(Graphic User Interface，GUI)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素中的至少一种。
在一些实施例中，用户接口280，为可用于接收控制输入的接口(如：显示设备本体上的实体按键，或其他等)。
在一些实施例中，显示设备的系统可以包括内核(Kernel)、命令解析器(shell)、文件系统和应用程序。内核、shell和文件系统一起组成了基本的操作系统结构，它们让用户可以管理文件、运行程序并使用系统。上电后，内核启动，激活内核空间，抽象硬件、初始化硬件参数等，运行并维护虚拟内存、调度器、信号及进程间通信(IPC)。内核启动后，再加载Shell和用户应用程序。应用程序在启动后被编译成机器码，形成一个进程。
参见图4，在一些实施例中，将系统分为四层，从上至下分别为应用程序(Applications)层(简称“应用层”)，应用程序框架(Application Framework)层(简称“框架层”)，安卓运行时(Android runtime)和系统库层(简称“系统运行库层”)，以及内核层。
在一些实施例中，应用程序层中运行有至少一个应用程序，这些应用程序可以是操作系统自带的窗口(Window)程序、系统设置程序或时钟程序等；也可以是第三方开发者所开发的应用程序。在具体实施时，应用程序层中的应用程序包不限于以上举例。
框架层为应用程序层的应用程序提供应用编程接口(application programminginterface，API)和编程框架。应用程序框架层包括一些预先定义的函数。应用程序框架层相当于一个处理中心，这个中心决定让应用层中的应用程序做出动作。应用程序通过API接口，可在执行中访问系统中的资源和取得系统的服务。
如图4所示，本申请实施例中应用程序框架层包括管理器(Managers)，内容提供者(Content Provider)等，其中管理器包括以下模块中的至少一个：活动管理器(ActivityManager)用与和系统中正在运行的所有活动进行交互；位置管理器(Location Manager)用于给系统服务或应用提供了系统位置服务的访问；文件包管理器(Package Manager)用于检索当前安装在设备上的应用程序包相关的各种信息；通知管理器(NotificationManager)用于控制通知消息的显示和清除；窗口管理器(Window Manager)用于管理用户界面上的括图标、窗口、工具栏、壁纸和桌面部件。
在一些实施例中，活动管理器用于管理各个应用程序的生命周期以及通常的导航回退功能，比如控制应用程序的退出、打开、后退等。窗口管理器用于管理所有的窗口程序，比如获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕，控制显示窗口变化(例如将显示窗口缩小显示、抖动显示、扭曲变形显示等)等。
在一些实施例中，系统运行库层为上层即框架层提供支撑，当框架层被使用时，安卓操作系统会运行系统运行库层中包含的C/C++库以实现框架层要实现的功能。
在一些实施例中，内核层是硬件和软件之间的层。如图4所示，内核层至少包含以下驱动中的至少一种：音频驱动、显示驱动、蓝牙驱动、摄像头驱动、WIFI驱动、USB驱动、HDMI驱动、传感器驱动(如指纹传感器，温度传感器，压力传感器等)、以及电源驱动等。
在一些实施例中，显示设备启动后可以直接进入预置的视频点播程序的界面，视频点播程序的界面可以如图5中所示，至少包括导航栏510和位于导航栏510下方的内容显示区，内容显示区中显示的内容会随导航栏中被选中控件的变化而变化。应用程序层中的程序可以被集成在视频点播程序中通过导航栏的一个控件进行展示，也可以在导航栏中的应用控件被选中后进行进一步显示。
在一些实施例中，显示设备启动后可以直接进入上次选择的信号源的显示界面，或者信号源选择界面，其中信号源可以是预置的视频点播程序，还可以是HDMI接口，直播电视接口等中的至少一种，用户选择不同的信号源后，显示器可以显示从不同信号源获得的内容。
以上实施例提供了智能电视的硬件/软件架构以及功能实现等内容，在一些应用场景中，智能电视上一般配置有摄像头，以采集用户动态的图像，当用户的姿态或位置发生改变时，摄像头可对用户的运动位置或轨迹进行追踪，从而满足如AI健身、体感游戏等交互应用的人像追踪需求。
在一些实施例中，如图6所示，摄像头231作为一种检测器230可以内置或外接显示设备200上，在启动运行后，摄像头231可以拍摄其视野场景的图像数据。摄像头231可以通过接口部件与控制器250连接，从而将拍摄的图像数据发送给控制器250和图形处理器进行处理，以及根据控制器250发送的控制指令执行相应的动作。
在一些实施例中，为了实现人像追踪以及摄像头拍摄角度的控制调整，摄像头231可以包括镜头组件和云台组件。其中，镜头组件可以是基于CCD(Charge Coupled Device，电荷耦合器件)或CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)的检测原理，以根据用户图像生成电信号的图像数据。
镜头组件设置在云台组件上，云台组件可以带动镜头组件进行转动，以便调节镜头组件的转向和旋转角度，使镜头组件适应不同场景下拍摄角度的调整。云台组件可以带动镜头组件沿不同转向进行旋转，比如云台组件可包括至少两个转动部件，以分别实现带动镜头组件沿竖直方向进行上下转动，以及沿水平方向进行左右转动。每个转动部件可以连接电机，以通过电机驱动其自动进行转动。
例如，如图7所示，云台组件可以包括呈竖直状态的第一转轴和呈水平状态的第二转轴，第一转轴设置在显示器260的顶部，与显示器260的顶部可转动地连接；第一转轴上还设有固定件，固定件的顶部可转动的连接有所述第二转轴，第二转轴连接镜头组件，以带动镜头组件进行转动。第一转轴和第二转轴上分别连接有电机以及传动部件。电机可以是能够支持自动控制转角的伺服电机、步进电机等。当获取控制指令后，两个电机可以分别进行旋转以驱动第一转轴和第二转轴进行转动，从而调节镜头组件的朝向。
随着镜头组件的不同朝向，镜头组件可以对位于不同位置上的用户进行视频拍摄，从而获取用户图像数据。显然，不同的朝向对应于不同区域的图像采集，当用户在相对于显示器260正前方位置偏左时，可以通过云台组件上的第一转轴带动固定件以及镜头组件向左转动，以使拍摄的图像中，用户人像位置位于画面的中心区域；而当用户躯体成像位置偏下时，可以通过云台组件中的第二转轴带动镜头组件向上转动，以抬高拍摄角度，使用户人像位置位于画面的中心区域。
在拍摄场景内存在真人时，摄像头231拍摄多帧图像，并将多帧图像发送给控制器250，控制器250一方面可以根据所启动的应用程序进行图像处理，例如控制显示器260显示视频图像；另一方面可以通过调用配置的检测程序对每帧图像进行分析，从而跟踪拍摄场景中的用户所在的位置及其运动轨迹，从而自适应控制摄像头231的拍摄角度。
在一些实施例中，用户位置的检测可以通过图像处理程序完成，即通过实时抓取摄像头231拍摄的场景图像，检测如面部信息或肢体信息等人体信息。人体信息可以包含关键点和框定肢体/面部的标定区域，通过检测的关键点和标定区域位置即可实现用户位置的跟踪。其中，关键点可以是指人体图像中能够代表人体特征的一系列点，例如眼睛、耳朵、鼻子、脖子、肩部、手肘、手腕、腰部、膝关节和踝关节等，或者关键点还可以选择标定区域的中心点。
在一些实施例中，用户位置和关键点可以通过图像中距离边界的像素点数量进行表示。可以根据摄像头231的分辨率和可视角度，以图像的左上角为原点，以向右和向下分别为X轴、Y轴的正方向，构建一平面直角坐标系，即图像坐标系，则图像中的各个像素点均能够通过图像坐标系进行坐标表示。只要获取到一帧图像，即可确定该帧图像中所要追踪的关键点的像素点坐标。
例如，如图8所示，水平方向和垂直方向上摄像头的可视角度分别为HFOV(Horizontal Field Of View)和VFOV(Vertical Field Of View)，可视角度可以根据摄像头CameraInfo获取，则图像中每个像素点的位置都可以用坐标(x，y)来表达，以摄像头预览图像支持1080P，宽度为1920，高度1080像素为例，其中x的取值范围为(0，1920)，y的取值范围为(0，1080)。
目前摄像头231的跟踪功能都是基于拍摄场景中的真实人像，即需要对用户的真人图像进行检测和跟踪，从而控制摄像头231的动作(比如转向和旋转角度等)。然而在实际中，由于真人行为的不可控性，真人可能无法长时间参与互动和拍摄，一旦摄像头无法检测和追踪到真实人像，也就无法根据场景需求去控制摄像头231的追踪动作，对于某些游戏类或者显示设备的自动化测试等场景，甚至需要实现无人化自动检测追踪。对于这些特殊的应用场景，也具有拍摄场景内无人但仍需调节摄像头231的特定视向和旋转角度的需求，由此提出了本申请的发明构思和技术方案。
对于需要真人交互参与的常规场景，本申请的实质在于利用摄像头231拍摄场景图像，并检测场景图像中是否存在真实人像，如果存在真实人像，则直接通过追踪真实人像的人脸位置来控制摄像头231的动作；如果无真实人像，则利用虚拟人物形象来模拟真实人像，通过追踪虚拟人物形象的人脸位置的动态变化，来自适应调节摄像头231的动作，以将虚拟人物的人脸位置调整至画面的中心。即可以根据场景的实时状态，在真实人像和虚拟人物之间自动切换追踪对象。
在一些实施例中，对于具有通过采集图像实现交互、社交功能的目标应用程序(APP)，其内置有图像显示页面，当启动目标应用程序后，如图9所示，摄像头231采集的画面(即场景图像)可以在图像显示页面上进行展示。在摄像头拍摄视野内，可能存在一个或多个真人，如果仅存在一个真人则直接追踪其人脸位置的变化即可；如果存在多个真人，一般是从多人中择一作为追踪对象。
在一些实施例中，当控制器250检测到场景图像中包括的真实人像的数量超过1个时，需要分别检测识别出每个真实人像的人脸信息，并在场景图像中对每个真实人像的脸部进行标定，得到同等数量个标定区域。图9示出的场景图像中包括2个真实人像，每个真实人像的脸部都具有标定区域，即矩形框，同时显示器还会显示提示信息，比如“请点击矩形框选择一个目标对象”，用户看到该提示信息之后，移动光标并点击其中任意一个矩形框即可将该真实人像选取为追踪的目标，则后续仅根据这单独一个目标对象的人脸位置变化调节摄像头231的动作。
在一些实施例中，如图10所示，还可在目标应用程序的图像显示页面上设置一些功能页面，比如背景页面、贴纸页面、美颜页面和滤镜页面等。美颜页面用于对拍摄场景内的人像进行美颜处理；滤镜页面提供用户调节画面滤镜效果的功能；背景页面支持用户在画面背景中增添效果，比如在背景中增添一些特效、动画等；贴纸页面支持用户对画面局部区域粘贴贴纸，贴纸可以是静态或动态图像。在UI显示场景图像的过程中，可以浮层显示上述的功能页面。
在一些实施例中，控制器250可以在检测到场景图像中无真实人像时，自动控制显示器浮层显示上述功能页面，用户在功能页面中设置虚拟人物后，再自动隐藏功能页面。又或者，支持用户根据需求主动执行预设的操作指令来唤出或隐藏功能页面，比如用户在图像显示页面的指定区域单击或双击遥控器的“确定”键，即可唤出功能页面，当用户在指定区域之外点击“确定”键或者超时无操作，则隐藏功能页面；或者，也可在页面上设置操作控件，当用户一次点击该操作控件时即可唤出功能页面，当用户二次点击该操作控件时即可隐藏功能页面。需要说明的是，功能页面的唤出和隐藏方式不限于本实施例所述。
其中，为了降低各功能页面对图像显示页面的占用，功能页面可以仅在局部区域内显示，比如图10中是显示于界面底部，当然在实际应用可以显示在页面顶部、左侧或右侧等位置，对此不作限定。背景页面和贴纸页面中可以向用户展示图像控件，图像控件具体可呈现为图像的缩略图形式，可以在图像控件的下方标注其名称，这些图像控件可以呈阵列的布局形式浮层展示，由于目标应用程序中可以下载大量的图像资源，因此图像控件数量可能非常多，为了保证每个图像控件的清晰度和辨识度，背景页面和贴纸页面中可以设置显示数量的上限值，当图像控件的数量超过对应页面显示数量的上限值时，可以通过展开控件来调出其他更多未被展示的图像控件。比如图10中，背景页面是按行展示图像控件，上限数量为7个，图像控件下方设有展开控件(即“︿”)，并且可以为展开控件设置对应的提示信息，比如“按上键查看更多”，以引导用户操作。图像控件的展示布局不限定。
背景页面/贴纸页面中每个图像控件都具有所属的主题，比如人物图像、风景图像、美食图像等。其中，人物图像可以是卡通人物或者非摄像头231当前拍摄的真人图像，这里统称为虚拟人物图像。摄像头231当前拍摄的场景图像中无真人存在时，则控制浮层显示功能页面，用户可以浏览功能页面中的各个图像控件，以选择想要的虚拟人物的形象。例如图10中，背景页面的第6个图像控件的名称为“男友”，属于人物图像，那么用户点击“男友”的图像控件，就会在当前显示的画面上加载“男友”对应的图像，即将“男友”图像控件对应的虚拟人物叠加到场景图像中，从而生成如图11所示的第一图像，定义虚拟人物的运动规则，即定义了每帧虚拟人物图像中每个像素点的位置信息，这样在每帧虚拟人物图像与场景图像流叠加后，连续显示的效果就呈现为虚拟人物在场景中发生移动。
无论人物形象是卡通人物还是真人，当正脸朝向用户侧时，都具有典型的面部特征，则即可通过现有的面部识别、人脸识别算法来定位第一图像中虚拟人物的人脸位置，并对虚拟人物进行位置跟踪，通过这样的机制，我们想到可以利用虚拟人物来模拟摄像头在场景中拍摄的真实人像，来使显示设备根据虚拟人物的跟踪轨迹，来自适应控制摄像头231的拍摄转向和角度，从而实现特定场景下无真人时也可自动调节摄像头。虚拟人物图像的大小、位置和运动轨迹等内容可以根据实际应用设定。虚拟人物和真实人像的运动追踪、摄像头同步动作控制等实现方式都相同。
在一些实施例中，当虚拟人物或真实人像在场景中变换位置时，摄像头231也需要同步动作，参照图11和图12，虚拟人物向左移动，则摄像头也要向左转动一定的旋转角度，旋转角度可根据图11和图12两帧虚拟人物的人脸位置变化进行计算确定。
在一些实施例中，虚拟人物每次的运动方位不限于左右移动，还可能是上下移动，又比如是向左上方、右下方移动等位移形式，因此摄像头231的云台组件可能是涉及一个或多个转轴的同时动作，从而使摄像头231在人脸追踪时同步匹配动作。比如，参照图12和图13，虚拟人物向左上方移动，则云台组件不仅要控制镜头组件向左转动第一个旋转角度，还需要控制镜头组件向上转动第二个旋转角度，两个转向的旋转角度可根据图12和图13两帧虚拟人物的人脸位置变化进行计算确定。
在一些实施例中，虚拟人物或真实人像可能是背对用户侧，用户虽然无法看到虚拟人物或真实人像的正脸，但是可以看到虚拟人物或真实人像的后脑部，则可以采用人头检测、头部识别算法来识别虚拟人物或真实人像的头部轮廓和形状，并跟踪虚拟人物或真实人像的头部位置的运动变化，则仍可按前述机制实现摄像头231的追踪动作控制。由于虚拟人物或真实人像可能仅有头像，或者肢体特征受服饰、色彩等因素影响而无法精准提取，因此采用人脸或头部识别检测可以提高虚拟人物或真实人像定位跟踪的准确性，当然若肢体特征比较明确时，也可从肢体特征中提取关键点并进行位置追踪，具体可根据虚拟人物图像的特点进行适应性选取。
对于无人干预、不受真人行为干扰的自动化测试等场景，与上文中常规场景下的方案区别仅在于：启动目标应用程序后，无论场景图像中是否存在真实人像，用户都要选择一个图像控件对应的虚拟人物，设定虚拟人物的运动规则，将虚拟人物叠加于场景图像中，得到第一图像，通过追踪第一图像中虚拟人物在运动规则作用下的人脸位置，来控制摄像头231的动作。这种场景下摄像头231始终仅保持对虚拟人物的追踪，无论场景中是否具有真人，都不影响基于追踪虚拟人物去调节摄像头动作的控制流程，也不切换到对真实人像的追踪。
本申请中涉及的UI图仅仅是示例性的，具体以实际应用和设计为准。
基于上述的发明构思，接下来的实施例将详细说明具体的实现方式。图14示出一种摄像头调节方法，方法的执行主体为控制器250，所述方法包括：
步骤(A)，在接收摄像头拍摄的场景图像后，检测场景图像中是否具有真实人像。如果场景图像中未检测到真实人像，执行支线逻辑一；如果场景图像中检测到真实人像，则执行支线逻辑二：
支线逻辑一，包括步骤(B1)和步骤(B2)：
步骤(B1)，控制图形处理器生成第一图像，并控制显示器显示所述第一图像。
在一些实施例中，执行步骤S20之前，图形处理器尚未生成第一图像，则应先控制显示器在目标应用程序的图像显示页面显示场景图像；响应于接收到预设操作指令，在图像显示页面上展示功能页面，所述功能页面中按照预设布局显示若干数量的图像控件；响应于接收到对功能页面中图像控件的选择操作，控制、图形处理器执行第一图像生成逻辑。
具体实施例中，所述第一图像生成逻辑被配置为：将所述图像控件对应的虚拟人物图像解码生成位图；调用开放式图形库接口程序中的顶点数组工具，接收用户输入的顶点数组信息，所述顶点数组信息用于定义运动规则，所述顶点数组信息包括每帧位图中每个像素点的位置信息；按照定义的运动规则，将位图与场景图像叠加得到第一图像，即将虚拟人物填加到了场景图像中，然后将第一图像发送给控制器250，以使控制器250在图像显示页面显示第一图像。
上述实施例中第一图像是由控制器250中特定的图形处理器生成并输出，具体来说，用户在目标应用程序中选定某个人物主题的图像控件后，点击该图像控件，然后调用OpenGL(Open Graphics Library，开放式图形库)接口程序来对图像控件对应的虚拟人物图像进行解码，生成虚拟人物图像的bitmap位图，此外用户需要定义虚拟人物的运动规则，以便后续根据虚拟人物图像中脸部/头部的运动位置跟踪，自适应调节摄像头231的转向和旋转角度。
在一些实施例中，顶点数组是OpenGL接口程序的常用工具之一，用户可以使用顶点数组工具来自定义所述运动规则。即用户输入顶点数组信息，顶点数组信息中规定了每帧虚拟人物图像中具体到每个像素点的位置信息，这样就能确定每帧虚拟人物图像的显示位置，连续多帧就可以形成动态运动的虚拟人物，从而定义了虚拟人物的运动规则，实现虚拟人物的定点和运动片段变换。
在一些实施例中，在场景图像和虚拟人物(位图)叠加之前，可以先在OpenGL接口程序中进行两者纹理的统一和混合叠加，以便后续进行渲染后，提高叠加后第一图像的显示效果以及面部/头部追踪检测的准确性。
具体来说，所述场景图像一般呈现摄像头机型拍摄默认的纹理，比如佳能摄像头的EOS纹理，则需要将场景图像的纹理转换成标准纹理，由于GPU调用OpenGL接口程序进行图形处理，因此实施例中所述的标准纹理可以为OpenGL纹理，本申请中将场景图像的OpenGL纹理命名为第一标准纹理；同时，也要为解码后的虚拟人物图像的bitmap位图生成OpenGL纹理，本申请将虚拟人物位图的纹理命名为第二标准纹理，将bitmap位图加载绑定到第二标准纹理上，然后通过用户输入的顶点数组信息所定义的运动规则，控制虚拟人物在第二标准纹理上动态的显示位置。
上述方式将场景图像和虚拟人物图像的纹理统一成标准的OpenGL纹理，然后即可在OpenGL接口程序中将场景图像的纹理和虚拟人物图像的纹理进行叠加，即将第一标准纹理和第二标准纹理叠加，并将叠加后的混合纹理、颜色和深度等所需信息输出到framebuffer(帧缓冲)区中，对帧数据进行缓冲和离屏渲染，这时渲染的结果不会直接呈现到显示器上，GPU会在离屏渲染完成后，根据渲染结果对场景图像与虚拟人物图像叠加成所述第一图像，GPU将叠加后得到的第一图像发送给控制器250，由控制器250控制显示器显示第一图像，使用户可以在显示器上看到第一图像，看到的是摄像头拍摄的场景画面中叠加了虚拟人物形象的效果。
步骤(B2)，检测所述虚拟人物在所述运动规则作用下的第一人脸位置数据，并根据所述第一人脸位置数据控制摄像头的动作，以使摄像头动态追踪所述虚拟人物。
在一些实施例中，所述控制摄像头的动作具体是指，通过控制云台组件从而调节镜头组件的转向和旋转角度。通过第一人脸位置数据，可以计算出调节镜头组件所需的旋转角度以及转向，从而获取需要朝哪个方向旋转多少角度的控制指令。
在一些实施例中，步骤(B2)中涉及到的旋转角度和转向的计算，以及摄像头的控制调节过程都由控制器250执行。通过人脸识别算法/头部检测算法，去识别检测第一图像中的人脸信息/头部轮廓信息，在识别出人脸信息/头部轮廓信息后，将识别出的虚拟人物的人脸/头部在第一图像上进行标定，从而得到标定区域。
在一些实施例中，如图11～图13所示，人脸的标定区域可以呈现为矩形框的形式，即利用矩形框来框定和标注人脸/头部区域，这样通过追踪矩形框的位置变化即可获取第一人脸位置数据，第一人脸位置数据可包括人脸的运动轨迹，以及在运动轨迹上脸部关键点的坐标等有关信息，即可使摄像头的调整适应并跟随虚拟人物脸部的运动轨迹。矩形框是在第一图像上进行标定，第一图像上可以建立图像坐标系XOY，因此可以计算出矩形框的顶点、边界以及框内区域的各像素点的坐标。需要说明的是，人脸识别和头部检测等算法可以参照相关的现有技术，本实施例不再赘述。
在一些实施例中，为便于计算，将所述矩形框的中心点作为脸部关键点，用于计算摄像头的转向和旋转角度，从而指导摄像头的动作控制，即只需追踪矩形框的中心点的动态位置，即可得到第一人脸位置数据。根据矩形框的4个顶点的坐标，计算中心点的坐标，如图15所示，矩形框的4个顶点的坐标分别为(x1，y1)、(x2，y1)、(x1，y2)和(x2，y2)，对于矩形框的中心点坐标(x0′，y0′)，则有x0′＝(x1+x2)/2，y0′＝(y1+y2)/2。本申请实施例是以标定区域呈现为矩形框的形式进行示例说明，在其他实现方式中，标定区域的形状不限于矩形，比如可以呈现为圆形框、椭圆框等形式，并通过计算其圆心坐标得到标定区域的中心点。
在一些实施例中，参照图15，为了精准计算摄像头231的旋转角度，除了获取矩形框的中心点坐标(x0′，y0′)之外，还需要获取第一图像的中心点坐标(x0，y0)，云台组件按照旋转角度转动镜头组件后，使得追踪到人脸矩形框的中心点与第一图像的中心点重合。这里所述的旋转角度包括水平转向和垂直转向上的旋转角度。
第一图像的中心点坐标(x0，y0)可以根据图像的分辨率来计算，比如摄像头231的预览分辨率为1080P，则图像大小也就确定了，其中图像宽度imgWidth为1920，图像高度imgHeight为1080，则第一图像的中心点坐标(x0，y0)固定为(960，540)。
本申请中，第一图像和摄像头拍摄的场景图像的尺寸相同，在摄像头输出的分辨率一定时，则第一图像的中心点坐标也是相对固定的，可记为预设中心点，预设中心点表征屏幕画面的中心点，即预设中心点坐标(x0，y0)＝(imgWidth/2，imgHeight/2)。
控制器250可以先计算矩形框的中心点与预设中心点之间的距离；再根据计算的距离，结合摄像头231镜头组件的最大视角以及图像尺寸计算获得旋转角度数据，旋转角度数据包括水平方向上的旋转角度θ和/或竖直方向上的旋转角度β；最后将计算的旋转角度数据以控制指令的形式发送给摄像头231，使得云台组件中的电机带动各转轴进行沿相应的转向转动指定的角度，从而调整镜头组件的视向和拍摄角度。
参照图15和图16，以计算水平方向上的旋转角度为例，若摄像头231的预览分辨率为1920*1080，图像宽度imgWidth＝1920，预设中心点的横坐标x0＝960，矩形框的中心点横坐标为x0′，则矩形框与第一图像的中心点距离hd＝∣x0-x0′∣，水平可视角度为HFOV，则摄像头231在水平方向上的旋转角度θ可按照下式计算获得：
Figure BDA0002933911050000121
通过上式，可以计算出摄像头231在水平方向上的角度偏移量，即摄像头231需要沿水平方向上旋转的角度。
在一些实施例中，水平方向上可以是向左(X轴负向)或者向右(X轴正向)转动，竖直方向上可以是向上(Y轴负向)或者向下(Y轴正向)转动，因此还需要进一步确定水平/竖直方向上摄像头的具体转向。控制器250可以对矩形框的中心点与预设中心点进行横纵坐标数值的比较，确定矩形框的中心点相对于预设中心点的方位，从而确定摄像头231在水平方向上是向左或是向右转动θ，和/或，在竖直方向上是向上或是向下转动β，从而得到具体的转向数据。
比如，若矩形框的中心点横坐标为x0′大于预设中心点横坐标x0，即虚拟人物在画面中心的偏右侧，则控制摄像头231沿水平方向向右转动θ角；反之，若矩形框的中心点横坐标为x0′小于预设中心点横坐标x0，即虚拟人物在画面中心的偏左侧，则控制摄像头231沿水平方向向左转动θ角。本申请实施例中，摄像头231可以采用后置摄像头模式，使得屏幕显示的图像与摄像头实际拍摄的图像呈左右镜像关系，这种情况下水平角度旋转是左右相反的。
在确定水平方向上的旋转角度θ和转向以后，控制器250可以将旋转角度θ和转向数据进行封装，生成对应的第一控制指令，并将第一控制指令发送给摄像头231。摄像头231中的云台组件接收到第一控制指令后，驱动电机沿指示的转向转动指定的角度θ，从而将摄像头231精准调节至所需的拍摄方向和角度。
需要说明的是，在上述实施例中，是以水平方向的横坐标为例进行判断、调整，实际应用中还可通过比较矩形框中心点与预设中心点在竖直方向的纵坐标差异，对镜头组件在竖直方向上的旋转角度以及转向(向上或向下)进行同样的调整，具体的调整方法与水平方向的调整方法相同，即由控制器250先计算矩形框的中心点纵坐标y0′与预设中心点纵坐标y0之间的竖直距离；再根据计算的竖直距离，结合摄像头231镜头组件在竖直方向最大视角VFOV以及图像尺寸，计算获得竖直方向上的旋转角度β，β的计算原理可以参考θ；然后比较y0′和y0的大小关系，确定在竖直方向上是向上(Y轴负向)或是向下(Y轴正向)旋转，最后将计算的旋转角度β和转向数据以第二控制指令的形式发送给摄像头231，使得摄像头231根据第二控制指令调整镜头组件。
在实际应用中，通过调节水平方向和/或竖直方向上的转向和旋转角度，可将虚拟人物的脸部/头部定位到屏幕画面的中心位置。当仅调节摄像头在水平方向的转向和旋转角度时，控制指令为第一控制指令；当仅调节摄像头在竖直方向的转向和旋转角度时，控制指令为第二控制指令；当需要同时调节摄像头在水平和竖直方向的转向和旋转角度时，可将第一控制指令和第二控制指令统一生成为一个控制指令。控制指令的形式是与矩形框中心点和预设中心点之间的方位有关。
支线逻辑二，包括步骤(C1)～步骤(C4)：
步骤(C1)，检测所述场景图像中包括的真实人像的数量，并判断真实人像的数量是否大于1。如果真实人像的数量仅为1个，则执行步骤(C2)；如果真实人像的数量大于1个，则执行步骤(C3)和步骤(C4)。
步骤(C2)，检测所述真实人像的第二人脸位置数据，并根据所述第二人脸位置数据控制所述摄像头的动作，以使所述摄像头动态追踪所述真实人像。步骤(C2)中第二人脸位置数据的检测，以及摄像头动作的具体控制流程可以参照前述步骤(B2)的描述，这里不再赘述。
步骤(C3)，控制显示器显示提示信息，所述提示信息用于提示用户在多个真实人像中选择一个目标对象。
步骤(C4)，响应于接收到对所述目标对象的选择操作，检测所述目标对象的第三人脸位置数据，并根据所述第三人脸位置数据控制所述摄像头的动作，以使所述摄像头动态追踪所述目标对象。
在一些实施例中，参照图9，当检测到场景图像中存在多个真实人像时，在每个真实人像的脸部显示标定区域，即显示每个真实人像对应的矩形框，这里矩形框既起到人脸标定的作用，还相当于一个触发感应控件，当用户点击某一矩形框时，则该矩形框对应的虚拟人物会被择一选为目标对象，后续仅对该唯一的目标对象进行追踪，并根据追踪的第三人脸位置数据控制摄像头的动作。步骤(C4)中第三人脸位置数据的检测，以及摄像头动作的具体控制流程可以参照前述步骤(B2)的描述，这里不再赘述。
在一些实施例中，在执行支线逻辑二(即摄像头追踪唯一真实人像或多人中的目标对象)的过程中，如果某时刻检测到场景图像中真实人像的数量为0，即场景在该时刻突变为无真人，则切换为执行支线逻辑一；反之，在执行支线逻辑一(即摄像头追踪虚拟人物)的过程中，如果某时刻检测到场景图像中出现至少一个真实人像，即场景在该时刻突变为有真人，则需要控制图形处理器停止生成第一图像，并控制显示器切换为显示场景图像，这时图像显示页面中的虚拟人物消失，即彻底终止执行支线逻辑一，转而执行支线逻辑二。由此可见，可以根据实际场景中有无真人的状态，随时切换控制逻辑，在无真人交互时使摄像头动态追踪虚拟人物，若场景中有真人则使摄像头动态追踪真实人像，即可以根据场景实时状态自适应切换摄像头的追踪对象，从而完成相关场景中摄像头的自动动态调节。
在一些实施例中，图17示出了一种自动化测试场景下细化的摄像头调节方法，在该场景下始终保持仅追踪虚拟人物，即便场景图像中检测到真实人像，也不切换到对真实人像的动态追踪。本实施例方法主要包括前处理、中间处理和后处理及控制三个环节。前处理主要是图形处理器调用开放式图形库接口程序来完成，中间处理环节主要由图形处理器GPU执行完成，后处理及控制环节是由显示设备中的控制器250执行完成。
其中，前处理环节包括两路：一路是对虚拟人物图像进行解码生成bitmap位图，生成并加载OpenGL纹理(即第二标准纹理)，以及定义虚拟人物的运动规则；另一路是对摄像头采集的场景图像，经过Surface Texture处理，然后进入OpenGL进行纹理转换，比如由EOS纹理转换为OpenGL纹理(即第一标准纹理)。
中间处理主要是在图形处理器GPU中执行完成，包括虚拟人物图像和场景图像纹理标准化后的纹理叠加、离屏渲染以及最终叠加得到第一图像，然后将第一图像发送给控制器250。
后处理及控制环节是GPU将第一图像发送给控制器250后，由控制器250检测人脸/头部信息，利用矩形框标定虚拟人物的人脸/头部区域，检测第一人脸位置数据，然后计算旋转角度数据和转向数据，生成控制指令，并将控制指令发送给摄像头的云台组件，云台组件按照控制指令指示的转向和旋转角度，调节镜头组件，从而完成摄像头的被控过程。图17中各程序步骤的具体描述和说明可以参照前述相关实施例，这里不再赘述。
由以上各实施例的技术方案可知，本申请利用用户在应用程序中选择的图像控件，生成虚拟人物图像，并可通过OpenGL的顶点数组工具定义虚拟人物的运动规则，即可利用虚拟人物模拟拍摄场景中的真实活动人物。经过纹理叠加和离屏渲染等处理手段后，将摄像头拍摄的场景图像与虚拟人物图像叠加成第一图像，基于第一图像中虚拟人物的动态活动，定位和跟踪虚拟人物的面部/头部(即获得标定区域)，并结合预览图像尺寸，计算出摄像头的转向和旋转角度，从而实现跟随虚拟人物的运动规则，自适应控制调整摄像头的拍摄方位和角度，满足不同的场景需求。比如常规场景中可根据有无真人的状态，在支线逻辑一和支线逻辑二之间进行灵活转换，在场景状态突变时快速切换追踪对象；又比如，对于游戏等自动化测试场景，全程追踪场景图像中叠加的虚拟人物，实现无真人化的摄像头自动动态调整，无论场景中是否存在真人都不切换控制逻辑，满足自动化测试的模拟需求。在实际应用中，可以基于不同场景的需求，适应性执行控制逻辑。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台来实现。具体实现中，本发明还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，当计算机存储介质位于显示设备中时，该程序执行时可包括前述摄像头调节方法中涉及的部分或全部程序步骤。其中，计算机存储介质可为磁碟、光盘、只读存储记忆体(英文：read-only memory，简称：ROM)或随机存储记忆体(英文：randomaccess memory，简称：RAM)等。
本说明书中显示设备实施例和方法实施例之间相同相似的部分互相参照即可，相关内容不再赘述。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。

Claims (10)

1.一种显示设备，其特征在于，包括：
本机内置的摄像头或用于外接摄像头的接口，摄像头用于拍摄场景图像；
图形处理器，用于按照定义的运动规则，在场景图像中填加虚拟人物而得到第一图像；
显示器，用于显示图像；
控制器，用于执行：
如果在所述场景图像中未检测到真实人像，控制图形处理器生成第一图像，并控制显示器显示所述第一图像；
检测所述虚拟人物在所述运动规则作用下的第一人脸位置数据，并根据所述第一人脸位置数据控制所述摄像头的动作，以使所述摄像头动态追踪所述虚拟人物。
2.根据权利要求1所述的显示设备，其特征在于，所述控制器还用于执行：
在所述摄像头动态追踪所述虚拟人物的过程中，如果在所述场景图像中检测到真实人像，控制图形处理器停止生成第一图像，并控制显示器切换为显示所述场景图像；
以及，检测所述场景图像中包括的真实人像的数量；如果所述真实人像的数量仅为1个，检测所述真实人像的第二人脸位置数据，并根据所述第二人脸位置数据控制所述摄像头的动作，以使所述摄像头动态追踪所述真实人像。
3.根据权利要求2所述的显示设备，其特征在于，所述控制器还用于执行：
如果所述真实人像的数量大于1个，控制显示器显示提示信息，所述提示信息用于提示用户在多个真实人像中选择一个目标对象；
响应于接收到对所述目标对象的选择操作，检测所述目标对象的第三人脸位置数据，并根据所述第三人脸位置数据控制所述摄像头的动作，以使所述摄像头动态追踪所述目标对象。
4.根据权利要求1所述的显示设备，其特征在于，在控制图形处理器生成第一图像之前，所述控制器还用于执行：
控制显示器在目标应用程序的图像显示页面显示所述场景图像；
响应于接收到预设操作指令，在所述图像显示页面上展示功能页面，所述功能页面中按照预设布局显示若干数量的图像控件；
响应于接收到对所述功能页面中图像控件的选择操作，控制所述图形处理器执行第一图像生成逻辑；
其中，所述第一图像生成逻辑被配置为：将所述图像控件对应的虚拟人物图像解码生成位图；调用开放式图形库接口程序中的顶点数组工具，接收用户输入的顶点数组信息，所述顶点数组信息用于定义所述运动规则，所述顶点数组信息包括每帧位图中每个像素点的位置信息；按照定义的运动规则，将所述位图与所述场景图像叠加得到第一图像，并将所述第一图像发送给所述控制器。
5.根据权利要求4所述的显示设备，其特征在于，所述第一图像生成逻辑被配置为按照如下方式得到第一图像：
调用所述开放式图形库接口程序，将所述场景图像转换为第一标准纹理；
为所述位图生成并加载第二标准纹理，并根据所述顶点数组信息，控制所述虚拟人物在所述第二标准纹理上的显示位置；
将所述第一标准纹理和所述第二标准纹理进行叠加，得到混合纹理；
将所述混合纹理、颜色信息和深度信息输出到帧缓冲区，同时进行离屏渲染；
根据渲染结果，对所述场景图像和所述位图进行叠加，得到所述第一图像。
6.根据权利要求1所述的显示设备，其特征在于，所述控制器被配置为按照如下方式检测所述第一人脸位置数据：
利用人脸识别算法，识别所述第一图像中虚拟人物的人脸信息；
根据所述人脸信息，对虚拟人物的脸部进行标定，得到标定区域；
追踪所述标定区域的中心点的动态位置，得到所述第一人脸位置数据。
7.根据权利要求6所述的显示设备，其特征在于，所述摄像头包括镜头组件和云台组件，所述云台组件用于调节镜头组件的转向和旋转角度，则所述控制器被配置为按照如下方式控制所述摄像头动作：
计算所述标定区域的中心点和预设中心点之间的距离；
结合所述镜头组件的最大视角以及所述第一图像的尺寸，计算旋转角度数据；以及，通过比较标定区域的中心点和预设中心点的横纵坐标值的大小关系，得到转向数据；
根据所述旋转角度数据和所述转向数据，生成控制指令，并将所述控制指令发送给所述云台组件，以使所述云台组件按照控制指令指示的转向和旋转角度，调节镜头组件。
8.一种显示设备，用于自动化测试场景，其特征在于，包括：
本机内置的摄像头或用于外接摄像头的接口，摄像头用于拍摄场景图像；
图形处理器，用于按照定义的运动规则，在场景图像中填加虚拟人物而得到第一图像；
显示器，用于显示图像；
控制器，用于执行：
控制图形处理器生成所述第一图像，并控制显示器显示所述第一图像；
检测所述虚拟人物在所述运动规则作用下的第一人脸位置数据，并根据所述第一人脸位置数据控制所述摄像头的动作，以使所述摄像头动态追踪所述虚拟人物；
如果在所述场景图像中检测到真实人像，始终保持使摄像头动态追踪虚拟人物的状态，不切换到对所述真实人像的动态追踪。
9.一种显示设备中的摄像头调节方法，其特征在于，包括：
如果在摄像头拍摄的场景图像中未检测到真实人像，按照定义的运动规则，在场景图像中填加虚拟人物，生成并显示第一图像；
检测所述虚拟人物在所述运动规则作用下的第一人脸位置数据，并根据所述第一人脸位置数据控制所述摄像头的动作，以使所述摄像头动态追踪所述虚拟人物。
10.一种显示设备中的摄像头调节方法，用于自动化测试场景，其特征在于，包括：
按照定义的运动规则，在摄像头拍摄的场景图像中填加虚拟人物，生成并显示第一图像；
检测所述虚拟人物在所述运动规则作用下的第一人脸位置数据，并根据所述第一人脸位置数据控制所述摄像头的动作，以使所述摄像头动态追踪所述虚拟人物；
如果在所述场景图像中检测到真实人像，始终保持使摄像头动态追踪虚拟人物的状态，不切换到对所述真实人像的动态追踪。
CN202110156750.8A 2020-08-21 2021-02-04 一种摄像头调节方法及显示设备 Active CN112929750B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2020108480943 2020-08-21
CN202010848094 2020-08-21

Publications (2)

Publication Number Publication Date
CN112929750A true CN112929750A (zh) 2021-06-08
CN112929750B CN112929750B (zh) 2022-10-28

Family

ID=76170514

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110156750.8A Active CN112929750B (zh) 2020-08-21 2021-02-04 一种摄像头调节方法及显示设备

Country Status (1)

Country Link
CN (1) CN112929750B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113965812A (zh) * 2021-12-21 2022-01-21 广州虎牙信息科技有限公司 直播方法、系统及直播设备
CN114363689A (zh) * 2022-01-11 2022-04-15 广州博冠信息科技有限公司 直播控制方法、装置、存储介质及电子设备

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003046842A (ja) * 2001-07-31 2003-02-14 Nippon Hoso Kyokai <Nhk> 仮想シーン撮影方法及びその装置
CN1957373A (zh) * 2004-03-12 2007-05-02 布拉科成像S.P.A.公司 基于视频的扩增实境增强型外科手术导航系统的精度评估
JP2011008687A (ja) * 2009-06-29 2011-01-13 Sharp Corp 画像処理装置
CN103079661A (zh) * 2010-03-30 2013-05-01 索尼电脑娱乐美国公司 用于增强现实角色维持并体现观察者的认知的方法
CN103402106A (zh) * 2013-07-25 2013-11-20 青岛海信电器股份有限公司 三维图像显示方法及装置
CN103984490A (zh) * 2014-04-24 2014-08-13 北京掌阔移动传媒科技有限公司 一种基于移动终端的物体跟踪方法和装置
CN105812736A (zh) * 2016-03-21 2016-07-27 北京工业大学 自调节式云台摄像头远程智能控制系统及其控制方法
US20160366342A1 (en) * 2015-06-09 2016-12-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for tracking at least one object and method for replacing at least one object by a virtual object in a moving image signal recorded by a camera
CN106445813A (zh) * 2016-08-31 2017-02-22 福建联迪商用设备有限公司 一种图像算法仿真自动化测试方法和系统
CN106710003A (zh) * 2017-01-09 2017-05-24 成都品果科技有限公司 一种基于OpenGL ES的三维拍照方法和系统
CN107450714A (zh) * 2016-05-31 2017-12-08 大唐电信科技股份有限公司 基于增强现实和图像识别的人机交互支撑测试系统
CN107577345A (zh) * 2017-09-04 2018-01-12 苏州英诺迈医学创新服务有限公司 一种控制虚拟人物漫游的方法及装置
WO2019025371A1 (fr) * 2017-08-03 2019-02-07 Renault S.A.S Interaction tactile avec des ihm dans un environnement immersif
CN109413415A (zh) * 2018-12-12 2019-03-01 清华大学苏州汽车研究院（吴江） 一种摄像头控制器测试系统及测试方法
CN109675307A (zh) * 2019-01-10 2019-04-26 网易（杭州）网络有限公司 游戏中的显示控制方法、装置、存储介质、处理器及终端
CN109675310A (zh) * 2018-12-19 2019-04-26 网易（杭州）网络有限公司 一种游戏中虚拟镜头控制的方法及装置
CN110244687A (zh) * 2019-06-04 2019-09-17 中国第一汽车股份有限公司 一种摄像头控制器的测试系统
CN111240476A (zh) * 2020-01-06 2020-06-05 腾讯科技（深圳）有限公司 基于增强现实的交互方法、装置、存储介质和计算机设备

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003046842A (ja) * 2001-07-31 2003-02-14 Nippon Hoso Kyokai <Nhk> 仮想シーン撮影方法及びその装置
CN1957373A (zh) * 2004-03-12 2007-05-02 布拉科成像S.P.A.公司 基于视频的扩增实境增强型外科手术导航系统的精度评估
JP2011008687A (ja) * 2009-06-29 2011-01-13 Sharp Corp 画像処理装置
CN103079661A (zh) * 2010-03-30 2013-05-01 索尼电脑娱乐美国公司 用于增强现实角色维持并体现观察者的认知的方法
CN103402106A (zh) * 2013-07-25 2013-11-20 青岛海信电器股份有限公司 三维图像显示方法及装置
CN103984490A (zh) * 2014-04-24 2014-08-13 北京掌阔移动传媒科技有限公司 一种基于移动终端的物体跟踪方法和装置
US20160366342A1 (en) * 2015-06-09 2016-12-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for tracking at least one object and method for replacing at least one object by a virtual object in a moving image signal recorded by a camera
CN105812736A (zh) * 2016-03-21 2016-07-27 北京工业大学 自调节式云台摄像头远程智能控制系统及其控制方法
CN107450714A (zh) * 2016-05-31 2017-12-08 大唐电信科技股份有限公司 基于增强现实和图像识别的人机交互支撑测试系统
CN106445813A (zh) * 2016-08-31 2017-02-22 福建联迪商用设备有限公司 一种图像算法仿真自动化测试方法和系统
CN106710003A (zh) * 2017-01-09 2017-05-24 成都品果科技有限公司 一种基于OpenGL ES的三维拍照方法和系统
WO2019025371A1 (fr) * 2017-08-03 2019-02-07 Renault S.A.S Interaction tactile avec des ihm dans un environnement immersif
CN107577345A (zh) * 2017-09-04 2018-01-12 苏州英诺迈医学创新服务有限公司 一种控制虚拟人物漫游的方法及装置
CN109413415A (zh) * 2018-12-12 2019-03-01 清华大学苏州汽车研究院（吴江） 一种摄像头控制器测试系统及测试方法
CN109675310A (zh) * 2018-12-19 2019-04-26 网易（杭州）网络有限公司 一种游戏中虚拟镜头控制的方法及装置
CN109675307A (zh) * 2019-01-10 2019-04-26 网易（杭州）网络有限公司 游戏中的显示控制方法、装置、存储介质、处理器及终端
CN110244687A (zh) * 2019-06-04 2019-09-17 中国第一汽车股份有限公司 一种摄像头控制器的测试系统
CN111240476A (zh) * 2020-01-06 2020-06-05 腾讯科技（深圳）有限公司 基于增强现实的交互方法、装置、存储介质和计算机设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113965812A (zh) * 2021-12-21 2022-01-21 广州虎牙信息科技有限公司 直播方法、系统及直播设备
CN114363689A (zh) * 2022-01-11 2022-04-15 广州博冠信息科技有限公司 直播控制方法、装置、存储介质及电子设备
CN114363689B (zh) * 2022-01-11 2024-01-23 广州博冠信息科技有限公司 直播控制方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN112929750B (zh) 2022-10-28

Similar Documents

Publication Publication Date Title
US9852764B2 (en) System and method for providing and interacting with coordinated presentations
CN113064684B (zh) 一种虚拟现实设备及vr场景截屏方法
CN111669508A (zh) 一种摄像头的控制方法及显示设备
TW202303527A (zh) 擴展現實環境中的圖像擷取
CN112866772B (zh) 一种显示设备及声像人物定位追踪方法
CN112672062B (zh) 一种显示设备及人像定位方法
CN112929750B (zh) 一种摄像头调节方法及显示设备
CN112866773B (zh) 一种显示设备及多人场景下摄像头追踪方法
CN112732089A (zh) 一种虚拟现实设备及快捷交互方法
CN113066189B (zh) 一种增强现实设备及虚实物体遮挡显示方法
CN113825002B (zh) 显示设备及焦距控制方法
US20220172440A1 (en) Extended field of view generation for split-rendering for virtual reality streaming
CN111939561B (zh) 显示设备及交互方法
CN113473024A (zh) 显示设备、云台摄像头和摄像头控制方法
CN114286077B (zh) 一种虚拟现实设备及vr场景图像显示方法
CN112905008B (zh) 一种手势调节显示图像方法及显示设备
WO2021218473A1 (zh) 一种显示方法及显示设备
WO2020248682A1 (zh) 一种显示设备及虚拟场景生成方法
CN114302203A (zh) 图像显示方法及显示设备
CN113824870A (zh) 显示设备及摄像头角度调整方法
CN113453069A (zh) 一种显示设备及缩略图生成方法
CN112732088B (zh) 一种虚拟现实设备及单目截屏方法
CN116266090A (zh) 一种虚拟现实设备及焦点操作方法
CN114283055A (zh) 一种虚拟现实设备及图片显示方法
CN114302200A (zh) 一种显示设备、及基于用户姿态触发的拍照方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant