CN116405768A - 视频画面区域确定方法、装置、计算机设备和存储介质 - Google Patents

视频画面区域确定方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN116405768A
CN116405768A CN202310246361.3A CN202310246361A CN116405768A CN 116405768 A CN116405768 A CN 116405768A CN 202310246361 A CN202310246361 A CN 202310246361A CN 116405768 A CN116405768 A CN 116405768A
Authority
CN
China
Prior art keywords
pixel
picture
screen
determining
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310246361.3A
Other languages
English (en)
Inventor
张伟俊
唐小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Insta360 Innovation Technology Co Ltd
Original Assignee
Insta360 Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Insta360 Innovation Technology Co Ltd filed Critical Insta360 Innovation Technology Co Ltd
Priority to CN202310246361.3A priority Critical patent/CN116405768A/zh
Publication of CN116405768A publication Critical patent/CN116405768A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72427—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting games or graphical animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种视频画面区域确定方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：在通过云台带动终端分别朝不同预设方向转动的过程中，获取所述终端在利用摄像头拍摄视频时的各帧屏幕画面；检测各帧所述屏幕画面的像素差异信息；确定所述像素差异信息在转动过程的变化值；根据所述变化值分别在各帧所述屏幕画面中确定视频画面区域。通过该像素差异信息明确像素是否产生变化，从全屏幕画面的像素中确定差异信息变化的像素点，处理的像素数量较小；根据变化值分别在各帧屏幕画面中确定视频画面区域，以较小的数据量确定屏幕画面中的视频画面区域，计算效率较高。

Description

视频画面区域确定方法、装置、计算机设备和存储介质
技术领域
本申请涉及视频帧处理技术领域，特别是涉及一种视频画面区域确定方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
在用户通过手机、平板电脑或其他智能设备进行拍摄时，可能已经启动了内置的视频拍摄应用程序，或者其他占用摄像头的应用程序。若没有追踪功能的应用程序占用摄像头，则对该应用程序所调用摄像头拍摄的视频数据进行采集，在采集到的视频数据上识别目标。
在这种情况下，占用摄像头的应用程序所拍摄的视频画面并未占据整个屏幕画面，则难以确定视频画面在屏幕画面中的位置区域，无法得到视频画面。
发明内容
基于此，有必要针对上述技术问题，提供一种视频画面区域确定方法、装置、计算机设备、计算机可读存储介质和计算机程序产品，能够从屏幕画面中确定视频画面。
第一方面，本申请提供了一种视频画面区域确定方法。所述方法包括：
在通过云台带动终端分别朝不同预设方向转动的过程中，获取所述终端在利用摄像头拍摄视频时的各帧屏幕画面；
检测各帧所述屏幕画面的像素差异信息；
确定所述像素差异信息在转动过程的变化值；
根据所述变化值分别在各帧所述屏幕画面中确定视频画面区域。
在其中一个实施例中，所述各帧屏幕画面是在不同时间戳依序采集的；所述检测各帧所述屏幕画面的像素差异信息，包括：
根据不同时间戳的间隔对各帧所述屏幕画面进行组合，得到屏幕画面对；
根据所述屏幕画面对的位置对应关系，在所述屏幕画面对的屏幕画面中确定匹配的像素点，得到所述屏幕画面对的像素对；
确定所述屏幕画面对的像素对中各像素点之间的像素差值。
在其中一个实施例中，所述确定所述屏幕画面对的像素对中各像素点之间的像素差值，包括：
对所述屏幕画面对进行灰度处理，得到灰度画面对；
在所述灰度画面对中，计算各所述像素对中各像素点的灰度值；
基于各所述像素对中的像素点的灰度值，确定各所述像素对中像素点的灰度差值。
在其中一个实施例中，所述确定所述像素差异信息在转动过程的变化值，包括：
确定转动过程的屏幕画面帧数；
按照所述屏幕画面帧数，均值化处理各所述像素对中像素点的像素差值，得到各所述像素对中像素点的均值化像素差值。
在其中一个实施例中，所述根据所述变化值分别在各帧所述屏幕画面中确定视频画面区域，包括：
在各帧所述屏幕画面中，将所述变化值满足运动像素点条件的像素点，确定为运动像素点；
按照各所述运动像素点在各帧所述屏幕画面的区域，划分各帧所述屏幕画面中的视频画面区域。
在其中一个实施例中，所述运动像素点对应的变化值大于或等于像素变化阈值。
在其中一个实施例中，所述将所述变化值满足运动像素点条件的像素点，确定为运动像素点，包括：
根据像素变化阈值对所述变化值对应的像素点进行分类，得到候选运动点或候选背景点中的至少一种；
根据所述候选运动点与所述候选背景点分别对应的像素值，计算得到阈值更新参数；
若所述阈值更新参数与所述像素变化阈值不同，则根据所述阈值更新参数更新所述像素变化阈值，并返回执行上述像素点分类和阈值更新参数计算的过程，直至所述阈值更新参数与所述像素变化阈值相同时，基于所述像素变化阈值划分的候选运动点确定运动像素点。
在其中一个实施例中，所述像素变化阈值包括初始像素变化阈值；所述方法还包括：
统计各帧所述屏幕画面中的灰度值；
确定所述灰度值中的最大灰度值和最小灰度值；
对所述最大灰度值和所述最小灰度值进行均值化处理，得到所述初始像素变化阈值。
在其中一个实施例中，所述根据所述候选运动点与所述候选背景点分别对应的像素值，计算得到阈值更新参数，包括：
按照所述候选运动点的像素点数量，对所述候选运动点的像素值进行均值化处理，得到候选运动像素均值；
按照所述候选背景点的像素点数量，对所述候选背景点的像素值进行均值化处理，得到候选背景像素均值；
均值化处理所述候选运动像素均值与所述候选背景像素均值，得到阈值更新参数。
在其中一个实施例中，所述根据所述变化值分别在各帧所述屏幕画面中确定视频画面区域之后，所述方法还包括：
录制所述视频画面区域，得到视频画面；
确定所述视频画面的特征变化信息；
根据所述特征变化信息，确定画面运动信息；
根据所述画面运动信息生成所述终端在转动时的画面参数序列；
根据所述画面参数序列符合的预设运动趋势，确定所述摄像头为所述终端的前置摄像头或后置摄像头。
在其中一个实施例中，所述根据所述画面参数序列符合的预设运动趋势，确定所述摄像头为所述终端的前置摄像头或后置摄像头，包括：
若检测到所述画面参数序列符合前置摄像头预设运动趋势，则确定所述摄像头为所述终端的前置摄像头；
若检测到所述画面参数序列符合后置摄像头预设运动趋势，则确定所述摄像头为所述终端的后置摄像头。
在其中一个实施例中，所述方法还包括：
在所述视频画面区域中确定目标对象的位置；
根据所述目标对象的位置确定所述摄像头的画面采集参数；
通过所述云台带动所述终端按照所述画面采集参数转动；
在按照所述画面采集参数转动的过程中，对所述终端利用摄像头拍摄的视频画面进行录制；其中，所述目标对象在按照画面采集参数所录制视频画面中的预设画面位置。
第二方面，本申请还提供了一种视频画面区域确定装置。所述装置包括：
画面采集模块，用于在通过云台带动终端分别朝不同预设方向转动的过程中，获取所述终端在利用摄像头拍摄视频时的各帧屏幕画面；
差异计算模块，用于检测各帧所述屏幕画面的像素差异信息；
变化值计算模块，用于确定所述像素差异信息在转动过程的变化值；
视频画面确定模块，用于根据所述变化值分别在各帧所述屏幕画面中确定视频画面区域。
第三方面，本申请还提供了一种手持云台，包括处理器，所述处理器用于执行所述计算机程序时实现上述任意实施例中视频画面区域确定的步骤。
第四方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任意实施例中视频画面区域确定的步骤。
第五方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意实施例中视频画面区域确定的步骤。
第六方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述任意实施例中视频画面区域确定的步骤。
上述视频画面区域确定方法、装置、计算机设备、存储介质和计算机程序产品，获取终端在运动过程中的各帧屏幕画面，可通过录屏等方式进行全屏录制；而检测各帧屏幕画面的像素差异信息；确定像素差异信息的变化值；通过该像素差异信息明确像素是否产生变化，从全屏幕画面的像素中确定差异信息变化的像素点，处理的像素数量较小；根据变化值分别在各帧屏幕画面中确定视频画面区域，以较小的数据量确定屏幕画面中的视频画面区域，计算效率较高。
附图说明
图1为一个实施例中视频画面区域确定方法的应用环境图；
图2为一个实施例中视频画面区域确定方法的流程示意图；
图3为一个实施例中视频画面的界面示意图；
图4为一个实施例中视频画面的界面示意图；
图5为一个实施例中视频画面区域确定方法在应用场景的流程图；
图6为一个实施例中视频画面区域确定装置的结构框图；
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的视频画面区域确定方法，可以应用于如图1所示的应用环境中。其中，终端102可以但不限于是各种摄像头、摄像机、全景相机、运动相机、个人计算机、笔记本电脑、智能手机、平板电脑、便携式可穿戴设备，便携式可穿戴设备可为智能手表、智能手环、头戴设备等。终端102可以通过焊接等方式固定于云台本体上，且也可以与云台本体可拆卸连接或可转动连接。
在一个实施例中，如图2所示，提供了一种视频画面区域确定方法，以该方法应用于图1中的终端102为例进行说明，包括以下步骤：
步骤202，在通过云台带动终端分别朝不同预设方向转动的过程中，获取终端在利用摄像头拍摄视频时的各帧屏幕画面。
预设方向是各云台转台方向中的一个方向，其中，云台转台方向是云台中，终端所在安装平台的旋转方向，通过云台的各部件进行各种旋转或变形来控制终端运动，以使视频画面产生特征变化信息。
不同预设方向包括至少两个预设方向，以通过云台带动终端分别在不同预设方向上采集各帧屏幕画面。可选地，屏幕画面与视频画面的关系如图3(a)、图3(b)或图3(c)所示，图3(a)表征应用程序通过前置摄像头拍摄所得的小窗口视频画面，图3(b)表征应用程序通过后置摄像头拍摄所得的小窗口视频画面，此时，小窗口视频画面所在位置区域是视频画面区域；图3(c)表征屏幕画面与视频画面具有相同范围，此时屏幕画面所在区域就是视频画面区域。需要了解的是，当摄像头被其他应用程序占用后，云台难以确定视频画面区域是小窗口视频画面，还是屏幕画面所在区域。
屏幕画面包括终端在转动过程中的屏幕所展示画面，屏幕画面包括至少部分视频画面，且还可包括终端的系统桌面画面或其他应用程序的画面。在终端的摄像头被其他应用程序占用的情况下，需要确定视频画面与屏幕画面之间的关系，该关系可通过各帧屏幕画面的像素差异信息确定。
在一个实施例中，在通过云台带动终端依次朝不同预设方向转动的过程中，获取终端在利用摄像头拍摄视频时的各帧屏幕画面，包括：响应于云台发送的视频画面判断指令，终端控制云台带动终端依次朝不同预设方向转动，并通过终端的录屏线程对终端利用摄像头拍摄视频时，对该终端在屏幕所显示的内容进行录制，得到各帧屏幕画面；其中，视频画面判断指令可以是对象跟踪指令，且还可以是摄像头判断指令，且视频画面判断指令、对象跟踪指令，以及摄像头判断指令可以是同一数据或不同数据包。
步骤204，检测各帧屏幕画面的像素差异信息。
屏幕画面的像素差异信息，用于判断各帧屏幕画面中的像素是否存在差异；像素差异信息包括但不限于各帧屏幕画面在对应位置的像素颜色通道差值，像素亮度差值等像素值的差异数据。
在一个可选地实施例中，检测各帧屏幕画面的像素差异信息，包括：依次将各帧屏幕画面组合为各屏幕画面对；在各屏幕画面对中的两个屏幕画面中，将相对于屏幕画面同一坐标位置的像素点确定为像素点对，分别计算各像素点对的像素差值。可选地，检测各帧屏幕画面的像素差异信息可以使用帧差法或背景差异法等方式。
在一个实施例中，检测各帧屏幕画面的像素差异信息，包括：根据不同时间戳的间隔对各帧屏幕画面进行组合，得到屏幕画面对；根据屏幕画面对的位置对应关系，在屏幕画面对的屏幕画面中确定匹配的像素点，得到屏幕画面对的像素对；确定屏幕画面对的像素对中各像素点之间的像素差值。
屏幕画面对是按照不同时间戳的间隔，对各帧屏幕画面两两组合所得。可选地，按照不同时间戳的预设间隔，将各帧屏幕画面依序确定为第一屏幕画面和第一屏幕画面对应的第二屏幕画面；第一屏幕画面和其对应的第二屏幕画面形成一个屏幕画面对。示例性地，对于依序排列的屏幕画面A、屏幕画面B、屏幕画面C，这三帧屏幕画面的时间戳的间隔是某帧率下的3帧，即，屏幕画面A与屏幕画面B之间以该帧率的3帧为间隔，屏幕画面B与屏幕画面C之间以该帧率的3帧为间隔；此时，屏幕画面B可以同时属于不同屏幕画面对，其在一个屏幕画面对中，作为屏幕画面A的第二屏幕画面，而在另一个屏幕画面对中，屏幕画面B作为屏幕画面C的第一屏幕画面，以此类推。
位置对应关系用于根据像素点在屏幕画面中的位置，从屏幕画面对的不同屏幕画面确定匹配的像素点。匹配的像素点位于屏幕画面对中的不同屏幕画面，且匹配的像素点之间具有位置对应关系，位置对应关系是在不同屏幕画面中的重合位置，重合位置可以是视屏画面中的相同像素点位置，也可以是在坐标相同位置某一方向的关联像素点位置。
像素对是匹配的像素点两两组合所得，在一屏幕画面对中，包括多个像素对，各像素对分别有其各自的像素差值。像素差值是像素对中的各像素点的像素值之差，在不同色彩空间下，像素值可以有不同的含义，像素值可以是像素点的灰度值、颜色通道值或亮度值。
在一个可选地实施方式中，根据屏幕画面对的位置对应关系，在屏幕画面对的屏幕画面中确定匹配的像素点，得到屏幕画面对的像素对，包括：确定屏幕画面对的像素点坐标；在屏幕画面对的不同屏幕画面中，确定像素点坐标相同的像素点，将像素点坐标相同的像素点作为匹配的像素点；将匹配的像素点确定为屏幕画面对的像素对，以此得到屏幕画面对的各像素对。可选地，由于屏幕画面对是按照不同时间戳的间隔组合所得，各像素对也是按照不同时间戳的间隔组合所得，即各像素对也是相对设置的。
像素对中各像素点之间的像素差值，是像素对中的像素点在像素值的差值，该差值是像素对中像素差异信息的变化值。举例而言，像素对包括第一屏幕画面中的第一像素点和第二屏幕画面中的第二像素点，第一屏幕画面录制的时间戳在第二屏幕画面录制的时间戳之前，第一像素点与第二像素点具有相同坐标，则像素差异信息的变化值是第一像素点到第二像素点的像素差值。
在一个示例性地实施例中，对于依序排列的屏幕画面A、屏幕画面B、屏幕画面C，屏幕画面A存在X坐标的像素点A1，屏幕画面B存在X坐标的像素点B1，屏幕画面C存在X坐标的像素点C1，屏幕画面B可以同时属于不同屏幕画面对，其在一个屏幕画面对中，作为屏幕画面A的第二屏幕画面，此时，像素点A1与像素点B1是匹配的像素点，形成一个像素对A1B1，以像素对A1B1的像素差值作为像素点A1的变化值；而在另一个屏幕画面对中，屏幕画面B作为屏幕画面C的第一屏幕画面，像素点B1与像素点C1是匹配的像素点，形成一个像素对B1C1，以像素对B1C1的像素差值作为像素点B1的变化值。
按照时间戳的间隔组合屏幕画面，以两两屏幕画面分别形成屏幕画面对，组合效率较高，组合耗时较短；在屏幕画面对中确定像素对，再计算像素对中各像素点之间的像素差值，能够更好地降低计算量，缩短相似差异信息获取时间。
在一个实施方式中，确定屏幕画面对的像素对中各像素点之间的像素差值，包括：对屏幕画面对进行灰度处理，得到灰度画面对；在灰度画面对中，计算各像素对中各像素点的灰度值；基于各像素对中的像素点的灰度值，确定各像素对中像素点的灰度差值。
灰度画面对是将屏幕画面对进行灰度色彩空间转换所得的画面对，其可将不同颜色通道值转换为灰度值。灰度画面对并不改变像素对的对应关系，且会降低数据维度。示例性地，屏幕画面对处于红绿蓝色彩空间(RGB色彩空间)，则存在三个维度的数据，而灰度画面对为存在一个数据维度的单色通道，可以提高计算效率。
在一个可行地实施方式中，在灰度画面对中，计算各像素对中各像素点的灰度值，包括：在灰度画面对中的各灰度画面，分别通过灰度直方图确定各像素对中各像素点的灰度值。可选地，像素点的灰度差值可以是绝对值的形式，以便于进行灰度差值的均值化等处理。
先针对单一屏幕画面进行色彩空间转换，将屏幕画面对转换为灰度画面，将多种通道值转换为灰度图的像素值；再进行灰度画面对的像素差值计算，基于不同灰度画面的坐标位置进行差值计算，得到像素点的像素差值，以此提高计算效率。
步骤206，确定像素差异信息在转动过程的变化值。
变化值，用于表征屏幕画面中的像素点在转动过程的变化程度。若某像素点产生像素差异信息的变化值较大，则该像素点在转动过程的差异信息波动较大，其更可能是视频画面区域中的像素点；若某像素点产生像素差异信息的变化值较小，则该像素点在转动过程的差异信息波动较小，其位于屏幕画面中的其他类型画面区域。其他类型画面区域包括桌面画面区域、某应用程序画面区域。
示例性地，在用户通过终端同步进行游戏与视频拍摄的场景中，屏幕画面包括游戏画面区域和视频画面区域；即使该游戏画面区域与视频画面区域的像素差异信息可能是相近的，但游戏画面并不会因为云台转动而产生较大的变化值，视频画面区域会随着摄像头拍摄的不同对象而产生变化，以此确定屏幕画面中的视频画面区域。
在一个实施例中，确定像素差异信息在转动过程的变化值，包括：确定转动过程的屏幕画面帧数；按照屏幕画面帧数，均值化处理各像素对中像素点的像素差值，得到各像素对中像素点的均值化像素差值。
在一个可选地实施方式中，确定转动过程的屏幕画面帧数，包括：确定转动过程的屏幕画面帧率与转动时间；按照屏幕画面帧率与转动时间确定转动过程的屏幕画面帧数。举例而言，转动时间与屏幕画面帧率的比值是屏幕画面帧数。
在一个可选地实施方式中，按照屏幕画面帧数，均值化处理各像素对中像素点的像素差值，得到各像素对中像素点的均值化像素差值，包括：按照屏幕画面帧数确定屏幕画面对数量，计算各像素对中像素点的像素差值与屏幕画面对数量之间的比值；将该比值作为各像素对中像素点的均值化像素差值。
示例性地，屏幕画面帧率为15fps，则每1/15秒采集一帧系统录屏画面送给算法，从前到后依次记为{I0,I1,I2,...,IN}。固定间隔进行帧差计算，比如间隔为2帧，则在第3帧计算I3与I0之间的帧差图，记为F3；在第4帧计算I4与I1之间的帧差图，记为F4，得到帧差序列{F3,F4 F5,...,FN}。
相对应的，按照屏幕画面帧数，均值化处理各像素对中像素点的像素差值，得到各像素对中像素点的均值化像素差值，包括：对帧差序列{F3,F4 F5,...,FN}进行均值化处理，得到各像素对中像素点的均值化像素差值，各像素对中像素点的均值化像素差值，像素对中像素点的均值化像素差值用于表征转动期间的像素点的变化程度。
变化值大的点表示画面变化大，值小的点表示画面变化小。由于此间云台控制手机处于持续运动状态，所以相机预览画面的像素变化程度显著大于其他应用程序在屏幕画面的区域，其他应用程序在屏幕画面的区域包括但不限于界面(UI)、菜单区域，聊天时对方的聊天窗口区域。
由于像素对中像素点的均值化像素差值分布在不同位置，形成了平均帧差图，平均帧差图反映了在此期间画面内容的变化程度，以确定明显变化的像素点属于视频画面区域中的像素点。
通过转动过程的屏幕画面帧数，对具有位置对应关系的像素对中像素点的像素差值，进行均值化处理，将各像素点在转动过程中的像素差值有序而高效地组合起来，计算速度相对较高，且均值化像素差值能够将视频画面区域与屏幕画面的其他区域区分开来。
步骤208，根据变化值分别在各帧屏幕画面中确定视频画面区域。
获取终端在运动过程中的各帧屏幕画面，可通过录屏等方式进行全屏录制；而检测各帧屏幕画面的像素差异信息；确定像素差异信息的变化值；通过该像素差异信息明确像素是否产生变化，从全屏幕画面的像素中确定差异信息变化的像素，缩小了处理的像素数量；根据变化值分别在各帧屏幕画面中确定视频画面区域，以较小的数据量确定屏幕画面中的视频画面区域。
视频画面区域是通过终端的某应用程序占用终端的摄像头拍摄视频时，对该应用拍摄的视频在屏幕画面中的区域。由于该应用程序正在占据终端的摄像头，无法直接获取到摄像头所拍摄的内容，因而通过获取屏幕画面，确定屏幕画面中的画面录制区域，再通过画面录制区域获取到该视频画面，视频画面可以是屏幕画面的至少部分画面，也可以直接传输、存储或显示于其他电子设备。可选地，使用阈值分割方法。变化较大像素点集合的最小外接矩形框，将最小外接矩形框区域所合围的屏幕画面区域确定为视频画面区域。可选地，若需要从屏幕画面录制视频画面，则视频画面区域是画面录制区域；视频画面是通过终端的某应用程序占用终端的摄像头拍摄视频时，对该应用拍摄的视频进行录制的画面。
在一个实施例中，根据变化值分别在各帧屏幕画面中确定视频画面区域，包括：在各帧屏幕画面中，将变化值满足运动像素点条件的像素点，确定为运动像素点；按照各运动像素点在各帧屏幕画面的区域，划分各帧屏幕画面中的视频画面区域。
运动像素点是终端在转动过程中，相对于屏幕画面的像素点，像素值变化趋势相对较大的像素点。示例性地，在用户通过终端同步进行购物与视频拍摄的场景中，屏幕画面包括购物画面区域和视频画面区域；在云台转动中，对于像素点的像素差异信息的变化值而言，其在购物画面区域中的变化值小于视频画面区域中的变化值，因此，视频画面区域中的像素点均是运动像素点。
在一可选地实施方式中，按照各运动像素点在各帧屏幕画面的区域，划分各帧屏幕画面中的视频画面区域，包括：若预先确定占用摄像头的应用程序所具有的预设视频画面形状，则按照预设视频画面形状，对各运动像素点进行组合，得到组合区域；将组合区域所在区域确定视频画面的位置。示例性地，预设视频画面形状可以是长方形，且可以是通过前置摄像头或后置摄像头拍摄所得的。
将变化值满足运动像素点条件的像素点，确定为运动像素点，像素点为单元划分屏幕画面中的视频画面区域，其屏幕画面划分较为细致，能够较为准确地确定视频画面区域。而且，当差异信息的变化值为上述像素差值时，可以提高处理效率，因此整体方案的处理效率相对较高。
可选地，运动像素点条件是静态像素变化阈值，将差异信息的变化值超过该静态像素变化阈值的像素点确定为运动像素点；而为了更有针对性地识别出视频画面区域中的运动像素点，运动像素点条件是动态的像素变化阈值。
在一个实施方式中，动态的像素变化阈值采用迭代计算的方式计算所得；对应的，将变化值满足运动像素点条件的像素点，确定为运动像素点，包括：根据像素变化阈值对变化值对应的像素点进行分类，得到候选运动点与候选背景点；根据候选运动点与候选背景点分别对应的像素值，计算得到阈值更新参数；若阈值更新参数与像素变化阈值不同，则根据阈值更新参数更新像素变化阈值，并返回执行上述像素点分类和阈值更新参数计算的过程，直至阈值更新参数与像素变化阈值相同时，基于像素变化阈值划分的候选运动点确定运动像素点。
阈值更新参数用于判断像素变化阈值是否完成迭代计算，若阈值更新参数与像素变化阈值不同，则像素变化阈值的计算过程尚未完成，继续迭代计算像素变化阈值；若阈值更新参数与像素变化阈值相同，则像素变化阈值的计算过程完成。
阈值更新参数是候选运动点与候选背景点分别对应的像素值计算所得，而候选运动点与候选背景点分别对应的像素值包括：候选运动点对应的像素值，以及候选背景点对应的像素值；其中，候选运动点对应的像素值可以是根据候选运动点类型的像素点数量进行统计所得，候选背景点对应的像素值可以是根据候选背景点类型的像素点数量进行统计所得。
在一个可行地实施方式中，根据像素变化阈值对变化值对应的像素点进行分类，得到候选运动点与候选背景点，包括：将像素差异信息的变化值超过当前像素变化阈值的像素点确定为当前候选运动点，并将像素差异信息的变化值小于当前像素变化阈值的像素点确定为当前候选背景点。
相对应的，根据候选运动点与候选背景点分别对应的像素值，计算得到阈值更新参数，包括：根据当前候选背景点对应的像素值，以及当前候选背景点对应的像素值，计算得到当前阈值更新参数。其中，当前像素变化阈值是迭代过程中，当前迭代步骤计算出的像素变化阈值；当前候选运动点是迭代过程中，当前迭代步骤计算出的候选运动点；当前候选背景点是迭代过程中，当前迭代步骤计算出的候选背景点；当前阈值更新参数是迭代过程中，当前迭代步骤计算出的阈值更新参数。
在一个可行地实施方式中，像素变化阈值包括当前像素变化阈值和更新后像素变化阈值；对应的，根据阈值更新参数更新像素变化阈值，并返回执行上述像素点分类和阈值更新参数计算的过程，直至阈值更新参数与像素变化阈值相同，包括：根据阈值更新参数更新像素变化阈值，得到本次迭代计算的更新后像素变化阈值；根据该更新后像素变化阈值对变化值对应的像素点进行分类，得到该更新后像素变化阈值划分的候选运动点与候选背景点；根据该更新后像素变化阈值划分的候选运动点对应的像素值，以及，该更新后像素变化阈值划分的候选背景点对应的像素值，计算得到该更新后像素变化阈值的阈值更新参数；将该更新后像素变化阈值作为下一轮迭代过程的当前像素变化阈值，并将其阈值更新参数作为下一轮迭代过程的当前阈值更新参数，直至某轮迭代过程中的当前像素变化阈值与当前阈值更新参数相同。
在一个可行地实施方式中，在确定阈值更新参数与像素变化阈值相同时，可将像素变化阈值划分的候选运动点作为运动像素点，可对像素变化阈值划分的候选运动点进行筛选，将筛选出的候选运动点作为运动像素点。
根据像素变化阈值和像素差异信息的变化值，将像素点划分为候选运动点和候选背景点这两种像素点类型，针对这两种像素点类型对应的像素值进行两个维度的综合计算，迭代阈值更新参数，再通过阈值更新参数与像素变化阈值是否相同，确定迭代计算是否完成，从而准确地确定视频画面区域中的运动像素点。
在一个可选地实施方式中，像素变化阈值包括初始像素变化阈值；方法还包括：统计各帧屏幕画面中的灰度值；确定灰度值中的最大灰度值和最小灰度值；对最大灰度值和最小灰度值进行均值化处理，得到初始像素变化阈值。
屏幕画面中的灰度值可通过灰度直方图确定，灰度值中的最大灰度值和最小灰度值可通过用于排序的任意算法确定，最大灰度值和最小灰度值进行均值化处理过程是直接对数值的均值化。示例性地，可通过灰度直方图确定灰度值与灰度值分布信息，根据灰度值分布信息确定频率超过预设值的各灰度值；在频率超过预设值的各灰度值中，通过冒泡法进行排序得到最大灰度值和最小灰度值，再计算最大灰度值和最小灰度值的均值。
通过对屏幕画面中的灰度值进行统计，从各帧屏幕画面中的灰度值确定最大灰度值与最小灰度值，以最大灰度值和最小灰度值再次进行均值化，得到初始像素变化阈值，通过初始像素变化阈值作为迭代之前的最初像素变化阈值，使得像素变化阈值从一开始就是针对屏幕画面设置的，降低迭代计算的数据量。
在一个可选地实施方式中，根据候选运动点与候选背景点分别对应的像素值，计算得到阈值更新参数，包括：按照候选运动点的像素点数量，对候选运动点的像素值进行均值化处理，得到候选运动像素均值；按照候选背景点的像素点数量，对候选背景点的像素值进行均值化处理，得到候选背景像素均值；均值化处理候选运动像素均值与候选背景像素均值，得到阈值更新参数。
在一个可行地实施方式中，按照候选运动点的像素点数量，对候选运动点的像素值进行均值化处理，得到候选运动像素均值，包括：在屏幕画面中，统计候选运动点这一类别的像素点数量，得到候选运动点数量；对候选运动点类别的像素点进行像素值累加，得到候选运动点的像素值；计算候选运动点的像素值与候选运动点数量之间的比值，得到候选运动像素均值。
在一个可行地实施方式中，按照候选背景点的像素点数量，对候选背景点的像素值进行均值化处理，得到候选背景像素均值，包括：在屏幕画面中，统计候选背景点这一类别的像素点数量，得到候选背景点数量；对候选背景点类别的像素点进行像素值累加，得到候选背景点的像素值；计算候选背景点的像素值与候选背景点数量之间的比值，得到候选背景像素均值。
候选运动像素均值与候选背景像素均值是具体的数值，可直接对二者进行平均值计算，也可以按照候选运动像素均值与候选背景像素均值各自对应的权重进行加权计算，得到阈值更新参数。
候选运动像素点类别与候选背景像素点类别的像素点，分别进行像素值的汇总，形成候选运动像素均值与候选背景像素均值，再将候选运动像素均值和候选背景像素均值作为同等权重的数据进行均值化处理，得到阈值更新参数，以使得阈值更新参数能够针对各屏幕画面准确地判断像素变化阈值是否调整。
在一个实施例中，根据变化值分别在各帧屏幕画面中确定视频画面区域之后，该方法还包括：录制视频画面区域，得到视频画面；确定视频画面的特征变化信息；根据特征变化信息，确定画面运动信息；根据画面运动信息生成终端在转动时的画面参数序列；根据画面参数序列符合的预设运动趋势，确定摄像头为终端的前置摄像头或后置摄像头。
本实施例中的预设方向与预设运动趋势存在关联性。通过视频画面在各预设方向的运动时长与各预设方向的运动时长组合所得的顺序，可判断该视频画面是否符合预设运动趋势。
在一个实施例中，预设方向包括方向相反的第一预设方向与第二预设方向，以及方向相反的第三预设方向与第四预设方向；确定视频画面的特征变化信息，包括：在通过云台带动终端依次朝不同预设方向转动的过程中，按照云台的预设转动顺序，通过云台带动终端依次朝第一预设方向、第二预设方向、第三预设方向和第四预设方向转动预设角度；在过云台带动终端转动的过程中，对在终端显示的视频画面区域进行录制；视频画面是终端在利用摄像头拍摄该视频的画面。其中，视频画面依次如图4(a)到图4(e)所示。
示例性地，第一预设角度是25度，第二预设角度是35度，第一预设方向是向上运动，第二预设方向是向下运动，第三预设方向是向左运动，第四预设方向是向右运动；相对应的，采用本预设路径运动的过程包括：云台先向上运镜25度，再向下运镜回中，继而向左运镜35度，最后，向右运镜回中，本示例性地实施例中，一次运镜耗时约700ms，总耗时2.8s。
可选地，预设运动趋势包括：前摄运动趋势和后摄运动趋势中的至少一种预设运动趋势，前摄运动趋势与后摄运动趋势的预设方向顺序是相反的。
前摄运动趋势包括，在通过前置摄像头对视频画面预先采集的过程中，基于前置摄像头按照前摄预设方向顺序，依次预先采集视频画面时的预设前摄画面参数序列。相对应的，后摄运动趋势包括，在通过后置摄像头对视频画面预先采集的过程中，基于后置摄像头按照后摄预设方向顺序，依次预先采集视频画面时的预设后摄画面参数序列。
前摄预设方向顺序与后摄预设方向顺序是相反的顺序，以在摄像头的判断方法执行过程中，分别根据符合前摄运动趋势与后摄运动趋势的画面参数序列，确定摄像头为终端的前置摄像头或后置摄像头；其中，符合前摄运动趋势与后摄运动趋势的画面参数序列，包括符合前摄运动趋势的像素点参数序列，以及符合后摄运动趋势的像素点参数序列。其中，符合前摄运动趋势与后摄运动趋势的画面参数序列，包括符合前摄运动趋势的像素点参数序列，以及符合后摄运动趋势的像素点参数序列。
第一预设方向、第二预设方向、第三预设方向与第四预设方向是四个不同的云台转动方向，通过云台带动终端依次朝四个预设方向转动的过程中，能够使得视频画面的变化程度相对适度，以使得视频画面的特征变化信息增强，有助于高效地确定画面运动信息。而通过终端显示的视频画面区域录制所得的视频画面，实时反馈视频画面在转动过程中的变化状态。而且，通过云台依次按照第一预设角度与第二预设角度进行相反方向的转动，在转动过程所拍摄的视频画面能够更好地提取视频画面的特征变化信息，通过该特征变化信息判断摄像头是终端的前置摄像头或者后置摄像头，且可以降低运动转动时间。
在一个实施方式中，根据画面参数序列符合的预设运动趋势，确定摄像头为终端的前置摄像头或后置摄像头，包括：若检测到画面参数序列符合前置摄像头预设运动趋势，则确定摄像头为终端的前置摄像头；若检测到画面参数序列符合后置摄像头预设运动趋势，则确定摄像头为终端的后置摄像头。
在一个实施例中，检测到画面参数序列符合前置摄像头预设运动趋势，包括：在视频画面的像素点中，对符合前摄运动趋势的前摄像素点与符合后摄运动趋势的后摄像素点进行数量统计，得到前摄像素点数量与后摄像素点数量；若前摄像素点数量大于后摄像素点数量，则确定摄像头为终端的前置摄像头。
在一个实施例中，检测到画面参数序列符合后置摄像头预设运动趋势，包括：在视频画面的像素点中，对符合前摄运动趋势的前摄像素点与符合后摄运动趋势的后摄像素点进行数量统计，得到前摄像素点数量与后摄像素点数量；若前摄像素点数量小于后摄像素点数量，则确定摄像头为终端的后置摄像头。
示例性地，用于判断预设运动趋势的其他像素点，可以是针对各视频画面的像素点运动方向进行统计，得到像素点运动方向符合预设方向的像素点数量；基于该像素点运动方向符合预设方向的像素点数量和像素点方向顺序综合判断，以确定前摄像素点和后摄像素点。
由此，根据预设运动趋势所符合的不同条件，分别确定前摄像素点和后摄像素点，能够在视频画面属于不同场景的情况下，较为准确地判断上述摄像头为前置摄像头或后置摄像头。
示例性地，若第一预设方向是上方，第二预设方向是下方，第三预设方向是左方，第四预设方向是右方，则认为是某预设转动顺序下，符合预设运动趋势的像素点参数序列如下：
向上400ms+向下400ms+向左400ms+向右400ms＝符合后摄画面运动趋势；
向下400ms+向上400ms+向右400ms+向左400ms＝符合前摄画面运动趋势。
在一个实施例中，该方法还包括：在视频画面区域中确定目标对象的位置；根据目标对象的位置确定摄像头的画面采集参数；通过云台带动终端按照画面采集参数转动；在按照画面采集参数转动的过程中，对终端利用摄像头拍摄的视频画面进行录制；其中，目标对象在按照画面采集参数所录制视频画面中的预设画面位置。
画面采集参数用于表征目标对象在视频画面中的分布信息，不同的分布信息可以由目标对象的显著区域和关联区域在面积、坐标或其他数据进行计算所得到，以对拍摄过程的云台转动参数进行调整。其中，目标对象的显著区域是进行目标检测所识别出的区域，关联区域是与显著区域按照目标检测的对象结构相关联；示例性地，目标对象的关联区域是人头区域，目标对象的关联区域是人体区域。
可选地，若对拍摄过程的云台转动参数进行调整，画面采集参数是画面采集偏移量，画面采集偏移量至少包括采集方向的调整，还可以包括焦距的调整。画面采集偏移量是根据视频图像的显著区域是否位于预设画面位置确定。当视频图像的显著区域与目标位置的位置差异小于位置阈值时，可认为视频图像的画面采集偏移量较小，无需控制云台调整终端的位置，或者进行较小的调整；当视频画面的显著区域与目标位置的位置差异大于位置阈值时，画面采集偏移量较大，对视频画面的目标对象进行调整。可选地，对视频画面的目标对象进行调整时，可以变更目标对象的可识别对象类别，也可以变更目标对象。其中，目标对象是跟踪目标，其可以是系统预设的可识别对象类型，可识别对象类型包括但不限于如人、人头、人脸、猫、狗、车辆。
通过目标对象在至少一帧视频画面中的位置确定画面采集参数，再通过画面采集参数根据目标对象的位置控制云台带动终端转动，以使按照画面采集参数所录制视频画面中的预设画面位置与目标对象的位置相匹配，以针对目标对象进行拍摄。可选地，预设画面位置是视频画面的中心位置，或者用户选定的位置，可通过预设画面位置与目标对象的位置关系确定画面采集参数，再根据画面采集参数进行云台运动的控制策略。示例性地，目标对象在相机镜头区域里面居中，则先确定视频画面区域这个镜头区域，再计算当前偏移量等画面采集参数，通过当前偏移量等画面采集参数控制云台运动，并以进行目标对象的追踪拍摄。
在一个实施例中，确定摄像头为终端的前置摄像头或后置摄像头之后，该方法还包括：在云台搭载手机、相机或者其他拍摄终端进行拍摄时，若终端的摄像头被视频拍摄类软件占用，则通过终端的后台对摄像头拍摄的视频画面区域进行采集，得到视频画面；然后判断该视频画面中是否存在目标对象，若存在，根据目标对象的位置确定画面采集参数，以对目标对象进行追踪，实现了前端拍摄和后端追踪之间的相互配合，提高了用户拍摄体验。
上述视频画面区域确定方法中，获取终端在运动过程中的各帧屏幕画面，可通过录屏等方式进行全屏录制；而检测各帧屏幕画面的像素差异信息；确定像素差异信息的变化值；通过该像素差异信息明确像素是否产生变化，从全屏幕画面的像素中确定差异信息变化的像素点，处理的像素数量较小；根据变化值分别在各帧屏幕画面中确定视频画面区域，在视频画面区域进行追踪初始化过程与后续追踪过程的目标对象检测，进而，根据目标对象在视频画面区域中的位置追踪过程的云台控制信号，以较小的数据量确定屏幕画面中的视频画面，计算效率较高。
在一个示例性地实施例中，检测到手持云台上的某个按键被触发所发出的指令，云台通过蓝牙或其他通信连接方式通知终端中的应用程序；然后进入追踪的初始化。在初始化的过程中，首先会经过上述摄像头判断的过程及视频画面判断过程，确定视频画面所在区域，并判断摄像头是前置摄像头或者后置摄像头。然后对视频画面进行目标检测，检测视频画面中预设类型的物体，逐个计算矩形框中心点与预览区域中心的距离，选择距离最小的候选对象进行跟踪。可以使用常见的检测方法，可以是基于手工特征的检测方法(如模板匹配法、关键点匹配法、关键特征法等)，也可以是基于卷积神经网络技术的检测方法(如YOLO，SSD，R-CNN，Mask R-CNN等)。
在一个示例性地实施例中，将本申请应用于具体应用场景中，如图5所示，其包括：检测到终端的应用程序启动指令；应用程序连接终端与云台；终端的拍摄页面切换到录屏追踪模式；进入录屏追踪的待机状态，并弹出提示窗口以将应用程序切换到后台；通过灵动岛、悬浮窗、推送通知等其他人机交互方式等待对象追踪指令；若未检测到云台扳机所触发的指令，则提示终端未处于目标对象的追踪模式；若检测到初次点击云台扳机所触发的指令，发起初化流程；初始化联动是指，确定视频画面，并确定拍摄视频的摄像头是前置摄像头或后置摄像头；在初始化之后，确定目标对象，并进行目标对象的跟踪；将目标对象展示到视频画面中；通过悬浮框等人机交互界面展示终端处于目标对象追踪恢复中的模式；若保持目标对象的追踪持续1小时，则重新执行上述未检测到云台扳机所触发的指令的步骤；若保持目标对象的追踪前，存在上述“检测到初次点击云台扳机所触发的指令，发起初化流程”这一事件，则再次点击云台扳机所触发的指令时，取消追踪，重新执行上述“未检测到云台扳机所触发的指令，则提示终端未处于目标对象的追踪模式”的步骤。
在一个示例性地实施例中，将本申请应用于具体的应用场景中，其包括：在检测到终端的应用程序启动指令后，应用程序将终端与云台连接；当终端的拍摄页面切换到录屏追踪模式时，进入录屏追踪的待机状态，并弹出提示窗口，以将应用程序切换到后台；再通过灵动岛(Dynamic Island)等实时消息活动(Live activity)、悬浮窗、推送通知等其他人机交互方式等待对象追踪指令；若未检测到云台触发对象追踪指令，则提示终端未处于目标对象的追踪模式；若检测到云台触发对象追踪指令，则发起初始化流程，通过应用程序进行终端和云台的初始化联动，并确定视频画面与拍摄视频的摄像头是前置摄像头或后置摄像头；在视频画面和摄像头判断之后，初始化完成，从而确定目标对象并启动目标对象追踪。在目标对象追踪时，将目标对象展示到视频画面中，并通过悬浮框等人机交互界面展示终端处于目标对象追踪恢复中的模式，并保持目标对象的追踪；在保持目标对象的追踪过程中，若检测到云台触发对象追踪终止指令或追踪过程持续1小时，则重新等待对象追踪指令。
其中，云台触发对象追踪指令是用户点击云台中的追踪启动按钮所触发，对象追踪终止指令也可以是用户点击云台中的追踪终止按钮所触发；追踪启动按钮与追踪终止按钮可以是同一个按钮，且该按钮在等待对象追踪指令时充当追踪启动按钮，该按钮在保持目标对象的追踪过程中充当追踪终止按钮。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的视频画面区域确定方法的视频画面确定区域装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个视频画面区域确定装置实施例中的具体限定可以参见上文中对于视频画面区域确定方法的限定，在此不再赘述。
在一个实施例中，如图6所示，提供了一种视频画面区域确定装置，包括：
画面采集模块602，用于在通过云台带动终端分别朝不同预设方向转动的过程中，获取所述终端在利用摄像头拍摄视频时的各帧屏幕画面；
差异计算模块604，用于检测各帧所述屏幕画面的像素差异信息；
变化值计算模块606，用于确定所述像素差异信息在转动过程的变化值；
视频画面区域确定模块608，用于根据所述变化值分别在各帧所述屏幕画面中确定视频画面区域。
在其中一个实施例中，所述各帧屏幕画面是在不同时间戳依序采集的；所述差异计算模块604，用于：
根据不同时间戳的间隔对各帧所述屏幕画面进行组合，得到屏幕画面对；
根据所述屏幕画面对的位置对应关系，在所述屏幕画面对的屏幕画面中确定匹配的像素点，得到所述屏幕画面对的像素对；
确定所述屏幕画面对的像素对中各像素点之间的像素差值。
在其中一个实施例中，所述差异计算模块604，用于：
对所述屏幕画面对进行灰度处理，得到灰度画面对；
在所述灰度画面对中，计算各所述像素对中各像素点的灰度值；
基于各所述像素对中的像素点的灰度值，确定各所述像素对中像素点的灰度差值。
在其中一个实施例中，所述变化值计算模块606，用于：
确定转动过程的屏幕画面帧数；
按照所述屏幕画面帧数，均值化处理各所述像素对中像素点的像素差值，得到各所述像素对中像素点的均值化像素差值。
在其中一个实施例中，所述视频画面区域确定模块608，用于：
在各帧所述屏幕画面中，将所述变化值满足运动像素点条件的像素点，确定为运动像素点；
按照各所述运动像素点在各帧所述屏幕画面的区域，划分各帧所述屏幕画面中的视频画面区域。
在其中一个实施例中，所述运动像素点对应的变化值大于或等于像素变化阈值。
在其中一个实施例中，所述视频画面区域确定模块608，用于：
根据像素变化阈值对所述变化值对应的像素点进行分类，得到候选运动点或候选背景点中的至少一种；
根据所述候选运动点与所述候选背景点分别对应的像素值，计算得到阈值更新参数；
若所述阈值更新参数与所述像素变化阈值不同，则根据所述阈值更新参数更新所述像素变化阈值，并返回执行上述像素点分类和阈值更新参数计算的过程，直至所述阈值更新参数与所述像素变化阈值相同时，基于所述像素变化阈值划分的候选运动点确定运动像素点。
在其中一个实施例中，所述像素变化阈值包括初始像素变化阈值；所述视频画面区域确定模块608，还可用于：
统计各帧所述屏幕画面中的灰度值；
确定所述灰度值中的最大灰度值和最小灰度值；
对所述最大灰度值和所述最小灰度值进行均值化处理，得到所述初始像素变化阈值。
在其中一个实施例中，所述视频画面区域确定模块608，还可用于：
按照所述候选运动点的像素点数量，对所述候选运动点的像素值进行均值化处理，得到候选运动像素均值；
按照所述候选背景点的像素点数量，对所述候选背景点的像素值进行均值化处理，得到候选背景像素均值；
均值化处理所述候选运动像素均值与所述候选背景像素均值，得到阈值更新参数。
在其中一个实施例中，所述根据所述变化值分别在各帧所述屏幕画面中确定视频画面区域之后，所述装置还包括摄像头判断模块，摄像头判断模块用于：
录制所述视频画面区域，得到视频画面；
确定所述视频画面的特征变化信息；
根据所述特征变化信息，确定画面运动信息；
根据所述画面运动信息生成所述终端在转动时的画面参数序列；
根据所述画面参数序列符合的预设运动趋势，确定所述摄像头为所述终端的前置摄像头或后置摄像头。
在其中一个实施例中，所述摄像头判断模块，具体用于：
若检测到所述画面参数序列符合前置摄像头预设运动趋势，则确定所述摄像头为所述终端的前置摄像头；
若检测到所述画面参数序列符合后置摄像头预设运动趋势，则确定所述摄像头为所述终端的后置摄像头。
在其中一个实施例中，所述装置还包括摄像头判断模块，摄像头判断模块用于：
在所述视频画面区域中确定目标对象的位置；
根据所述目标对象的位置确定所述摄像头的画面采集参数；
通过所述云台带动所述终端按照所述画面采集参数转动；
在按照所述画面采集参数转动的过程中，对所述终端利用摄像头拍摄的视频画面进行录制；其中，所述目标对象在按照画面采集参数所录制视频画面中的预设画面位置。
上述视频画面区域确定装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可通过软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图7所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种视频画面区域确定方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置，显示屏可以是液晶显示屏或电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种手持云台，包括处理器，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (16)

1.一种视频画面区域确定方法，其特征在于，包括：
在通过云台带动终端分别朝不同预设方向转动的过程中，获取所述终端在利用摄像头拍摄视频时的各帧屏幕画面；
检测各帧所述屏幕画面的像素差异信息；
确定所述像素差异信息在转动过程的变化值；
根据所述变化值分别在各帧所述屏幕画面中确定视频画面区域。
2.根据权利要求1所述的方法，其特征在于，所述各帧屏幕画面是在不同时间戳依序采集的；所述检测各帧所述屏幕画面的像素差异信息，包括：
根据不同时间戳的间隔对各帧所述屏幕画面进行组合，得到屏幕画面对；
根据所述屏幕画面对的位置对应关系，在所述屏幕画面对的屏幕画面中确定匹配的像素点，得到所述屏幕画面对的像素对；
确定所述屏幕画面对的像素对中各像素点之间的像素差值。
3.根据权利要求2所述的方法，其特征在于，所述确定所述屏幕画面对的像素对中各像素点之间的像素差值，包括：
对所述屏幕画面对进行灰度处理，得到灰度画面对；
在所述灰度画面对中，计算各所述像素对中各像素点的灰度值；
基于各所述像素对中的像素点的灰度值，确定各所述像素对中像素点的灰度差值。
4.根据权利要求2所述的方法，其特征在于，所述确定所述像素差异信息在转动过程的变化值，包括：
确定转动过程的屏幕画面帧数；
按照所述屏幕画面帧数，均值化处理各所述像素对中像素点的像素差值，得到各所述像素对中像素点的均值化像素差值。
5.根据权利要求1所述的方法，其特征在于，所述根据所述变化值分别在各帧所述屏幕画面中确定视频画面区域，包括：
在各帧所述屏幕画面中，将所述变化值满足运动像素点条件的像素点，确定为运动像素点；
按照各所述运动像素点在各帧所述屏幕画面的区域，划分各帧所述屏幕画面中的视频画面区域。
6.根据权利要求5所述的方法，其特征在于，所述运动像素点对应的变化值大于或等于像素变化阈值。
7.根据权利要求6所述的方法，其特征在于，所述将所述变化值满足运动像素点条件的像素点，确定为运动像素点，包括：
根据所述像素变化阈值对所述变化值对应的像素点进行分类，得到候选运动点或候选背景点中的至少一种；
根据所述候选运动点与所述候选背景点分别对应的像素值，计算得到阈值更新参数；
若所述阈值更新参数与所述像素变化阈值不同，则根据所述阈值更新参数更新所述像素变化阈值，并返回执行上述像素点分类和阈值更新参数计算的过程，直至所述阈值更新参数与所述像素变化阈值相同时，基于所述像素变化阈值划分的候选运动点确定运动像素点。
8.根据权利要求7所述的方法，其特征在于，所述像素变化阈值包括初始像素变化阈值；所述方法还包括：
统计各帧所述屏幕画面中的灰度值；
确定所述灰度值中的最大灰度值和最小灰度值；
对所述最大灰度值和所述最小灰度值进行均值化处理，得到所述初始像素变化阈值。
9.根据权利要求7所述的方法，其特征在于，所述根据所述候选运动点与所述候选背景点分别对应的像素值，计算得到阈值更新参数，包括：
按照所述候选运动点的像素点数量，对所述候选运动点的像素值进行均值化处理，得到候选运动像素均值；
按照所述候选背景点的像素点数量，对所述候选背景点的像素值进行均值化处理，得到候选背景像素均值；
均值化处理所述候选运动像素均值与所述候选背景像素均值，得到阈值更新参数。
10.根据权利要求1所述的方法，其特征在于，所述根据所述变化值分别在各帧所述屏幕画面中确定视频画面区域之后，所述方法还包括：
录制所述视频画面区域，得到视频画面；
确定所述视频画面的特征变化信息；
根据所述特征变化信息，确定画面运动信息；
根据所述画面运动信息生成所述终端在转动时的画面参数序列；
根据所述画面参数序列符合的预设运动趋势，确定所述摄像头为所述终端的前置摄像头或后置摄像头。
11.根据权利要求10所述的方法，其特征在于，所述根据所述画面参数序列符合的预设运动趋势，确定所述摄像头为所述终端的前置摄像头或后置摄像头，包括：
若检测到所述画面参数序列符合前置摄像头预设运动趋势，则确定所述摄像头为所述终端的前置摄像头；
若检测到所述画面参数序列符合后置摄像头预设运动趋势，则确定所述摄像头为所述终端的后置摄像头。
12.根据权利要求1-11任意一项所述的方法，其特征在于，所述方法还包括：
在所述视频画面区域中确定目标对象的位置；
根据所述目标对象的位置确定所述摄像头的画面采集参数；
通过所述云台带动所述终端按照所述画面采集参数转动；
在按照所述画面采集参数转动的过程中，对所述终端利用摄像头拍摄的视频画面进行录制；其中，所述目标对象在按照画面采集参数所录制视频画面中的预设画面位置。
13.一种视频画面区域确定装置，其特征在于，所述装置包括：
画面采集模块，用于在通过云台带动终端分别朝不同预设方向转动的过程中，获取所述终端在利用摄像头拍摄视频时的各帧屏幕画面；
差异计算模块，用于检测各帧所述屏幕画面的像素差异信息；
变化值计算模块，用于确定所述像素差异信息在转动过程的变化值；
视频画面确定模块，用于根据所述变化值分别在各帧所述屏幕画面中确定视频画面区域。
14.一种手持云台，其特征在于，包括处理器，所述处理器用于实现权利要求1至12中任一项所述的方法的步骤。
15.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至12中任一项所述的方法的步骤。
16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤。
CN202310246361.3A 2023-03-06 2023-03-06 视频画面区域确定方法、装置、计算机设备和存储介质 Pending CN116405768A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310246361.3A CN116405768A (zh) 2023-03-06 2023-03-06 视频画面区域确定方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310246361.3A CN116405768A (zh) 2023-03-06 2023-03-06 视频画面区域确定方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN116405768A true CN116405768A (zh) 2023-07-07

Family

ID=87006603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310246361.3A Pending CN116405768A (zh) 2023-03-06 2023-03-06 视频画面区域确定方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN116405768A (zh)

Similar Documents

Publication Publication Date Title
US11114130B2 (en) Method and device for processing video
US9185286B2 (en) Combining effective images in electronic device having a plurality of cameras
CN112135046B (zh) 视频拍摄方法、视频拍摄装置及电子设备
JP6355746B2 (ja) デバイスのための画像編集技法
US9300876B2 (en) Fill with camera ink
US11030733B2 (en) Method, electronic device and storage medium for processing image
CN112954210B (zh) 拍照方法、装置、电子设备及介质
CN108776822B (zh) 目标区域检测方法、装置、终端及存储介质
WO2016029399A1 (en) Object selection based on region of interest fusion
US20220207676A1 (en) Photographing method, terminal, and storage medium
CN114125179B (zh) 拍摄方法和装置
US20220222831A1 (en) Method for processing images and electronic device therefor
CN111669495B (zh) 拍照方法、拍照装置和电子设备
CN112532881A (zh) 图像处理方法、装置和电子设备
CN113516743A (zh) 头发的渲染方法、装置、电子设备及存储介质
CN112954212B (zh) 视频生成方法、装置及设备
CN116405768A (zh) 视频画面区域确定方法、装置、计算机设备和存储介质
CN115514887A (zh) 视频采集的控制方法、装置、计算机设备和存储介质
CN114466140A (zh) 图像拍摄方法及装置
CN115623313A (zh) 图像处理方法、图像处理装置、电子设备、存储介质
CN111726531B (zh) 图像拍摄方法、处理方法、装置、电子设备及存储介质
CN116405656A (zh) 摄像头的判断方法、装置、计算机设备和存储介质
CN112165584A (zh) 录像方法、装置、电子设备以及可读存储介质
CN113706553B (zh) 图像处理方法、装置及电子设备
CN115550551A (zh) 拍摄设备的自动对焦方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination