CN112261281B - 视野调整方法及电子设备、存储装置 - Google Patents

视野调整方法及电子设备、存储装置 Download PDF

Info

Publication number
CN112261281B
CN112261281B CN202010917864.5A CN202010917864A CN112261281B CN 112261281 B CN112261281 B CN 112261281B CN 202010917864 A CN202010917864 A CN 202010917864A CN 112261281 B CN112261281 B CN 112261281B
Authority
CN
China
Prior art keywords
angle
shooting
preset
original image
data acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010917864.5A
Other languages
English (en)
Other versions
CN112261281A (zh
Inventor
江涛
林敏�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
iFlytek Co Ltd
Original Assignee
iFlytek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by iFlytek Co Ltd filed Critical iFlytek Co Ltd
Priority to CN202010917864.5A priority Critical patent/CN112261281B/zh
Publication of CN112261281A publication Critical patent/CN112261281A/zh
Application granted granted Critical
Publication of CN112261281B publication Critical patent/CN112261281B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本申请公开了一种视野调整方法及电子设备、存储装置,其中,视野调整方法包括:获取摄像器件数据采集设备在预设周期内拍摄到的若干原始图像;对若干原始图像进行检测,得到若干原始图像中拍摄对象的相对位置信息和运动趋势信息;利用相对位置信息和运动趋势信息进行预测,得到在下一预设周期内拍摄拍摄对象所需的拍摄视角;基于拍摄视角,裁剪下一预设周期内拍摄到的原始图像,以调整成像视野。上述方案,能够提高视野调整的即时性与便利性。

Description

视野调整方法及电子设备、存储装置
技术领域
本申请涉及信息技术领域,特别是涉及一种视野调整方法及电子设备、存储装置。
背景技术
随着电子信息技术的发展,视频录制在一对一、一对多或多对多(如团队远程会议)等视频通话场景、vlog(video log,微录)等诸多应用场景中得到了广泛的应用。
在视频录制过程中,通常需要展现拍摄对象(如参会人员),在诸如团队远程会议等一对多或多对多的应用场景中,往往还需要展现会场整体情况。然而,为了避免拍摄时遗漏关键信息(如参会人员超出画幅导致遗漏其动作信息),一般需要根据拍摄对象、会场情况等调整拍摄视野。而人工参与视野调整具有滞后性大、操作不便等缺陷。有鉴于此,如何提高视野调整的即时性与便利性成为亟待解决的问题。
发明内容
本申请主要解决的技术问题是提供一种视野调整方法及电子设备、存储装置,能够提高视野调整的即时性与便利性。
为了解决上述问题,本申请第一方面提供了一种视野调整方法,包括:获取摄像器件数据采集设备在预设周期内拍摄到的若干原始图像;对若干原始图像进行检测,得到若干原始图像中拍摄对象的相对位置信息和运动趋势信息;利用相对位置信息和运动趋势信息进行预测,得到在下一预设周期内拍摄拍摄对象所需的拍摄视角;基于拍摄视角,裁剪下一预设周期内拍摄到的原始图像,以调整成像视野。
为了解决上述问题,本申请第二方面提供了一种电子设备,包括相互耦接的存储器和处理器,存储器中存储有程序指令,处理器用于执行程序指令以实现上述第一方面中的视野调整方法。
为了解决上述问题,本申请第三方面提供了一种存储装置,存储有能够被处理器运行的程序指令,程序指令用于实现上述第一方面中的视野调整方法。
上述方案,获取数据采集设备在预设周期内拍摄到的若干原始图像,并对若干原始图像进行检测,得到若干原始图像中拍摄对象的相对位置信息和运动趋势信息,从而利用相对位置信息和运动趋势信息进行预测,得到在下一预设周期内拍摄对象所需的拍摄视角,并基于拍摄视角,裁剪下一预设周期内拍摄到的原始图像,以调整成像视野,故此,能够以预设周期自动调整成像视野,而无需人工参与视野调整,进而能够有利于提高视野调整的即时性与便利性。
附图说明
图1是本申请视野调整方法一实施例的流程示意图;
图2是拍摄角度一实施例示意图;
图3是裁剪原始图像一实施例的示意图;
图4是图1中步骤S12一实施例的流程示意图;
图5是数据采集设备一实施例的示意图
图6是图1中步骤S13一实施例的流程示意图;
图7是本申请电子设备一实施例的框架示意图;
图8是本申请存储装置一实施例的框架示意图。
具体实施方式
下面结合说明书附图,对本申请实施例的方案进行详细说明。
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、接口、技术之类的具体细节,以便透彻理解本申请。
本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。此外,本文中的“多”表示两个或者多于两个。
请参阅图1,图1是本申请视野调整方法一实施例的流程示意图。具体而言,可以包括如下步骤:
步骤是S11:获取数据采集设备在预设周期内拍摄到的若干原始图像。
在一个实施场景中,数据采集设备可以是一套包括至少一种器件的设备,至少一种器件可以分离设置。具体地,至少一种器件可以包括摄像头,用于拍摄原始图像。此外,在其他实施场景中,至少一种器件还可以包括其他器件,例如,为了采集声音,至少一种器件还可以包括麦克风,具体可以根据实际应用需要进行设置,在此不做限定。
在另一个实施场景中,数据采集设备也可以是一台包括至少一种器件的设备,至少一种器件可以集成设置,具体地,至少一种器件可以耦接至同一处理器。具体地,至少一种器件可以包括摄像头,用于拍摄原始图像。此外,在其他实施场景中,至少一种器件还可以包括其他器件,例如,为了采集声音,数据采集设备还可以包括麦克风,具体可以根据实际应用需要进行设置,在此不做限定。
在一个具体的实施场景中,摄像头可以设置有多个,例如,2个、3个、4个等等,在此不做限定。通过拼接多个摄像头拍摄的图像,能够使得数据采集设备输出视场更大的图像。例如,数据采集设备通过利用多个摄像头拼接可以达到180度的视场、或者360度的视场,具体可以根据实际应用需要进行设置,例如,在视频会议的显示屏上方,可以设置180度视场的数据采集设备,而在会议桌中央可以设置360度视场的数据采集设备,具体在此不做限定。
本公开实施例中,预设周期可以根据实际应用需要进行设置。具体地,在一个实施场景中,为了降低视野调整的滞后性,提高视野调整的实时性,预设周期可以设置地尽可能小。例如,在数据采集设备的硬件资源具备足够的数据处理能力的情况下,预设周期可以设置为摄像头帧率的倒数,即若干原始图像可以为一帧原始图像;或者,不失一般性地,预设周期可以具体设置为2秒、5秒等等,即若干原始图像也可以是多帧原始图像,例如,50帧、100帧等等,在此不做限定。在另一个实施场景中,还可以适当地增大预设周期,例如,可以设置为8秒、10秒等等,从而能够在提高视野调整的实时性的同时,也能够兼顾数据采集设备硬件资源的数据处理能力。
步骤S12:对若干原始图像进行检测,得到若干原始图像中拍摄对象的相对位置信息和运动趋势信息。
本公开实施例中,拍摄对象根据实际应用场景可以是团队视频会议中的参会成员,也可以是一对一视频通话场景中的任一一方,还可以是录制vlog时被拍摄的对象,具体可以根据实际应用场景进行设置,在此不做限定。
在一个实施场景中,相对位置信息可以包括拍摄对象相对于数据采集设备的距离。具体地,当数据采集设备是一套至少包含摄像头的设备时,相对于数据采集设备的具备指的是拍摄对象相对于摄像头的距离。
在一个具体的实施场景中,可以根据单目测距方式对原始图像进行检测,得到每帧原始图像中拍摄对象相对于数据采集设备的距离。例如,可以对原始图像进行目标检测,得到原始图像中包括拍摄对象的目标区域,利用目标区域的角点位置(例如,底边端点的像素坐标)和摄像头的内部参数、外部参数等进行反投影,得到角点位置反投影至地面的投影位置,从而可以利用角点位置、摄像头的焦距和投影位置,进行相似三角形的几何推导,可以得到拍摄对象相对于数据采集设备的距离。
在另一个具体的实施场景中,为了提高测距准确性,数据采集设备除了可以包含若干用于拍摄原始图像的摄像头,还可以进一步包括与若干摄像头具有预设位置关系的麦克风阵列。具体地,麦克风阵列既可以与摄像头一同集成于数据采集设备,也可以与摄像头分离设置。在此基础上,可以利用麦克风阵列进行声源定位,得到拍摄对象距麦克风阵列的距离,进而利用麦克风阵列与摄像头的之间的预设位置关系,可以得到拍摄对象与摄像头的距离。声源定位的具体方式可以包括但不限于:声达时间差(Time Difference ofArrival,TDOA)、波束形成(Beamforming)、声全息(Holography),在此不做限定。
在又一个具体的实施场景中,还可以结合上述单目测距和声源定位的方式,得到拍摄对象相对于数据采集设备的距离。例如,拍摄对象有发言行为时,可以利用声源定位的方式,得到其相对于数据采集设备的距离;而当拍摄对象无发言行为时,可以利用单目测距的方式,得到其相对于数据采集设备的距离,从而可以融合单目测距和声源定位两种测距方式,实现对拍摄对象的测距,有利于提高测距的鲁棒性。
在另一个实施场景中,相对位置信息还可以包括拍摄对象相对于地面的高度。具体地,拍摄对象的姿势可能是站姿,也可能是坐姿,则可以获取拍摄对象在站姿状态下相对于地面的高度,也可以获取拍摄对象在坐姿状态下相对于地面的高度。
在一个具体的实施场景中,可以对原始图像中的拍摄对象进行关键点检测,得到拍摄对象的关键点位置信息。具体地,关键点位置信息可以包括但不限于:头部位置信息、躯干位置信息,或肩部位置信息、肘部位置信息、腕部位置信息等四肢位置信息,具体可以根据实际应用需要进行设置。在得到拍摄对象的关键点位置信息之后,可以利用检测得到的拍摄对象的关键点位置信息,获取拍摄对象的预设部位尺寸。具体地,预设部位可以包括但不限于:肩部、手臂、上身等,具体可以根据实际应用需要进行设置,在此不做限定。例如,可以利用肩部位置信息获取肩宽,或者,可以利用肩部位置信息和腕部位置信息获取臂长,其他场景可以以此类推,在此不再一一举例。在得到拍摄对象的预设部位尺寸之后,可以对拍摄对象相对于数据采集设备的距离和拍摄对象的预设部位尺寸进行预测,得到拍摄对象在站姿状态下相对于地面的高度。具体地,由于拍摄对象在距离数据采集设备不同位置处,其预设部位尺寸(如肩宽、臂长、头颈长等)不同,不同拍摄对象即使在距离数据采集设备同一位置处,其预设部位尺寸也不尽相同,故可以预先采集不同身高的拍摄对象在距离数据采集设备不同位置处的预设部位尺寸,得到预设部位尺寸与拍摄对象相对于数据采集设备的距离、拍摄对象的身高之间的第一映射关系,从而可以利用第一映射关系以及当前拍摄对象相对于数据采集设备的距离和拍摄对象的预设部位尺寸,得到拍摄对象在站姿状态下相对于地面的高度。
在另一个具体的实施场景中,在前述获取预设部位尺寸与拍摄对象相对于数据采集设备的距离、拍摄对象的身高之间的映射关系之前,还可以采集不同身高的拍摄对象的上半身长度,以及在距离数据采集设备不同位置处的预设部位尺寸,从而可以得到预设部位尺寸与拍摄对象相对于数据采集设备的距离、拍摄对象的上半身长度之间的第二映射关系,从而可以利用第二映射关系以及当前拍摄对象相对于数据采集设备的距离和拍摄对象的预设部位尺寸,得到拍摄对象上半身长度,进而可以利用椅子的预设高度,得到拍摄对象在坐姿状态下相对于地面的高度。具体地,可以将拍摄对象上本身的长度与椅子的预设高度之和,作为拍摄对象在坐姿状态下相对于地面的高度。
在又一个具体的实施场景中,请结合参阅图2,图2是拍摄角度一实施例示意图,如图2所示,角度α是后续利用在坐姿状态下相对于地面的高度预测得到的下一预设周期拍摄对象所需的拍摄角度,若下一预设周期拍摄对象从坐姿调整为站姿(如图2虚线人形所示),则实际需要的拍摄角度为β,由此可见,在此情况下,预测得到的拍摄角度偏小,从而可能导致基于预测得到的拍摄视角α裁剪下一预设周期内拍摄到的原始图像时,发生遗漏关键信息的情况。故此,为了降低发生遗漏关键信息的概率,相对位置信息所包含的拍摄对象相对于地面的高度可以具体是指拍摄对象在站姿状态下相对于地面的高度。此外,当有多个拍摄对象时,可以采用站姿状态下相对于地面的高度的最大值,预测得到的下一预设周期拍摄对象所需的拍摄角度。
在又一个具体的实施场景中,还可以结合拍摄对象的运动趋势信息,确定采用在坐姿状态下相对于地面的高度,还是采用在站姿状态下相对于地面的高度,从而能够有利于进一步提高视野调整的准确性。例如,根据运动趋势信息,可以确定拍摄对象在下一预设周期的姿势为站姿,则可以采用站姿状态下相对于地面的高度;或者,根据运动趋势信息,可以确定拍摄对象在下一周期的运动姿势为坐姿,则可以采用坐姿状态下相对于地面的高度。此外,当有多个拍摄对象,且其中至少一个拍摄对象的运动趋势信息表示在下一预设周期为站姿时,则可以采用上述至少一个拍摄对象站姿状态下相对于地面的高度,具体地,可以采用上述至少一个拍摄对象相对于地面的高度中的最大值;或者,当有多个拍摄对象,且所有拍摄对象的运动趋势信息表示下一预设周期为坐姿时,则可以采用上述至少一个拍摄对象坐姿状态下相对于地面的高度,具体地,可以采用上述至少一个拍摄对象相对于地面的高度中的最大值。
在又一个实施场景中,运动趋势信息可以包括与调整视野相关的趋势,例如,拍摄对象相对靠近或远离数据采集设备,能够直接影响拍摄拍摄对象所需的拍摄视角,当靠近数据采集设备时,通常需要增大拍摄视角,而当远离数据采集设备时,通常需要减小拍摄视角,故运动趋势信息可以包括靠近数据采集设备运动或远离数据采集设备运动;此外,如前所述,拍摄对象起立或左下,也能够直接影响拍摄拍摄对象所需的拍摄视角,当起立时,一般需要增大拍摄视角,当左下时,一般需要减小拍摄视角,故运动趋势信息还可以进一步包括起立或左下。
在一个具体的实施场景中,可以利用当前原始图像中检测得到的拍摄对象的关键点位置信息与前一帧原始图像检测得到的拍摄对象的关键点位置信息的变化情况,确定拍摄对象的运动趋势信息。具体地,当前原始图像中拍摄对象的关键点(如头部关键点)相对于前一帧原始图像中拍摄对象的对应关键点(如头部关键点)上移,则可以认为拍摄对象有起立趋势;或者,当前原始图像中拍摄对象关键点(如头部关键点)相对于前一帧原始图像中拍摄对象的对应关键点(如头部关键点)下移,则可以认为拍摄对象有坐下趋势;或者,利用当前原始图像中拍摄对象关键点位置信息(如肩部关键点位置信息)得到的预设部位尺寸(如肩宽),相对于利用前一帧原始图像中拍摄对象的对应关键点位置信息(如肩部关键点位置信息)得到的预设部位尺寸(如肩宽)变大,则可以认为拍摄对象有靠近数据采集设备的趋势;或者,利用当前原始图像中拍摄对象的关键点位置信息(如肩部关键点位置信息)得到的预设部位尺寸(如肩宽),相对于利用前一帧原始图像中拍摄对象的对应关键点位置信息(如肩部关键点位置信息)得到的预设部位尺寸(如肩宽)变小,则可以认为拍摄对象有远离数据采集设备的趋势。
步骤S13:利用相对位置信息和运动趋势信息进行预测,得到在下一预设周期内拍摄拍摄对象所需的拍摄视角。
在一个实施场景中,拍摄视角具体可以包括上视角和下视角,具体地,请结合参阅图2,上视角至少能够拍摄到拍摄对象的头顶(如图2中,站姿下的B1点,或坐姿下的B2点),下视角至少能够拍摄到拍摄对象经头顶的垂直线与地面的交点(如图2中,站姿下的C1点,或坐姿下的C2点),其他情况可以以此类推,在此不再一一举例。请继续参阅图2,站姿状态下,拍摄视角包括上视角β和下视角γ1,坐姿状态下,拍摄视角包括上视角α和下视角γ2,具体地,上述站姿状态下的上视角β和下视角γ1,以及坐姿状态下的上视角α和下视角γ2可以采用反三角函数进行计算。
在一个具体的实施场景中,请继续结合参阅图2,O点摄像头的光心,H表示摄像头的摆放高度,B1C1表示站姿状态下,经头顶B1且垂直于地面的线段,即拍摄对象在站姿状态下相对于地面的高度h1,OA1表示拍摄对象相对于摄像头的距离,为了便于描述,表示为D1,则可以利用下式,得到站姿状态下的上视角β:
Figure BDA0002665667230000081
可以利用下式,得到站姿状态下的下视角γ1:
Figure BDA0002665667230000082
在另一个具体的实施场景中,请继续结合参阅图2,B2C2表示坐姿状态下,经头顶B2且垂直于地面的线段,即拍摄对象在坐姿状态下相对于地面的高度h2,OA2表示拍摄对象相对于拍摄对象的距离,为了便于描述,表示为D2,则可以利用下式,得到坐姿状态下的上视角α:
Figure BDA0002665667230000083
可以利用下式,得到坐姿状态下的下视角γ2:
Figure BDA0002665667230000091
在另一个实施场景中,为了提高视野调整的鲁棒性,降低下一预设周期基于拍摄视角进行裁剪时,发生遗漏关键信息的概率,可以利用运动趋势信息包括靠近数据采集设备运动或起立的拍摄对象在站姿状态下的拍摄视角,得到下一预设周期内拍摄拍摄对象所需的拍摄视角。例如,当仅有一个拍摄对象,且该拍摄对象的运动趋势信息包括靠近数据采集设备运动或起立时,可以将该拍摄对象在站姿状态下的拍摄视角,作为下一预设周期内拍摄拍摄对象所需的拍摄视角。或者,例如,当有多个拍摄对象,且多个拍摄对象中存在至少一个拍摄对象的运动趋势信息包括靠近数据采集设备运动或起立时,可以统计运动趋势信息包括靠近数据采集设备运动或起立的拍摄对象在站姿状态下的拍摄视角,并将最大的拍摄视角,作为下一预设周期内拍摄拍摄对象所需的拍摄视角。具体地,可以统计上视角中的最大值,作为下一预设周期内拍摄拍摄对象所需的拍摄视角的上视角,并统计下视角中的最大值,作为下一预设周期内拍摄拍摄对象所需的拍摄视角的下视角。
在又一个实施场景中,为了提高成像效果,在不存在运动趋势信息包括靠近数据采集设备运动或起立的拍摄对象的情况下,也可以利用运动趋势信息包括远离数据采集设备或坐下的拍摄对象在预设姿态(如站姿或坐姿)状态下的拍摄视角,得到下一预设周期内拍摄拍摄对象所需的拍摄视角。预设姿态可以包括拍摄对象在预设周期内的姿态,或者根据运动趋势信息得到的在下一预设周期内的姿态,例如,拍摄对象的运动趋势信息包括坐下,则预设姿态可以是坐姿;或者,拍摄对象的运动趋势信息包括远离数据采集设备,但不包括坐下,且在预设周期内的姿态是坐姿,则预设姿态也可以是坐姿,具体可以根据实际应用需要进行设置,在此不做限定。具体地,当仅有一个拍摄对象,且该拍摄对象的运动趋势信息包括远离数据采集设备或坐下时,可以将该拍摄对象在预设姿态下的拍摄视角,作为下一预设周期内拍摄拍摄对象所需的拍摄视角。或者,当有多个拍摄对象时,可以统计多个拍摄对象在预设姿态下的拍摄视角,并将最大的拍摄视角,作为下一预设周期内拍摄拍摄对象所需的拍摄视角。例如,可以统计上视角中的最大值,作为下一预设周期内拍摄拍摄对象所需的拍摄视角的上视角,并可以统计下视角中的最大值,作为下一预设周期内拍摄拍摄对象所需的拍摄视角的下视角。
步骤S14:基于拍摄视角,裁剪下一预设周期内拍摄到的原始图像,以调整成像视野。
在一个实施场景中,可以基于拍摄视角和数据采集设备的预设视场角,得到用于裁剪原始图像的裁剪角度,具体获取方式在此暂不赘述。在得到裁剪角度之后,可以利用得到的裁剪角度裁剪下一预设周期内拍摄的原始图像,以调整成像视野。
在另一个实施场景中,在获取裁剪角度之后,可以获取以裁剪角度为终点的数列,且数列中的各个角度值由小到大排列,例如,从0度至裁剪角度,或者,从1度至裁剪角度,在此不做限定。在得到上述数列之后,可以将数列中的角度值依序分配给下一预设周期的原始图像,从而可以按照分配的角度值裁剪原始图像,并按照裁剪角度裁剪未分配角度值的原始图像,进而能够使得裁剪具有一定的平滑效果,降低跳帧明显的产生的不适感,提高用户体验。
在一个具体的实施场景中,为了进一步提高平滑效果,上述数列具体为等差数列。例如,预先可以设定裁剪在下一预设周期内的n秒(如,1秒、2秒等等)内完成,则在帧率为Nfps(frame per second,帧每秒)的情况下,需为下一预设周期的前n*N帧原始图像分配角度值,故可以将等差数列公差设置为:
Figure BDA0002665667230000101
上述公式(5)中,θ表示裁剪角度,θ0表示等差数列的起始项,d表示等差数列的公差。通过上述设置,可以在n*N帧原始图像内平滑地完成视野调整,进一步降低跳帧明显产的不适感,提高用户体验。
在另一个具体的实施场景中,裁剪角度具体可以包括用于裁剪原始图像上边的第一裁剪角度和用于裁剪原始图像下边的第二裁剪角度,则可以利用第一预设方式处理拍摄视角的上视角和预设视场角,得到上述第一裁剪角度,并利用第二预设方式处理拍摄视角的下视角和预设视场角,得到上述第二裁剪角度。请结合参阅图3,图3是裁剪原始图像一实施例的示意图,如图3所示,实线矩形表示不同的原始图像,θ1表示第一裁剪角度,θ2表示第一裁剪角度,具体可以表示为:
Figure BDA0002665667230000111
上述公式(6)中,VFOV表示预设视场角,
Figure BDA0002665667230000112
分别表示拍摄视角的上视角和下视角,a表示空白系数,空白系数表示空白背景占整张画幅的高度比例,具体可以根据实际应用需要进行设置,例如,可以设置为0.05、0.1等等,在此不做限定。
在又一个具体的实施场景中,在拍摄视角包括上视角
Figure BDA0002665667230000113
和下视角
Figure BDA0002665667230000116
的情况下,可以分别利用利用第一预设方式和第二预设方式处理上视角
Figure BDA0002665667230000114
下视角
Figure BDA0002665667230000115
和预设视场角VFOV,得到用于裁剪原始图像上边的第一裁剪角度θ1和用于裁剪原始图像下边的第二裁剪角度θ2,具体参阅前述相关描述,从而可以分别获取以第一裁剪角度θ1为终点的第一数列和以第二裁剪角度θ2为终点的第二数列,且第一数列中的各个第一角度值由小到大依序排列,第二数列中的各个第二角度值由小到大依序排列,具体可以前述相关描述,并将第一数列中的第一角度值依序分配给下一预设周期的原始图像,并将第二数列中的第二角度值依序分配给下一预设周期的原始图像,从而可以按照分配的第一角度值裁剪原始图像的上边,并按照第一裁剪角度裁剪未分配第一角度值的原始图像的上边,以及,按照分配的第二角度值裁剪原始图像的下边,并按照第二裁剪角度裁剪未分配第二角度值的原始图像的下边。
在又一个具体的实施场景中,数据采集设备包括多个摄像头,且多个摄像头在同一时刻可以分别拍摄图像,从而可以将多个摄像头在同一时刻拍摄到的图像进行拼接,得到视场角更大的图像,请结合参阅图3,实线矩形所表示的原始图像是由不同摄像头在同一时刻拍摄到的,则可以将两张原始图像进行拼接,得到视场角更大的图像(如,得到360度全景图像)。在此情况下,在进行裁剪时,多个摄像头在同一时刻拍摄到的原始图像分配到的角度值相同,从而在拼接多个摄像头在同一时刻拍摄到的原始图像时,能够对齐拼接,提高拼接效果。
在又一个实施场景中,下一预设周期内的原始图像可以继续执行上述步骤S11及其后续步骤,从而能够得到下下个预设周期内拍摄拍摄对象所需的拍摄角度,并基于拍摄角度,剪裁下下个预设周期内拍摄到的原始图像,以此循环,从而在拍摄过程中自动调整视野。
上述方案,获取数据采集设备在预设周期内拍摄到的若干原始图像,并对若干原始图像进行检测,得到若干原始图像中拍摄对象的相对位置信息和运动趋势信息,从而利用相对位置信息和运动趋势信息进行预测,得到在下一预设周期内拍摄对象所需的拍摄视角,并基于拍摄视角,裁剪下一预设周期内拍摄到的原始图像,以调整成像视野,故此,能够以预设周期自动调整成像视野,而无需人工参与视野调整,进而能够有利于提高视野调整的即时性与便利性。
请参阅图4,图4是图1中步骤S12一实施例的流程示意图。具体地,相对位置信息包括拍摄对象相对于数据采集设备的距离,数据采集设备具体可以包括若干摄像头和与若干摄像头具有预设位置关系的麦克风阵列,上述步骤S12具体可以包括:
步骤S121:对原始图像进行分析,得到拍摄对象相对于摄像器件数据采集设备的环绕角度。
本公开实施例中,环绕角度为拍摄对象在预设平面中与数据采集设备的第一连线和预设参考线之间的夹角。具体地,预设平面可以是数据采集设备所包含的若干摄像头的光轴所在的平面。预设参考线可以根据实际应用情况进行设置,例如,视频会议场景中,数据采集设备一般放置于会议桌,则预设参考线可以是经过数据采集设备且与会议桌平行的直线,其他情况可以根据实际需要进行设置,在此不再一一举例。
在一个实施场景中,请结合参阅图5,图5是数据采集设备一实施例的示意图,如图5所示为数据采集设备俯视示意图,数据采集设备边缘位置处设有麦克风单元(小圆圈所示),多个麦克风单元组成麦克风阵列,数据采集设备靠近中心位置处设有多个摄像头(椭圆所示),点O为数据采集设备的中心,F为拍摄对象所在的位置,OF表示第一连线,OE为预设参考线,Φ表示环绕角度。如图5所示,数据采集设备可以包括8个麦克风单元,4个摄像头,此外也可以根据实际应用需要,设置其他数量的麦克风单元、摄像头,在此不做限定。具体地,可以先计算拍摄对象在单个摄像头中所处的角度,再叠加该摄像头在所有摄像头中的位置角度,得到拍摄对象在全景环绕方向的角度。
步骤S122:利用环绕角度和预设位置关系,在麦克风阵列中选取满足预设条件的麦克风单元。
在一个实施场景中,如图5所示,麦克风阵列为环绕若干摄像头设置的圆形阵列,则可以利用环绕角度和预设位置关系,得到拍摄对象与麦克风阵列之间的相对角度。例如,可以获取拍摄对象与各个麦克风单元的第二连线与前述第一连线之间的夹角,作为拍摄对象与麦克风阵列之间的相对角度。仍以图5所示为例,可以分别获取麦克风单元1至8与拍摄对象之间的第二连线与第一连线OF之间的夹角。
在另一个实施场景中,预设条件具体可以包括相对角度由小到大排序后,排在前预设数量位的相对角度。预设数量可以根据实际应用需要设置,例如,可以设置为2。请结合参阅图5,当拍摄对象位于位置F时,可以选取相对角度最小的麦克风单元4和麦克风单元8,其他情况可以以此类推,在此不再一一举例。
步骤S123:利用选取的麦克风单元进行测距,得到拍摄对象相对于数据采集设备的距离。
具体地,可以基于选取的麦克风单元,利用声达时间差,得到拍摄对象相对于数据采集设备的距离。采用声达时间差计算距离的具体过程,在此不再赘述。
区别于前述实施例,通过对原始图像进行分析,得到拍摄对象相对于数据采集设备的环绕角度,且环绕角度为拍摄对象在预设平面中与数据采集设备第一连线和预设参考线之间的夹角,从而利用环绕角度和若干摄像头与麦克风阵列之间的预设位置关系,在麦克风阵列中选取满足预设条件的麦克风单元,进而利用选取的麦克风单元进行测距,得到拍摄对象相对于数据采集设备的距离,能够进一步提高相对位置信息的准确性,从而能够有利于提高后续预测拍摄视角的准确性,提高视野调整的准确性。
请参阅图6,图6是图1中步骤S13一实施例的流程示意图。具体地,可以包括如下步骤:
步骤S131:统计若干原始图像中运动趋势信息包括靠近数据采集设备运动或起立的拍摄对象,作为第一候选对象。
本公开实施例中,可以统计预设周期内若干原始图像中运动趋势信息包括靠近数据采集设备或起立的拍摄对象,并将统计得到的拍摄对象作为第一候选对象。具体地,可以在拍摄对象的运动趋势信息包括靠近数据采集设备、起立中的任一者的情况下,即将该拍摄对象作为第一候选对象。拍摄对象的运动趋势信息可以参阅前述公开实施例中的相关描述,在此不再赘述。
步骤S132:利用第一候选对象的相对位置信息进行预测,得到在下一预设周期内拍摄第一候选对象所需的第一候选视角。
在一个实施场景中,相对位置信息可以包括拍摄对象相对于数据采集设备的距离。具体地,数据采集设备具体可以包括摄像头,在数据采集设备是一套至少包括一种器件的设备,且至少一种器件分离设置的情况下,拍摄对象相对于数据采集设备的距离具体可以为拍摄对象相对于摄像头的距离。拍摄对象相对于数据采集设备的距离可以采用单目测距、声源定位等方式得到,具体可以参阅前述公开实施例中的相关描述,在此不再赘述。
在另一个实施场景中,相对位置信息还可以包括拍摄对象相对于地面的高度。具体地,可以包括拍摄对象在站姿状态下相对于地面的高度或在坐姿状态下相对于地面的高度。在一个具体的实施场景中,可以直接采样拍摄对象在站姿状态下相对于地面的高度;在另一个具体的实施场景中,也可以结合运动趋势信息采用上述两种高度中的一者,具体可以参阅前述公开实施例中的相关描述,在此不再赘述。
在又一个实施场景中,第一候选视角具体可以包括第一候选上视角和第一候选下视角,具体地,第一候选上视角和第一候选下视角可以采用上述距离、高度以及反三角函数计算得到,具体可以参阅前述公开实施例中的相关描述,在此不再赘述。
步骤S133:判断是否存在满足预设条件的第一候选视角,若是,则执行步骤S134。
具体地,预设条件可以包括第一候选视角大于预设视角阈值。
在一个实施场景中,预设视角阈值具体可以包括预设上视角阈值和预设下视角阈值,则上述预设条件具体可以包括第一候选上视角大于预设上视角或第一候选下视角大于预设下视角。
在另一个实施场景中,预设视角阈值可以为预测得到的预设周期所需的拍摄视角,具体地,预设周期所需的拍摄视角可以利用在上一预设周期拍摄得到的若干原始图像得到的,具体可以参阅前述公开实施例中,利用预设周期内拍摄得到的若干原始图像,得到下一预设周期拍摄所需的拍摄视角的相关步骤,在此不再赘述。
步骤S134:筛选满足预设条件的第一候选视角中的最大值,作为拍摄视角。
具体地,可以从满足预设条件的第一候选视角中的第一候选上视角中选取最大值,作为拍摄视角的上视角,并从满足预设条件的第一候选视角中的第一候选下视角中选取最大值,作为拍摄视角的下视角。
通过上述设置,能够利用运动趋势信息先筛选出包含靠近数据采集设备运动或起立的拍摄对象,故能够减少预测拍摄视角的过程中所需统计的拍摄对象,从而能够降低计算量,减轻计算负荷。
在一个实施场景中,为了进一步减轻计算负荷,还可以将预设周期划分为多个子周期,为了便于描述,可以将预设周期记为T,子周期记为t,例如,预设周期为12秒,则子周期可以设置为2秒、3秒、4秒等等,在此不做限定,其他情况可以以此类推,在此不再一一举例。故可以依次统计子周期t内原始图像中运动趋势信息包括靠近数据采集设备运动或起立的拍摄对象,作为第一候选对象,并利用第一候选对象的相对位置信息进行预测,得到在下一子周期t+1内拍摄第一候选对象所需的第一候选视角,并筛选大于预设视角阈值的第一候选视角中的最大值,作为第二候选视角,对于其他子周期t,可以以此类推,进而可以将各个子周期对应的第二候选视角中的最大值,作为下一预设周期T+1的拍摄视角。通过上述设置,可以将预设周期T的统计量平均分配到每个子周期t,从而可以有利于均衡计算负荷,提高数据处理效率。
在一个实施场景中,上述第一候选视角还可能存在均不满足预设条件的情况,即虽然存在运动趋势信息包括靠近数据采集设备或起立的拍摄对象,但是利用这些拍摄对象预测得到的下一预设周期所需的第一候选视角中的最大值均未超出预设视角阈值,也就是说下一预设周期所需的拍摄视角有可能变小,故为了提高视野调整的准确性和鲁棒性,还可以执行下述步骤:
步骤S135:统计若干原始图像中运动趋势包括远离数据采集设备运动或坐下的拍摄对象,作为第二候选对象。
具体地,可以统计预设周期内原始图像中运动趋势信息包括远离数据采集设备运动或坐下的拍摄对象,并将统计得到的拍摄对象作为第二候选对象。具体可以在拍摄对象的运动趋势信息包括远离数据采集设备运动或坐下中的任一者的情况下,即将该拍摄对象作为第二候选对象。拍摄对象的运动趋势信息可以参阅前述公开实施例中的相关描述,在此不再赘述。
步骤S136:利用第二候选对象的相对位置信息进行预测,得到在下一预设周期内拍摄第二候选对象所需的第二候选视角。
在一个实施场景中,相对位置信息可以包括拍摄对象相对于数据采集设备的距离。具体地,数据采集设备具体可以包括摄像头,在数据采集设备是一套至少包括一种器件的设备,且至少一种器件分离设置的情况下,拍摄对象相对于数据采集设备的距离具体可以为拍摄对象相对于摄像头的距离。拍摄对象相对于数据采集设备的距离可以采用单目测距、声源定位等方式得到,具体可以参阅前述公开实施例中的相关描述,在此不再赘述。
在另一个实施场景中,相对位置信息还可以包括拍摄对象相对于地面的高度。具体地,可以包括拍摄对象在站姿状态下相对于地面的高度或在坐姿状态下相对于地面的高度。在一个具体的实施场景中,可以直接采样拍摄对象在站姿状态下相对于地面的高度;在另一个具体的实施场景中,也可以结合运动趋势信息采用上述两种高度中的一者,具体可以参阅前述公开实施例中的相关描述,在此不再赘述。
在又一个实施场景中,第二候选视角具体可以包括第二候选上视角和第二候选下视角,具体地,第二候选上视角和第二候选下视角可以采用上述距离、高度以及反三角函数计算得到,具体可以参阅前述公开实施例中的相关描述,在此不再赘述。
步骤S137:获取利用多个子周期中最后一个子周期内的原始图像预测得到的第一候选视角。
由于预设周期中最后一个子周期与下一预设周期具有一定的动作延续性,故了提高视野调整的准确性,还可以进一步获取利用最后一个子周期的原始图像预测得到的第一候选视角,具体可以参阅前述相关步骤,在此不再赘述。
步骤S138:将第二候选视角和获取得到的第一候选视角中的最大值,作为拍摄视角。
具体地,可以将第二候选视角中的第二候选上视角和第一候选视角中的第一候选上视角中最大值,作为拍摄视角中的上视角,并将第二候选视角中的第二候选下视角和第一候选视角中的第一候选下视角中的最大值,作为拍摄视角中的下视角。
区别于前述实施例,通过统计若干原始图像中运动趋势信息包括靠近数据采集设备运动或起立的拍摄对象,作为第一候选对象,并利用第一候选对象的相对位置信息进行预测,得到在下一预设周期内拍摄第一候选对象所需的第一候选视角,从而判断是否存在满足预设条件的第一候选视角,若存在则筛选满足预设条件的第一候选视角中的最大值,作为拍摄视角,从而能够利用运动趋势信息先筛选出包含靠近数据采集设备运动或起立的拍摄对象,故能够减少预测拍摄视角的过程中所需统计的拍摄对象,从而能够降低计算量,减轻计算负荷;以及在不存在满足预设条件的第一候选视角的情况下,统计若干原始图像中运动趋势信息包括远离数据采集设备运动或坐下的拍摄对象,作为第二候选对象,利用第二候选对象的相对位置信息进行预测,得到在下一预设周期内拍摄第二候选对象所需的第二候选视角,并获取利用多个子周期中最后一个子周期内的原始图像预测得到的第一候选视角,从而将第二候选视角和获取得到的第一候选视角中的最大值,作为拍摄视角,进而能够进一步提高视野调整的准确性和鲁棒性。
请参阅图7,图7是本申请电子设备70一实施例的框架示意图。电子设备70包括相互耦接的存储器71和处理器72,存储器71中存储有程序指令,处理器72用于执行程序指令以实现上述任一视野调整方法实施例中的步骤。具体地,电子设备70可以是摄像头;或者,电子设备70也可以是集成有摄像头和麦克风阵列的数据采集设备,此外,电子设备70也可以集成有其他器件;或者,电子设备70还可以是一套包括分离设置的摄像头和麦克风阵列的数据采集设备,此外,电子设备70也可以包括其他器件;或者,电子设备70还可以是与上述数据采集设备具有电连接或通信连接关系的设备,具体可以根据实际应用需要进行设置,在此不做限定。
本公开实施例中,处理器72用于获取数据采集设备在预设周期内拍摄到的若干原始图像;处理器72用于对若干原始图像进行检测,得到若干原始图像中拍摄对象的相对位置信息和运动趋势信息;处理器72用于利用相对位置信息和运动趋势信息进行预测,得到在下一预设周期内拍摄拍摄对象所需的拍摄视角;处理器72用于基于拍摄视角,裁剪下一预设周期内拍摄到的原始图像,以调整成像视野。
上述方案,获取数据采集设备在预设周期内拍摄到的若干原始图像,并对若干原始图像进行检测,得到若干原始图像中拍摄对象的相对位置信息和运动趋势信息,从而利用相对位置信息和运动趋势信息进行预测,得到在下一预设周期内拍摄对象所需的拍摄视角,并基于拍摄视角,裁剪下一预设周期内拍摄到的原始图像,以调整成像视野,故此,能够以预设周期自动调整成像视野,而无需人工参与视野调整,进而能够有利于提高视野调整的即时性与便利性。
在一些公开实施例中,运动趋势信息至少包括:靠近数据采集设备运动或起立;处理器72用于利用相对位置信息和运动趋势信息进行预测,得到在下一预设周期内拍摄拍摄对象所需的拍摄视角,包括:处理器72用于统计若干原始图像中运动趋势信息包括靠近数据采集设备运动或起立的拍摄对象,作为第一候选对象;处理器72用于利用第一候选对象的相对位置信息进行预测,得到在下一预设周期内拍摄第一候选对象所需的第一候选视角;处理器72用于筛选满足第一预设条件的第一候选视角中的最大值,作为拍摄视角。
区别于前述实施例,能够利用运动趋势信息先筛选出包含靠近数据采集设备运动或起立的拍摄对象,故能够减少预测拍摄视角的过程中所需统计的拍摄对象,从而能够降低计算量,减轻计算负荷。
在一些公开实施例中,运动趋势信息还包括:远离数据采集设备运动或坐下,预设周期包括多个子周期,方法还包括:处理器72用于在第一候选视角均不满足第一预设条件的情况下,统计若干原始图像中运动趋势包括远离数据采集设备运动或坐下的拍摄对象,作为第二候选对象;处理器72用于利用第二候选对象的相对位置信息进行预测,得到在下一预设周期内拍摄第二候选对象所需的第二候选视角;以及,处理器72用于获取利用多个子周期中最后一个子周期内的原始图像预测得到的第一候选视角;处理器72用于将第二候选视角和获取得到的第一候选视角中的最大值,作为拍摄视角。
区别于前述实施例,在第一候选视角还可能存在均不满足预设条件的情况下,统计若干原始图像中运动趋势包括远离数据采集设备运动或坐下的拍摄对象,能够有利于提高视野调整的鲁棒性,而利用多个子周期中最后一个子周期内的原始图像预测得到第一候选视角,能够考虑预设周期中最后一个子周期与下一预设周期存在的动作延续性,故上述设置能够有利于提高视野调整的准确性和鲁棒性。
在一些公开实施例中,第一预设条件包括:第一候选视角大于预设视角阈值,其中,预设视角阈值为预测得到的预设周期所需的拍摄视角。
区别于前述实施例,通过将第一预设条件设置为包括第一候选视角大于预设视角阈值,且预设视角阈值为预测得到的预设周期所需的拍摄视角,能够有利于在拍摄对象起立或靠近数据采集设备运动时,降低遗漏关键动作信息的概率,提高视野调整的准确性。
在一些公开实施例中,相对位置信息包括拍摄对象相对于数据采集设备的距离,数据采集设备包括若干摄像头和与若干摄像头具有预设位置关系的麦克风阵列;处理器72用于对原始图像进行分析,得到拍摄对象相对于数据采集设备的环绕角度;其中,环绕角度为拍摄对象在预设平面中与数据采集设备的第一连线和预设参考线之间的夹角;处理器72用于利用环绕角度和预设位置关系,在麦克风阵列中选取满足第二预设条件的麦克风单元;处理器72用于利用选取的麦克风单元进行测距,得到拍摄对象相对于数据采集设备的距离。
区别于前述实施例,通过对原始图像进行分析,得到拍摄对象相对于数据采集设备的环绕角度,从而利用环绕角度和麦克风阵列与摄像头的预设位置关系,在麦克风阵列中选取满足第二预设条件的麦克风单元,从而利用选取的麦克风单元进行测距,得到拍摄对象相对于数据采集设备的距离,故能够有利于提高声源定位的准确性。
在一些公开实施例中,麦克风阵列为环绕若干摄像头设置的圆形阵列,处理器72用于利用环绕角度和预设位置关系,得到拍摄对象与麦克风阵列中各个麦克风单元之间的相对角度;处理器72用于选取满足第二预设条件的相对角度对应的麦克风单元;其中,其中,相对角度为拍摄对象与各个麦克风单元之间的第二连线和第一连线之间的夹角,第二预设条件包括:相对角度由小到大排序后,排在前预设数量位的相对角度。
区别于前述实施例,通过将麦克风阵列设置为环绕若干摄像头设置的圆形阵列,从而利用环绕角度和预设位置关系,得到拍摄对象与麦克风阵列中各个麦克风单元之间的相对角度,并选取满足第二预设条件的相对角度对应的麦克风单元,且相对角度为拍摄对象与各个麦克风单元之间的第二连线和第一连线之间的夹角,第二预设条件包括:相对角度由小到大排序后,排在前预设数量位的相对角度,从而能够有利于选出距离相对较远的麦克风单元,提高测距准确性。
在一些公开实施例中,相对位置信息还包括摄像对象相对于地面的高度;处理器72用于利用检测得到的拍摄对象的关键点位置信息,获取拍摄对象的预设部位尺寸;处理器72用于对拍摄对象相对于数据采集设备的距离和拍摄对象的预设部位尺寸进行预测,得到摄像对象相对于地面的高度。
区别于前述实施例,将相对位置信息设置为还包括摄像对象相对于地面的高度,并利用检测得到的拍摄对象的关键点位置信息,获取拍摄对象的预设部位尺寸,从而对拍摄对象相对于数据采集设备的距离和拍摄对象的预设部位尺寸进行预测,得到摄像对象相对于地面的高度,能够有利于提高后续拍摄视角预测的准确性。
在一些公开实施例中,处理器72用于基于拍摄视角和数据采集设备的预设视场角,得到用于裁剪原始图像的裁剪角度;处理器72用于获取以裁剪角度为终点的数列;其中,数列中的各个角度值由小到大依序排列;处理器72用于将数列中的角度值依序分配给下一预设周期的原始图像;处理器72用于按照分配的角度值裁剪原始图像,并按照裁剪角度裁剪未分配角度值的原始图像。
区别于前述实施例,通过基于拍摄视角和数据采集设备的预设视场角,得到用于裁剪原始图像的裁剪角度,从而获取以裁剪角度为终点的数列,且数列中的各个角度值由小到大依序排列,并将数列中的角度值依序分配给下一预设周期的原始图像,进而按照分配的角度值裁剪原始图像,并按照裁剪角度裁剪未分配角度值的原始图像,能够提高裁剪的平滑效果,减轻跳帧明显而产生的视觉不适感,提高用户体验。
在一些公开实施例中,拍摄视角包括上视角和下视角,处理器72用于分别利用第一预设方式和第二预设方式处理上视角、下视角和预设视场角,得到用于裁剪原始图像上边的第一裁剪角度和用于裁剪原始图像下边的第二裁剪角度;处理器72用于分别获取以第一裁剪角度为终点的第一数列和以第二裁剪角度为终点的第二数列;其中,第一数列中的各个第一角度值由小到大依序排列,第二数列中的各个第二角度值由小到大依序排列;处理器72用于将第一数列中的第一角度值依序分配给下一预设周期的原始图像,并将第二数列中的第二角度值依序分配给下一预设周期的原始图像;处理器72用于按照分配的第一角度值裁剪原始图像的上边,并按照第一裁剪角度裁剪未分配第一角度值的原始图像的上边;以及,按照分配的第二角度值裁剪原始图像的下边,并按照第二裁剪角度裁剪未分配第二角度值的原始图像的下边。
区别于前述实施例,拍摄视角包括上视角和下视角,从而利用上视角和下视角分别对下一预设周期的原始图像的上边和上边进行裁剪,能够提高上边和下边裁剪的平滑效果,减轻跳帧明显而产生的视觉不适感,提高用户体验。
请参阅图8,图8是本申请存储装置80一实施例的框架示意图。存储装置80存储有能够被处理器运行的程序指令801,程序指令801用于实现上述任一视野调整方法实施例中的步骤。
上述方案,能够有利于提高视野调整的即时性与便利性。
在一些实施例中,本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处,其相同或相似之处可以互相参考,为了简洁,本文不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性、机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种视野调整方法,其特征在于,包括:
获取数据采集设备在预设周期内拍摄到的若干原始图像;
对所述若干原始图像进行检测,得到所述若干原始图像中拍摄对象的相对位置信息和运动趋势信息;
利用所述相对位置信息和所述运动趋势信息进行预测,得到在下一所述预设周期内拍摄所述拍摄对象所需的拍摄视角;
基于所述拍摄视角,裁剪下一所述预设周期内拍摄到的原始图像,以调整成像视野;
其中,所述基于所述拍摄视角,裁剪下一所述预设周期内拍摄到的原始图像,包括:
基于所述拍摄视角和所述数据采集设备的预设视场角,得到用于裁剪所述原始图像的裁剪角度;
获取以所述裁剪角度为终点的数列;其中,所述数列中的各个角度值由小到大依序排列;
将所述数列中的角度值依序分配给下一所述预设周期的原始图像;
按照分配的所述角度值裁剪所述原始图像,并按照所述裁剪角度裁剪未分配所述角度值的原始图像。
2.根据权利要求1所述的方法,其特征在于,所述运动趋势信息至少包括:靠近所述数据采集设备运动或起立;
所述利用所述相对位置信息和所述运动趋势信息进行预测,得到在下一所述预设周期内拍摄所述拍摄对象所需的拍摄视角,包括:
统计所述若干原始图像中所述运动趋势信息包括靠近所述数据采集设备运动或起立的所述拍摄对象,作为第一候选对象;
利用所述第一候选对象的相对位置信息进行预测,得到在下一所述预设周期内拍摄所述第一候选对象所需的第一候选视角;
筛选满足第一预设条件的所述第一候选视角中的最大值,作为所述拍摄视角。
3.根据权利要求2所述的方法,其特征在于,所述运动趋势信息还包括:远离所述数据采集设备运动或坐下,所述预设周期包括多个子周期,所述方法还包括:
在所述第一候选视角均不满足所述第一预设条件的情况下,统计所述若干原始图像中所述运动趋势包括远离所述数据采集设备运动或坐下的所述拍摄对象,作为第二候选对象;
利用所述第二候选对象的相对位置信息进行预测,得到在下一所述预设周期内拍摄所述第二候选对象所需的第二候选视角;以及,
获取利用所述多个子周期中最后一个所述子周期内的所述原始图像预测得到的所述第一候选视角;
将所述第二候选视角和获取得到的所述第一候选视角中的最大值,作为所述拍摄视角。
4.根据权利要求2所述的方法,其特征在于,所述第一预设条件包括:所述第一候选视角大于预设视角阈值,其中,所述预设视角阈值为预测得到的所述预设周期所需的拍摄视角。
5.根据权利要求1所述的方法,其特征在于,所述相对位置信息包括所述拍摄对象相对于所述数据采集设备的距离,所述数据采集设备包括若干摄像头和与所述若干摄像头具有预设位置关系的麦克风阵列;
所述对所述若干原始图像进行检测,得到所述若干原始图像中拍摄对象的相对位置信息,包括:
对所述原始图像进行分析,得到所述拍摄对象相对于所述数据采集设备的环绕角度;其中,所述环绕角度为所述拍摄对象在预设平面中与所述数据采集设备的第一连线和预设参考线之间的夹角;
利用所述环绕角度和所述预设位置关系,在所述麦克风阵列中选取满足第二预设条件的麦克风单元;
利用选取的所述麦克风单元进行测距,得到所述拍摄对象相对于所述数据采集设备的距离。
6.根据权利要求5所述的方法,其特征在于,所述麦克风阵列为环绕所述若干摄像头设置的圆形阵列;所述利用所述环绕角度和所述预设位置关系,在所述麦克风阵列中选取满足第二预设条件的麦克风单元,包括:
利用所述环绕角度和所述预设位置关系,得到所述拍摄对象与所述麦克风阵列中各个所述麦克风单元之间的相对角度;
选取满足所述第二预设条件的相对角度对应的所述麦克风单元;
其中,所述相对角度为所述拍摄对象与各个所述麦克风单元之间的第二连线和所述第一连线之间的夹角,所述第二预设条件包括:所述相对角度由小到大排序后,排在前预设数量位的所述相对角度。
7.根据权利要求5所述的方法,其特征在于,所述相对位置信息还包括所述摄像对象相对于地面的高度;
在所述利用选取的所述麦克风单元进行测距,得到所述拍摄对象相对于所述数据采集设备的距离之后,还包括:
利用检测得到的所述拍摄对象的关键点位置信息,获取所述拍摄对象的预设部位尺寸;
对所述拍摄对象相对于所述数据采集设备的距离和所述拍摄对象的预设部位尺寸进行预测,得到所述摄像对象相对于地面的高度。
8.根据权利要求1所述的方法,其特征在于,所述拍摄视角包括上视角和下视角;所述利用预设方式处理所述拍摄视角和所述数据采集设备的预设视场角,得到用于裁剪所述原始图像的裁剪角度,包括:
分别利用第一预设方式和第二预设方式处理所述上视角、所述下视角和所述预设视场角,得到用于裁剪所述原始图像上边的第一裁剪角度和用于裁剪所述原始图像下边的第二裁剪角度;
所述获取以所述裁剪角度为终点的数列,包括:
分别获取以所述第一裁剪角度为终点的第一数列和以所述第二裁剪角度为终点的第二数列;其中,所述第一数列中的各个第一角度值由小到大依序排列,所述第二数列中的各个第二角度值由小到大依序排列;
所述将所述数列中的角度值依序分配给下一所述预设周期的原始图像,包括:
将所述第一数列中的第一角度值依序分配给下一所述预设周期的原始图像,并将所述第二数列中的第二角度值依序分配给下一所述预设周期的原始图像;
所述按照分配的所述角度值裁剪所述原始图像,并按照所述裁剪角度裁剪未分配所述角度值的原始图像,包括:
按照分配的所述第一角度值裁剪所述原始图像的上边,并按照所述第一裁剪角度裁剪未分配所述第一角度值的原始图像的上边;以及,
按照分配的所述第二角度值裁剪所述原始图像的下边,并按照所述第二裁剪角度裁剪未分配所述第二角度值的原始图像的下边。
9.一种电子设备,其特征在于,包括相互耦接的存储器和处理器,所述存储器中存储有程序指令,所述处理器用于执行所述程序指令以实现权利要求1至8任一项所述的视野调整方法。
10.一种存储装置,其特征在于,存储有能够被处理器运行的程序指令,所述程序指令用于实现权利要求1至8任一项所述的视野调整方法。
CN202010917864.5A 2020-09-03 2020-09-03 视野调整方法及电子设备、存储装置 Active CN112261281B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010917864.5A CN112261281B (zh) 2020-09-03 2020-09-03 视野调整方法及电子设备、存储装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010917864.5A CN112261281B (zh) 2020-09-03 2020-09-03 视野调整方法及电子设备、存储装置

Publications (2)

Publication Number Publication Date
CN112261281A CN112261281A (zh) 2021-01-22
CN112261281B true CN112261281B (zh) 2022-08-02

Family

ID=74224820

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010917864.5A Active CN112261281B (zh) 2020-09-03 2020-09-03 视野调整方法及电子设备、存储装置

Country Status (1)

Country Link
CN (1) CN112261281B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111591178B (zh) * 2020-05-13 2022-01-18 阿波罗智联(北京)科技有限公司 汽车座椅调节方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107710283A (zh) * 2016-12-02 2018-02-16 深圳市大疆创新科技有限公司 一种拍摄控制方法、装置以及控制设备
CN110086988A (zh) * 2019-04-24 2019-08-02 薄涛 拍摄角度调整方法、装置、设备及其存储介质
CN110248158A (zh) * 2019-06-06 2019-09-17 上海秒针网络科技有限公司 拍摄视角的调整方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5202211B2 (ja) * 2008-09-25 2013-06-05 三洋電機株式会社 画像処理装置及び電子機器
JP2014007653A (ja) * 2012-06-26 2014-01-16 Jvc Kenwood Corp 撮像装置、撮像方法、撮像システム及びプログラム
GB2520312A (en) * 2013-11-15 2015-05-20 Sony Corp A method, apparatus and system for image processing
CN107835372A (zh) * 2017-11-30 2018-03-23 广东欧珀移动通信有限公司 基于双摄像头的成像方法、装置、移动终端和存储介质
CN110876036B (zh) * 2018-08-31 2022-08-02 腾讯数码(天津)有限公司 一种视频生成的方法以及相关装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107710283A (zh) * 2016-12-02 2018-02-16 深圳市大疆创新科技有限公司 一种拍摄控制方法、装置以及控制设备
CN110086988A (zh) * 2019-04-24 2019-08-02 薄涛 拍摄角度调整方法、装置、设备及其存储介质
CN110248158A (zh) * 2019-06-06 2019-09-17 上海秒针网络科技有限公司 拍摄视角的调整方法及装置

Also Published As

Publication number Publication date
CN112261281A (zh) 2021-01-22

Similar Documents

Publication Publication Date Title
JP6077655B2 (ja) 撮影システム
WO2021027537A1 (zh) 一种拍摄证件照的方法、装置、设备及存储介质
CN109313799B (zh) 图像处理方法及设备
GB2440376A (en) Wide angle video conference imaging
US20130100235A1 (en) Face equalization in video conferencing
WO2018153313A1 (zh) 立体视觉摄像机及其高度获取方法、高度获取系统
JP2001094857A (ja) バーチャル・カメラの制御方法、カメラアレイ、及びカメラアレイの整合方法
US11258940B2 (en) Imaging apparatus
CN113973190A (zh) 视频虚拟背景图像处理方法、装置及计算机设备
US11849102B2 (en) System and method for processing three dimensional images
WO2017128750A1 (zh) 一种图像采集方法和图像采集装置
CN114331860A (zh) 畸变图像校正方法及其定位方法
CN112598628A (zh) 一种图像遮挡检测方法、装置、拍摄设备及介质
CN112261281B (zh) 视野调整方法及电子设备、存储装置
KR102176963B1 (ko) 수평 시차 스테레오 파노라마를 캡쳐하는 시스템 및 방법
CN112601028B (zh) 摄像控制方法、装置、计算机设备和存储介质
WO2021200184A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
CN114363522A (zh) 拍照方法及相关装置
US9832371B2 (en) Imaging device and method for controlling imaging device
CN115065782B (zh) 一种场景采集方法、采集装置、摄像设备及存储介质
CN116016836A (zh) 会议视频处理方法及系统
WO2022007681A1 (zh) 拍摄控制方法、移动终端和计算机可读存储介质
CN114374903B (zh) 拾音方法和拾音装置
WO2024119902A1 (zh) 图像拼接方法及装置
US11568550B2 (en) Method, processing device, and system for object tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant