CN110310300B - 一种虚拟环境中的目标跟随拍摄方法及装置、电子设备 - Google Patents

一种虚拟环境中的目标跟随拍摄方法及装置、电子设备 Download PDF

Info

Publication number
CN110310300B
CN110310300B CN201810231416.2A CN201810231416A CN110310300B CN 110310300 B CN110310300 B CN 110310300B CN 201810231416 A CN201810231416 A CN 201810231416A CN 110310300 B CN110310300 B CN 110310300B
Authority
CN
China
Prior art keywords
target
image acquisition
shooting
virtual
acquisition area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810231416.2A
Other languages
English (en)
Other versions
CN110310300A (zh
Inventor
李宇飞
林渊灿
贺辉超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201810231416.2A priority Critical patent/CN110310300B/zh
Publication of CN110310300A publication Critical patent/CN110310300A/zh
Application granted granted Critical
Publication of CN110310300B publication Critical patent/CN110310300B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本公开揭示了一种虚拟环境中的目标跟随拍摄方法及装置、电子设备、计算机可读存储介质,该方案包括:根据所获取虚拟环境中目标的位置信息,构建对目标进行图像采集的图像采集区域;根据对图像采集区域的配置,获得目标相对图像采集区域的可移动范围;跟踪虚拟环境中目标的移动,获得移动中对目标定位的位置;若根据移动中对目标定位的位置判定目标移出可移动范围,重构虚拟环境中目标跟随拍摄的图像采集区域,使目标重新进入相对重构图像采集区域的可移动范围。该方案在保证拍摄效果的同时减少了图像采集区域的移动次数,进而可以使相邻帧之间的画面尽可能衔接,克服画面抖动的缺陷。

Description

一种虚拟环境中的目标跟随拍摄方法及装置、电子设备
技术领域
本公开涉及图像采集技术领域,特别涉及一种虚拟环境中的目标跟随拍摄方法及装置、电子设备、计算机可读存储介质。
背景技术
3D游戏是使用空间立体计算技术实现操作的游戏。从编程实现角度来说游戏基础模型(游戏的人物,场景,基础地形)是使用三维立体模型实现的,游戏的人物角色控制是使用空间立体编程算法实现的,那么就把这种游戏称作3D游戏。为了对3D游戏中的目标剧情进行跟踪拍摄,从而输出一个跟随目标剧情移动的游戏全景视频。
现有技术中通过让跟随相机以固定的跟随半径连续跟随目标剧情移动,以此输出一个实时跟随目标剧情移动的游戏全景视频。跟随相机的具体移动算法如下:通过实时获取目标剧情的坐标(targetX,argetY)和跟随相机坐标(cameraX,cameraY),同时计算目标剧情和跟随相机坐标之间的距离D,并进行判断。如果D不等于固定跟随半径R,则将跟随相机向目标剧情移动直到D等于R。计算的时间为实时计算。换句话说,使跟随相机与目标剧情之间的距离D始终保持固定跟随半径R,如图1所示。
现有技术最大的问题在于,跟随相机实时跟随目标剧情进行移动时,所拍摄的全景视频会因跟随相机的频繁移动,而导致相邻帧画面之间衔接较差,使所拍摄的全景视频存在抖动现象。
发明内容
为了解决相关技术中存在的跟随相机实时跟随目标剧情进行移动时,所拍摄的全景视频因跟随相机的频繁移动,而导致相邻帧画面之间衔接较差,使所拍摄的全景视频存在抖动现象的问题,本公开提供了一种虚拟环境中的目标跟随拍摄方法。
一方面,本公开提供了一种虚拟环境中的目标跟随拍摄方法,所述方法包括:
根据所获取虚拟环境中目标的位置信息,构建对所述目标进行图像采集的图像采集区域;
根据对所述图像采集区域的配置,获得所述目标相对所述图像采集区域的可移动范围;
跟踪所述虚拟环境中目标的移动,获得所述移动中对目标定位的位置;
若根据所述移动中对目标定位的位置判定所述目标移出所述可移动范围,重构所述虚拟环境中目标跟随拍摄的图像采集区域,使所述目标重新进入相对所述重构图像采集区域的可移动范围。
另一方面,本公开提供了一种虚拟环境中的目标跟随拍摄装置,,所述装置包括:
区域构建模块,用于根据所获取虚拟环境中目标的位置信息,构建对所述目标进行图像采集的图像采集区域;
范围获得模块,用于根据对所述图像采集区域的配置,获得所述目标相对所述图像采集区域的可移动范围;
位置获得模块,用于跟踪所述虚拟环境中目标的移动,获得所述移动中对目标定位的位置;
区域重构模块,用于在根据所述移动中对目标定位的位置判定所述目标移出所述可移动范围时,重构所述虚拟环境中目标跟随拍摄的图像采集区域,使所述目标重新进入相对所述重构图像采集区域的可移动范围。
此外,本公开提供了一种电子设备,所述电子设备包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行上述虚拟环境中的目标跟随拍摄方法。
进一步的,本公开提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序可由处理器执行完成上述虚拟环境中的目标跟随拍摄方法。
本公开的实施例提供的技术方案可以包括以下有益效果:
本公开提供的技术方案,根据目标的位置信息构建图像采集区域,并通过配置确定了相对图像采集区域的目标可移动范围,在目标离开可移动范围时才重构对目标进行跟随拍摄的图像采集区域,并保证目标重新位于所重构图像采集区域的可移动范围内。因此图像采集区域无需跟随目标的移动实时发生变化,只需在目标离开相对图像采集区域的可移动范围时,才重新调整图像采集区域,从而在保证拍摄效果的同时减少了图像采集区域的移动次数,进而可以使相邻帧之间的画面尽可能衔接,克服画面抖动的缺陷。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并于说明书一起用于解释本发明的原理。
图1是现有技术以固定半径进行跟随拍摄的原理示意图;
图2是根据本公开所涉及的实施环境的示意图;
图3是根据一示例性实施例示出的一种装置的框图;
图4是根据一示例性实施例示出的虚拟环境中的目标跟随拍摄方法的流程图;
图5是图4对应实施例的步骤410的细节的流程图;
图6是根据一示例性实施例示出的建立虚拟拍摄点的原理示意图;
图7是根据一示例性实施例示出的目标与虚拟拍摄点之间的位置关系示意图;
图8是根据一示例性实施例示出由拍摄边界所围成的目标可移动范围示意图;
图9是根据一示例性实施例示出的目标处于可移动范围内的示意图;
图10是根据一示例性实施例示出的目标即将离开可移动范围的示意图;
图11是根据一示例性实施例示出的目标离开可移动范围后虚拟相机进行跳跃的示意图;
图12是在图4对应实施例的基础上一示例性实施例示出的虚拟环境中的目标跟随拍摄方法的流程图;
图13是根据一示例性实施例示出的一种虚拟环境中的目标跟随拍摄装置的框图;
图14是图13对应实施例的区域构建模块的细节框图;
图15是在图13对应实施例的基础上一示例性实施例示出的虚拟环境中的目标跟随拍摄装置的框图。
具体实施方式
这里将详细地对示例性实施例执行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
图2是根据本公开所涉及的实施环境的示意图。该实施环境包括:多个移动终端110和服务器120。
移动终端110与服务器120之间的关联方式,包括硬件的网络关联方式和/或协议,以及二者之间往来的数据关联方式。移动终端110中可以运行3D游戏软件APP,然后采用本公开提供的虚拟环境中的目标跟随拍摄方法,对3D游戏中的目标剧情进行跟随拍摄。所拍摄的画面可以上传至服务器120,并通过服务器120将所拍摄的画面进行广播,实现3D游戏中目标剧情的直播。
图3是根据一示例性实施例示出的一种装置200的框图。例如,装置200可以是图2所示实施环境中的移动终端110。该移动终端110可以是智能手机或平板电脑。
参照图3,装置200可以包括以下一个或多个组件:处理组件202,存储器204,电源组件206,多媒体组件208,音频组件210,传感器组件214以及通信组件216。
处理组件202通常控制装置200的整体操作,诸如与显示,电话呼叫,数据通信,相机操作以及记录操作相关联的操作等。处理组件202可以包括一个或多个处理器218来执行指令,以完成下述的方法的全部或部分步骤。此外,处理组件202可以包括一个或多个模块,便于处理组件202和其他组件之间的交互。例如,处理组件202可以包括多媒体模块,以方便多媒体组件208和处理组件202之间的交互。
存储器204被配置为存储各种类型的数据以支持在装置200的操作。这些数据的示例包括用于在装置200上操作的任何应用程序或方法的指令。存储器204可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(Static RandomAccess Memory,简称SRAM),电可擦除可编程只读存储器(Electrically ErasableProgrammable Read-Only Memory,简称EEPROM),可擦除可编程只读存储器(ErasableProgrammable Read Only Memory,简称EPROM),可编程只读存储器(Programmable Red-Only Memory,简称PROM),只读存储器(Read-Only Memory,简称ROM),磁存储器,快闪存储器,磁盘或光盘。存储器204中还存储有一个或多个模块,该一个或多个模块被配置成由该一个或多个处理器218执行,以完成下述4、图5、图12任一所示方法中的全部或者部分步骤。
电源组件206为装置200的各种组件提供电力。电源组件206可以包括电源管理系统,一个或多个电源,及其他与为装置200生成、管理和分配电力相关联的组件。
多媒体组件208包括在所述装置200和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(Liquid Crystal Display,简称LCD)和触摸面板。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。屏幕还可以包括有机电致发光显示器(Organic Light Emitting Display,简称OLED)。
音频组件210被配置为输出和/或输入音频信号。例如,音频组件210包括一个麦克风(Microphone,简称MIC),当装置200处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器204或经由通信组件216发送。在一些实施例中,音频组件210还包括一个扬声器,用于输出音频信号。
传感器组件214包括一个或多个传感器,用于为装置200提供各个方面的状态评估。例如,传感器组件214可以检测到装置200的打开/关闭状态,组件的相对定位,传感器组件214还可以检测装置200或装置200一个组件的位置改变以及装置200的温度变化。在一些实施例中,该传感器组件214还可以包括磁传感器,压力传感器或温度传感器。
通信组件216被配置为便于装置200和其他设备之间有线或无线方式的通信。装置200可以接入基于通信标准的无线网络,如WiFi(WIreless-Fidelity,无线保真)。在一个示例性实施例中,通信组件216经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件216还包括近场通信(Near FieldCommunication,简称NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RadioFrequency Identification,简称RFID)技术,红外数据协会(Infrared DataAssociation,简称IrDA)技术,超宽带(Ultra Wideband,简称UWB)技术,蓝牙技术和其他技术来实现。
在示例性实施例中,装置200可以被一个或多个应用专用集成电路(ApplicationSpecific Integrated Circuit,简称ASIC)、数字信号处理器、数字信号处理设备、可编程逻辑器件、现场可编程门阵列、控制器、微控制器、微处理器或其他电子元件实现,用于执行下述方法。
图4是根据一示例性实施例示出的一种虚拟环境中的目标跟随拍摄方法的流程图。该虚拟环境中的目标跟随拍摄方法的适用范围和执行主体,例如,该方法用于图2所示实施环境的移动终端110。如图4所示,该虚拟环境中的目标跟随拍摄可以由移动终端110执行,可以包括以下步骤。
在步骤410中,根据所获取虚拟环境中目标的位置信息,构建对目标进行图像采集的图像采集区域。
其中,虚拟环境是指与真实环境相对的,通过计算机模拟真实环境所构建出来的仿真环境。举例来说,该虚拟环境可以是3D游戏中的场景。进一步的,虚拟环境中的目标可以是虚拟环境中的目标人物、目标剧情等。举例来说,目标剧情可以是3D游戏中图像采集区域需要去拍摄的游戏剧情,可以是战斗画面,可以是英雄,可以是故事情节等。
具体的,移动终端通过运行软件APP生成虚拟环境,并对虚拟环境构建三维立体坐标系,实时采集虚拟环境中目标所处位置,获得虚拟环境中目标的位置信息。位置信息包括目标的位置坐标和运动方向。而图像采集区域是指对目标进行图像采集的虚拟相机所在区域。其中,可以根据虚拟环境中目标的位置信息,在距离目标一定范围内,构建图像采集区域,进而对目标进行图像采集。图像采集区域与目标之间的距离不限,只需保证图像采集区域内设置的虚拟相机能够采集到目标的图像。如果虚拟相机能够拍摄较远距离,则图像采集区域与目标之间距离可以较远。相反的,则需要减小图像采集区域与目标之间的距离。
在步骤430中,根据对图像采集区域的配置,获得目标相对图像采集区域的可移动范围。
需要解释的是,对图像采集区域的配置是指对目标进行图像采集的虚拟相机的配置,对图像采集区域的配置包括以图像采集区域为基准,设定的所能拍摄的最远距离、最近距离和视差角大小。可移动范围是指在图像采集区域不变的情况下,又要保证目标能被拍到,目标相对图像采集区域所能移动的范围。可移动范围可以是整个视场范围也可以是视场范围内的一定区域,可以通过对图像采集区域的配置来确定可移动范围。
通过对图像采集区域的配置,可以得到图像采集区域中所设置的虚拟相机的视场范围,在一种实施例中,将视场范围作为目标的可移动范围。在目标处于该可移动范围内时,可以不用改变图像采集区域的位置,也就是说可以不用移动虚拟相机,从而避免实时跟随目标进行移动导致所拍摄的视频存在抖动现象。
在步骤450中,跟踪虚拟环境中目标的移动,获得移动中对目标定位的位置。
其中,可以采用基于模板匹配的目标跟踪算法对目标进行跟踪,并在目标移动过程中,实时获取目标的位置。该位置可以是目标在虚拟环境中的位置坐标。具体的,可以通过获取目标的特征点,然后通过特征点匹配,也就是计算特征相似性,找出虚拟环境中的目标所在位置。
在其他实施例中,由于目标是在用户的控制下进行移动,所以也可以根据用户触发的移动指令(左、右、前、后等),跟踪虚拟环境中目标的移动,实时采集目标移动过程中的位置。举例来说,当目标位于坐标(1,0,0)时,接收到前进指令后,目标的位置坐标变为(2,0,0)。因此,根据接收到的移动指令,可以跟踪目标的移动,并实时获得目标的位置信息。
在步骤470中,若根据移动中对目标定位的位置判定目标移出可移动范围,重构虚拟环境中目标跟随拍摄的图像采集区域,使目标重新进入相对重构图像采集区域的可移动范围。
如上所述,可移动范围是指在图像采集区域不变的情况下,又要保证目标能被拍到,目标相对图像采集区域所能移动的范围。可移动范围可以是图像采集区域所能拍摄的视场范围。根据移动中对目标定位的位置,在该位置仍处于上述可移动范围内时,表示图像采集区域所设置的虚拟相机还能够对目标进行图像采集,因此可以不需要调整图像采集区域的位置。
其中,重构虚拟环境中目标跟随拍摄的图像采集区域是指调整对目标进行图像采集的图像采集区域位置,换句话说,改变虚拟拍摄点和虚拟相机的位置,从而使目标又处于虚拟相机所能拍摄的视场范围内,从而能够对目标进行拍摄。根据移动中对目标定位的位置,在该位置离开可移动范围时,调整图像采集区域的位置,使目标重新处于新图像采集区域(即重构图像采集区域)所对应的可移动范围内。
现有技术中,虚拟相机实时跟随目标剧情移动,使虚拟相机与目标之间的距离始终保持在半径R,所以虚拟相机移动频繁,所拍摄的视频相邻帧之间衔接较差,相邻帧之间的画面存在抖动现象。另外,虚拟相机实时跟随目标剧情移动,所获得的全景视频会使用户感受到强烈的晕眩。因为在全景模式下当用户看着实时移动的全景视频时,会以为自己也在移动中。但是由于身体并没有在移动,因此会导致身体和大脑的感知冲突,继而引发呕吐晕眩的感觉。
本公开提供的技术方案主要是通过对虚拟相机的移动算法进行优化,在目标离开图像采集区域所对应的可移动范围时,才重新调整图像采集区域的位置,在保证拍摄效果的同时最大程度上减少了虚拟相机的移动次数,从而可以使相邻帧之间的画面尽可能衔接,克服画面抖动的缺陷;另外,减少虚拟相机的移动次数可以缓解用户身体和大脑的感知冲突,进而保证用户观看所拍摄视频的同时不再感觉到强烈的呕吐和晕眩。
在一种示例性实施例中,如图5所示,步骤410具体包括:
在步骤411中,根据所获取虚拟环境中目标的位置信息,在距离目标预设范围内,建立虚拟拍摄点。
需要说明的是,虚拟拍摄点就是虚拟环境中用来设置虚拟相机的位置。根据虚拟环境中目标的位置信息,可以以目标为圆心,在距离目标一定距离为半径,选择圆周上一点为虚拟拍摄点。
在步骤412中,在虚拟拍摄点处构建虚拟相机,目标处于虚拟相机的视场范围内,获得对目标进行图像采集的图像采集区域。
具体的,可以在该虚拟拍摄点出构建虚拟相机,该虚拟相机用于对目标进行图像采集,所以目标处于虚拟相机的视场范围内。也就是说,使虚拟相机的拍摄方向朝向目标,从而对目标进行图像采集,虚拟相机所处区域就是对目标进行图像采集的图像采集区域。
进一步的,步骤411具体包括:根据所获取虚拟环境中目标的位置坐标和移动方向,在移动方向的反方向且距离目标预设范围内,建立虚拟拍摄点。
为了进一步减少图像采集区域的调整次数,除了获取虚拟环境中目标的位置坐标还可以获取目标的移动方向。如图6所示,箭头方向表示目标61移动方向,图像采集区域沿目标移动方向,跳跃或移动到移动方向的反方向,且距离目标一定范围内,建立虚拟拍摄点62。换句话说,此时虚拟拍摄点62是以目标61为圆心,在距离目标一定距离为半径r,在圆周上与目标运动方向相反的点。
在一种示例性实施例中,上述根据所获取虚拟环境中目标的位置坐标和移动方向,在移动方向的反方向且距离目标预设范围内,建立虚拟拍摄点,具体可以包括以下步骤:
根据对虚拟拍摄点配置的最远拍摄距离和最近拍摄距离,在移动方向的反方向且距离目标在最远拍摄距离和最近拍摄距离之间的位置,建立虚拟拍摄点。
其中,最远拍摄距离是指在虚拟拍摄点处所设置的虚拟相机所能拍摄的最远距离和最近距离,该距离均是相对虚拟拍摄点而言。根据预先设置的最远拍摄距离和最近拍摄距离,可以使目标与虚拟拍摄点之间的距离处于最远拍摄距离和最近拍摄距离之间。假设最远拍摄距离为a,最近拍摄距离为b,则目标与虚拟拍摄点之间的距离可以是b~a,即目标处于虚拟相机的最远和最近拍摄距离之间。
如图7所示,箭头方向为目标移动方向,在目标移动的反方向,设置了虚拟拍摄点(即图中跳跃相机所处位置)。内圈表示相对虚拟拍摄点最近拍摄距离R2对应的拍摄边界,外圈表示相对虚拟拍摄点最远拍摄距离R1对应的拍摄边界,虚拟拍摄点的位置在目标移动方向的反方向且与目标之间的距离为R2~R1之间。如图7所示,目标可以处于虚拟相机(即图中的跳跃相机)视差角β的1/2处,且处于虚拟相机的最远拍摄距离R1和最近拍摄举例R2之和的1/2处,即目标与虚拟相机之间的距离可以为(R1+R2)/2。
在一种示例性实施例中,上述步骤430具体包括:
根据以图像采集区域为基准配置的拍摄边界,获得由拍摄边界形成的可移动范围。
其中,拍摄边界是指在图像采集区域所设置的虚拟相机所能拍摄到的边界。拍摄边界包括相对虚拟相机的最远拍摄边界和最近拍摄边界。由此,可移动范围可以是最远拍摄边界和最近拍摄边界之间的区域。举例来说,最远拍摄边界和最近拍摄边界可以形成由图像采集区域为中心构成的两个同心圆、两个同心矩阵、两个同心椭圆或其他形状。
如图8所示,最远拍摄边界1104和最近拍摄边界1103构成以图像采集区域1101为中心的两个同心矩阵,最近拍摄边界1103是图像采集区域1101最近能拍摄到的边界,最远拍摄边界1104是距离图像采集区域1101最远能拍摄到的边界。因此,目标的可移动范围应是最近拍摄边界1103和最远拍摄边界1104之间的区域,由于图像采集区域1101具有一定的视场角,由此图8中的阴影区域1102可以认为是由拍摄边界形成的可移动范围。
进一步的,上述根据以图像采集区域为基准配置的拍摄边界,获得由拍摄边界形成的可移动范围,具体包括:
根据以图像采集区域为基准配置的最远拍摄距离、最近拍摄距离以及视场角,划定距离图像采集区域的最远边界、最近边界和左右边界,获得由最远边界、最近边界和左右边界围成的可移动范围。
也就是说,可以预先设定图像采集区域所设置的虚拟相机的拍摄参数,拍摄参数包括虚拟相机所能够拍摄的最远距离、最近距离以及视差角。由此,在虚拟环境中相对图像采集区域可以限定所能够拍摄的最远边界、最近边界和左右边界。其中,最远边界根据配置的最远拍摄距离确定,最近边界根据配置的最近拍摄距离确定,左右边界则根据视差方向和视场角大小确定,视场方向通常与目标的移动方向相同,视场角大小可以提前进行配置,视场角是指所拍摄画面的左右边界和虚拟相机所在位置的扇形夹角。最远边界和最近边界之间,且在视场角范围内的区域属于目标相对当前图像采集区域的可移动范围。
如图9所示,被拍摄剧情即为目标,此时目标处于最远拍摄距离和最近拍摄距离之间(即可移动范围内),当目标处在最远拍摄距离和最近拍摄距离之间移动时,可以不用改变图像采集区域的位置,也能够采集到目标的图像,从而可以减少图像采集区域调整的次数,减少所拍摄视频的抖动现象。
如果10所示,相对图像采集区域1001设置了最远拍摄距离和最近拍摄距离,可移动范围为最远拍摄距离和最近拍摄距离之间的区域,图10中目标(即被拍摄剧情)靠近最远拍摄距离,并即将向前跃过最远拍摄距离,但当前时刻,目标尚未跃过最远拍摄距离,此时无需调整图像采集区域1001的位置。
如图11所示,目标(即被拍摄剧情)已跃过图像采集区域11的最远拍摄距离(即上一次最远拍摄距离处虚线),换句话说,此时目标的位置不在图像采集区域11对应的可移动范围内,因此需要重构对目标进行跟随拍摄的图像采集区域,使目标仍处于重构图像采集区域对应的可移动范围内。如图12所示,基于目标的当前位置,获得重构图像采集区域12的位置,具体的,可以参照上述步骤410重新根据目标的位置构建图像采集区域,并且保证目标在新构建的图像采集区域对应的可移动范围内。
在一种示例性实施例中,通过实时获取目标的坐标(targetX,targetY)和图像采集区域的坐标(cameraX,cameraY),同时计算目标和图像采集区域之间的距离D,以及目标和图像采集区域视差角的关系,并进行判断。如果D大于最远拍摄距离R1,或者D小于最近拍摄距离R2,或者目标超过视场角β的区域,则将图像采集区域沿着目标的移动方向跳跃或移动到D等于(R1+R2)/2,且处于FOV夹角1/2处。其中,图像采集区域的跳跃方式不严格遵守瞬间跳跃,而可以是在某个方向的移动中加入连续移动,加速移动等非跳跃式切换。比如当目标向后超过最近拍摄半径时,图像采集区域不是瞬间向后跳跃,而是改为连续移动。
由于目标大概率在最远边界、最近边界以及视差角形成的区域内移动,所以虚拟相机可以在较长时间内处于稳定不动状态,不进行位移,从而拍摄的视频不会存在抖动现象。因此用户观看采用上述方式拍摄的全景视频的时候,不会因为虚拟相机的频繁移动而产生晕眩感。
即便当相机发生跳跃时,由于是瞬间跳跃,用户将感觉不到位移,只能感觉是镜头切换,因此也极大的减少了用户产生位移的错觉,减少了晕眩。相机的跳跃会使用户整个观看画面包括用户观看盲区(比如背面,侧面)都将更新为新的画面,这也就保证了用户可以适时的跟踪目标剧情的移动,不错过任何关键剧情。
本公开通过多个边界条件的判断,最大程度上满足用户目标剧情观看需求的同时,极大的增加了虚拟相机的稳定情况。当所采集的目标图像是游戏全景视频时,可以使得用户可以更加顺畅地观看游戏全景视频,不再因此产生晕眩呕吐,极大的提高了游戏全景视频的观看时长和产品的粘性。
进一步的,虚拟环境为虚拟的三维立体环境;上述构建对目标进行图像采集的图像采集区域之后,如图12所示,本公开提供的目标跟随拍摄方法还包括:
在步骤1201中,获取虚拟的三维立体环境中图像采集区域对目标进行图像采集所获得的360度画面。
具体的,虚拟的三维立体环境可以是3D游戏,图像采集区域可以设置游戏全景摄像机,对目标进行360度画面的采集,通常不仅仅采集正前方的游戏画面,还要采集后面,上面,下面,左边,右面,一共六面的视频并输出。
在步骤1202中,将360画面进行拼接,获得由360度画面拼接而成的全景画面。
需要说明的而是,由于全景摄像机采集的是六面的视频,即360度画面,所以需要将同一时刻采集的六个画面进行拼接,形成该时刻由六个画面拼接而成的全景画面。用户可以通过滑动改变全景画面的观看方向。
在步骤1203中,将按照时间先后顺序依次获得的全景画面生成全景视频。
其中,全景视频包括按照时间序列排列的一帧帧全景画面,对每个时刻采集的六个画面进行拼接形成每个时刻的全景画面,而连续的全景画面构成全景视频。之后全景视频可以通过服务器120进行直播,使视频观看者在全景视频中可以有效地关注目标剧情,在身临其境地观赏全景视频的同时,通过改变目标的跟随拍摄方式,提高了画面之间的衔接性,极大的降低了用户晕眩的感觉。
下述为本公开装置实施例,可以用于执行本公开上述移动终端110执行的方法实施例。对于本公开装置实施例中未披露的细节,请参照本公开虚拟环境中的目标跟随拍摄方法实施例。
图13是根据一示例性实施例示出的一种虚拟环境中的目标跟随拍摄装置的框图,该虚拟环境中的目标跟随拍摄装置可以用于图2所示实施环境的移动终端110中,执行图4、图5、图12任一所示的虚拟环境中的目标跟随拍摄方法的全部或者部分步骤。如图13所示,该目标跟随拍摄装置包括但不限于:区域构建模块1310、范围获得模块1330、位置获得模块1350、区域重构模块1370。
其中,区域构建模块1310,用于根据所获取虚拟环境中目标的位置信息,构建对所述目标进行图像采集的图像采集区域;
范围获得模块1330,用于根据对所述图像采集区域的配置,获得所述目标相对所述图像采集区域的可移动范围;
位置获得模块1350,用于跟踪所述虚拟环境中目标的移动,获得所述移动中对目标定位的位置;
区域重构模块1370,用于在根据所述移动中对目标定位的位置判定所述目标移出所述可移动范围时,重构所述虚拟环境中目标跟随拍摄的图像采集区域,使所述目标重新进入相对所述重构图像采集区域的可移动范围。
上述装置中各个模块的功能和作用的实现过程具体详见上述虚拟环境中的目标跟随拍摄方法中对应步骤的实现过程,在此不再赘述。
区域构建模块1310比如可以是图2中的某一个物理结构处理器218。
范围获得模块1330、位置获得模块1350、区域重构模块1370也可以是功能模块,用于执行上述虚拟环境中的目标跟随拍摄方法中的对应步骤。可以理解,这些模块可以通过硬件、软件、或二者结合来实现。当以硬件方式实现时,这些模块可以实施为一个或多个硬件模块,例如一个或多个专用集成电路。当以软件方式实现时,这些模块可以实施为在一个或多个处理器上执行的一个或多个计算机程序,例如图2的处理器218所执行的存储在存储器204中的程序。
在一种示例性实施例中,如图14所示,所述区域构建模块1310包括:
拍摄点建立单元1311,用于根据所获取虚拟环境中目标的位置信息,在距离所述目标预设范围内,建立虚拟拍摄点;
区域获得单元1312,用于在所述虚拟拍摄点处构建虚拟相机,所述目标处于所述虚拟相机的视场范围内,获得对所述目标进行图像采集的图像采集区域。
可选的,所述拍摄点建立单元1311具体用于:
根据所获取虚拟环境中目标的位置坐标和移动方向,在所述移动方向的反方向且距离所述目标预设范围内,建立虚拟拍摄点。
可选的,所述拍摄点建立单元1311具体用于:
根据对虚拟拍摄点配置的最远拍摄距离和最近拍摄距离,在所述移动方向的反方向且距离所述目标在所述最远拍摄距离和最近拍摄距离之间的位置,建立虚拟拍摄点。
在一种示例性实施例中,所述范围获得模块1330包括:
范围获得单元,用于根据以所述图像采集区域为基准配置的拍摄边界,获得由所述拍摄边界形成的可移动范围。
可选的,所述范围获得单元包括:
边界划定子单元,用于根据以所述图像采集区域为基准配置的最远拍摄距离、最近拍摄距离以及视场角,划定距离所述图像采集区域的最远边界、最近边界和左右边界,获得由所述最远边界、最近边界和左右边界围成的可移动范围。
进一步的,如图15所示,在图13对应实施例的基础上,本公开提供的虚拟环境中的目标跟随拍摄装置还包括:
图像获取模块1510,用于获取虚拟的三维立体环境中所述图像采集区域对所述目标进行图像采集所获得的360度画面;
图像拼接模块1520,用于将所述360画面进行拼接,获得由360度画面拼接而成的全景画面;
视频生成模块1530,用于将按照时间先后顺序依次获得的全景画面生成全景视频。
可选的,本公开还提供一种电子设备,该电子设备可以用于图2所示实施环境的移动终端110中,执行图4、图5、图12任一所示的虚拟环境中的目标跟随拍摄方法的全部或者部分步骤。该电子设备包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,处理器被配置为执行上述实施例所述的虚拟环境中的目标跟随拍摄方法。
该实施例中电子设备的处理器执行操作的具体方式已经在有关该虚拟环境中的目标跟随拍摄方法的实施例中执行了详细描述,此处将不做详细阐述说明。
在示例性实施例中,还提供了一种存储介质,该存储介质为计算机可读存储介质,例如可以为包括指令的临时性和非临时性计算机可读存储介质。该存储介质存储有计算机程序,该计算机程序可由装置200的处理器218执行以完成上述虚拟环境中的目标跟随拍摄方法。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (11)

1.一种虚拟环境中的目标跟随拍摄方法,其特征在于,所述方法包括:
根据所获取虚拟环境中目标的位置坐标和移动方向,在所述移动方向的反方向且距离目标预设范围内,建立虚拟拍摄点;
在所述虚拟拍摄点处构建虚拟相机,目标处于所述虚拟相机的视场范围内,获得对所述目标进行图像采集的图像采集区域,所述图像采集区域是指对目标进行图像采集的虚拟相机所在区域;
根据对所述目标进行图像采集的虚拟相机的配置,获得所述目标相对所述图像采集区域的可移动范围;
在所述目标移动过程中,通过获取所述目标的特征点计算特征相似性,获取虚拟环境中的目标所在位置;
若根据移动中对目标定位的位置判定所述目标移出所述可移动范围,重构所述虚拟环境中目标跟随拍摄的图像采集区域,使所述目标重新进入相对所述重构图像采集区域的可移动范围。
2.根据权利要求1所述的方法,其特征在于,所述根据所获取虚拟环境中目标的位置坐标和移动方向,在所述移动方向的反方向且距离所述目标预设范围内,建立虚拟拍摄点,包括:
根据对虚拟拍摄点配置的最远拍摄距离和最近拍摄距离,在所述移动方向的反方向且距离所述目标在所述最远拍摄距离和最近拍摄距离之间的位置,建立虚拟拍摄点。
3.根据权利要求1所述的方法,其特征在于,根据对所述目标进行图像采集的虚拟相机的配置,获得所述目标相对所述图像采集区域的可移动范围,包括:
根据以所述图像采集区域为基准配置的拍摄边界,获得由所述拍摄边界形成的可移动范围。
4.根据权利要求3所述的方法,其特征在于,所述根据以所述图像采集区域为基准配置的拍摄边界,获得由所述拍摄边界形成的可移动范围包括
根据以所述图像采集区域为基准配置的最远拍摄距离、最近拍摄距离以及视场角,划定距离所述图像采集区域的最远边界、最近边界和左右边界,获得由所述最远边界、最近边界和左右边界围成的可移动范围。
5.根据权利要求1所述的方法,其特征在于,所述虚拟环境为虚拟的三维立体环境;所述构建对所述目标进行图像采集的图像采集区域之后,所述方法还包括:
获取虚拟的三维立体环境中所述图像采集区域对所述目标进行图像采集所获得的360度画面;
将所述360度画面进行拼接,获得由360度画面拼接而成的全景画面;
将按照时间先后顺序依次获得的全景画面生成全景视频。
6.一种虚拟环境中的目标跟随拍摄装置,其特征在于,所述装置包括:
区域构建模块,包括拍摄点建立单元,用于根据所获取虚拟环境中目标的位置坐标和移动方向,在所述移动方向的反方向且距离所述目标预设范围内,建立虚拟拍摄点;区域获得单元,用于在所述虚拟拍摄点处构建虚拟相机,所述目标处于所述虚拟相机的视场范围内,获得对所述目标进行图像采集的图像采集区域,所述图像采集区域是指对目标进行图像采集的虚拟相机所在区域;
范围获得模块,用于根据对所述目标进行图像采集的虚拟相机的配置,获得所述目标相对所述图像采集区域的可移动范围;
位置获得模块,用于在所述目标移动过程中,通过获取所述目标的特征点计算特征相似性,获取虚拟环境中的目标所在位置;
区域重构模块,用于在根据移动中对目标定位的位置判定所述目标移出所述可移动范围时,重构所述虚拟环境中目标跟随拍摄的图像采集区域,使所述目标重新进入相对所述重构图像采集区域的可移动范围。
7.根据权利要求6所述的装置,其特征在于,所述拍摄点建立单元具体用于:
根据对虚拟拍摄点配置的最远拍摄距离和最近拍摄距离,在所述移动方向的反方向且距离所述目标在所述最远拍摄距离和最近拍摄距离之间的位置,建立虚拟拍摄点。
8.根据权利要求6所述的装置,其特征在于,所述范围获得模块包括:
范围获得单元,用于根据以所述图像采集区域为基准配置的拍摄边界,获得由所述拍摄边界形成的可移动范围。
9.根据权利要求8所述的装置,其特征在于,所述范围获得单元包括:
边界划定子单元,用于根据以所述图像采集区域为基准配置的最远拍摄距离、最近拍摄距离以及视场角,划定距离所述图像采集区域的最远边界、最近边界和左右边界,获得由所述最远边界、最近边界和左右边界围成的可移动范围。
10.一种电子设备,其特征在于,所述电子设备包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行权利要求1-5任意一项所述的虚拟环境中的目标跟随拍摄方法。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序可由处理器执行完成权利要求1-5任意一项所述的虚拟环境中的目标跟随拍摄方法。
CN201810231416.2A 2018-03-20 2018-03-20 一种虚拟环境中的目标跟随拍摄方法及装置、电子设备 Active CN110310300B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810231416.2A CN110310300B (zh) 2018-03-20 2018-03-20 一种虚拟环境中的目标跟随拍摄方法及装置、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810231416.2A CN110310300B (zh) 2018-03-20 2018-03-20 一种虚拟环境中的目标跟随拍摄方法及装置、电子设备

Publications (2)

Publication Number Publication Date
CN110310300A CN110310300A (zh) 2019-10-08
CN110310300B true CN110310300B (zh) 2023-09-08

Family

ID=68073934

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810231416.2A Active CN110310300B (zh) 2018-03-20 2018-03-20 一种虚拟环境中的目标跟随拍摄方法及装置、电子设备

Country Status (1)

Country Link
CN (1) CN110310300B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111415386B (zh) * 2020-03-16 2023-05-26 如你所视(北京)科技有限公司 拍摄设备位置提示方法、装置、存储介质及电子设备
CN112070903A (zh) * 2020-09-04 2020-12-11 脸萌有限公司 虚拟对象的展示方法、装置、电子设备及计算机存储介质
CN112468798A (zh) * 2020-11-27 2021-03-09 上海影创信息科技有限公司 虚拟测距标志的处理方法和系统及其vr眼镜
CN112791401B (zh) * 2020-12-31 2023-12-12 上海米哈游天命科技有限公司 拍摄方法、装置、电子设备及存储介质
CN113038262A (zh) * 2021-01-08 2021-06-25 深圳市智胜科技信息有限公司 一种全景直播方法和装置
CN112581410A (zh) * 2021-02-26 2021-03-30 智己汽车科技有限公司 图像处理方法、装置、电子设备及存储介质
CN117395510B (zh) * 2023-12-12 2024-02-06 湖南快乐阳光互动娱乐传媒有限公司 虚拟机位的控制方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012223357A (ja) * 2011-04-19 2012-11-15 Onkyo Corp ビデオゲーム装置およびビデオゲーム制御方法
CN105957109A (zh) * 2016-04-29 2016-09-21 北京博瑞爱飞科技发展有限公司 目标跟踪方法和装置
CN107519644A (zh) * 2017-08-15 2017-12-29 网易(杭州)网络有限公司 一种3d游戏中的视角调整方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100182400A1 (en) * 2009-01-16 2010-07-22 World Golf Tour, Inc. Aligning Images
JP6074525B1 (ja) * 2016-02-12 2017-02-01 株式会社コロプラ 仮想空間における視界領域調整方法、およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012223357A (ja) * 2011-04-19 2012-11-15 Onkyo Corp ビデオゲーム装置およびビデオゲーム制御方法
CN105957109A (zh) * 2016-04-29 2016-09-21 北京博瑞爱飞科技发展有限公司 目标跟踪方法和装置
CN107519644A (zh) * 2017-08-15 2017-12-29 网易(杭州)网络有限公司 一种3d游戏中的视角调整方法及装置

Also Published As

Publication number Publication date
CN110310300A (zh) 2019-10-08

Similar Documents

Publication Publication Date Title
CN110310300B (zh) 一种虚拟环境中的目标跟随拍摄方法及装置、电子设备
US11860511B2 (en) Image pickup device and method of tracking subject thereof
CN108986199B (zh) 虚拟模型处理方法、装置、电子设备及存储介质
KR102508080B1 (ko) 비디오 처리 방법, 장치 및 저장 매체
WO2022062896A1 (zh) 直播互动方法及装置
KR20150050172A (ko) 관심 객체 추적을 위한 다중 카메라 동적 선택 장치 및 방법
CN109756723B (zh) 获取影像的方法和装置,存储介质和电子设备
JP7110443B2 (ja) 撮影方法及び撮影装置、電子機器、記憶媒体
CN113411621B (zh) 音频数据处理方法、装置、存储介质及电子设备
CN110751707B (zh) 动画显示方法、装置、电子设备及存储介质
CN105141942A (zh) 3d图像合成方法及装置
CN107241535B (zh) 闪光灯调节装置及终端设备
CN116320363B (zh) 一种多角度虚拟现实拍摄方法及系统
KR20220102401A (ko) 전자 장치 및 그의 동작 방법
CN111586296B (zh) 图像拍摄方法、图像拍摄装置及存储介质
CN113315903B (zh) 图像获取方法和装置、电子设备、存储介质
CN111223114B (zh) 一种图像区域的分割方法、装置及电子设备
CN114339022B (zh) 摄像头拍摄参数确定方法、神经网络模型的训练方法
CN114430457B (zh) 拍摄方法、装置、电子设备和存储介质
WO2021026782A1 (zh) 手持云台的控制方法、控制装置、手持云台及存储介质
CN113747113A (zh) 图像显示方法及装置、电子设备、计算机可读存储介质
CN113438416B (zh) 图像数量获取方法和装置、电子设备、存储介质
CN113852752B (zh) 照片拍摄方法、照片拍摄装置及存储介质
CN110276841B (zh) 应用于增强现实设备的运动轨迹确定方法、装置及终端
US11159765B1 (en) Systems and methods for generating video images in a centered view mode

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant