CN114285963A - 多镜头视频录制方法及相关设备 - Google Patents
多镜头视频录制方法及相关设备 Download PDFInfo
- Publication number
- CN114285963A CN114285963A CN202011037347.5A CN202011037347A CN114285963A CN 114285963 A CN114285963 A CN 114285963A CN 202011037347 A CN202011037347 A CN 202011037347A CN 114285963 A CN114285963 A CN 114285963A
- Authority
- CN
- China
- Prior art keywords
- image
- images
- camera
- target
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 107
- 238000012545 processing Methods 0.000 claims abstract description 44
- 230000004927 fusion Effects 0.000 claims abstract description 30
- 230000008569 process Effects 0.000 claims description 49
- 230000015654 memory Effects 0.000 claims description 43
- 238000004091 panning Methods 0.000 claims description 40
- 230000000007 visual effect Effects 0.000 claims description 34
- 238000005520 cutting process Methods 0.000 claims description 33
- 238000001514 detection method Methods 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 15
- 238000003860 storage Methods 0.000 claims description 14
- 230000007423 decrease Effects 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 26
- 230000000694 effects Effects 0.000 description 20
- 230000006870 function Effects 0.000 description 18
- 239000010410 layer Substances 0.000 description 18
- 238000004891 communication Methods 0.000 description 14
- 230000007704 transition Effects 0.000 description 14
- 238000007726 management method Methods 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 9
- 230000008901 benefit Effects 0.000 description 8
- 230000003068 static effect Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 229920001621 AMOLED Polymers 0.000 description 3
- 125000000174 L-prolyl group Chemical group [H]N1C([H])([H])C([H])([H])C([H])([H])[C@@]1([H])C(*)=O 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000008451 emotion Effects 0.000 description 3
- 238000012163 sequencing technique Methods 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 239000012792 core layer Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000013515 script Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000003381 stabilizer Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
- H04N23/662—Transmitting camera control signals through networks, e.g. control via the Internet by using master/slave camera arrangements for affecting the control of camera image capture, e.g. placing the camera in a desirable condition to capture a desired image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
Abstract
本申请涉及图像处理领域,具体涉及一种多镜头视频录制方法及相关设备,方法包括:通过多摄像头的协同拍摄,并基于拍摄得到的图像中主体对象的信息及摄像头的运动信息确定目标运镜方式,然后基于目标运镜方式对多摄像头拍摄得到的图像进行融合,实现对多路视频流图像进行在线运镜融合。
Description
技术领域
本申请涉及视频录制领域,尤其涉及一种多镜头视频录制方法及相关设备。
背景技术
用视频记录生活、交流体验、展示才艺、卖货带货是当下非常典型的社交方式,视频形式上包括但不限于短视频、微视频、微电影、vlog、网页中内嵌视频、GIF图等。为了创作成像质量好、主题突出、背景干净、运镜和谐的高质量视频,首先需要搭配价格昂贵的单发/微单/手持稳定器/收音麦克风等专业设备,其次需要在拍摄前期写好脚本、理清故事线,此外需要在拍摄过程中利用专业的手法提升内容表现力,最后还需要在拍摄后期进行繁杂的剪辑工作,可见人力、物力、财力、时间消耗巨大。近些年来,手机在画质、防抖、对焦等基础成像质量上得到了飞跃式提升,通过手机创作视频并进行分享成为新趋势。比较流行的手机视频制作软件如大片/一闪/猫饼等属于后期离线编辑方式,主要是通过模板化手段对预先采集的视频源实现滤镜/转场/配乐等功能。
另一方面,随着手机芯片和摄像头软硬件能力的提升,利用多摄提高视频基础质量成为各大手机厂商发布会上必不可少的亮点。iPhone 11Pro的Filmic pro应用支持广角/超广角/长焦/前置镜头同时录制,并以多窗口形式预览,存储多路视频流。Huawei P30Pro/Mate30 Pro等机型具有Dual View录像功能,支持广角/长焦同时录制,并以两宫格形式预览和存储视频。可见,无论是现有的手机视频制作软件,还是现有主流多摄同时录像,均不能满足用户利用手机在线就能创作运镜和谐的高质量视频的广泛需求。
发明内容
本申请实施例提供了一种多镜头视频录制方法及相关设备,通过第一摄像头采集的多张第一图像的主体对象信息和第一摄像头的运动信息确定目标运镜方式,再基于目标运镜方式对多张第一图像和第二摄像头采集的多张第二图像进行融合,得到目标视频,采用本申请不再是对各路视频流的图像帧经过简单转场或排序的输出,而是综合主体信息及运动信息对各路视频图像帧进行编辑,修改,融合之后输出具有主体突出、背景干净、平滑过渡特点的视频,能够帮助用户利用手机在线创作成像质量好、运镜和谐的高质量视频供后续分享。
第一方面,本申请实施例提供一种多镜头视频录制方法,包括:
获取多张第一图像和多张第二图像,多张第一图像和多张第二图像分别为第一摄像头和第二摄像头针对同一拍摄对象拍摄得到的,第一摄像头的参数与第二摄像头的参数不相同;并获取第一摄像头在拍摄得到多张第一图像过程中的运动信息;获取多张第一图像中的每张第一图像中的主体对象信息;根据第一摄像头的运动信息及多张第一图像中的每张第一图像中的主体对象信息确定目标运镜方式;根据目标运镜方式对多张第一图像和所述多张第二图像进行融合,得到目标视频,目标视频的运镜效果与采用目标运镜方式获取的视频的运镜效果相同。
其中,第一摄像头的参数与第二摄像头的参数不相同,具体包括:
第一摄像头的视场角(field of view,FOV)大于第二摄像头的FOV,或者;第一摄像头的焦距小于第二摄像头的焦距。
可选地,第一摄像头可以为广角摄像头或主摄像头,第二摄像头可以为主摄像头或长焦摄像头。
通过多摄像头的协同拍摄,并基于拍摄得到的图像中主体对象的信息及摄像头的运动信息确定目标运镜方式,然后基于目标运镜方式对多摄像头拍摄得到的图像进行融合,实现对多路视频流图像进行在线运镜融合,并且并不是对各路视频流的图像帧经过简单转场或排序。
结合第一方面及上述任一种可能的实现方式,根据第一摄像头的运动信息及多张第一图像中的每张第一图像中的主体对象信息确定目标运镜方式,包括:
根据第一摄像头的运动信息判断在拍摄得到多张第一图像过程中,第一摄像头是否发生位移;当判断第一摄像头未发生位移时,根据多张第一图像中每张第一图像的主体对象信息确定目标运镜方式;当判断第一摄像头发生位移时,根据第一摄像头的运动方式和多张第一图像中每张第一图像的主体对象信息确定目标运镜方式。
基于确定第一摄像头在拍摄得到多张第一图像过程中是否运动,来选择合适的运镜方式,从而实现为后续得到运镜和谐的高质量视频提供依据。
结合第一方面及上述任一种可能的实现方式,根据多张第一图像中每张第一图像的主体对象信息确定目标运镜方式,包括:
当多张第一图像中每张第一图像的主体对象信息用于指示多张第一图像中每张第一图像中包含主体对象,且多张第一图像中每张第一图像的第一比例均小于第一预设比例时,将目标运镜方式确定为推镜头;其中,每张第一图像的第一比例为该第一图像中主体对象所在的感兴趣区域(region of interest,ROI)的面积与该第一图像的面积之比,或者;每张第一图像的第一比例为该第一图像中主体对象所在的ROI的宽与该第一图像的宽之比,或者每张第一图像的第一比例为该第一图像中主体对象所在的ROI的高与该第一图像的高之比;当多张第一图像中每张第一图像的主体对象信息用于指示每张第一图像中默认ROI区域内未包含主体对象,且每张第一图像中默认ROI内的图像为该第一图像的部分时,将目标运镜方式确定为拉镜头。
可选地,默认ROI可以为第一图像中的中心区域,或者其他区域。
在确定第一摄像头在静止的,根据第一摄像头采集的第一图像的主体对象的信息进一步确定目标运镜方式,进而为后续得到主体突出、运镜和谐的高质量视频提供依据。
结合第一方面及上述任一种可能的实现方式,根据第一摄像头的运动方式和多张第一图像中每张第一图像的主体对象信息确定目标运镜方式,包括:
当第一摄像头的运动方式指示在拍摄得到多张第一图像过程中第一摄像头往同一方向运动,且多张第一图像中每张第一图像的主体对象信息用于指示多张第一图像中主体对象发生变化时,将目标运镜方式确定为移镜头;第一摄像头的运动方式指示在拍摄得到多张第一图像过程中第一摄像头在两个相反的方向上往复运动,且多张第一图像中每张第一图像的主体对象信息用于指示多张第一图像中主体对象发生变化时,将目标运镜方式确定为摇镜头;当第一摄像头的运动方式指示在拍摄得到多张第一图像过程中第一摄像头发生运动,且多张第一图像中每张第一图像的主体对象信息用于指示多张第一图像中主体对象未发生变化时,将目标运镜方式确定为跟镜头。
在确定第一摄像头在运动的,根据第一摄像头采集的第一图像的主体对象的信息和第一摄像头的运动方式进一步确定目标运镜方式,进而为后续得到运镜和谐的高质量视频提供依据。
结合第一方面及上述任一种可能的实现方式,当目标运镜方式为推镜头或拉镜头时,根据目标运镜方式对多张第一图像和多张第二图像进行融合,得到目标视频,包括:
获取多张第一图像中每张第一图像的预设区域,多张第一图像中每张第一图像的预设区域内均包括主体对象,且,当目标运镜方式为推镜头时,多张第一图像中的预设区域的尺寸是在时间顺序逐渐缩小的;当目标运镜方式为拉镜头时,多张第一图像中的预设区域的尺寸是随着时间顺序逐渐增大的;从多张第一图像和多张第二图像获取多个第一图像对,多个第一图像对中的每个第一图像对中均包括时间戳相同的第一图像和第二图像;从多个第一图像对中获取多张第一目标图像,多张第一目标图像与多个第一图像对一一对应;其中,多张第一目标图像中的每张第一目标图像为其对应的第一图像对中视角范围最小的,且包含第一图像的预设区域内的图像;从多张第一目标图像中的每张第一目标图像中裁剪出与该第一目标图像所属的第二图像对内的第一图像的预设区域内图像重叠的部分,以得到多张第三图像;对多张第三图像中的每张第三图像进行处理,以得到多张处理后的第三图像,多张处理后的第三图像中每张图像的分辨率均为预设分辨率,其中,目标视频包括多张处理后的第三图像。
在此需要说明的是,第一图像的预设区域的尺寸可以为预设区域在第一图像中的像素面积,或者预设区域在第一图像中所占的比例,或者为预设区域的高和宽。
在此需要指出的是,在本申请中图像的时间戳为摄像头拍摄得到该图像的时间。
在确定目标运镜方式为推镜头或拉镜头时,通过对第一图像和第二图像的融合,得到具有主体突出、平滑过渡的目标视频,能够帮助用户利用手机在线创作成像质量好、主体突出、运镜和谐的高质量视频供后续分享。
结合第一方面及上述任一种可能的实现方式,当目标运镜方式为移镜头、摇镜头或者跟镜头时,根据目标运镜方式对多张第一图像和多张第二图像进行融合,得到目标视频,包括:
对多张第一图像进行主体检测和提取,获取多张第一图像中每张第一图像的ROI,并对多张第一图像中每张第一图像的ROI进行裁剪,得到多张第四图像,其中,多张第四图像中的每张第四图像中均包括主体对象;多张第一图像和多张第四图像一一对应,多张第四图像中每张第四图像的时间戳与该第四图像对应的第一图像的时间戳相同;对多张第四图像中的每张第四图像进行处理,得到多张第五图像,多张第五图像中每张第五图像的分辨率为预设分辨率;多张第四图像和多张第五图像一一对应,多张第五图像中每张第五图像的时间戳与该第五图像对应的第四图像的时间戳相同从多张第二图像和多张第五图像中获取多个第二图像对,多个第二图像对中每个第二图像对包括时间戳相同的第五图像和第二图像;从多个第二图像对中获取多张第二目标图像,多张第二目标图像与多个图像对一一对应;其中,对于多个第二图像对中的每个第二图像对,当该第二图像对中第五图像的内容与第二图像的内容重合时,该第二图像对所对应的第二目标图像为第二图像;当该第二图像对中第五图像的内容与第二图像的内容不重合时,该图像对所对应的第二目标图像为第五图像;其中,目标视频包括多张第二目标图像。
在确定目标运镜方式为跟镜头、移镜头或摇镜头时,通过对第一图像和第二图像的融合,得到具有主体突出、平滑过渡的目标视频,能够帮助用户利用手机在线创作成像质量好、主体突出、背景干净、运镜和谐的高质量视频供后续分享。
结合第一方面及上述任一种可能的实现方式,本申请的方法还包括:
在显示界面上显示第一摄像头采集的图像、第二摄像头采集的图像和目标视频;
其中,显示界面包括第一区域、第二区域和第三区域,第一区域显示第一摄像头采集的图像,第二区域用于显示第二摄像头采集的图像,第三区域用于显示目标视频。
通过在显示界面上实时显示第一图像、第二图像和目标视频,可以让用于实时观察各摄像头的拍摄情况和目标视频的视觉效果,也使得用户可实时调整第一摄像头和第二摄像头的拍摄角度或者位置,从而得到运镜效果更加理想的视频。
进一步地,第一区域包括第四区域,第四区域用于显示第一摄像头采集的图像中与第二摄像头采集的图像重叠的部分。
结合第一方面及上述任一种可能的实现方式,根据目标运镜方式对多张第一图像和多张第二图像进行融合,得到目标视频,包括:
根据目标运镜方式对多张第一图像、多张第二图像和多张第六图像进行融合,得到目标视频;其中,第六图像为第三摄像头针对拍摄对象拍摄得到的,第三摄像头的参数与第一摄像头的参数不相同,且第三摄像头的参数与第二摄像头的参数不相同。
其中,第一摄像头的FOV大于第二摄像头的FOV,第三摄像头的FOV大于第二摄像头的FOV,且小于第一摄像头的FOV;或者第一摄像头的焦距小于第二摄像头的焦距,第三摄像头的焦距大于第二摄像头的焦距。比如第一摄像头为广角摄像头、第二摄像头为长焦摄像头,第三摄像头为主摄像头。
结合第一方面及上述任一种可能的实现方式,当目标运镜方式为推镜头或拉镜头时,根据目标运镜方式对多张第一图像、多张第二图像和多张第六图像进行融合,得到目标视频,包括:
获取多张第一图像中每张图像的预设区域,多张第一图像的预设区域内均包括主体对象,且,当目标运镜方式为推镜头时,多张第一图像中的预设区域的尺寸是在时间顺序逐渐缩小的;当目标运镜方式为拉镜头时,多张第一图像中的预设区域的尺寸是随着时间顺序逐渐增大的;从多张第一图像、多张第二图像和多张第六图像获取多个第三图像对,多个第三图像对中的每个第三图像对中均包括时间戳相同的第一图像,第二图像和第六图像;从多个第三图像对中获取多张第三目标图像,多张第三目标图像与多个第三图像对一一对应;其中,多张第三目标图像中的每张第三目标图像为其对应的第三图像对中视角范围最小的,且包含第一图像的预设区域内的图像;从多张第三目标图像中的每张第三目标图像中裁剪出与该第三目标图像所属的第三图像对内的第一图像的预设区域内图像重叠的部分,以得到多张第七图像;对多张第七图像中的每张第七图像进行处理,以得到多张第八图像,多张第八图像中每张第八图像的分辨率均为预设分辨率,其中,目标视频包括多张第八图像。
在第一图像和第二图像的基础上引入第三图像进行融合,可得到成像质量更加理想的视频。
结合第一方面及上述任一种可能的实现方式,当目标运镜方式为跟镜头、移镜头或者摇镜头时,根据目标运镜方式对多张第一图像、多张第二图像和多张第六图像进行融合,得到目标视频,包括:
对多张第一图像进行主体检测和提取,获取多张第一图像中每张第一图像的ROI;从多张第一图像、多张第二图像和多张第六图获取多个第四图像对,多个第四图像对中的每个第四图像对中均包括时间戳相同的第一图像,第二图像和第六图像;从多个第四图像对中获取多张第四目标图像,多张第四目标图像与多个第四图像对一一对应;其中,多张第四目标图像中的每张第四目标图像为其对应的第四图像对中视角范围最小的,且包含第一图像的ROI内的图像;从多张第四目标图像中的每张第四目标图像中裁剪出与该第四目标图像所属的第四图像对内的第一图像的ROI内图像重叠的部分,以得到多张第九图像;对多张第九图像中的每张第九图像进行处理,以得到多张第十图像,多张第十图像中每张第十图像的分辨率均为预设分辨率,其中,目标视频包括多张第十图像。
在第一图像和第二图像的基础上引入第三图像进行融合,可得到成像质量更加理想的视频。
结合第一方面及上述任一种可能的实现方式,本申请的方法还包括:
在显示界面上显示第一摄像头采集的图像、第二摄像头采集的图像和第三摄像头采集的图像和目标视频;
显示界面包括第一区域、第二区域和第三区域,第一区域包括第五区域,第五区域包括第四区域;第一区域显示第一摄像头采集的图像,第二区域用于显示第二摄像头采集的图像,第三区域用于显示目标视频,第四区域用于显示第一摄像头采集的图像中与二摄像头采集的图像重叠的部分;第五区域用于显示第二摄像头采集的图像中与第三摄像头采集的图像重叠的部分。
通过在显示界面上实时显示第一图像、第二图像、第三图像和目标视频,可以让用于实时观察各摄像头的拍摄情况和目标视频的视觉效果,也使得用户可实时调整第一摄像头、第二摄像头和第三摄像头的拍摄角度或者位置,从而得到运镜效果更加理想的视频。
第二方面,本事情实施例提供一种主控设备,包括:
获取单元,用于获取多张第一图像和多张第二图像,多张第一图像和多张第二图像分别为第一摄像头和第二摄像头针对同一拍摄对象拍摄得到的,第一摄像头的参数和第二摄像头的参数不相同;并获取第一摄像头在拍摄得到多张第一图像过程中的运动信息;
获取单元,还用于获取多张第一图像中的每张第一图像中的主体对象信息;
确定单元,用于根据第一摄像头的运动信息及多张第一图像中的每张第一图像中的主体对象信息确定目标运镜方式;
融合单元,用于根据目标运镜方式对多张第一图像和多张第二图像进行融合,得到目标视频,目标视频的运镜效果与采用目标运镜方式获取的视频的运镜效果相同。
可选地,第一摄像头的参数与第二摄像头的参数不相同,具体包括:
第一摄像头的FOV大于第二摄像头的FOV,或者;第一摄像头的焦距小于第二摄像头的焦距。
结合第二方面,确定单元具体用于:
根据第一摄像头的运动信息判断在拍摄得到多张第一图像过程中,第一摄像头是否发生位移;当判断第一摄像头未发生位移时,根据多张第一图像中每张第一图像的主体对象信息确定目标运镜方式;当判断第一摄像头发生位移时,根据第一摄像头的运动方式和多张第一图像中每张第一图像的主体对象信息确定目标运镜方式。
结合第二方面及上述任一种可能的实现方式,在根据多张第一图像中每张第一图像的主体对象信息确定目标运镜方式的方面,确定单元具体用于:
当多张第一图像中每张第一图像的主体对象信息用于指示多张第一图像中每张第一图像中包含主体对象,且多张第一图像中每张第一图像的第一比例均小于第一预设比例时,将目标运镜方式确定为推镜头;其中,每张第一图像的第一比例为该第一图像中主体对象所在的感兴趣区域ROI的面积与该第一图像的面积之比,或者;每张第一图像的第一比例为该第一图像中主体对象所在的ROI的宽与该第一图像的宽之比,或者每张第一图像的第一比例为该第一图像中主体对象所在的ROI的高与该第一图像的高之比;
当多张第一图像中每张第一图像的主体对象信息用于指示每张第一图像中默认ROI区域内未包含主体对象,且每张第一图像中默认ROI内的图像为该第一图像的部分时,将目标运镜方式确定为拉镜头。
结合第二方面及上述任一种可能的实现方式,在根据第一摄像头的运动方式和多张第一图像中每张第一图像的主体对象信息确定目标运镜方式的方面,确定单元具体用于:
当第一摄像头的运动方式指示在拍摄得到多张第一图像过程中第一摄像头往同一方向运动,且多张第一图像中每张第一图像的主体对象信息用于指示多张第一图像中主体对象发生变化时,将目标运镜方式确定为移镜头;
当第一摄像头的运动方式指示在拍摄得到多张第一图像过程中第一摄像头在两个相反的方向上往复运动,且多张第一图像中每张第一图像的主体对象信息用于指示多张第一图像中主体对象发生变化时,将目标运镜方式确定为摇镜头;
当第一摄像头的运动方式指示在拍摄得到多张第一图像过程中第一摄像头发生运动,且多张第一图像中每张第一图像的主体对象信息用于指示多张第一图像中主体对象未发生变化时,将目标运镜方式确定为跟镜头。
结合第二方面及上述任一种可能的实现方式,当目标运镜方式为推镜头或拉镜头时,融合单元具体用于:
获取多张第一图像中每张第一图像的预设区域,多张第一图像中每张第一图像的预设区域内均包括主体对象,且,当目标运镜方式为推镜头时,多张第一图像中的预设区域的尺寸是在时间顺序逐渐缩小的;当目标运镜方式为拉镜头时,多张第一图像中的预设区域的尺寸是随着时间顺序逐渐增大的;从多张第一图像和多张第二图像获取多个第一图像对,多个第一图像对中的每个第一图像对中均包括时间戳相同的第一图像和第二图像;从多个第一图像对中获取多张第一目标图像,多张第一目标图像与多个第一图像对一一对应;其中,多张第一目标图像中的每张第一目标图像为其对应的第一图像对中视角范围最小的,且包含第一图像的预设区域内的图像;从多张第一目标图像中的每张第一目标图像中裁剪出与该第一目标图像所属的第二图像对内的第一图像的预设区域内图像重叠的部分,以得到多张第三图像;对多张第三图像中的每张第三图像进行处理,以得到多张处理后的第三图像,多张处理后的第三图像中每张图像的分辨率均为预设分辨率,其中,目标视频包括多张处理后的第三图像。
结合第二方面及上述任一种可能的实现方式,当目标运镜方式为移镜头、摇镜头或者跟镜头时,融合单元具体用于:
对多张第一图像进行主体检测和提取,获取多张第一图像中每张第一图像的ROI,并对多张第一图像中每张第一图像的ROI进行裁剪,得到多张第四图像,其中,多张第四图像中的每张第四图像中均包括主体对象;多张第一图像和多张第四图像一一对应,多张第四图像中每张第四图像的时间戳与该第四图像对应的第一图像的时间戳相同;对多张第四图像中的每张第四图像进行处理,得到多张第五图像,多张第五图像中每张第五图像的分辨率为预设分辨率;多张第四图像和多张第五图像一一对应,多张第五图像中每张第五图像的时间戳与该第五图像对应的第四图像的时间戳相同从多张第二图像和多张第五图像中获取多个第二图像对,多个第二图像对中每个第二图像对包括时间戳相同的第五图像和第二图像;从多个第二图像对中获取多张第二目标图像,多张第二目标图像与多个图像对一一对应;其中,对于多个第二图像对中的每个第二图像对,当该第二图像对中第五图像的内容与第二图像的内容重合时,该第二图像对所对应的第二目标图像为第二图像;当该第二图像对中第五图像的内容与第二图像的内容不重合时,该图像对所对应的第二目标图像为第五图像;其中,目标视频包括多张第二目标图像。
结合第二方面及上述任一种可能的实现方式,设备还包括:
显示单元,用于显示第一摄像头采集的图像、第二摄像头采集的图像和目标视频;
其中,显示单元所显示界面包括第一区域、第二区域和第三区域,第一区域显示第一摄像头采集的图像,第二区域用于显示第二摄像头采集的图像,第三区域用于显示目标视频,第一摄像头的视场角FOV大于第二摄像头的FOV。
可选地,第一摄像头为广角摄像头或者主摄像头,第二摄像头为长焦摄像头或者主摄像头。
进一步地,第一区域包括第四区域,第四区域用于显示第一摄像头采集的图像中与第二摄像头采集的图像重叠的部分。
结合第一方面及上述任一种可能的实现方式,融合单元具体用于:
根据目标运镜方式对多张第一图像、多张第二图像和多张第六图像进行融合,得到目标视频;其中,第六图像为第三摄像头针对拍摄对象拍摄得到的,第三摄像头的参数与第一摄像头的参数,第三摄像头的参数和第二摄像头的参数不相同。
结合第二方面及上述任一种可能的实现方式,当目标运镜方式为推镜头或拉镜头时,融合单元具体用于:
获取多张第一图像中每张图像的预设区域,多张第一图像的预设区域内均包括主体对象,且,当目标运镜方式为推镜头时,多张第一图像中的预设区域的尺寸是在时间顺序逐渐缩小的;当目标运镜方式为拉镜头时,多张第一图像中的预设区域的尺寸是随着时间顺序逐渐增大的;从多张第一图像、多张第二图像和多张第六图像获取多个第三图像对,多个第三图像对中的每个第三图像对中均包括时间戳相同的第一图像,第二图像和第六图像;从多个第三图像对中获取多张第三目标图像,多张第三目标图像与多个第三图像对一一对应;其中,多张第三目标图像中的每张第三目标图像为其对应的第三图像对中视角范围最小的,且包含第一图像的预设区域内的图像;从多张第三目标图像中的每张第三目标图像中裁剪出与该第三目标图像所属的第三图像对内的第一图像的预设区域内图像重叠的部分,以得到多张第七图像;对多张第七图像中的每张第七图像进行处理,以得到多张第八图像,多张第八图像中每张第八图像的分辨率均为预设分辨率,其中,目标视频包括多张第八图像。
结合第二方面及上述任一种可能的实现方式,当目标运镜方式为跟镜头、移镜头或者摇镜头时,融合单元具体用于:
对多张第一图像进行主体检测和提取,获取多张第一图像中每张第一图像的ROI;从多张第一图像、多张第二图像和多张第六图获取多个第四图像对,多个第四图像对中的每个第四图像对中均包括时间戳相同的第一图像,第二图像和第六图像;从多个第四图像对中获取多张第四目标图像,多张第四目标图像与多个第四图像对一一对应;其中,多张第四目标图像中的每张第四目标图像为其对应的第四图像对中视角范围最小的,且包含第一图像的ROI内的图像;从多张第四目标图像中的每张第四目标图像中裁剪出与该第四目标图像所属的第四图像对内的第一图像的ROI内图像重叠的部分,以得到多张第九图像;对多张第九图像中的每张第九图像进行处理,以得到多张第十图像,多张第十图像中每张第十图像的分辨率均为预设分辨率,其中,目标视频包括多张第十图像。
结合第二方面及上述任一种可能的实现方式,主控设备还包括:
显示单元,用于显示第一摄像头采集的图像、第二摄像头采集的图像和第三摄像头采集的图像和目标视频;其中,第一摄像头的FOV大于第二摄像头的FOV,第三摄像头的FOV大于第二摄像头的FOV,且小于第一摄像头的FOV,
显示单元所显示界面包括第一区域、第二区域和第三区域,第一区域包括第五区域,第五区域包括第四区域,第一区域用于显示第一摄像头采集的图像,第二区域用于显示第二摄像头采集的图像,第三区域用于显示目标视频,第四区域用于显示第一摄像头采集的图像中与二摄像头采集的图像重叠的部分;第五区域用于显示第二摄像头采集的图像中与第三摄像头采集的图像重叠的部分。
第三方面,本申请实施例提供一种电子设备,包括触控屏,存储器,一个或多个处理器;其中,一个或多个程序被存储在存储器中;其特征在于,一个或多个处理器在执行一个或多个程序时,使得电子设备实现如第一方面方法的部分或全部。
第四方面,本申请实施例提供一种计算机存储介质,其特征在于,包括计算机指令,当计算机指令在电子设备上运行时,使得电子设备执行如第一方面方法的部分或全部。
第五方面,本申请实施例提供一种计算机程序产品,其特征在于,当计算机程序产品在计算机上运行时,使得计算机执行如如第一方面方法的部分或全部。
在本申请实施例的方案中,通过第一摄像头采集的图像中主体对象的信息及摄像头的运动信息确定目标运镜方式,再根据目标运镜方式对多个摄像头(包括第一摄像头和第二摄像头等)采集的图像进行融合,得到具有采用目标运镜方式得到视频的视觉效果的目标视频。采用本申请不再是对各路视频流的图像帧经过简单转场或排序的输出,而是综合主体信息及运动信息对各路视频图像帧进行编辑,修改,融合之后的输出,具有主体突出、背景干净、平滑过渡的特点,能够帮助用户利用手机在线创作成像质量好、主体突出、背景干净、运镜和谐的高质量视频供后续分享。
应理解,上述任意一种可能的实现方式,在不违背自然规律的前提下,可以自由组合,本申请中不予以赘述。
应当理解的是,本申请中对技术特征、技术方案、有益效果或类似语言的描述并不是暗示在任意的单个实施例中可以实现所有的特点和优点。相反,可以理解的是对于特征或有益效果的描述意味着在至少一个实施例中包括特定的技术特征、技术方案或有益效果。因此,本说明书中对于技术特征、技术方案或有益效果的描述并不一定是指相同的实施例。进而,还可以任何适当的方式组合本实施例中所描述的技术特征、技术方案和有益效果。本领域技术人员将会理解,无需特定实施例的一个或多个特定的技术特征、技术方案或有益效果即可实现实施例。在其他实施例中,还可在没有体现所有实施例的特定实施例中识别出额外的技术特征和有益效果。
附图说明
图1a为本申请实施例提供的应用场景示意图;
图1b为本申请实施例提供的应用场景示意图;
图2a示出了主控设备的结构示意图;
图2b是本申请实施例的主控设备的软件结构框图;
图3为本申请实施例提供一种多摄像头视频录制方法的流程示意图;
图4示出了第一图像的ROI及默认ROI;
图5示出了在移镜头的情况下第一图像中ROI内主体对象的变化情况和镜头移动方向;
图6示出了在摇镜头的情况下第一图像中ROI内主体对象的变化情况和镜头移动方向;
图7示出了在跟镜头的情况下第一图像中ROI内主体对象的变化情况和镜头移动方向;
图8为不同景别的示意图;
图9示出了在不同景别情况下第一图像的ROI内主体对象;
图10示出了第二图像对所包含的图像;
图11a为本申请实施例提供的一种显示界面示意图;
图11b为本申请实施例提供的另一种显示界面示意图;
图12为本申请实施例提供的一种主控设备的结构示意图;
图13为本申请实施例提供的另一种主控设备的结构示意图;
图14为本申请实施例提供的另一种主控设备的结构示意图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清除、详尽地描述。
首先对运镜方式进行介绍:
推镜头:在被拍对象位置不变的情况下,向前缓缓移动或急速推进的镜头,在景别上也由远景变为全、中、近景甚至特写,可以看成此种镜头的FOV逐渐变小,或者焦距逐渐变大。此种镜头的主要作用是突出主体,使观众的视觉注意力逐步集中,视觉感受得到加强,造成一种审视的状态。
拉镜头:与推镜头的运动方向相反,镜头由近而远向后移动离开被摄对象,取景范围由小变大,被拍对象由大变小,与观众距离也逐步加大。画面的形象由少变多,由局部变化为整体。在景别上,由特写或近、中景拉成全景、远景。可以看成此种镜头的FOV逐渐变大,或者焦距逐渐变小。拉镜头的主要作用是交代人物所处的环境。
摇镜头:拍摄连续动作或特大景物。摇摄角度小,匀速,相机不作移动,借助于活动底盘使摄影镜头上下、左右、甚至周围的旋转拍摄,犹如人的目光顺着一定的方向对被拍对象巡视。摇镜头能代表人物的眼睛,看待周围的一切。它在描述空间、介绍环境方面有独到的作用。左右摇常用来介绍大场面,上下直摇又常用来展示高大物体的雄伟、险峻。
移镜头:镜头水平移动,扩大视野,镜头沿着水平方向作左右横移拍摄的镜头,类似生活中的人们边走边看的状态。移镜头同摇镜头一样能扩大银幕二维空间映像能力,但因机器不是固定不变,所以比摇镜头有更大的自由,能打破画面的局限,扩大空间。
跟镜头:跟镜头其实是移动相机的一种变换用法,跟随被拍对象保持等距离运动的移动镜头。跟镜头始终跟随运动着的主体,有特别强的穿越空间的感觉,适宜于连续表现人物的动作、表情或细部的变化。
甩镜头:两个静止画面之间的快速转场,影像模糊,变成光流。
其次,介绍本申请的应用场景。
主控设备10通过第一摄像头和第二摄像头分别采集的第一视频流和第二视频流;其中,第一视频流包括多张第一图像,第二视频流包括多张第二图像;然后主控设备10按照本申请的方法对第一视频流和第二视频流进行融合,从而得到目标视频,该目标视频为具有不同运镜效果或者特效的视频流;可选地,主控设备10还通过第三摄像头获取第三视频流,第三视频流包括多张第五图像;然后主控设备10按照本申请的方法对第一视频流、第二视频流和第三视频流进行融合,从而得到目标视频;其中,主控设备10的显示界面上显示上述摄像头采集的视频流和上述目标视频。上述第一视频流、第二视频流和第三视频流分别为第一摄像头、第二摄像头和第三摄像头针对同一拍摄对象拍摄得到的视频流。
其中,第一摄像头包括广角摄像头、主摄像头或者前置摄像头;第二摄像头包括长焦摄像头或主摄像头,其中都第一摄像头和第二摄像头不相同。
当主控设备10只包括第一摄像头或者第二摄像头或者第三摄像头,或者主控设备10不包括第一摄像头、第二摄像头和第三摄像头时,主控设备10与一个或多个从设备20组成网络,如图1a所示,主控设备10从多个从设备20中获取其所需的第一视频流和第二视频流;可选的,主控设备10还从从设备20中获取第三视频流,其中,比如主控设备10不包括第一摄像头和第二摄像头,多个从设备20中的从设备A包括第一摄像头,从设备B包括第二摄像头;可选地,主控设备10不包括第三摄像头,从设备C包括第三摄像头;主控设备10可以从从设备A中获取第一摄像头采集的第一视频流,从从设备B中获取其第二摄像头采集的第二视频流;可选地,从从设备C中获取其第三摄像头采集的第三视频流。再比如,主控设备10包括第一摄像头和第三摄像头,从设备20包括第二摄像头,主控设备10通过第一摄像头获取第一视频流,并且获取从设备20通过第二摄像头获取的第二视频流。主控设备10按照本申请的方法对第一视频流和第二视频流进行融合,从而得到目标视频;比如,主控设备10包括第一摄像头和第三摄像头,从设备20包括第二摄像头,主控设备10通过第一摄像头和第三摄像头分别获取第一视频流和第三视频流,并且获取从设备20通过第二摄像头获取的第二视频流。主控设备10按照本申请的方法对第一视频流、第二视频流和第三视频流进行融合,从而得到目标视频;上述目标视频为具有不同运镜效果或者特效的视频流。
可选地,主控设备10在得到目标视频后,可以在主控设备10的显示屏上显示,也可以在显示设备30上显示,如图1b所示。
在此需要说明的是,在通过第一摄像头获取第一视频流的过程中,包含第一摄像头的设备可以是运动的,也可以是静止的。可选地,在通过第二摄像头获取第二视频流过程中,包含第二摄像头的设备可以是运动的,也可以是静止的;可选地,在通过第三摄像头获取第三视频流过程中,包含第二摄像头的设备可以是运动的,也可以是静止的。
下面介绍上述电子设备(即主控设备10和从设备20)的相关结构,图2a示出了主控设备10的结构示意图。
应该理解的是,主控设备10可以具有比图中所示的更多的或者更少的部件,可以组合两个或多个的部件,或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
主控设备10可以包括:处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180、摄像头190、按键以及显示屏150等。其中,传感器模块180包括陀螺仪传感器180A和加速度传感器180B。
可以理解的是,本申请实施例示意的结构并不构成对主控设备10的具体限定。在本申请另一些实施例中,主控设备10可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是主控设备10的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对主控设备10的结构限定。在本申请另一些实施例中,主控设备10也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏150,摄像头190,和无线通信模块160等供电。
主控设备10的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
主控设备10通过GPU,显示屏150,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏150和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏150用于显示图像,视频等。显示屏150包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,主控设备10可以包括1个或N个显示屏150,N为大于1的正整数。
主控设备10可以通过ISP,摄像头190,视频编解码器,GPU,显示屏150以及应用处理器等实现拍摄功能。
ISP用于处理摄像头190反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头190中。
摄像头190用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。本申请实施例中,摄像头190包括采集人脸识别所需图像的摄像头,如红外摄像头或其他摄像头。该采集人脸识别所需图像的摄像头一般位于电子设备的正面,例如触控屏的上方,也可以位于其他位置,本申请实施例对此不做限制。在一些实施例中,主控设备10可以包括其他摄像头。电子设备还可以包括点阵发射器(图中未示出),用于发射光线。摄像头采集人脸反射的光线,得到人脸图像,处理器对人脸图像进行处理和分析,通过与存储的人脸图像的信息进行比较以进行验证。
可选地,上述摄像头190包括广角摄像头、长焦摄像头、主摄像头和前置摄像头中的部分或者全部。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当主控设备10在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。主控设备10可以支持一种或多种视频编解码器。这样,主控设备10可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现主控设备10的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展主控设备10的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行主控设备10的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用(比如人脸识别功能,指纹识别功能、移动支付功能等)等。存储数据区可存储主控设备10使用过程中所创建的数据(比如人脸信息模板数据,指纹信息模板等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flashstorage,UFS)等。
主控设备10可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
陀螺仪传感器180A可以用于确定主控设备10的运动姿态。在一些实施例中,可以通过陀螺仪传感器180A确定主控设备10围绕三个轴(即,x,y和z轴)的角速度。
加速度传感器180B可以用于确定主控设备10的加速度。
触摸传感器180C,也称“触控面板”。触摸传感器180C可以设置于显示屏150,由触摸传感器180C与显示屏150组成触摸屏,也称“触控屏”。触摸传感器180C用于检测作用于其上或附近的触摸操作。触摸传感器180C可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏150提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于主控设备10的表面,与显示屏150所处的位置不同。
按键191包括开机键,音量键等。按键191可以是机械按键。也可以是触摸式按键。主控设备10可以接收按键输入,产生与主控设备10的用户设置以及功能控制有关的键信号输入。
在本申请中,摄像头190采集多张第一图像和多张第二图像,第一图像比如为广角摄像头或者主摄像头采集的图像;第二图像比如为长焦摄像头采集的图像;其中,第一摄像头所拍摄的对象与第二摄像头所拍摄的对象相同;通过传感器模块180中的陀螺仪传感器180A和加速度传感器180B获取运动信息,然后将多张第一图像和多张第二图像及运动信息传输至处理器110;处理器110获取多张第一图像中每张第一图像的主体对象信息;可以是采用主体识别技术确定第一图像中的主体对象,或者根据用户指令,比如通过触摸传感器180C检测到的触控指令或者通过麦克风170C接收的用户的语音指令获取第一图像中的主体对象信息,并根据多张第一图像中每张第一图像的主体对象信息和运动信息确定目标运镜方式,根据目标运镜方式对多张第一图像和多张第二图像进行融合,得到目标视频;并在显示屏150上显示;可选地,将目标视频通过外部存储接口120保存至外部存储卡。
主控设备10的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本申请实施例以分层架构的Android系统为例,示例性说明主控设备10的软件结构。
图2b是本申请实施例的主控设备10的软件结构框图。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和系统库,以及内核层。
应用程序层可以包括一系列应用程序包。
如图2b所示,应用程序包可以包括相机,图库,WLAN,蓝牙,音乐,视频、日历等应用程序(也可以称为应用)。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图2b所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,资源管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包括两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(Media Libraries),二维图形引擎(例如:SGL)和图像处理库等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
二维图形引擎是二维绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包括显示驱动,摄像头驱动,音频驱动,传感器驱动。
在本申请实施例中,通过摄像头驱动控制摄像头获取多张第一图像和多张第二图像。图像处理库获取多张第一图像中每张第一图像的主体对象信息和第一摄像头的运动信息,并根据多张第一图像中每张第一图像的主体对象信息和第一摄像头的运动信息确定目标运镜方式,根据目标运镜方式对多张第一图像和多张第二图像进行融合,得到目标视频;并通过显示驱动在显示屏上显示目标视频。具体过程参见以下的相关描述。
下面介上述绍主控设备10如何实现多摄像头视频录制过程。
参见图3,图3为本申请实施例提供一种多摄像头视频录制方法的流程示意图。如图3所示,该方法包括:
S301、获取第一摄像头采集的多张第一图像和第二摄像头采集的多张第二图像。
其中,多张第一图像和多张第二图像分别为第一摄像头和第二摄像头针对同一拍摄对象拍摄得到的,第一摄像头的参数和第二摄像头的参数不相同。
具体地,其中,第一摄像头的参数与第二摄像头的参数不相同,具体包括:
第一摄像头的视场角FOV大于第二摄像头的FOV,或者;第一摄像头的焦距小于第二摄像头的焦距。
可选地,第一摄像头采集第一图像时的帧率与第二摄像头采集第二图像时的帧率相同。换言之,在同一时间段内,第一摄像头采集的第一图像的帧数与第二摄像头采集的第二图像的帧数相同,且在同一时刻采集的第一图像和第二图像具有相同的时间戳。
在此需要指出的是,在本申请中图像的时间戳为摄像头拍摄得到该图像的时间。
可选地,第一摄像头和第二摄像头可以为同一设备的,也可以是不同设备的。
在一个可行的实施例中,第一摄像头为广角摄像头、主摄像头或前置摄像头,第二摄像头为长焦摄像头或主摄像头。
在一个可行的实施例中,第一图像和第二图像可以是从同一设备中获取的,也可以是从不同的设备中获取的;比如主控设备包含第一摄像头和第二摄像头,第一图像和第二图像均可以由主控设备采集得到;再比如,主控设备包含第一摄像头,从设备包含第二摄像头,主控设备通过第一摄像头采集得到第一图像,在从设备中采集得到多张第二图像后,主控设备获取从设备采集的多张第二图像;再比如从设备包含第一摄像头和第二摄像头,主控设备不包含第一摄像头和/或第二摄像头,在从设备通过第一摄像头和第二摄像头分别采集得到多张第一图像和多张第二图像后,主控设备获取从设备采集的多张第一图像和多张第二图像。
通过此方式,可以解决在主控设备不包含第一摄像头和/或第二摄像头的前提下,也可以从其他设备中获取第一摄像头采集的第一图像和/或第二摄像头采集的第二图像,从而实现基于多摄像头视频的录制。
S302、获取第一摄像头在拍摄得到多张第一图像过程中的运动信息和多张第一图像中的每张第一图像的主体对象信息。
可选地,主体对象可以为人、动物或者物体,比如手机、杯子、书包、汽车等。
在一个可行的实施例中,获取第一摄像头在拍摄得到多张第一图像过程中的运动信息,包括:
对多张第一图像中每张第一图像进行特征提取,以得到多张第一图像中每张第一图像的特征点;对多张第一图像中,相邻两张图像的特征点进行匹配,得到匹配结果;然后根据特征匹配结果确定第一摄像头的运动信息;
或者直接从传感器中获取第一摄像头的运动信息。
在一个示例中,上述第一摄像头在拍摄得到多张第一图像过程中的运动信息判断第一摄像头在拍摄得到多张第一图像过程中是否发生位移从而判断第一摄像头是运动的还是静止的;进一步的,在第一摄像头在拍摄得到多张第一图像构的过程中是运动的情况下,运动信息还进一步指示第一摄像头在拍摄得到多张第一图像过程中往同一方向运动或者在两个相反的方向上往返运动。
在一个可选的实施例中,获取多张第一图像中的每张第一图像的主体对象信息,包括:
对多张第一图像中的每张第一图像进行图像显著性检测,以得到每张第一图像的显著性区域;获取每张第一图像中包含显著性区域的最大矩形区域;对每张第一图像中最大矩形区域进行基于卷积神经网络的深度学习,比如采用场景识别技术、人体识别技术或者人脸识别技术等,得到每张第一图像的主体对象信息。上述最大矩形区域即为ROI。
当第一图像中存在多个主体对象时,对该第一图像进行显著性检测可得到多个显著性区域,ROI为包括多个显著性区域的最大矩形区域。
在此需要指出的是,包含上述显著性区域的形状不限制于矩形,还可以是其他规则形状,比如正方形、三角形、圆形、椭圆形等,当然还可以是不规则形状。
在一个可选的实施例中,根据用户指令确定多张第一图像中每张第一图像的主体对象信息。
可选地,用户指令可以为用户的语音指令、触控指令或者其他形式的指令。
比如,语音指令可以为“将人确定为主体对象”,或者“主体对象为动物”;主控设备在接收到该语音指令时,将第一图像中的人或者动物确定为该第一图像的主体对象。
再比如,当主控设备的显示界面上显示第一图像后,主控设备检测用户的触摸指令,在检测到用户的触摸指令时,主控设备将检测到触摸指令的区域内的对象确定为第一图像的主体对象。
S303、根据第一摄像头的运动信息及多张第一图像中的每张第一图像中的主体对象信息确定目标运镜方式。
在一个可行的实施例中,根据第一摄像头的运动信息及多张第一图像中的每张第一图像中的主体对象信息确定目标运镜方式,包括:
根据第一摄像头的运动信息判断在拍摄得到多张第一图像过程中,第一摄像头是否发生位移;
当判断第一摄像头未发生位移时,根据多张第一图像中每张第一图像的主体对象信息确定目标运镜方式;当判断第一摄像头发生位移时,根据第一摄像头的运动方式和多张第一图像中每张第一图像的主体对象信息确定目标运镜方式。
通过第第一摄像头的运动信息判断在录制视频过程中第一摄像头是运动的还是静止的,然后对于第一摄像头是运动和静止两种情况分别采用两种不同的方式选择合适的运镜方式。
在一个可行的实施例中,在确定第一摄像头是静止时,根据多张第一图像中每张第一图像的主体对象信息确定目标运镜方式,包括:
当多张第一图像中每张第一图像的主体对象信息用于指示多张第一图像中每张第一图像包含主体对象,且多张第一图像中每张第一图像的第一比例小于第一预设比例时,将目标运镜方式确定为推镜头,可选地,第一图像的第一比例为该第一图像中主体对象所在的ROI的面积与第一图像的面积之比,或者第一图像的第一比例为该第一图像中主体对象所在的ROI的宽与第一图像的宽之比,或者第一图像的第一比例为该第一图像中主体对象所在的ROI的高与第一图像的高之比;优选地,第一图像的第一比例为该第一图像中主体对象所在的ROI的高与第一图像的高之比;
当多张第一图像中每张第一图像的主体对象信息用于指示每张第一图像中的默认ROI区域内未包含主体对象,且每张第一图像中默认ROI内的图像为该第一图像的部分时,将目标运镜方式确定为拉镜头。
在此需要说明的是,在对第一图像进行主体检测时,会先给定一个默认ROI,使主控设备重点对ROI内的图像进行主体检测。
具体地,如图4中的a图和b图所示的第一图像,小矩形框为ROI,ROI的面积与第一图像的面积之比较小,同时对于用户来说,第一图像内主体对象不清楚,因此将目标运镜方式确定为推镜头,从而使用户看清楚主体对象;如图4中的c图所示,默认的ROI中未包含主体对象或者未包含完整的主体对象,此时为了让主体对象在ROI中完整的呈现,因此将目标运镜方式确定为拉镜头。
在一个可行的实施例中,在确定第一摄像头是运动时,根据第一摄像头的运动方式和多张第一图像中每张第一图像的主体对象信息确定目标运镜方式,包括:
当第一摄像头的运动方式指示在拍摄得到多张第一图像过程中第一摄像头往同一方向运动,且多张第一图像中每张第一图像的主体对象信息用于指示多张第一图像中主体对象发生变化时,将目标运镜方式确定为移镜头;
当第一摄像头的运动方式指示在拍摄得到多张第一图像过程中第一摄像头在两个相反的方向上往复运动,且多张第一图像中每张第一图像的主体对象信息用于指示多张第一图像中主体对象发生变化时,将目标运镜方式确定为摇镜头;
当第一摄像头的运动方式指示在拍摄得到多张第一图像过程中第一摄像头发生运动,且多张第一图像中每张第一图像的主体对象信息用于指示多张第一图像中主体对象未发生变化时,将目标运镜方式确定为跟镜头。
如图5中的a图和b图所示,第一摄像头往一个方向运动,并且第一图像中的ROI内的主体对象发生变化,如图5中的a图所示,主体对象为男性;如图5中的b图所示,主体对象为女性,主体对象发生变化,
因此将目标运镜方式确定为移镜头;
如图6中的a图和b图所示,第一摄像头在左右两个方向上做往复运动,在第一图像中ROI内的主体对象发生变化;比如在第一时刻,第一图像的ROI内的主体对象为男性,在第二时刻第一摄像头向右移动时,第一图像的ROI内的主体对象为女性;在第二时刻第一摄像头向左移动时,第一图像的ROI内的主体对象为男性;如此往复,因此将目标运镜方式确定为摇镜头;
如图7中的a图、b图和c图所示,第一摄像头跟随主体对象往一个方向运动,第一图像中的ROI内的主体对象未发生变化,因此将目标运镜方式确定为跟镜头。
在一个可行的实施例中,还可以按照以下方式确定目标运镜方式:
根据多张第一图像中每张第一图像的主体对象信息确定每张第一图像的景别,再根据多张第一图像中每张第一图像的景别和主体对象信息确定目标运镜方式。
具体地,根据多张第一图像中每张第一图像的主体对象信息确定每张第一图像的景别,包括:
当多张第一图像中的每张第一图像中主体对象的数量大于或者等于第一预设数量,且场景理解信息用于指示需要呈现周围环境时,或者,当多张第一图像中的每张第一图像中主体对象的运动幅度大于预设幅度,且场景理解信息用于指示需要呈现周围环境时,该第一图像的景别为全景;
当每张第一图像中的主体对象的数量低于第一预设数量,且场景理解信息用于指示当前场景有对话、动作和情绪交流时,每张第一图像的景别为中景;
当每张第一图像中的主体对象的数量为第二预设数量,该第一图像中的主体对象的运动幅度小于或者等于预设幅度、且场景理解信息用于指示需要突出上半身细微动作时,每张第一图像的景别为近景;第二预设数量小于第一预设数量;
当每张第一图像中的主体对象的数量为第二预设数量,该第一图像中的主体对象的运动幅度小于或者等于预设幅度、且场景理解信息用于指示需要突出局部信息时,每张第一图像的景别为特写。
举例说明,参见下表1,表1为主体对象信息及场景理解信息与景别类型的对应关系表。
主体对象信息及场景理解信息 | 景别类型 |
1个主体对象,无大幅运动,需要突出面部表情等局部信息 | 特写 |
1个主体对象,无大幅运动,需要突出上半身细微动作 | 近景 |
3个以内主体对象,有对话、动作和情绪交流场景 | 中景 |
3个以上主体对象,或大幅运动,需要呈现周围环境 | 全景 |
表1
如表示1所示,当第一图像中主体对象的数量为1,主体对象无大幅运动,且场景理解信息用于指示需要突出面部表情等局部信息时,该第一图像的景别为特写;当第一图像中主体对象的数量为1,主体对象无大幅运动,且场景理解信息用于指示需要突出上半身细微动作时,该第一图像的景别为近景;当第一图像中主体对象的数量为3个以内,且场景理解信息用于指示当前场景为有对话、动作和情绪交流的场景,该第一图像的景别为中景;当第一图像中的主体对象的数量大于3且场景理解信息用于指示需要呈现周围环境时,或者当第一图像中的主体对象有大幅运动且场景理解信息用于指示需要呈现周围环境时,该第一图像的景别为全景。
在此需要说明的是,景别是指由于摄影机与被摄体的距离不同,而造成被摄体在摄影机录像器中所呈现出的范围大小的区别。景别的划分,一般可分为五种,如图8所示,由近至远分别为特写(指人体肩部以上)、近景(指人体胸部以上)、中景(指人体膝部以上)、全景(人体的全部和周围部分环境)、远景(被摄体所处环境)。
可选地,在一个可行的实施例中,根据多张第一图像中每张第一图像的主体对象信息确定每张第一图像的景别,包括:
根据多张第一图像中每张第一图像的主体对象确定每张第一图像的第二比例,第二比例为第一图像中的主体对象位于ROI内的部分占第一图像中的主体对象的比例;
当每张第一图像的第二比例小于第二预设比例时,每张第一图像的景别为特写;当每张第一图像的第二比例大于或者等于第二预设比例,且小于第三预设比例时,每张第一图像的景别为近景;当每张第一图像的第二比例大于或者等于第三预设比例,且小于第四预设比例时,每张第一图像的景别为中景;当每张第一图像的第二比例等于第四预设比例,获取该第一图像的第三比例,该第三比例为该第一图像中主体对象所占的区域与ROI之比,若第一图像的第三比例大于或者等于第五预设比例时,则该第一图像的景别为全景;若第三比例小于第五预设比例,则该第一图像的景别为远景。
举例说明,如图9所示,假设第二比例为人肩部以上部分占整个人的比例,第三比例为人腰部以上部分占整个人的比例,第四比例为100%;如图9中的a图所示,第一图像中的主体对象位于ROI中的部分为头部,头部与整个人之比小于第二比例,故图9中a图的景别为特写;如图9中的b图所示,第一图像中的主体对象位于ROI中的部分为胸部以上部分,胸部以上部分与整个人之比大于第二比例但小于第三比例,故图9中b图的景别为近景;如图9中的c图所示,第一图像中的主体对象位于ROI中的部分为大腿以上部分,大腿以上部分与整个人之比大于第二比例但小于第四比例,故图9中a图的景别为中景;如图9中d图和e图所示,d图和e图中的主体对象完全位于ROI内,但e图中主体对象占ROI的比例和d图中主体对象占ROI的比例不相同,可以将图9中的d图的景别确定为全景,图9中的e图的景别确定为远景。
在此需要说明的是,本申请中确定图像景别的方式不是对本申请的限定,当然还可以是其他方式。
可选地,在一个可行的实施例中,根据多张第一图像中每张第一图像的景别和主体对象信息确定目标运镜方式,包括:
当多张第一图像的景别均相同,且多张第一图像中的主体对象均相同时,将目标运镜方式确定为跟;当多张第一图像的景别不相同,且多张第一图像中的主体对象均相同时,将目标运镜方式确定为;当多张第一图像的景别均相同,且多张第一图像中的主体对象不相同时,将目标运镜方式确定为移或摇;如下表2所示。
主体对象及景别信息 | 运镜方式 |
同一主体对象,不同的景别 | 推/拉 |
同一主体对象,同一景别 | 跟 |
不同的主体对象,同一景别 | 移/摇 |
表2
在此需要说明的是,运镜方式包括但不限于上述推/拉,跟、移/摇,还可以包括甩,甚至还包括一些特效融合,比如慢动作、希区柯克变焦、cinema graph等。并且表2中所示的主体对象及景别信息与运镜方式之间的对应关系只是一个示例,不是对本申请的限定。
在此需要指出的是,上述多张第一图像的景别不相同可以是多张第一图像的景别各不相同,或者多张第一图像中部分第一图像的景别不相同;同理,上述多张第一图像的主体对象不相同可以是多张第一图像的主体对象各不相同,或者多张第一图像中部分第一图像的主体对象不相同。
S304、根据目标运镜方式对多张第一图像和多张第二图像进行融合,得到目标视频。
其中,目标视频的运镜效果与采用目标运镜方式获取的视频的运镜效果相同。
在一个可行的实施例中,当目标运镜方式为推或拉镜头时,根据目标运镜方式对多张第一图像和多张第二图像进行融合,得到目标视频,包括:
获取多张第一图像中每张图像的预设区域,多张第一图像中每张第一图像的预设区域内均包括主体对象,且,当目标运镜方式为推镜头时,多张第一图像中的预设区域的尺寸是在时间顺序逐渐缩小的;当目标运镜方式为拉镜头时,多张第一图像中的预设区域的尺寸是随着时间顺序逐渐增大的;从多张第一图像和多张第二图像获取多个第一图像对,多个第一图像对中的每个第二图像对中均包括时间戳相同的第一图像和第二图像;从多个第二图像对中每个第二图像对获取多张第一目标图像,多张第一目标图像与多个第一图像对一一对应;其中,多张第一目标图像中的每张第一目标图像为其对应的第一图像对中视角范围最小的,且包含第一图像的预设区域内的图像;从多张第一目标图像中的每张第一目标图像中裁剪出与该第一目标图像所属的第二图像对内的第一图像的预设区域内图像重叠的部分,以得到多张第三图像;对多张第三图像中的每张第三图像进行处理,以得到多张处理后的第三图像,多张处理后的第三图像中每张图像的分辨率均为预设分辨率,其中,目标视频包括多张处理后的第三图像。
在此需要说明的是,第一图像的预设区域的尺寸可以为预设区域在第一图像中的像素面积,或者预设区域在第一图像中所占的比例,或者为预设区域的高和宽。
具体地,为多张第一图像中每张第一图像设置一个预设区域,其中,每张第一图像的预设区域内均包含主体对象,并且为了体现推镜头或拉镜头的视觉效果,当目标运镜方式为推镜头时,多张第一图像的预设区域的尺寸在采集时间顺序上是逐渐缩小的,也就是对于多张第一图像中在采集时间上任意相邻两张第一图像,时间戳在前的第一图像的预设区域内的图像包含采集时间戳在后的第一图像的预设区域内的图像;当目标运镜方式为拉镜头时,多张第一图像的预设区域的尺寸在采集时间顺序上是逐渐增大的,也就是对于多张第一图像中在采集时间上任意相邻两张第一图像,时间戳在后的第一图像的预设区域内的图像包含采集时间戳在前的第一图像的预设区域内的图像,然后基于第一图像的预设区域,从多张第一图像和与该多张第一图像对应的第二图像中获取多张第一目标图像,第一目标图像为第一图像的预设区域内的图像,但是预设区域内的图像具体第一图像的一部分还是第二图像的一部分按照以下方法来确定:
当第一图像的预设区域内的图像包含于该第一图像对应的第二图像时,从该第二图像中裁剪出与第一图像的预设区域内的图像重叠的部分,作为对应的第一目标图像;当第一图像的预设区域内的图像包含该第一图像对应的第二图像时,从该第一图像中裁剪出预设区域内的图像,作为对应的第一目标图像,也就是从第一图像及其对应的第二图像中,确定出包含第一图像的预设区域内的图像,且视角范围最小的图像,然后再从该视角范围最小的图像中裁剪出与预设区域内图像重叠的部分,从而得到第一目标图像;其中第一图像对应的第二图像为时间戳与第一图像的时间戳相同的图像;
按照上述方法得到多张第一目标图像后,从多张第一目标图像中的每张第一目标图像中裁剪出与该第一目标图像对应的第一图像的预设区域内图像重叠的部分,以得到多张第三图像;为了按照预设分辨率显示第三图像,对多张第三图像中的每张第三图像进行处理,以得到多张处理后的第三图像,多张处理后的第三图像中每张图像的分辨率为预设分辨率;上述目标视频包括多张处理后的第三图像。
在此需要说明的是,多张第一图像中每张第一图像的预设区域内均包含主体对象具体是指多张第一图像的预设区域内包含主体对象的部分或者全部;进一步地,当目标运镜方式为推镜头时,多张第一图像的预设区域内在时间顺序上实现包含主体对象的第一部分到主体对象的第二部分的过渡,其中主体对象的第一部分包含主体对象的第二部分,且主体对象的第一部分为主体对象的全部或者部分,主体对象的第二部分为主体对象的部分;当目标运镜方式为拉镜头时,多张第一图像的预设区域内在时间顺序上实现包含主体对象的第三部分到主体对象的第四部分的过渡,其中主体对象的第四部分包含主体对象的第三部分,且主体对象的第四部分为主体对象的全部或者部分,主体对象的第三部分为主体对象的部分。
按照上述时间戳显示第三图像,从而实现具有“推”或“拉”运镜效果的目标视频。
在一个可行的实施例中,当目标运镜方式为移镜头、跟镜头或摇镜头时,根据目标运镜方式对多张第一图像和多张第二图像进行融合,得到目标视频,包括:
对多张第一图像进行主体检测和提取,获取多张第一图像中每张第一图像的ROI,并对多张第一图像中每张第一图像的ROI进行裁剪,得到多张第四图像,其中,多张第四图像中的每张第四图像中均包括主体对象;多张第一图像和多张第四图像一一对应,多张第四图像中每张第四图像的时间戳与该第四图像对应的第一图像的时间戳相同;对多张第四图像中的每张第四图像进行处理,得到多张第五图像,多张第五图像中每张第五图像的分辨率为预设分辨率;多张第四图像和多张第五图像一一对应,多张第五图像中每张第五图像的时间戳与该第五图像对应的第四图像的时间戳相同从多张第二图像和多张第五图像中获取多个第二图像对,多个第二图像对中每个第二图像对包括时间戳相同的第五图像和第二图像;从多个第二图像对中获取多张第二目标图像,多张第二目标图像与多个图像对一一对应;其中,对于多个第二图像对中的每个第二图像对,当该第二图像对中第五图像的内容与第二图像的内容重合时,该第二图像对所对应的第二目标图像为第二图像;当该第二图像对中第五图像的内容与第二图像的内容不重合时,该图像对所对应的第二目标图像为第五图像;
其中,目标视频包括多张第二目标图像。
在此需要指出的是,多张第四图像中的每张第四图像中均包括主体对象,可以理解成多张第四图像中的每张第四图像中可以包括主体对象的部分或者全部。
在此需要说明的是,上述步骤“对多张第一图像进行主体检测和提取,获取多张第一图像中每张第一图像的ROI”可以不用执行,可以直接使用步骤S302中得到的ROI。
举例说明,假设第一摄像头采集得到8张第一图像,该8张第一图像的时间戳分别为t1,t2,t3,t4,t5,t6,t7和t8;第二摄像头采集得到8张第二图像,该8张第二图像的时间戳分别为t1,t2,t3,t4,t5,t6,t7和t8;将8张第一图像中ROI进行主体检测和提取,得到8张第四图像,其中,8张第四图像中的每张第四图像中均包括主体对象,并且8张第四图像中的每张第四图像的时间戳与该第四图像所属的第一图像的时间戳相同,因此该8张第四图像的时间戳分别为t1,t2,t3,t4,t5,t6,t7和t8;然后对8张第四图像中的每张第四图像进行超分,得到8张第五图像,该8张第五图像中每张第五图像的分辨率为预设分辨率,该8张第五图像的时间戳分别为t1,t2,t3,t4,t5,t6,t7和t8,如图10所示,将8张第二图像和8张第五图像中,时间戳相同的第二图像和第五图像划分为一个图像对,进而得到8个第二图像对,图像对如图10中的虚线框所示;从8个第二图像对中获取8张第二目标图像;其中,对于8个第二图像对中的每个第二图像对,当该第二图像对中第五图像的内容与第二图像的内容重合时,该第二图像对所对应的第二目标图像为第二图像;当该第二图像对中第五图像的内容与第二图像的内容不重合时,该第二图像对所对应的第三目标图像为第五图像,该8张第二目标图像构成目标视频。如图10所示,8个图像对中的时间戳为t2,t4,t5和t8所对应的第二图像对中第二图像和第五图像的内容重合,时间戳为t1,t3,t6和t7所对应的第二图像对中第二图像和第五图像的内容不重合,因此目标视频包括时间戳为t1,t3,t6和t7的第五图像及时间戳为t1,t3,t6和t7的第二图像。
可选地,在一个可行的实施例中,在显示界面上显示第一摄像头采集的图像、第二摄像头采集的图像和目标视频。其中,如图11a所示,显示界面上包括3个区域:第一区域、第二区域和第三区域,第一区域用于显示第一摄像头采集的图像,第二区域用于显示第二摄像头采集的图像,第三区域用于显示目标视频。
进一步地,如图11a所示,第一区域中包括第四区域,该第四区域用于显示第一摄像头采集的图像中与第二摄像头采集的图像重叠的部分。
其中,第一摄像头为广角摄像头或主摄像头,第二摄像头为长焦摄像头或者主摄像头,第一摄像头的FOV大于第二摄像头的FOV。
在一个可行的实施例中,根据目标运镜方式对多张第一图像和多张第二图像进行融合,得到目标视频,包括:
根据目标运镜方式对多张第一图像、多张第二图像和多张第六图像进行融合,得到目标视频;
其中,第六图像为第三摄像头针对拍摄对象拍摄得到的,第三摄像头参数与第一摄像头的参数不相同,第三摄像头的参数与第二摄像头的参数不相同。
可选地,上述第一摄像头的FOV大于第二摄像头的FOV,第三摄像头的FOV大于第二摄像头的FOV,且小于第一摄像头的FOV,或者第一摄像头的焦距小于第二摄像头的焦距,第三摄像头的焦距小于第二摄像头的焦距。
比如,第一摄像头为广角摄像头、第二摄像头为长焦摄像头、第三摄像头为主摄像头。
可选地,在一个可行的实施例中,当目标运镜方式为推镜头或拉镜头时,根据目标运镜方式对多张第一图像、多张第二图像和多张第六图像进行融合,得到目标视频,包括:
获取多张第一图像中每张图像的预设区域,多张第一图像的预设区域内均包括主体对象,且,当目标运镜方式为推镜头时,多张第一图像中的预设区域的尺寸是在时间顺序逐渐缩小的;当目标运镜方式为拉镜头时,多张第一图像中的预设区域的尺寸是随着时间顺序逐渐增大的;从多张第一图像、多张第二图像和多张第六图像获取多个第三图像对,多个第三图像对中的每个第三图像对中均包括时间戳相同的第一图像,第二图像和第六图像;从多个第三图像对中获取多张第三目标图像,多张第三目标图像与多个第三图像对一一对应;其中,多张第三目标图像中的每张第三目标图像为其对应的第三图像对中视角范围最小的,且包含第一图像的预设区域内的图像;从多张第三目标图像中的每张第三目标图像中裁剪出与该第三目标图像所属的第三图像对内的第一图像的预设区域内图像重叠的部分,以得到多张第七图像;对多张第七图像中的每张第七图像进行处理,以得到多张第八图像,多张第八图像中每张第八图像的分辨率均为预设分辨率,其中,目标视频包括多张第八图像。
具体地,为多张第一图像中每张第一图像设置一个预设区域,其中,每张第一图像的预设区域内均包含主体对象,并且为了体现推镜头或拉镜头的视觉效果,当目标运镜方式为推镜头时,多张第一图像的预设区域的尺寸在采集时间顺序上是逐渐缩小的,也就是对于多张第一图像中在采集时间上任意相邻两张第一图像,时间戳在前的第一图像的预设区域内的图像包含采集时间戳在后的第一图像的预设区域内的图像;当目标运镜方式为拉镜头时,多张第一图像的预设区域的尺寸在采集时间顺序上是逐渐增大的,也就是对于多张第一图像中在采集时间上任意相邻两张第一图像,时间戳在后的第一图像的预设区域内的图像包含采集时间戳在前的第一图像的预设区域内的图像,然后基于第一图像的预设区域,从多张第一图像和与该多张第一图像对应的第二图像和第六图像中获取多张第三目标图像,第三目标图像为第一图像的预设区域内的图像,但是预设区域内的图像具体第一图像的一部分还是第二图像还是第六图像的一部分按照以下方法来确定:
当第一图像的预设区域内的图像包含于该第一图像对应的第六图像时,从该第六图像中裁剪出与第一图像的预设区域内的图像重叠的部分,作为对应的第三目标图像;当第一图像的预设区域内的图像包含该第一图像对应的第六图像,且第一图像的预设区域内的图像包含于该第一图像对应的第二图像时,从该第二图像中裁剪出与第一图像的预设区域内的图像重叠的部分,作为对应的第三目标图像;当第一图像的预设区域内的图像包含该第一图像对应的第二图像和第六图像时,从该第一图像中裁剪出预设区域内的图像,作为对应的第三目标图像,也就是从第一图像及其对应的第二图像和第六图像中,确定出包含第一图像的预设区域内的图像,且视角范围最小的图像,然后再从该视角范围最小的图像中裁剪出与预设区域内图像重叠的部分,从而得到第三目标图像;其中第一图像对应的第二图像和第六图像分别为时间戳与第一图像的时间戳相同的第二图像和第六图像;
按照上述方法得到多张第三目标图像后,从多张第三目标图像中的每张第三目标图像中裁剪出与该第三目标图像所属的第三图像对内的第一图像的预设区域内图像重叠的部分,以得到多张第七图像;为了按照预设分辨率显示第七图像,对多张第七图像中的每张第七图像进行处理,以得到多张第八图像,多张第八图像中每张第八图像的分辨率为预设分辨率;上述目标视频包括多张第八图像。
在此需要说明的是,多张第一图像中每张第一图像的预设区域内均包含主体对象具体是指多张第一图像的预设区域内包含主体对象的部分或者全部;进一步地,当目标运镜方式为推镜头时,多张第一图像的预设区域内在时间顺序上实现包含主体对象的第一部分到主体对象的第二部分的过渡,其中主体对象的第一部分包含主体对象的第二部分,且主体对象的第一部分为主体对象的全部或者部分,主体对象的第二部分为主体对象的部分;当目标运镜方式为拉镜头时,多张第一图像的预设区域内在时间顺序上实现包含主体对象的第三部分到主体对象的第四部分的过渡,其中主体对象的第四部分包含主体对象的第三部分,且主体对象的第四部分为主体对象的全部或者部分,主体对象的第三部分为主体对象的部分。
可选地,在一个可行的实施例中,当目标运镜方式为跟镜头、移镜头或者摇镜头时,根据目标运镜方式对多张第一图像、多张第二图像和多张第六图像进行融合,得到目标视频,包括:
对多张第一图像进行主体检测和提取,获取多张第一图像中每张第一图像的ROI;从多张第一图像、多张第二图像和多张第六图获取多个第四图像对,多个第四图像对中的每个第四图像对中均包括时间戳相同的第一图像,第二图像和第六图像;从多个第四图像对获取多张第四目标图像,多张第四目标图像与多个第四图像对一一对应;其中,多张第四目标图像中的每张第四目标图像为其对应的第四图像对中视角范围最小的,且包含第一图像的ROI内的图像;从多张第四目标图像中的每张第四目标图像中裁剪出与该第四目标图像所属的第四图像对内的第一图像的ROI内图像重叠的部分,以得到多张第九图像;对多张第九图像中的每张第九图像进行处理,以得到多张第十图像,多张第十图像中每张第十图像的分辨率均为预设分辨率,其中,目标视频包括多张第十图像。
进一步地,如图11b所示,显示界面包括第一区域、第二区域和第三区域,第一区域包括第五区域,第五区域包括第四区域,
第一区域显示第一摄像头采集的图像,第二区域用于显示第二摄像头采集的图像,第三区域用于显示目标视频,第四区域用于显示第一摄像头采集的图像中与第二摄像头采集的图像重叠的部分;第五区域用于显示第二摄像头采集的图像中与第三摄像头采集的图像重叠的部分。
在一个可行的实施例中,在确定第一图像中主体对象后,本申请的方法包括:
主控设备采用目标跟踪技术获取主体对象的实时位置;并根据主体对象的实时位置调整上述第一摄像头、第二摄像头和/或第三摄像头的取景范围,使得第一摄像头、第二摄像头和/或第三摄像头实时采集到包含主体对象的图像。
比如当根据主体对象的实时位置确定主体对象即将离开长焦摄像头的拍摄范围,则控制长焦镜头的焦距变小,从而使得长焦镜头的取景范围变大。
可选地,按照一定的开启规则开启广角摄像头和主摄像头,比如当主体对象在主摄像头的视角范围内时,关闭广角摄像头;当主体对象不在主摄像头的视角范围内时,关闭主摄像头,开启广角摄像头。
在一个可行的实施例中,调整上述镜头的取景范围还可以是向用户发出提示消息,以提示用户手动调整上述镜头的取景范围,从而确保确定的主体对象始终处于该镜头的取景范围内。
可选地,上述提示消息可以是语音消息、或者可以是显示在主控设备上的文字消息或者其他形式的消息。
可以看出,在本申请的实施例中,通过第一摄像头采集的图像中主体对象的信息及摄像头的运动信息确定目标运镜方式,再根据目标运镜方式对多个摄像头(包括第一摄像头和第二摄像头等)采集的图像进行融合,得到具有采用目标运镜方式得到视频的视觉效果的目标视频。采用本申请不再是对各路视频流的图像帧经过简单转场或排序的输出,而是综合主体信息及运动信息对各路视频图像帧进行编辑,修改,融合之后的输出,具有主体突出、背景干净、平滑过渡的特点,能够帮助用户利用手机在线创作成像质量好、主体突出、背景干净、运镜和谐的高质量视频供后续分享。
下面具体介绍上述主控设备的具体结构。
参见图12,图12为本申请实施例提供主控设备的结构示意图。如图12所示,该主控设备1200包括:
获取单元1201,用于获取多张第一图像和多张第二图像,多张第一图像和多张第二图像分别为第一摄像头和第二摄像头针对同一拍摄对象拍摄得到的,第一摄像头的参数和第二摄像头的参数不相同;并获取第一摄像头在拍摄得到多张第一图像过程中的运动信息;
获取单元1201,还用于获取多张第一图像中的每张第一图像中的主体对象信息;
确定单元1202,用于根据第一摄像头的运动信息及多张第一图像中的每张第一图像中的主体对象信息确定目标运镜方式;
融合单元1203,用于根据目标运镜方式对多张第一图像和多张第二图像进行融合,得到目标视频,目标视频的运镜效果与采用目标运镜方式获取的视频的运镜效果相同。
在一个可行的实施例中,确定单元1202具体用于:
根据第一摄像头的运动信息判断在拍摄得到多张第一图像过程中,第一摄像头是否发生位移;当判断第一摄像头未发生位移时,根据多张第一图像中每张第一图像的主体对象信息确定目标运镜方式;当判断第一摄像头发生位移时,根据第一摄像头的运动方式和多张第一图像中每张第一图像的主体对象信息确定目标运镜方式。
在一个可行的实施例中,在根据多张第一图像中每张第一图像的主体对象信息确定目标运镜方式的方面,确定单元1202具体用于:
当多张第一图像中每张第一图像的主体对象信息用于指示多张第一图像中每张第一图像中包含主体对象,且多张第一图像中每张第一图像的第一比例均小于第一预设比例时,将目标运镜方式确定为推镜头;其中,每张第一图像的第一比例为该第一图像中主体对象所在的感兴趣区域ROI的面积与该第一图像的面积之比,或者;每张第一图像的第一比例为该第一图像中主体对象所在的ROI的宽与该第一图像的宽之比,或者每张第一图像的第一比例为该第一图像中主体对象所在的ROI的高与该第一图像的高之比;
当多张第一图像中每张第一图像的主体对象信息用于指示每张第一图像中默认ROI区域内未包含主体对象,且每张第一图像中默认ROI内的图像为该第一图像的部分时,将目标运镜方式确定为拉镜头。
在一个可行的实施例中,在根据第一摄像头的运动方式和多张第一图像中每张第一图像的主体对象信息确定目标运镜方式的方面,确定单元1202具体用于:
当第一摄像头的运动方式指示在拍摄得到多张第一图像过程中第一摄像头往同一方向运动,且多张第一图像中每张第一图像的主体对象信息用于指示多张第一图像中主体对象发生变化时,将目标运镜方式确定为移镜头;
当第一摄像头的运动方式指示在拍摄得到多张第一图像过程中第一摄像头在两个相反的方向上往复运动,且多张第一图像中每张第一图像的主体对象信息用于指示多张第一图像中主体对象发生变化时,将目标运镜方式确定为摇镜头;
当第一摄像头的运动方式指示在拍摄得到多张第一图像过程中第一摄像头发生运动,且多张第一图像中每张第一图像的主体对象信息用于指示多张第一图像中主体对象未发生变化时,将目标运镜方式确定为跟镜头。
在一个可行的实施例中,当目标运镜方式为推镜头或拉镜头时,融合单元1203具体用于:
获取多张第一图像中每张第一图像的预设区域,多张第一图像中每张第一图像的预设区域内均包括主体对象,且,当目标运镜方式为推镜头时,多张第一图像中的预设区域的尺寸是在时间顺序逐渐缩小的;当目标运镜方式为拉镜头时,多张第一图像中的预设区域的尺寸是随着时间顺序逐渐增大的;从多张第一图像和多张第二图像获取多个第一图像对,多个第一图像对中的每个第一图像对中均包括时间戳相同的第一图像和第二图像;从多个第一图像对中获取多张第一目标图像,多张第一目标图像与多个第一图像对一一对应;其中,多张第一目标图像中的每张第一目标图像为其对应的第一图像对中视角范围最小的,且包含第一图像的预设区域内的图像;从多张第一目标图像中的每张第一目标图像中裁剪出与该第一目标图像所属的第二图像对内的第一图像的预设区域内图像重叠的部分,以得到多张第三图像;对多张第三图像中的每张第三图像进行处理,以得到多张处理后的第三图像,多张处理后的第三图像中每张图像的分辨率均为预设分辨率,其中,目标视频包括多张处理后的第三图像。
在一个可行的实施例中,当目标运镜方式为移镜头、摇镜头或者跟镜头时,融合单元1203具体用于:
对多张第一图像进行主体检测和提取,获取多张第一图像中每张第一图像的ROI,并对多张第一图像中每张第一图像的ROI进行裁剪,得到多张第四图像,其中,多张第四图像中的每张第四图像中均包括主体对象;多张第一图像和多张第四图像一一对应,多张第四图像中每张第四图像的时间戳与该第四图像对应的第一图像的时间戳相同;对多张第四图像中的每张第四图像进行处理,得到多张第五图像,多张第五图像中每张第五图像的分辨率为预设分辨率;多张第四图像和多张第五图像一一对应,多张第五图像中每张第五图像的时间戳与该第五图像对应的第四图像的时间戳相同从多张第二图像和多张第五图像中获取多个第二图像对,多个第二图像对中每个第二图像对包括时间戳相同的第五图像和第二图像;从多个第二图像对中获取多张第二目标图像,多张第二目标图像与多个图像对一一对应;其中,对于多个第二图像对中的每个第二图像对,当该第二图像对中第五图像的内容与第二图像的内容重合时,该第二图像对所对应的第二目标图像为第二图像;当该第二图像对中第五图像的内容与第二图像的内容不重合时,该图像对所对应的第二目标图像为第五图像;其中,目标视频包括多张第二目标图像。
在一个可行的实施例中,主控设备1200还包括:
显示单元1204,用于显示第一摄像头采集的图像、第二摄像头采集的图像和目标视频;
其中,显示单元1204所显示界面包括第一区域、第二区域和第三区域,第一区域显示第一摄像头采集的图像,第二区域用于显示第二摄像头采集的图像,第三区域用于显示目标视频,第一摄像头的视场角FOV大于第二摄像头的FOV。
可选地,第一摄像头为广角摄像头或者主摄像头,第二摄像头为长焦摄像头或者主摄像头。
进一步地,第一区域包括第四区域,第四区域用于显示第一摄像头采集的图像中与第二摄像头采集的图像重叠的部分。
在一个可行的实施例中,融合单元1203具体用于:
根据目标运镜方式对多张第一图像、多张第二图像和多张第六图像进行融合,得到目标视频;其中,第六图像为第三摄像头针对拍摄对象拍摄得到的,第三摄像头的参数与第一摄像头的参数不相同,第三摄像头的参数和第二摄像头的参数均不相同。
在一个可行的实施例中,当目标运镜方式为推镜头或拉镜头时,融合单元1203具体用于:
获取多张第一图像中每张图像的预设区域,多张第一图像的预设区域内均包括主体对象,且,当目标运镜方式为推镜头时,多张第一图像中的预设区域的尺寸是在时间顺序逐渐缩小的;当目标运镜方式为拉镜头时,多张第一图像中的预设区域的尺寸是随着时间顺序逐渐增大的;从多张第一图像、多张第二图像和多张第六图像获取多个第三图像对,多个第三图像对中的每个第三图像对中均包括时间戳相同的第一图像,第二图像和第六图像;从多个第三图像对中获取多张第三目标图像,多张第三目标图像与多个第三图像对一一对应;其中,多张第三目标图像中的每张第三目标图像为其对应的第三图像对中视角范围最小的,且包含第一图像的预设区域内的图像;从多张第三目标图像中的每张第三目标图像中裁剪出与该第三目标图像所属的第三图像对内的第一图像的预设区域内图像重叠的部分,以得到多张第七图像;对多张第七图像中的每张第七图像进行处理,以得到多张第八图像,多张第八图像中每张第八图像的分辨率均为预设分辨率,其中,目标视频包括多张第八图像。
在一个可行的实施例中,当目标运镜方式为跟镜头、移镜头或者摇镜头时,融合单元1203具体用于:
对多张第一图像进行主体检测和提取,获取多张第一图像中每张第一图像的ROI;从多张第一图像、多张第二图像和多张第六图获取多个第四图像对,多个第四图像对中的每个第四图像对中均包括时间戳相同的第一图像,第二图像和第六图像;从多个第四图像对中获取多张第四目标图像,多张第四目标图像与多个第四图像对一一对应;其中,多张第四目标图像中的每张第四目标图像为其对应的第四图像对中视角范围最小的,且包含第一图像的ROI内的图像;从多张第四目标图像中的每张第四目标图像中裁剪出与该第四目标图像所属的第四图像对内的第一图像的ROI内图像重叠的部分,以得到多张第九图像;对多张第九图像中的每张第九图像进行处理,以得到多张第十图像,多张第十图像中每张第十图像的分辨率均为预设分辨率,其中,目标视频包括多张第十图像。
在一个可行的实施例中,主控设备1200还包括:
显示单元1204,用于显示第一摄像头采集的图像、第二摄像头采集的图像和第三摄像头采集的图像和目标视频;其中,第一摄像头的FOV大于第二摄像头的FOV,第三摄像头的FOV大于第二摄像头的FOV,且小于第一摄像头的FOV,
显示单元1204所显示界面包括第一区域、第二区域和第三区域,第一区域包括第五区域,第五区域包括第四区域,第一区域用于显示第一摄像头采集的图像,第二区域用于显示第二摄像头采集的图像,第三区域用于显示目标视频,第四区域用于显示第一摄像头采集的图像中与二摄像头采集的图像重叠的部分;第五区域用于显示第二摄像头采集的图像中与第三摄像头采集的图像重叠的部分。
需要说明的是,上述各单元(获取单元1201、确定单元1202、融合单元1203和显示单元1204)用于执行上述方法的相关步骤。比如获取单元1201用于执行步骤S301和步骤S302、的相关内容,确定单元用于执行S302的相关内容、融合单元1203和显示单元1204用于执行S304的相关内容。
在本实施例中,主控设备1200是以单元的形式来呈现。这里的“单元”可以指特定应用集成电路(application-specific integrated circuit,ASIC),执行一个或多个软件或固件程序的处理器和存储器,集成逻辑电路,和/或其他可以提供上述功能的器件。此外,以上获取单元1201、确定单元1202和融合单元1203可通过图14所示的主控设备的处理器1401来实现。
参见图13,图13为本申请实施例提供的主控设备的另一种结构示意图。如图13所示,该主控设备1300包括:
摄像头1301,用于获取多张第一图像和多张第二图像。
其中,摄像头1301包括第一摄像头和第二摄像头,多张第一图像和多张第二图像分别为第一摄像头和第二摄像头针对同一拍摄对象拍摄得到的,第一摄像头的FOV大于第二摄像头的FOV;
控制单元1302,用于并获取第一摄像头在拍摄得到多张第一图像过程中的运动信息;获取多张第一图像中的每张第一图像中的主体对象信息;根据第一摄像头的运动信息及多张第一图像中的每张第一图像中的主体对象信息确定目标运镜方式;
融合单元1303,用于根据目标运镜方式对多张第一图像和多张第二图像进行融合,得到目标视频,目标视频的运镜效果与采用目标运镜方式获取的视频的运镜效果相同;
显示保存单元1304,用于显示并保存第一图像、第二图像和目标视频。
可选地,摄像头1301还包括第三摄像头,第三摄像头的FOV大于第二摄像头的FOV,且小于第一摄像头的FOV,第三摄像头针对上述拍摄对象拍摄得到多张第三图像;
融合单元1303,用于根据目标运镜方式对多张第一图像、多张第二图像和多张第三图像进行融合,得到上述目标视频;
显示保存单元1304,还用于显示并保存上述第三图像。
在此需要说明是的,摄像头1301、控制单元1302、融合单元1303和显示保存单元1304的具体实现过程可参见步骤S301-S304的相关描述,在此不再叙述。
如图14所示主控设备1400可以图12中的结构来实现,该主控设备1400包括至少一个处理器1401,至少一个存储器1402以及至少一个通信接口1403。处理器1401、存储器1402和通信接口1403通过通信总线连接并完成相互间的通信。
处理器1401可以是通用中央处理器(CPU),微处理器,特定应用集成电路(application-specific integrated circuit,ASIC),或一个或多个用于控制以上方案程序执行的集成电路。
通信接口1403,用于与其他设备或通信网络通信,如以太网,无线接入网(RAN),无线局域网(Wireless Local Area Networks,WLAN)等。
存储器1402可以是只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(CompactDisc Read-Only Memory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器可以是独立存在,通过总线与处理器相连接。存储器也可以和处理器集成在一起。
其中,存储器1402用于存储执行以上方案的应用程序代码,并由处理器1401来控制执行。处理器1401用于执行存储器1402中存储的应用程序代码。
存储器1402存储的代码可执行以上提供的一种多镜头视频录制方法,比如:
获取多张第一图像和多张第二图像,多张第一图像和多张第二图像分别为第一摄像头和第二摄像头针对同一拍摄对象拍摄得到的,第一摄像头的参数和第二摄像头的参数不相同;并获取第一摄像头在拍摄得到多张第一图像过程中的运动信息;获取多张第一图像中的每张第一图像中的主体对象信息;根据第一摄像头的运动信息及多张第一图像中的每张第一图像中的主体对象信息确定目标运镜方式;根据目标运镜方式对多张第一图像和多张第二图像进行融合,得到目标视频,目标视频的运镜效果与采用目标运镜方式获取的视频的运镜效果相同。
可选地,上述主控设备1400还包括显示器,用于显示上述第一图像、第二图像和目标视频。由于显示器是可选地,因此在图14中未示出。
本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质可存储有程序,该程序执行时包括上述方法实施例中记载的任何一种多镜头视频录制方法的部分或全部步骤。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取器(英文:Random Access Memory,简称:RAM)、磁盘或光盘等。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (29)
1.一种多镜头视频录制方法,其特征在于,包括:
获取多张第一图像和多张第二图像,所述多张第一图像和所述多张第二图像分别为第一摄像头和第二摄像头针对同一拍摄对象拍摄得到的,所述第一摄像头的参数和所述第二摄像头的参数不相同;
获取所述第一摄像头在拍摄得到所述多张第一图像过程中的运动信息;
获取所述多张第一图像中的每张第一图像中的主体对象信息;
根据所述第一摄像头的运动信息及所述多张第一图像中的每张第一图像中的主体对象信息确定目标运镜方式;
根据所述目标运镜方式对所述多张第一图像和所述多张第二图像进行融合,得到所述目标视频。
2.根据权利要求1所述的方法,其特征在于,所述第一摄像头的参数和所述第二摄像头的参数不相同,具体包括:
所述第一摄像头的FOV大于所述第二摄像头的FOV,或者;
所述第一摄像头的焦距小于所述第二摄像头的焦距。
3.根据权利要求1或2所述的方法,其特征在于,所述根据所述第一摄像头的运动信息及所述多张第一图像中的每张第一图像中的主体对象信息确定目标运镜方式,包括:
根据所述第一摄像头的运动信息判断在获取所述多张第一图像过程中,所述第一摄像头是否发生位移;
当判断所述第一摄像头未发生位移时,根据所述多张第一图像中每张第一图像的主体对象信息确定所述目标运镜方式;
当判断所述第一摄像头发生位移时,根据所述第一摄像头的运动方式和所述多张第一图像中每张第一图像的主体对象信息确定所述目标运镜方式。
4.根据权利要求3所述的方法,其特征在于,所述根据所述多张第一图像中每张第一图像的主体对象信息确定所述目标运镜方式,具体包括:
当所述多张第一图像中每张第一图像的主体对象信息指示所述多张第一图像中每张第一图像中包含主体对象,且所述多张第一图像中每张第一图像的第一比例均小于第一预设比例时,将所述目标运镜方式确定为推镜头;其中,所述每张第一图像的第一比例为该第一图像中主体对象所在的感兴趣区域ROI的面积与该第一图像的面积之比,或者;所述每张第一图像的第一比例为该第一图像中主体对象所在的ROI的宽与该第一图像的宽之比,或者所述每张第一图像的第一比例为该第一图像中主体对象所在的ROI的高与该第一图像的高之比;
当所述多张第一图像中每张第一图像的主体对象信息指示所述每张第一图像中默认ROI区域内未包含主体对象,且所述每张第一图像中所述默认ROI内的图像为该第一图像的部分时,将所述目标运镜方式确定为拉镜头。
5.根据权利要求3所述的方法,其特征在于,所述根据所述第一摄像头的运动方式和所述多张第一图像中每张第一图像的主体对象信息确定所述目标运镜方式,具体包括:
当所述第一摄像头的运动方式指示在获取所述多张第一图像过程中所述第一摄像头往同一方向运动,且所述多张第一图像中每张第一图像的主体对象信息用于指示多张第一图像中主体对象发生变化时,将所述目标运镜方式确定为移镜头;
当所述第一摄像头的运动方式指示在拍摄得到所述多张第一图像过程中所述第一摄像头在两个相反的方向上往复运动,且所述多张第一图像中每张第一图像的主体对象信息用于指示多张第一图像中主体对象发生变化时,将所述目标运镜方式确定为摇镜头;
当所述第一摄像头的运动方式指示在获取所述多张第一图像过程中所述第一摄像头发生运动,且所述多张第一图像中每张第一图像的主体对象信息用于指示多张第一图像中主体对象未发生变化时,将所述目标运镜方式确定为跟镜头。
6.根据权利要求4所述的方法,其特征在于,当所述目标运镜方式为所述推镜头或拉镜头时,所述根据所述目标运镜方式对所述多张第一图像和所述多张第二图像进行融合,得到所述目标视频,包括:
获取所述多张第一图像中每张第一图像的预设区域,所述多张第一图像中每张第一图像的预设区域内均包括所述主体对象,且,当所述目标运镜方式为所述推镜头时,所述多张第一图像中的预设区域的尺寸是在时间顺序逐渐缩小的;当所述目标运镜方式为所述拉镜头时,所述多张第一图像中的预设区域的尺寸是随着时间顺序逐渐增大的;
从所述多张第一图像和所述多张第二图像获取多个第一图像对,所述多个第一图像对中的每个第一图像对中均包括时间戳相同的第一图像和第二图像;
从所述多个第一图像对中获取多张第一目标图像,所述多张第一目标图像与所述多个第一图像对一一对应;其中,所述多张第一目标图像中的每张第一目标图像为其对应的第一图像对中视角范围最小的,且包含所述第一图像的预设区域内的图像;
从所述多张第一目标图像中的每张第一目标图像中裁剪出与该第一目标图像所属的第二图像对内的第一图像的预设区域内图像重叠的部分,以得到多张第三图像;
对所述多张第三图像中的每张第三图像进行处理,以得到多张处理后的第三图像,所述多张处理后的第三图像中每张图像的分辨率均为预设分辨率,
其中,所述目标视频包括所述多张处理后的第三图像。
7.根据权利要求5所述的方法,其特征在于,当所述目标运镜方式为所述移镜头、所述摇镜头或者跟镜头时,所述根据所述目标运镜方式对所述多张第一图像和所述多张第二图像进行融合,得到所述目标视频,包括:
对所述多张第一图像进行主体检测和提取,获取多张第一图像中每张第一图像的ROI,并对所述多张第一图像中每张第一图像的ROI进行裁剪,得到多张第四图像,其中,所述多张第四图像中的每张第四图像中均包括主体对象;所述多张第一图像和所述多张第四图像一一对应,所述多张第四图像中每张第四图像的时间戳与该第四图像对应的第一图像的时间戳相同;
对所述多张第四图像中的每张第四图像进行处理,得到多张第五图像,所述多张第五图像中每张第五图像的分辨率为预设分辨率;所述多张第四图像和所述多张第五图像一一对应,所述多张第五图像中每张第五图像的时间戳与该第五图像对应的第四图像的时间戳相同
从所述多张第二图像和所述多张第五图像中获取多个第二图像对,所述多个第二图像对中每个第二图像对包括时间戳相同的第五图像和第二图像;
从所述多个第二图像对中获取多张第二目标图像,所述多张第二目标图像与所述多个图像对一一对应;其中,对于所述多个第二图像对中的每个第二图像对,当该第二图像对中第五图像的内容与第二图像的内容重合时,该第二图像对所对应的第二目标图像为所述第二图像;当该第二图像对中第五图像的内容与第二图像的内容不重合时,该图像对所对应的第二目标图像为所述第五图像;
其中,所述目标视频包括所述多张第二目标图像。
8.根据权利要求1-7任一项所述的方法,其特征在于,所述方法还包括:
在显示界面上显示所述第一摄像头采集的图像、所述第二摄像头采集的图像和所述目标视频;
其中,所述显示界面包括第一区域、第二区域和第三区域,所述第一区域显示所述第一摄像头采集的图像,所述第二区域用于显示所述第二摄像头采集的图像,所述第三区域用于显示所述目标视频。
9.根据权利要求8所述的方法,其特征在于,所述第一区域包括第四区域,所述第四区域用于显示所述第一摄像头采集的图像中与所述第二摄像头采集的图像重叠的部分。
10.根据权利要求1-5任一项所述的方法,其特征在于,所述根据所述目标运镜方式对所述多张第一图像和所述多张第二图像进行融合,得到所述目标视频,包括:
根据所述目标运镜方式对所述多张第一图像、所述多张第二图像和多张第六图像进行融合,得到所述目标视频;
其中,所述第六图像为第三摄像头针对所述拍摄对象拍摄得到的,所述第三摄像头的参数与所述第一摄像头的参数不相同,所述第三摄像头的参数和第二摄像头的参数不相同。
11.根据权利要求10所述的方法,其特征在于,当所述目标运镜方式为所述推镜头或拉镜头时,所述根据所述目标运镜方式对所述多张第一图像、所述多张第二图像和多张第六图像进行融合,得到所述目标视频,包括:
获取所述多张第一图像中每张图像的预设区域,所述多张第一图像的预设区域内均包括所述主体对象,且,当所述目标运镜方式为所述推镜头时,所述多张第一图像中的预设区域的尺寸是在时间顺序逐渐缩小的;当所述目标运镜方式为所述拉镜头时,所述多张第一图像中的预设区域的尺寸是随着时间顺序逐渐增大的;
从所述多张第一图像、所述多张第二图像和所述多张第六图像获取多个第三图像对,所述多个第三图像对中的每个第三图像对中均包括时间戳相同的第一图像,第二图像和第六图像;
从所述多个第三图像对中获取多张第三目标图像,所述多张第三目标图像与所述多个第三图像对一一对应;其中,所述多张第三目标图像中的每张第三目标图像为其对应的第三图像对中视角范围最小的,且包含所述第一图像的预设区域内的图像;
从所述多张第三目标图像中的每张第三目标图像中裁剪出与该第三目标图像所属的第三图像对内的第一图像的预设区域内图像重叠的部分,以得到多张第七图像;
对所述多张第七图像中的每张第七图像进行处理,以得到多张第八图像,所述多张第八图像中每张第八图像的分辨率均为预设分辨率,
其中,所述目标视频包括所述多张第八图像。
12.根据权利要求10所述的方法,其特征在于,当所述目标运镜方式为所述跟镜头、移镜头或者摇镜头时,所述根据所述目标运镜方式对所述多张第一图像、所述多张第二图像和多张第六图像进行融合,得到所述目标视频,包括:
对所述多张第一图像进行主体检测和提取,获取多张第一图像中每张第一图像的ROI;
从所述多张第一图像、所述多张第二图像和所述多张第六图获取多个第四图像对,所述多个第四图像对中的每个第四图像对中均包括时间戳相同的第一图像,第二图像和第六图像;
从所述多个第四图像对中获取多张第四目标图像,所述多张第四目标图像与所述多个第四图像对一一对应;其中,所述多张第四目标图像中的每张第四目标图像为其对应的第四图像对中视角范围最小的,且包含所述第一图像的ROI内的图像;
从所述多张第四目标图像中的每张第四目标图像中裁剪出与该第四目标图像所属的第四图像对内的第一图像的ROI内图像重叠的部分,以得到多张第九图像;
对所述多张第九图像中的每张第九图像进行处理,以得到多张第十图像,所述多张第十图像中每张第十图像的分辨率均为预设分辨率,
其中,所述目标视频包括所述多张第十图像。
13.根据权利要求10-12任一项所述的方法,其特征在于,所述方法还包括:
在显示界面上显示所述第一摄像头采集的图像、所述第二摄像头采集的图像和所述第三摄像头采集的图像和所述目标视频;
所述显示界面包括第一区域、第二区域和第三区域,所述第一区域包括第五区域,所述第五区域包括第四区域;
所述第一区域显示所述第一摄像头采集的图像,所述第二区域用于显示所述第二摄像头采集的图像,所述第三区域用于显示所述目标视频,所述第四区域用于显示所述第一摄像头采集的图像中与所述二摄像头采集的图像重叠的部分;所述第五区域用于显示所述第二摄像头采集的图像中与所述第三摄像头采集的图像重叠的部分。
14.一种主控设备,其特征在于,包括:
获取单元,用于获取多张第一图像和多张第二图像,所述多张第一图像和所述多张第二图像分别为第一摄像头和第二摄像头针对同一拍摄对象拍摄得到的,所述第一摄像头的参数和所述第二摄像头的参数不相同;并获取所述第一摄像头在拍摄得到所述多张第一图像过程中的运动信息;
所述获取单元,还用于获取所述多张第一图像中的每张第一图像中的主体对象信息;
确定单元,用于根据所述第一摄像头的运动信息及所述多张第一图像中的每张第一图像中的主体对象信息确定目标运镜方式;
融合单元,用于根据所述目标运镜方式对所述多张第一图像和所述多张第二图像进行融合,得到所述目标视频。
15.根据权利要求14所述的设备,其特征在于,所述第一摄像头的参数与所述第二摄像头的参数不相同,具体包括:
所述第一摄像头的FOV大于所述第二摄像头的FOV,或者;
所述第一摄像头的焦距小于所述第二摄像头的焦距。
16.根据权利要求14或15所述的设备,其特征在于,所述确定单元具体用于:
根据所述第一摄像头的运动信息判断在获取所述多张第一图像过程中,所述第一摄像头是否发生位移;
当判断所述第一摄像头未发生位移时,根据所述多张第一图像中每张第一图像的主体对象信息确定所述目标运镜方式;
当判断所述第一摄像头发生位移时,根据所述第一摄像头的运动方式和所述多张第一图像中每张第一图像的主体对象信息确定所述目标运镜方式。
17.根据权利要求16所述的设备,其特征在于,在所述根据所述多张第一图像中每张第一图像的主体对象信息确定所述目标运镜方式的方面,所述确定单元具体用于:
当所述多张第一图像中每张第一图像的主体对象信息用于指示所述多张第一图像中每张第一图像中包含主体对象,且所述多张第一图像中每张第一图像的第一比例均小于第一预设比例时,将所述目标运镜方式确定为推镜头;其中,所述每张第一图像的第一比例为该第一图像中主体对象所在的感兴趣区域ROI的面积与该第一图像的面积之比,或者;所述每张第一图像的第一比例为该第一图像中主体对象所在的ROI的宽与该第一图像的宽之比,或者所述每张第一图像的第一比例为该第一图像中主体对象所在的ROI的高与该第一图像的高之比;
当所述多张第一图像中每张第一图像的主体对象信息用于指示所述每张第一图像中默认ROI区域内未包含主体对象,且所述每张第一图像中所述默认ROI内的图像为该第一图像的部分时,将所述目标运镜方式确定为拉镜头。
18.根据权利要求16所述的设备,其特征在于,在所述根据所述第一摄像头的运动方式和所述多张第一图像中每张第一图像的主体对象信息确定所述目标运镜方式的方面,所述确定单元具体用于:
当所述第一摄像头的运动方式指示在获取所述多张第一图像过程中所述第一摄像头往同一方向运动,且所述多张第一图像中每张第一图像的主体对象信息用于指示多张第一图像中主体对象发生变化时,将所述目标运镜方式确定为移镜头;
当所述第一摄像头的运动方式指示在拍摄得到所述多张第一图像过程中所述第一摄像头在两个相反的方向上往复运动,且所述多张第一图像中每张第一图像的主体对象信息用于指示多张第一图像中主体对象发生变化时,将所述目标运镜方式确定为摇镜头;
当所述第一摄像头的运动方式指示在获取所述多张第一图像过程中所述第一摄像头发生运动,且所述多张第一图像中每张第一图像的主体对象信息用于指示多张第一图像中主体对象未发生变化时,将所述目标运镜方式确定为跟镜头。
19.根据权利要求17所述的设备,其特征在于,当所述目标运镜方式为所述推镜头或拉镜头时,所述融合单元具体用于:
获取所述多张第一图像中每张第一图像的预设区域,所述多张第一图像中每张第一图像的预设区域内均包括所述主体对象,且,当所述目标运镜方式为所述推镜头时,所述多张第一图像中的预设区域的尺寸是在时间顺序逐渐缩小的;当所述目标运镜方式为所述拉镜头时,所述多张第一图像中的预设区域的尺寸是随着时间顺序逐渐增大的;
从所述多张第一图像和所述多张第二图像获取多个第一图像对,所述多个第一图像对中的每个第一图像对中均包括时间戳相同的第一图像和第二图像;
从所述多个第一图像对中获取多张第一目标图像,所述多张第一目标图像与所述多个第一图像对一一对应;其中,所述多张第一目标图像中的每张第一目标图像为其对应的第一图像对中视角范围最小的,且包含所述第一图像的预设区域内的图像;
从所述多张第一目标图像中的每张第一目标图像中裁剪出与该第一目标图像所属的第二图像对内的第一图像的预设区域内图像重叠的部分,以得到多张第三图像;
对所述多张第三图像中的每张第三图像进行处理,以得到多张处理后的第三图像,所述多张处理后的第三图像中每张图像的分辨率均为预设分辨率,
其中,所述目标视频包括所述多张处理后的第三图像。
20.根据权利要求18所述的设备,其特征在于,当所述目标运镜方式为所述移镜头、所述摇镜头或者跟镜头时,所述融合单元具体用于:
对所述多张第一图像进行主体检测和提取,获取多张第一图像中每张第一图像的ROI,并对所述多张第一图像中每张第一图像的ROI进行裁剪,得到多张第四图像,其中,所述多张第四图像中的每张第四图像中均包括主体对象;所述多张第一图像和所述多张第四图像一一对应,所述多张第四图像中每张第四图像的时间戳与该第四图像对应的第一图像的时间戳相同;
对所述多张第四图像中的每张第四图像进行处理,得到多张第五图像,所述多张第五图像中每张第五图像的分辨率为预设分辨率;所述多张第四图像和所述多张第五图像一一对应,所述多张第五图像中每张第五图像的时间戳与该第五图像对应的第四图像的时间戳相同
从所述多张第二图像和所述多张第五图像中获取多个第二图像对,所述多个第二图像对中每个第二图像对包括时间戳相同的第五图像和第二图像;
从所述多个第二图像对中获取多张第二目标图像,所述多张第二目标图像与所述多个图像对一一对应;其中,对于所述多个第二图像对中的每个第二图像对,当该第二图像对中第五图像的内容与第二图像的内容重合时,该第二图像对所对应的第二目标图像为所述第二图像;当该第二图像对中第五图像的内容与第二图像的内容不重合时,该图像对所对应的第二目标图像为所述第五图像;
其中,所述目标视频包括所述多张第二目标图像。
21.根据权利要求15-20任一项所述的设备,其特征在于,所述设备还包括:
显示单元,用于显示所述第一摄像头采集的图像、所述第二摄像头采集的图像和所述目标视频;
其中,所述显示单元所显示界面包括第一区域、第二区域和第三区域,所述第一区域显示所述第一摄像头采集的图像,所述第二区域用于显示所述第二摄像头采集的图像,所述第三区域用于显示所述目标视频。
22.根据权利要求21所述的设备,其特征在于,所述第一区域包括第四区域,所述第四区域用于显示所述第一摄像头采集的图像中与所述第二摄像头采集的图像重叠的部分。
23.根据权利要求15-18任一项所述的设备,其特征在于,所述融合单元具体用于:
根据所述目标运镜方式对所述多张第一图像、所述多张第二图像和多张第六图像进行融合,得到所述目标视频;
其中,所述第六图像为第三摄像头针对所述拍摄对象拍摄得到的,所述第三摄像头的参数与所述第一摄像头不相同,所述第三摄像头的参数与第二摄像头的参数不相同。
24.根据权利要求23所述的设备,其特征在于,当所述目标运镜方式为所述推镜头或拉镜头时,所述融合单元具体用于:
获取所述多张第一图像中每张图像的预设区域,所述多张第一图像的预设区域内均包括所述主体对象,且,当所述目标运镜方式为所述推镜头时,所述多张第一图像中的预设区域的尺寸是在时间顺序逐渐缩小的;当所述目标运镜方式为所述拉镜头时,所述多张第一图像中的预设区域的尺寸是随着时间顺序逐渐增大的;
从所述多张第一图像、所述多张第二图像和所述多张第六图像获取多个第三图像对,所述多个第三图像对中的每个第三图像对中均包括时间戳相同的第一图像,第二图像和第六图像;
从所述多个第三图像对中获取多张第三目标图像,所述多张第三目标图像与所述多个第三图像对一一对应;其中,所述多张第三目标图像中的每张第三目标图像为其对应的第三图像对中视角范围最小的,且包含所述第一图像的预设区域内的图像;
从所述多张第三目标图像中的每张第三目标图像中裁剪出与该第三目标图像所属的第三图像对内的第一图像的预设区域内图像重叠的部分,以得到多张第七图像;
对所述多张第七图像中的每张第七图像进行处理,以得到多张第八图像,所述多张第八图像中每张第八图像的分辨率均为预设分辨率,
其中,所述目标视频包括所述多张第八图像。
25.根据权利要求23所述的设备,其特征在于,当所述目标运镜方式为所述跟镜头、移镜头或者摇镜头时,所述融合单元具体用于:
对所述多张第一图像进行主体检测和提取,获取多张第一图像中每张第一图像的ROI;
从所述多张第一图像、所述多张第二图像和所述多张第六图获取多个第四图像对,所述多个第四图像对中的每个第四图像对中均包括时间戳相同的第一图像,第二图像和第六图像;
从所述多个第四图像对中获取多张第四目标图像,所述多张第四目标图像与所述多个第四图像对一一对应;其中,所述多张第四目标图像中的每张第四目标图像为其对应的第四图像对中视角范围最小的,且包含所述第一图像的ROI内的图像;
从所述多张第四目标图像中的每张第四目标图像中裁剪出与该第四目标图像所属的第四图像对内的第一图像的ROI内图像重叠的部分,以得到多张第九图像;
对所述多张第九图像中的每张第九图像进行处理,以得到多张第十图像,所述多张第十图像中每张第十图像的分辨率均为预设分辨率,
其中,所述目标视频包括所述多张第十图像。
26.根据权利要求23-25任一项所述的设备,其特征在于,所述设备还包括:
显示单元,用于显示所述第一摄像头采集的图像、所述第二摄像头采集的图像和所述第三摄像头采集的图像和所述目标视频;
所述显示单元所显示界面包括第一区域、第二区域和第三区域,所述第一区域包括第五区域,所述第五区域包括第四区域,
所述第一区域显示所述第一摄像头采集的图像,所述第二区域用于显示所述第二摄像头采集的图像,所述第三区域用于显示所述目标视频,所述第四区域用于显示所述第一摄像头采集的图像中与所述二摄像头采集的图像重叠的部分;
所述第五区域用于显示所述第二摄像头采集的图像中与所述第三摄像头采集的图像重叠的部分。
27.一种电子设备,包括触控屏,存储器,一个或多个处理器;其中,所述存储器存储有一个或多个程序;其特征在于,所述一个或多个处理器在执行所述一个或多个程序时,使得所述电子设备实现如权利要求1至13任一项所述的方法。
28.一种计算机存储介质,其特征在于,包括计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行如权利要求1至13任一项所述的方法。
29.一种计算机程序产品,其特征在于,当所述计算机程序产品在计算机上运行时,使得所述计算机执行如权利要求1至13任一项所述的方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011037347.5A CN114285963B (zh) | 2020-09-27 | 2020-09-27 | 多镜头视频录制方法及相关设备 |
CN202310410670.XA CN116405776A (zh) | 2020-09-27 | 2020-09-27 | 多镜头视频录制方法及相关设备 |
PCT/CN2021/104116 WO2022062554A1 (zh) | 2020-09-27 | 2021-07-01 | 多镜头视频录制方法及相关设备 |
EP21870933.5A EP4210319A4 (en) | 2020-09-27 | 2021-07-01 | MULTI-LENS VIDEO RECORDING METHOD AND RELATED DEVICE |
US18/189,319 US20230247293A1 (en) | 2020-09-27 | 2023-03-24 | Multi-lens video recording method and related device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011037347.5A CN114285963B (zh) | 2020-09-27 | 2020-09-27 | 多镜头视频录制方法及相关设备 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310410670.XA Division CN116405776A (zh) | 2020-09-27 | 2020-09-27 | 多镜头视频录制方法及相关设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114285963A true CN114285963A (zh) | 2022-04-05 |
CN114285963B CN114285963B (zh) | 2023-04-18 |
Family
ID=80846162
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310410670.XA Pending CN116405776A (zh) | 2020-09-27 | 2020-09-27 | 多镜头视频录制方法及相关设备 |
CN202011037347.5A Active CN114285963B (zh) | 2020-09-27 | 2020-09-27 | 多镜头视频录制方法及相关设备 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310410670.XA Pending CN116405776A (zh) | 2020-09-27 | 2020-09-27 | 多镜头视频录制方法及相关设备 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230247293A1 (zh) |
EP (1) | EP4210319A4 (zh) |
CN (2) | CN116405776A (zh) |
WO (1) | WO2022062554A1 (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003008993A (ja) * | 2001-06-26 | 2003-01-10 | Nippon Hoso Kyokai <Nhk> | 画像合成装置及び方法 |
CN101090442A (zh) * | 2006-06-13 | 2007-12-19 | 三星电子株式会社 | 用有多个摄像镜头的移动通信终端拍摄图像的方法和设备 |
CN106664356A (zh) * | 2014-08-14 | 2017-05-10 | 三星电子株式会社 | 图像拍摄装置、通过使用多个图像拍摄装置执行拍摄的图像拍摄系统及其图像拍摄方法 |
US20180007285A1 (en) * | 2016-07-04 | 2018-01-04 | Yuan-Ting Fang | Image fusion method for multiple lenses and device thereof |
CN111010510A (zh) * | 2019-12-10 | 2020-04-14 | 维沃移动通信有限公司 | 一种拍摄控制方法、装置及电子设备 |
CN111083380A (zh) * | 2019-12-31 | 2020-04-28 | 维沃移动通信有限公司 | 一种视频处理方法、电子设备及存储介质 |
CN111641778A (zh) * | 2018-03-26 | 2020-09-08 | 华为技术有限公司 | 一种拍摄方法、装置与设备 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2392530A1 (en) * | 1999-11-24 | 2001-05-31 | Inmotion Technologies Ltd. | Coordination and combination of video sequences with spatial and temporal normalization |
WO2018116322A1 (en) * | 2016-12-20 | 2018-06-28 | Indian Institute Of Technology Madras | System and method for generating pan shots from videos |
US10666877B2 (en) * | 2018-09-14 | 2020-05-26 | Motorola Solutions, Inc. | Synopsizing videos from multiple moving video cameras |
CN109409321B (zh) * | 2018-11-08 | 2021-02-05 | 北京奇艺世纪科技有限公司 | 一种镜头运动方式的确定方法及装置 |
CN110266957B (zh) * | 2019-07-09 | 2021-02-09 | 维沃移动通信有限公司 | 影像拍摄方法及移动终端 |
-
2020
- 2020-09-27 CN CN202310410670.XA patent/CN116405776A/zh active Pending
- 2020-09-27 CN CN202011037347.5A patent/CN114285963B/zh active Active
-
2021
- 2021-07-01 EP EP21870933.5A patent/EP4210319A4/en active Pending
- 2021-07-01 WO PCT/CN2021/104116 patent/WO2022062554A1/zh unknown
-
2023
- 2023-03-24 US US18/189,319 patent/US20230247293A1/en active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003008993A (ja) * | 2001-06-26 | 2003-01-10 | Nippon Hoso Kyokai <Nhk> | 画像合成装置及び方法 |
CN101090442A (zh) * | 2006-06-13 | 2007-12-19 | 三星电子株式会社 | 用有多个摄像镜头的移动通信终端拍摄图像的方法和设备 |
CN106664356A (zh) * | 2014-08-14 | 2017-05-10 | 三星电子株式会社 | 图像拍摄装置、通过使用多个图像拍摄装置执行拍摄的图像拍摄系统及其图像拍摄方法 |
US20180007285A1 (en) * | 2016-07-04 | 2018-01-04 | Yuan-Ting Fang | Image fusion method for multiple lenses and device thereof |
CN111641778A (zh) * | 2018-03-26 | 2020-09-08 | 华为技术有限公司 | 一种拍摄方法、装置与设备 |
CN111010510A (zh) * | 2019-12-10 | 2020-04-14 | 维沃移动通信有限公司 | 一种拍摄控制方法、装置及电子设备 |
CN111083380A (zh) * | 2019-12-31 | 2020-04-28 | 维沃移动通信有限公司 | 一种视频处理方法、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114285963B (zh) | 2023-04-18 |
CN116405776A (zh) | 2023-07-07 |
WO2022062554A1 (zh) | 2022-03-31 |
US20230247293A1 (en) | 2023-08-03 |
EP4210319A1 (en) | 2023-07-12 |
EP4210319A4 (en) | 2024-03-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11831977B2 (en) | Photographing and processing method and electronic device | |
CN110072070B (zh) | 一种多路录像方法及设备、介质 | |
US11949978B2 (en) | Image content removal method and related apparatus | |
US20230089566A1 (en) | Video generation method and related apparatus | |
CN113747085B (zh) | 拍摄视频的方法和装置 | |
CN113099146B (zh) | 一种视频生成方法、装置及相关设备 | |
WO2022001806A1 (zh) | 图像变换方法和装置 | |
US20230224575A1 (en) | Shooting method and device | |
US20210409588A1 (en) | Method for Shooting Long-Exposure Image and Electronic Device | |
EP4325877A1 (en) | Photographing method and related device | |
CN113497890B (zh) | 一种拍摄方法及设备 | |
CN115484403B (zh) | 录像方法和相关装置 | |
WO2021180046A1 (zh) | 图像留色方法及设备 | |
CN114866860A (zh) | 一种播放视频的方法及电子设备 | |
WO2023231697A1 (zh) | 一种拍摄方法及相关设备 | |
EP4273684A1 (en) | Photographing method and electronic device | |
CN114285963B (zh) | 多镜头视频录制方法及相关设备 | |
CN115734032A (zh) | 视频剪辑方法、电子设备及存储介质 | |
CN115225756A (zh) | 确定目标对象的方法、拍摄方法和装置 | |
CN114697530A (zh) | 一种智能取景推荐的拍照方法及装置 | |
CN114915722B (zh) | 处理视频的方法和装置 | |
CN116055861B (zh) | 一种视频编辑方法和电子设备 | |
CN116055867B (zh) | 一种拍摄方法和电子设备 | |
WO2023231696A1 (zh) | 一种拍摄方法及相关设备 | |
CN115037872B (zh) | 视频处理方法和相关装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |