CN113676655B - 拍摄方法、装置、移动终端及芯片系统 - Google Patents
拍摄方法、装置、移动终端及芯片系统 Download PDFInfo
- Publication number
- CN113676655B CN113676655B CN202010417818.9A CN202010417818A CN113676655B CN 113676655 B CN113676655 B CN 113676655B CN 202010417818 A CN202010417818 A CN 202010417818A CN 113676655 B CN113676655 B CN 113676655B
- Authority
- CN
- China
- Prior art keywords
- image
- area
- tracking
- processing
- preview
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本申请适用于视频拍摄技术领域,提供了一种拍摄方法、装置、移动终端及芯片系统,所述拍摄方法包括:获取移动终端的摄像头采集的原始图像,对所述原始图像进行抖动校正处理和目标跟踪处理,获得处理图像以及所述处理图像中包含跟踪目标的预览区域,将所述预览区域中的图像作为预览画面进行显示,通过本申请可以对摄像头采集的低倍原始图像进行抖动校正处理,避免了画面的抖动,进行目标跟踪处理避免了画面中跟踪目标的晃动,在经过抖动校正处理和目标跟踪处理后,获得的预览区域是低倍原始图像对应的处理图像中的某个区域,将该区域中的图像作为预览画面进行显示,就能够呈现稳定的高倍拍摄效果。
Description
技术领域
本申请涉及视频拍摄领域,尤其涉及一种拍摄方法、装置、移动终端及芯片系统。
背景技术
随着摄像技术的发展,越来越多的移动终端上集成了摄像头,用户携带移动终端可以随时随地的进行拍摄。
当用户通过移动终端上的摄像头跟拍拍摄对象时,经常会出现画面抖动的现象,尤其是在高倍场景下跟拍摄对象时,画面抖动现象更严重,甚至出现很难抓拍到感兴趣的拍摄对象。
发明内容
本申请实施例提供一种拍摄方法、装置、移动终端及芯片系统,解决了高倍场景下画面抖动,无法抓拍感兴趣的拍摄对象的问题。
为达到上述目的,本申请采用如下技术方案:
第一方面,本申请实施例提供一种拍摄方法,包括:
获取移动终端的摄像头采集的原始图像;
对所述原始图像进行抖动校正处理和目标跟踪处理,获得处理图像以及所述处理图像中包含跟踪目标的预览区域;
将所述预览区域中的图像作为预览画面进行显示。
在第一方面的一种可能的实现方式中,所述对所述原始图像进行抖动校正处理和目标跟踪处理,获得处理图像以及所述处理图像中包含跟踪目标的预览区域,包括:
对所述原始图像进行抖动校正处理,获得处理图像以及所述处理图像中的校正区域;
从所述原始图像中找出跟踪目标,并基于所述跟踪目标在所述原始图像中的位置,在所述原始图像中确定跟踪区域;
基于所述校正区域和所述跟踪区域对所述处理图像进行联合裁切,获得所述处理图像中的预览区域。
在第一方面的一种可能的实现方式中,所述对所述原始图像进行抖动校正处理和目标跟踪处理,获得处理图像以及所述处理图像中包含跟踪目标的预览区域,包括:
对所述原始图像进行抖动校正处理,获得处理图像以及所述处理图像中的校正区域;
从所述校正区域中找出跟踪目标,基于所述跟踪目标在所述校正区域的位置,在所述校正区域中确定跟踪区域,并将所述跟踪区域作为预览区域。
在第一方面的一种可能的实现方式中,所述对所述原始图像进行抖动校正处理和目标跟踪处理,获得处理图像以及所述处理图像中包含跟踪目标的预览区域,包括:
从所述原始图像中找出跟踪目标,并基于所述跟踪目标在所述原始图像的位置,在所述原始图像中确定跟踪区域;
对所述跟踪区域内的图像进行抖动校正处理,获得处理图像以及所述处理图像中的校正区域,并将所述校正区域作为预览区域。
在第一方面的一种可能的实现方式中,所述抖动校正处理包括:
获取待校正处理的图像,并获取所述待校正处理的图像采集时刻所述移动终端的抖动信息;
对所述待校正处理的图像进行第一裁切处理,获得边缘图像和中间图像;
基于所述抖动信息和所述边缘图像对所述中间图像进行补偿,获得处理图像,其中,所述中间图像对应的区域为校正区域。
在第一方面的一种可能的实现方式中,所述目标跟踪处理包括:
基于注意力机制从待跟踪处理的图像和/或待跟踪处理的图像之前的N帧图像中,找到跟踪目标,其中,N≥1;
基于所述跟踪目标在所述待跟踪处理的图像中的位置,进行第二裁切处理,以在待跟踪处理的图像中确定出跟踪区域。
在第一方面的一种可能的实现方式中,在将所述预览区域中的图像作为预览画面进行显示之前,还包括:
对所述处理图像中的预览区域进行平滑处理,获得平滑处理后的预览区域;
相应的,所述将所述预览区域中的图像作为预览画面进行显示包括:
将所述平滑处理后的预览区域中的图像作为预览画面进行显示。
在第一方面的一种可能的实现方式中,所述对所述预览区域进行平滑处理包括:
通过至少两个滤波器分别对所述处理图像中的预览区域进行平滑处理,获得每个滤波器对应的平滑子区域;
通过决策器判定每个滤波器的权重;
基于每个滤波器的权重,对每个滤波器对应的平滑子区域进行融合处理,获得平滑处理后的预览区域。
在第一方面的一种可能的实现方式中,在获得处理图像以及所述处理图像中包含跟踪目标的预览区域之后,还包括:
基于所述预览区域中的跟踪目标在所述原始图像中的大小,对所述摄像头进行变焦处理,其中,变焦处理后的摄像头用于采集下一帧原始图像。
在第一方面的一种可能的实现方式中,所述移动终端上设置的摄像头的个数为至少两个;
在对所述摄像头进行变焦处理之后,还包括:
从变焦处理后的摄像头中选取一个作为主摄像头,其中,所述主摄像头为采集下一帧原始图像的摄像头。
在第一方面的一种可能的实现方式中,所述从变焦处理后的摄像头中选取一个作为主摄像头包括:
根据所述预览区域中的跟踪目标在所述原始图像中的位置,从所述变焦处理后的摄像头中选取一个作为主摄像头。
第二方面,本申请实施例提供一种拍摄装置,包括:
图像获取单元,用于获取移动终端的摄像头采集的原始图像;
图像处理单元,用于对所述原始图像进行抖动校正处理和目标跟踪处理,获得处理图像以及所述处理图像中包含跟踪目标的预览区域;
图像显示单元,用于将所述预览区域中的图像作为预览画面进行显示。
第三方面,提供一种移动终端,包括:存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现本申请第一方面任一项所述方法的步骤。
第四方面,提供一种芯片系统,包括:处理器,所述处理器与存储器耦合,所述处理器执行存储器中存储的计算机程序,以实现本申请第一方面任一项所述方法的步骤。
第五方面,提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被一个或多个处理器执行时实现本申请第一方面任一项所述方法的步骤。
第六方面,本申请实施例提供了一种计算机程序产品,当计算机程序产品在移动终端上运行时,使得移动终端执行上述第一方面中任一项所述方法。
本申请提供的拍摄方法通过摄像头采集原始图像,原始图像为低倍图像,进行抖动校正处理的过程避免了画面的抖动,进行目标跟踪处理的过程避免了画面中跟踪目标的晃动,在经过抖动校正处理和目标跟踪处理后,可以获得抖动校正处理后的处理图像,同时能够获得处理图像中的某个区域,该区域大小是小于原始图像大小的,最后将该区域中的图像作为预览画面进行显示,这样就能够呈现稳定的高倍拍摄效果;即本申请实施例的抖动校正处理和目标跟踪处理通过裁剪补偿的方式避免了画面抖动,通过裁剪的方式又避免了画面中跟踪目标的晃动,通过裁剪的方式还实现高倍场景拍摄。
可以理解的是,上述第二方面至第六方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。
附图说明
图1为本申请实施例提供的一种拍摄方法的应用场景的示意图;
图2为本申请实施例提供的一种拍摄方法的流程示意图;
图3为本申请实施例提供的一种抖动校正处理后校正区域和目标跟踪处理后的跟踪区域的示意图;
图4为本申请实施例提供的另一种拍摄方法的流程示意图;
图5为图4所示实施例提供的拍摄方法对应的校正区域、跟踪区域和预览区域的示意图;
图6为本申请实施例提供的另一种拍摄方法的流程示意图;
图7为图6所示实施例提供的拍摄方法对应的校正区域、跟踪区域和预览区域的示意图;
图8为本申请实施例提供的另一种拍摄方法的流程示意图;
图9为本申请实施例提供的拍摄方法对应的校正区域、跟踪区域和预览区域的示意图;
图10为本申请实施例提供的拍摄方法中平滑处理过程的示意图;
图11为本申请实施例提供的另一种拍摄方法的流程示意图;
图12为本申请实施例提供的一种拍摄装置的示意性框图;
图13为本申请实施例提供的一种移动终端的示意性框图;
图14为本申请实施例提供的一种移动终端的软件结构示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在本申请实施例中,“一个或多个”是指一个、两个或两个以上;“和/或”,描述关联对象的关联关系,表示可以存在三种关系;例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。
如在本申请说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外,在本申请说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
为了说明本申请所述的技术方案,下面通过具体实施例来进行说明。
图1示出了本申请实施例提供的拍摄方法的一种应用场景示意图,如图所示,用户(人1)手持手机对拍摄对象(人2)进行拍摄,人2可能在进行走路、奔跑等,人1为了对人2进行跟踪拍摄,可能同样需要走路、奔跑等,用户在走路或奔跑的过程中,手机会随着用户走路或奔跑的出现抖动,当高倍拍摄场景下,会放大这种抖动,导致手机内的人2出现模糊现象;另外,当人2在进行奔跑或进行跳动时,用户可能需要奔跑以能够跟随上人2,随着人2跳动或者人1拍摄时进行奔跑,高倍拍摄场景下,也会放大画面中人2的晃动,导致手机内的人2一会出现手机画面中的左侧,例如图1中(a);一会出现在手机画面中的右侧,甚至手机画面中仅出现人2的部分画面,例如图1中(b)。为了解决高倍场景下的上述问题,提供了一种拍摄方法,具体可参见下述对拍摄方法的描述。
图2示出了本申请实施例提供的一种拍摄方法的示意性流程图,作为示例而非限定,该方法可以应用于移动终端中。
步骤S201,获取移动终端的摄像头采集的原始图像。
在本申请实施例中,所述移动终端可以是带有摄像功能的可移动的设备,例如,手机、相机、摄影机、平板电脑、监控摄像头、笔记本等,可以通过所述移动终端上自带的摄像头或者另外接入的摄像头进行拍摄。所述原始图像表示进行后续抖动校正处理和目标跟踪处理前的图像,所述原始图像可以是所述摄像头采集到的原始大图,也可以是所述摄像头采集到的原始大图进行预处理后的图像。所述原始大图可以是摄像头的传感器中的全部像素点均工作时,传感器采集的信息生成的图像。
步骤S202,对所述原始图像进行抖动校正处理和目标跟踪处理,获得处理图像以及所述处理图像中包含跟踪目标的预览区域。
在本申请实施例中,由于在跟踪拍摄的过程中,随着跟拍对象移动,用户也会移动身体,导致用户手持的移动终端出现抖动,另外,即使用户手持移动终端时通过一定的锻炼或者一些稳定性较好的姿势,也很难避免出现“手抖”现象。
在低倍场景下进行拍摄时,由于移动终端采集图像时的视野范围较大,移动终端的抖动现象对采集的图像造成的影响比较小。然而,在高倍场景下进行拍摄时,移动终端采集图像时的视野范围较小,移动终端的抖动现象会对采集的图像造成比较大的影响,例如,视频中的画面抖动等。因此,在高倍场景下,就需要进行抖动校正处理。
目前,抖动校正处理的方式包括:光学防抖、电子防抖和机身传感器防抖等。
光学防抖是通过镜头的浮动透镜来纠正“光轴偏移”。其原理是通过镜头内的陀螺仪侦测到微小的移动,然后将信号传至微处理器,微处理器立即计算需要补偿的位移量,然后通过补偿镜片组,根据镜头的抖动方向及位移量加以补偿;从而有效地克服因相机的振动产生的影像模糊。
传感器防抖技术原理和镜头防抖差不多,其主要将传感器安装在一个可自由浮动的支架上,同样配合需要陀螺仪感应相机的抖动方向和幅度,进而控制传感器进行对应的位移补偿。为何要涉及如此多的修正方向,主要原因是减少拍照时手的不规则抖动。
所述光学防抖和所述传感器防抖均需要硬件上的参与,而电子防抖无需硬件辅助也可实现,主要通过软件对传感器上的图像进行分析和处理。当图像被拍糊时,利用边缘图像对中间模糊部分进行补偿,从而实现“防抖”,其防抖原理更像是对照片进行“后期处理”。
开启电子防抖后,取景画面会有非常明显的裁切,然而被裁切的部分并非是边缘的传感器停止了工作,而是电子防抖系统会将这一部分的数据用于抖动补偿。也可以理解为图像被裁切成两部分,最外面的部分(边缘部分)用于补偿里面的一部分(中间模糊部分)。在没有硬件防抖的前提下依然能带来一定的防抖效果。
本申请实施例可以采用电子防抖,在不增加外部硬件的情况下,同样实现“防抖”处理,且采用的电子防抖进行抖动校正处理后,得到的处理图像中中间被补偿的区域(中间图像)能够变得更加清晰,,这个区域可以成为校正区域,同时可以生成校正检测框,得到的也可以是校正检测框的坐标,参见图3,图3是本申请实施例提供的抖动校正处理后校正区域和目标跟踪处理后的跟踪区域的示意图,如图3中(a)所示,假设A为原始图像,那么原始图像经过抖动校正处理后得到处理图像A’,处理图像A’和原始图像A的大小一致,区别在于处理图像A’的中间图像相对于原始图像A更清晰,B为校正区域,抖动校正处理后,得到的可以是校正区域四个角的坐标,还可以是校正区域的中心点坐标以及校正区域的中心点坐标与边长的距离。
图3中未示出抖动校正处理后图像清晰度的变化,仅示出了校正区域与处理图像(原始图像)的位置关系,本申请实施例中虽然重点描述了校正区域,但不可否认,校正区域的生成过程是随着抖动校正处理过程进行的,即抖动校正处理的过程首先对原始图像的中间模糊部分进行补偿,补偿后获得的是处理图像,本申请实施例的对原始图像进行抖动校正处理后获得的处理图像和原始图像大小一致,因此,处理图像中包含了边缘图像和中间被补偿后的图像,在补偿后自然就获得了校正区域,校正区域内的图像就是补偿后的较清晰的中间部分的图像。
在跟踪拍摄的过程中,随着跟拍对象(即跟踪目标)移动,用户也会移动身体,当跟踪目标和用户的步伐不一致,或者拍摄角度、方向改变时,会导致跟踪目标在镜头画面中的位置经常晃动,严重的情况下,跟踪目标甚至跳出镜头画面之外。
作为举例,当用户手持手机拍摄奔跑的小狗时,用户需要紧跟小狗进行奔跑,然而,小狗奔跑的路线并不固定,是随机的,用户甚至无法预判小狗奔跑的方向,这就导致用户在跟拍的过程中,镜头画面中小狗的位置一直在晃动,可能几秒钟之内,小狗一会出现在镜头画面的中间,一会出现在镜头画面的左侧,一会出现在镜头画面的右下角。这样,在进行回看时,观看的效果非常差。
鉴于上述情况,本申请实施例还增加了目标跟踪处理。在进行目标跟踪处理时,需要确定出跟踪目标。例如,用户跟拍的过程中,通过在所述移动终端的触控屏选定某个区域(例如,通过点选的方式选定点选的位置周围预设范围内的区域,或者,通过画圈的方式选定某个区域),将该区域内的目标作为要跟踪的目标;也可以检测画面中的前景图像,将前景图像作为跟踪目标;还可以采用Attention算法在当前图像中找到显著性物体作为跟踪目标。
本申请实施例在确定了跟踪目标后,得到的也可以是一个区域,例如,目标跟踪处理后得到的跟踪检测框的坐标,如图3中(b)所示,A为原始图像,C为跟踪区域,目标跟踪处理后,得到的可以是跟踪区域四个角的坐标,还可以是跟踪区域的中心点坐标以及跟踪区域的中心点坐标与边长的距离。
在本申请实施例中,抖动校正处理过程可以采用相同的逻辑,例如,获得的校正检测框中场景的变化最小原则。目标跟踪处理过程也可以采用相同的逻辑,例如,获得的跟踪检测框中跟踪目标的位置和大小匹配度最大原则。这样,避免原始图像序列对应的预览区域中的预览画面序列出现较大的画面抖动以及较大的跟踪目标位置抖动。
便于对方案更清晰的理解,通过举例说明获得的校正检测框中场景的变化最小原则,第i帧图像进行抖动校正处理后,获得的校正检测框内的画面为Bi,第i+1帧图像进行抖动校正处理过程是保证获得的校正检测框内的画面Bi+1与Bi中背景图像的差异最小,即连续的图像帧(连续的原始图像对应的校正检测框内的画面)之间背景图像变化的较小,从而实现比较流畅的观看效果。
通过举例说明获得的跟踪检测框中跟踪目标的位置和大小匹配度最大原则,第i帧图像进行目标跟踪处理后,获得的跟踪检测框内的画面为Ci,第i+1帧图像进行目标跟踪处理过程是保证获得的跟踪检测框内的画面Ci+1与Ci中跟踪目标的位置和大小的差异最小,即连续的图像帧(连续的原始图像对应的跟踪检测框内的画面)之间跟踪目标的位置和大小变化最小,实现比较流畅的观看效果。
为了方便描述,可以将进行抖动校正处理后获得的校正检测框记为校正区域,将对进行目标跟踪处理后获得的跟踪检测框记为跟踪区域,对采集的原始图像进行抖动校正处理和目标跟踪处理后的区域记为预览区域。
步骤S203,将所述预览区域中的图像作为预览画面进行显示。
在本申请实施例中,可以将所述预览区域中的图像输给显示器,作为预览画面进行显示。在进行视频拍摄时,所述预览画面为显示的视频流中的图像帧。
本申请实施例通过摄像头采集原始图像,原始图像为低倍图像,然后通过抖动校正处理避免了画面的抖动,通过目标跟踪处理避免了画面中跟踪目标的晃动,在经过抖动校正处理和目标跟踪处理后,获得的是原始图像对应的处理图像中某个区域,最后将该区域中的处理图像作为预览画面进行显示,这样就能够呈现稳定的高倍效果。即本申请实施例的抖动校正处理和目标跟踪处理通过裁剪的方式既避免了画面抖动,又避免了画面中跟踪目标的晃动,还通过裁剪的方式划定原始图像中的某个区域,该区域对应的处理图像作为预览画面显示,同时实现高倍场景拍摄。
图4示出了本申请实施例提供的一种拍摄方法的示意性流程图,作为示例而非限定,该方法可以应用于移动终端中。
步骤S401,获取移动终端的摄像头采集的原始图像。
在本申请实施例中,步骤S401和步骤S201内容一致,具体可参照步骤S201的描述,在此不再赘述。
步骤S402,对所述原始图像进行抖动校正处理,获得处理图像以及所述处理图像中的校正区域。
在本申请实施例中,所述抖动校正处理的过程是是采用电子防抖(ElectricImage Stabilization,EIS)演算法运算,通过画面裁剪补偿方式来避免模糊。
参见图5,图5为本申请实施例提供的抖动校正处理和目标跟踪处理的流程示意图;如图5中(a)所示,原始图像A经过抖动校正处理后,获得处理图像A’,处理图像A’与原始图像A的大小一致,校正区域B为校正处理过程中裁切后的中间模糊图像对应的区域。
步骤S403,从所述原始图像中找出跟踪目标,并基于所述跟踪目标在所述原始图像中的位置,在所述原始图像中确定跟踪区域。
在本申请实施例中,进行目标跟踪处理时,可以基于原始图像进行目标跟踪处理,例如,从原始图像中找出跟踪目标,根据跟踪目标在原始图像中的位置,可以在原始图像中确定出跟踪区域。
在原始图像中确定出跟踪区域的原则还可以是根据跟踪目标在原始图像中的位置和大小以及与所述跟踪目标对应的构图模型确定。
如图5中(b)所示,原始图像A经过目标跟踪处理后,获得跟踪区域C。
步骤S404,基于所述校正区域和所述跟踪区域对所述处理图像进行联合裁切,获得所述处理图像中的预览区域。
在本申请实施例中,所述联合裁切的过程目的不是对处理图像进行裁剪,而是最终会确定出一个区域,该区域记为预览区域,处理图像中预览区域对应的画面可以作为预览画面。同时,校正区域、跟踪区域和预览区域可以是坐标的表示。校正区域对应的坐标可以映射到原始图像中,也可以映射到处理图像中;同样,跟踪区域对应的坐标也可以映射到原始图像中,也可以映射到处理图像中;预览区域对应的坐标也可以映射到原始图像中,也可以映射到处理图像中。预览区域映射到处理图像中对应的画面就是处理图像中预览区域对应的坐标表示的范围内的画面。
在进行联合裁切时,需要根据处理图像(当前帧原始图像对应的处理图像)对应的校正区域的中心点(也可以包括校正区域的边长)和跟踪区域的中心点(也可以包括跟踪区域的边长)进行融合,获得处理图像中的预览区域。也可以理解为校正区域和跟踪区域均为带有坐标的框,将两个框融合后,获得的融合后的框的坐标映射到处理图像中就是预览区域。通过上述描述也可得知,抖动校正处理除了本身对图像的清晰度的处理之外,实际上获得的校正区域就是相对于原始图像的坐标或者相对于处理图像(与原始图像大小一致)的坐标。
为了使得当前帧原始图像对应的预览区域与上一帧原始图像对应的预览区域具有较流畅的视觉效果,还可以参照上一帧原始图像对应的预览画面,例如上一帧原始图像对应的预览画面的中心点,或上一帧原始图像对应的校正区域的中心点,上一帧原始图像对应的跟踪区域的中心点,当然,除了上述中心点可以作为参数之外,还可以将区域(预览区域、校正区域或跟踪区域)边长作为一个参数。
作为举例,在以当前帧原始图像对应的校正区域的中心点、上一帧原始图像对应的校正区域的中心点、和当前图像对应的跟踪区域的中心点和上一帧原始图像对应的跟踪区域的中心点联合获得预览区域为参数时,可以通过以下公式:
其中,F为预览区域,α和β为常数,为以上一帧原始图像对应的校正区域的中心点和当前帧原始图像对应的校正区域的中心点为变量的函数,为以上一帧原始图像对应的跟踪区域的中心点和当前帧原始图像对应的跟踪区域的中心点为变量的函数。
通过上述公式也可以看出,联合裁切时所述预览区域和当前帧原始图像对应的校正区域和跟踪区域的位置相关,同时也和上一帧原始图像对应的校正区域和跟踪区域的位置(或上一帧原始图像对应的预览区域)相关。
与上一帧原始图像对应的校正区域和跟踪区域的位置相关是为了使得获得的当前帧的预览区域可以和上一帧原始图像对应的预览区域能够具有较稳定的预览效果。
如图5中(c)所示,为校正区域B和跟踪区域C的位置对比,如图5中(d)所示,是将校正区域B和跟踪区域C联合裁切后,获得的预览区域D。
步骤S404,将所述预览区域中的图像作为预览画面进行显示。
在本申请实施例中,步骤S404和步骤S203内容一致,可参照步骤S203的描述,在此不再赘述。
本申请实施例通过对原始图像进行抖动校正处理获得处理图像和校正区域,对原始图像进行目标跟踪处理获得跟踪区域,最后基于校正区域和跟踪区域对处理图像进行联合裁切,可以在高倍场景下获得较稳定平滑的视频画面。
图6示出了本申请实施例提供的一种拍摄方法的示意性流程图,作为示例而非限定,该方法可以应用于上述移动终端中。
步骤S601,获取移动终端的摄像头采集的原始图像。
在本申请实施例中,步骤S601和步骤S201内容一致,具体可参照步骤S201的描述,在此不再赘述。
步骤S602,对所述原始图像进行抖动校正处理,获得处理图像以及所述处理图像中的校正区域。
在本申请实施例中,步骤S602与步骤S402内容一致,具体可参照步骤S402的描述,在此不再赘述。
步骤S603,从所述校正区域中找出跟踪目标,基于所述跟踪目标在所述校正区域的位置,在所述校正区域中确定跟踪区域,并将所述跟踪区域作为预览区域。
在本申请实施例中,该步骤进行的目标跟踪处理,与图4所示实施例中步骤S403不同的是:图4所示实施例中,跟踪区域是从原始图像中确定的,而图6所示实施例跟踪区域是从步骤S602中获得的校正区域内的图像确定的,例如从校正区域映射在处理图像中时对应的画面确定的。或者从校正区域映射在原始图像中时对应的画面确定的。当然,确定跟踪区域时,还需要考虑跟踪目标在校正区域内的图像中的位置,或者构图模型等。
参见图7,图7为本申请实施例提供的拍摄方法对应的校正区域、跟踪区域和预览区域的示意图;如图7中(a)所示,先对原始图像A进行抖动校正处理获得处理图像A’和校正区域B,然后对校正区域B内的图像(校正区域映射在处理图像中时对应的画面)进行目标跟踪处理,获得跟踪区域C,跟踪区域C即预览区域。由于目标跟踪处理需要进行裁剪的过程,因此,跟踪区域C位于校正区域B内。当然,在确定跟踪区域时,还可以对校正区域B映射在原始图像中时对应的画面进行目标跟踪处理,不做限制。
步骤S604,将所述预览区域中的图像作为预览画面进行显示。
在本申请实施例中,步骤S604和步骤S203内容一致,可参照步骤S203的描述,在此不再赘述。
本申请实施例通过先对原始大图进行抖动校正处理,获得处理图像和校正区域,然后再对处理图像中校正区域内的图像进行目标跟踪处理,获得跟踪区域,获得跟踪区域即为预览区域,可以在高倍场景下获得较稳定平滑的视频画面。
图8示出了本申请实施例提供的一种拍摄方法的示意性流程图,作为示例而非限定,该方法可以应用于上述移动终端中。
步骤S801,获取移动终端的摄像头采集的原始图像。
在本申请实施例中,步骤S801和步骤S201内容一致,具体可参照步骤S201的描述,在此不再赘述。
步骤S802,从所述原始图像中找出跟踪目标,并基于所述跟踪目标在所述原始图像的位置,在所述原始图像中确定跟踪区域;
在本申请实施例中,步骤S802和步骤S403内容一致,可参照步骤S403的描述在此不再赘述。
步骤S803,对所述跟踪区域的图像进行抖动校正处理,在所述跟踪区域中确定校正区域,并将所述校正区域作为预览区域。
在本申请实施例中,和图4、图6所示实施例不同的是:本申请实施例是先对原始图像进行目标跟踪处理,获得跟踪区域后,再对跟踪区域内的图像进行抖动校正处理,获得处理图像和校正区域,需要说明,此时获得的处理图像并不是原始图像大小,而是跟踪区域的大小。
参见图9,图9为本申请实施例提供的拍摄方法对应的校正区域、跟踪区域和预览区域的示意图;如图9中(a)所示,先对原始图像A进行目标跟踪处理获得跟踪区域C,然后对跟踪区域C内的图像进行抖动校正处理,获得处理图像C’和校正区域B,校正区域B即预览区域。由于抖动校正处理需要进行裁剪的过程,因此,校正区域位于跟踪区域内。
步骤S804,将所述预览区域中的图像作为预览画面进行显示。
在本申请实施例中,步骤S804和步骤S203内容一致,可参照步骤S203的描述,在此不再赘述。
本申请实施例通过先对原始大图进行目标跟踪处理,获得跟踪区域,然后再对跟踪区域内的图像进行抖动校正处理,获得处理图像和处理图像内的校正区域,获得的校正区域即为预览区域,可以在高倍场景下获得较稳定平滑的视频画面。
作为本申请另一实施例,所述抖动校正处理的过程包括:
获取待校正处理的图像,并获取所述待校正处理的图像采集时刻所述移动终端的抖动信息;
对所述待校正处理的图像进行第一裁切处理,获得边缘图像和中间图像;
基于所述抖动信息和所述边缘图像对所述中间图像进行补偿,获得处理图像,其中,所述中间图像对应的区域为校正区域。
在本申请实施例中,所述待校正处理的图像为待进行抖动校正处理的图像,例如,图4和图6所示实施例中,对原始图像进行抖动校正处理,即原始图像为待校正处理的图像。图8所示实施例中,对跟踪区域的图像进行抖动校正处理,即跟踪区域内的图像为待校正处理的图像。
在进行抖动校正处理的过程中,需要利用待校正处理的图像采集时刻(若待校正处理的图像为跟踪区域内的图像,则跟踪区域内的图像对应的原始图像的采集时刻)所述移动终端的抖动信息,可以利用所述移动终端内部设置的陀螺仪采集所述移动终端的抖动信息,生成每个时刻对应的移动终端的抖动信息,从移动终端的抖动信息中获取待校正处理的图像采集时刻对应的移动终端的抖动信息。
基于所述抖动信息,可以对所述待校正处理的图像进行反向补偿,在进行反向补偿时需要进行第一裁切处理,即裁切出边缘图像和中间模糊图像,通过抖动信息计算出补偿量,然后通过边缘图像对中间模糊图像进行反向补偿,在进行抖动校正处理后,中间模糊图像反向补偿后会变得较为清晰,由于中间模糊图像为所述原始图像中的裁剪出来的,因此,在进行第一裁切处理后,就会得到一个区域,该区域内的图像是经过补偿后的图像,该区域可以记为校正区域。在进行抖动校正处理时,最后确定的校正区域与待进行抖动校正处理的图像的比例(例如,面积比例、长度比例、宽度比例等)可以预先设置。
作为本申请另一实施例,所述目标跟踪处理包括:
基于注意力机制从待跟踪处理的图像和/或待跟踪处理的图像之前的N帧图像中,找到跟踪目标,其中,N≥1;
基于所述跟踪目标在所述待跟踪处理的图像中的位置,进行第二裁切处理,以在待跟踪处理的图像中确定出。
在本申请实施例中,在对待跟踪处理的图像进行目标跟踪处理时,需要预先确定出跟踪目标,可以基于注意力机制从待跟踪处理的图像中找出跟踪目标,也可以从待跟踪处理的图像之前的N帧图像中,找出跟踪目标,还可以基于待跟踪处理的图像和待跟踪处理的图像之前的N帧图像中找出跟踪目标。
基于注意力机制的算法进行目标跟踪处理时,需要构建卷积神经网络模型,构建的卷积神经网络模型中输入数据或者特征图的不同部分对应的专注度不同。例如,在关注的每一个目标尺度上,都采用一个分类的网络和一个产生attention proposal的网络(APN)。APN可以由两个全连接层构成,输出3个参数表示方框的位置,接下来的尺度的分类网络只在这个新产生的方框图像中提取特征进行分类。在进行训练时,通过损失函数控制后一个尺度得到的分类结果要比上一个尺度的好,从而使APN提取出更利于精细分类的目标局部出来,随着训练进行后,APN将越来越聚焦目标上的细微的有区分性的部分。
在具体确定跟踪目标的过程中,可以将当前待跟踪处理的图像输入卷积神经网络模型中,也可以将待跟踪处理的图像对应的原始图像之前的N帧原始图像(或N帧原始图像对应的预览画面)输入卷积神经网络模型中,还可以将待跟踪处理的图像对应的原始图像之前的N帧图像(或N帧原始图像对应的预览画面)以及当前待跟踪处理的图像输入卷积神经网络模型中,从而输出跟踪目标,在此不对输入卷积神经网络模型的输入图像进行限制。
如果是根据待跟踪处理的图像之前的N帧图像中确定的跟踪目标,在找出跟踪目标后,需要确定待跟踪处理的图像中跟踪目标的位置,待跟踪处理的图像为即将进行目标跟踪处理的图像,如图4和图8所示实施例,在进行目标跟踪处理时,待跟踪处理的图像为原始图像,如图6所示实施例,在进行目标跟踪处理时,待跟踪处理的图像为校正区域内的图像(校正区域映射到原始图像中的画面或映射到处理图像中的画面)。在根据跟踪目标的位置输出跟踪区域时,跟踪区域的位置和大小可以根据跟踪目标的位置和大小确定,例如,可以设置为跟踪目标的最小外接矩形的中心点为跟踪区域的中心点,跟踪区域的长度和宽度可以预先进行设置。
需要说明,上述描述的第二裁切处理获得跟踪区域的过程仅用于举例,并不对获得跟踪区域的过程造成限制,在实际应用中,还可以选择其他获得跟踪区域的位置和大小的方式,在此不做限制。
在此需要说明,上述抖动校正处理和目标跟踪处理的过程仅用于举例,在实际应用中,图4、图6和图8实施例中的抖动校正处理和目标跟踪处理的过程还可以是区别与上述抖动校正处理和目标跟踪处理的过程。具体采用何种抖动校正处理和目标跟踪处理的方法在此不做限制。
作为本申请另一实施例,在将所述预览区域中的图像作为预览画面进行显示之前,还包括:
对所述处理图像中的预览区域进行平滑处理,获得平滑处理后的预览区域;
相应的,所述将所述预览区域中的图像作为预览画面进行显示包括:
将所述平滑处理后的预览区域中的图像作为预览画面进行显示。
在本申请实施例中,为了使得多帧预览画面之间具有更平滑的预览效果,还可以对所述预览区域中的图像进行平滑处理,获得平滑处理后的预览区域。将所述平滑处理后的预览区域中的图像作为预览画面进行显示。由于最终需要获得的为抖动校正处理后的图像,因此平滑处理后获得的预览画面是预览区域映射到处理图像中的画面。
所述平滑处理的过程可以是滤波器参照上一帧预览画面中跟踪目标的位置和大小对所述预览区域的位置和大小进行移动。
作为本申请另一实施例,所述对所述预览区域进行平滑处理包括:
通过至少两个滤波器分别对所述预览区域进行平滑处理,获得每个滤波器对应的平滑子区域;
通过决策器判定每个滤波器的权重;
基于每个滤波器的权重,对每个滤波器对应的平滑子区域进行融合处理,获得平滑处理后的预览区域。
在本申请实施例中,参见图10,图10为本申请实施例提供的拍摄方法中平滑处理过程的示意图,如图所示,可以设计滤波器组,滤波器组中有多个滤波器,每个滤波器中采用不同的滤波算法,通过每个滤波器分别对所述预览区域进行平滑处理,就可以获得每个滤波器处理后的平滑子区域,由于滤波器组内的滤波器采用不同的滤波算法,因此,每个滤波器得到的平滑子区域的位置可能存在不同。
为了将多个滤波器分别对应的平滑子区域进行融合,还可以为每个滤波器设置权重,例如,基于连续的M(M大于或等于1)帧预览画面内跟踪目标的位置和大小以及当前预览区域内跟踪目标的位置和大小,通过决策器判定每个滤波器的权重。在获得每个滤波器的权重后,就可以基于每个滤波器的权重,将每个滤波器对应的平滑子区域进行融合处理,获得平滑处理后的预览区域。平滑处理后的预览区域相对于平滑处理前的预览区域位置可能发生了变化。
当然,在对所述预览区域进行平滑处理后,还可以对预览区域的图像进行其他处理,在进行其他处理后,再将处理后的预览区域的图像送显。例如,还可以将平滑处理后的预览区域的图像进行超分算法处理,以提高图像的质量。超分算法是一项底层图像处理任务,将低分辨率的图像映射至高分辨率,已达到增强图像细节的作用。
作为举例,可以采用深度学习的方法进行超分辨率算法处理,先利用大量的高分辨率图像积累并进行模型学习,例如,先将高分辨率图像按照降低质量的模型进行降低质量,产生训练模型,然后根据高分辨率图像的低频部分和高频部分对应关系对图像进行分块,通过学习获得先验知识,建立学习模型;再将低分辨率的图像输入模型中,以输入的低分辨率块为依据,在建立好的学习集中搜索最高匹配的高频块,从而对低分辨率图像进行恢复,最后就可以得到图像的高频细节,提高图像的质量。
由于本申请实施例提供的抖动校正处理的过程为电子防抖的方法,有可能会降低图像的质量,因此,在进行预览显示之前,通过超分算法提高图像质量,以避免高倍拍摄场景下图像质量降低的问题。
图11示出了本申请实施例提供的一种拍摄方法的示意性流程图,作为示例而非限定,该方法包括:
步骤S1101,获取移动终端的摄像头采集的原始图像。
步骤S1102,对所述原始图像进行抖动校正处理和目标跟踪处理,获得处理图像以及所述处理图像中包含跟踪目标的预览区域。
步骤S1103,将所述预览区域中的图像作为预览画面进行显示。
在本申请实施例中,步骤S1101至步骤S1103的内容和步骤S201至步骤S203的内容一致,具体可参照步骤S201至步骤S203的描述。
步骤S1104,基于所述预览区域中的跟踪目标在所述原始图像中的大小,对所述摄像头进行变焦处理,其中,变焦处理后的摄像头用于采集下一帧原始图像。
在本申请实施例中,由于获得预览区域的过程中,会经过裁剪,例如,在抖动校正处理过程中有可能会进行第一裁切处理,在目标跟踪处理过程中也可能会根据找到的跟踪目标进行第二裁切处理。因此,所述预览区域画面的大小是小于所述原始图像的画面大小的。可以根据所述预览区域内画面大小(或跟踪目标)在所述原始图像内的位置和比例,对摄像头进行变焦处理,变焦处理的过程是为了使得摄像头采集的下一帧原始图像进行至少两次裁切后能够获得较好构图效果的预览画面。当然,变焦处理的过程可以包括光学变焦和/或数码变焦。
在此需要说明,变焦处理的过程并不是使得变焦处理后的摄像头采集到的下一帧原始图像中跟踪目标的位置大小和当前帧原始图像对应的预览区域内的跟踪目标的位置大小具有较高的匹配度,而是,需要变焦处理后的摄像头采集到的下一帧原始图像进行抖动校正处理和目标跟踪处理后得到的预览画面(跟踪目标的位置和大小)与当前帧原始图像得到的预览画面(跟踪目标的位置和大小)具有较高的匹配度。即在变焦处理时需要考虑下一帧原始图像也需要经过裁切处理。
当移动终端上设置的摄像头的个数为至少两个时,还可以从变焦处理后的摄像头中选择一个作为主摄像头,利用主摄像头采集下一帧原始图像,可参照步骤S1205的描述。
步骤S1105,从变焦处理后的摄像头中选取一个作为主摄像头,其中,所述主摄像头为采集下一帧原始图像的摄像头。
在本申请实施例中,可以根据所述预览区域中的跟踪目标在所述原始图像中的位置,从所述变焦处理后的摄像头中选取一个作为主摄像头。
当然,还可以根据构图模型,从变焦处理后的摄像头中选取一个作为主摄像头,作为举例,由于摄像头的可调焦距范围不同,导致采集当前帧原始图像的摄像头即使经过变焦处理,预估采集到的下一帧原始图像对应的预览区域内的跟踪目标的位置和大小也无法和当前帧原始图像对应的预览区域内的跟踪目标的位置和大小匹配或匹配度较低,因此,需要通过切换其他摄像头,切换到的其他摄像头预估采集到的下一帧原始图像对应的预览区域内的跟踪目标的位置和大小和当前帧原始图像对应的预览区域内的跟踪目标的位置和大小匹配度更高。另一种情况,由于多个摄像头可能在移动终端上的位置存在一些区别,导致每个摄像头采集到的原始图像中跟踪目标的位置可能存在区别,为了使得下一帧原始图像对应的预览区域内的画面与构图模型更匹配,因此,可以切换到另一个摄像头,切换到的摄像头采集的下一帧原始图像对应的预览区域内的画面与构图模型更匹配。
在此需要说明,在进行变焦处理和切换摄像头处理时,下一帧原始图像、下一帧原始图像对应的预览区域、下一帧原始图像对应的预览区域内的画面均为计算预估获得的。
构图模型的获取过程可以是:基于上一帧预览画面以及所述预览画面中跟踪目标的位置和大小,生成构图模型,还可以是,基于上一帧预览画面以及该预览画面中的跟踪区域,从预设的构图模型中选取一个匹配度最高的构图模型。
本申请实施例通过对摄像头进行变焦处理和切换摄像头的操作,可以使得采集的下一帧原始图像进行抖动校正处理和目标跟踪处理后获得的预览画面具有良好的构图。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的拍摄方法,图12示出了本申请实施例提供的拍摄装置的结构框图,为了便于说明,仅示出了与本申请实施例相关的部分。
参照图12,该装置12包括:
图像获取单元121,用于获取移动终端的摄像头采集的原始图像;
图像处理单元122,用于对所述原始图像进行抖动校正处理和目标跟踪处理,获得处理图像以及所述处理图像中包含跟踪目标的预览区域,其中,所述预览区域中包括跟踪目标;
图像显示单元123,用于将所述预览区域中的图像作为预览画面进行显示。
作为本申请另一实施例,所述图像处理单元122包括:
抖动校正处理模块1221,用于对所述原始图像进行抖动校正处理,获得处理图像以及所述处理图像中的校正区域;
目标跟踪处理模块1222,用于从所述原始图像中找出跟踪目标,并基于所述跟踪目标在所述原始图像中的位置,在所述原始图像中确定跟踪区域;
联合裁切模块1223,用于基于所述校正区域和所述跟踪区域对所述处理图像进行联合裁切,获得所述处理图像中的预览区域。
作为本申请另一实施例,所述图像处理单元122包括:
抖动校正处理模块,用于对所述原始图像进行抖动校正处理,获得处理图像以及所述处理图像中的校正区域;
目标跟踪处理模块,用于从所述校正区域中找出跟踪目标,基于所述跟踪目标在所述校正区域的位置,在所述校正区域中确定跟踪区域,并将所述跟踪区域作为预览区域。
作为本申请另一实施例,所述图像处理单元122包括:
目标跟踪处理模块,用于从所述原始图像中找出跟踪目标,并基于所述跟踪目标在所述原始图像的位置,在所述原始图像中确定跟踪区域;
抖动校正处理模块,用于对所述跟踪区域的图像进行抖动校正处理,获得处理图像以及所述处理图像中的校正区域,并将所述校正区域作为预览区域。
作为本申请另一实施例,所述装置12包括:
平滑处理单元124,用于在将所述预览区域中的图像作为预览画面进行显示之前,对所述预览区域进行平滑处理,获得平滑处理后的预览区域;
相应的,所述图像显示单元123还用于:
将所述平滑处理后的预览区域中的图像作为预览画面进行显示。
作为本申请另一实施例,所述平滑处理单元124包括:
平滑处理模块,用于通过至少两个滤波器分别对所述预览区域进行平滑处理,获得每个滤波器对应的平滑子区域;
权重生成模块,用于通过决策器判定每个滤波器的权重;
融合模块,用于基于每个滤波器的权重,对每个滤波器对应的平滑子区域进行融合处理,获得平滑处理后的预览区域。
作为本申请另一实施例,所述装置12还包括:
变焦单元125,用于获得所述处理图像中包含跟踪目标的预览区域之后,基于所述预览区域中的跟踪目标在所述原始图像中的大小,对所述摄像头进行变焦处理,其中,变焦处理后的摄像头用于采集下一帧原始图像。
作为本申请另一实施例,所述装置12还包括:
摄像头切换单元126,用于在对所述摄像头进行变焦处理之后,从变焦处理后的摄像头中选取一个作为主摄像头,其中,所述主摄像头为采集下一帧原始图像的摄像头。
作为本申请另一实施例,所述摄像头切换单元126还用于:
根据所述预览区域中的跟踪目标在所述原始图像中的位置,从所述变焦处理后的摄像头中选取一个作为主摄像头。
需要说明的是,上述装置/单元之间的信息交互、执行过程等内容,由于与本申请方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本申请实施例提供的拍摄方法可以应用于手机、摄像机、平板电脑、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、笔记本电脑等移动终端上,本申请实施例对移动终端的具体类型不作任何限制。
本申请实施例提供的移动终端,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如本申请实施例提供的任一拍摄方法的步骤。
以所述移动终端为手机为例。图13示出的是与本申请实施例提供的手机的部分结构的框图。参考图13,手机包括:射频(Radio Frequency,RF)电路1310、存储器1320、输入单元1330、显示单元1340、传感器1350、音频电路1360、无线保真(wireless fidelity,WiFi)模块1370、处理器1380、以及电源1390等部件。本领域技术人员可以理解,图13中示出的手机结构并不构成对手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图13对手机的各个构成部件进行具体的介绍:
RF电路1310可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器1380处理;另外,将设计上行的数据发送给基站。通常,RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier,LNA)、双工器等。此外,RF电路1310还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(GlobalSystem of Mobile communication,GSM)、通用分组无线服务(General Packet RadioService,GPRS)、码分多址(Code Division Multiple Access,CDMA)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、长期演进(Long Term Evolution,LTE))、电子邮件、短消息服务(Short Messaging Service,SMS)等。
存储器1320可用于存储软件程序以及模块,处理器1380通过运行存储在存储器1320的软件程序以及模块,从而执行手机的各种功能应用以及数据处理,例如对图像进行处理。存储器1320可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如校正区域、跟踪区域或预览区域的位置等)等。此外,存储器1320可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元1330可用于接收输入的数字或字符信息,以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地,输入单元1330可包括触控面板1331以及其他输入设备1332。触控面板1331,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1331上或在触控面板1331附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板1331可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器1380,并能接收处理器1380发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1331。除了触控面板1331,输入单元1330还可以包括其他输入设备1332。具体地,其他输入设备1332可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)。
显示单元1340可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。例如,显示预览画面等。显示单元1340可包括显示面板1341,可选的,可以采用液晶显示器(Liquid Crystal Display,LCD)、有机发光二极管(Organic Light-EmittingDiode,OLED)等形式来配置显示面板1341。进一步的,触控面板1331可覆盖显示面板1341,当触控面板1331检测到在其上或附近的触摸操作后,传送给处理器1380以确定触摸事件的类型,随后处理器1380根据触摸事件的类型在显示面板1341上提供相应的视觉输出。虽然在图13中,触控面板1331与显示面板1341是作为两个独立的部件来实现手机的输入和输入功能,但是在某些实施例中,可以将触控面板1331与显示面板1341集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器1350,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板1341的亮度,接近传感器可在手机移动到耳边时,关闭显示面板1341和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于手机还可配置的陀螺仪(获取手机的抖动信息)、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路1360、扬声器1361,传声器1362可提供用户与手机之间的音频接口。音频电路1360可将接收到的音频数据转换后的电信号,传输到扬声器1361,由扬声器1361转换为声音信号输出;另一方面,传声器1362将收集的声音信号转换为电信号,由音频电路1360接收后转换为音频数据,再将音频数据输出处理器1380处理后,经RF电路1310以发送给比如另一手机,或者将音频数据输出至存储器1320以便进一步处理。
WiFi属于短距离无线传输技术,手机通过WiFi模块1370可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图13示出了WiFi模块1370,但是可以理解的是,其并不属于手机的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器1380是手机的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器1320内的软件程序和/或模块,以及调用存储在存储器1320内的数据,执行手机的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器1380可包括一个或多个处理单元;优选的,处理器1380可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1380中。
手机还包括给各个部件供电的电源1390(比如电池),优选的,电源可以通过电源管理系统与处理器1380逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出,手机还可以包括摄像头。可选地,摄像头在手机的上的位置可以为前置的,也可以为后置的,本申请实施例对此不作限定。
可选地,手机可以包括单摄像头、双摄像头或三摄像头等,本申请实施例对此不作限定。
例如,手机可以包括三摄像头,其中,一个为主摄像头、一个为广角摄像头、一个为长焦摄像头。
可选地,当手机包括多个摄像头时,这多个摄像头的位置可以根据实际情况设置,本申请实施例对此不作限定。
另外,尽管未示出,手机还可以包括蓝牙模块等,在此不再赘述。
图14是本申请实施例的移动终端(手机)的软件结构示意图。以手机操作系统为Android系统为例,在一些实施例中,将Android系统分为四层,分别为应用程序层、应用程序框架层(framework,FWK)、系统层以及硬件抽象层,层与层之间通过软件接口通信。
如图14所示,所述应用程序层可以一系列应用程序包,应用程序包可以包括短信息,日历,相机,视频,导航,图库,通话等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层可以包括一些预先定义的函数,例如用于接收应用程序框架层所发送的事件的函数。
如图14所示,应用程序框架层可以包括窗口管理器、资源管理器以及通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
应用程序框架层还可以包括:
视图系统,所述视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供手机的通信功能。例如通话状态的管理(包括接通,挂断等)。
系统层可以包括多个功能模块。例如:传感器服务模块,物理状态识别模块,三维图形处理库(例如:OpenGL ES)等。
传感器服务模块,用于对硬件层各类传感器上传的传感器数据进行监测,确定手机的物理状态;
物理状态识别模块,用于对用户手势、人脸等进行分析和识别;
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
系统层还可以包括:
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
硬件抽象层是硬件和软件之间的层。硬件抽象层可以包括显示驱动,摄像头驱动,传感器驱动等,用于驱动硬件层的相关硬件,如显示屏、摄像头、传感器等。
以上的拍摄方法实施例可以在具有上述硬件结构/软件结构的手机上实现。
本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品,当计算机程序产品在移动终端上运行时,使得移动终端执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括:能够将计算机程序代码携带到拍照装置/移动终端的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区,根据立法和专利实践,计算机可读介质不可以是电载波信号和电信信号。
本申请实施例还提供了一种芯片系统,其特征在于,所述芯片系统包括处理器,所述处理器与存储器耦合,所述处理器执行存储器中存储的计算机程序,以实现本申请任一儿童遗留车辆内的报警方法的步骤。所述芯片系统可以为单个芯片,或者多个芯片组成的芯片模组。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及方法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (14)
1.一种拍摄方法,其特征在于,包括:
获取移动终端的摄像头采集的原始图像;
对所述原始图像进行抖动校正处理和目标跟踪处理,获得处理图像以及所述处理图像中包含跟踪目标的预览区域;
将所述预览区域中的图像作为预览画面进行显示;
其中,所述对所述原始图像进行抖动校正处理和目标跟踪处理,获得处理图像以及所述处理图像中包含跟踪目标的预览区域,包括:
对所述原始图像进行抖动校正处理,获得处理图像以及所述处理图像中的校正区域;
从所述原始图像中找出跟踪目标,并基于所述跟踪目标在所述原始图像中的位置,在所述原始图像中确定跟踪区域;
2.如权利要求1所述的拍摄方法,其特征在于,所述抖动校正处理包括:
获取待校正处理的图像,并获取所述待校正处理的图像采集时刻所述移动终端的抖动信息;
对所述待校正处理的图像进行第一裁切处理,获得边缘图像和中间图像;
基于所述抖动信息和所述边缘图像对所述中间图像进行补偿,获得处理图像,其中,所述中间图像对应的区域为校正区域。
3.如权利要求1所述的拍摄方法,其特征在于,所述目标跟踪处理包括:
基于注意力机制从待跟踪处理的图像和/或待跟踪处理的图像之前的N帧图像中,找到跟踪目标,其中,N≥1;
基于所述跟踪目标在所述待跟踪处理的图像中的位置,进行第二裁切处理,以在待跟踪处理的图像中确定出跟踪区域。
4.如权利要求1所述的拍摄方法,其特征在于,在将所述预览区域中的图像作为预览画面进行显示之前,还包括:
对所述处理图像中的预览区域进行平滑处理,获得平滑处理后的预览区域;
相应的,所述将所述预览区域中的图像作为预览画面进行显示包括:
将所述平滑处理后的预览区域中的图像作为预览画面进行显示。
5.如权利要求4所述的拍摄方法,其特征在于,所述对所述预览区域进行平滑处理包括:
通过至少两个滤波器分别对所述处理图像中的预览区域进行平滑处理,获得每个滤波器对应的平滑子区域;
通过决策器判定每个滤波器的权重;
基于每个滤波器的权重,对每个滤波器对应的平滑子区域进行融合处理,获得平滑处理后的预览区域。
6.如权利要求1所述的拍摄方法,其特征在于,在获得处理图像以及所述处理图像中包含跟踪目标的预览区域之后,还包括:
基于所述预览区域中的跟踪目标在所述原始图像中的大小,对所述摄像头进行变焦处理,其中,变焦处理后的摄像头用于采集下一帧原始图像。
7.如权利要求6所述的拍摄方法,其特征在于,所述移动终端上设置的摄像头的个数为至少两个;
在对所述摄像头进行变焦处理之后,还包括:
从变焦处理后的摄像头中选取一个作为主摄像头,其中,所述主摄像头为采集下一帧原始图像的摄像头。
8.如权利要求7所述的拍摄方法,其特征在于,所述从变焦处理后的摄像头中选取一个作为主摄像头包括:
根据所述预览区域中的跟踪目标在所述原始图像中的位置,从所述变焦处理后的摄像头中选取一个作为主摄像头。
9.一种拍摄装置,其特征在于,包括:
图像获取单元,用于获取移动终端的摄像头采集的原始图像;
图像处理单元,用于对所述原始图像进行抖动校正处理和目标跟踪处理,获得处理图像以及所述处理图像中包含跟踪目标的预览区域;
图像显示单元,用于将所述预览区域中的图像作为预览画面进行显示;
其中,所述图像处理单元包括:
抖动校正模块,用于对所述原始图像进行抖动校正处理,获得处理图像以及所述处理图像中的校正区域;
目标跟踪处理模块,用于从所述原始图像中找出跟踪目标,并基于所述跟踪目标在所述原始图像中的位置,在所述原始图像中确定跟踪区域;
10.如权利要求9所述的拍摄装置,其特征在于,还包括平滑处理单元,用于对所述处理图像中的预览区域进行平滑处理,获得平滑处理后的预览区域;
所述图像显示单元还用于将所述平滑处理后的预览区域中的图像作为预览画面进行显示。
11.如权利要求10所述的拍摄装置,其特征在于,所述平滑处理单元包括:
平滑处理模块,用于通过至少两个滤波器分别对所述处理图像中的预览区域进行平滑处理,获得每个滤波器对应的平滑子区域;
权重生成模块,用于通过决策器判定每个滤波器的权重;
融合模块,用于基于每个滤波器的权重,对每个滤波器对应的平滑子区域进行融合处理,获得平滑处理后的预览区域。
12.如权利要求9所述的拍摄装置,其特征在于,还包括变焦单元,用于基于所述预览区域中的跟踪目标在所述原始图像中的大小,对所述摄像头进行变焦处理,其中,变焦处理后的摄像头用于采集下一帧原始图像。
13.一种移动终端,其特征在于,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述方法的步骤。
14.一种芯片系统,其特征在于,所述芯片系统包括处理器,所述处理器与存储器耦合,所述处理器执行存储器中存储的计算机程序,以实现如权利要求1至8任一项所述方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010417818.9A CN113676655B (zh) | 2020-05-15 | 2020-05-15 | 拍摄方法、装置、移动终端及芯片系统 |
PCT/CN2021/084589 WO2021227693A1 (zh) | 2020-05-15 | 2021-03-31 | 拍摄方法、装置、移动终端及芯片系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010417818.9A CN113676655B (zh) | 2020-05-15 | 2020-05-15 | 拍摄方法、装置、移动终端及芯片系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113676655A CN113676655A (zh) | 2021-11-19 |
CN113676655B true CN113676655B (zh) | 2022-12-27 |
Family
ID=78526385
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010417818.9A Active CN113676655B (zh) | 2020-05-15 | 2020-05-15 | 拍摄方法、装置、移动终端及芯片系统 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN113676655B (zh) |
WO (1) | WO2021227693A1 (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114286001A (zh) * | 2021-12-28 | 2022-04-05 | 维沃移动通信有限公司 | 图像处理电路、装置、方法、电子设备、图像处理芯片及主控芯片 |
CN114928694A (zh) * | 2022-04-25 | 2022-08-19 | 深圳市慧鲤科技有限公司 | 图像获取方法和装置、设备、介质 |
CN116074620B (zh) * | 2022-05-27 | 2023-11-07 | 荣耀终端有限公司 | 一种拍摄方法及电子设备 |
CN117177066A (zh) * | 2022-05-30 | 2023-12-05 | 荣耀终端有限公司 | 一种拍摄方法及相关设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104065876A (zh) * | 2013-03-22 | 2014-09-24 | 卡西欧计算机株式会社 | 图像处理装置以及图像处理方法 |
CN105959567A (zh) * | 2016-06-21 | 2016-09-21 | 维沃移动通信有限公司 | 一种拍照控制方法及移动终端 |
CN107786812A (zh) * | 2017-10-31 | 2018-03-09 | 维沃移动通信有限公司 | 一种拍摄方法、移动终端及计算机可读存储介质 |
CN107809590A (zh) * | 2017-11-08 | 2018-03-16 | 青岛海信移动通信技术股份有限公司 | 一种拍照方法和装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09102903A (ja) * | 1995-10-05 | 1997-04-15 | Hitachi Ltd | 撮像装置 |
-
2020
- 2020-05-15 CN CN202010417818.9A patent/CN113676655B/zh active Active
-
2021
- 2021-03-31 WO PCT/CN2021/084589 patent/WO2021227693A1/zh active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104065876A (zh) * | 2013-03-22 | 2014-09-24 | 卡西欧计算机株式会社 | 图像处理装置以及图像处理方法 |
CN105959567A (zh) * | 2016-06-21 | 2016-09-21 | 维沃移动通信有限公司 | 一种拍照控制方法及移动终端 |
CN107786812A (zh) * | 2017-10-31 | 2018-03-09 | 维沃移动通信有限公司 | 一种拍摄方法、移动终端及计算机可读存储介质 |
CN107809590A (zh) * | 2017-11-08 | 2018-03-16 | 青岛海信移动通信技术股份有限公司 | 一种拍照方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN113676655A (zh) | 2021-11-19 |
WO2021227693A1 (zh) | 2021-11-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113676655B (zh) | 拍摄方法、装置、移动终端及芯片系统 | |
US11831977B2 (en) | Photographing and processing method and electronic device | |
CN108513070B (zh) | 一种图像处理方法、移动终端及计算机可读存储介质 | |
KR102156597B1 (ko) | 광학 촬영 방법 및 장치 | |
US11451706B2 (en) | Photographing method and mobile terminal | |
CN111083380B (zh) | 一种视频处理方法、电子设备及存储介质 | |
WO2021008456A1 (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN108377342B (zh) | 双摄像头拍照方法、装置、存储介质及终端 | |
WO2019091486A1 (zh) | 拍照处理的方法、装置、终端和存储介质 | |
KR20190014638A (ko) | 전자 기기 및 전자 기기의 제어 방법 | |
EP3432588B1 (en) | Method and system for processing image information | |
CN108196755B (zh) | 背景图片显示方法及装置 | |
CN111669507A (zh) | 拍照方法、装置及电子设备 | |
WO2021013147A1 (zh) | 视频处理方法、装置、终端及存储介质 | |
CN110266957B (zh) | 影像拍摄方法及移动终端 | |
CN110196673B (zh) | 图片交互方法、装置、终端及存储介质 | |
CN111031248A (zh) | 一种拍摄方法及电子设备 | |
CN110769156A (zh) | 图片显示方法及电子设备 | |
JP6862564B2 (ja) | 画像合成のための方法、装置および不揮発性コンピュータ可読媒体 | |
CN113891018A (zh) | 拍摄方法、装置及电子设备 | |
CN110992268B (zh) | 背景设置方法、装置、终端及存储介质 | |
CN112788233A (zh) | 视频拍摄处理方法和电子设备 | |
CN115134527B (zh) | 处理方法、智能终端及存储介质 | |
CN108391050B (zh) | 一种图像处理方法及移动终端 | |
CN116188343A (zh) | 一种图像融合方法、装置、电子设备、芯片及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |