CN107820019A - 虚化图像获取方法、装置及设备 - Google Patents
虚化图像获取方法、装置及设备 Download PDFInfo
- Publication number
- CN107820019A CN107820019A CN201711243743.1A CN201711243743A CN107820019A CN 107820019 A CN107820019 A CN 107820019A CN 201711243743 A CN201711243743 A CN 201711243743A CN 107820019 A CN107820019 A CN 107820019A
- Authority
- CN
- China
- Prior art keywords
- virtualization
- image
- parameter
- main body
- continuously shot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本申请公开了一种虚化图像获取方法、装置及设备,其中方法包括:获取预设的N个虚化参数,其中N个虚化参数对应的虚化程度不同,N为大于1的正整数;在连续拍摄图像时,利用所述N种虚化参数,对连续拍摄的各图像依次进行不同程度的虚化处理。本申请的方法通过多种虚化参数对连续拍摄图像进行渐变式虚化处理,从而有效的改善了动态图像的虚化处理效果,提升了用户的视觉体验。
Description
技术领域
本申请涉及图像处理技术领域,特别涉及一种虚化图像获取方法、装置及设备。
背景技术
现如今,利用各种智能终端的相机进行拍摄,已经成为用户日常拍摄的主流,但是由于智能终端尺寸的限制,导致终端设备不能通过光学方式,实现对图像背景的虚化效果。
目前,为了实现图像背景的虚化效果,通常是利用双摄像头的空间位置差,测量出拍摄场景中景物的景深信息,然后对属于背景的景物进行虚化处理,以达到突出前景,虚化背景的效果。
发明人发现,上述对图像背景进行虚化处理的方式,通常适用于静态的图像,对于动态图像,比如GIF(Graphics Interchange Format,图像互换格式)动态图及视频,采用上述方式进行背景虚化时,背景虚化的效果不理想,影响用户体验。
发明内容
本申请旨在至少在一定程度上解决上述的技术缺陷之一。
为此,本申请的第一个目的在于提出一种虚化图像获取方法,该方法通过多种虚化参数对连续拍摄图像进行渐变式虚化处理,从而有效的改善了动态图像的虚化处理效果,提升了用户的视觉体验。
本申请的第二个目的在于提出一种虚化图像获取装置。
本申请的第三个目的在于提出一种终端设备。
本申请的第四个目的在于提出一种计算机可读存储介质。
为了实现上述目的,本申请第一方面实施例的虚化图像获取方法,包括:获取预设的N个虚化参数,其中N个虚化参数对应的虚化程度不同,N为大于1的正整数;在连续拍摄图像时,利用所述N个虚化参数,对连续拍摄的各图像依次进行不同程度的虚化处理。
为了实现上述目的,本申请第二方面实施例的虚化图像获取方法装置,包括:获取模块,用于获取预设的N个虚化参数,其中N个虚化参数对应的虚化程度不同,N为大于1的正整数;处理模块,用于在连续拍摄图像时,利用所述N个虚化参数,对连续拍摄的各图像依次进行不同程度的虚化处理。
为了实现上述目的,本申请第三方面实施例的终端设备,包括:存储器、处理器及摄像模组;所述摄像模组,用于传采集当前场景下的图像;所述存储器,用于存储可执行程序代码;所述处理器,用于读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于实现第一方面实施例所述的虚化图像获取方法。
为了实现上述目的,本申请第四方面实施例的计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现第一方面实施例所述的虚化图像获取方法。
本申请公开的技术方案,具有如下有益效果:
通过获取预设的N个虚化参数,然后在连续拍摄图像时,利用N个虚化参数,对连续拍摄的各图像依次进行不同程度的虚化处理。由此,通过多种虚化参数对连续拍摄图像进行渐变式虚化处理,从而有效的改善了动态图像的虚化处理效果,提升了用户的视觉体验。
本申请附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中,
图1是根据本申请一个实施例的虚化图像获取方法的流程图;
图2是三角测距的原理示意图;
图3是根据本申请另一个实施例的虚化图像获取方法的流程图;
图4是根据本申请再一个实施例的虚化图像获取方法的流程图;
图5是根据本申请一个实施例的虚化图像获取装置的结构示意图;
图6是根据本申请另一个实施例的虚化图像获取装置的结构示意图;
图7是根据本申请一个实施例的终端设备的结构示意图;
图8是根据本申请一个实施例的图像处理电路的结构示意图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本申请,而不能理解为对本申请的限制。
为了解决相关技术中,利用双摄像头对动态图像中属于背景的景物进行虚化处理时,存在的背景虚化效果不理想,影响用户体验的问题,提出一种虚化图像获取方法。
本申请提供的虚化图像获取方法,通过获取预先设置的N个虚化参数,然后在连续拍摄图像时,利用N个虚化参数对连续拍摄的各图像依次进行不同程序的虚化处理。由此,实现了通过多种虚化参数对连续拍摄图像进行渐变式虚化处理,有效改善了对动态图像的虚化效果,提升了用户的视觉体验。
下面参考附图描述本申请实施例的虚化图像获取方法。
图1是根据本申请一个实施例的虚化图像获取方法的流程图。
如图1所示,本申请的虚化图像获取方法可以包括以下步骤:
步骤101,获取预设的N个虚化参数,其中N个虚化参数对应的虚化程度不同,N为大于1的正整数。
具体的,本申请实施例提供的虚化图像获取方法,可以由本申请提供的虚化图像获取装置执行,上述装置配置于终端设备中,以实现对连续拍摄图像进行虚化控制。
其中,本实施例中,终端设备可以是任意具有拍照功能的硬件设备,比如智能手机、相机、个人计算机(personal computer,简称为PC)等等,本申请对此不作具体限定。
可选的,本实施例中终端设备还可以是具有双摄像头的硬件设备,其中,双摄像头是指具有两个后置摄像头。
需要说明的是,在本实施例中,两个后置摄像头的设置方式可以为,但不限于以下方式:
方式一:沿水平方向设置。
方式二:沿竖直方向设置。
其中,水平方向是指与终端设备短边平行的方向,竖直方向是指与终端设备长边平行的方向。
具体实现时,虚化图像获取装置可以通过监控终端设备的拍摄键是否被触发,来获取预设的N个虚化参数,N为大于1的正整数。
其中,本实施例中预设的N个虚化参数,可以是通过大量的实验获取的,本申请对此不作具体限定。
步骤102,在连续拍摄图像时,利用获取的N个虚化参数,对连续拍摄的各图像依次进行不同程度的虚化处理。
其中,本实施例中的连续拍摄图像的过程,可以是连拍过程,或者是视频拍摄过程,本申请对此不作具体限定。
具体实现时,本实施例可利用获取到的N个虚化参数,对虚化图像获取装置获取到的连续拍摄的各图像依次进行不同程度的虚化处理,从而使得最终连拍图像的虚化效果更好,从而提高了用户视觉体验。
此外,在对连续拍摄的各图像进行不同虚化处理之后,还可将虚化处理后的各图像进行合成,以生成一个动态图像,然后将动态图像输出显示在终端的显示界面中,以方便用户进行浏览,查看虚化处理后的效果,进一步满足用户需求。
进一步的,由于在实际应用中,通常获取到的连续拍摄图像中,每帧图像的景深信息都可能不一样,因此为了能够根据每帧图像的景深信息,对连拍图像中每帧图像进行更精确的虚化处理,本申请可先通过虚化图像获取装置,获取当前场景中背景的景深信息,以根据获取的背景景深信息,对预设的N种虚化参数分别进行调整,然后再利用调整后的N个虚化参数,对连拍图像中的每帧图像依次进行不同程度的虚化处理。
需要说明的是,若本申请中终端为单摄像头设备,则可通过超声波雷达对摄像头当前拍摄场景内的背景进行扫描,以得到背景的景深信息。
若本申请中终端为双摄像头设备,则可根据三角测距原理,并依据上述双摄像头之间关于同一对象的差异性,计算得到该对象的深度信息,也就是该对象距离双摄像头所在平面的距离。
为了清楚说明这一过程,下面将对三角测距原理进行简要介绍。
而在实际场景,人眼分辨景物的深度主要是依靠双目视觉分辨出的。这和双摄像头分辨深度的原理一样。本实施例中计算成像图像的深度信息,主要方法是依靠三角测距原理,图2为三角测距的原理示意图。
基于图2中,在实际空间中,画出了成像的对象,以及两个摄像头所在位置OR和OT,以及两个摄像头的焦平面,焦平面距离两个摄像头所在平面的距离为f,在焦平面位置两个摄像头进行成像,从而得到两张拍摄图像。
P和P’分别是同一对象在不同拍摄图像中的位置。其中,P点距离所在拍摄图像的左侧边界的距离为XR,P’点距离所在拍摄图像的左侧边界的距离为XT。OR和OT分别为两个摄像头,这两个摄像头在同一平面,距离为B。
基于三角测距原理,图2中的对象与两个摄像头所在平面之间的距离Z,具有如下关系:
基于此,可以推得其中,d为同一对象在不同拍摄图像中的位置之间的距离差。由于B、f为定值,因此,根据d可以确定出对象的距离Z。
本申请实施例的虚化图像获取方法,通过获取预设的N个虚化参数,然后根据预设的N个虚化参数,对连续拍摄的各图像依次进行不同程度的虚化处理。由此,通过多种虚化参数对连续拍摄图像进行渐变式虚化处理,从而有效的改善了动态图像的虚化处理效果,提升了用户的视觉体验。
通过上述分析可知,通过获取预设的N个虚化参数,然后在连续拍摄图像时,利用获取的N个虚化参数,对连续拍摄的各图像依次进行不同程度的虚化处理。具体实现时,用户可根据需要对连续拍摄的各图像进行即时虚化处理,或者,先拍摄再虚化处理。下面结合图3,以对连续拍摄的各图像进行即时虚化处理的过程为例,对本申请的虚化图像获取方法进行进一步的描述。
图3是本申请的另一个虚化图像获取方法的流程图。
如图3所示,本申请的虚化图像获取方法可以包括以下步骤:
步骤301,获取预设的N个虚化参数,其中N个虚化参数对应的虚化程度不同,N为大于1的正整数。
步骤302,在连续拍摄图像时,分别根据N个虚化参数中的两个最大虚化参数,或两个最小虚化参数,依次获取第一虚化图像及第二虚化图像。
举例说明,若本实施例中有20种虚化参数,且第20个虚化参数最大,第19个虚化参数次大,那么就可获取第20个虚化参数进行拍摄,得到第一虚化图像,然后再获取第19个虚化参数进行拍摄,得到第二虚化图像。
同样的,本实施例中根据N种虚化参数中的两个最小虚化参数,依次获取第一虚化图像及第二虚化图像的实现过程,与上述根据两个最大虚化参数依次获取的第一虚化图像及第二虚化图像的过程基本相同,区别仅在于,获取的虚化参数是最小参数。因此,对上述根据两个最小虚化参数,依次获取第一虚化图像及第二虚化图像过程不作过多赘述。
步骤303,根据第一虚化图像中拍摄主体的第一景深信息,及第二虚化图像中拍摄主体的第二景深信息,确定拍摄主体的移动方向。
其中,在本实施例中,拍摄主体可以是但不限于人物、动物等等,本申请对此不作具体限定。
具体的,在实际拍摄连续图像时,各图像的拍摄主体可能会随着时间出现位置移动。因此为了能够确定出各图像中的主体移动方向,本申请可分别对第一虚化图像和第二虚化图像的拍摄主体进行景深计算,以得到对应的第一景深信息和第二景深信息。然后通过分析第一景深信息和第二景深信息,确定出各图像中拍摄主体的移动方向。
其中,拍摄主体的移动方向可以是由远到近的,也可以是由近到远,本申请对此不做限定。
需要说明的是,本实施例中对第一虚化图像和第二虚化图像的拍摄主体进行景深计算过程,可具体参见上述实施例中的计算方式,在此对其不作具体描述。
步骤304,根据拍摄主体的移动方向,确定剩余各虚化参数的使用顺序。
步骤305,根据剩余各虚化参数的使用顺序,依次获取其余虚化图像。
举例说明,若拍摄主体为小孩,小孩的移动方位是由远到近的,且剩余的虚化参数为18种,那么就可以确定出剩余的18种虚化参数的使用顺序应该是由小到大。然后,根据剩余的18种虚化参数由小到大的使用顺序,依次获取对应的18帧虚化图像,从而使得获取的连续拍摄虚化图像中的小孩就好像从远方回到现实,提高了用户的视觉体验。
步骤306,在获取到拍摄结束指令时,根据各剩余虚化参数的使用顺序,确定连续拍摄的各图像对应的虚化程度变化方向。
具体的,当虚化图像获取装置检测到终端设备的拍摄键的触发信号消失时,即可确定出当前的拍摄操作结束。
然后,基于步骤305中剩余各虚化参数的使用顺序,确定出连续拍摄的各图像对应的虚化程度变化方向。
例如,若剩余各虚化参数的使用顺序是由大到小,则连续拍摄的各图像对应的虚化程度变化方向对应为由大到小的顺序;
或者,若剩余各虚化参数的使用顺序是由小到大,则连续拍摄的各图像对应的虚化程度变化方向对应为由小到大的顺序。
步骤307,根据虚化程度变化方向,确定第一虚化图像、第二虚化图像及其余虚化图像的存储顺序。
具体的,当确定出连续拍摄的各图像对应的虚化程度变化方向之后,可根据虚化程度变化方向,对第一虚化图像、第二虚化图像及其余虚化图像的存储顺序进行调节,以使得连续拍摄图像的虚化程度过渡更平滑自然,从而实现了连续拍摄图像虚化渐变的效果。
其中,本实施例中,可将调整顺序后的连续拍摄虚化图像存储在本地,或者云服务器中,本申请对此不作具体限定。
进一步的,当连续拍摄虚化图像被存储之后,虚化图像获取装置可实时检测是否有虚化图像获取指令,若检测到虚化图像获取指令,则从缓存中调取对应的虚化图像,并将调取的虚化图像显示在终端设备的显示界面上,以便于用户预览,或者分享等操作,以进一步提高用户体验。
本申请实施例的虚化图像获取方法,通过获取预设的N个虚化参数,然后在连续拍摄图像时,选择N个虚化参数中最大的两个虚化参数,或者最小的两个虚化参数,依次获取第一虚化图像及第二虚化图像,并根据获取的第一虚化图像及第二虚化图像,确定出拍摄主体的移动方向,然后根据拍摄主体的移动方向,确定剩余各虚化参数的使用顺序,并根据使用顺序依次获取其余虚化图像,并且在获取到拍摄结束指令时,确定出连续拍摄的各虚化图像对应的虚化程度变化方向,以根据虚化程度变化方向,对连续拍摄的各虚化图像进行调整并存储。由此,一方面,实现了对连续拍摄图像进行实时虚化处理,节省了虚化处理时间,另一方面,还实现了对拍摄的连续拍摄图像进行渐变式虚化处理,改善了对动态图像的虚化处理效果,提升了用户使用体验。
通过上述分析可知,本申请是在获取到N个虚化参数之后,即时对连续拍摄的各图像进行虚化处理,以得到虚化连拍图像。下面结合图4,对本申请中对获取的连续拍摄图像先进行拍摄再进行虚化处理的过程进行进一步的说明。
图4是本申请的再一个虚化图像获取方法的流程图。
如图4所示,本申请的虚化图像获取方法可以包括以下步骤:
步骤401,获取预设的N个虚化参数,其中N种虚化参数对应的虚化程度不同,N为大于1的正整数。
步骤402,在获取到连续拍摄指令时,连续拍摄多张图像直到拍摄指令结束。
其中,在本实施例中,连续拍摄的图像总数为M,其中,M为大于1,且小于N的正整数。
步骤403,根据M个图像中拍摄主体的景深信息,确定拍摄主体的移动方向。
具体的,对获取的连续拍摄的M个图像中的拍摄主体进行景深计算,以确定出拍摄主体的移动方向,具体可参见上述实施例中的方式,在此不对其进行过多赘述。
步骤404,根据拍摄主体的移动方向,确定N个虚化参数的使用顺序。
举例说明,若拍摄主体为奔跑的小孩,并且小孩的奔跑方向是从近处到远处,那么可以确定出N种虚化参数是按照虚化程度由大到小的使用顺序。
又例如,如拍摄主体为追赶皮球的小狗,并且小狗的移动方向为由远处到近处,那么可以确定出N种虚化参数是按照虚化程度由小向大的使用顺序。
步骤405,根据N个虚化参数的使用顺序,从N个虚化参数中依次选取M个虚化参数,分别对M个图像进行虚化处理。
具体的,为了获取到虚化过渡自然的动态图像,在本实施例中,可以选择N个虚化参数中相邻的M个虚化参数,对M个图像依次进行虚化处理。
进一步的,在对M个图像进行不同虚化处理之后,本实施例可将处理后的M个图像进行合成,以生成一个具有M个图像的动态图像,然后将上述动态图像进行存储。
其中,本实施例中,可将虚化处理后的动态图像存储在本地,或者云服务器中,本申请对此不作具体限定。
进一步的,由于实际拍摄连续图像时,有可能拍摄的连续图像总数量M比获取的N个虚化参数数量多,因此本实施例利用N个虚化参数就不能对连续拍摄图像中的每帧图像都进行虚化处理。
为了解决上述问题,本实施例在对连续拍摄的各图像进行虚化处理之前,先对N个虚化参数进行相应的插值处理,以使得连续拍摄的每帧图像都有对应的虚化参数,从而实现了对连续拍摄的各图像均能实现相应的虚化处理。
具体实现时,本申请的虚化图像获取方法可以包括:
对N个虚化参数进行插值处理,确定M个虚化参数;
具体的,在本实施例中,对N个虚化参数进行的插值处理可以双线性插值、三次插值等等,本申请对此不作具体限定。
举例说明,若连续拍摄的图像数量为15帧,而预先获取的N个虚化参数为10,那么就需要对10个虚化参数进行双线性插值处理,以得到对应的5个虚化参数,从而使得最终有15个虚化参数,然后利用这15个虚化参数对连续拍摄的15帧图像进行虚化处理。
根据M个图像中拍摄主体的景深信息,确定拍摄主体的移动方向;
根据拍摄主体的移动方向,确定M个虚化参数的使用顺序;
根据M个虚化参数的使用顺序,分别对M个图像进行虚化处理。
本申请实施例的虚化图像获取方法,通过获取预设的N个虚化参数,然后在获取到连续拍摄指令时,连续拍摄M个图像直到拍摄指令结束,然后根据M个图像中拍摄主体的景深信息,确定拍摄主体的移动方向,然后根据拍摄主体的移动方向确定出N个虚化参数的使用顺序,并根据确定N个虚化参数的使用顺序,从N个虚化参数中依次选取M个虚化参数,分别对M个图像进行虚化处理,并将虚化处理后的M个图像进行合成,以生成动态图像,然后将动态图像进行存储。由此,不仅实现了对连续拍摄图像进行渐变式虚化处理,有效改善了对动态图像的虚化处理效果,还提高了对连续拍摄图像的虚化处理精度,提升了用户使用体验。
为了实现上述实施例,本发明还提出了一种虚化图像获取装置。
图5是本发明一个实施例的虚化图像获取装置的结构示意图。
如图5所示,本申请的虚化图像获取装置包括:获取模块11和处理模块12。
其中,获取模块11用于获取预设的N个虚化参数,其中N个虚化参数对应的虚化程度不同,N为大于1的正整数;
处理模块12用于在连续拍摄图像时,利用所述N个虚化参数,对连续拍摄的各图像依次进行不同程度的虚化处理。
进一步的,在本申请的另一个实施例中,如图6所示,本申请的虚化图像获取装置的处理模块12,还包括:第一获取单元121、第一确定单元122、第二确定单元123、第二获取单元124、第三确定单元125以及第四确定单元126。
其中,第一获取单元121用于分别根据所述N个虚化参数中的两个最大虚化参数,或两个最小虚化参数,依次获取第一虚化图像及第二虚化图像;
第一确定单元122用于根据所述第一虚化图像中拍摄主体的第一景深信息,及第二虚化图像中拍摄主体的第二景深信息,确定所述拍摄主体的移动方向;
第二确定单元123用于根据所述拍摄主体的移动方向,确定剩余各虚化参数的使用顺序;
第二获取单元124用于根据所述剩余各虚化参数的使用顺序,依次获取其余虚化图像;
第三确定单元125用于在获取到拍摄结束指令时,根据所述各剩余虚化参数的使用顺序,确定连续拍摄的各图像对应的虚化程度变化方向;
第四确定单元126用于根据所述虚化程度变化方向,确定所述第一虚化图像、所述第二虚化图像及其余虚化图像的存储顺序。
需要说明的是,前述对虚化图像获取方法实施例的解释说明也适用于该实施例的虚化图像获取装置,其实现原理类似,此处不再赘述。
本实施例提供的虚化图像获取装置中,通过获取预设的N种虚化参数,然后根据预设的N个虚化参数,对连续拍摄的各图像依次进行不同程度的虚化处理。由此,通过多种虚化参数对连续拍摄图像进行渐变式虚化处理,从而有效的改善了动态图像的虚化处理效果,提升了用户的视觉体验。
为了实现上述实施例,本发明还提出一种终端设备。
图7是本发明一个实施例的终端设备的结构示意图。
参见图7,本申请终端设备包括存储器21、处理器22及摄像模组23;
所述摄像模组23用于采集当前场景下的图像;
所述存储器21用于存储可执行程序代码;
所述处理器22用于读取所述存储器21中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于实现第一方面实施例所述的虚化图像获取方法。其中虚化图像获取方法包括:获取预设的N个虚化参数,其中N个虚化参数对应的虚化程度不同,N为大于1的正整数;在连续拍摄图像时,利用所述N个虚化参数,对连续拍摄的各图像依次进行不同程度的虚化处理。
其中,本实施例中终端设备可以是任意具有拍照功能的硬件设备,比如智能手机、相机、个人计算机(personal computer,简称为PC)等等,本申请对此不作具体限定。
可选的,本实施例中终端设备还可以是具备双摄像头的硬件设备,其中,双摄像头是指具有两个后置摄像头。
进一步地,本申请终端设备还可以包括图像处理电路24。
其中,存储器21用于存储处理器22的可执行指令;
处理器22用于调用存储器21中的程序代码,并根据图像处理电路24输出的虚化处理后的动态图像,以实现第一方面实施例的虚化图像获取方法。
具体的,图像处理电路24可以利用硬件和/或软件组件实现,可包括定义ISP(Image Signal Processing,图像信号处理)管线的各种处理单元。
图8是本发明一个实施例中图像处理电路的示意图。如图8所示,为便于说明,仅示出与本发明实施例相关的图像处理技术的各个方面。
如图8所示,图像处理电路24包括成像设备1140、ISP处理器1150和控制逻辑器1160。成像设备1140可包括具有一个或多个透镜1141、图像传感器1142的照相机和结构光投射器1143。结构光投射器1143将结构光投影至被测物。其中,该结构光图案可为激光条纹、格雷码、正弦条纹、或者,随机排列的散斑图案等。图像传感器1142捕捉投影至被测物形成的结构光图像,并将结构光图像发送至ISP处理器1150,由ISP处理器1150对结构光图像进行解调获取被测物的深度信息。同时,图像传感器1142也可以捕捉被测物的色彩信息。当然,也可以由两个图像传感器1142分别捕捉被测物的结构光图像和色彩信息。
其中,以散斑结构光为例,ISP处理器1150对结构光图像进行解调,具体包括,从该结构光图像中采集被测物的散斑图像,将被测物的散斑图像与参考散斑图像按照预定算法进行图像数据计算,获取被测物上散斑图像的各个散斑点相对于参考散斑图像中的参考散斑点的移动距离。利用三角法转换计算得到散斑图像的各个散斑点的深度值,并根据该深度值得到被测物的深度信息。
当然,还可以通过双目视觉的方法或基于飞行时差TOF的方法来获取该深度图像信息等,在此不做限定,只要能够获取或通过计算得到被测物的深度信息的方法都属于本实施方式包含的范围。
在ISP处理器1150接收到图像传感器1142捕捉到的被测物的色彩信息之后,可被测物的色彩信息对应的图像数据进行处理。ISP处理器1150对图像数据进行分析以获取可用于确定和/或成像设备1140的一个或多个控制参数的图像统计信息。图像传感器1142可包括色彩滤镜阵列(如Bayer滤镜),图像传感器1142可获取用图像传感器1142的每个成像像素捕捉的光强度和波长信息,并提供可由ISP处理器1150处理的一组原始图像数据。
ISP处理器1150按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,ISP处理器1150可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的图像统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。
ISP处理器1150还可从图像存储器1170接收像素数据。图像存储器1170可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(DirectMemory Access,直接直接存储器存取)特征。
当接收到原始图像数据时,ISP处理器1150可进行一个或多个图像处理操作。
在ISP处理器1150获取到被测物的色彩信息和深度信息后,可对其进行融合,得到三维图像。其中,可通过外观轮廓提取方法或轮廓特征提取方法中的至少一种提取相应的被测物的特征。例如通过主动形状模型法ASM、主动外观模型法AAM、主成分分析法PCA、离散余弦变换法DCT等方法,提取被测物的特征,在此不做限定。再将分别从深度信息中提取到被测物的特征以及从色彩信息中提取到被测物的特征进行配准和特征融合处理。这里指的融合处理可以是将深度信息以及色彩信息中提取出的特征直接组合,也可以是将不同图像中相同的特征进行权重设定后组合,也可以有其他融合方式,最终根据融合后的特征,生成三维图像。
三维图像的图像数据可发送给图像存储器1170,以便在被显示之前进行另外的处理。ISP处理器1150从图像存储器1170接收处理数据,并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。三维图像的图像数据可输出给显示器1180,以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形处理器)进一步处理。此外,ISP处理器1150的输出还可发送给图像存储器1170,且显示器1180可从图像存储器1170读取图像数据。在一个实施例中,图像存储器1170可被配置为实现一个或多个帧缓冲器。此外,ISP处理器1150的输出可发送给编码器/解码器1190,以便编码/解码图像数据。编码的图像数据可被保存,并在显示于显示器1180设备上之前解压缩。编码器/解码器1190可由CPU或GPU或协处理器实现。
ISP处理器1150确定的图像统计信息可发送给控制逻辑器1160单元。控制逻辑器1160可包括执行一个或多个例程(如固件)的处理器和/或微控制器,一个或多个例程可根据接收的图像统计信息,确定成像设备1140的控制参数。
需要说明的是,前述对虚化图像获取方法实施例的解释说明也适用于该实施例的终端设备,其实现原理类似,此处不再赘述。
本实施例提供的终端设备中,通过获取预设的N种虚化参数,然后根据预设的N个虚化参数,对连续拍摄的各图像依次进行不同程度的虚化处理。由此,通过多种虚化参数对连续拍摄图像进行渐变式虚化处理,从而有效的改善了动态图像的虚化处理效果,提升了用户的视觉体验。
为了实现上述实施例,本发明还提出了一种计算机可读存储介质。
该计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现第一方面实施例的虚化图像获取方法。其中虚化图像获取方法包括:获取预设的N个虚化参数,其中N个虚化参数对应的虚化程度不同,N为大于1的正整数;在连续拍摄图像时,利用所述N个虚化参数,对连续拍摄的各图像依次进行不同程度的虚化处理。
在本发明中,除非另有明确的规定和限定,术语“设置”、“连接”等术语应做广义理解,例如,可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系,除非另有明确的限定。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (11)
1.一种虚化图像获取方法,其特征在于,包括:
获取预设的N个虚化参数,其中N个虚化参数对应的虚化程度不同,N为大于1的正整数;
在连续拍摄图像时,利用所述N个虚化参数,对连续拍摄的各图像依次进行不同程度的虚化处理。
2.如权利要求1所述的方法,其特征在于,所述对连续拍摄的各图像依次进行不同程度的虚化处理,包括:
分别根据所述N个虚化参数中的两个最大虚化参数,或两个最小虚化参数,依次获取第一虚化图像及第二虚化图像;
根据所述第一虚化图像中拍摄主体的第一景深信息,及第二虚化图像中拍摄主体的第二景深信息,确定所述拍摄主体的移动方向;
根据所述拍摄主体的移动方向,确定剩余各虚化参数的使用顺序;
根据所述剩余各虚化参数的使用顺序,依次获取其余虚化图像。
3.如权利要求2所述的方法,其特征在于,还包括:
在获取到拍摄结束指令时,根据所述各剩余虚化参数的使用顺序,确定连续拍摄的各图像对应的虚化程度变化方向;
根据所述虚化程度变化方向,确定所述第一虚化图像、所述第二虚化图像及其余虚化图像的存储顺序。
4.如权利要求1所述的方法,其特征在在于,连续拍摄的图像总数为M,其中,M为大于1,且小于N的正整数;
所述对连续拍摄的各图像依次进行不同程度的虚化处理,包括:
根据所述M个图像中拍摄主体的景深信息,确定所述拍摄主体的移动方向;
根据所述拍摄主体的移动方向,确定所述N个虚化参数的使用顺序;
根据所述N个虚化参数的使用顺序,从所述N个虚化参数中依次选取M个虚化参数,分别对所述M个图像进行虚化处理。
5.如权利要求1所述的方法,其特征在在于,连续拍摄的图像总数为M,其中,M为大于N的正整数;
所述对连续拍摄的各图像依次进行不同程度的虚化处理,包括:
对所述N个虚化参数进行插值处理,确定M个虚化参数;
根据所述M个图像中拍摄主体的景深信息,确定所述拍摄主体的移动方向;
根据所述拍摄主体的移动方向,确定所述M个虚化参数的使用顺序;
根据所述M个虚化参数的使用顺序,分别对所述M个图像进行虚化处理。
6.如权利要求1-4任一所述的方法,其特征在于,所述对连续拍摄的各各图像依次进行不同程度的虚化处理之前,还包括:
根据当前场景中背景的景深信息,对所述预设的N个虚化参数分别进行调整。
7.一种虚化图像获取装置,其特征在于,包括:
获取模块,用于获取预设的N个虚化参数,其中N个虚化参数对应的虚化程度不同,N为大于1的正整数;
处理模块,用于在连续拍摄图像时,利用所述N个虚化参数,对连续拍摄的各图像依次进行不同程度的虚化处理。
8.如权利要求7所述的装置,其特征在于,所述处理模块,包括:
第一获取单元,用于分别根据所述N个虚化参数中的两个最大虚化参数,或两个最小虚化参数,依次获取第一虚化图像及第二虚化图像;
第一确定单元,用于根据所述第一虚化图像中拍摄主体的第一景深信息,及第二虚化图像中拍摄主体的第二景深信息,确定所述拍摄主体的移动方向;
第二确定单元,用于根据所述拍摄主体的移动方向,确定剩余各虚化参数的使用顺序;
第二获取单元,用于根据所述剩余各虚化参数的使用顺序,依次获取其余虚化图像。
9.如权利要求8所述的装置,其特征在于,所述处理模块,还包括:
第三确定单元,用于在获取到拍摄结束指令时,根据所述各剩余虚化参数的使用顺序,确定连续拍摄的各图像对应的虚化程度变化方向;
第四确定单元,用于根据所述虚化程度变化方向,确定所述第一虚化图像、所述第二虚化图像及其余虚化图像的存储顺序。
10.一种终端设备,其特征在于,包括:存储器、处理器及摄像模组;
所述摄像模组,用于采集当前场景下的图像;
所述存储器,用于存储可执行程序代码;
所述处理器,用于读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于实现如权利要求1-6任一所述的虚化图像获取方法。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1-6任一所述的虚化图像获取方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711243743.1A CN107820019B (zh) | 2017-11-30 | 2017-11-30 | 虚化图像获取方法、装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711243743.1A CN107820019B (zh) | 2017-11-30 | 2017-11-30 | 虚化图像获取方法、装置及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107820019A true CN107820019A (zh) | 2018-03-20 |
CN107820019B CN107820019B (zh) | 2020-03-06 |
Family
ID=61605563
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711243743.1A Active CN107820019B (zh) | 2017-11-30 | 2017-11-30 | 虚化图像获取方法、装置及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107820019B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110266960A (zh) * | 2019-07-19 | 2019-09-20 | Oppo广东移动通信有限公司 | 预览画面处理方法、处理装置、摄像装置及可读存储介质 |
CN110363702A (zh) * | 2019-07-10 | 2019-10-22 | Oppo(重庆)智能科技有限公司 | 图像处理方法及相关产品 |
CN111145100A (zh) * | 2018-11-02 | 2020-05-12 | 深圳富泰宏精密工业有限公司 | 动态影像生成方法及系统、计算机装置、及可读存储介质 |
CN115066881A (zh) * | 2020-02-06 | 2022-09-16 | Oppo广东移动通信有限公司 | 对于图像序列生成稳定化图像合成效果的方法、系统及计算机可读介质 |
WO2023025196A1 (zh) * | 2021-08-25 | 2023-03-02 | 维沃移动通信(杭州)有限公司 | 图像处理方法、装置及电子设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050237383A1 (en) * | 2004-04-22 | 2005-10-27 | Fuji Photo Film Co., Ltd. | Digital camera |
JP2015057670A (ja) * | 2014-12-11 | 2015-03-26 | キヤノン株式会社 | 撮像装置及び撮像装置の制御方法 |
CN105279752A (zh) * | 2014-07-25 | 2016-01-27 | 王辉 | 一种数字图像整体艺术效果处理方法 |
CN106060423A (zh) * | 2016-06-02 | 2016-10-26 | 广东欧珀移动通信有限公司 | 虚化照片生成方法、装置和移动终端 |
CN106357980A (zh) * | 2016-10-19 | 2017-01-25 | 广东欧珀移动通信有限公司 | 图像虚化处理方法、装置和移动终端 |
-
2017
- 2017-11-30 CN CN201711243743.1A patent/CN107820019B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050237383A1 (en) * | 2004-04-22 | 2005-10-27 | Fuji Photo Film Co., Ltd. | Digital camera |
CN105279752A (zh) * | 2014-07-25 | 2016-01-27 | 王辉 | 一种数字图像整体艺术效果处理方法 |
JP2015057670A (ja) * | 2014-12-11 | 2015-03-26 | キヤノン株式会社 | 撮像装置及び撮像装置の制御方法 |
CN106060423A (zh) * | 2016-06-02 | 2016-10-26 | 广东欧珀移动通信有限公司 | 虚化照片生成方法、装置和移动终端 |
CN106357980A (zh) * | 2016-10-19 | 2017-01-25 | 广东欧珀移动通信有限公司 | 图像虚化处理方法、装置和移动终端 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111145100A (zh) * | 2018-11-02 | 2020-05-12 | 深圳富泰宏精密工业有限公司 | 动态影像生成方法及系统、计算机装置、及可读存储介质 |
CN111145100B (zh) * | 2018-11-02 | 2023-01-20 | 深圳富泰宏精密工业有限公司 | 动态影像生成方法及系统、计算机装置、及可读存储介质 |
CN110363702A (zh) * | 2019-07-10 | 2019-10-22 | Oppo(重庆)智能科技有限公司 | 图像处理方法及相关产品 |
CN110363702B (zh) * | 2019-07-10 | 2023-10-20 | Oppo(重庆)智能科技有限公司 | 图像处理方法及相关产品 |
CN110266960A (zh) * | 2019-07-19 | 2019-09-20 | Oppo广东移动通信有限公司 | 预览画面处理方法、处理装置、摄像装置及可读存储介质 |
CN115066881A (zh) * | 2020-02-06 | 2022-09-16 | Oppo广东移动通信有限公司 | 对于图像序列生成稳定化图像合成效果的方法、系统及计算机可读介质 |
CN115066881B (zh) * | 2020-02-06 | 2023-11-14 | Oppo广东移动通信有限公司 | 对于图像序列生成稳定化图像合成效果的方法、系统及计算机可读介质 |
WO2023025196A1 (zh) * | 2021-08-25 | 2023-03-02 | 维沃移动通信(杭州)有限公司 | 图像处理方法、装置及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN107820019B (zh) | 2020-03-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107820019A (zh) | 虚化图像获取方法、装置及设备 | |
KR102306304B1 (ko) | 듀얼 카메라 기반 이미징 방법과 장치 및 저장 매체 | |
CN107370958B (zh) | 图像虚化处理方法、装置及拍摄终端 | |
US10404969B2 (en) | Method and apparatus for multiple technology depth map acquisition and fusion | |
CN108111749B (zh) | 图像处理方法和装置 | |
KR20170008638A (ko) | 3차원 컨텐츠 생성 장치 및 그 3차원 컨텐츠 생성 방법 | |
CN107948517A (zh) | 预览画面虚化处理方法、装置及设备 | |
CN109118581B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN107465906B (zh) | 场景的全景拍摄方法、装置及终端设备 | |
CN107480613A (zh) | 人脸识别方法、装置、移动终端和计算机可读存储介质 | |
CN108055452A (zh) | 图像处理方法、装置及设备 | |
CN110009672A (zh) | 提升ToF深度图像处理方法、3D图像成像方法及电子设备 | |
CN107483845B (zh) | 拍照方法及其装置 | |
CN107493432A (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
CN107509031A (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
CN107370950B (zh) | 对焦处理方法、装置和移动终端 | |
CN107517346B (zh) | 基于结构光的拍照方法、装置及移动设备 | |
CN108024054A (zh) | 图像处理方法、装置及设备 | |
CN107564050A (zh) | 基于结构光的控制方法、装置和终端设备 | |
CN107590828B (zh) | 拍摄图像的虚化处理方法和装置 | |
CN107360354B (zh) | 拍照方法、装置、移动终端和计算机可读存储介质 | |
CN107621867A (zh) | 熄屏控制方法、装置和终端设备 | |
CN107610171A (zh) | 图像处理方法及其装置 | |
CN108053438A (zh) | 景深获取方法、装置及设备 | |
CN107480615A (zh) | 美颜处理方法、装置及移动设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Applicant after: OPPO Guangdong Mobile Communications Co., Ltd. Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Applicant before: Guangdong Opel Mobile Communications Co., Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |