CN115345805A - 图像获取方法、装置、计算机设备和存储介质 - Google Patents
图像获取方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN115345805A CN115345805A CN202110522876.2A CN202110522876A CN115345805A CN 115345805 A CN115345805 A CN 115345805A CN 202110522876 A CN202110522876 A CN 202110522876A CN 115345805 A CN115345805 A CN 115345805A
- Authority
- CN
- China
- Prior art keywords
- image
- motion
- moving object
- initial
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 230000008569 process Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 13
- 230000004927 fusion Effects 0.000 claims description 8
- 238000005070 sampling Methods 0.000 abstract description 18
- 230000000694 effects Effects 0.000 abstract description 3
- 230000000875 corresponding effect Effects 0.000 description 86
- 238000001514 detection method Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000011002 quantification Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Abstract
本申请涉及一种图像获取方法、装置、计算机设备和存储介质。所述方法包括:获取终端相机针对运动对象拍摄的图像流,以及当前拍摄的运动对象的运动量;基于所述运动量,从所述图像流中获取对应帧数的初始图像;所述对应帧数与所述运动量之间为正相关关系;从所述对应帧数的初始图像中删除所述运动对象的重叠度大于预设阈值的相邻两帧初始图像中的任意一帧,得到所述运动对象的多帧目标图像。本方法基于运动量从图像流中进行初始采样,使得所得到的初始图像与运动对象的运动情况相匹配,减小初始图像的模糊度,进一步通过运动对象的重叠度对初始图像进行二次采样,去除其中重叠度较高的图像,减少了图像之间的重叠度,从而提高了目标图像的图像效果。
Description
技术领域
本申请涉及图像处理技术领域,特别是涉及一种图像获取方法、装置、计算机设备和存储介质。
背景技术
目前,具有拍摄功能的设备对于连续运动的对象的图像拍摄多是采用Burst模式(突发模式),通过按下或按住快门按钮,可以在短时间内连续拍摄多个镜头,该功能可以选择最好的镜头,并可记录运动对象的运动过程。
但是,通过Burst模式或由用户手动按下快门的方法所拍摄的运动图像容易出现模糊的情况,所得到的图像效果较差。
发明内容
基于此,有必要针对上述技术问题,提供一种可以针对运动对象拍摄具有较好图像效果的图像获取方法、装置、计算机设备和存储介质。
一种图像获取方法,所述方法包括:
获取终端相机针对运动对象拍摄的图像流,以及当前拍摄的所述运动对象的运动量;
基于所述运动量,从所述图像流中获取对应帧数的初始图像;所述对应帧数与所述运动量之间为正相关关系;
从所述对应帧数的初始图像中删除所述运动对象的重叠度大于预设阈值的相邻两帧初始图像中的任意一帧,得到所述运动对象的多帧目标图像。
在其中一个实施例中,所述获取当前拍摄的所述运动对象的运动量,包括:
基于所述图像流中的相邻两帧捕获图像,获取所述运动对象在所述相邻两帧捕获图像之间的运动量;
获取多组所述相邻两帧捕获图像之间的运动量的均值,作为所述运动对象的运动量。
在其中一个实施例中,所述基于所述运动量,从所述图像流中,获取对应帧数的初始图像,包括:
获取所述图像流的捕获时间,以及所述终端相机的帧速率;
根据所述运动量、所述捕获时间和所述帧速率,确定对应帧数;
从所述图像流中,获取所述对应帧数的初始图像。
在其中一个实施例中,所述根据所述运动量、所述捕获时间和所述帧速率,确定对应帧数,包括:
获取所述运动量、所述捕获时间和所述帧速率的乘积,作为所述对应帧数。
在其中一个实施例中,所述从所述图像流中,获取所述对应帧数的初始图像,包括:
将所述捕获时间划分为多个时间区间;
获取各个所述时间区间对应的区间帧数;所述区间帧数与对应时间区间内所述运动对象的运动量之间为正相关关系;
基于所述区间帧数,获取各时间区间的图像流中的至少一帧捕获图像;
基于多个时间区间各自对应的所述至少一帧捕获图像,得到所述运动对象的对应帧数的初始图像。
在其中一个实施例中,所述获取各个所述时间区间对应的区间帧数,包括:
针对各个所述时间区间,获取所述运动对象在该时间区间内的运动量;
根据该时间区间的运动量、该时间区间的时长以及终端相机的帧速率,确定该时间区间对应的区间帧数。
在其中一个实施例中,所述基于所述运动量,从所述图像流中获取对应帧数的初始图像,还包括:
基于所述运动量,确定所述终端相机的快门触发率;
根据所述快门触发率触发所述终端相机的快门事件,以从终端相机针对所述运动对象实时捕获的图像流中,获取对应帧数的初始图像。
在其中一个实施例中,所述从所述对应帧数的初始图像中删除所述运动对象的重叠度大于预设阈值的相邻两帧初始图像中的任意一帧之前,还包括:
确定各帧所述初始图像中的运动对象图像区域;
获取相邻两帧初始图像中的所述运动对象图像区域的重叠度,作为所述相邻两帧初始图像中所述运动对象的重叠度。
在其中一个实施例中,在得到所述运动对象在运动过程中的多帧目标图像之后,还包括:
从所述多帧目标图像中确定出参考帧图像;
获取其他目标图像相对于所述参考帧图像的捕获时间的先后顺序;
根据所述捕获时间的先后顺序,将所述其他目标图像中的运动对象图像区域依次叠加在所述参考帧图像中,得到所述运动对象的融合图像;所述融合图像中包含所述运动对象在运动过程中多个时刻的运动情况。
一种图像获取装置,所述装置包括:
运动量获取模块,用于获取终端相机针对运动对象拍摄的图像流,以及当前拍摄的所述运动对象的运动量;
初始图像获取模块,用于基于所述运动量,从所述图像流中获取对应帧数的初始图像;所述对应帧数与所述运动量之间为正相关关系;
目标图像获取模块,用于从所述对应帧数的初始图像中删除所述运动对象的重叠度大于预设阈值的相邻两帧初始图像中的任意一帧,得到所述运动对象的多帧目标图像。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取终端相机针对运动对象拍摄的图像流,以及当前拍摄的所述运动对象的运动量;
基于所述运动量,从所述图像流中获取对应帧数的初始图像;所述对应帧数与所述运动量之间为正相关关系;
从所述对应帧数的初始图像中删除所述运动对象的重叠度大于预设阈值的相邻两帧初始图像中的任意一帧,得到所述运动对象的多帧目标图像。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取终端相机针对运动对象拍摄的图像流,以及当前拍摄的所述运动对象的运动量;
基于所述运动量,从所述图像流中获取对应帧数的初始图像;所述对应帧数与所述运动量之间为正相关关系;
从所述对应帧数的初始图像中删除所述运动对象的重叠度大于预设阈值的相邻两帧初始图像中的任意一帧,得到所述运动对象的多帧目标图像。
上述图像获取方法、装置、计算机设备和存储介质,通过获取终端相机针对运动对象拍摄的图像流,以及当前拍摄的运动对象的运动量,然后基于该运动量从图像流中获取对应帧数的初始图像,最后从该对应帧数的初始图像中删除其中重叠度大于预设阈值的相邻两帧初始图像中的任意一帧,得到运动对象的多帧目标图像。该方法通过将运动对象的运动进行量化,基于量化得到的运动量从终端相机捕获的图像流中进行初始采样,使得所得到的初始图像与运动对象的运动情况相匹配,从而可减小所得到的初始图像的模糊度,在得到初始图像后,进一步根据相邻两帧初始图像中运动对象的重叠度对初始图像进行二次采样,去除其中重叠度较高的图像,使得所得到的多帧目标图像之间的重叠度符合所设定的条件,该方法操作简便省时,且可提高所得到终端所拍摄的运动对象在运动过程中的图像的清晰度,以及减小所得到的图像之间的重叠度。
附图说明
图1为一个实施例中图像获取方法的流程示意图;
图2为一个实施例中相邻两帧初始图像的重叠度的示意图;
图3为一个实施例中融合图像的示意图;
图4为一个实施例中初始图像获取步骤的流程示意图;
图5为另一个实施例中图像获取方法的流程示意图;
图6为一个实施例中图像获取方法的整体流程示意图;
图7为一个实施例中图像获取装置的结构框图;
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在一个实施例中,如图1所示,提供了一种图像获取方法,本实施例以该方法应用于终端进行举例说明,其中,终端102为配置有相机的设备,其形态可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。本实施例中,该方法包括以下步骤:
步骤S102,获取终端相机针对运动对象拍摄的图像流,以及当前拍摄的运动对象的运动量。
其中,运动对象指的是可以移动的物体,具体可包括自主移动或在外力作用下移动的物体,自动移动的物体可以为生命体(如人、动物等),在外力作用下移动的物体可以为具有动力装置的物体(如车辆、飞机、轮船等)或无动力装置的物体(如在风力作用下,处于飞起状态的风筝)。
其中,运动量可以理解为用于表征运动对象运动情况的信息,作为一示例,运动量可以为运动对象在两帧连续的图像中的偏移量。
其中,在检测到运动对象的运动时,可以通过终端相机中设置的流式传感器捕获针对运动对象的图像流,该图像流中包含运动对象在运动过程中的多帧图像,其中,相邻图像之间的时间间隔为捕获图像流的帧速率的倒数。
具体地,上述步骤S102的实施方式可以为:在检测到用户将终端相机的当前拍摄模式切换为定格拍摄模式时,接收用户针对捕获按钮的触发操作,响应于该触发操作,启动运动检测引擎,当运动检测引擎检测到运动时,将触发流式传感器对终端当前拍摄场景的捕捉,根据捕获到的图像流估计当前拍摄的运动对象的运动量。
本申请中,终端相机中设置有运动检测引擎和流式传感器,以便于通过运动检测引擎检测运动和进行运动估计,通过流式传感器捕获针对运动对象的图像流。
步骤S104,基于运动量,从图像流中获取对应帧数的初始图像;对应帧数与运动量之间为正相关关系。
其中,对应帧数与运动量之间为正相关关系可以理解为运动量越大,所获取的初始图像的帧数越多,运动量较小,则所获取的初始图像的帧数对应也较小。
具体实现中,图像流可以为实时捕获的图像流,也可以为缓存的图像流。当用于获取对应帧数的初始图像的图像流为缓存的图像流时,初始图像的获取方式可包括:在终端相机针对运动对象捕获到图像流之后,可先将该图像流进行缓存或存储,以便于在基于捕获的图像流获取运动对象的运动量之后,基于该运动量,确定对运动进行图像采样的采样帧数,进而基于该采样帧数从缓存的图像流中,获取对应帧数的初始图像。
当用于获取对应帧数的初始图像的图像流为实时捕获的图像流时,初始图像的获取方式可包括:在基于捕获的图像流获取运动对象的运动量之后,根据运动量对终端相机的快门触发率进行调整,得到调整后的快门触发率,基于调整后的快门触发率触发终端相机的快门事件,进而从终端相机针对运动对象实时捕获的图像流中,获取对应帧数的初始图像。
本步骤中,可将捕获的图像流进行缓存,然后基于运动量,从缓存的图像流中获取对应帧数的初始图像,也可基于运动量调整终端相机的快门触发率,进而从终端相机实时捕获的图像流中获取对应帧数的初始图像,使得初始图像获取方法具有多样性,便于选择。
步骤S106,从对应帧数的初始图像中删除运动对象的重叠度大于预设阈值的相邻两帧初始图像中的任意一帧,得到运动对象的多帧目标图像。
其中,若运动对象的运动量较小,而相邻两帧初始图像的时间间隔较短,则相邻的两帧初始图像中的运动对象的位置可能出现重叠的情况,因此,在得到对应帧数的初始图像后,还需要对初始图像进行过滤,删除运动对象的重叠度大于预设阈值的相邻两帧初始图像中的任意一帧,以避免相邻两帧初始图像中运动对象的位置重叠问题。
其中,相邻两帧初始图像表示在捕获时间的先后顺序两两相邻的初始图像,例如,参考图2,为相邻两帧初始图像的重叠度的示意图,图中图像21与图像22为相邻的两帧初始图像,图像22与图像23也为相邻的两帧初始图像。
其中,重叠度表示在捕获时间的维度上,相邻两帧初始图像中运动对象所覆盖的区域之间的重叠情况,具体可以为运动对象所覆盖的最小区域之间的重叠区域。例如,在图2中,区域200表示初始图像21和初始图像22之间的重叠度,区域210表示初始图像22和初始图像23之间的重叠度。
具体实现中,在得到初始图像后,可获取初始图像中的各组相邻两帧初始图像中运动对象的重叠度,根据该重叠度对初始图像进行过滤,以删除其中重叠度大于预设阈值的相邻两帧初始图像中的一帧,从而使得得到的运动对象的多帧目标图像的重叠度符合条件,产生一系列清晰的且重叠度较低的运动对象的图像。在得到多帧目标图像后,可将各帧目标图像像连拍模式的输出一样,按照各帧目标图像的捕获时间顺序,将各帧目标图像存储在终端中,用于生成融合图像。
例如,在图2中,图中图像21、图像22和图像23表示初始图像,区域200表示初始图像21和初始图像22之间的重叠度,区域210表示初始图像22和初始图像23之间的重叠度。假设区域200表征的重叠度小于预设阈值,区域210表征的重叠度大于预设阈值,则在对图2所示的三帧初始图像进行过滤时,需删除重叠度大于预设阈值的初始图像22和初始图像23中的其中一帧图像,得到运动对象的目标图像为初始图像21和初始图像22,或得到目标图像为初始图像21和初始图像23。
上述图像获取方法中,通过获取终端相机针对运动对象拍摄的图像流,以及当前拍摄的运动对象的运动量,然后基于该运动量从图像流中获取对应帧数的初始图像,最后从该对应帧数的初始图像中删除其中重叠度大于预设阈值的相邻两帧初始图像中的任意一帧,得到运动对象的多帧目标图像。该方法通过将运动对象的运动进行量化,基于量化得到的运动量从终端相机捕获的图像流中进行初始采样,使得所得到的初始图像与运动对象的运动情况相匹配,从而可减小所得到的初始图像的模糊度,在得到初始图像后,进一步根据相邻两帧初始图像中运动对象的重叠度对初始图像进行二次采样,去除其中重叠度较高的图像,使得所得到的多帧目标图像之间的重叠度符合所设定的条件,该方法操作简便省时,且可提高所得到终端所拍摄的运动对象在运动过程中的图像的清晰度,以及减小所得到的图像之间的重叠。
在一个实施例中,上述步骤S102具体包括:当检测到终端相机的当前拍摄模式为定格拍摄模式时,基于终端相机针对运动对象捕获到的图像流,获取运动对象的运动量。
具体实现中,当检测到终端相机的当前拍摄模式为定格拍摄模式时,终端相机中的流式传感器针对运动对象以预设帧速率开始流式传输,得到图像流,运动检测引擎在该图像流上运行,通过运动检测算法进行运动估计,得到运动对象的运动量,其中,该运动检测引擎可采用任一种运动检测算法进行运动估计,例如,块匹配法、相位相关法、频域法和光流法等。其中,运动量的具体定义由运动检测算法决定,例如,若采用块匹配算法估计运动量,则运动量表示运动对象在两帧连续的图像中的位移矢量,若采用光流法估计运动量,则运动量表示运动对象在两帧连续的图像中的速度矢量。
由于本申请旨在捕获运动中的对象,为了获取清晰的图像,因此,流式传感器可以较高的帧速率(大于或等于120帧/秒)进行流式传输,例如,可采用的帧速率可以为120帧/秒、240帧/秒或480帧/秒。
进一步地,在一个实施例中,上述基于终端相机针对运动对象捕获到的图像流,获取运动对象的运动量的步骤,包括:基于图像流中的相邻两帧捕获图像,获取运动对象在相邻两帧捕获图像之间的运动量;获取多组相邻两帧捕获图像之间的运动量的均值,作为运动对象的运动量。
具体地,运动检测引擎通过运动检测算法对图像流中相邻的两帧捕获图像进行运动估计,得到运动对象在各组相邻两帧捕获图像之间的运动量,由于运动对象的运动量在各组相邻两帧捕获之间可能不相同,因此,可进一步计算各组相邻两帧捕获图像之间的运动量的平均值,作为运动对象的运动量,以便于基于该运动量从终端相机针对运动对象的图像流进行均匀采样,避免得到的初始图像之间的重叠度过大。
本实施例中,通过在终端相机的拍摄模式中添加定格拍摄模式功能,以便于在拍摄运动对象时,可基于终端相机针对运动对象捕获到的图像流,获取运动对象在相邻两帧捕获图像之间的运动量,并将各组相邻两帧捕获图像之间的运动量的均值,作为运动对象的运动量,最后基于该运动量确定采样帧数,直接从图像流中获取对应帧数的初始图像,既可获取清晰的运动对象的图像,也无需用户后期通过第三方应用程序处理,操作简便且省时。
在一个实施例中,在上述步骤S106之后,还包括:从多帧目标图像中确定出参考帧图像;获取其他目标图像相对于参考帧图像的捕获时间的先后顺序;根据捕获时间的先后顺序,将其他目标图像中的运动对象图像区域依次叠加在参考帧图像中,得到运动对象的融合图像;融合图像中包含运动对象在运动过程中多个时刻的运动情况。
其中,参考帧图像为多帧目标图像中的任一帧图像,具体可以为多帧目标图像中运动对象处于目标图像的正中间的图像,也可以为目标图像中最清晰的图像,参考帧图像可以根据实际需求进行选择,本申请对此不作具体限定。
其中,融合图像表示将采用两次或者更多次独立拍摄的图像重叠起来所组成的单一图像,例如,参考图3,为融合图像的示意图。
具体实现中,在从多帧目标图像确定出参考帧图像后,将除去参考帧图像的其他目标图像与参考帧图像融合之前,需获取其他目标图像相对于参考帧图像的捕获时间的先后顺序,根据该捕获时间的先后顺序,利用图像配准技术将其他目标图像向参考帧图像进行对齐。其中,图像配准(Image registration)表示将不同时间、不同传感器(成像设备)或不同条件下(天候、照度、摄像位置和角度等)获取的两幅或多幅图像进行匹配、叠加的过程,在本实施例中,图像配准表示将不同时间的目标图像进行匹配和叠加。
更具体地,是将其他目标图像的运动对象图像区域与参考帧图像进行匹配和叠加,最后得到如图3所示的包含有运动对象在运动过程中多个时刻的运动情况的融合图像。
本实施例中,终端在得到多帧目标图像后,通过对各帧目标图像进行图像分割,将其他目标图像叠加在参考帧图像上,直接得到包含有运动对象在运动过程中多个时刻的运动情况的融合图像,无需用户再通过第三方应用程序进行后期图像处理,操作简单方便,克服了传统通过第三方应用程序才可进行图像融合存在的操作繁琐,且耗时耗力的缺陷。
在一个实施例中,上述方法还包括:缓存终端相机针对运动对象捕获的图像流;上述步骤S104包括:基于运动量,从缓存的图像流中,获取对应帧数的初始图像。
进一步地,在一个实施例中,基于运动量,从缓存的图像流中,获取对应帧数的初始图像,包括:获取缓存的图像流的捕获时间,以及终端相机的帧速率;根据运动量、捕获时间和帧速率,确定对应帧数;从缓存的图像流中,获取对应帧数的初始图像。
更进一步地,在一个实施例中,上述根据运动量、捕获时间和帧速率,确定对应帧数,包括:获取运动量、捕获时间和帧速率的乘积,作为对应帧数。
其中,帧速率(Frames Per Second,FPS)表示指每秒传输帧数,也可表示每秒刷新的图片的帧数。
具体实现中,当初始对象从缓存的图像流中获取时,在获取运动对象的运动量之后,还需对运动量进行归一化处理,得到归一化后的运动量,根据归一化后的运动量,捕获时间和帧速率,确定对应帧数,以消除采用不同的运动检测方法获取的运动量对所确定的对应帧数的影响。
若记缓存的图像流的捕获时间为t秒、流式传感器的帧速率=f、运动检测引擎估计得到的归一化后的运动量为m(0≤m≤1),则应获取的图像帧数可用关系式表示为:
上式表示在运动对象的运动量为0时,则只获取一帧初始图像,在运动对象的运动量不为0时,则获取m*t*f帧初始图像。
本实施例中,在获取运动对象的运动量后,先对该运动量进行归一化处理,以消除采用不同的运动检测方法获取的运动量对所确定的对应帧数的影响,提高初始图像的帧数确定结果的准确性,通过计算缓存的图像流的捕获时间、运动量和帧速率的乘积,得到对应帧数,以便于从缓存的图像流中,获取对应帧数的初始图像。
为了保留运动对象运动过程中尽可能多的细节,则需要获取较多的捕获图像,作为初始图像,而为了同时减少所获取的初始图像之间的重叠度,在一个实施例中,本申请还提供了如图4所示的方法,上述从缓存的图像流中,获取对应帧数的初始图像的步骤,包括:
步骤S402,将捕获时间划分为多个时间区间;
步骤S404,获取各个时间区间对应的区间帧数;区间帧数与对应时间区间内运动对象的运动量之间为正相关关系;
步骤S406,基于区间帧数,获取各时间区间的图像流中的至少一帧捕获图像;
步骤S408,基于多个时间区间各自对应的至少一帧捕获图像,得到运动对象的对应帧数的初始图像。
具体实现中,由于运动对象的运动量可能改变,所获取的初始图像中相邻两帧运动对象的运动量会不同,因此可将获取的缓存的图像流的捕获时间划分为多个时间区间,根据每个时间区间的运动量来确定对应的区间帧数,并相应地对每个时间区间中的捕获图像进行均匀采样,基于从各个时间区间获取的捕获图像,得到运动对象的对应帧数的初始图像,以在保留运动对象运动过程中尽可能多的细节的基础上,尽可能减少所获取的初始图像之间的重叠度。
实际应用中,图像流的捕获时间可以设定为固定值,此时,时间区间的数量可以固定,也可根据运动检测得到的运动量进行动态计算,对于运动量快速变化的运动数据,可将每个时间区间的时间间隔缩短,对应需要更多的时间区间。对于运动量缓慢变化的运动数据,则可将每个时间区间的时间间隔增大,对应需要较少的时间区间。更具体地,对于时间间隔的动态计算,可以根据相邻两帧初始图像之间的运动量方差来确定,若方差小于阈值,则采用相同的时间间隔,若方差大于或等于阈值,则需创建新的时间区间。
进一步地,在一个实施例中,上述步骤S404具体包括:针对各个时间区间,获取运动对象在该时间区间内的运动量;根据该时间区间的运动量、该时间区间的时长以及终端相机的帧速率,确定该时间区间对应的区间帧数。
具体实现中,假设捕获时间为t秒,传感器的FPS(帧速率)=f,因此流式传感器所捕获的总图像帧数=f*t帧,将捕获时间t划分为三个时间区间(t2-t1)、(t3-t2)和(t4-t3),则f*t帧分别位于这三个时间区间内。若记三个时间区间(t2-t1)、(t3-t2)和(t4-t3)中的运动量分别是m1、m2和m3,则基于前述实施例中应获取的图像帧数、帧速率、运动量和捕获时间之间的关系式,可得这三个时间区间中分别对应的区间帧数为(设m1、m2、m3均不为0):f*(t2-t1)*m1、f*(t3-t2)*m2和f*(t4-t3)*m3,在确定各个时间区间进行采样的区间帧数后,可基于各区间帧数,从对应各时间区间(t2-t1)、(t3-t2)和(t4-t3)的图像流中进行均匀采样,得到各个时间区间对应的至少一帧捕获图像。
本实施例中,通过将缓存的图像流的捕获时间划分为多个时间区间,针对各个时间区间,获取对应的区间帧数,基于区间帧数,从各时间区间的图像流中获取至少一帧捕获图像,最后得到运动对象的对应帧数的初始图像,该方法基于各个时间区间运动量的不同分别针对性地进行图像获取,可以在保证保留运动对象运动过程中尽可能多的细节的基础上,减少所获取的初始图像之间的重叠度。
在另一个实施例中,上述步骤S104还包括:基于运动量,确定终端相机的快门触发率;根据快门触发率触发终端相机的快门事件,以从终端相机针对运动对象实时捕获的图像流中,获取对应帧数的初始图像。
本实施例中,可以实现通过运动对象的运动量,对终端相机的快门触发率进行调整,从而可根据调整后的快门触发率触发终端相机的快门事件,实现从终端相机实时捕获的图像流中,获取初始图像,即提供了初始图像的实时获取方法,可以避免先前捕获的图像流由于终端存储空间已满等原因造成图像流无法及时存储的情况。
在一个实施例中,在上述步骤S106之前,还包括:确定各帧初始图像中的运动对象图像区域;获取相邻两帧初始图像中的运动对象图像区域的重叠度,作为相邻两帧初始图像中运动对象的重叠度。
其中,运动对象图像区域表示运动对象在各初始图像中所覆盖的图像区域。
具体实现中,可通过对各帧初始图像进行图像分割,从中提取出运动对象所在的图像区域,然后将相邻两帧初始图像中的运动对象图像区域的重叠度,作为相邻两帧初始图像中运动对象的重叠度。
实际应用中,相邻两帧初始图像中的运动对象图像区域的重叠度可以采用多种不同的方法进行确定,在其中一种方法中,可在各帧初始图像的运动对象周围使用最小的边界框,检测相邻两帧初始图像中两个边界框之间的重叠区域,作为相邻两帧初始图像中运动对象的重叠度。
本实施例中,通过相邻两帧初始图像中的运动对象图像区域的重叠度,作为相邻两帧初始图像中运动对象的重叠度,以便于根据该重叠度对初始图像进行过滤,避免当前帧中运动对象的位置与前一帧中运动对象的位置重叠。
在另一个实施例中,如图5所示,提供了一种图像获取方法,本实施例中,该方法包括以下步骤:
步骤S502,当检测到终端相机的当前拍摄模式为定格拍摄模式时,获取并缓存终端相机针对运动对象捕获到的图像流;
步骤S504,基于图像流中的相邻两帧捕获图像,获取运动对象的运动量;
步骤S506,获取缓存的图像流的捕获时间,以及终端相机的帧速率;
步骤S508,根据运动量、捕获时间和帧速率,确定对应帧数;
步骤S510,从缓存的图像流中,获取该对应帧数的初始图像;对应帧数与运动量之间为正相关关系;
步骤S512,获取相邻两帧初始图像中运动对象的重叠度,从对应帧数的初始图像中删除运动对象的重叠度大于预设阈值的相邻两帧初始图像中的任意一帧,得到运动对象的多帧目标图像;
步骤S514,从多帧目标图像中确定出参考帧图像,并获取其他目标图像相对于参考帧图像的捕获时间的先后顺序;
步骤S516,根据捕获时间的先后顺序,将其他目标图像中的运动对象图像区域依次叠加在参考帧图像中,得到运动对象的融合图像;融合图像中包含运动对象在运动过程中多个时刻的运动情况。
本实施例中,通过将运动对象的运动进行量化,基于量化得到的运动量从终端相机捕获的图像流中进行初始采样,使得所得到的初始图像与运动对象的运动情况相匹配,从而可减小所得到的初始图像的模糊度,在得到初始图像后,进一步根据相邻两帧初始图像中运动对象的重叠度对初始图像进行二次采样,去除其中重叠度较高的图像,使得所得到的多帧目标图像之间的重叠度符合所设定的条件,该方法操作简便省时,且可提高所得到终端所拍摄的运动对象在运动过程中的图像的清晰度,以及减小所得到的图像之间的重叠度。最后在得到多帧目标图像后,通过对各帧目标图像进行图像分割,将其他目标图像叠加在参考帧图像上,直接得到包含有运动对象在运动过程中多个时刻的运动情况的融合图像,无需用户再通过第三方应用程序进行后期图像处理,操作简单方便,克服了传统通过第三方应用程序才可进行图像融合存在的操作繁琐,且耗时耗力的缺陷。
在一个实施例中,为了便于本领域技术人员理解本申请实施例,以下将结合附图的具体示例进行说明。参考图6,示出了图像获取方法的整体流程示意图,包括以下步骤:
(1)当检测到终端进入定格拍摄模式时,相机中的流式传感器开始以高帧速率进行流处理,捕获针对运动对象的图像流。
(2)运动检测引擎针对图像流进行运动估计,得到运动对象在当前场景中的运动量,其中运动检测算法可以自定义。
(3)基于得到的运动对象的运动量,确定从图像流中进行初始采样的采样帧数,并根据该采样帧数从图像流中获取对应帧数的初始图像。
(4)根据预设的重叠度阈值对初始图像进行过滤,删除其中重叠度大于重叠度阈值的相邻两帧初始图像中的一帧,得到运动对象的多帧目标图像。
(5)按照突发模式的图像输出,将各帧目标图像按照捕获时间的先后顺序进行存储。
(6)按照捕获时间的先后顺序将各帧目标图像叠加在一张图像中,得到包含运动对象在运动过程中多个时刻的运动情况的融合图像。
应该理解的是,虽然图1、图4-图6的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1、图4-图6中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图7所示,提供了一种图像获取装置,包括:运动量获取模块702、初始图像获取模块704和目标图像获取模块706,其中:
运动量获取模块702,用于获取终端相机针对运动对象拍摄的图像流,以及当前拍摄的运动对象的运动量;
初始图像获取模块704,用于基于运动量,从图像流中获取对应帧数的初始图像;对应帧数与运动量之间为正相关关系;
目标图像获取模块706,用于从对应帧数的初始图像中删除运动对象的重叠度大于预设阈值的相邻两帧初始图像中的任意一帧,得到运动对象的多帧目标图像。
在一个实施例中,上述运动量获取模块702,具体用于当检测到终端相机的当前拍摄模式为定格拍摄模式时,基于终端相机针对运动对象捕获到的图像流,获取运动对象的运动量。
在一个实施例中,上述运动量获取模块702,还用于基于图像流中的相邻两帧捕获图像,获取运动对象在相邻两帧捕获图像之间的运动量;获取多组相邻两帧捕获图像之间的运动量的均值,作为运动对象的运动量。
在一个实施例中,上述初始图像获取模块704,具体用于基于运动量,从缓存的图像流中,获取对应帧数的初始图像。
在一个实施例中,上述初始图像获取模块704,还包括:
捕获信息获取子模块,用于获取缓存的图像流的捕获时间,以及终端相机的帧速率;
帧数确定子模块,用于根据运动量、捕获时间和帧速率,确定对应帧数;
图像获取子模块,用于从缓存的图像流中,获取对应帧数的初始图像。
在一个实施例中,上述帧数确定子模块,还用于获取运动量、捕获时间和帧速率的乘积,作为对应帧数。
在一个实施例中,上述初始图像获取模块704,还用于将捕获时间划分为多个时间区间;获取各个时间区间对应的区间帧数;区间帧数与对应时间区间内运动对象的运动量之间为正相关关系;基于区间帧数,获取各时间区间的图像流中的至少一帧捕获图像;基于多个时间区间各自对应的至少一帧捕获图像,得到运动对象的对应帧数的初始图像。
在一个实施例中,上述初始图像获取模块704,还用于针对各个时间区间,获取运动对象在该时间区间内的运动量;根据该时间区间的运动量、该时间区间的时长以及终端相机的帧速率,确定该时间区间对应的区间帧数。
在一个实施例中,上述初始图像获取模块704,还用于基于运动量,确定终端相机的快门触发率;根据快门触发率触发终端相机的快门事件,以从终端相机针对运动对象实时捕获的图像流中,获取对应帧数的初始图像。
在一个实施例中,上述装置还包括重叠度确定模块,用于确定各帧初始图像中的运动对象图像区域;获取相邻两帧初始图像中的运动对象图像区域的重叠度,作为相邻两帧初始图像中运动对象的重叠度。
在一个实施例中,上述装置还包括图像融合模块,用于从多帧目标图像中确定出参考帧图像;获取其他目标图像相对于参考帧图像的捕获时间的先后顺序;根据捕获时间的先后顺序,将其他目标图像中的运动对象图像区域依次叠加在参考帧图像中,得到运动对象的融合图像;融合图像中包含运动对象在运动过程中多个时刻的运动情况。
需要说明的是,本申请的图像获取装置与本申请的图像获取方法一一对应,在上述图像获取方法的实施例阐述的技术特征及其有益效果均适用于图像获取装置的实施例中,具体内容可参见本申请方法实施例中的叙述,此处不再赘述,特此声明。
此外,上述图像获取装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种图像获取方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图8中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (12)
1.一种图像获取方法,其特征在于,所述方法包括:
获取终端相机针对运动对象拍摄的图像流,以及当前拍摄的所述运动对象的运动量;
基于所述运动量,从所述图像流中获取对应帧数的初始图像;所述对应帧数与所述运动量之间为正相关关系;
从所述对应帧数的初始图像中删除所述运动对象的重叠度大于预设阈值的相邻两帧初始图像中的任意一帧,得到所述运动对象的多帧目标图像。
2.根据权利要求1所述的方法,其特征在于,所述获取当前拍摄的所述运动对象的运动量,包括:
基于所述图像流中的相邻两帧捕获图像,获取所述运动对象在所述相邻两帧捕获图像之间的运动量;
获取多组所述相邻两帧捕获图像之间的运动量的均值,作为所述运动对象的运动量。
3.根据权利要求1所述的方法,其特征在于,所述基于所述运动量,从所述图像流中获取对应帧数的初始图像,包括:
获取所述图像流的捕获时间,以及所述终端相机的帧速率;
根据所述运动量、所述捕获时间和所述帧速率,确定对应帧数;
从所述图像流中,获取所述对应帧数的初始图像。
4.根据权利要求3所述的方法,其特征在于,所述根据所述运动量、所述捕获时间和所述帧速率,确定对应帧数,包括:
获取所述运动量、所述捕获时间和所述帧速率的乘积,作为所述对应帧数。
5.根据权利要求3所述的方法,其特征在于,所述从所述图像流中,获取所述对应帧数的初始图像,包括:
将所述捕获时间划分为多个时间区间;
获取各个所述时间区间对应的区间帧数;所述区间帧数与对应时间区间内所述运动对象的运动量之间为正相关关系;
基于所述区间帧数,获取各时间区间的图像流中的至少一帧捕获图像;
基于多个时间区间各自对应的所述至少一帧捕获图像,得到所述运动对象的对应帧数的初始图像。
6.根据权利要求5所述的方法,其特征在于,所述获取各个所述时间区间对应的区间帧数,包括:
针对各个所述时间区间,获取所述运动对象在该时间区间内的运动量;
根据该时间区间的运动量、该时间区间的时长以及终端相机的帧速率,确定该时间区间对应的区间帧数。
7.根据权利要求1所述的方法,其特征在于,所述基于所述运动量,从所述图像流中获取对应帧数的初始图像,还包括:
基于所述运动量,确定所述终端相机的快门触发率;
根据所述快门触发率触发所述终端相机的快门事件,以从终端相机针对所述运动对象实时捕获的图像流中,获取对应帧数的初始图像。
8.根据权利要求1所述的方法,其特征在于,所述从所述对应帧数的初始图像中删除所述运动对象的重叠度大于预设阈值的相邻两帧初始图像中的任意一帧之前,还包括:
确定各帧所述初始图像中的运动对象图像区域;
获取相邻两帧初始图像中的所述运动对象图像区域的重叠度,作为所述相邻两帧初始图像中所述运动对象的重叠度。
9.根据权利要求1所述的方法,其特征在于,在得到所述运动对象在运动过程中的多帧目标图像之后,还包括:
从所述多帧目标图像中确定出参考帧图像;
获取其他目标图像相对于所述参考帧图像的捕获时间的先后顺序;
根据所述捕获时间的先后顺序,将所述其他目标图像中的运动对象图像区域依次叠加在所述参考帧图像中,得到所述运动对象的融合图像;所述融合图像中包含所述运动对象在运动过程中多个时刻的运动情况。
10.一种图像获取装置,其特征在于,所述装置包括:
运动量获取模块,用于获取终端相机针对运动对象拍摄的图像流,以及当前拍摄的所述运动对象的运动量;
初始图像获取模块,用于基于所述运动量,从所述图像流中获取对应帧数的初始图像;所述对应帧数与所述运动量之间为正相关关系;
目标图像获取模块,用于从所述对应帧数的初始图像中删除所述运动对象的重叠度大于预设阈值的相邻两帧初始图像中的任意一帧,得到所述运动对象的多帧目标图像。
11.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述方法的步骤。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110522876.2A CN115345805A (zh) | 2021-05-13 | 2021-05-13 | 图像获取方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110522876.2A CN115345805A (zh) | 2021-05-13 | 2021-05-13 | 图像获取方法、装置、计算机设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115345805A true CN115345805A (zh) | 2022-11-15 |
Family
ID=83977603
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110522876.2A Pending CN115345805A (zh) | 2021-05-13 | 2021-05-13 | 图像获取方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115345805A (zh) |
-
2021
- 2021-05-13 CN CN202110522876.2A patent/CN115345805A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108293123B (zh) | 用于产生缩时图像的方法和设备 | |
CN109671106B (zh) | 一种图像处理方法、装置与设备 | |
US7860343B2 (en) | Constructing image panorama using frame selection | |
US9092861B2 (en) | Using motion information to assist in image processing | |
KR102090105B1 (ko) | 카메라를 구비하는 장치의 이미지 처리장치 및 방법 | |
KR102282458B1 (ko) | 영상안정화장치 및 방법 | |
JP4140591B2 (ja) | 撮像システム及び撮像方法 | |
KR101075826B1 (ko) | 촬상 장치 및 기억 장치 | |
KR100883632B1 (ko) | 고해상도 카메라를 이용한 지능형 영상 감시 시스템 및 그 방법 | |
CN107395957B (zh) | 拍照方法、装置、存储介质及电子设备 | |
CN112822412B (zh) | 曝光方法、装置、电子设备和存储介质 | |
US20160150158A1 (en) | Photographing apparatus and method for controlling thereof | |
CN107211091A (zh) | 成像传感器子区域中的选择性高帧速率视频捕获 | |
WO2016026465A1 (zh) | 拍摄方法、拍摄装置及相应的计算机程序和载体 | |
CN113099122A (zh) | 拍摄方法、装置、设备和存储介质 | |
JP6396682B2 (ja) | 監視カメラシステム | |
US8625933B2 (en) | Image processing apparatus and method for the same | |
CN112367465B (zh) | 图像输出方法、装置及电子设备 | |
CN113438409A (zh) | 延迟校准方法、装置、计算机设备和存储介质 | |
WO2020170705A1 (ja) | 撮像装置、電子機器、および撮像方法 | |
CN115345805A (zh) | 图像获取方法、装置、计算机设备和存储介质 | |
CN110365927B (zh) | 视频录制方法、装置、存储介质和计算机设备 | |
CN113099107B (zh) | 基于终端的视频拍摄方法、装置、介质及计算机设备 | |
KR101597095B1 (ko) | 모니터링 시스템에서의 모니터링 데이터 처리 | |
TWI448976B (zh) | 超廣角影像處理方法與其系統 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |