CN108040244A - 基于光场视频流的抓拍方法及装置、存储介质 - Google Patents

基于光场视频流的抓拍方法及装置、存储介质 Download PDF

Info

Publication number
CN108040244A
CN108040244A CN201711309484.8A CN201711309484A CN108040244A CN 108040244 A CN108040244 A CN 108040244A CN 201711309484 A CN201711309484 A CN 201711309484A CN 108040244 A CN108040244 A CN 108040244A
Authority
CN
China
Prior art keywords
default
image
target image
video flowing
light field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711309484.8A
Other languages
English (en)
Other versions
CN108040244B (zh
Inventor
牟永强
刘荣杰
严蕤
钟斌
田第鸿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Intellifusion Technologies Co Ltd
Original Assignee
Shenzhen Intellifusion Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Intellifusion Technologies Co Ltd filed Critical Shenzhen Intellifusion Technologies Co Ltd
Priority to CN201711309484.8A priority Critical patent/CN108040244B/zh
Publication of CN108040244A publication Critical patent/CN108040244A/zh
Application granted granted Critical
Publication of CN108040244B publication Critical patent/CN108040244B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights

Abstract

本发明公开了一种基于光场视频流的抓拍方法,该基于光场视频流的抓拍方法包括:获取相机阵列按照预设采集频率采集的光场数据和图像数据,所述相机阵列包括预设数量的按照预设规则排列的相机;根据预设渲染频率对所述光场数据和所述图像数据进行渲染,得到若干路数的视频流;根据预设检测频率对所述视频流包括的图像进行目标检测,得到包括目标图像的待选集合,其中,所述预设检测频率不小于所述预设采集频率;从所述待选集合中获取图像质量满足预设条件的目标图像的目标集合。本发明还公开了一种基于光场视频流的抓拍装置、计算机装置和计算机可读存储介质。本发明可以在光场视频流中进行抓拍,提高抓拍到的图像的质量。

Description

基于光场视频流的抓拍方法及装置、存储介质
技术领域
本发明涉及计算机摄影技术领域,具体涉及一种基于光场视频流的抓拍方法及装置、存储介质。
背景技术
光场技术是计算机摄影技术领域发展起来的新技术。其中,光场是指空间内所有任意方向光线的总和。它不仅包括颜色、光强等信息,同时还涵盖光线的方向信息(如光线传播位置与角度信息),它是对光线在空间传播时的完整描述。现有技术中,通常的抓拍方案,主要步骤是首先基于单帧图像进行目标检测,然后在检测的基础上进行目标跟踪,再不定期的进行目标位置修正,以及进行目标质量判断,从而对目标进行抓拍。
由于光场渲染出来的视频流,只有在某个景深处的图像比较清晰,而且持续的时间非常短暂,如果仍采用现在通常的抓拍方案进行抓拍,可能在目标检测、目标追踪过程中都无法很好的获取到目标,抓拍的效果会很差。因此,有必要提出一种在光场视频流中适用的抓拍方案,提高抓拍到的图像的质量。
发明内容
鉴于此,有必要提供一种基于光场视频流的抓拍方法及装置、计算机装置和计算机可读存储介质,可以在光场视频流中进行抓拍,提高抓拍到的图像的质量。
本发明一方面提供了一种基于光场视频流的抓拍方法,所述基于光场视频流的抓拍方法包括:
获取相机阵列按照预设采集频率采集的光场数据和图像数据,所述相机阵列包括预设数量的按照预设规则排列的相机;
根据预设渲染频率对所述光场数据和所述图像数据进行渲染,得到若干路数的视频流;
根据预设检测频率对所述视频流包括的图像进行目标检测,得到包括目标图像的待选集合,其中,所述预设检测频率不小于所述预设采集频率;
从所述待选集合中获取图像质量满足预设条件的目标图像的目标集合。
可选地,所述根据预设渲染频率对所述光场数据和所述图像数据进行渲染,得到若干路数的视频流包括:
获取所述图像数据包含的图像的景深信息;
根据预设渲染频率针对所述光场数据和所述图像数据每间隔预设景深渲染一路视频流,得到若干路数的视频流。
可选地,所述从所述待选集合中获取图像质量满足预设条件的目标图像的目标集合包括:
获取所述待选集合中目标图像的属性信息,所述属性信息包括模糊度信息、分辨率信息、光照信息、姿态信息之中的一项或多项;
获取所述待选集合中所述属性信息满足预设属性条件的目标图像,得到目标集合。
可选地,所述从所述待选集合中获取图像质量满足预设条件的目标图像的目标集合还包括:
获取所述待选集合中所述属性信息满足预设属性条件的目标图像之后,对所述属性信息满足预设属性条件的目标图像进行重复性检测,所述重复性检测用于检测抓拍的目标是否相同;
获取所述属性信息满足预设属性条件的目标图像之中重复的目标图像。
可选地,所述从所述待选集合中获取图像质量满足预设条件的目标图像的目标集合之后,所述方法还包括:
对获取到的目标集合包括的目标图像进行识别;或者
将获取到的目标集合包括的目标图像与其他图像进行对比。
本发明另一方面还提供了一种基于光场视频流的抓拍装置,所述基于光场视频流的抓拍装置包括:
第一获取模块,用于获取相机阵列按照预设采集频率采集的光场数据和图像数据,所述相机阵列包括预设数量的按照预设规则排列的相机;
渲染模块,用于根据预设渲染频率对所述光场数据和所述图像数据进行渲染,得到若干路数的视频流;
检测模块,用于根据预设检测频率对所述视频流包括的图像进行目标检测,得到包括目标图像的待选集合,其中,所述预设检测频率不小于所述预设采集频率;
第二获取模块,用于从所述待选集合中获取图像质量满足预设条件的目标图像的目标集合。
可选地,所述渲染模块具体用于:
获取所述图像数据包含的图像的景深信息;以及
根据预设渲染频率针对所述光场数据和所述图像数据每间隔预设景深渲染一路视频流,得到若干路数的视频流。
可选地,所述第二获取模块具体用于:
获取所述待选集合中目标图像的属性信息,所述属性信息包括模糊度信息、分辨率信息、光照信息、姿态信息之中的一项或多项;
获取所述待选集合中所述属性信息满足预设属性条件的目标图像,得到目标集合。
可选地,所述第二获取模块还具体用于:
获取所述待选集合中所述属性信息满足预设属性条件的目标图像之后,对所述属性信息满足预设属性条件的目标图像进行重复性检测,所述重复性检测用于检测抓拍的目标是否相同;以及
获取所述属性信息满足预设属性条件的目标图像之中重复的目标图像。
可选地,所述基于光场视频流的抓拍装置还包括:
识别模块,用于从所述待选集合中获取图像质量满足预设条件的目标图像的目标集合之后,对获取到的目标集合包括的目标图像进行识别;和/或
对比模块,用于从所述待选集合中获取图像质量满足预设条件的目标图像的目标集合之后,将获取到的目标集合包括的目标图像与其他图像进行对比。
本发明再一方面还提供一种计算机装置,所述计算机装置包括处理器,所述处理器用于执行存储器中存储的计算机程序时实现上述基于光场视频流的抓拍方法。
本发明又一方面还提供一种计算机可读存储介质,其上存储有计算机指令,所述计算机指令被处理器执行时实现上述基于光场视频流的抓拍方法。
由以上技术方案,本发明中,计算机装置可以获取相机阵列按照预设采集频率采集的光场数据和图像数据,所述相机阵列包括预设数量的按照预设规则排列的相机;根据预设渲染频率对所述光场数据和所述图像数据进行渲染,得到若干路数的视频流;根据预设检测频率对所述视频流包括的图像进行目标检测,得到包括目标图像的待选集合,其中,所述预设检测频率不小于所述预设采集频率;从所述待选集合中获取图像质量满足预设条件的目标图像的目标集合。由于对采集的光场数据和图像数据渲染得到若干路数的视频流,再从得到的若干路数的视频流中按照预设检测频率进行检测,且预设检测频率不小于预设采集频率,则可以尽可能多的获取到图像,避免遗漏目标图像,然后通过获取图像质量满足预设条件的目标图像的目标集合,可以得到一张或多张质量较高的抓拍图像。因此,实现了本方案能够在光场视频流中进行抓拍,提高抓拍到的图像的质量的目的。
附图说明
为了更清楚地说明本发明实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于光场视频流的抓拍方法的流程图;
图2是本发明实施例提供的基于光场视频流的抓拍装置的功能模块图;
图3是本发明实施例提供的计算机装置的示意图。
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施例对本发明进行详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。
实施例
图1为本发明实施例提供的基于光场视频流的抓拍方法的示意流程图。如图1所示,基于光场视频流的抓拍方法可包括以下步骤:
S10:获取相机阵列按照预设采集频率采集的光场数据和图像数据,所述相机阵列包括预设数量的按照预设规则排列的相机。
本发明所述的基于光场视频流的抓拍方法可用于对光场环境下采集到的连续的图像进行抓拍。
在本实施例中,光场数据的采集可通过相机阵列按照预设采集频率进行采集,其中,预设采集频率可以根据需要设定,例如,预设采集频率可以为30fps。
上述相机阵列包括预设数量的按照预设规则排列的相机,其中,所述相机可为现有的普通用于视频监控的相机,例如,可接收可见光和/或红外光的相机。上述预设数量是根据需要预先确定的,例如,若抓拍某一个路口路过的行人,可以根据能够覆盖到路口且尽可能减小相机的开销为依据来确定预设数量。同样的,预设规则可以根据抓拍的环境来确定。例如,若需要对某一通道路过的行人进行抓拍,预设数量是6个相机,预设规则6个相机组成一维采集阵列,则此时相机阵列是由6个水平排列在一条直线上的相机组成。
上述光场数据是指光线的方向、强度等信息。由于预设数量的按照预设规则排列的相机对同一个场景进行取景,因此可以获取某一场景在不同视角的图像和不同视角的光线信息,从而确定场景当前的光线信息。
同时,相机阵列中的每个相机也可以从其各自的角度采集到图像数据。
S20:根据预设渲染频率对所述光场数据和所述图像数据进行渲染,得到若干路数的视频流。
上述渲染频率是指每秒渲染的帧数,若干连续的图像帧可组成视频流。具体的渲染频率可以在实际应用时根据进行渲染的设备的硬件处理能力来确定,。例如,渲染频率为30fps,即表示每秒渲染30帧图像。
图像渲染的具体方法可以从现有的基于图像的渲染(Image-Based Rendering)技术中获取,这里不进行赘述。基于图像的渲染是指根据在3D场景中拍摄的实际图像建立场景中任一时点的3D视图。
由于根据每个相机阵列都可以获取到一组或多组光场数据和图像数据,因此在渲染后,可以得到若干视频流,进而可以从若干视频流中获取要抓拍的图像。
进一步地,在本发明另一实施例中,在进行图像渲染时,可以按照以下方式将图像渲染为若干路数的视频流。所述步骤S20根据预设渲染频率对所述光场数据和所述图像数据进行渲染,得到若干路数的视频流包括:
获取所述图像数据包含的图像的景深信息;根据预设渲染频率针对所述光场数据和所述图像数据每间隔预设景深渲染一路视频流,得到若干路数的视频流。
通常,在采集图像时候,不同的光圈、镜头或拍摄距离都会产生不同的景深。景深是指在镜头或者其他成像器前沿能够取得清晰图像的成像所测定的被摄物体前后距离范围。例如,拍摄的距离远时,景深较大,成像的背景越清晰;拍摄的距离近时,景深较小,成像的背景越模糊。
因此,由相机阵列获取到的图像数据包含的图像有其各自的景深信息。在渲染时,可以不连续渲染,可以在图像每隔预设景深时进行渲染,减少渲染的开销,提高对相机获取到的所有数据的渲染速度,例如每隔1m景深渲染一路视频流。同时,由于在不同的景深处,图像的背景清晰程度不同,因此,每间隔预设景深渲染一路视频流,可以使得渲染到的视频流中可以包括各种背景与前景清晰程度不同的图像,进而有利于从中选取要抓拍的图像。
同时,还可以预先设定渲染几路视频流,例如,渲染5路视频流,则在对相机采集到的图像数据可以合并渲染得到5路视频流。或者是在某几个连续的图像的景深达到预设景深时,就渲染一路视频,使得每一路视频流都足够清晰,从而得到若干路清晰视频流。
S30:根据预设检测频率对所述视频流包括的图像进行目标检测,得到包括目标图像的待选集合,其中,所述预设检测频率不小于所述预设采集频率。
上述目标检测是指对要抓拍的目标进行检测。例如,若要进行人脸抓拍,则对视频流包括的图像进行人脸检测;若要对汽车进行抓拍,则对视频流中包括的图像进行汽车检测等。
由于抓拍通常是在获取到确定存在目标,且接收到抓拍指令之后进行,同时由于视频流是由连续的图像组成,因此可以从视频流中得到多张目标图像,待选集合由得到的多张目标图像组成。
上述预设检测频率不小于预设采集频率,其具体值可以根据需要设定。例如若预设采集频率为30fps,则预设检测频率也可以为30fps。若预设检测频率小于预设采集频率,则无法对采集到的数据进行及时的检测,有较大的漏检可能,因此在本方案中,预设检测频率不小于预设采集频率,使得采集以后都会检测,而不会在采集到很多以后才进行检测,可以防止对目标图像的漏检。同时,预设检测频率也可以等于或大于渲染频率。
S40:从所述待选集合中获取图像质量满足预设条件的目标图像的目标集合。
其中,上述预设条件用于将图像质量较高的图像从待选集合中筛选出来。具体的,预设条件可以为图像的清晰度大于预设清晰度,或者是图像中目标的大小大于预设大小等。
由于获取了待选集合中图像质量满足预设条件的目标图像的目标集合,因此得到的目标集合中包括的目标图像的成像质量高。
进一步地,在本发明另一实施例中,所述从所述待选集合中获取图像质量满足预设条件的目标图像的目标集合可包括:
获取所述待选集合中目标图像的属性信息,所述属性信息包括模糊度信息、分辨率信息、光照信息、姿态信息之中的一项或多项;
获取所述待选集合中所述属性信息满足预设属性条件的目标图像,得到目标集合。
在本实施例中,获取待选集合中目标图像的属性信息。其中属性信息包括但不限于模糊度信息、分辨率信息、光照信息、姿态信息之中的一项或多项。
其中,不同的属性信息可以设定不同的属性条件。例如,若仅获取模糊度信息,则判断目标图像的模糊度是否不低于预设模糊度,若是,则获取待选集合中不低于预设模糊度的目标图像,得到目标集合,则目标集合中的目标图像的模糊度均不低于上述预设模糊度。
同样的,若获取目标图像的分辨率信息,对目标图像的分辨率进行判断,可以判断目标图像的分辨率是否大于预设分辨率,若是,则获取待选集合中分辨率大于预设分辨率的目标图像,得到目标集合。
或者,若获取光照信息,可以判断目标图像的光照是否为预设光照,若是,则获取待选集合中光照是否为预设光照的目标图像,得到目标集合。
又比如,若获取目标图像的姿态信息,且目标为人脸,即目标图像为人脸图像,可以判断目标图像中的人脸是否为正面的人脸,若是,则获取待选集合中人脸为正面的人脸图像,得到目标集合。
还可以获取目标图像多项属性信息结合判断。例如,若获取目标图像的分辨率信息和姿态信息,且目标为人脸,即目标图像为人脸图像。此时,可以判断目标图像的分辨率是否大于预设分辨率,并且判断目标图像中的人脸是否为正面的人脸,若目标图像的分辨率大于预设分辨率并且目标图像中的人脸为正面的人脸图像预设的目标图像,得到目标集合。
进一步地,在本发明另一实施例中,在判断目标图像的图像质量是否满足预设条件时,在对目标图像的属性信息进行判断之后,还可以对满足预设属性条件的目标图像进行重复性检测。具体的,所述从所述待选集合中获取图像质量满足预设条件的目标图像的目标集合还包括:
获取所述待选集合中所述属性信息满足预设属性条件的目标图像之后,对所述属性信息满足预设属性条件的目标图像进行重复性检测,所述重复性检测用于检测抓拍的目标是否相同;获取所述属性信息满足预设属性条件的目标图像之中重复的目标图像。
上述重复性检测具体的可以通过相似度计算等方法来进行重复性检测,可以将相似度大于预设相似度的目标图像确定为重复的目标图像。
若属性信息满足预设属性条件的目标图像之中有一个或多个不为重复的图像,则说明该目标图像中的目标与其他目标不相同,可能不为要抓拍的目标,此时,可以将其去除,仅获取属性信息满足预设属性条件的目标图像之中重复的目标图像,组成目标集合。
通过重复性检测,可以将成像质量高但并非要抓拍的目标图像去除,进一步提高了抓拍的准确率。
进一步地,在本发明另一实施例中,在步骤S40从所述待选集合中获取图像质量满足预设条件的目标图像的目标集合之后,还可以对目标集合之中的目标图像进行进一步处理。所述基于光场视频流的抓拍方法还可包括:
对获取到的目标集合包括的目标图像进行识别;或者
将获取到的目标集合包括的目标图像与其他图像进行对比。
其中,上述其他图像是与目标图像同类别的图像。例如,若目标图像为人脸图像,可以将该人脸图像与其他的人脸图像进行对比。
又比如,若目标图像为汽车图像,可以对目标图像中的车牌进行识别。若目标图像为人脸图像,可以将该人脸图像与其他的人脸图像进行对比。
由于通过上述步骤抓拍到的目标图像的质量和准确率较高,因此对目标图像进行识别或者与其他图像对比时,可以有效提高图像处理的效率和准确率。
本发明提供的基于光场视频流的抓拍方法获取相机阵列按照预设采集频率采集的光场数据和图像数据,所述相机阵列包括预设数量的按照预设规则排列的相机;根据预设渲染频率对所述光场数据和所述图像数据进行渲染,得到若干路数的视频流;根据预设检测频率对所述视频流包括的图像进行目标检测,得到包括目标图像的待选集合,其中,所述预设检测频率不小于所述预设采集频率;从所述待选集合中获取图像质量满足预设条件的目标图像的目标集合。由于对采集的光场数据和图像数据渲染得到若干路数的视频流,再从得到的若干路数的视频流中按照预设检测频率进行检测,且预设检测频率不小于预设采集频率,则可以尽可能多的获取到图像,避免遗漏目标图像,然后通过获取图像质量满足预设条件的目标图像的目标集合,可以得到一张或多张质量较高的抓拍图像。因此,实现了本方案能够在光场视频流中进行抓拍,提高抓拍到的图像的质量的目的。
以上是对本发明所提供的方法进行的详细描述。根据不同的需求,所示流程图中方块的执行顺序可以改变,某些方块可以省略,基于光场视频流的抓拍方法也可以在上述基于光场视频流的抓拍方法中选择性的组合使用,或者与其他上述未提及的基于光场视频流的抓拍方法组合使用。下面对本发明所提供的装置进行描述。
实施例
图2为本发明实施例提供的基于光场视频流的抓拍装置的结构图,如图2所示,基于光场视频流的抓拍装置可以包括:第一获取模块210、渲染模块220、检测模块230和第二获取模块240。
第一获取模块210,用于获取相机阵列按照预设采集频率采集的光场数据和图像数据,所述相机阵列包括预设数量的按照预设规则排列的相机。
本发明所述的基于光场视频流的抓拍装置可用于对光场环境下采集到的连续的图像进行抓拍。
在本实施例中,光场数据的采集可通过相机阵列按照预设采集频率进行采集,其中,预设采集频率可以根据需要设定,例如,预设采集频率可以为30fps。
上述相机阵列包括预设数量的按照预设规则排列的相机,其中,所述相机可为现有的普通用于视频监控的相机,例如,可接收可见光和/或红外光的相机。上述预设数量是根据需要预先确定的,例如,若抓拍某一个路口路过的行人,可以根据能够覆盖到路口且尽可能减小相机的开销为依据来确定预设数量。同样的,预设规则可以根据抓拍的环境来确定。例如,若需要对某一通道路过的行人进行抓拍,预设数量是6个相机,预设规则6个相机组成一维采集阵列,则此时相机阵列是由6个水平排列在一条直线上的相机组成。
上述光场数据是指光线的方向、强度等信息。由于预设数量的按照预设规则排列的相机对同一个场景进行取景,因此可以获取某一场景在不同视角的图像和不同视角的光线信息,从而确定场景当前的光线信息。
同时,相机阵列中的每个相机也可以从其各自的角度采集到图像数据。
渲染模块220,用于根据预设渲染频率对所述光场数据和所述图像数据进行渲染,得到若干路数的视频流。
上述渲染频率是指每秒渲染的帧数,若干连续的图像帧可组成视频流。具体的渲染频率可以在实际应用时根据进行渲染的设备的硬件处理能力来确定,。例如,渲染频率为30fps,即表示每秒渲染30帧图像。
图像渲染的具体方法可以从现有的基于图像的渲染(Image-Based Rendering)技术中获取,这里不进行赘述。基于图像的渲染是指根据在3D场景中拍摄的实际图像建立场景中任一时点的3D视图。
由于根据每个相机阵列都可以获取到一组或多组光场数据和图像数据,因此在渲染后,可以得到若干视频流,进而可以从若干视频流中获取要抓拍的图像。
进一步地,在本发明另一实施例中,在进行图像渲染时,可以按照以下方式将图像渲染为若干路数的视频流。所述渲染模块220具体用于:
获取所述图像数据包含的图像的景深信息;以及
根据预设渲染频率针对所述光场数据和所述图像数据每间隔预设景深渲染一路视频流,得到若干路数的视频流。
通常,在采集图像时候,不同的光圈、镜头或拍摄距离都会产生不同的景深。景深是指在镜头或者其他成像器前沿能够取得清晰图像的成像所测定的被摄物体前后距离范围。例如,拍摄的距离远时,景深较大,成像的背景越清晰;拍摄的距离近时,景深较小,成像的背景越模糊。
因此,由相机阵列获取到的图像数据包含的图像有其各自的景深信息。在渲染时,可以不连续渲染,可以在图像每隔预设景深时进行渲染,减少渲染的开销,提高对相机获取到的所有数据的渲染速度,例如每隔1m景深渲染一路视频流。同时,由于在不同的景深处,图像的背景清晰程度不同,因此,每间隔预设景深渲染一路视频流,可以使得渲染到的视频流中可以包括各种背景与前景清晰程度不同的图像,进而有利于从中选取要抓拍的图像。
同时,还可以预先设定渲染几路视频流,例如,渲染5路视频流,则在对相机采集到的图像数据可以合并渲染得到5路视频流。或者是在某几个连续的图像的景深达到预设景深时,就渲染一路视频,使得每一路视频流都足够清晰,从而得到若干路清晰视频流。
检测模块230,用于根据预设检测频率对所述视频流包括的图像进行目标检测,得到包括目标图像的待选集合,其中,所述预设检测频率不小于所述预设采集频率。
上述目标检测是指对要抓拍的目标进行检测。例如,若要进行人脸抓拍,则对视频流包括的图像进行人脸检测;若要对汽车进行抓拍,则对视频流中包括的图像进行汽车检测等。
由于抓拍通常是在获取到确定存在目标,且接收到抓拍指令之后进行,同时由于视频流是由连续的图像组成,因此可以从视频流中得到多张目标图像,待选集合由得到的多张目标图像组成。
上述预设检测频率不小于预设采集频率,其具体值可以根据需要设定。例如若预设采集频率为30fps,则预设检测频率也可以为30fps。若预设检测频率小于预设采集频率,则无法对采集到的数据进行及时的检测,有较大的漏检可能,因此在本方案中,预设检测频率不小于预设采集频率,使得采集以后都会检测,而不会在采集到很多以后才进行检测,可以防止对目标图像的漏检。同时,预设检测频率也可以等于或大于渲染频率。
第二获取模块240,用于从所述待选集合中获取图像质量满足预设条件的目标图像的目标集合。
其中,上述预设条件用于将图像质量较高的图像从待选集合中筛选出来。具体的,预设条件可以为图像的清晰度大于预设清晰度,或者是图像中目标的大小大于预设大小等。
由于获取了待选集合中图像质量满足预设条件的目标图像的目标集合,因此得到的目标集合中包括的目标图像的成像质量高。
进一步地,在本发明另一实施例中,所述第二获取模块240可具体用于:
获取所述待选集合中目标图像的属性信息,所述属性信息包括模糊度信息、分辨率信息、光照信息、姿态信息之中的一项或多项;以及
获取所述待选集合中所述属性信息满足预设属性条件的目标图像,得到目标集合。
在本实施例中,获取待选集合中目标图像的属性信息。其中属性信息包括但不限于模糊度信息、分辨率信息、光照信息、姿态信息之中的一项或多项。
其中,不同的属性信息可以设定不同的属性条件。例如,若仅获取模糊度信息,则判断目标图像的模糊度是否不低于预设模糊度,若是,则获取待选集合中不低于预设模糊度的目标图像,得到目标集合,则目标集合中的目标图像的模糊度均不低于上述预设模糊度。
同样的,若获取目标图像的分辨率信息,对目标图像的分辨率进行判断,可以判断目标图像的分辨率是否大于预设分辨率,若是,则获取待选集合中分辨率大于预设分辨率的目标图像,得到目标集合。
或者,若获取光照信息,可以判断目标图像的光照是否为预设光照,若是,则获取待选集合中光照是否为预设光照的目标图像,得到目标集合。
又比如,若获取目标图像的姿态信息,且目标为人脸,即目标图像为人脸图像,可以判断目标图像中的人脸是否为正面的人脸,若是,则获取待选集合中人脸为正面的人脸图像,得到目标集合。
还可以获取目标图像多项属性信息结合判断。例如,若获取目标图像的分辨率信息和姿态信息,且目标为人脸,即目标图像为人脸图像。此时,可以判断目标图像的分辨率是否大于预设分辨率,并且判断目标图像中的人脸是否为正面的人脸,若目标图像的分辨率大于预设分辨率并且目标图像中的人脸为正面的人脸图像预设的目标图像,得到目标集合。
进一步地,在本发明另一实施例中,在判断目标图像的图像质量是否满足预设条件时,在对目标图像的属性信息进行判断之后,还可以对满足预设属性条件的目标图像进行重复性检测。具体的,第二获取模块240还可具体用于:
获取所述待选集合中所述属性信息满足预设属性条件的目标图像之后,对所述属性信息满足预设属性条件的目标图像进行重复性检测,所述重复性检测用于检测抓拍的目标是否相同;以及
获取所述属性信息满足预设属性条件的目标图像之中重复的目标图像。
上述重复性检测具体的可以通过相似度计算等方法来进行重复性检测,可以将相似度大于预设相似度的目标图像确定为重复的目标图像。
若属性信息满足预设属性条件的目标图像之中有一个或多个不为重复的图像,则说明该目标图像中的目标与其他目标不相同,可能不为要抓拍的目标,此时,可以将其去除,仅获取属性信息满足预设属性条件的目标图像之中重复的目标图像,组成目标集合。
通过重复性检测,可以将成像质量高但并非要抓拍的目标图像去除,进一步提高了抓拍的准确率。
进一步地,在本发明另一实施例中,在第二获取模块240从所述待选集合中获取图像质量满足预设条件的目标图像的目标集合之后,还可以对目标集合之中的目标图像进行进一步处理。所述基于光场视频流的抓拍装置还可包括识别模块和/或对比模块。
识别模块,用于从所述待选集合中获取图像质量满足预设条件的目标图像的目标集合之后,对获取到的目标集合包括的目标图像进行识别。
对比模块,用于从所述待选集合中获取图像质量满足预设条件的目标图像的目标集合之后,将获取到的目标集合包括的目标图像与其他图像进行对比。
其中,上述其他图像是与目标图像同类别的图像。例如,若目标图像为人脸图像,可以将该人脸图像与其他的人脸图像进行对比。
又比如,若目标图像为汽车图像,可以对目标图像中的车牌进行识别。若目标图像为人脸图像,可以将该人脸图像与其他的人脸图像进行对比。
由于通过上述模块抓拍到的目标图像的质量和准确率较高,因此对目标图像进行识别或者与其他图像对比时,可以有效提高图像处理的效率和准确率。
本发明提供的基于光场视频流的抓拍装置通过第一获取模块获取相机阵列按照预设采集频率采集的光场数据和图像数据,所述相机阵列包括预设数量的按照预设规则排列的相机;渲染模块根据预设渲染频率对所述光场数据和所述图像数据进行渲染,得到若干路数的视频流;检测模块根据预设检测频率对所述视频流包括的图像进行目标检测,得到包括目标图像的待选集合,其中,所述预设检测频率不小于所述预设采集频率;第二获取模块从所述待选集合中获取图像质量满足预设条件的目标图像的目标集合。由于对采集的光场数据和图像数据渲染得到若干路数的视频流,再从得到的若干路数的视频流中按照预设检测频率进行检测,且预设检测频率不小于预设采集频率,则可以尽可能多的获取到图像,避免遗漏目标图像,然后通过获取图像质量满足预设条件的目标图像的目标集合,可以得到一张或多张质量较高的抓拍图像。因此,实现了本方案能够在光场视频流中进行抓拍,提高抓拍到的图像的质量的目的。
实施例
请参照图3,图3是本发明实施例提供的计算机装置1的示意图。所述计算机装置1包括存储器20、处理器30以及存储在所述存储器20中并可在所述处理器30上运行的计算机程序40,例如基于光场视频流的抓拍程序。所述处理器30执行所述计算机程序40时实现上述基于光场视频流的抓拍方法实施例中的步骤,例如图1所示的步骤S10~S40。或者,所述处理器30执行所述计算机程序40时实现上述装置实施例中各模块/单元的功能,例如模块210~240。
示例性的,所述计算机程序40可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器20中,并由所述处理器30执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序40在所述计算机装置1中的执行过程。例如,所述计算机程序40可以被分割成图2中的第一获取模块210、渲染模块220、检测模块230和第二获取模块240,各模块具体功能参见前述实施例。
所述计算机装置1可以是桌上型计算机、笔记本电脑、掌上电脑及云端服务器等计算机设备。本领域技术人员可以理解,所述示意图3仅仅是计算机装置1的示例,并不构成对计算机装置1的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述计算机装置1还可以包括输入输出设备、网络接入设备、总线等。
所称处理器30可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器30也可以是任何常规的处理器等,所述处理器30是所述计算机装置1的控制中心,利用各种接口和线路连接整个计算机装置1的各个部分。
所述存储器20可用于存储所述计算机程序40和/或模块/单元,所述处理器30通过运行或执行存储在所述存储器20内的计算机程序和/或模块/单元,以及调用存储在存储器20内的数据,实现所述计算机装置1的各种功能。所述存储器20可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据计算机装置1的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器20可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所述计算机装置1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
在本发明所提供的几个实施例中,应该理解到,所揭露的方法和装置,也可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。装置权利要求中陈述的多个装置也可以由同一个装置或系统通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。
最后应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种基于光场视频流的抓拍方法,其特征在于,所述方法包括:
获取相机阵列按照预设采集频率采集的光场数据和图像数据,所述相机阵列包括预设数量的按照预设规则排列的相机;
根据预设渲染频率对所述光场数据和所述图像数据进行渲染,得到若干路数的视频流;
根据预设检测频率对所述视频流包括的图像进行目标检测,得到包括目标图像的待选集合,其中,所述预设检测频率不小于所述预设采集频率;
从所述待选集合中获取图像质量满足预设条件的目标图像的目标集合。
2.如权利要求1所述的方法,其特征在于,所述根据预设渲染频率对所述光场数据和所述图像数据进行渲染,得到若干路数的视频流包括:
获取所述图像数据包含的图像的景深信息;
根据预设渲染频率针对所述光场数据和所述图像数据每间隔预设景深渲染一路视频流,得到若干路数的视频流。
3.如权利要求2所述的方法,其特征在于,所述从所述待选集合中获取图像质量满足预设条件的目标图像的目标集合包括:
获取所述待选集合中目标图像的属性信息,所述属性信息包括模糊度信息、分辨率信息、光照信息、姿态信息之中的一项或多项;
获取所述待选集合中所述属性信息满足预设属性条件的目标图像,得到目标集合。
4.如权利要求3所述的方法,其特征在于,所述从所述待选集合中获取图像质量满足预设条件的目标图像的目标集合还包括:
获取所述待选集合中所述属性信息满足预设属性条件的目标图像之后,对所述属性信息满足预设属性条件的目标图像进行重复性检测,所述重复性检测用于检测抓拍的目标是否相同;
获取所述属性信息满足预设属性条件的目标图像之中重复的目标图像。
5.如权利要求1-4中任一项所述的方法,其特征在于,所述从所述待选集合中获取图像质量满足预设条件的目标图像的目标集合之后,所述方法还包括:
对获取到的目标集合包括的目标图像进行识别;或者
将获取到的目标集合包括的目标图像与其他图像进行对比。
6.一种基于光场视频流的抓拍装置,其特征在于,所述装置包括:
第一获取模块,用于获取相机阵列按照预设采集频率采集的光场数据和图像数据,所述相机阵列包括预设数量的按照预设规则排列的相机;
渲染模块,用于根据预设渲染频率对所述光场数据和所述图像数据进行渲染,得到若干路数的视频流;
检测模块,用于根据预设检测频率对所述视频流包括的图像进行目标检测,得到包括目标图像的待选集合,其中,所述预设检测频率不小于所述预设采集频率;
第二获取模块,用于从所述待选集合中获取图像质量满足预设条件的目标图像的目标集合。
7.如权利要求6所述的装置,其特征在于,所述渲染模块具体用于:
获取所述图像数据包含的图像的景深信息;
根据预设渲染频率针对所述光场数据和所述图像数据每间隔预设景深渲染一路视频流,得到若干路数的视频流。
8.如权利要求7所述的装置,其特征在于,所述第二获取模块具体用于:
获取所述待选集合中目标图像的属性信息,所述属性信息包括模糊度信息、分辨率信息、光照信息、姿态信息之中的一项或多项;以及
获取所述待选集合中所述属性信息满足预设属性条件的目标图像,得到目标集合。
9.一种计算机装置,其特征在于,所述计算机装置包括处理器,所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1-5中任意一项所述基于光场视频流的抓拍方法。
10.一种计算机可读存储介质,其上存储有计算机指令,其特征在于:所述计算机指令被处理器执行时实现如权利要求1-5中任意一项所述基于光场视频流的抓拍方法。
CN201711309484.8A 2017-12-11 2017-12-11 基于光场视频流的抓拍方法及装置、存储介质 Active CN108040244B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711309484.8A CN108040244B (zh) 2017-12-11 2017-12-11 基于光场视频流的抓拍方法及装置、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711309484.8A CN108040244B (zh) 2017-12-11 2017-12-11 基于光场视频流的抓拍方法及装置、存储介质

Publications (2)

Publication Number Publication Date
CN108040244A true CN108040244A (zh) 2018-05-15
CN108040244B CN108040244B (zh) 2020-11-24

Family

ID=62101932

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711309484.8A Active CN108040244B (zh) 2017-12-11 2017-12-11 基于光场视频流的抓拍方法及装置、存储介质

Country Status (1)

Country Link
CN (1) CN108040244B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109101646A (zh) * 2018-08-21 2018-12-28 北京深瞐科技有限公司 数据处理方法、装置、系统及计算机可读介质
CN113128274A (zh) * 2019-12-31 2021-07-16 深圳云天励飞技术有限公司 一种数据分析方法、装置、电子设备及存储介质
CN114723621A (zh) * 2022-03-07 2022-07-08 北京拙河科技有限公司 基于感知模型的光场成像方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103996023A (zh) * 2014-05-09 2014-08-20 清华大学深圳研究生院 基于深度信念网络的光场人脸识别方法
CN105975926A (zh) * 2016-04-29 2016-09-28 中山大学 基于光场相机的人脸活体检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103996023A (zh) * 2014-05-09 2014-08-20 清华大学深圳研究生院 基于深度信念网络的光场人脸识别方法
CN105975926A (zh) * 2016-04-29 2016-09-28 中山大学 基于光场相机的人脸活体检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
R. RAGHAVENDRA等: "A New Perspective-Face Recognition with Light-field Camera", 《2013 INTERNATIONAL CONFERENCE ON BIOMETRICS (ICB)》 *
张弛等: "光场成像技术及其在计算机视觉中的应用", 《中国图象图形学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109101646A (zh) * 2018-08-21 2018-12-28 北京深瞐科技有限公司 数据处理方法、装置、系统及计算机可读介质
CN113128274A (zh) * 2019-12-31 2021-07-16 深圳云天励飞技术有限公司 一种数据分析方法、装置、电子设备及存储介质
CN113128274B (zh) * 2019-12-31 2024-05-07 深圳云天励飞技术有限公司 一种数据分析方法、装置、电子设备及存储介质
CN114723621A (zh) * 2022-03-07 2022-07-08 北京拙河科技有限公司 基于感知模型的光场成像方法及系统
CN114723621B (zh) * 2022-03-07 2022-09-27 北京拙河科技有限公司 基于感知模型的光场成像方法及系统

Also Published As

Publication number Publication date
CN108040244B (zh) 2020-11-24

Similar Documents

Publication Publication Date Title
CN101918989B (zh) 带有对象跟踪和检索的视频监控系统
NL2012399B1 (en) Autonomous camera system for capturing sporting events.
CN105678288B (zh) 目标跟踪方法和装置
Matsuyama et al. 3D video and its applications
CN111462503B (zh) 车辆测速方法、装置及计算机可读存储介质
CN109816745B (zh) 人体热力图展示方法及相关产品
CN110400352A (zh) 利用特征识别的摄像机校准
CN107004271A (zh) 显示方法、装置、电子设备、计算机程序产品和非暂态计算机可读存储介质
CN105744226A (zh) 一种基于摄像机坐标系的1+n枪球联动方法
JP2004535129A5 (zh)
CN109034185A (zh) 一种街景图像差异对比方法及装置
CN108040244A (zh) 基于光场视频流的抓拍方法及装置、存储介质
CN110659391A (zh) 一种视频侦查方法及装置
CN112261293B (zh) 变电站远程巡检方法、装置和电子设备
CN109712247A (zh) 基于混合现实技术的实景训练系统
JP7479729B2 (ja) 三次元表現方法及び表現装置
CN106530328A (zh) 一种基于视频图像对运动目标检测和平滑跟随的方法
CN106600628A (zh) 一种基于红外热像仪的目标物识别的方法与装置
CN108471497A (zh) 一种基于云台摄像机的船目标实时检测方法
CN110399831A (zh) 一种巡检方法及装置
CN111291646A (zh) 一种人流量统计方法、装置、设备及存储介质
CN108717704A (zh) 基于鱼眼图像的目标跟踪方法、计算机装置及计算机可读存储介质
CN110505397B (zh) 相机选择的方法、装置及计算机存储介质
JP2008158984A (ja) 画像処理装置および領域追跡プログラム
CN106780613A (zh) 多摄像头标定结果的可视化方法及其系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant