CN114170567B - 监测区域亿级像素的光场相机ai分析系统及其方法 - Google Patents
监测区域亿级像素的光场相机ai分析系统及其方法 Download PDFInfo
- Publication number
- CN114170567B CN114170567B CN202111452150.2A CN202111452150A CN114170567B CN 114170567 B CN114170567 B CN 114170567B CN 202111452150 A CN202111452150 A CN 202111452150A CN 114170567 B CN114170567 B CN 114170567B
- Authority
- CN
- China
- Prior art keywords
- light field
- analysis
- field camera
- imaging
- monitoring area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提出监测区域亿级像素的光场相机AI分析系统和方法，属于光场成像与视频监测技术领域。系统包括：由多个光场相机组成的多个光场相机阵列；用于调节光场相机阵列拍摄方向的监控区域调节子系统；对目标监测区域执行监测模式分析的AI分析子系统，在控制屏幕上显示目标监测区域的目标人物或者在控制屏幕上提示预警区域的显示和预警子系统。方法包括基于监控区域调节信号调节相邻光场相机阵列中的至少一个光场相机阵列的拍摄方向；或者基于多个动作模式分析结果以及每个成像视角对应的景深信息判断局部目标监测区域是否存在异常，其中光场相机阵列的成像分辨率超过一亿。本发明可实现亿级像素监测视频或者图像的AI自动化分析。
Description
技术领域
本发明属于光场成像与视频监测技术领域，尤其涉及一种监测区域亿级像素的光场相机AI分析系统及其方法、实现所述方法的计算机终端设备以及存储介质。
背景技术
互联网的蓬勃发展给世界带来了爆炸式增长的数据信息，人们迫切希望获取到更便捷多样的高清实时多媒体资源。高分辨率(高像素)代表着高质量与高清晰度，高清的视频图像不仅在军事、医学、监控、天文等方面有着广泛的应用,而且也能给娱乐生活带来更舒适的视觉体验。在这样的时代背景下，提高用户的视频体验尤为重要。视频图像的分辨率需要不断提升，由4K、8K再到亿级像素、十亿级像素摄像机的发展已成主流趋势。
基于微透镜阵列的光场相机的出现，使得将光场技术应用于普通的照相机成为可能。此类光场相机记录空间中的光场信息,再对光场进行计算处理,能够实现数字对焦、景深延拓甚至像差校正等功能,与传统成像方式相比有很大优势。
然而，当成像分辨率超过亿级时，产生的数据量也剧增；而采用光场相机获取图像数据时，光场相机不仅可以采集到图像信息(平面的、二维图像信息)，还可以类似于激光雷达一样，通过采集的一帧图像生成这张图片对应的深度图信息，以及这张深度图对应的点云信息；光场相机还能同时获取成像时光线的空间信息和角度信息，使得数据的维度也相应增大。在数据维度和数据量同时增大的情况下，如何快速并且及时处理亿级像素下的监控场景数据，成为本领域技术人员亟需处理的技术问题。
发明内容
为解决上述技术问题，本发明提出一种监测区域亿级像素的光场相机AI分析系统及其方法、实现所述方法的计算机终端设备以及存储介质。
在本发明的第一个方面，提出一种监测区域亿级像素的光场相机AI分析系统，所述分析系统包括多个光场相机阵列，每个光场相机阵列由多个光场相机组成。
所述系统还包括：
监控区域调节子系统，所述监控区域调节子系统用于调节所述光场相机阵列的拍摄方向；
作为本发明的重要改进，AI分析子系统，所述AI分析子系统基于至少两个光场相机阵列获取的光场成像信息，对目标监测区域执行监测模式分析；
显示和预警子系统，所述显示和预警子系统接收所述AI分析子系统发送的监测模式分析结果，在控制屏幕上显示所述目标监测区域的目标人物，或者在控制屏幕上提示预警区域；
其中，至少一个光场相机阵列的成像分辨率超过一亿；
所述至少两个光场相机阵列针对同一个所述目标监测区域获取所述光场成像信息。
作为上述改进的具体实现方式，所述AI分析子系统包括全局分析子系统与局部分析子系统；
所述局部分析子系统接收每一个光场相机阵列获取的光场成像信息执行局部监测模式分析；
具体的，作为进一步的改进，所述局部分析子系统包括图像动作分析引擎和图像点云分析引擎；
所述局部分析子系统接收每一个光场相机阵列获取的光场成像信息执行局部监测模式分析，具体包括：
所述图像点云分析引擎针对所述光场成像信息中的点云成像信息执行图像点云分析，得出局部目标监测区域的多个成像视角和每个成像视角对应的景深信息；
所述图像动作分析引擎针对所述光场成像信息中的对应所述多个成像视角下的多个平面成像信息执行动作模式分析，得出多个动作模式分析结果；
所述局部分析子系统基于所述多个动作模式分析结果以及每个成像视角对应的景深信息判断局部目标监测区域是否存在异常。
所述全局分析子系统接收多个相邻光场相机阵列获取的光场成像信息执行全局监测模式分析；
作为的具体的执行方式，所述全局分析子系统包括重叠光场识别引擎；
所述重叠光场识别引擎用于识别多个相邻光场相机阵列获取的光场成像信息中的重叠光场信息；
所述全局分析子系统对所述重叠光场信息包含的目标对象执行多个不同视角下的体素化；
基于所述体素化结果，生成监控区域调节信号发送给所述监控区域调节子系统；
所述监控区域调节子系统基于所述监控区域调节信号调节所述多个相邻光场相机阵列中的至少一个光场相机阵列的拍摄方向。
可见，在上述技术方案中，通过局部多视角的多模态分析结果，可以准确的判断局部目标监测区域是否存在异常，避免单一模态分析的局限性而在全局识别方面，通过全局的重叠光场识别与多视角体素化结果，能够从全局角度识别当前的拍摄角度是否适应当前目标区域或者目标人物的监控需要；
此外，在上述技术方案中，至少一个光场相机阵列的成像分辨率超过一亿；作为更好的效果，每个光场相机阵列的成像分辨率超过一亿；此时，将导致监控区域产生亿级像素级别的待处理信息，传统技术的单一监控和识别模式无法处理这种海量数据，而上述技术方案从局部和全局两个角度分别进行处理，减轻了数据处理量的同时，确保了结果的可靠性。
具体的，在上述技术方案中，若所述局部分析子系统判断出所述局部目标监测区域存在异常，则发送预警信号给所述显示和预警子系统；
所述显示和预警子系统在控制屏幕上显示所述局部目标监测区域。
所述全局分析子系统对所述重叠光场信息包含的目标对象执行多个不同视角下的体素化；
基于所述体素化结果，生成监控区域调节信号发送给所述监控区域调节子系统；
所述监控区域调节子系统基于所述监控区域调节信号调节所述多个相邻光场相机阵列中的至少一个光场相机阵列的拍摄方向。
因此，所述显示和预警子系统接收的所述AI分析子系统发送的监测模式分析结果包括所述局部监测模式分析结果和所述全局监测模式分析结果。
在本发明的第二个方面，提出基于上述第一个方面所述的系统实现的监测区域亿级像素的光场相机AI分析方法，所述方法实现全局监控区域的光场相机AI分析，包括如下步骤：
S710：接收每一个光场相机阵列获取的光场成像信息；
S720：识别多个相邻光场相机阵列获取的光场成像信息中的重叠光场信息；
S730：对所述重叠光场信息包含的目标对象执行多个不同视角下的体素化；
S740：基于所述体素化结果，生成监控区域调节信号；
S750：基于所述监控区域调节信号调节所述多个相邻光场相机阵列中的至少一个光场相机阵列的拍摄方向；
其中，至少一个光场相机阵列的成像分辨率超过一亿；
至少两个光场相机阵列针对同一个目标监测区域获取所述光场成像信息。
作为具体的实现方式，所述步骤S730具体包括：
识别所述重叠光场信息中包含所述目标对象的多个关键帧图像；
获取所述光场相机生成所述多个关键帧图像时对应的光线的空间角度信息；
基于所述空间角度信息，确定多个体素化视角；
分别在所述多个体素化视角下对所述重叠光场信息包含的目标对象进行体素化。
在本发明的第三个方面，提出基于上述第一个方面所述的系统实现的监测区域亿级像素的光场相机AI分析方法，所述方法实现局部监控区域的光场相机AI分析，包括如下步骤：
S901:接收每一个光场相机阵列获取的光场成像信息；
S902:针对所述光场成像信息中的点云成像信息执行图像点云分析，得出局部目标监测区域的多个成像视角和每个成像视角对应的景深信息；
S903：对所述光场成像信息中的对应所述多个成像视角下的多个平面成像信息执行动作模式分析，得出多个动作模式分析结果；
S904：基于所述多个动作模式分析结果以及每个成像视角对应的景深信息判断局部目标监测区域是否存在异常；
如果存在异常，则在控制屏幕上放大显示所述局部目标监测区域；
其中，每个光场相机阵列由多个光场相机组成，至少一个光场相机阵列的成像分辨率超过一亿。
在本发明的第四个方面，提供一种终端设备，例如可以是数据交互设备，其包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述计算机程序可以是数据交互程序，所述处理器执行所述计算机程序时，实现上述第二个方面或者第三个方面所述方法的全部或者部分步骤。
在本发明第五个方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现上述第二个方面或者第三个方面所述方法的全部或者部分步骤。
本发明通过局部多视角的多模态分析结果，可以准确的判断局部目标监测区域是否存在异常，避免单一模态分析的局限性而在全局识别方面，通过全局的重叠光场识别与多视角体素化结果，能够从全局角度识别当前的拍摄角度是否适应当前目标区域或者目标人物的监控需要；
此外，在上述技术方案中，至少一个光场相机阵列的成像分辨率超过一亿；作为更好的效果，每个光场相机阵列的成像分辨率超过一亿；此时，将导致监控区域产生亿级像素级别的待处理信息，传统技术的单一监控和识别模式无法处理这种海量数据，而上述技术方案从局部和全局两个角度分别进行处理，减轻了数据处理量的同时，确保了结果的可靠性。
同时，本发明的局部分析和全局分析所采用的成像视角和体素化视角是相互对应的，确保了局部和全局结果不会产生冲突，可以实现视角复用，节省了视角转换成本和时间。
本发明的进一步优点将结合说明书附图在具体实施例部分进一步详细体现。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的一种监测区域亿级像素的光场相机AI分析系统的架构示意图；
图2图1所述实施例中AI分析子系统进行局部分析的原理示意图；
图3图1所述实施例中AI分析子系统进行全局分析的原理示意图；
图4是本发明各个实施例中多个体素化视角的示意图；
图5是本发明一种监测区域亿级像素的光场相机AI分析方法的第一实施例步骤图；
图6是本发明一种监测区域亿级像素的光场相机AI分析方法的第二实施例步骤图；
图7是实现图5或图6所述方法的全部或者部分步骤的计算机设备的结构图。
具体实施方式
下面，结合附图以及具体实施方式，对发明做出进一步的描述。
在介绍本发明的各个实施例之前，首先介绍与本申请技术方案有关的技术术语，以便更好的理解本申请的技术方案和改进构思。
阵列：是将多个元器件按照一定的形状或者规则排布在一起形成的元件阵列。
在本发明中，光场相机阵列即是将多个光场相机或者多个光场传感器(透镜)按照一定的形状或者规则排布在一起形成的元件阵列。
光场，类似于电场、磁场的概念，用以描述光的一些特性，其包含了光线强度、位置、方向等信息；
光场相机(Light-field camera)，也称为全光相机(Plenoptic camera),具体来说就是用极大量的微小透镜捕捉不同来源和不同角度的光线，每个透镜负责处理一定数量的像素。理论上，如果透镜数量足够的多，那么可以做到在整个光场区域捕捉的光都是清晰可辨的。
光场相机不仅可以采集到图像信息(平面的、二维图像信息)，还可以类似于激光雷达一样，通过采集的一帧图像生成这张图片对应的深度图信息，以及这张深度图对应的点云信息；光场相机还能同时获取成像时光线的空间信息和角度信息，将二维图像中的像素按照一定规则映射为多维(大于2维，例如三维或者四维)光场进行重新投影，得到不同视角和不同相平面的对焦图像。
点云是指目标表面特性的海量点集合。
根据激光测量原理得到的点云，包括三维坐标(XYZ)和激光反射强度(Intensity)。
根据摄影测量原理得到的点云，包括三维坐标(XYZ)和颜色信息(RGB)。
结合激光测量和摄影测量原理得到点云，包括三维坐标(XYZ)、激光反射强度(Intensity)和颜色信息(RGB)。
在获取物体表面每个采样点的空间坐标、深度信息后，得到的是一个点的集合，称之为“点云”(Point Cloud)。
体素化：指按空间位置将三维空间划分为栅格化单位，点云按照所属栅格进行编码并进行统一计算，此举能够提升点云数据规则性，提高计算效率。
体素化视角：包括与笛卡尔坐标系的坐标轴平行的视角、柱坐标系的视角、球坐标系的视角。
具体地，笛卡尔坐标系包括三个坐标轴，与笛卡尔坐标系的坐标轴平行的视角包括：与笛卡尔坐标系的第一坐标轴平行的视角、与笛卡尔坐标系的第二坐标轴平行的视角、与笛卡尔坐标系的第三坐标轴平行的视角。其中，笛卡尔坐标系是直角坐标系和斜角坐标系的统称，例如，笛卡尔坐标系可以包括直角坐标系、车体坐标系、世界坐标系等。
有关光场相机以及多个体素化视角的进一步介绍可以参见如下现有技术：
Adelson E H,Wang J Y A.Single Lens Stereo with a Plenoptic Camera[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1992,14(2):99-106.
US7965936 B2：4D light field cameras；
Su H,Maji S,Kalogerakis E,et al.Multi-view Convolutional NeuralNetworks for 3D Shape Recognition[J].IEEE,2015.
Veeraraghavan A,Raskar R,Agrawal A,et al.Dappled photography:maskenhanced cameras for heterodyned light fields and coded aperture[J].Acm TransGraph,2007,26(3):69.
Zhou,Y.,et al."End-to-End Multi-View Fusion for 3D Object Detectionin LiDAR Point Clouds."arXiv(2019).
以上现有技术作为本发明技术方案公开的一部分引入。
基于以上技术基础，接下来介绍本申请的技术方案。
参见图1，图1是本发明一个实施例的一种监测区域亿级像素的光场相机AI分析系统的架构图。
在图1中，所述分析系统包括多个光场相机阵列，每个光场相机阵列由多个光场相机组成。
作为一个具体例子，至少一个光场相机阵列的成像分辨率超过一亿。
由于每个光场相机阵列由多个光场相机组成，而每个光场相机均由极大量的微小透镜捕捉不同来源和不同角度的光线，每个透镜负责处理一定数量的像素，在实际应用中，每个光场相机包括足够多的透镜的情况下，相机的像素数可达到1亿以上；
此外，光场相机不仅可以采集到图像信息(平面的、二维图像信息)，还可以类似于激光雷达一样，通过采集的一帧图像生成这张图片对应的深度图信息，以及这张深度图对应的点云信息；光场相机还能同时获取成像时光线的空间信息和角度信息，因此其成像像素轻易的就能达至亿级，数据量巨大。
作为更优选的例子，每个光场相机阵列的成像分辨率均超过一亿。
在所述光场相机阵列为N个阵列的情况下，可以在连续的第一角度、第二角度、第三角度…第N角度分别布置一个光场相机阵列，每个光场相机阵列针对监测区域拍摄不同角度的视频，同时，N个相机相机的每一个的拍摄角度可调节，至少两个光场相机阵列针对同一个所述目标监测区域获取所述光场成像信息。
具体的，在图1中，所述分析系统还包括：
监控区域调节子系统，所述监控区域调节子系统用于调节所述光场相机阵列的拍摄方向；
AI分析子系统，所述AI分析子系统基于至少两个光场相机阵列获取的光场成像信息，对目标监测区域执行监测模式分析；
显示和预警子系统，所述显示和预警子系统接收所述AI分析子系统发送的监测模式分析结果，在控制屏幕上显示所述目标监测区域的目标人物，或者在控制屏幕上提示预警区域。
作为更进一步的实例，所述AI分析子系统包括全局分析子系统与局部分析子系统。
具体的，参见图2。图2图1所述实施例中AI分析子系统进行局部分析的原理示意图。
在图2中，所述局部分析子系统接收每一个光场相机阵列获取的光场成像信息执行局部监测模式分析。
具体的，所述局部分析子系统包括图像动作分析引擎和图像点云分析引擎；
所述局部分析子系统接收每一个光场相机阵列获取的光场成像信息执行局部监测模式分析，具体包括：
所述图像点云分析引擎针对所述光场成像信息中的点云成像信息执行图像点云分析，得出局部目标监测区域的多个成像视角和每个成像视角对应的景深信息；
所述图像动作分析引擎针对所述光场成像信息中的对应所述多个成像视角下的多个平面成像信息执行动作模式分析，得出多个动作模式分析结果；
所述局部分析子系统基于所述多个动作模式分析结果以及每个成像视角对应的景深信息判断局部目标监测区域是否存在异常。
以笛卡尔坐标系为例，成像视角包括与笛卡尔坐标系的Z轴平行的视角、与笛卡尔坐标系的X轴平行的视角、与笛卡尔坐标系的Y轴平行的视角；
此时，每个成像视角对应的景深信息分别为z轴的景深数据、X轴的景深数据以及Y轴的景深数据.
所述图像动作分析引擎针对所述光场成像信息中的对应所述多个成像视角下的多个平面成像信息执行动作模式分析，得出多个动作模式分析结果,
具体包括：
针对所述光场成像信息中与笛卡尔坐标系的Z轴平行的视角下的平面成像信息执行动作模式分析，得出第一动作模式分析结果；
针对所述光场成像信息中与笛卡尔坐标系的Y轴平行的视角下的平面成像信息执行动作模式分析，得出第二动作模式分析结果；
针对所述光场成像信息中与笛卡尔坐标系的Z轴平行的视角下的平面成像信息执行动作模式分析，得出第三动作模式分析结果；
所述局部分析子系统基于所述多个动作模式分析结果以及每个成像视角对应的景深信息判断局部目标监测区域是否存在异常，具体包括：
若所述第一动作模式分析结果、第二动作模式分析结果、第三动作模式分析结果均判断为存在动作异常，并且z轴的景深数据、X轴的景深数据以及Y轴的景深数据互相匹配，则判断局部目标监测区域存在异常。
这里的互相匹配，是指z轴的景深数据、X轴的景深数据以及Y轴的景深数据组合后能够复原监测区域的目标对象。
当然，上述仅以笛卡尔坐标系为例。在实际应用中，还可以采用柱坐标系的视角、球坐标系的视角；或者分为鸟瞰视角和投射视角等。只要在多个视角下获得至少两个以上的多个平面成像信息执行动作模式分析，得出多个动作模式分析结果后，结合景深数据，即可执行上述目标监测区域执行监测模式分析的步骤。
在此基础上，若所述局部分析子系统判断出所述局部目标监测区域存在异常，则发送预警信号给所述显示和预警子系统；
所述显示和预警子系统在控制屏幕上显示所述局部目标监测区域。
图3示出图1所述实施例中AI分析子系统进行全局分析的原理示意图。
所述全局分析子系统接收多个相邻光场相机阵列获取的光场成像信息执行全局监测模式分析。
在图3中，所述全局分析子系统包括重叠光场识别引擎；
所述重叠光场识别引擎用于识别多个相邻光场相机阵列获取的光场成像信息中的重叠光场信息；
所述全局分析子系统对所述重叠光场信息包含的目标对象执行多个不同视角下的体素化；
基于所述体素化结果，生成监控区域调节信号发送给所述监控区域调节子系统；
所述监控区域调节子系统基于所述监控区域调节信号调节所述多个相邻光场相机阵列中的至少一个光场相机阵列的拍摄方向。
作为更具体的实施例，
所述目标对象包括多个所述目标人物；
所述全局分析子系统对所述重叠光场信息包含的目标对象执行多个不同视角下的体素化，具体包括：
识别所述重叠光场信息中包含所述目标对象的多个关键帧图像；
获取所述光场相机生成所述多个关键帧图像时对应的光线的空间角度信息；
基于所述空间角度信息，确定多个体素化视角；
分别在所述多个体素化视角下对所述重叠光场信息包含的目标对象进行体素化。
和前述局部分析过程涉及的成像视角相对应，这里采用分别在所述多个体素化视角下对所述重叠光场信息包含的目标对象进行体素化的方式。
常规的体素化方法包括同时在x、y、z三个方向进行体素化，此时体素大小的选择对精度和耗时影响很大，划分过密则大大增加计算量，增加耗时；而划分稀疏则会导致精度大幅降低，带有很强的主观性。
而在本实施例中，首先基于所述空间角度信息，确定多个体素化视角；
多种体素化视角，包括笛卡尔x轴平行方向视角、笛卡尔y轴平行方向视角，笛卡尔z轴平行方向视角、球坐标系的视角、柱坐标系视角。
在所述多个体素化视角下对所述重叠光场信息包含的目标对象进行体素化，是指对所述重叠光场信息包含的目标对象对应的点云数据进行体素化。
这里的基于所述空间角度信息，确定多个体素化视角，是指前述光场相机的成像视角。
以笛卡尔坐标系为例，成像视角包括与笛卡尔坐标系的Z轴平行的视角、与笛卡尔坐标系的X轴平行的视角、与笛卡尔坐标系的Y轴平行的视角；
此时，相对应的多个体素化视角包括与笛卡尔坐标系的Z轴平行的视角、与笛卡尔坐标系的X轴平行的视角、与笛卡尔坐标系的Y轴平行的视角。
图4示出了这三种体素化视角的效果示意图。
在上述实施例的基础上，所述显示和预警子系统接收的所述AI分析子系统发送的监测模式分析结果包括所述局部监测模式分析结果和所述全局监测模式分析结果。
若所述局部分析子系统判断出所述局部目标监测区域存在异常，则发送预警信号给所述显示和预警子系统；
所述显示和预警子系统在控制屏幕上显示所述局部目标监测区域。
所述全局分析子系统对所述重叠光场信息包含的目标对象执行多个不同视角下的体素化；
基于所述体素化结果，生成监控区域调节信号发送给所述监控区域调节子系统；
所述监控区域调节子系统基于所述监控区域调节信号调节所述多个相邻光场相机阵列中的至少一个光场相机阵列的拍摄方向。
基于图1-图4的硬件架构以及原理性介绍，图5-图6分别示出了一种监测区域亿级像素的光场相机AI分析方法的两个不同实施例。
在图5中，示出一种监测区域亿级像素的光场相机AI分析方法，所述方法包括如下步骤：
S710：接收每一个光场相机阵列获取的光场成像信息；
S720：识别多个相邻光场相机阵列获取的光场成像信息中的重叠光场信息；S730：对所述重叠光场信息包含的目标对象执行多个不同视角下的体素化；S740：基于所述体素化结果，生成监控区域调节信号；
S750：基于所述监控区域调节信号调节所述多个相邻光场相机阵列中的至少一个光场相机阵列的拍摄方向；
其中，至少一个光场相机阵列的成像分辨率超过一亿；
至少两个光场相机阵列针对同一个目标监测区域获取所述光场成像信息。
具体的，所述步骤S730具体包括：
识别所述重叠光场信息中包含所述目标对象的多个关键帧图像；
获取所述光场相机生成所述多个关键帧图像时对应的光线的空间角度信息；
基于所述空间角度信息，确定多个体素化视角；
分别在所述多个体素化视角下对所述重叠光场信息包含的目标对象进行体素化。
更具体的，所述目标对象包括多个所述目标人物；
所述对所述重叠光场信息包含的目标对象执行多个不同视角下的体素化，具体包括：
识别所述重叠光场信息中包含所述目标对象的多个关键帧图像；
获取所述光场相机生成所述多个关键帧图像时对应的光线的空间角度信息；
基于所述空间角度信息，确定多个体素化视角；
分别在所述多个体素化视角下对所述重叠光场信息包含的目标对象进行体素化。
在图6中，示出另一种监测区域亿级像素的光场相机AI分析方法，所述方法步骤S901-S904，各个步骤具体实现如下：
S901:接收每一个光场相机阵列获取的光场成像信息；
S902:针对所述光场成像信息中的点云成像信息执行图像点云分析，得出局部目标监测区域的多个成像视角和每个成像视角对应的景深信息；
S903：对所述光场成像信息中的对应所述多个成像视角下的多个平面成像信息执行动作模式分析，得出多个动作模式分析结果；
S904：基于所述多个动作模式分析结果以及每个成像视角对应的景深信息判断局部目标监测区域是否存在异常；
如果存在异常，则在控制屏幕上放大显示所述局部目标监测区域；
其中，每个光场相机阵列由多个光场相机组成，至少一个光场相机阵列的成像分辨率超过一亿。
更具体的，所述步骤903包括：
针对所述光场成像信息中的点云成像信息执行图像点云分析，得出局部目标监测区域的多个成像视角和每个成像视角对应的景深信息；
针对所述光场成像信息中的对应所述多个成像视角下的多个平面成像信息执行动作模式分析，得出多个动作模式分析结果；
以笛卡尔坐标系为例，成像视角包括与笛卡尔坐标系的Z轴平行的视角、与笛卡尔坐标系的X轴平行的视角、与笛卡尔坐标系的Y轴平行的视角；
此时，每个成像视角对应的景深信息分别为z轴的景深数据、X轴的景深数据以及Y轴的景深数据.
所述图像动作分析引擎针对所述光场成像信息中的对应所述多个成像视角下的多个平面成像信息执行动作模式分析，得出多个动作模式分析结果,
具体包括：
针对所述光场成像信息中与笛卡尔坐标系的Z轴平行的视角下的平面成像信息执行动作模式分析，得出第一动作模式分析结果；
针对所述光场成像信息中与笛卡尔坐标系的Y轴平行的视角下的平面成像信息执行动作模式分析，得出第二动作模式分析结果；
针对所述光场成像信息中与笛卡尔坐标系的Z轴平行的视角下的平面成像信息执行动作模式分析，得出第三动作模式分析结果；
所述步骤904包括：
若所述第一动作模式分析结果、第二动作模式分析结果、第三动作模式分析结果均判断为存在动作异常，并且z轴的景深数据、X轴的景深数据以及Y轴的景深数据互相匹配，则判断局部目标监测区域存在异常。
这里的互相匹配，是指z轴的景深数据、X轴的景深数据以及Y轴的景深数据组合后能够复原监测区域的目标对象。
当然，上述仅以笛卡尔坐标系为例。在实际应用中，还可以采用柱坐标系的视角、球坐标系的视角；或者分为鸟瞰视角和投射视角等。只要在多个视角下获得至少两个以上的多个平面成像信息执行动作模式分析，得出多个动作模式分析结果后，结合景深数据，即可执行上述目标监测区域执行监测模式分析的步骤。
在此基础上，若判断出所述局部目标监测区域存在异常，则发送预警信号，并在控制屏幕上放大显示所述局部目标监测区域。
需要指出的是，图5或图6所述方法、流程，均可以通过计算机程序指令自动化的实现。因此，参见图7提供一种电子计算机设备，该电子设备可以是数据交互设备，包括总线、处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。
该计算机设备可以是终端，该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现前述方法实例的步骤。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本发明通过局部多视角的多模态分析结果，可以准确的判断局部目标监测区域是否存在异常，避免单一模态分析的局限性而在全局识别方面，通过全局的重叠光场识别与多视角体素化结果，能够从全局角度识别当前的拍摄角度是否适应当前目标区域或者目标人物的监控需要；
此外，在上述技术方案中，至少一个光场相机阵列的成像分辨率超过一亿；作为更好的效果，每个光场相机阵列的成像分辨率超过一亿；此时，将导致监控区域产生亿级像素级别的待处理信息，传统技术的单一监控和识别模式无法处理这种海量数据，而上述技术方案从局部和全局两个角度分别进行处理，减轻了数据处理量的同时，确保了结果的可靠性。
同时，本发明的局部分析和全局分析所采用的成像视角和体素化视角是相互对应的，确保了局部和全局结果不会产生冲突，可以实现视角复用，节省了视角转换成本和时间。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。
本发明未特别明确的部分模块结构，以现有技术记载的内容为准。本发明在前述背景技术部分提及的现有技术可作为本发明的一部分，用于理解部分技术特征或者参数的含义。本发明的保护范围以权利要求实际记载的内容为准。
Claims (8)
1.一种监测区域亿级像素的光场相机AI分析系统，所述分析系统包括多个光场相机阵列，每个光场相机阵列由多个光场相机组成，
其特征在于，所述系统还包括：
监控区域调节子系统，所述监控区域调节子系统用于调节所述光场相机阵列的拍摄方向；
AI分析子系统，所述AI分析子系统基于至少两个光场相机阵列获取的光场成像信息，对目标监测区域执行监测模式分析；
显示和预警子系统，所述显示和预警子系统接收所述AI分析子系统发送的监测模式分析结果，在控制屏幕上显示所述目标监测区域的目标人物，或者在控制屏幕上提示预警区域；
其中，至少一个光场相机阵列的成像分辨率超过一亿；
所述至少两个光场相机阵列针对同一个所述目标监测区域获取所述光场成像信息；
所述AI分析子系统包括全局分析子系统与局部分析子系统；
所述局部分析子系统接收每一个光场相机阵列获取的光场成像信息执行局部监测模式分析；
所述全局分析子系统接收多个相邻光场相机阵列获取的光场成像信息执行全局监测模式分析；
所述显示和预警子系统接收的所述AI分析子系统发送的监测模式分析结果包括所述局部监测模式分析结果和所述全局监测模式分析结果；
所述全局分析子系统包括重叠光场识别引擎；
所述重叠光场识别引擎用于识别多个相邻光场相机阵列获取的光场成像信息中的重叠光场信息；
所述全局分析子系统对所述重叠光场信息包含的目标对象执行多个不同视角下的体素化；
基于所述体素化结果，生成监控区域调节信号发送给所述监控区域调节子系统；
所述监控区域调节子系统基于所述监控区域调节信号调节所述多个相邻光场相机阵列中的至少一个光场相机阵列的拍摄方向。
2.如权利要求1所述的一种监测区域亿级像素的光场相机AI分析系统，其特征在于：
所述局部分析子系统包括图像动作分析引擎和图像点云分析引擎；
所述局部分析子系统接收每一个光场相机阵列获取的光场成像信息执行局部监测模式分析，具体包括：
所述图像点云分析引擎针对所述光场成像信息中的点云成像信息执行图像点云分析，得出局部目标监测区域的多个成像视角和每个成像视角对应的景深信息；
所述图像动作分析引擎针对所述光场成像信息中的对应所述多个成像视角下的多个平面成像信息执行动作模式分析，得出多个动作模式分析结果；
所述局部分析子系统基于所述多个动作模式分析结果以及每个成像视角对应的景深信息判断局部目标监测区域是否存在异常。
3.如权利要求2所述的一种监测区域亿级像素的光场相机AI分析系统，其特征在于：
若所述局部分析子系统判断出所述局部目标监测区域存在异常，则发送预警信号给所述显示和预警子系统；
所述显示和预警子系统在控制屏幕上显示所述局部目标监测区域。
4.如权利要求3所述的一种监测区域亿级像素的光场相机AI分析系统，其特征在于：
所述目标对象包括多个所述目标人物；
所述全局分析子系统对所述重叠光场信息包含的目标对象执行多个不同视角下的体素化，具体包括：
识别所述重叠光场信息中包含所述目标对象的多个关键帧图像；
获取所述光场相机生成所述多个关键帧图像时对应的光线的空间角度信息；
基于所述空间角度信息，确定多个体素化视角；
分别在所述多个体素化视角下对所述重叠光场信息包含的目标对象进行体素化。
5.一种监测区域亿级像素的光场相机AI分析方法，其特征在于，所述方法包括如下步骤：
S710：接收每一个光场相机阵列获取的光场成像信息；
S720：识别多个相邻光场相机阵列获取的光场成像信息中的重叠光场信息；
S730：对所述重叠光场信息包含的目标对象执行多个不同视角下的体素化；
S740：基于所述体素化结果，生成监控区域调节信号；
S750：基于所述监控区域调节信号调节所述多个相邻光场相机阵列中的至少一个光场相机阵列的拍摄方向；
其中，至少一个光场相机阵列的成像分辨率超过一亿；
至少两个光场相机阵列针对同一个目标监测区域获取所述光场成像信息。
6.如权利要求5所述的一种监测区域亿级像素的光场相机AI分析方法，其特征在于：
所述步骤S730具体包括：
识别所述重叠光场信息中包含所述目标对象的多个关键帧图像；
获取所述光场相机生成所述多个关键帧图像时对应的光线的空间角度信息；
基于所述空间角度信息，确定多个体素化视角；
分别在所述多个体素化视角下对所述重叠光场信息包含的目标对象进行体素化。
7.一种监测区域亿级像素的光场相机AI分析方法，其特征在于，所述方法包括如下步骤：
S901: 接收每一个光场相机阵列获取的光场成像信息;
S902: 针对所述光场成像信息中的点云成像信息执行图像点云分析，得出局部目标监测区域的多个成像视角和每个成像视角对应的景深信息；
S903：对所述光场成像信息中的对应所述多个成像视角下的多个平面成像信息执行动作模式分析，得出多个动作模式分析结果；
S904：基于所述多个动作模式分析结果以及每个成像视角对应的景深信息判断局部目标监测区域是否存在异常；
如果存在异常，则在控制屏幕上放大显示所述局部目标监测区域；
其中，每个光场相机阵列由多个光场相机组成，至少一个光场相机阵列的成像分辨率超过一亿。
8.一种终端，其特征在于，包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求6-7任一项所述的方法中的步骤的指令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111452150.2A CN114170567B (zh) | 2021-12-01 | 2021-12-01 | 监测区域亿级像素的光场相机ai分析系统及其方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111452150.2A CN114170567B (zh) | 2021-12-01 | 2021-12-01 | 监测区域亿级像素的光场相机ai分析系统及其方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114170567A CN114170567A (zh) | 2022-03-11 |
| CN114170567B true CN114170567B (zh) | 2022-07-12 |
Family
ID=80482043
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111452150.2A Active CN114170567B (zh) | 2021-12-01 | 2021-12-01 | 监测区域亿级像素的光场相机ai分析系统及其方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114170567B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115032756B (zh) * | 2022-06-07 | 2022-12-27 | 北京拙河科技有限公司 | 一种光场相机的微透镜阵列定位方法及系统 |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102833487A (zh) * | 2012-08-08 | 2012-12-19 | 中国科学院自动化研究所 | 面向视觉计算的光场成像装置和方法 |
| CN103281120A (zh) * | 2013-05-30 | 2013-09-04 | 华中科技大学 | 一种光信号调制格式识别方法及系统 |
| CN103454556A (zh) * | 2013-08-09 | 2013-12-18 | 国家电网公司 | 一种具有3d扫描功能的巡检装置及其检测方法 |
| CN104034278A (zh) * | 2014-06-05 | 2014-09-10 | 北京必可测科技股份有限公司 | 进行锅炉检测的方法及装置 |
| CN104048647A (zh) * | 2014-05-09 | 2014-09-17 | 华东理工大学 | 重建炉膛内火焰三维结构的采集装置及采集方法 |
| CN105023275A (zh) * | 2015-07-14 | 2015-11-04 | 清华大学 | 超分辨率光场采集装置及其的三维重建方法 |
| CN105303549A (zh) * | 2015-06-29 | 2016-02-03 | 北京格灵深瞳信息技术有限公司 | 一种确定视频图像中被测对象间位置关系的方法及装置 |
| CN106153977A (zh) * | 2016-06-21 | 2016-11-23 | 上海交通大学 | 一种基于单光场相机的三维流场测试方法 |
| CN107478267A (zh) * | 2017-07-11 | 2017-12-15 | 上海交通大学 | 基于光场相机的三维流场的温度场和速度场同步测试方法 |
| CN107959805A (zh) * | 2017-12-04 | 2018-04-24 | 深圳市未来媒体技术研究院 | 基于混合相机阵列的光场视频成像系统及视频处理方法 |
| CN108156395A (zh) * | 2017-12-13 | 2018-06-12 | 中国电子科技集团公司电子科学研究院 | 基于相机阵列的全景光场采集装置、处理方法和计算设备 |
| CN108345050A (zh) * | 2018-05-11 | 2018-07-31 | 上海市刑事科学技术研究院 | 多层次多维度立体化智能安检系统 |
| CN108491760A (zh) * | 2018-02-14 | 2018-09-04 | 天目爱视（北京）科技有限公司 | 基于光场相机的3d四维虹膜数据采集方法及系统 |
| CN111008568A (zh) * | 2019-11-07 | 2020-04-14 | 浙江大华技术股份有限公司 | 逃票检测方法及其相关装置 |
| CN111476827A (zh) * | 2019-01-24 | 2020-07-31 | 曜科智能科技（上海）有限公司 | 目标跟踪方法、系统、电子装置及存储介质 |
| CN112040140A (zh) * | 2020-09-02 | 2020-12-04 | 衢州光明电力投资集团有限公司赋腾科技分公司 | 一种基于光场的宽视场高分辨混合成像装置 |
| CN112468832A (zh) * | 2020-10-22 | 2021-03-09 | 北京拙河科技有限公司 | 一种十亿级像素全景视频直播方法、装置、介质及设备 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102855471B (zh) * | 2012-08-01 | 2014-11-26 | 中国科学院自动化研究所 | 远距离虹膜智能成像装置及方法 |
| CN104184936B (zh) * | 2013-05-21 | 2017-06-23 | 吴俊辉 | 基于光场相机的影像对焦处理方法及其系统 |
| US10852838B2 (en) * | 2014-06-14 | 2020-12-01 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
| CN105403173B (zh) * | 2015-12-29 | 2018-05-01 | 上海大学 | 一种光场偏折术测量系统标定镜及其应用方法 |
| US10186051B2 (en) * | 2017-05-11 | 2019-01-22 | Dantec Dynamics A/S | Method and system for calibrating a velocimetry system |
-
2021
- 2021-12-01 CN CN202111452150.2A patent/CN114170567B/zh active Active
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102833487A (zh) * | 2012-08-08 | 2012-12-19 | 中国科学院自动化研究所 | 面向视觉计算的光场成像装置和方法 |
| CN103281120A (zh) * | 2013-05-30 | 2013-09-04 | 华中科技大学 | 一种光信号调制格式识别方法及系统 |
| CN103454556A (zh) * | 2013-08-09 | 2013-12-18 | 国家电网公司 | 一种具有3d扫描功能的巡检装置及其检测方法 |
| CN104048647A (zh) * | 2014-05-09 | 2014-09-17 | 华东理工大学 | 重建炉膛内火焰三维结构的采集装置及采集方法 |
| CN104034278A (zh) * | 2014-06-05 | 2014-09-10 | 北京必可测科技股份有限公司 | 进行锅炉检测的方法及装置 |
| CN105303549A (zh) * | 2015-06-29 | 2016-02-03 | 北京格灵深瞳信息技术有限公司 | 一种确定视频图像中被测对象间位置关系的方法及装置 |
| CN105023275A (zh) * | 2015-07-14 | 2015-11-04 | 清华大学 | 超分辨率光场采集装置及其的三维重建方法 |
| CN106153977A (zh) * | 2016-06-21 | 2016-11-23 | 上海交通大学 | 一种基于单光场相机的三维流场测试方法 |
| CN107478267A (zh) * | 2017-07-11 | 2017-12-15 | 上海交通大学 | 基于光场相机的三维流场的温度场和速度场同步测试方法 |
| CN107959805A (zh) * | 2017-12-04 | 2018-04-24 | 深圳市未来媒体技术研究院 | 基于混合相机阵列的光场视频成像系统及视频处理方法 |
| CN108156395A (zh) * | 2017-12-13 | 2018-06-12 | 中国电子科技集团公司电子科学研究院 | 基于相机阵列的全景光场采集装置、处理方法和计算设备 |
| CN108491760A (zh) * | 2018-02-14 | 2018-09-04 | 天目爱视（北京）科技有限公司 | 基于光场相机的3d四维虹膜数据采集方法及系统 |
| CN108345050A (zh) * | 2018-05-11 | 2018-07-31 | 上海市刑事科学技术研究院 | 多层次多维度立体化智能安检系统 |
| CN111476827A (zh) * | 2019-01-24 | 2020-07-31 | 曜科智能科技（上海）有限公司 | 目标跟踪方法、系统、电子装置及存储介质 |
| CN111008568A (zh) * | 2019-11-07 | 2020-04-14 | 浙江大华技术股份有限公司 | 逃票检测方法及其相关装置 |
| CN112040140A (zh) * | 2020-09-02 | 2020-12-04 | 衢州光明电力投资集团有限公司赋腾科技分公司 | 一种基于光场的宽视场高分辨混合成像装置 |
| CN112468832A (zh) * | 2020-10-22 | 2021-03-09 | 北京拙河科技有限公司 | 一种十亿级像素全景视频直播方法、装置、介质及设备 |
Non-Patent Citations (3)
| Title |
|---|
| Introducing 3D Model Search into Case Study Library Management for Engineering Education;Jiale Wang;《Proceedings of 2015 3rd International Conference on Education,Management,Arts,Economics and Social Science (ICEMAESS 2015)》;20151228;论文全文 * |
| 三维CAD模型检索技术研究现状与发展分析;张开兴;《农业机械学报》;20130725;论文全文 * |
| 多光谱光场成像在公安视听技术中的应用;李云鹏;《中国司法鉴定》;20210715;论文全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114170567A (zh) | 2022-03-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2019100933A1 (zh) | 用于三维测量的方法、装置以及系统 | |
| CN107635129B (zh) | 一种三维三目摄像装置及深度融合方法 | |
| TWI435279B (zh) | 監控系統，影像擷取裝置，分析裝置及監控方法 | |
| US20160021355A1 (en) | Preprocessor for Full Parallax Light Field Compression | |
| US8908054B1 (en) | Optics apparatus for hands-free focus | |
| CN110572630B (zh) | 三维图像拍摄系统、方法、装置、设备以及存储介质 | |
| WO2019184185A1 (zh) | 目标图像获取系统与方法 | |
| CN110213491B (zh) | 一种对焦方法、装置及存储介质 | |
| EP3144894B1 (en) | Method and system for calibrating an image acquisition device and corresponding computer program product | |
| CN112207821B (zh) | 视觉机器人的目标搜寻方法及机器人 | |
| WO2020207172A1 (zh) | 基于三维光场技术的光学无人机监测方法及系统 | |
| CN102692806A (zh) | 自由视点四维空间视频序列的采集与形成方法 | |
| CN113534737B (zh) | 一种基于多目视觉的ptz球机控制参数获取系统 | |
| CN115035235A (zh) | 三维重建方法及装置 | |
| CN114170567B (zh) | 监测区域亿级像素的光场相机ai分析系统及其方法 | |
| CN112640419B (zh) | 跟随方法、可移动平台、设备和存储介质 | |
| CN108805921A (zh) | 图像获取系统及方法 | |
| WO2023098362A1 (zh) | 一种基于亿级像素相机的目标区域安防与监控系统 | |
| CN210986289U (zh) | 四目鱼眼相机及双目鱼眼相机 | |
| WO2023138311A1 (zh) | 基于亿级像素设备的云端视频监控方法与监控平台 | |
| WO2023138217A1 (zh) | 基于gpu融合处理的超清画质图像数据处理方法与装置 | |
| CN116012609A (zh) | 一种环视鱼眼多目标跟踪方法、装置、电子设备及介质 | |
| US11665330B2 (en) | Dynamic-baseline imaging array with real-time spatial data capture and fusion | |
| CN114173106B (zh) | 基于光场相机的实时视频流融合处理方法与系统 | |
| Cheng et al. | H 2-Stereo: High-Speed, High-Resolution Stereoscopic Video System |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |