CN112367474B - 一种自适应光场成像方法、装置及设备 - Google Patents
一种自适应光场成像方法、装置及设备 Download PDFInfo
- Publication number
- CN112367474B CN112367474B CN202110039406.0A CN202110039406A CN112367474B CN 112367474 B CN112367474 B CN 112367474B CN 202110039406 A CN202110039406 A CN 202110039406A CN 112367474 B CN112367474 B CN 112367474B
- Authority
- CN
- China
- Prior art keywords
- image acquisition
- local image
- acquisition equipment
- target
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 71
- 230000002787 reinforcement Effects 0.000 claims abstract description 42
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 41
- 230000004927 fusion Effects 0.000 claims abstract description 23
- 238000000034 method Methods 0.000 claims description 38
- 230000003044 adaptive effect Effects 0.000 claims description 25
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 6
- 230000009286 beneficial effect Effects 0.000 abstract description 7
- 238000012549 training Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000013178 mathematical model Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
本发明实施例公开了自适应光场成像方法、装置及设备。通过像感器阵列中的全局图像采集设备采集目标场景内的全局视频数据，并根据全局视频数据确定目标场景内每个目标区域对应的信息熵；根据信息熵和强化学习算法调节局部图像采集设备的拍摄角度，以及确定目标场景内每个事件对应的发生区域的面积，并根据面积调节对应的局部图像采集设备的焦距；控制调节后的像感器阵列拍摄目标场景，并对局部图像采集设备拍摄的第一视频信息集合和全局图像采集设备拍摄的第二视频信息进行信息融合，生成目标场景的光场成像信息。本发明实施例提供的技术方案，能够同时获取宽视场和高分辨率的实时光场成像信息，有利于提高获取的光场成像信息的准确性。
Description
技术领域
本发明实施例涉及计算机及通信技术领域，尤其涉及一种自适应光场成像方法、装置及设备。
背景技术
随着图像视频技术的快速发展，通过图像和视频能很好的体现拍摄物体的形状和性能等。传统的成像设备由于其感光元件的限制，无法同时获取宽视场高和分辨率的实时光场成像信息。
现有技术中使用超分辨技术来解决上述问题，超分辨技术分为基于传统数学模型的超分辨技术、基于重构的超分辨技术以及基于深度学习的超分辨技术。但是基于传统数学模型的超分辨技术比较依赖数学模型；基于重构的超分辨技术由于在实际场景中，图像退化的因素较多，假设的先验信息并不准确，因此无法广泛应用；基于深度学习的超分辨技术需要从大量数据中获取超分辨特征，依赖于数据集的分布，适用性较差。
目前尚未有更好的能够同时获取宽视场和高分辨率的实时光场成像信息的技术方案。
发明内容
本发明实施例提供了一种自适应光场成像方法、装置及设备，能够同时获取宽视场和高分辨率的实时光场成像信息，有利于提高获取的光场成像信息的准确性。
第一方面，本发明实施例提供了一种自适应光场成像方法，该方法包括：
通过像感器阵列中的全局图像采集设备采集目标场景内的全局视频数据，并根据所述全局视频数据确定所述目标场景内每个目标区域对应的信息熵，其中，所述像感器阵列中还包括第一个数的拍摄角度可调的局部图像采集设备；
根据所述信息熵和强化学习算法调节所述局部图像采集设备的拍摄角度，以及确定所述目标场景内每个事件对应的发生区域的面积，并根据所述面积调节对应的局部图像采集设备的焦距；
控制所述调节后的像感器阵列拍摄所述目标场景，并对所述局部图像采集设备拍摄的第一视频信息集合和所述全局图像采集设备拍摄的第二视频信息进行信息融合，生成所述目标场景的光场成像信息。
第二方面，本发明实施例提供了一种自适应光场成像装置，该装置包括：
确定模块，用于通过像感器阵列中的全局图像采集设备采集目标场景内的全局视频数据，并根据所述全局视频数据确定所述目标场景内每个目标区域对应的信息熵，其中，所述像感器阵列中还包括第一个数的拍摄角度可调的局部图像采集设备；
调节模块，用于根据所述信息熵和强化学习算法调节所述局部图像采集设备的拍摄角度，以及确定所述目标场景内每个事件对应的发生区域的面积，并根据所述面积调节对应的局部图像采集设备的焦距；
生成模块，用于控制所述调节后的像感器阵列拍摄所述目标场景，并对所述局部图像采集设备拍摄的第一视频信息集合和所述全局图像采集设备拍摄的第二视频信息进行信息融合，生成所述目标场景的光场成像信息。
第三方面，本发明实施例提供了一种计算机设备，该计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
像感器阵列，用于采集视频数据；
全局图像采集设备，位于所述像感器阵列中，用于采集全局视频数据；
局部图像采集设备，位于所述像感器阵列中，用于采集局部视频数据；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所述的自适应光场成像方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所述的自适应光场成像方法。
本发明实施例提供了一种自适应光场成像方法、装置及设备，首先通过像感器阵列中的全局图像采集设备采集目标场景内的全局视频数据，并根据全局视频数据确定目标场景内每个目标区域对应的信息熵，像感器阵列中还包括第一个数的拍摄角度可调的局部图像采集设备，然后根据信息熵和强化学习算法调节局部图像采集设备的拍摄角度，以及确定目标场景内每个事件对应的发生区域的面积，并根据面积调节对应的局部图像采集设备的焦距，最后控制调节后的像感器阵列拍摄目标场景，并对局部图像采集设备拍摄的第一视频信息集合和全局图像采集设备拍摄的第二视频信息进行信息融合，生成目标场景的光场成像信息，本发明实施例提供的技术方案，能够同时获取宽视场和高分辨率的实时光场成像信息，有利于提高获取的光场成像信息的准确性。
附图说明
图1为本发明实施例一提供的一种自适应光场成像方法的流程图；
图2为本发明实施例二提供的一种自适应光场成像方法的流程图；
图3为本发明实施例三提供的一种自适应光场成像装置的结构示意图；
图4为本发明实施例四提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种自适应光场成像方法的流程图，本实施例可适用于获取宽视场和高分辨率的实时光场成像信息的情况。本实施例提供的自适应光场成像方法可以由本发明实施例提供的自适应光场成像装置来执行，该装置可以通过软件和/或硬件的方式实现，并集成在执行本方法的计算机设备中。
参见图1，本实施例的方法包括但不限于如下步骤：
S110，通过像感器阵列中的全局图像采集设备采集目标场景内的全局视频数据，并根据全局视频数据确定目标场景内每个目标区域对应的信息熵，像感器阵列中还包括第一个数的拍摄角度可调的局部图像采集设备。
其中，像感器阵列可以理解为一个固定的全局图像采集设备（相当于主镜头）和第一个数的局部图像采集设备（相当于微型镜头阵列）相结合的跨尺度光场成像结构，它能够实现全景宽视场的画面捕捉，解决传统相机无法捕获实时全景图像数据的技术的问题，以及解决大场景与局部细节超高清的矛盾，满足“大场景、超远距、全细节”的需要。像感器阵列需要保证全局图像采集设备能够覆盖所有局部图像采集设备拍摄范围内的所有场景。全局图像采集设备和局部图像采集设备要保证能够相互通信，以方便后续将局部图像采集设备拍摄的第一视频信息集合和全局图像采集设备拍摄的第二视频信息进行信息融合，得到融合的信息。全局图像采集设备可以为满足清晰度低和大视野条件的具有图像采集功能的设备，例如清晰度低但视野大的光场相机或者摄像头等。局部图像采集设备可以为满足视野小、清晰度高以及拍摄角度可调条件的具有图像采集功能的设备，例如清晰度高、视野小且拍摄角度可调的光场相机或者摄像机等。目标场景可以为待拍摄的场景，例如某地下停车场或者某十字路口等。目标区域可以理解为目标场景内发生的所有事件所对应的事件发生区域。第一个数的具体数值可以根据目标场景而定，也可以预先设计好，第一个数的具体数值可以为一个或者多个，本发明实施例不做具体限制。信息熵可以理解为每个目标区域包含的信息中排除冗余信息后的平均信息量，用来对信息进行量化度量。
为了获取目标场景的宽视场和高分辨率的实时光场成像信息，通过像感器阵列中的全局图像采集设备采集目标场景内的全局视频数据，然后根据采集到的全局视频数据通过相应的算法，例如事件检测方法、基于光流的方法以及基于感兴趣点的检测方法等，能够确定目标场景内发生的所有事件所对应的事件发生区域，即目标区域，进而通过目标区域中发生的事件能够确定每个目标区域对应的信息熵，以便后续根据信息熵调节局部图像采集设备的拍摄角度以及焦距。
示例性的，可以基于形状匹配的方法确定视频中的事件。具体的，将视频数据作为时间空间上的三维对象，根据形状的不同来确定视频中的不同事件。
可选的，根据全局视频数据确定目标场景内每个目标区域对应的信息熵，可以具体包括：根据全局视频数据，通过事件检测算法得到目标场景内发生的所有事件对应的目标区域，并确定各目标区域内每个事件发生的概率，其中，目标区域内至少有一个事件发生；根据各目标区域内每个事件发生的概率，确定目标场景内每个目标区域对应的信息熵。
具体的，根据全局视频数据，通过事件检测算法能够检测出目标场景内发生的所有事件对应的目标区域，在确定了所有事件对应的目标区域之后可以通过深度学习方法确定出各目标区域内发生的事件中每个事件发生的概率，也可以预先构建事件概率集合，可以对每个目标区域分别建立一个事件概率集合，也可以多个目标区域建立一个事件概率集合，通过在事件概率集合中查找获取各目标区域内每个事件发生的概率。在确定了各目标区域内每个事件发生的概率之后，结合信息熵计算公式能够确定目标场景内每个目标区域对应的信息熵。
本发明实施例中，先确定目标场景内发生的所有事件对应的目标区域，以及各目标区域内每个事件发生的概率，再确定每个目标区域对应的信息熵，这种信息熵确定方式比较准确，且能够对目标区域内的信息量进行量化。
可选的，信息熵计算公式可以表示为：
其中，
为目标场景内目标区域A中所发生的事件，
为事件
发生的概率，i表
示区域A中所发生的事件的总个数，
，X代表事件集合，即
，
表示事件
的信息熵。事件
发生的概率越低，对应的信息熵越大。
可选的，在确定了目标场景内每个目标区域对应的信息熵之后，将每个目标区域对应的信息熵相加得到总信息熵，将总信息熵与目标场景内发生的事件的总个数相除，就得出目标场景的全局信息熵。通过全局信息熵能够知道目标场景内包含的平均信息量。
S120，根据信息熵和强化学习算法调节局部图像采集设备的拍摄角度，以及确定目标场景内每个事件对应的发生区域的面积，并根据面积调节对应的局部图像采集设备的焦距。
其中，强化学习算法是机器学习的范式和方法论之一，用于描述和解决智能体在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题，强化学习算法可以通过强化学习模型来实现。
由于像感器阵列中包括第一个数的拍摄角度可调的局部图像采集设备，在得到了每个目标区域对应的信息熵之后，根据每个目标区域对应的信息熵的大小以及强化学习算法能够分配局部图像采集设备拍摄资源，主要是对局部图像采集设备的拍摄角度进行调节，通过调节局部图像采集设备的拍摄角度可以使得局部图像采集设备有针对性的拍摄。此外，不同目标区域发生的事件不同，并且每个事件对应的发生区域的面积也不相同，因此为了使局部图像采集设备能够准确的拍摄各目标区域内的事件，先确定目标场景内每个事件对应的发生区域的面积，然后根据每个事件对应的发生区域的面积，动态的调整对应的局部图像采集设备的焦距，以达到更好的拍摄效果。通过调节局部图像采集设备的焦距可以改变局部图像采集设备的镜头视角和拍摄背景范围。上述调节局部图像采集设备的拍摄角度以及焦距的过程通过计算机控制，不需要人为干预，因此能够达到自适应调节的效果。
其中，焦距调整公式可以表示为：
其中，S表示一个事件对应的发生区域的面积，width表示一个事件对应的发生区
域的宽，height表示一个事件对应的发生区域的高，max表示最大值，f表示对应的局部图像
采集设备的焦距，
表示标定好的标准焦距，
表示标定好的标准面积，具体的，
和
是
提前标定好的一组标准值。
S130，控制调节后的像感器阵列拍摄目标场景，并对局部图像采集设备拍摄的第一视频信息集合和全局图像采集设备拍摄的第二视频信息进行信息融合，生成目标场景的光场成像信息。
其中，光场成像信息可以理解为目标场景内发生的事件所对应的二维信息或者三维信息。
在调节好局部图像采集设备的拍摄角度以及焦距之后，控制调节后的像感器阵列拍摄目标场景能够得到局部图像采集设备拍摄的第一视频信息集合和全局图像采集设备拍摄的第二视频信息。再对第一视频信息集合和第二视频信息通过相应的算法进行信息融合，就能够生成目标场景的光场成像信息。
可选的，对局部图像采集设备拍摄的第一视频信息集合和全局图像采集设备拍摄的第二视频信息进行信息融合，可以具体包括：针对第一视频信息集合中的每个第一视频信息，基于色彩和边缘的模板匹配算法确定当前第一视频信息在第二视频信息中的对应区域，使用预设算法确定当前第一视频信息和第二视频信息的特征对应关系，根据特征对应关系确定当前第一视频信息和第二视频信息的单应性矩阵，根据单应性矩阵将当前第一视频信息融合至对应区域中。
其中，单应性矩阵可以理解为两个不同的像素间的转换矩阵。
具体的，针对第一视频信息集合中的每个第一视频信息，先将当前第一视频信息和第二视频信息作为输入，并输入至基于色彩和边缘的模板匹配算法中，可以确定当前第一视频信息在第二视频信息中的对应区域。在确定了当前第一视频信息在第二视频信息中的对应区域之后，使用预设算法，例如尺度不变特征变换算法和随机抽样一致算法结合，或者加速稳健特征算法和随机抽样一致算法结合等算法，能够确定当前第一视频信息和第二视频信息的特征对应关系。根据特征对应关系能够确定当前第一视频信息和第二视频信息这两个不同像素的视频信息间的转换矩阵，即单应性矩阵。最后在得到单应性矩阵之后，根据单应性矩阵就能够将当前第一视频信息融合至第二视频信息的对应区域中。
本发明实施例中，通过上述视频信息融合的方式，能够用局部图像采集设备拍摄的清晰度高的视频信息替代全局图像采集设备拍摄的清晰度低的视频信息，从而得到宽视场、高分辨率以及全细节的目标场景的光场成像信息。
需要说明的是，本发明实施例中局部图像采集设备的拍摄角度以及焦距的调节的方式可以为计算机脉冲控制。
本实施例提供的技术方案，首先通过像感器阵列中的全局图像采集设备采集目标场景内的全局视频数据，并根据全局视频数据确定目标场景内每个目标区域对应的信息熵，像感器阵列中还包括第一个数的拍摄角度可调的局部图像采集设备，然后根据信息熵和强化学习算法调节局部图像采集设备的拍摄角度，以及确定目标场景内每个事件对应的发生区域的面积，并根据面积调节对应的局部图像采集设备的焦距，使得局部图像采集设备能够有针对性的拍摄，最后控制调节后的像感器阵列拍摄目标场景，并对局部图像采集设备拍摄的第一视频信息集合和全局图像采集设备拍摄的第二视频信息进行信息融合，生成目标场景的光场成像信息，从而得到了宽视场、高分辨率以及全细节的目标场景的光场成像信息，有利于提高获取的光场成像信息的准确性。
实施例二
图2为本发明实施例二提供的一种自适应光场成像方法的流程图。本发明实施例是在上述实施例的基础上进行优化。可选的，本实施例对调节局部图像采集设备的拍摄角度的过程进行详细的解释说明。
参见图2，本实施例的方法包括但不限于如下步骤：
S210，通过像感器阵列中的全局图像采集设备采集目标场景内的全局视频数据，并根据全局视频数据确定目标场景内每个目标区域对应的信息熵，像感器阵列中还包括第一个数的拍摄角度可调的局部图像采集设备。
S220，获取局部图像采集设备的转动次数。
根据局部图像采集设备的转动记录能够获取到局部图像采集设备的转动次数，以便后续判断转动次数是否小于或者等于预设次数。
S230，判断转动次数是否小于或者等于预设次数。
其中，预设次数可以为预先设计好的次数，优选的可以为强化学习算法的强化学习模型训练过程中强化学习模型的训练效果较好时所对应的训练次数。
示例性的，在前期强化学习模型训练阶段，局部图像采集设备每一次基于信息熵的调节进行转动以达到拍摄角度时，将转动前的全局图像采集设备拍摄的图像帧和目标场景内每个目标区域对应的信息熵的分布图作为强化学习模型的一个输入样本，以提升后续信息融合的效果，即将提高峰值信噪比（Peak Signal to Noise Ratio，简称PSNR）指标为目标，将转动后计算得到的PSNR指标的值作为此样本的真值标签。信息熵的分布图可以为通过目标场景内每个目标区域与相对应的每个目标区域的信息熵的数值之间的对应关系所绘制的图像。强化学习模型的输出为局部图像采集设备的转动角度。其中，PSNR指标的计算方法如下所示：
其中，
表示图像点颜色的最大数值，如果每个采样点用8位表示，那么
就是255，MSE表示均方差，MSE的计算方法如下所示：
其中，
为将全局图像采集设备拍摄的全局图像帧和局部图像采集设备拍摄
的对应的局部图像帧进行信息融合后，得到的新的全局图像帧，
为没有经过信息融
合的全局图像采集设备拍摄的原全局图像帧，m表示图像尺寸中的宽度（单位为像素），n表
示图像尺寸中的高度（单位为像素）。PSNR指标表示经过信息融合后的新的全局图像帧与原
全局图像帧相比在高频细节成像质量方面清晰了多少。确定了一个输入样本和对应的真值
标签后，在局部图像采集设备每一次进行转动时就可以对强化学习模型进行训练，衡量强
化学习模型训练效果的指标即PSNR的值，PSNR的值越大，说明强化学习模型训练效果越好。
示例性的，在强化学习模型训练了一段时间（具体的训练时间可以视具体情况而定）后，即局部图像采集设备转动了T（T很大）次后，可以进行AB测试，即设定一个测试次数a，使用此时的强化学习模型将局部图像采集设备转动a次，每转动一次计算一个PSNR的值，再计算这a次转动过程的第一平均PSNR的值；使用信息熵调节局部图像采集设备的拍摄角度使局部图像采集设备同样转动a次，同样计算这a次转动过程的第二平均PSNR的值。为了平均采样，可以使用强化学习模型和信息熵调节方法穿插进行，最终计算出这两个平均PSNR的比值k，通过比值k的大小可以确定强化学习模型的训练效果，k越大，强化学习模型的训练效果越好。
若是，则执行S240；若否，则执行S250。
S240，根据信息熵调节局部图像采集设备的拍摄角度。
若转动次数小于或者等于预设次数，说明强化学习模型的训练效果较差，即强化学习模型输出的局部图像采集设备的转动角度不够准确。而信息熵与目标区域内发生的事件的概率有关，因此根据信息熵能够确定目标场景内各目标区域的拍摄顺序，从而确定局部图像采集设备的拍摄区域以调节局部图像采集设备的拍摄角度。
可选的，根据信息熵调节局部图像采集设备的拍摄角度，可以具体包括：确定目标场景内目标区域的第二个数，并根据第二个数与第一个数的大小关系以及每个目标区域对应的信息熵，调节对应的局部图像采集设备的拍摄角度。
其中，一个局部图像采集设备可以拍摄到一个或者多个目标区域，因此，局部图像采集设备可以通过调整自身的拍摄角度来对它所能拍摄到的目标区域进行拍摄。
在得到目标场景内每个目标区域对应的信息熵之后，根据信息熵的个数能够确定出目标场景内包含的目标区域的第二个数，例如用K表示（K为大于0的整数）第二个数，同时用M（M为大于0的整数）来表示第一个数。根据第二个数K和第一个数M的大小关系以及每个目标区域对应的信息熵，能够确定局部图像采集设备的拍摄区域，通过调节对应的局部图像采集设备的拍摄角度能够对相应的拍摄区域进行拍摄。
进一步的，根据第二个数与第一个数的大小关系以及每个目标区域对应的信息熵，调节对应的局部图像采集设备的拍摄角度，可以具体包括：若第二个数小于或者等于第一个数，则从第一个数的局部图像采集设备中调出第二个数的局部图像采集设备拍摄对应的目标区域，并根据目标区域调节第二个数的局部图像采集设备的拍摄角度；若第二个数大于第一个数，则根据每个目标区域对应的信息熵的大小关系对目标场景内每个目标区域进行排序，根据前N个目标区域调节相应的局部图像采集设备的拍摄角度，并通过预设方式调节局部图像采集设备的拍摄角度以拍摄剩余目标区域。
其中，N为第一个数对应的数值。预设方式可以为预先确定好的方式，也可以视具体情况而定，本发明实施例不做具体限制。
具体的，如果第二个数K小于或者等于第一个数M，说明局部图像采集设备比较充足，从M个局部图像采集设备中调出K个局部图像采集设备分别拍摄对应的目标区域就可以满足拍摄要求，此时针对K个目标区域中的每一个目标区域，根据当前目标区域所在的位置调节拍摄当前目标区域的局部图像采集设备的拍摄角度，就能够实现对当前目标区域的拍摄。相应的，剩余的局部图像采集设备可以按照目标区域的面积大小顺序对目标区域进行顺序拍摄，也可以按照目标区域对应的发生事件的先后顺序对目标区域进行顺序拍摄，本发明实施例不做具体限制。如果第二个数K大于第一个数M，说明局部图像采集设备不充足，按照每个目标区域对应的信息熵的大小关系对目标场景内每个目标区域进行排序，信息熵高的目标区域说明包含的信息量大，所以排序靠前。根据前N（N和M相等）个目标区域所在的位置调节相应的局部图像采集设备的拍摄角度，能够实现对前N个目标区域的拍摄，然后通过预设方式调节局部图像采集设备的拍摄角度以拍摄剩余目标区域。
本发明实施例中通过第二个数与第一个数的大小关系以及每个目标区域对应的信息熵，能够合理的分配局部图像采集设备的拍摄区域，以及调节局部图像采集设备的拍摄角度，从而提高了局部图像采集设备拍摄的第一视频信息集合的准确性。
更进一步的，通过预设方式调节局部图像采集设备的拍摄角度，可以具体包括：根据剩余目标区域对应的信息熵的大小关系确定剩余目标区域的拍摄顺序；针对局部图像采集设备中的每一个局部图像采集设备，如果当前局部图像采集设备的拍摄时间大于时间阈值，或者当前局部图像采集设备的拍摄角度所对应的目标区域的信息熵与拍摄角度对应的峰值信息熵的百分比小于预设阈值，则根据剩余目标区域的拍摄顺序，调节当前局部图像采集设备的拍摄角度。
其中，时间阈值和预设阈值可以是预先设计好的，也可以视具体情况而定，本发明实施例不做具体限制。拍摄角度对应的峰值信息熵可以通过拍摄角度对应的区域发生的所有历史事件的发生概率确定。
本发明实施例中通过设定时间阈值和预设阈值，当局部图像采集设备满足拍摄时间大于时间阈值，或者局部图像采集设备的拍摄角度所对应的目标区域的信息熵与拍摄角度对应的峰值信息熵的百分比小于预设阈值的条件时，调整局部图像采集设备的拍摄角度以对剩余目标区域进行拍摄，充分利用了局部图像采集设备的拍摄价值，使得每个目标区域都有相应的局部图像采集设备进行拍摄，防止有漏拍现象的发生。
S250，则根据信息熵确定局部图像采集设备的第一转动角度，根据强化学习算法确定局部图像采集设备的第二转动角度，并对第一转动角度和第二转动角度进行加权，得到目标转动角度，根据目标转动角度调节局部图像采集设备的拍摄角度。
其中，第一转动角度和第二转动角度都能够使得局部图像采集设备拍摄到对应的目标区域。目标转动角度可以理解为使得局部图像采集设备能够拍摄到对应的目标区域的最优转动角度。
若转动次数大于预设次数，说明强化学习模型的训练效果较好，即强化学习模型输出的局部图像采集设备的转动角度比较接近真实值。这时先根据信息熵确定出局部图像采集设备的第一转动角度，再根据强化学习算法确定出局部图像采集设备的第二转动角度，并对第一转动角度和第二转动角度进行加权，具体的第一转动角度和第二转动角度的加权系数可以预先设定好，也可以视具体情况而定，还可以根据强化学习模型的训练效果确定，本实施例不做具体限制。在加权之后就得到了目标转动角度，根据目标转动角度能够调节局部图像采集设备的拍摄角度。
本发明实施例中，通过信息熵调节和强化学习算法的结合，使得最终确定的局部图像采集设备的拍摄角度更准确，从而在后续控制调节后的像感器阵列拍摄目标场景时得到的视频信息也更准确，有利于生成高清的目标场景的光场成像信息。
需要说明的是：在S240之后执行S260-S270，在S250之后也执行S260-S270。
S260，确定目标场景内每个事件对应的发生区域的面积，并根据面积调节对应的局部图像采集设备的焦距。
S270，控制调节后的像感器阵列拍摄目标场景，并对局部图像采集设备拍摄的第一视频信息集合和全局图像采集设备拍摄的第二视频信息进行信息融合，生成目标场景的光场成像信息。
进一步的，上述方法还可以具体包括：确定目标场景内需要三维重建的事件所对应的事件发生区域，根据需要三维重建的事件对应的精度等级确定所需的局部图像采集设备的第三个数，其中，第三个数对应的数值为精度等级对应的数值，且精度等级小于或者等于第一个数；控制第三个数的局部图像采集设备和全局图像采集设备拍摄事件发生区域，得到第三个数的局部图像采集设备拍摄的第三视频信息集合以及全局图像采集设备拍摄的第四视频信息；根据第三视频信息集合和第四视频信息确定每个第三视频信息与第四视频信息的特征对应关系；基于特征对应关系以及预设重建方法确定事件发生区域的三维模型。
其中，预设重建方法可以为多视角几何重建方法，例如COLMAP、MVSNet或者OpenMVS等，本发明实施例不做具体限制。
具体的，在根据第三视频信息集合和第四视频信息确定每个第三视频信息与第四视频信息的特征对应关系之后，基于对极几何能够分别获取每一个局部图像采集设备和全局图像采集设备对应的外参矩阵，外参矩阵的个数与第三个数相等，其中，对极几何是对二幅图像而言，实际上是两幅图像之间的几何关系。通过对应的外参矩阵，再结合预设重建方法能够确定事件发生区域的三维模型。
本发明实施例中，通过先确定需要三维重建的事件所需的局部图像采集设备的第三个数，然后控制第三个数的局部图像采集设备和全局图像采集设备同时拍摄事件发生区域，并根据局部图像采集设备拍摄的第三视频信息集合和全局图像采集设备拍摄的第四视频信息确定每个第三视频信息与第四视频信息的特征对应关系，最后基于特征对应关系以及相应的重建方法确定事件发生区域的三维模型，有利于后续对通过该三维模型进一步研究事件发生区域的相关信息。
本实施例提供的技术方案，首先通过像感器阵列中的全局图像采集设备采集目标场景内的全局视频数据，并根据全局视频数据确定目标场景内每个目标区域对应的信息熵，像感器阵列中还包括第一个数的拍摄角度可调的局部图像采集设备，接着获取局部图像采集设备的转动次数，判断转动次数是否小于或者等于预设次数，若转动次数小于或者等于预设次数，则根据信息熵调节局部图像采集设备的拍摄角度，若转动次数大于预设次数，则根据信息熵确定局部图像采集设备的第一转动角度，根据强化学习算法确定局部图像采集设备的第二转动角度，并对第一转动角度和第二转动角度进行加权，得到目标转动角度，根据目标转动角度调节局部图像采集设备的拍摄角度，然后确定目标场景内每个事件对应的发生区域的面积，并根据面积调节对应的局部图像采集设备的焦距，最后控制调节后的像感器阵列拍摄目标场景，并对局部图像采集设备拍摄的第一视频信息集合和全局图像采集设备拍摄的第二视频信息进行信息融合，生成目标场景的光场成像信息，通过合理分配局部图像采集设备的拍摄区域，并调节对应的局部图像采集设备的焦距，使得局部图像采集设备拍摄的第一视频信息集合更准确，同时通过视频信息的融合能够获取宽视场和高分辨率的实时光场成像信息，有利于提高获取的光场成像信息的准确性。
实施例三
图3为本发明实施例三提供的一种自适应光场成像装置的结构示意图，如图3所示，该装置可以包括：
确定模块310，用于通过像感器阵列中的全局图像采集设备采集目标场景内的全局视频数据，并根据所述全局视频数据确定所述目标场景内每个目标区域对应的信息熵，其中，所述像感器阵列中还包括第一个数的拍摄角度可调的局部图像采集设备；
调节模块320，用于根据所述信息熵和强化学习算法调节所述局部图像采集设备的拍摄角度，以及确定所述目标场景内每个事件对应的发生区域的面积，并根据所述面积调节对应的局部图像采集设备的焦距；
生成模块330，用于控制所述调节后的像感器阵列拍摄所述目标场景，并对所述局部图像采集设备拍摄的第一视频信息集合和所述全局图像采集设备拍摄的第二视频信息进行信息融合，生成所述目标场景的光场成像信息。
本实施例提供的技术方案，首先通过像感器阵列中的全局图像采集设备采集目标场景内的全局视频数据，并根据全局视频数据确定目标场景内每个目标区域对应的信息熵，像感器阵列中还包括第一个数的拍摄角度可调的局部图像采集设备，然后根据信息熵和强化学习算法调节局部图像采集设备的拍摄角度，以及确定目标场景内每个事件对应的发生区域的面积，并根据面积调节对应的局部图像采集设备的焦距，最后控制调节后的像感器阵列拍摄目标场景，并对局部图像采集设备拍摄的第一视频信息集合和全局图像采集设备拍摄的第二视频信息进行信息融合，生成目标场景的光场成像信息，能够同时获取宽视场和高分辨率的实时光场成像信息，有利于提高获取的光场成像信息的准确性。
进一步的，上述确定模块310，可以具体用于：根据全局视频数据，通过事件检测算法得到目标场景内发生的所有事件对应的目标区域，并确定各目标区域内每个事件发生的概率，其中，目标区域内至少有一个事件发生；根据各目标区域内每个事件发生的概率，确定目标场景内每个目标区域对应的信息熵。
进一步的，上述调节模块320，可以包括：次数获取单元，用于获取局部图像采集设备的转动次数；判断单元，用于判断转动次数是否小于或者等于预设次数；第一调节单元，用于若转动次数小于或者等于预设次数，则根据信息熵调节局部图像采集设备的拍摄角度；第二调节单元，用于若转动次数大于预设次数，则根据信息熵确定局部图像采集设备的第一转动角度，根据强化学习算法确定局部图像采集设备的第二转动角度，并对第一转动角度和第二转动角度进行加权，得到目标转动角度，根据目标转动角度调节局部图像采集设备的拍摄角度。
进一步的，上述第一调节单元，可以具体用于确定目标场景内目标区域的第二个数，并根据第二个数与第一个数的大小关系以及每个目标区域对应的信息熵，调节对应的局部图像采集设备的拍摄角度。
进一步的，根据第二个数与第一个数的大小关系以及每个目标区域对应的信息熵，调节对应的局部图像采集设备的拍摄角度，包括：若第二个数小于或者等于第一个数，则从第一个数的局部图像采集设备中调出第二个数的局部图像采集设备拍摄对应的目标区域，并根据目标区域调节第二个数的局部图像采集设备的拍摄角度；若第二个数大于第一个数，则根据每个目标区域对应的信息熵的大小关系对目标场景内每个目标区域进行排序，根据前N个目标区域调节相应的局部图像采集设备的拍摄角度，并通过预设方式调节局部图像采集设备的拍摄角度以拍摄剩余目标区域，其中N为第一个数对应的数值。
进一步的，通过预设方式调节局部图像采集设备的拍摄角度，包括：根据剩余目标区域对应的信息熵的大小关系确定剩余目标区域的拍摄顺序；针对局部图像采集设备中的每一个局部图像采集设备，如果当前局部图像采集设备的拍摄时间大于时间阈值，或者当前局部图像采集设备的拍摄角度所对应的目标区域的信息熵与拍摄角度对应的峰值信息熵的百分比小于预设阈值，则根据剩余目标区域的拍摄顺序，调节当前局部图像采集设备的拍摄角度。
进一步的，生成模块330，可以具体用于：针对第一视频信息集合中的每个第一视频信息，基于色彩和边缘的模板匹配算法确定当前第一视频信息在第二视频信息中的对应区域，使用预设算法确定当前第一视频信息和第二视频信息的特征对应关系，根据特征对应关系确定当前第一视频信息和第二视频信息的单应性矩阵，根据单应性矩阵将当前第一视频信息融合至对应区域中。
进一步的，上述自适应光场成像装置，还可以包括：三维模型确定模块，用于确定目标场景内需要三维重建的事件所对应的事件发生区域，根据需要三维重建的事件对应的精度等级确定所需的局部图像采集设备的第三个数，其中，第三个数对应的数值为精度等级对应的数值，且精度等级小于或者等于第一个数；控制第三个数的局部图像采集设备和全局图像采集设备拍摄事件发生区域，得到第三个数的局部图像采集设备拍摄的第三视频信息集合以及全局图像采集设备拍摄的第四视频信息；根据第三视频信息集合和第四视频信息确定每个第三视频信息与第四视频信息的特征对应关系；基于特征对应关系以及预设重建方法确定事件发生区域的三维模型。
本实施例提供的自适应光场成像装置可适用于上述任意实施例提供的自适应光场成像方法，具备相应的功能和有益效果。
实施例四
图4为本发明实施例四提供的一种计算机设备的结构示意图，如图4所示，该计算机设备包括处理器410、存储器420和像感器阵列430，像感器阵列430包括全局图像采集设备4301和局部图像采集设备4302；计算机设备中处理器410的数量可以是一个或多个，图4中以一个处理器410为例；计算机设备中局部图像采集设备4302的数量为第一个数对应的数值，可以是一个或多个，图4中以一个局部图像采集设备4302为例；计算机设备中的处理器410、存储器420和像感器阵列430可以通过总线或其他方式连接，全局图像采集设备4301和局部图像采集设备4302可以通过总线或其他方式连接，图4中以通过总线连接为例。
存储器420作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的自适应光场成像方法对应的模块（例如，用于自适应光场成像装置中的确定模块310、调节模块320和生成模块330）。处理器410通过运行存储在存储器420中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述的自适应光场成像方法。
存储器420可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器420可进一步包括相对于处理器410远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
像感器阵列430，用于采集视频数据；全局图像采集设备4301，位于像感器阵列430中，用于采集全局视频数据；局部图像采集设备4302，位于像感器阵列430中，用于采集局部视频数据。
本实施例提供的一种计算机设备可用于执行上述任意实施例提供的自适应光场成像方法，具备相应的功能和有益效果。
实施例五
本发明实施例五还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例中的自适应光场成像方法，该方法具体包括：
通过像感器阵列中的全局图像采集设备采集目标场景内的全局视频数据，并根据全局视频数据确定目标场景内每个目标区域对应的信息熵，其中，像感器阵列中还包括第一个数的拍摄角度可调的局部图像采集设备；
根据信息熵和强化学习算法调节局部图像采集设备的拍摄角度，以及确定目标场景内每个事件对应的发生区域的面积，并根据面积调节对应的局部图像采集设备的焦距；
控制调节后的像感器阵列拍摄目标场景，并对局部图像采集设备拍摄的第一视频信息集合和全局图像采集设备拍摄的第二视频信息进行信息融合，生成目标场景的光场成像信息。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的自适应光场成像方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器（Read-Only Memory，ROM）、随机存取存储器（RandomAccess Memory，RAM）、闪存（FLASH）、硬盘或光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器或者网络设备等）执行本发明各个实施例所述的方法。
值得注意的是，上述自适应光场成像装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种自适应光场成像方法，其特征在于，包括：
通过像感器阵列中的全局图像采集设备采集目标场景内的全局视频数据，并根据所述全局视频数据确定所述目标场景内每个目标区域对应的信息熵，其中，所述像感器阵列中还包括第一个数的拍摄角度可调的局部图像采集设备；
根据所述信息熵和强化学习算法调节所述局部图像采集设备的拍摄角度，以及确定所述目标场景内每个事件对应的发生区域的面积，并根据所述面积调节对应的局部图像采集设备的焦距；
控制所述调节后的像感器阵列拍摄所述目标场景，并对所述局部图像采集设备拍摄的第一视频信息集合和所述全局图像采集设备拍摄的第二视频信息进行信息融合，生成所述目标场景的光场成像信息；
所述根据所述信息熵和强化学习算法调节所述局部图像采集设备的拍摄角度，包括：
获取所述局部图像采集设备的转动次数；
判断所述转动次数是否小于或者等于预设次数；
若是，则根据所述信息熵调节所述局部图像采集设备的拍摄角度；
若否，则根据所述信息熵确定所述局部图像采集设备的第一转动角度，根据强化学习算法确定所述局部图像采集设备的第二转动角度，并对所述第一转动角度和所述第二转动角度进行加权，得到目标转动角度，根据所述目标转动角度调节所述局部图像采集设备的拍摄角度；
所述根据所述信息熵调节所述局部图像采集设备的拍摄角度，包括：
确定所述目标场景内目标区域的第二个数，并根据所述第二个数与所述第一个数的大小关系以及所述每个目标区域对应的信息熵，调节对应的局部图像采集设备的拍摄角度。
2.根据权利要求1所述的方法，其特征在于，所述根据所述全局视频数据确定所述目标场景内每个目标区域对应的信息熵，包括：
根据所述全局视频数据，通过事件检测算法确定所述目标场景内发生的所有事件对应的目标区域，并确定各目标区域内每个事件发生的概率，其中，所述目标区域内至少有一个事件发生；
根据所述各目标区域内每个事件发生的概率，确定所述目标场景内每个目标区域对应的信息熵。
3.根据权利要求1所述的方法，其特征在于，所述根据所述第二个数与所述第一个数的大小关系以及所述每个目标区域对应的信息熵，调节对应的局部图像采集设备的拍摄角度，包括：
若所述第二个数小于或者等于所述第一个数，则从第一个数的局部图像采集设备中调出第二个数的局部图像采集设备拍摄对应的目标区域，并根据所述目标区域调节所述第二个数的局部图像采集设备的拍摄角度；
若所述第二个数大于所述第一个数，则根据所述每个目标区域对应的信息熵的大小关系对所述目标场景内每个目标区域进行排序，根据前N个目标区域调节相应的局部图像采集设备的拍摄角度，并通过预设方式调节所述局部图像采集设备的拍摄角度以拍摄剩余目标区域，其中N为所述第一个数对应的数值。
4.根据权利要求3所述的方法，其特征在于，所述通过预设方式调节所述局部图像采集设备的拍摄角度，包括：
根据剩余目标区域对应的信息熵的大小关系确定所述剩余目标区域的拍摄顺序；
针对所述局部图像采集设备中的每一个局部图像采集设备，如果当前局部图像采集设备的拍摄时间大于时间阈值，或者所述当前局部图像采集设备的拍摄角度所对应的目标区域的信息熵与所述拍摄角度对应的峰值信息熵的百分比小于预设阈值，则根据所述剩余目标区域的拍摄顺序，调节所述当前局部图像采集设备的拍摄角度。
5.根据权利要求1所述的方法，其特征在于，所述对所述局部图像采集设备拍摄的第一视频信息集合和所述全局图像采集设备拍摄的第二视频信息进行信息融合，包括：
针对所述第一视频信息集合中的每个第一视频信息，基于色彩和边缘的模板匹配算法确定当前第一视频信息在所述第二视频信息中的对应区域，使用预设算法确定所述当前第一视频信息和所述第二视频信息的特征对应关系，根据所述特征对应关系确定所述当前第一视频信息和所述第二视频信息的单应性矩阵，根据所述单应性矩阵将所述当前第一视频信息融合至所述对应区域中。
6.根据权利要求5所述的方法，其特征在于，还包括：
确定所述目标场景内需要三维重建的事件所对应的事件发生区域，根据所述需要三维重建的事件对应的精度等级确定所需的局部图像采集设备的第三个数，其中，所述第三个数对应的数值为所述精度等级对应的数值，且所述精度等级小于或者等于所述第一个数；
控制所述第三个数的局部图像采集设备和所述全局图像采集设备拍摄所述事件发生区域，得到所述第三个数的局部图像采集设备拍摄的第三视频信息集合以及所述全局图像采集设备拍摄的第四视频信息；
根据所述第三视频信息集合和所述第四视频信息确定每个第三视频信息与所述第四视频信息的特征对应关系；
基于所述特征对应关系以及预设重建方法确定所述事件发生区域的三维模型。
7.一种自适应光场成像装置，其特征在于，包括：
确定模块，用于通过像感器阵列中的全局图像采集设备采集目标场景内的全局视频数据，并根据所述全局视频数据确定所述目标场景内每个目标区域对应的信息熵，其中，所述像感器阵列中还包括第一个数的拍摄角度可调的局部图像采集设备；
调节模块，用于根据所述信息熵和强化学习算法调节所述局部图像采集设备的拍摄角度，以及确定所述目标场景内每个事件对应的发生区域的面积，并根据所述面积调节对应的局部图像采集设备的焦距；
生成模块，用于控制所述调节后的像感器阵列拍摄所述目标场景，并对所述局部图像采集设备拍摄的第一视频信息集合和所述全局图像采集设备拍摄的第二视频信息进行信息融合，生成所述目标场景的光场成像信息；
所述调节模块，包括：次数获取单元，用于获取所述局部图像采集设备的转动次数；判断单元，用于判断所述转动次数是否小于或者等于预设次数；第一调节单元，用于若所述转动次数小于或者等于所述预设次数，则根据所述信息熵调节所述局部图像采集设备的拍摄角度；第二调节单元，用于若所述转动次数大于所述预设次数，则根据所述信息熵确定所述局部图像采集设备的第一转动角度，根据强化学习算法确定所述局部图像采集设备的第二转动角度，并对所述第一转动角度和所述第二转动角度进行加权，得到目标转动角度，根据所述目标转动角度调节所述局部图像采集设备的拍摄角度；
所述第一调节单元，用于确定所述目标场景内目标区域的第二个数，并根据所述第二个数与所述第一个数的大小关系以及所述每个目标区域对应的信息熵，调节对应的局部图像采集设备的拍摄角度。
8.一种计算机设备，其特征在于，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
像感器阵列，用于采集视频数据；
全局图像采集设备，位于所述像感器阵列中，用于采集全局视频数据；
局部图像采集设备，位于所述像感器阵列中，用于采集局部视频数据；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的自适应光场成像方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110039406.0A CN112367474B (zh) | 2021-01-13 | 2021-01-13 | 一种自适应光场成像方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110039406.0A CN112367474B (zh) | 2021-01-13 | 2021-01-13 | 一种自适应光场成像方法、装置及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112367474A CN112367474A (zh) | 2021-02-12 |
| CN112367474B true CN112367474B (zh) | 2021-04-20 |
Family
ID=74534878
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110039406.0A Active CN112367474B (zh) | 2021-01-13 | 2021-01-13 | 一种自适应光场成像方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112367474B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112819937B (zh) * | 2021-04-19 | 2021-07-06 | 清华大学 | 一种自适应多对象光场三维重建方法、装置及设备 |
| CN114187724B (zh) * | 2021-12-01 | 2022-07-12 | 北京拙河科技有限公司 | 一种基于亿级像素相机的目标区域安防与监控系统 |
| CN114157814B (zh) * | 2022-02-09 | 2022-06-10 | 荣耀终端有限公司 | 一种光场照片的显示方法、终端及存储介质 |
| CN114612613B (zh) * | 2022-03-07 | 2022-11-29 | 北京拙河科技有限公司 | 动态光场重建方法及系统 |
| CN114638771B (zh) * | 2022-03-11 | 2022-11-29 | 北京拙河科技有限公司 | 基于混合模型的视频融合方法及系统 |
| CN115223028B (zh) * | 2022-06-02 | 2024-03-29 | 支付宝(杭州)信息技术有限公司 | 场景重建及模型训练方法、装置、设备、介质及程序产品 |
| CN115103125B (zh) * | 2022-07-13 | 2023-05-12 | 北京拙河科技有限公司 | 导播方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102169576A (zh) * | 2011-04-02 | 2011-08-31 | 北京理工大学 | 一种图像拼接算法定量评价方法 |
| CN108038893A (zh) * | 2017-12-06 | 2018-05-15 | 深圳市未来媒体技术研究院 | 一种基于混合相机阵列的十亿像素视频的生成方法 |
| CN108347557A (zh) * | 2017-01-21 | 2018-07-31 | 盯盯拍（东莞）视觉设备有限公司 | 全景图像拍摄装置、显示装置、拍摄方法以及显示方法 |
| CN112150399A (zh) * | 2020-09-27 | 2020-12-29 | 安谋科技（中国）有限公司 | 基于宽动态范围的图像增强方法及电子设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7973834B2 (en) * | 2007-09-24 | 2011-07-05 | Jianwen Yang | Electro-optical foveated imaging and tracking system |
-
2021
- 2021-01-13 CN CN202110039406.0A patent/CN112367474B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102169576A (zh) * | 2011-04-02 | 2011-08-31 | 北京理工大学 | 一种图像拼接算法定量评价方法 |
| CN108347557A (zh) * | 2017-01-21 | 2018-07-31 | 盯盯拍（东莞）视觉设备有限公司 | 全景图像拍摄装置、显示装置、拍摄方法以及显示方法 |
| CN108038893A (zh) * | 2017-12-06 | 2018-05-15 | 深圳市未来媒体技术研究院 | 一种基于混合相机阵列的十亿像素视频的生成方法 |
| CN112150399A (zh) * | 2020-09-27 | 2020-12-29 | 安谋科技（中国）有限公司 | 基于宽动态范围的图像增强方法及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112367474A (zh) | 2021-02-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112367474B (zh) | 一种自适应光场成像方法、装置及设备 | |
| CN110692083B (zh) | 用于动态视觉传感器的块匹配光流和立体视觉 | |
| US10205896B2 (en) | Automatic lens flare detection and correction for light-field images | |
| CN105721853B (zh) | 生成图像捕获指令的方法、系统和计算机可读存储设备 | |
| US9019426B2 (en) | Method of generating image data by an image device including a plurality of lenses and apparatus for generating image data | |
| CN108833785B (zh) | 多视角图像的融合方法、装置、计算机设备和存储介质 | |
| EP3496383A1 (en) | Image processing method, apparatus and device | |
| WO2017113048A1 (zh) | 一种图像融合方法、装置及终端设备 | |
| CN111815707A (zh) | 点云确定方法、点云筛选方法、装置、计算机设备 | |
| CN108600638B (zh) | 摄像机自动调焦系统及方法 | |
| CN112927279A (zh) | 一种图像深度信息生成方法、设备及存储介质 | |
| CN110659658B (zh) | 一种目标检测方法及其装置 | |
| CN108596032B (zh) | 一种视频中打架行为检测方法、装置、设备及介质 | |
| CN115082450A (zh) | 基于深度学习网络的路面裂缝检测方法和系统 | |
| US11967096B2 (en) | Methods and apparatuses of depth estimation from focus information | |
| CN114782507B (zh) | 一种基于无监督学习的非对称双目立体匹配方法及系统 | |
| CN110120012B (zh) | 基于双目摄像头的同步关键帧提取的视频拼接方法 | |
| CN113781375A (zh) | 一种基于多曝光融合的车载视觉增强方法 | |
| CN112529943B (zh) | 一种物体检测方法、物体检测装置及智能设备 | |
| CN115311336A (zh) | 多相机的图像配准方法、装置、设备及存储介质 | |
| CN110930344B (zh) | 一种目标的质量确定方法、装置、系统及电子设备 | |
| CN114638748A (zh) | 图像处理方法、图像修复方法、计算机设备、存储介质 | |
| CN102760296B (zh) | 多画面中物体的移动分析方法 | |
| GB2533449B (en) | Configuration settings of a digital camera for depth map generation | |
| CN109146966A (zh) | 视觉slam前端处理方法、系统、存储介质及计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |