CN110086994A - 一种基于相机阵列的全景光场的综合系统 - Google Patents

一种基于相机阵列的全景光场的综合系统 Download PDF

Info

Publication number
CN110086994A
CN110086994A CN201910398468.3A CN201910398468A CN110086994A CN 110086994 A CN110086994 A CN 110086994A CN 201910398468 A CN201910398468 A CN 201910398468A CN 110086994 A CN110086994 A CN 110086994A
Authority
CN
China
Prior art keywords
image
light field
camera
global
focusing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910398468.3A
Other languages
English (en)
Inventor
马万涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningxia Media Technology Co Ltd
Original Assignee
Ningxia Media Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningxia Media Technology Co Ltd filed Critical Ningxia Media Technology Co Ltd
Priority to CN201910398468.3A priority Critical patent/CN110086994A/zh
Publication of CN110086994A publication Critical patent/CN110086994A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Abstract

本发明公开了一种基于相机阵列的全景光场的综合系统，包括阵列相机、控制处理平台、图像处理单元、对焦处理单元、储存介质、电子处理设备，相机阵列包括至少十六个局部相机、一个全局相机、一个全局光场相机，本发明的有益效果：本发明通过将高分辨率的光场图像合起来，从而可得到高分辨率光场视频，在处理光照图像的过程中通过对焦单元依据该原始光场影像的影像内容以在产生该对焦影像前预先判定该对焦影像中像素是否需要进行对焦处理，以节省不必要的对焦运算时间，进而提升整体的处理速度，从而使得该系统可快速对焦获得高分辨率光场视频。

Description

一种基于相机阵列的全景光场的综合系统
技术领域：
本发明属于成像处理技术领域，特别涉及一种基于相机阵列的全景光场的综合系统。
背景技术：
阵列式相机，就是用多个小镜头来代替一个大镜头的拍摄效果，其原理和阵列式天文望远镜及昆虫的复眼类似。相比于传统的相机来说，阵列式相机的视野更广，拍出的照片也更大，同时其体积更小，所谓光场，就是指光在每一个方向通过每一个点的光量。光场是一种先进的捕捉，拼接和渲染算法。通过为静态捕捉图像生成运动视差和非常逼真的纹理和光照，使用光场技术，可以让虚拟现实原型机得以模拟出像人类的眼睛那样，可以基于距离对物体进行聚焦的效果，但是由于目前聚焦速度上的限制，对焦速度较慢，同时光场视频的像素不高也是目前需要解决的问题。
发明内容：
本发明的目的就在于为了解决上述问题而提供一种基于相机阵列的全景光场的综合系统，解决了目前现有的问题。
为了解决上述问题，本发明提供了一种技术方案：
一种基于相机阵列的全景光场的综合系统，包括阵列相机、控制处理平台、图像处理单元、对焦处理单元、储存介质、电子处理设备。
作为优选，所述相机阵列包括至少十六个局部相机、一个全局相机、一个全局光场相机。
作为优选，所述对焦处理单元包括以下步骤S1至S5：
S1、接收原始光场影像；
S2、根据原始光场影像产生特征影像；
S3、从该原始光场影像产生原始对焦影像；
S4、指定该原始光场影像中的对焦位置；
S5、依据该对焦位置计算并更新该原始对焦影像之像素值，进而产生重对焦影像。
作为优选，所述图像处理单元包括以下步骤S1至S4：
S1、块匹配：采用块匹配算法找到每个局部图像在所述全局参考图像中的对应块；
S2、变换和配准：将每个局部图像变换到所述全局参考图像中的对应块上，并对每个局部图像和其对应块进行图像配准，以获得所述预定场景的全局高分辨率图像；
S3、图像超分辨：对低分辨率的全局光场图像进行放大设定倍数的上采样，得到采样后低分辨率光场图像，对所述采样后低分辨率光场图像进行傅里叶变换，得到第一频谱图像，将所述第一频谱图像进行低通滤波；以及对所述全局高分辨率图像进行高通滤波，得到第二频谱图像；
S4、融合恢复：将经低通滤波的第一频谱图像与所述第二频谱图像线性相加后进行傅里叶逆变换，得到全局高分辨率光场图像。
作为优选，所述十六个局部相机均匀圆周排布，每两个局部相机之间的夹角为22.5°。
作为优选，所述全局光场相机以及所述多个局部相机同步地分别获取预定场景的全局低分辨率参考视频、全局低分辨率光场视频以及多个不同局部的高分辨率视频，并存储于所述存储介质中。
作为优选，所述储存介质包括计算机程序，所述计算机程序被处理器加载执行时，实现对焦处理以及图像处理中的流量存储。
作为优选，所述电子处理设备包括处理器，所述处理器用于加载执行所述计算机程序，以使所述电子设备执行实现对焦处理操作以及图像处理操作。
作为优选，所述局部相机均匀安装在控制处理平台上，所述控制处理平台包括遥控触发器、用于局部相机和闪光灯的同步控制器、USB集线器、交换机和集成电源系统，同时也包含有伺服电机和滑台，滑台可控制局部电相机的水平移动。
本发明的有益效果：本发明通过将高分辨率的光场图像合起来，从而可得到高分辨率光场视频，在处理光照图像的过程中通过对焦单元依据该原始光场影像的影像内容以在产生该对焦影像前预先判定该对焦影像中像素是否需要进行对焦处理，以节省不必要的对焦运算时间，进而提升整体的处理速度，从而使得该系统可快速对焦获得高分辨率光场视频。
附图说明：
为了易于说明，本发明由下述的具体实施及附图作以详细描述。
图1是阵列相机立体全景拼接径向设计的硬件结构示意图；
图2是立体全景拼接算法流程示意图；
图3是本发明的视频成像综合系统的工作流程示意图。
具体实施方式：
如图1-3所示，本具体实施方式采用以下技术方案：一种基于相机阵列的全景光场的综合系统，包括阵列相机、控制处理平台、图像处理单元、对焦处理单元、储存介质、电子处理设备。
其中，所述相机阵列包括至少十六个局部相机、一个全局相机、一个全局光场相机。
其中，所述对焦处理单元包括以下步骤S1至S5：
S1、接收原始光场影像；
S2、根据原始光场影像产生特征影像；
S3、从该原始光场影像产生原始对焦影像；
S4、指定该原始光场影像中的对焦位置；
S5、依据该对焦位置计算并更新该原始对焦影像之像素值，进而产生重对焦影像。
其中，所述图像处理单元包括以下步骤S1至S4：
S1、块匹配：采用块匹配算法找到每个局部图像在所述全局参考图像中的对应块；
S2、变换和配准：将每个局部图像变换到所述全局参考图像中的对应块上，并对每个局部图像和其对应块进行图像配准，以获得所述预定场景的全局高分辨率图像；
S3、图像超分辨：对低分辨率的全局光场图像进行放大设定倍数的上采样，得到采样后低分辨率光场图像，对所述采样后低分辨率光场图像进行傅里叶变换，得到第一频谱图像，将所述第一频谱图像进行低通滤波；以及对所述全局高分辨率图像进行高通滤波，得到第二频谱图像；
S4、融合恢复：将经低通滤波的第一频谱图像与所述第二频谱图像线性相加后进行傅里叶逆变换，得到全局高分辨率光场图像。
其中，所述十六个局部相机均匀圆周排布，每两个局部相机之间的夹角为22.5°。
其中，所述全局光场相机以及所述多个局部相机同步地分别获取预定场景的全局低分辨率参考视频、全局低分辨率光场视频以及多个不同局部的高分辨率视频，并存储于所述存储介质中。
其中，所述储存介质包括计算机程序，所述计算机程序被处理器加载执行时，实现对焦处理以及图像处理中的流量存储。
其中，所述电子处理设备包括处理器，所述处理器用于加载执行所述计算机程序，以使所述电子设备执行实现对焦处理操作以及图像处理操作。
其中，所述局部相机均匀安装在控制处理平台上，所述控制处理平台包括遥控触发器、用于局部相机和闪光灯的同步控制器、USB集线器、交换机和集成电源系统，同时也包含有伺服电机和滑台，滑台可控制局部电相机的水平移动，调节不同局部相机的远近距离。
本发明通过将高分辨率的光场图像合起来，从而可得到高分辨率光场视频，在处理光照图像的过程中通过对焦单元依据该原始光场影像的影像内容以在产生该对焦影像前预先判定该对焦影像中像素是否需要进行对焦处理，以节省不必要的对焦运算时间，进而提升整体的处理速度，从而使得该系统可快速对焦获得高分辨率光场视频。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点，本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内，本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (9)

1.一种基于相机阵列的全景光场的综合系统，其特征在于:包括阵列相机、控制处理平台、图像处理单元、对焦处理单元、储存介质、电子处理设备。
2.根据权利要求1所述的一种基于相机阵列的全景光场的综合系统，其特征在于：所述相机阵列包括至少十六个局部相机、一个全局相机、一个全局光场相机。
3.根据权利要求3所述的一种基于相机阵列的全景光场的综合系统，其特征在于：所述对焦处理单元包括以下步骤S1至S5：
S1、接收原始光场影像；
S2、根据原始光场影像产生特征影像；
S3、从该原始光场影像产生原始对焦影像；
S4、指定该原始光场影像中的对焦位置；
S5、依据该对焦位置计算并更新该原始对焦影像之像素值，进而产生重对焦影像。
4.根据权利要求2所述的一种基于相机阵列的全景光场的综合系统，其特征在于：所述图像处理单元包括以下步骤S1至S4：
S1、块匹配：采用块匹配算法找到每个局部图像在所述全局参考图像中的对应块；
S2、变换和配准：将每个局部图像变换到所述全局参考图像中的对应块上，并对每个局部图像和其对应块进行图像配准，以获得所述预定场景的全局高分辨率图像；
S3、图像超分辨：对低分辨率的全局光场图像进行放大设定倍数的上采样，得到采样后低分辨率光场图像，对所述采样后低分辨率光场图像进行傅里叶变换，得到第一频谱图像，将所述第一频谱图像进行低通滤波；以及对所述全局高分辨率图像进行高通滤波，得到第二频谱图像；
S4、融合恢复：将经低通滤波的第一频谱图像与所述第二频谱图像线性相加后进行傅里叶逆变换，得到全局高分辨率光场图像。
5.根据权利要求2所述的一种基于相机阵列的全景光场的综合系统，其特征在于：所述十六个局部相机均匀圆周排布，每两个局部相机之间的夹角为22.5°。
6.根据权利要求2所述的一种基于相机阵列的全景光场的综合系统，其特征在于：所述全局光场相机以及所述多个局部相机同步地分别获取预定场景的全局低分辨率参考视频、全局低分辨率光场视频以及多个不同局部的高分辨率视频，并存储于所述存储介质中。
7.根据权利要求1所述的一种基于相机阵列的全景光场的综合系统，其特征在于：所述储存介质包括计算机程序，所述计算机程序被处理器加载执行时，实现对焦处理以及图像处理中的流量存储。
8.根据权利要求1所述的一种基于相机阵列的全景光场的综合系统，其特征在于：所述电子处理设备包括处理器，所述处理器用于加载执行所述计算机程序，以使所述电子设备执行实现对焦处理操作以及图像处理操作。
9.根据权利要求1所述的一种基于相机阵列的全景光场的综合系统，其特征在于：所述局部相机均匀安装在控制处理平台上，所述控制处理平台包括遥控触发器、用于局部相机和闪光灯的同步控制器、USB集线器、交换机和集成电源系统，同时也包含有伺服电机和滑台，滑台可控制局部电相机的水平移动。
CN201910398468.3A 2019-05-14 2019-05-14 一种基于相机阵列的全景光场的综合系统 Pending CN110086994A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910398468.3A CN110086994A (zh) 2019-05-14 2019-05-14 一种基于相机阵列的全景光场的综合系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910398468.3A CN110086994A (zh) 2019-05-14 2019-05-14 一种基于相机阵列的全景光场的综合系统

Publications (1)

Publication Number Publication Date
CN110086994A true CN110086994A (zh) 2019-08-02

Family

ID=67420080

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910398468.3A Pending CN110086994A (zh) 2019-05-14 2019-05-14 一种基于相机阵列的全景光场的综合系统

Country Status (1)

Country Link
CN (1) CN110086994A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111225221A (zh) * 2020-01-15 2020-06-02 未来新视界文化科技(嘉善)有限公司 全景视频图像处理方法和装置
CN115103125A (zh) * 2022-07-13 2022-09-23 北京拙河科技有限公司 导播方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140347548A1 (en) * 2013-05-21 2014-11-27 National Taiwan University Method and system for rendering an image from a light-field camera
JP2017050819A (ja) * 2015-09-04 2017-03-09 Kddi株式会社 パノラマ画像データの生成装置、生成方法及びプログラム
CN107450265A (zh) * 2017-01-24 2017-12-08 叠境数字科技（上海）有限公司 光场全景相机
CN107959805A (zh) * 2017-12-04 2018-04-24 深圳市未来媒体技术研究院 基于混合相机阵列的光场视频成像系统及视频处理方法
CN208572260U (zh) * 2018-08-06 2019-03-01 四川省广播电视科研所 一种全景摄像系统相机阵列结构

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140347548A1 (en) * 2013-05-21 2014-11-27 National Taiwan University Method and system for rendering an image from a light-field camera
JP2017050819A (ja) * 2015-09-04 2017-03-09 Kddi株式会社 パノラマ画像データの生成装置、生成方法及びプログラム
CN107450265A (zh) * 2017-01-24 2017-12-08 叠境数字科技（上海）有限公司 光场全景相机
CN107959805A (zh) * 2017-12-04 2018-04-24 深圳市未来媒体技术研究院 基于混合相机阵列的光场视频成像系统及视频处理方法
CN208572260U (zh) * 2018-08-06 2019-03-01 四川省广播电视科研所 一种全景摄像系统相机阵列结构

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111225221A (zh) * 2020-01-15 2020-06-02 未来新视界文化科技(嘉善)有限公司 全景视频图像处理方法和装置
CN111225221B (zh) * 2020-01-15 2021-12-14 未来新视界文化科技(嘉善)有限公司 全景视频图像处理方法和装置
CN115103125A (zh) * 2022-07-13 2022-09-23 北京拙河科技有限公司 导播方法及装置

Similar Documents

Publication Publication Date Title
JP5871862B2 (ja) ３ｄ深度情報に基づいたイメージぼかし
CN104980644B (zh) 一种拍摄方法及装置
KR102013978B1 (ko) 이미지들의 융합을 위한 방법 및 장치
US10116879B2 (en) Method and apparatus for obtaining an image with motion blur
JP6090786B2 (ja) 背景差分抽出装置及び背景差分抽出方法
CN112311965B (zh) 虚拟拍摄方法、装置、系统及存储介质
JP2019535167A (ja) 広角撮像素子及び長焦点撮像素子を利用してクリアかつ正確な光学ズーム機構を達成する方法
WO2017045558A1 (zh) 景深调节方法、装置及终端
CN105072314A (zh) 一种可自动跟踪目标的虚拟演播室实现方法
CN105100615A (zh) 一种图像的预览方法、装置及终端
CN105530431A (zh) 一种反射式全景成像系统及方法
CN104917973B (zh) 动态曝光调整方法及其电子装置
CN111355878A (zh) 一种终端、拍摄方法及存储介质
CN105791688A (zh) 移动终端及成像方法
CN105657394A (zh) 基于双摄像头的拍摄方法、拍摄装置及移动终端
EP3857499A1 (en) Panoramic light field capture, processing and display
CN110086994A (zh) 一种基于相机阵列的全景光场的综合系统
JP2016504828A (ja) 単一のカメラを用いて３ｄ画像を取り込む方法およびシステム
Ainsworth et al. Acquisition of stereo panoramas for display in VR environments
CN105827932A (zh) 一种图像合成方法和移动终端
CN114245006B (zh) 一种处理方法、装置及系统
CN105467741A (zh) 一种全景拍照方法及终端
US11792511B2 (en) Camera system utilizing auxiliary image sensors
CN103760745A (zh) 一种用于定格拍摄的单机双机位立体影像拍摄装置及其拍摄方法
US20120069148A1 (en) Image production device, image production method, program, and storage medium storing program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190802

RJ01 Rejection of invention patent application after publication