CN108696692A - 光场成像的数据预处理方法 - Google Patents
光场成像的数据预处理方法 Download PDFInfo
- Publication number
- CN108696692A CN108696692A CN201710219116.8A CN201710219116A CN108696692A CN 108696692 A CN108696692 A CN 108696692A CN 201710219116 A CN201710219116 A CN 201710219116A CN 108696692 A CN108696692 A CN 108696692A
- Authority
- CN
- China
- Prior art keywords
- light field
- matrix
- image
- macro pixel
- dimension
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明提出的光场成像的数据预处理方法,属于光场成像技术领域,包括以下步骤:步骤1,原始光场数据解码;步骤2,获取白图像;步骤3,白图像处理,处理白图像是为了获取白图像中每个宏像素中心的坐标位置、每行每列宏像素的个数和每个宏像素中所含元素的个数;步骤4,获取四维光场矩阵和子光圈图像阵列,利用步骤3处理结果中的参数对光场图像数据进行几何变换和重新排列,最终得到标准四维光场矩阵。本申请完成了从Lytro Illum光场相机中提取和解码光场数据,并进行处理获取标准四维光场图像矩阵和子光圈图像矩阵的过程,为光场成像技术的研究和应用奠定了基础。
Description
技术领域
本发明属于光场成像技术领域,尤其是光场成像的数据预处理方法。
背景技术
光场相机结构包括一个主镜头、一个微透镜阵列和一个图像探测器,加入微透镜阵列后图像探测器上的像素点不再是光场的积分,而是四维光场的重采样,因此光场相机能够通过一次成像获取比传统相机更多的光信息,可以利用计算成像的方法得到不同方向、位置、景深处的图像以满足不同的需求。目前,市面上消费级的Lytro相机系列中的Lytro Illum光场相机因其较好的外观设计和较高的成像质量广受消费者的喜爱,目前已有对Lytro Illum相机获取四维光场信息进行研究,但是还比较简洁,尚属起步阶段。
发明内容
本发明提供的光场成像的数据预处理方法,为光场成像技术的研究和应用奠定了基础。
本发明具体采用如下技术方案实现:
光场成像的数据预处理方法,包括以下步骤:
步骤1,原始光场数据解码,把Lytro Illum相机内部编码好的原始光场图像数据解码为可以利用的标准光场图像矩阵的过程;
步骤2,获取白图像,每次处理不同场景下的光场图像数据时,需先处理与该场景相同环境条件下的白图像,以解算出最终的标准光场图像矩阵;
步骤3,白图像处理,处理白图像是为了获取白图像中每个宏像素中心的坐标位置、每行每列宏像素的个数和每个宏像素中所含元素的个数;
步骤4,获取四维光场矩阵和子光圈图像阵列,利用步骤3处理结果中的参数对光场图像数据进行几何变换和重新排列,最终得到标准四维光场矩阵LF(t,s,v,u)。
作为优选,所述步骤3的白图像处理包括以下步骤:
步骤31)确定峰值点,对白图像先进行圆形滤波处理,然后找局部最大值,最大值点即为峰值点;
步骤32)确定每行峰值点的偏移角度;
步骤33)确定每行每列峰值点的偏移量;
步骤34)确定最终的整幅图像的宏像素以及微透镜中心坐标。
作为优选,所述步骤32)包括:
步骤321)三角网格化处理,即对峰值点进行三角网处理,网格交点即代表峰值点,然后采用近邻取样法确定相邻的峰值点;
步骤322)对步骤321)确定的峰值点分别沿x方向(水平方向)和y方向(垂直方向)最小二乘拟合,确定每行每列峰值点的偏移角度。
作为优选,所述步骤4包括:
步骤41)去渐晕效应,先调整图像的灰度范围,即根据原始数据文件中的参数可知,原始光场图像的灰度范围为64~1023,将其映射到0~1之间,然后去渐晕处理;
步骤42)去马赛克,利用MATLAB中的demosaic函数;
步骤43)图像旋转、缩放、平移,让宏像素中水平径向和垂直径向的元素为奇数,以确保中心点位置为整数值;
步骤44)重排光场矩阵,其处理过程为:首先建立一个标准四维光场空矩阵,第一维代表每个宏像素中心的横坐标,第二维代表每个宏像素中心的纵坐标,第三维代表宏像素中元素的横坐标,第四维代表宏像素中元素的纵坐标;其次利用四维绘图函数生成四维网格空矩阵,分别用来代表光场矩阵中的宏像素中元素的坐标和宏像素中心位置坐标;获取原三维彩色光场图像坐标的索引值;最后把四维光场空矩阵的下标转换为索引值,把原三维彩色光场图像索引值所对应的像素值赋值给空矩阵的索引值所对应的像素,获取LF(t,s,v,u)类型的矩阵,t,s为不同宏像素中心的坐标值,v,u为每个宏像素的元素坐标值;
步骤45)对步骤44)获取的四维光场矩阵分两次进行一维线性插值,分别对(v,u)和(t,s)维度进行一维插值,其中,对(t,s)维度插值的目的是使原六边形排列的宏像素转换为四边形排列,对(v,u)维度插值的目的是使宏像素中的元素组成正方形排列的结构;
步骤46)根据步骤45)的处理结果,即可获取标准四维光场矩阵LF(t,s,v,u)和子光圈图像阵列LF(:,:,v,u)。
本发明提供的光场成像的数据预处理方法,其有益效果在于,完成了从LytroIllum光场相机中提取和解码光场数据,并进行处理获取标准四维光场图像矩阵和子光圈图像矩阵的过程,为光场成像技术的研究和应用奠定了基础。
附图说明
图1是本发明光场数据预处理流程图;
图2是光场数据存储格式示意图;
图3是白图像处理流程图;
图4是三角网格图;
图5是确定峰值点偏移角度原理图;
图6是确定微透镜中心点的白图像;
图7是子光圈图像提取流程图;
具体实施方式
为进一步说明各实施例,本发明提供有附图。这些附图为本发明揭露内容的一部分,其主要用以说明实施例,并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容,本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。图中的组件并未按比例绘制,而类似的组件符号通常用来表示类似的组件。
现结合附图和具体实施方式对本发明进一步说明。
目前,市面上消费级的Lytro相机系列中的Lytro Illum光场相机因其较好的外观设计和较高的成像质量广受消费者的喜爱,本实施例利用相机获取四维光场信息,然后对光场数据进行预处理,具体流程如图1所示,包括以下步骤:
步骤1,原始光场数据解码。把Lytro Illum相机内部编码好的原始光场图像数据解码为可以利用的标准光场图像矩阵的过程,由于原始光场图像数据中每10bit一个像素,原始光场数据的存放格式如图2所示,第一行为5个字节的十六进制数,第二行为对应的二进制数,反演为光场图像时每5个字节进行一次处理,其中,第5个字节共8bit,均分成4部分,每部分2bit。第1部分的2bit分给第1个字节,第2部分给第2个字节,第3部分给第3个字节,第4部分给第4个字节。
步骤2,获取白图像。在光照均匀曝光适中的条件下,对亮度均匀的白色平面所成的图像,即为白图像。每次处理不同场景下的光场图像数据时,需先处理与该场景相同环境条件下的白图像,以解算出最终的标准光场图像矩阵,首先选择白图像来处理的目的是减少背景因素对最终解算标准光场图像矩阵数据造成的干扰,而Lytro Illum相机内部自带的白图像。
步骤3,白图像处理。处理白图像是为了获取白图像中每个宏像素中心的坐标位置、每行每列宏像素的个数和每个宏像素中所含元素的个数,处理流程如图3所示,包括以下步骤:
步骤31),确定峰值点的方法为:对白图像先进行圆形滤波处理,然后找局部最大值,最大值点即为峰值点;
步骤32),由于每行每列像素中的峰值点不在一条直线上,因此会有偏移角度,确定峰值点偏移角度的目的一方面是更加精确地确定每行每列宏像素在水平和垂直径向上所含的元素的个数,另一方面是为下一步数据处理做准备。具体步骤为:
步骤321),三角网格化处理,即对峰值点进行Delaunay三角网处理,如图4所示,网格交点即代表峰值点,然后采用近邻取样法确定相邻的峰值点;
步骤322)对步骤321)确定的峰值点分别沿x方向(水平方向)和y方向(垂直方向)最小二乘拟合,确定每行每列峰值点的偏移角度,如图5中的a,b。峰值点代表宏像素的中心点位置,相邻峰值点距离与偏移角度的商即为宏像素在水平径向和垂直径向所含元素的个数;
步骤33),由于经过步骤2)计算得到的宏像素的中心点所在的位置不一定是整数像素点位置,而理论上峰值点所在的位置应该是整数像素点位置,因此为了使每个峰值点即宏像素中心点落在整数像素位置,每个宏像素中心点会有一个偏移量,然后对每一行每一列中每个偏移量求均值,就可得到各行各列的偏移值;
步骤34),根据步骤31)——33)处理的结果,确定每行每列宏像素的个数,为下一步处理做准备,标定好中心位置的白图像如图6所示。白图像处理过程结束后,处理不同场景下的光场图像;
步骤4,获取四维光场矩阵和子光圈图像阵列,利用步骤3处理结果中的参数对光场图像数据进行几何变换和重新排列,最终得到标准四维光场矩阵LF(t,s,v,u),其中,t,s代表宏像素中心点的坐标,v,u代表宏像素中元素的坐标,由步骤3知光场图像的宏像素个数为625×434,子光圈图像的分辨率为625×434,因此,LF(t,s,v,u)代表子光圈图像阵列,t=1:625,s=1:434,处理流程如图7所示,包括以下步骤:
步骤41)去渐晕效应,方法为:先调整图像的灰度范围,即根据原始数据文件中的参数可知,原始光场图像的灰度范围为64~1023,将其映射到0~1之间,然后去渐晕处理;
步骤42)去马赛克,目的是灰度图像转换为彩色图像并消除马赛克网格效应的影响,去马赛克处理可以利用MATLAB中的demosaic函数;
步骤43)图像旋转、缩放、平移,目的是让宏像素中水平径向和垂直径向的元素为奇数,以确保中心点位置为整数值;
步骤44)重排光场矩阵,其处理过程为:首先建立一个标准四维光场空矩阵,第一维代表每个宏像素中心的横坐标,第二维代表每个宏像素中心的纵坐标,第三维代表宏像素中元素的横坐标,第四维代表宏像素中元素的纵坐标;其次利用四维绘图函数生成四维网格空矩阵,分别用来代表光场矩阵中的宏像素中元素的坐标和宏像素中心位置坐标;获取原三维彩色光场图像坐标的索引值;最后把四维光场空矩阵的下标转换为索引值,把原三维彩色光场图像索引值所对应的像素值赋值给空矩阵的索引值所对应的像素,获取LF(t,s,v,u)类型的矩阵,t,s为不同宏像素中心的坐标值,v,u为每个宏像素的元素坐标值;
步骤45)对步骤44)获取的四维光场矩阵分两次进行一维线性插值,分别对(v,u)和(t,s)维度进行一维插值。其中,对(t,s)维度插值的目的是使原六边形排列的宏像素转换为四边形排列,对(v,u)维度插值的目的是使宏像素中的元素组成正方形排列的结构;
步骤46)根据步骤45)的处理结果,即可获取标准四维光场矩阵LF(t,s,v,u)和子光圈图像阵列LF(:,:,v,u)。
本申请全面系统地介绍了基于微透镜型光场成像系统的光场数据处理方法,完成了从Lytro Illum光场相机中提取和解码光场数据,并进行处理获取标准四维光场图像矩阵和子光圈图像矩阵的过程,为光场成像技术的研究和应用奠定了基础。
尽管结合优选实施方案具体展示和介绍了本发明,但所属领域的技术人员应该明白,在不脱离所附权利要求书所限定的本发明的精神和范围内,在形式上和细节上可以对本发明做出各种变化,均为本发明的保护范围。
Claims (4)
1.光场成像的数据预处理方法,其特征在于,包括以下步骤:
步骤1,原始光场数据解码,把Lytro Illum相机内部编码好的原始光场图像数据解码为可以利用的标准光场图像矩阵的过程;
步骤2,获取白图像,每次处理不同场景下的光场图像数据时,需先处理与该场景相同环境条件下的白图像,以解算出最终的标准光场图像矩阵;
步骤3,白图像处理,处理白图像是为了获取白图像中每个宏像素中心的坐标位置、每行每列宏像素的个数和每个宏像素中所含元素的个数;
步骤4,获取四维光场矩阵和子光圈图像阵列,利用步骤3处理结果中的参数对光场图像数据进行几何变换和重新排列,最终得到标准四维光场矩阵LF(t,s,v,u)。
2.根据权利要求1所述的光场成像的数据预处理方法,其特征在于:所述步骤3的白图像处理包括以下步骤:
步骤31)确定峰值点,对白图像先进行圆形滤波处理,然后找局部最大值,最大值点即为峰值点;
步骤32)确定每行峰值点的偏移角度;
步骤33)确定每行每列峰值点的偏移量;
步骤34)确定最终的整幅图像的宏像素以及微透镜中心坐标。
3.根据权利要求2所述的光场成像的数据预处理方法,其特征在于:所述步骤32)包括:
步骤321)三角网格化处理,即对峰值点进行三角网处理,网格交点即代表峰值点,然后采用近邻取样法确定相邻的峰值点;
步骤322)对步骤321)确定的峰值点分别沿x方向(水平方向)和y方向(垂直方向)最小二乘拟合,确定每行每列峰值点的偏移角度。
4.根据权利要求1所述的光场成像的数据预处理方法,其特征在于:所述步骤4包括:
步骤41)去渐晕效应,先调整图像的灰度范围,即根据原始数据文件中的参数可知,原始光场图像的灰度范围为64~1023,将其映射到0~1之间,然后去渐晕处理;
步骤42)去马赛克,利用MATLAB中的demosaic函数;
步骤43)图像旋转、缩放、平移,让宏像素中水平径向和垂直径向的元素为奇数,以确保中心点位置为整数值;
步骤44)重排光场矩阵,其处理过程为:首先建立一个标准四维光场空矩阵,第一维代表每个宏像素中心的横坐标,第二维代表每个宏像素中心的纵坐标,第三维代表宏像素中元素的横坐标,第四维代表宏像素中元素的纵坐标;其次利用四维绘图函数生成四维网格空矩阵,分别用来代表光场矩阵中的宏像素中元素的坐标和宏像素中心位置坐标;获取原三维彩色光场图像坐标的索引值;最后把四维光场空矩阵的下标转换为索引值,把原三维彩色光场图像索引值所对应的像素值赋值给空矩阵的索引值所对应的像素,获取LF(t,s,v,u)类型的矩阵,t,s为不同宏像素中心的坐标值,v,u为每个宏像素的元素坐标值;
步骤45)对步骤44)获取的四维光场矩阵分两次进行一维线性插值,分别对(v,u)和(t,s)维度进行一维插值,其中,对(t,s)维度插值的目的是使原六边形排列的宏像素转换为四边形排列,对(v,u)维度插值的目的是使宏像素中的元素组成正方形排列的结构;
步骤46)根据步骤45)的处理结果,即可获取标准四维光场矩阵LF(t,s,v,u)和子光圈图像阵列LF(:,:,v,u)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710219116.8A CN108696692A (zh) | 2017-04-06 | 2017-04-06 | 光场成像的数据预处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710219116.8A CN108696692A (zh) | 2017-04-06 | 2017-04-06 | 光场成像的数据预处理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108696692A true CN108696692A (zh) | 2018-10-23 |
Family
ID=63842122
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710219116.8A Pending CN108696692A (zh) | 2017-04-06 | 2017-04-06 | 光场成像的数据预处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108696692A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110473261A (zh) * | 2019-08-15 | 2019-11-19 | 中国科学院光电技术研究所 | 一种鲁棒的光场相机标定方法 |
CN110580481A (zh) * | 2019-08-09 | 2019-12-17 | 西安理工大学 | 一种基于epi的光场图像关键位置检测方法 |
CN111325831A (zh) * | 2020-03-04 | 2020-06-23 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种基于分层聚类和置信传播的彩色结构光光条检测方法 |
CN112967242A (zh) * | 2021-02-26 | 2021-06-15 | 北京信息科技大学 | 一种基于视觉特征聚合的光场质量评价方法 |
CN114648305A (zh) * | 2022-03-25 | 2022-06-21 | 成都飞机工业(集团)有限责任公司 | 零件制造过程数据的关联系统及方法 |
-
2017
- 2017-04-06 CN CN201710219116.8A patent/CN108696692A/zh active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110580481A (zh) * | 2019-08-09 | 2019-12-17 | 西安理工大学 | 一种基于epi的光场图像关键位置检测方法 |
CN110580481B (zh) * | 2019-08-09 | 2022-01-11 | 西安理工大学 | 一种基于epi的光场图像关键位置检测方法 |
CN110473261A (zh) * | 2019-08-15 | 2019-11-19 | 中国科学院光电技术研究所 | 一种鲁棒的光场相机标定方法 |
CN110473261B (zh) * | 2019-08-15 | 2022-04-19 | 中国科学院光电技术研究所 | 一种鲁棒的光场相机标定方法 |
CN111325831A (zh) * | 2020-03-04 | 2020-06-23 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种基于分层聚类和置信传播的彩色结构光光条检测方法 |
CN112967242A (zh) * | 2021-02-26 | 2021-06-15 | 北京信息科技大学 | 一种基于视觉特征聚合的光场质量评价方法 |
CN112967242B (zh) * | 2021-02-26 | 2023-07-04 | 北京信息科技大学 | 一种基于视觉特征聚合的光场质量评价方法 |
CN114648305A (zh) * | 2022-03-25 | 2022-06-21 | 成都飞机工业(集团)有限责任公司 | 零件制造过程数据的关联系统及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108696692A (zh) | 光场成像的数据预处理方法 | |
CN106815807B (zh) | 一种基于gpu‑cpu协同的无人机影像快速镶嵌方法 | |
CN106412608B (zh) | 用于解码、生成数据流的方法和解码器 | |
CN103778900B (zh) | 一种图像处理方法及系统 | |
CN108776980A (zh) | 一种面向微透镜光场相机的标定方法 | |
CN107590840B (zh) | 基于网格划分的颜色阴影校正方法及其校正系统 | |
CN108027983A (zh) | 针对三维图像的三角形网格的生成 | |
CN104639923A (zh) | 一种对图像数据进行处理的方法、装置和终端 | |
CN105516697A (zh) | 图像传感器、成像装置、移动终端及成像方法 | |
CN105427372A (zh) | 基于tin网的正射影像拼接色彩一致性处理技术 | |
CA3001430A1 (en) | Image processing method and device for led display screen | |
WO2022222634A1 (zh) | 图像处理方法、图像处理装置、电子设备及存储介质 | |
CN109785252A (zh) | 基于多尺度残差密集网络夜间图像增强方法 | |
CN114549772B (zh) | 基于工程独立坐标系的多源三维模型融合处理方法及系统 | |
CN105578080A (zh) | 成像方法、图像传感器、成像装置及电子装置 | |
CN105611257A (zh) | 成像方法、图像传感器、成像装置及电子装置 | |
CN106028045B (zh) | 解码数据流的方法、生成数据流的方法及其解码器 | |
CN106599010B (zh) | 图码搜索法 | |
CN105872563B (zh) | 用于解码、生成、存储数据流以及传输视频的方法 | |
CN104185069A (zh) | 一种台标识别方法及其识别系统 | |
CN106331663A (zh) | 一种便携设备的交互材质获取系统和方法 | |
CN102885631A (zh) | 一种运用于平板ccd探测器的畸变校正方法 | |
CN109040598A (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
JP2014090410A (ja) | ホワイトバランス調整方法 | |
CN103533278A (zh) | 一种大幅面自由表面多投影自动拼接方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20181023 |