CN113132715B - 一种图像处理方法、装置、电子设备及其存储介质 - Google Patents
一种图像处理方法、装置、电子设备及其存储介质 Download PDFInfo
- Publication number
- CN113132715B CN113132715B CN201911411929.2A CN201911411929A CN113132715B CN 113132715 B CN113132715 B CN 113132715B CN 201911411929 A CN201911411929 A CN 201911411929A CN 113132715 B CN113132715 B CN 113132715B
- Authority
- CN
- China
- Prior art keywords
- projection
- eye
- image
- target
- micro
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 28
- 238000000034 method Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 16
- 238000003384 imaging method Methods 0.000 claims description 54
- 238000004590 computer program Methods 0.000 claims description 14
- 230000000694 effects Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 14
- 230000008859 change Effects 0.000 description 10
- 230000001360 synchronised effect Effects 0.000 description 9
- 230000007423 decrease Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 5
- 230000003068 static effect Effects 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000005669 field effect Effects 0.000 description 3
- 230000005291 magnetic effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 235000019800 disodium phosphate Nutrition 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- DMSMPAJRVJJAGA-UHFFFAOYSA-N benzo[d]isothiazol-3-one Chemical compound C1=CC=C2C(=O)NSC2=C1 DMSMPAJRVJJAGA-UHFFFAOYSA-N 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005294 ferromagnetic effect Effects 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004549 pulsed laser deposition Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
本发明实施例公开了一种图像处理方法、装置、电子设备及存储介质，其中，所述方法包括：获取眼睛的空间位置；根据所述空间位置，确定所述眼睛在电子设备上的投影偏移量，以及所述眼睛与所述电子设备之间的投影距离；根据所述投影偏移量对待处理光场图像的像素进行重构，得到构成目标图像的目标像素，并根据所述投影距离得到所述目标像素的目标亮度；基于所述目标像素的目标亮度，得到所述目标图像。
Description
技术领域
本发明涉及图像处理技术，尤其涉及一种图像处理方法、装置、电子设备及其存储介质。
背景技术
相关技术中，光场图像的显示方案包括：
方案一、先显示一张光场切片（light field slice），再基于用户指定对焦位置对光场切片进行重聚焦生成不同焦点的重聚焦图像；
方案二、通过专门的显示光场图像的三维显示装置来显示光场图像。比如，通过针孔阵列和显示屏组成的三维显示装置，使得用户在不同角度观察到不同的图像来达到还原光场信息，达到三维显示的效果。
上述方案一需要用户指定对焦位置，操作方式繁琐并且图像缺乏连续性变换，很难给用户带来接近真实三维世界的体验。
上述方案二则需要另外购置成本高昂的三维显示装置。
因此，现有的光场图像的显示方案要么无法还原三维的效果，要么成本高。
发明内容
本发明实施例提供一种图像处理方法、装置、电子设备及其存储介质，能够实现光场效果的同时节省设备成本。
本发明实施例的技术方案是这样实现的：
第一方面，本发明实施例提供一种图像处理方法，所述方法包括：
获取眼睛的空间位置；
根据所述空间位置，确定所述眼睛在电子设备上的投影偏移量，以及所述眼睛与所述电子设备之间的投影距离；
根据所述投影偏移量对待处理光场图像的像素进行重构，得到构成目标图像的目标像素，并根据所述投影距离得到所述目标像素的目标亮度；
基于所述目标像素的目标亮度，得到所述目标图像。
第二方面，本发明实施例提供一种图像处理装置，应用于电子设备，所述装置包括：
获取模块，用于获取眼睛的空间位置；
确定模块，用于根据所述空间位置，确定所述眼睛在所述电子设备上的投影偏移量，以及所述眼睛与所述电子设备之间的投影距离；
重构模块，用于根据所述投影偏移量对待处理光场图像的像素进行重构，得到构成目标图像的目标像素，并根据所述投影距离得到所述目标像素的目标亮度；
图像模块，用于基于所述目标像素的目标亮度，得到所述目标图像。
第三方面，本发明实施例提供一种电子设备，包括处理器和配置为存储能够在处理器上运行的计算机程序的存储器，其中，所述处理器配置为运行所述计算机程序时，执行上述图像处理方法的步骤。
第四方面，本发明实施例提供一种存储介质，存储有可执行程序，所述可执行程序被处理器执行时，实现上述电子设备所执行的图像处理方法。
本发明实施例提供的图像处理方法，包括：获取眼睛的空间位置；根据所述空间位置，确定所述眼睛在电子设备上的投影偏移量，以及所述眼睛与所述电子设备之间的投影距离；根据所述投影偏移量对待处理光场图像的像素进行重构，得到构成目标图像的目标像素，并根据所述投影距离得到所述目标像素的目标亮度；基于所述目标像素的目标亮度，得到所述目标图像。从而根据用户的眼睛的空间位置来实时控制光场图像的显示效果。如此，在用户浏览光场图像的过程中，光场图像的显示效果随着用户的眼睛的位置的变化实时改变，并且不需要专门的显示光场图像的三维显示装置，在实现光场效果的同时节省设备成本。
附图说明
图1是本发明实施例提供的光场图像的成像原理的一个可选的示意图；
图2是本发明实施例提供的三维显示装置的一个可选的结构示意图；
图3是图2提供三维显示装置的显示原理示意图；
图4是本发明实施例提供的图像处理方法的一个可选的流程示意图；
图5是本发明实施例提供的图像处理方法的一个可选的流程示意图；
图6是本发明实施例提供的人脸的三维模型一个可选的示意图；
图7是本发明实施例提供的图像处理方法的一个可选的流程示意图；
图8是本发明实施例提供的眼睛的投影的一个可选的结构示意图；
图9是本发明实施例提供的投射区域的一个可选的示意图；
图10是本发明实施例提供的像素汇聚的一个可选的效果示意图；
图11是本发明实施例提供的光线的一个可选的光路示意图；
图12是本发明实施例提供的光线的一个可选的光路示意图；
图13是本发明实施例提供的参考图像的一个可选的示意图；
图14是本发明实施例提供的图像处理方法的一个可选的流程示意图；
图15A是本发明实施例提供的第一关系式的一个可选的曲线示意图；
图15B是本发明实施例提供的第一关系式的一个可选的曲线示意图；
图16是本发明实施例提供的光线的一个可选的光路示意图；
图17是本发明实施例提供的电子设备的一个可选的结构示意图；
图18是本发明实施例提供的电子设备的一个可选的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
这里，在对本发明实施例提供的图像处理方法进行描述，先对光场图像进行介绍。
相比于二维图像，光场图像可以包含更多的场景信息，比如：二维位置信息( u，v)和二维方向信息( x，y)。传统的图像传感器（比如：相机）只能捕捉到光强度，但是无法捕捉光线的来源即方向信息。如图1所示，光场相机或其他光场捕捉设备得到光场图像的光场成像原理与采集传统图像的传统相机的成像原理在电子构件有所差异，传统相机成像是光线穿过镜头，而后传播到成像平面上，得到图像。相机的成像原理为，光线穿过主摄像头之后投射到像素传感器上，在像素传感器上成像。光场成像原理如图1所示，在主摄像头101与像素传感器102之间增加了一个由微镜头1031构成的微透镜阵列103，将穿过主镜头101的光线再次穿过每个微透镜1031，投射到像素传感器102上，从而收获到光线的方向与位置信息，使成像结果即光场图像在后期更加可调节，达到先拍照，后聚焦的效果，从而通过微镜头（micro lens）获得像素接收光的方向信息，这里，光场图像所包含的光场信息往往可以用来预测场景深度、重建场景3D模型等。
不具备三维显示装置的电子设备无法直接显示光场图像，需要用户指定重聚焦位置进行图像的重聚焦或者指定新的视点进行视点迁移等方式来重新生成二维图像，并显示二维图像。这样的操作方式繁琐而且体验较差。用户需要不断指定重聚焦位置并且变换信息才能感知场景。
在一示例中，三维显示装置的结构可如图2所示，,包括有显示单元的显示屏201和具有针孔阵列的针孔板202，从而在用户的眼睛和显示屏之间有很多小孔，用户透过小孔能够看到显示屏上的显示单元。如图3所示，通过同一个小孔，用户在不同位置看到的显示单元不同，比如：用户在位置301通过小孔302看到的显示单元为303，用户在位置304通过小孔302看到的显示单元为305，这和光场相机捕捉光场的原理相似，仅仅在于光线的方式刚好是相反的。因此，利用图2所示的三维显示装置的方式能够还原光场信息，达到类似三维显示的效果。
三维显示装置的显示效果取决于两个因素，角度分辨率和图像分辨率。在显示单元数量固定的前提下，提高角度分辨率会造成图像分辨率的下降，用户的眼睛在某一角度看到的图像质量较差。类似的，提高图像分辨率也会降低角度分辨率下降，在用户的眼睛的位置改变时图像变化会比较突兀缺乏过渡。也会造成体验的下降。
在本发明实施例提供一种图像处理方法，包括：获取眼睛的空间位置；根据所述空间位置，确定所述眼睛在电子设备上的投影偏移量，以及所述眼睛与所述电子设备之间的投影距离；根据所述位置偏移量对待处理光场图像的像素进行重构，得到构成目标图像的目标像素，并根据所述投影距离得到所述目标像素的目标亮度；基于所述目标像素的目标亮度，得到所述目标图像，从而根据用户的眼睛的位置来实时控制光场图像的显示效果，在不需要专门针对光场图像设计的显示装置的同时，能够实现三维显示的效果。
本发明实施例提供的图像处理方法应用于图像处理装置，其中，图像处理装置实施在电子设备上，电子设备中的各功能模块可以由电子设备的硬件资源，如处理器等计算资源、通信资源（如用于支持实现光缆、蜂窝等各种方式通信）协同实现。
当然，本发明实施例不局限于提供为方法和硬件，还可有多种实现方式，例如提供为存储介质（存储有用于执行本发明实施例提供的对象处理方法的指令）。
本发明实施例提供一种图像处理方法，如图4所示，包括：
S401、获取眼睛的空间位置。
这里，获取对电子设备进行操作的用户的眼睛的空间位置。
本发明实施例中，获取包括眼睛的图像，根据所获取的图像确定眼睛的空间位置。这里，获取的图像可为平面图像，也可为深度图像。电子设备可通过图像传感器、深度传感器中的一个或两个的组合获取眼睛的空间位置。
在一示例中，电子设备通过图像传感器获取用户的脸部图像，并通过对脸部图像的分析得到眼睛的空间位置。
在一示例中，电子设备通过深度传感器获取脸部的深度信息，基于脸部的深度信息得到眼睛的空间位置。
在一示例中，电子设备通过图像传感器获取用户的脸部图像，并通过脸部图像识别眼睛，得到眼睛的二维坐标，并通过深度传感器获得眼睛的深度，基于眼睛的二维坐标和深度得到眼睛的空间位置。
在一实施例中，S401的执行，如图5所示，包括：
S4011、构建人脸三维模型。
电子设备获取脸部信息，并基于脸部信息构建人脸三维模型。其中，脸部信息包括：脸部的空间位置和脸部的特征点。这里，特征点为可反映脸部的鼻子、眼睛、额头等部位的关键点。
本发明实施例中，获取脸部信息的方式可包括以下方式至少之一：
方式一、通过摄像头采集脸部图像，通过对脸部图像的分析，得到脸部信息。
方式二、基于能够采集深度信息的深度传感器采集脸部图像的深度信息，基于深度信息获取脸部信息。
在方式一中，电子设备可通过前置摄像头拍摄包括脸部的RGB图像，利用特征点定位算法对脸部的RGB图像进行计算，得到脸部的特征点，并基于定位的脸部的特征点重建人脸三维模型。其中，脸部的特征点可为面部关键特征点（Landmark），此时特征点定位算法可包括：基于样本的人脸形状学习算法（ESL）、局部纹理约束的主动表观模型（LTC-AAM）等算法。本发明实施例中，对特征点的类型以及定位特征点的特征点定位算法不进行任何限定。
在方式二中，通过深度相机、结构光传感模组等深度传感器检测脸部的各特征点的深度信息，基于各特征点的深度信息构建人脸三维模型。
S4012、根据所述眼睛在所述人脸三维模型中的位置，得到所述眼睛的空间位置。
构建人脸三维模型后，根据人脸中眼睛的位置，得到眼睛空间位置。
当人脸三维模型中仅包括一个眼睛，则将该眼睛的位置坐标作为眼睛的空间位置。
当人脸三维模型中包括两个眼睛，将两个眼睛分别称为第一眼睛和第二眼睛，则所述根据所述眼睛在所述人脸三维模型中的位置，得到所述眼睛的空间位置，包括：
当所述人脸三维模型中包括第一眼睛和第二眼睛，根据所述第一眼睛在所述人脸三维模型中的位置，得到所述第一眼睛的第一空间位置，并根据所述第二眼睛在所述人脸三维模型中的位置，得到所述第二眼睛的第二空间位置；根据所述第一空间位置和所述第二空间位置得到所述空间位置。
这里，当人脸三维模型中包括两个眼睛，则将两个眼睛的空间位置的中间位置作为眼睛的空间位置，得到眼睛的空间位置。如图6所示，将眼睛601的空间位置和眼睛602的空间位置的中间位置603作为三维人脸模型600中的眼睛的空间位置。
在一示例中，第一眼睛的空间位置为，第二眼睛的空间位置为，则该用户的眼睛的空间位置为/>。
本发明实施例中，可基于电子设备所在的设备平面或指定面建立空间坐标体系，以确定人脸三维模型以及人脸三维模型中各特征点的空间位置的坐标。
S402、根据所述空间位置，确定所述眼睛在电子设备上的投影偏移量，以及所述眼睛与所述电子设备之间的投影距离。
眼睛在电子设备上的投影偏移量为眼睛在电子设备上的投影位置相对于电子设备上的第一参考位置的偏移量。第一参考位置为第一参考点的空间位置。其中，第一参考点可为设备显示区域的中心点、设备显示区域中任一顶点或指定点。第一参考点可由用户根据实际需求进行设置。
眼睛与所述电子设备之间的投影距离为眼睛在电子设备上的投影与眼睛之间的距离。
这里，可将电子设备映射为一设备平面，眼睛在电子设备上的投影位置即为眼睛在该设备平面上的投影位置，眼睛与电子设备之间的投影距离即为眼睛与该设备平面之间的投影距离。此时，可基于设备平面和眼睛建立空间模型，并基于所建立的空间模型来确定眼睛在电子设备上的投影偏移量，以及眼睛与电子设备之间的投影距离。
在一实施例中， S402的执行，如图7所示，包括：
S4021、确定所述空间位置在电子设备上的投影位置。
这里，可基于眼睛的空间位置和电子设备的空间位置，将眼睛和电子设备映射至三维空间中，并基于眼睛向电子设备做垂直于电子设备的直线即投影线，投影线与电子设备的交点为眼睛在电子设备上的投影点，投影点的位置为眼睛在电子设备上的投影位置。
在一示例中，基于眼睛801的空间位置和电子设备所在的设备平面802的空间位置将眼睛801和设备平面映射至三维空间的映射结果如图8所示，基于眼睛801向设备平面802做垂直于设备平面802的直线803，直线803与设备平面802的交点804为眼睛801在设备平面802的投影点，基于眼睛801和设备平面802在三维空间中的空间位置计算得到投影点的空间位置即投影位置。
S4022、确定所述投影位置相对于所述电子设备上的第一参考位置的偏移量，得到所述投影偏移量。
在确定投影位置后，计算投影位置和第一参考位置之间的偏移量，得到投影偏移量U。
在一示例中，以第一参考点为设备显示区域的中心点805，则投影点804的空间位置和中心点805的空间位置之间的位置差为投影位置和第一参考位置之间的偏移量。比如：当投影点804的空间位置即投影位置为，第一参考位置为/>，则投影偏移量U为/>。
S4023、确定所述空间位置与投影位置之间的距离，得到所述投影距离。
确定投影位置后，基于眼睛的空间位置和投影位置，得到空间位置与投影位置之间的距离即投影距离。
在一示例中，如图8所示，眼睛801与投影点804之间的线段的长度为投影距离。比如：眼睛801的空间位置为，投影点804的空间位置即投影位置为/>，则投影距离L投为/>。
S403、根据所述位置偏移量对待处理光场图像的像素进行重构，得到构成目标图像的目标像素，并根据所述投影距离得到所述目标像素的目标亮度。
本发明实施例中的待处理光场图像可为预先存储的光场图像，也可实时拍摄的光场图像。当待处理光场图像为预先存储的光场图像，待处理光场图像可为电子设备本身所拍摄的光场图像，也可为基于网路传输所接收到的光场图像。
基于S402得到投影偏移量后，根据投影偏移量确定眼睛在成像面上的投射位置，并确定经过眼睛的投射位置能够看到的像素，这里，将眼睛经过投射位置能看到的像素称为目标像素。这里，将眼睛在成像面上的投射位置称为第一投射位置。其中，成像面为像素传感器所在的平面。
本发明实施例中，将主摄像头所在的平面称为主摄平面，将由微镜头构成的微透镜阵列所在的平面称为微摄平面。
在一实施例中， S403中的根据所述位置偏移量对待处理光场图像的像素进行重构，得到构成目标图像的目标像素的执行包括：
S4031A、将所述投影偏移量作为第一关系式的可变参数的值，得到所述眼睛投射主摄面上的第一投射位置相对于所述主摄面上的第二参考位置的投射偏移量。
本发明实施例中设置有第一关系式，用于根据投影偏移量U计算投射偏移量I，其中，投射偏移量I为眼睛投射在主摄面上的第一投射位置与第二参考位置之间的偏移量，第二参考位置为与第一参考点对应的第二参考点的空间位置。
这里，第二参考点与第一参考点对应。比如：第一参考点为设备显示区域的中心点，则第二参考点为主摄面中的成像区域的中心点。又比如：第一参考点为设备显示区域中的一顶点，则第二参考点为主摄面中的成像区域中该顶点的位置对应的点。
第一关系式的输入即可变参数为投影偏移量U，输出为投射偏移量I。本发明实施例中，第一关系式可为正比例函数，即随着投影偏移量U的增大，投射偏移量I增大，随着投影偏移量U的减小，投射偏移量I减小。
在一示例中，第一关系可表示为公式（1）：
公式（1）。
S4032A、根据所述投射偏移量和所述第二参考位置得到所述眼睛投射在所述主摄面上的第一投射位置。
确定投射偏移量I后，基于投射偏移量I和第二参考位置确定眼睛投射在主摄面上的第一投射位置。当I为，且第二参考位置为/>，则第一投射位置为/>。
S4033A、将所述待处理光场图像中对应所述第一投射位置上的像素点，汇聚成构成目标图像的目标像素。
在确定眼睛投射在主摄面上的第一投射位置后，确定经过第一投射位置所能看到的待处理光场图像的像素即目标像素。
在一实施例中，S4033A的执行包括：基于所述第一投射位置和微镜头面中各子孔径的位置，确定成像面中对应各子孔径的投射区域；对所述待处理光场图像中位于各投射区域的像素进行汇聚，得到所述目标像素。
在本发明实施例中，基于待显示的图像为光场图像，因此，基于光场图像的成像原理确定眼睛经过第一投射位置所能看到的像素。
如图9所示，微镜头阵列中包括：&0至&5这六个微镜头，且从第一投射位置901经过各微镜头中的子孔径看到的像素为光线903经过投射位置901且经过各微镜头对应的投射区域的形成的像素。其中，&0对应的投射区域为902-0，&1对应的投射区域为902-1，&2对应的投射区域为902-2，&3对应的投射区域为902-3，&4对应的投射区域为902-4，&5对应的投射区域为902-5。
需要说明的是，在图9中以一维的方式对微镜头阵列和投射区域进行举例说明，在实际应用中，微镜头阵列和投射区域分别为二维的。
在确定待处理图像位于各投射区域的像素后，将各投射区域的像素进行汇聚，这里，将各投射区域中对应位置的像素进行聚合，得到目标图像中对应位置的像素。
在一示例中，如图10所示，微镜头包括微镜头0至微镜头35共36个微镜头，待处理图像中各微镜头对应的投射区域分别如图像10-1所示，其中，标号为0的像素为基于微镜头0所看到的投射区域的像素，标号为1的像素为基于微镜头1所看到的投射区域的像素，将各投射区域中对应位置的像素进行聚合，即将各投射区域的像素进行汇聚，比如：将各投射区域中第一行第一列的像素进行汇聚，得到图像10-2的第一行第一列的汇聚结果，将各投射区域中第一行第二列的像素进行汇聚，得到图像10-2的第一行第二列的汇聚结果，以此类推，分别得到各行各列汇聚结果，并将各汇聚结果中的像素进行计算，得到目标图像中第一行第一列的像素，依次类推，得到构成目标图像的九个目标像素。
在确定构成目标图像的像素后，确定各目标像素的目标亮度。这里，S403中的根据所述投影距离得到所述目标像素的目标亮度的执行包括：
S4031B、将所述投影距离作为第二关系式的可变参数的值，得到成像面与虚拟成像面之间距离。
本发明实施例中设置有第二关系式，用于根据投影距离d计算成像面与虚拟成像面之间的距离z。
本发明实施例中，主摄面与微摄面之间的距离固定，微摄面与成像面之间的距离固定，成像面与虚拟成像面之间的距离与投影距离相关，且成像面与虚拟成像面之间的距离与投影距离之间的关系通过第二关系式确定。
这里，第二关系式可为正比例函数，也可为反比例函数。当第二关系式为正比例函数，则随着投影距离的增大，成像面与虚拟成像面之间的增大，随着投影距离的减小，成像面与虚拟成像面之间的减小。当第二关系式为反比例函数，则随着投影距离的增大，成像面与虚拟成像面之间的减小，随着投影距离的减小，成像面与虚拟成像面之间的增大。
在一示例中，第二关系可表示为公式（2）：
公式（2）。
S4032B、根据所述距离和所述成像面相对于所述微摄面的第一相对位置，得到所述虚拟成像面相对于所述微摄面的第二相对位置。
确定虚拟成像面与成像面之间的距离z后，基于成像面与微摄面之间的距离l得到虚拟成像面与微摄面之间的距离l'。其中，l'的计算如公式（3）所示：
公式（2）。
S4033B、根据所述第二相对位置，得到所述目标像素的目标亮度。
如图11所示。根据z确定虚拟成像面后，对于虚拟成像面上的点C，与微镜头G 、微镜头H连线得到直线GC 和HC，GC和HC与成像面分别交于点A和点B，点A和点B处的感光元件感受到GC和 HC方向的光线的强度叠加后即得到虚拟成像面C处的光强。由此可获得虚拟成像面中的图像的光强。随着虚拟成像面位置的改变，图像的清晰范围会发生远近的变化，类似我们前后平移相机带来的效果。
这里，当用户眼睛更接近设备的时候，z减小使图像中更近处的物体清晰，用户眼睛远离设备时，z增大使图像中更远处的物体清晰，产生类似于我们平移相机产生的视觉偏差效果。
本发明实施例中，将可以到达目标像素点的光线都算出来，就可以得到这些光线
与像素平面的交点和该点的像素值。把这些像素值叠加后（即积分）可以获得该虚拟平面的
像素值。位置为（x'，y'）的目标像素点的目标亮度可通过公式（4）计算得到：
公式（4）；
其中，，u、v以及/>分别如公式（5）、公式（6）、公式（7）所示：
公式（5）；
公式（6）；
公式（7）。
其中，如图12所示，（u，v）为光线在主摄面的坐标，（m，n）为光线在主摄像头上偏移后的坐标。（s，t）为光线在微摄面S的坐标，（x，y）为光线在成像面E的坐标，（x'，y'）为光线在虚拟成像面E'的坐标，o为主摄面与微摄面之间的距离，θ为光线在主镜头面上的位置距离镜头中心的偏移量即镜头面上的透光半径。
其中，公式（7）的含义为：只考虑透过主镜头某一位置范围的光线，透过该位置范围的光线参与积分，即权重为1，其他位置光线不参与积分，权重为0。
S404、基于所述目标像素的目标亮度，得到所述目标图像。
当确定各目标像素的目标亮度后，基于各目标像素的目标亮度得到目标图像。
在一实施例中，在S404之后，还可以展示目标图像。
这里，在包括至少两个空间位置的情况下，展示所述目标图像，包括：
对至少两个所述空间位置各空间位置对应的目标图像取交集，得到参考图像；根据所述待处理光场图像的尺寸，对所述参考图像进行尺寸调整，得到展示图像，并展示所述展示图像。
如图13所示，当空间位置包括三个空间位置，且三个空间位置对应的目标图像分别为1301、1302和1303，则此时，取1301、1302和1303的交集即阴影区域所示的1304为参考图像，并基于待处理光场图形本身的尺寸对参考图像进行尺寸变化，得到最终展示的展示图像。
其中，当眼睛的空间位置保持不变时，构成目标图像的目标像素不变，且各目标像素的目标亮度不变。当眼睛的空间位置相对于设备平面发生上下位移，则眼睛在设备平面上的投影位置发生变化，使得构成目标图像的目标像素发生变化。当眼睛的空间位置相对于设备平面发生前后平移，则眼睛与设备平面之间的投影距离发生变化，虚拟成像面的位置发生变化，使得目标像素的目标亮度发生变化。当眼睛的空间位置相对于设备平面在上下和前后两个维度上同时变化，则眼睛在设备平面上的投影位置、眼睛与设备平面之间的投影距离同时发生变化，目标像素变化，虚拟成像面的位置发生变化，使得目标像素的目标亮度发生变化。因此，本发明实施例提供的图像处理方法能够基于眼睛的空间位置实时的实现三维显示的效果。
本发明实施例提供的图像处理方法，包括：获取眼睛的空间位置；根据所述空间位置，确定所述眼睛在电子设备上的投影偏移量，以及所述眼睛与所述电子设备之间的投影距离；根据所述投影偏移量对待处理光场图像的像素进行重构，得到构成目标图像的目标像素，并根据所述投影距离得到所述目标像素的目标亮度；基于所述目标像素的目标亮度，得到所述目标图像，从而根据用户的眼睛的位置来实时控制光场图像的显示效果。如此，在用户浏览光场图像的过程中，光场图像的显示效果随着用户的眼睛的位置的变化实时改变，并且不需要专门的显示光场图像的三维显示装置，在实现光场的效果的同时节省设备成本。
下面，以电子设备为移动终端为例，对本发明实施例提供的图像处理方法进行举例说明，如图14所示，包括：
S1401、获取光场图像。
这里，可从存储区域中读取事先拍摄好并存储在存储区域中的光场图像，也可通过光场相机或其他光场捕捉装置拍摄光场图像。
S1402、获取眼睛的空间位置。
用户在使用移动终端时，移动终端获取用户人脸信息，用户人脸信息包括人脸的位置大小以及关键特征点（比如：landmark特征）的位置。
获取人脸信息的方式包括以下之一：
方式一、利用特征点定位算法对摄像头采集的人脸图像进行分析，得到人脸中的landmark特征，再基于landmark特征重建人脸三维模型并推断各landmark特征的位置。
方式二、通过深度相机或结构光传感模组检测人脸的深度信息，并利用深度信息获取人脸中各特征点的位置。
本发明实施例中，获取人脸图像的方式并不局限于上述两种方式获取人脸信息。
获取人脸中各特征点的坐标后，检测出或推测出眼睛位置的空间坐标。这里，可定义双眼的中间位置为眼睛位置并计算眼睛位置的空间坐标。如果设备只检测出了一只眼睛，则不需要上述计算而直接使用检测出的眼睛位置，确定该眼睛位置的空间坐标。
如果没有检测到人眼的存在，则无需进行下面的处理直接进入待机（stand by），以较低帧率检测是否存在人脸时，当检测到人脸且人脸中存在眼睛时，基于上述方式得到眼睛的空间坐标。
S1403、根据眼睛的空间坐标，确定眼睛的投影偏移量，以及眼睛与移动终端之间的距离。
眼睛的投影偏移量为眼睛在移动设备上的投影相对于移动终端的显示屏幕的中心位置的偏移量。
这里，根据眼睛的空间坐标和移动终端的平面坐标，得到眼睛的投影偏移量以及眼睛与移动终端之间的距离。
这里，眼睛和移动终端在空间环境中的空间位置可如图8所示，从眼睛801向移动终端的设备平面802做垂线803，垂线803与设备平面802交于点804，点804即为眼睛在设备平面上的投影，垂线803的点804与眼睛801之间的这段长度为眼睛801与设备平面802之间的距离，点804与设备平面802的中心805之间的位移为眼睛801的投影偏移量。
S1404、根据眼睛的投影偏移量，以及眼睛与移动终端之间的距离，对光场图像进行重构，得到目标图像。
这里，根据眼睛的投影偏移量，以及眼睛与移动终端之间的距离，计算光线在主镜头的偏移量。其中，光线在主镜头的偏移量为光的位置相对于主镜头的中心点的偏移量。
这里，将眼睛的投影偏移量标识为I，将主镜头的偏移量标识为U，将眼睛与移动终端之间的距离标识为d，虚拟成像面与微镜头面之间的距离为z，则I与U、d与z之间的对应关系分别为公式（1）和公式（2）：
公式（1）；
公式（2）。
这里，f为正比例函数，即I越大则U越大。比如：。
g可以为正比例函数，也可为反比例函数。如果g是正比例函数，眼睛远离移动终端的屏幕的时候，虚拟成像面距离镜头面距离z变大，远处的物体会聚焦变得清晰远处物体变模糊；眼睛靠近屏幕的时候，虚拟成像面距离镜头面距离z减小，近处的物体变清晰远处物体变模糊。如果g是反比例函数，则是相反效果。
本发明实施例对g的定义不进行限制g，从而可以通过调节g达到多种不同的效果。
本发明实施例中，U和I之间的关系可为图15A所示的线性关系，也可为图15B所示的离散点平滑关系。其中，图15A和图15B所示的一维数据的关系仅用于说明U和I之间的关系，U和I为二维数据。
确定光线在主镜头的偏移量U后，根据U和主镜头的中心位置得到该光线在主镜头中的位置，并利用该位置得到子孔径（sub-aperture）图像，并基于子孔径图像得到目标图像。其中，在一示例中，如图16所示，实线所示的光线1601-1在主镜头中的位置为光线1601-1与主镜头的交点1601-1，点划线所示的光线1601-2在主镜头中的位置为光线1601-2与主镜头的交点1601-2，虚线所示的光线1601-3在主镜头中的位置为光线1601-3与主镜头的交点1601-3。
确定眼睛在主镜头中的投射位置后，根据光线在主镜头中的位置和各个微镜头的中心之间的连线，得到光线与光传感器之间的多个交点，光传感器中这些交点所在的感光单元（即像素）便是接收了对应光线的像素点，基于这些像素点可以汇聚成一张视角偏移的图像，如图10所示。
如图11所示，根据z得到虚拟成像面E'后，对于虚拟成像面E'上的点C，与微镜头G、微镜头H连线得到直线GC、HC，GC、HC与成像面E交于点A和点B，点A和点B处的感光元件感受到GC、HC方向的光线的强度叠加后即得到虚拟成像面C处的光强。由此可获得虚拟成像面的图像。随着虚拟成像面位置的改变，图像的清晰范围会发生远近的变化。类似我们前后移动相机带来的效果。
基于图11所述的原理，得到C点的成像公式，这里将C点的坐标标识为（x'，y'），C点的光强如公式（4）所示：
公式（4）；
这里，u、v以及分别如公式（5）、公式（6）、公式（7）所示：
公式（5）；
公式（6）；
公式（7）；
其中，如图12所示，（u，v）为光线在主镜头面R的坐标，（s，t）为光线在微镜头面S的坐标，（x，y）为光线在成像面E的坐标，（x'，y'）为光线在虚拟成像面E'的坐标，l为微镜头面S与成像面E 之间的距离，o为主镜头面R与微镜头面S之间的距离，θ为光线在主镜头面上的位置距离镜头中心的偏移量。
这里，可通过光线在主镜头中的位置获得光线在对应的位置的射出角度，并基于光线在主镜头的射出角度得到光线落在光传感器上的位置。
S1405、显示目标图像。
经过上述视点和深度变换后的图像尺寸可能会发生变化，如图13所示，可由不同对焦位置的FOV和偏移量得到各种情况下图像的裁剪区域ROI，取所有ROI的交集ROI并按此交集ROI裁剪图像，再将图像放大到显示尺寸即可显示图像效果。
通过本发明实施例提供的图像处理方法，用户可以通过移动头部（双眼）来达到图像平移、前后移动的效果，类似于我们在真实世界里手持相机在3D空间移动后产生的变换。可以将这种变化控制在一定的范围内精确调节，可使用户在看光场图像时达到增强现实的效果。丰富了图像浏览的方式。如果在手机端应用，也可做成锁屏壁纸形式，增加人机交互的乐趣。
为实现上述图像处理方法，本发明实施例还提供一种图像处理装置，如图17所示，图像处理装置1700包括：
获取模块1701，用于获取眼睛的空间位置；
确定模块1702，用于根据所述空间位置，确定所述眼睛在电子设备上的投影偏移量，以及所述眼睛与所述电子设备之间的投影距离；
重构模块1703，用于根据所述投影偏移量对待处理光场图像的像素进行重构，得到构成目标图像的目标像素，并根据所述投影距离得到所述目标像素的目标亮度；
图像模块1704，用于基于所述目标像素的目标亮度，得到所述目标图像。
在一实施例中，获取模块1701，还用于：
构建人脸三维模型；
根据所述眼睛在所述人脸三维模型中的位置，得到所述眼睛的空间位置。
在一实施例中，获取模块1701，还用于：
当所述人脸三维模型中包括第一眼睛和第二眼睛，根据所述第一眼睛在所述人脸三维模型中的位置，得到所述第一眼睛的第一空间位置，并根据所述第二眼睛在所述人脸三维模型中的位置，得到所述第二眼睛的第二空间位置；
根据所述第一空间位置和所述第二空间位置得到所述空间位置。
在一实施例中，确定模块1702，还用于：
确定所述空间位置在所述电子设备上的投影位置；
确定所述投影位置相对于所述电子设备上的第一参考位置的偏移量，得到所述投影偏移量；
确定所述空间位置与投影位置之间的距离，得到所述投影距离。
在一实施例中，重构模块1703，还用于：
将所述投影偏移量作为第一关系式的可变参数的值，得到所述眼睛投射在主摄面上的第一投射位置相对于所述成像面上的第二参考位置的投射偏移量；
根据所述投射偏移量和所述第二参考位置得到所述眼睛投射在所述主摄面上的第一投射位置；
将所述待处理光场图像中对应所述第一投射位置上的像素点，汇聚成构成目标图像的目标像素。
在一实施例中，重构模块1703，还用于：
基于所述第一投射位置和微镜头面中各子孔径的位置，确定成像面中对应各子孔径的投射区域；
对所述待处理光场图像中位于各投射区域的像素进行汇聚，得到所述目标像素。
在一实施例中，重构模块1703，还用于：
将所述投影距离作为第二关系式的可变参数的值，得到成像面与虚拟成像面之间距离；
根据所述距离和所述成像面相对于微摄面的第一相对位置，得到所述虚拟成像面相对于所述微摄面的第二相对位置；
根据所述第二相对位置，得到所述目标像素的目标亮度。
在一实施例中，所述装置还包括：展示模块，用于：
对至少两个所述空间位置中各空间位置对应的目标图像取交集，得到参考图像；
根据所述待处理光场图像的尺寸，对所述参考图像进行尺寸调整，得到展示图像，并展示所述展示图像。
本发明实施例还提供一种电子设备，包括处理器和用于存储能够在处理器上运行的计算机程序的存储器，其中，所述处理器用于运行所述计算机程序时，执行上述电子设备执行的图像处理方法的步骤。
图18是本发明实施例的电子设备的硬件组成结构示意图，电子设备1800包括：至少一个处理器1801、存储器1802和至少一个网络接口1804。电子设备1800中的各个组件通过总线系统1805耦合在一起。可理解，总线系统1805用于实现这些组件之间的连接通信。总线系统1805除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图18中将各种总线都标为总线系统1805。
可以理解，存储器1802可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是ROM、可编程只读存储器（PROM，Programmable Read-Only Memory）、可擦除可编程只读存储器（EPROM，ErasableProgrammable Read-Only Memory）、电可擦除可编程只读存储器（EEPROM，ElectricallyErasable Programmable Read-Only Memory）、磁性随机存取存储器（FRAM，ferromagneticrandom access memory）、快闪存储器（Flash Memory）、磁表面存储器、光盘、或只读光盘（CD-ROM，Compact Disc Read-Only Memory）；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器（RAM，Random Access Memory），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器（SRAM，Static Random Access Memory）、同步静态随机存取存储器（SSRAM，SynchronousStatic Random Access Memory）、动态随机存取存储器（DRAM，Dynamic Random AccessMemory）、同步动态随机存取存储器（SDRAM，Synchronous Dynamic Random AccessMemory）、双倍数据速率同步动态随机存取存储器（DDRSDRAM，Double Data RateSynchronous Dynamic Random Access Memory）、增强型同步动态随机存取存储器（ESDRAM，Enhanced Synchronous Dynamic Random Access Memory）、同步连接动态随机存取存储器（SLDRAM，SyncLink Dynamic Random Access Memory）、直接内存总线随机存取存储器（DRRAM，Direct Rambus Random Access Memory）。本发明实施例描述的存储器1802旨在包括但不限于这些和任意其它适合类型的存储器。
本发明实施例中的存储器1802用于存储各种类型的数据以支持电子设备1800的操作。这些数据的示例包括：用于在电子设备1800上操作的任何计算机程序，如应用程序18021。实现本发明实施例方法的程序可以包含在应用程序18021中。
上述本发明实施例揭示的方法可以应用于处理器1801中，或者由处理器1801实现。处理器1801可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器1801中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1801可以是通用处理器、数字信号处理器（DSP，Digital Signal Processor），或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器1801可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器1802，处理器1801读取存储器1802中的信息，结合其硬件完成前述方法的步骤。
在示例性实施例中，电子设备1800可以被一个或多个应用专用集成电路（ASIC，Application Specific Integrated Circuit）、DSP、可编程逻辑器件（PLD，ProgrammableLogic Device）、复杂可编程逻辑器件（CPLD，Complex Programmable Logic Device）、FPGA、通用处理器、控制器、MCU、MPU、或其他电子元件实现，用于执行前述方法。
本发明实施例还提供了一种存储介质，用于存储计算机程序。
可选地，该存储介质可应用于本发明实施例中的电子设备，并且该计算机程序使得计算机执行本发明实施例的各个方法中的相应流程，为了简洁，在此不再赘述。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (14)
1.一种图像处理方法，其特征在于，所述方法包括：
获取眼睛的空间位置；
确定所述空间位置在电子设备上的投影位置；
确定所述投影位置相对于所述电子设备上的第一参考位置的偏移量，得到所述眼睛在电子设备上的投影偏移量；
确定所述空间位置与投影位置之间的距离，得到所述眼睛与所述电子设备之间的投影距离；
根据所述投影偏移量对待处理光场图像的像素进行重构，得到构成目标图像的目标像素，并根据所述投影距离得到所述目标像素的目标亮度；
基于所述目标像素的目标亮度，得到所述目标图像；
其中，所述根据所述投影距离得到所述目标像素的目标亮度，包括：
将所述投影距离作为第二关系式的可变参数的值，得到成像面与虚拟成像面之间的距离；
根据所述成像面与虚拟成像面之间的距离和所述成像面相对于微摄面的第一相对位置，得到所述虚拟成像面相对于所述微摄面的第二相对位置；
根据所述第二相对位置，得到所述目标像素的目标亮度；
其中，所述待处理光场图像为将穿过主摄像头的光线穿过由微镜头构成的微透镜阵列，投射到像素传感器上获得的；所述由微镜头构成的微透镜阵列位于所述主摄像头与所述像素传感器之间；所述成像面为所述像素传感器所在的平面；所述微摄面为所述由微镜头构成的微透镜阵列所在的平面；所述目标图像成像于所述虚拟成像面。
2.根据权利要求1所述的方法，其特征在于，所述获取眼睛的空间位置，包括：
构建人脸三维模型；
根据所述眼睛在所述人脸三维模型中的位置，得到所述眼睛的空间位置。
3.根据权利要求2所述的方法，其特征在于，所述根据所述眼睛在所述人脸三维模型中的位置，得到所述眼睛的空间位置，包括：
当所述人脸三维模型中包括第一眼睛和第二眼睛，根据所述第一眼睛在所述人脸三维模型中的位置，得到所述第一眼睛的第一空间位置，并根据所述第二眼睛在所述人脸三维模型中的位置，得到所述第二眼睛的第二空间位置；
根据所述第一空间位置和所述第二空间位置得到所述空间位置。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述根据所述投影偏移量对待处理光场图像的像素进行重构，得到构成目标图像的目标像素包括：
将所述投影偏移量作为第一关系式的可变参数的值，得到所述眼睛投射在主摄面上的第一投射位置相对于所述主摄面上的第二参考位置的投射偏移量；所述主摄面为所述主摄像头所在的平面；
根据所述投射偏移量和所述第二参考位置得到所述眼睛投射在所述主摄面上的第一投射位置；
将所述待处理光场图像中对应所述第一投射位置上的像素点，汇聚成构成目标图像的目标像素。
5.根据权利要求4所述的方法，其特征在于，所述将所述待处理光场图像中对应所述第一投射位置上的像素点，汇聚成构成目标图像的目标像素，包括：
基于所述第一投射位置和所述微摄面中各子孔径的位置，确定成像面中对应各子孔径的投射区域；
对所述待处理光场图像中位于各投射区域的像素进行汇聚，得到所述目标像素。
6.根据权利要求1至3任一项所述的方法，其特征在于，所述方法包括：
对至少两个所述空间位置中各空间位置对应的目标图像取交集，得到参考图像；
根据所述待处理光场图像的尺寸，对所述参考图像进行尺寸调整，得到展示图像，并展示所述展示图像。
7.一种图像处理装置，其特征在于，应用于电子设备，所述装置包括：
获取模块，用于获取眼睛的空间位置；
确定模块，用于确定所述空间位置在所述电子设备上的投影位置；确定所述投影位置相对于所述电子设备上的第一参考位置的偏移量，得到所述眼睛在电子设备上的所述投影偏移量；确定所述空间位置与投影位置之间的距离，得到所述眼睛与所述电子设备之间的投影距离；
重构模块，用于根据所述投影偏移量对待处理光场图像的像素进行重构，得到构成目标图像的目标像素，并根据所述投影距离得到所述目标像素的目标亮度；
图像模块，用于基于所述目标像素的目标亮度，得到所述目标图像；
其中，所述重构模块，还用于：
将所述投影距离作为第二关系式的可变参数的值，得到成像面与虚拟成像面之间的距离；
根据所述成像面与虚拟成像面之间的距离和所述成像面相对于微摄面的第一相对位置，得到所述虚拟成像面相对于所述微摄面的第二相对位置；
根据所述第二相对位置，得到所述目标像素的目标亮度；
其中，所述待处理光场图像为将穿过主摄像头的光线穿过由微镜头构成的微透镜阵列，投射到像素传感器上获得的；所述由微镜头构成的微透镜阵列位于所述主摄像头与所述像素传感器之间；所述成像面为所述像素传感器所在的平面；所述微摄面为所述由微镜头构成的微透镜阵列所在的平面；所述目标图像成像于所述虚拟成像面。
8.根据权利要求7所述的装置，其特征在于，所述获取模块，还用于：
构建人脸三维模型；
根据所述眼睛在所述人脸三维模型中的位置，得到所述眼睛的空间位置。
9.根据权利要求8所述的装置，其特征在于，所述获取模块，还用于：
当所述人脸三维模型中包括第一眼睛和第二眼睛，根据所述第一眼睛在所述人脸三维模型中的位置，得到所述第一眼睛的第一空间位置，并根据所述第二眼睛在所述人脸三维模型中的位置，得到所述第二眼睛的第二空间位置；
根据所述第一空间位置和所述第二空间位置得到所述空间位置。
10.根据权利要求7至9任一项所述的装置，其特征在于，所述重构模块，还用于：
将所述投影偏移量作为第一关系式的可变参数的值，得到所述眼睛投射在主摄面上的第一投射位置相对于所述主摄面上的第二参考位置的投射偏移量；所述主摄面为所述主摄像头所在的平面；
根据所述投射偏移量和所述第二参考位置得到所述眼睛投射在所述主摄面上的第一投射位置；
将所述待处理光场图像中对应所述第一投射位置上的像素点，汇聚成构成目标图像的目标像素。
11.根据权利要求10所述的装置，其特征在于，所述重构模块，还用于：
基于所述第一投射位置和所述微摄面中各子孔径的位置，确定成像面中对应各子孔径的投射区域；
对所述待处理光场图像中位于各投射区域的像素进行汇聚，得到所述目标像素。
12.根据权利要求7至9任一项所述的装置，其特征在于，所述装置还包括：展示模块，用于：
对至少两个所述空间位置中各空间位置对应的目标图像取交集，得到参考图像；
根据所述待处理光场图像的尺寸，对所述参考图像进行尺寸调整，得到展示图像，并展示所述展示图像。
13.一种电子设备，其特征在于，包括处理器和配置为存储能够在处理器上运行的计算机程序的存储器，其中，所述处理器配置为运行所述计算机程序时，执行上述权利要求1至6任一项所述的图像处理方法的步骤。
14.一种存储介质，存储有可执行程序，其特征在于，所述可执行程序被处理器执行时，实现上述权利要求1至6任一项所述的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911411929.2A CN113132715B (zh) | 2019-12-31 | 2019-12-31 | 一种图像处理方法、装置、电子设备及其存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911411929.2A CN113132715B (zh) | 2019-12-31 | 2019-12-31 | 一种图像处理方法、装置、电子设备及其存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113132715A CN113132715A (zh) | 2021-07-16 |
| CN113132715B true CN113132715B (zh) | 2023-08-04 |
Family
ID=76770421
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911411929.2A Active CN113132715B (zh) | 2019-12-31 | 2019-12-31 | 一种图像处理方法、装置、电子设备及其存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113132715B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101072366A (zh) * | 2007-05-24 | 2007-11-14 | 上海大学 | 基于光场和双目视觉技术的自由立体显示系统和方法 |
| CN103019507A (zh) * | 2012-11-16 | 2013-04-03 | 福州瑞芯微电子有限公司 | 一种基于人脸跟踪改变视点角度显示三维图形的方法 |
| CN103207664A (zh) * | 2012-01-16 | 2013-07-17 | 联想(北京)有限公司 | 一种图像处理方法和设备 |
| CN105209960A (zh) * | 2013-05-17 | 2015-12-30 | 辉达公司 | 为近眼光场显示器生成图像的系统、方法和计算机程序产品 |
| GB201608076D0 (en) * | 2016-05-09 | 2016-06-22 | Euro Electronics Uk Ltd | Method and apparatus for eye-tracking light field display |
| CN108234994A (zh) * | 2017-12-29 | 2018-06-29 | 上海玮舟微电子科技有限公司 | 一种人眼位置确定方法及装置 |
| CN109683335A (zh) * | 2017-10-19 | 2019-04-26 | 英特尔公司 | 使用眼睛位置的无三维眼镜光场显示 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190281280A1 (en) * | 2017-12-22 | 2019-09-12 | Antimatter Research, Inc. | Parallax Display using Head-Tracking and Light-Field Display |
-
2019
- 2019-12-31 CN CN201911411929.2A patent/CN113132715B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101072366A (zh) * | 2007-05-24 | 2007-11-14 | 上海大学 | 基于光场和双目视觉技术的自由立体显示系统和方法 |
| CN103207664A (zh) * | 2012-01-16 | 2013-07-17 | 联想(北京)有限公司 | 一种图像处理方法和设备 |
| CN103019507A (zh) * | 2012-11-16 | 2013-04-03 | 福州瑞芯微电子有限公司 | 一种基于人脸跟踪改变视点角度显示三维图形的方法 |
| CN105209960A (zh) * | 2013-05-17 | 2015-12-30 | 辉达公司 | 为近眼光场显示器生成图像的系统、方法和计算机程序产品 |
| GB201608076D0 (en) * | 2016-05-09 | 2016-06-22 | Euro Electronics Uk Ltd | Method and apparatus for eye-tracking light field display |
| CN109683335A (zh) * | 2017-10-19 | 2019-04-26 | 英特尔公司 | 使用眼睛位置的无三维眼镜光场显示 |
| CN108234994A (zh) * | 2017-12-29 | 2018-06-29 | 上海玮舟微电子科技有限公司 | 一种人眼位置确定方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113132715A (zh) | 2021-07-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11354840B2 (en) | Three dimensional acquisition and rendering | |
| TWI712918B (zh) | 擴增實境的影像展示方法、裝置及設備 | |
| KR101893047B1 (ko) | 이미지 처리 방법 및 이미지 처리 장치 | |
| US20210241495A1 (en) | Method and system for reconstructing colour and depth information of a scene | |
| WO2020035002A1 (en) | Methods and devices for acquiring 3d face, and computer readable storage media | |
| Im et al. | High quality structure from small motion for rolling shutter cameras | |
| US20120242795A1 (en) | Digital 3d camera using periodic illumination | |
| CN110677621B (zh) | 摄像头调用方法、装置、存储介质及电子设备 | |
| JP2017022694A (ja) | ユーザのデバイスに明視野ベースの画像を表示するための方法および装置ならびに対応するコンピュータプログラム製品 | |
| WO2024007478A1 (zh) | 基于单手机的人体三维建模数据采集与重建方法及系统 | |
| JP6223169B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
| KR20170005009A (ko) | ３ｄ 라돈 이미지의 생성 및 사용 | |
| WO2018032841A1 (zh) | 绘制三维图像的方法及其设备、系统 | |
| JPH11175762A (ja) | 光環境計測装置とそれを利用した仮想画像への陰影付与装置及び方法 | |
| CN113643414A (zh) | 一种三维图像生成方法、装置、电子设备及存储介质 | |
| WO2014008320A1 (en) | Systems and methods for capture and display of flex-focus panoramas | |
| US20200202495A1 (en) | Apparatus and method for dynamically adjusting depth resolution | |
| US10594945B2 (en) | Generating dolly zoom effect using light field image data | |
| CN114004935A (zh) | 通过三维建模系统进行三维建模的方法和装置 | |
| Liu et al. | Stereo-based bokeh effects for photography | |
| JP2016114445A (ja) | ３次元位置算出装置およびそのプログラム、ならびに、ｃｇ合成装置 | |
| CN113132715B (zh) | 一种图像处理方法、装置、电子设备及其存储介质 | |
| Li et al. | Calibrating a camera focused on a long shot using a calibration plate and defocused corner points | |
| Xiao et al. | Flexible Refocusing Method for Camera Arrays Based on Reprojection | |
| Wang et al. | Motion-error-free calibration of event camera systems using a flashing target |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |