CN107566822A - 一种裸眼立体显示的方法、装置及电子设备 - Google Patents
一种裸眼立体显示的方法、装置及电子设备 Download PDFInfo
- Publication number
- CN107566822A CN107566822A CN201710780661.4A CN201710780661A CN107566822A CN 107566822 A CN107566822 A CN 107566822A CN 201710780661 A CN201710780661 A CN 201710780661A CN 107566822 A CN107566822 A CN 107566822A
- Authority
- CN
- China
- Prior art keywords
- coordinate
- camera
- coordinate system
- face
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000006073 displacement reaction Methods 0.000 claims abstract description 71
- 239000011159 matrix material Substances 0.000 claims abstract description 66
- 238000006243 chemical reaction Methods 0.000 claims abstract description 17
- 210000000887 face Anatomy 0.000 claims description 55
- 230000001815 facial effect Effects 0.000 claims description 42
- 238000001514 detection method Methods 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 24
- 230000009466 transformation Effects 0.000 claims description 15
- 241000208340 Araliaceae Species 0.000 claims description 3
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 3
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 3
- 235000008434 ginseng Nutrition 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 29
- 210000003128 head Anatomy 0.000 description 8
- 239000013256 coordination polymer Substances 0.000 description 6
- 238000009434 installation Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000005315 distribution function Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 230000003467 diminishing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明提供了一种裸眼立体显示的方法、装置及电子设备。其中所述方法包括：获取当前用户的用户人脸在一摄像头对应的摄像头坐标系下的第一坐标；根据预先确定的一显示屏幕对应的显示屏幕坐标系与所述摄像头坐标系的原点间位移、以及所述摄像头坐标系相对于显示屏幕坐标系的第一旋转矩阵，将所述第一坐标转换为所述显示屏幕坐标系下的第二坐标；根据所述第二坐标，在所述显示屏幕上对待显示的立体片源进行裸眼立体显示的排图处理。本发明能够减小裸眼立体显示中用户人眼的定位误差，改善裸眼立体显示的显示效果。
Description
本申请为申请日为2015年10月20日、申请号为CN201510685172.1、名称为“一种裸眼立体显示的方法、装置及电子设备”的发明专利申请的分案申请。
技术领域
本发明涉及裸眼立体显示技术领域，具体涉及一种裸眼立体显示的方法、装置及电子设备。
背景技术
在跟踪式的裸眼立体显示中，通常需要一个定位模块(装置)，用于定位到当前用户双眼的三维空间位置，通常是双眼中心点的三维空间位置。然后，根据该空间位置在显示屏幕上进行裸眼立体的排图算法处理和显示，从而将立体片源中的左、右视图精准的投射到用户的左右眼中，达到跟踪-裸眼立体显示效果。
由于种种原因，定位模块实际安装的位置，通常并不在显示屏幕的中心位置，甚至可能距离显示屏幕中心较远，这在智能手机、平板电脑等小尺寸电子设备中尤为常见。当定位模块距离显示屏幕中心较远时，会加剧用户双眼的三维空间位置的定位数据的误差，进而因为定位数据不准，导致显示信号的串扰加大，有效的观看区域相对变小等情况，这给裸眼立体显示带来了不利的影响。
发明内容
本发明实施例要解决的技术问题是提供一种裸眼立体显示的方法、装置及电子设备，用以减小裸眼立体显示中用户人眼的定位误差，改善裸眼立体显示的显示效果。
为解决上述技术问题，本发明实施例提供的裸眼立体显示的方法，包括：
获取当前用户的用户人脸在一摄像头对应的摄像头坐标系下的第一坐标；
根据预先确定的一显示屏幕对应的显示屏幕坐标系与所述摄像头坐标系的原点间位移、以及所述摄像头坐标系相对于显示屏幕坐标系的第一旋转矩阵，将所述第一坐标转换为所述显示屏幕坐标系下的第二坐标；
根据所述第二坐标，在所述显示屏幕上对待显示的立体片源进行裸眼立体显示的排图处理；
其中，所述获取当前用户的用户人脸在一摄像头对应的摄像头坐标系下的第一坐标的步骤，包括：
建立从一预先确定的标准人脸的标准坐标，到当前用户的人脸图像的像素坐标的函数关系，其中，所述标准人脸位于摄像头坐标系的XY平面，且假定当前用户的人脸位置由所述标准人脸在按照一第二旋转矩阵旋转并发生了第一位移后得到，所述第二旋转矩阵和第一位移是未知参数，所述函数关系中人脸图像的像素坐标是关于所述未知参数的函数；
获取摄像头采集到的当前用户的人脸图像，检测得到所述人脸图像的像素坐标，并确定所述像素坐标对应的标准坐标；
根据检测得到的所述像素坐标以及所述像素坐标对应的标准坐标，对所述函数关系中的未知参数进行求解，得到所述第二旋转矩阵和第一位移；
将所述第一位移，作为用户人脸在所述摄像头坐标系下的第一坐标。
进一步地，所述第一旋转矩阵为所述摄像头坐标系相对于显示屏幕坐标系在三个轴向的三个旋转矩阵的乘积。
进一步地，所述第一坐标为当前用户双眼之间的中心点在所述摄像头坐标系下的坐标。
进一步地，所述建立从一预先确定的标准人脸的标准坐标，到当前用户的人脸图像的像素坐标的函数关系的步骤包括：
根据所述第二旋转矩阵和第一位移，建立当前用户的用户人脸的实际坐标与所述标准人脸的标准坐标的坐标转换关系；
根据预先确定的摄像头的内部参数，建立用户人脸的实际坐标到用户人脸在图像坐标系的像素坐标的投影关系；
根据所述坐标转换关系和所述投影关系，确定从标准人脸的标准坐标到用户人脸的像素坐标的函数关系，所述函数关系以所述第二旋转矩阵和第一位移为待求参数。
进一步地，所述根据检测得到的所述像素坐标以及所述像素坐标对应的标准坐标，对所述函数关系中的未知参数进行求解的步骤，包括：
对所述函数进行泰勒展开，得到一泰勒展开式；
为所述未知参数设定一初始值，并通过最小二乘法，对所述泰勒展开式进行迭代更新的循环运算，求解得到所述未知参数。
本发明实施例还提供一种裸眼立体显示的装置，包括：
坐标获取单元，用于获取当前用户的用户人脸在一摄像头对应的摄像头坐标系下的第一坐标；
坐标转换单元，用于根据预先确定的一显示屏幕对应的显示屏幕坐标系与所述摄像头坐标系的原点间位移、以及所述摄像头坐标系相对于显示屏幕坐标系的第一旋转矩阵，将所述第一坐标转换为所述显示屏幕坐标系下的第二坐标；
排图单元，用于根据所述第二坐标，在所述显示屏幕上对待显示的立体片源进行裸眼立体显示的排图处理；
所述坐标获取单元包括：
建模单元，用于建立从一预先确定的标准人脸的标准坐标，到当前用户的人脸图像的像素坐标的函数关系，其中，所述标准人脸位于摄像头坐标系的XY平面，且假定当前用户的人脸位置由所述标准人脸在按照一第二旋转矩阵旋转并发生了第一位移后得到，所述第二旋转矩阵和第一位移是未知参数，所述函数关系中人脸图像的像素坐标是关于所述未知参数的函数；
检测单元，用于获取摄像头采集到的当前用户的人脸图像，检测得到所述人脸图像的像素坐标，并确定所述像素坐标对应的标准坐标；
求解单元，用于根据检测得到的所述像素坐标以及所述像素坐标对应的标准坐标，对所述函数关系中的未知参数进行求解，得到所述第二旋转矩阵和第一位移，将所述第一位移，作为用户人脸在所述摄像头坐标系下的第一坐标。
进一步地，所述第一旋转矩阵为所述摄像头坐标系相对于显示屏幕坐标系在三个轴向的三个旋转矩阵的乘积。
8.如权利要求6所述的方法，其特征在于，所述第一坐标为当前用户双眼之间的中心点在所述摄像头坐标系下的坐标。
进一步地，所述建模单元具体用于：
根据所述第二旋转矩阵和第一位移，建立当前用户的用户人脸的实际坐标与所述标准人脸的标准坐标的坐标转换关系；
根据预先确定的摄像头的内部参数，建立用户人脸的实际坐标到用户人脸在图像坐标系的像素坐标的投影关系；
根据所述坐标转换关系和所述投影关系，确定从标准人脸的标准坐标到用户人脸的像素坐标的函数关系，所述函数关系以所述第二旋转矩阵和第一位移为待求参数。
进一步地，所述求解单元具体用于：
对所述函数进行泰勒展开，得到一泰勒展开式；
为所述未知参数设定一初始值，并通过最小二乘法，对所述泰勒展开式进行迭代更新的循环运算，求解得到所述未知参数。
本发明实施例还提供一种裸眼立体显示的电子设备，包括：
壳体、处理器、存储器、显示屏幕、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为电子设备的各个电路或器件供电；存储器用于存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于执行以下步骤：
获取当前用户的用户人脸在一摄像头对应的摄像头坐标系下的第一坐标；
根据预先确定的一显示屏幕对应的显示屏幕坐标系与所述摄像头坐标系的原点间位移、以及所述摄像头坐标系相对于显示屏幕坐标系的第一旋转矩阵，将所述第一坐标转换为所述显示屏幕坐标系下的第二坐标；
根据所述第二坐标，在所述显示屏幕上对待显示的立体片源进行裸眼立体显示的排图处理；
其中，所述获取当前用户的用户人脸在一摄像头对应的摄像头坐标系下的第一坐标的步骤，包括：
建立从一预先确定的标准人脸的标准坐标，到当前用户的人脸图像的像素坐标的函数关系，其中，所述标准人脸位于摄像头坐标系的XY平面，且假定当前用户的人脸位置由所述标准人脸在按照一第二旋转矩阵旋转并发生了第一位移后得到，所述第二旋转矩阵和第一位移是未知参数，所述函数关系中人脸图像的像素坐标是关于所述未知参数的函数；
获取摄像头采集到的当前用户的人脸图像，检测得到所述人脸图像的像素坐标，并确定所述像素坐标对应的标准坐标；
根据检测得到的所述像素坐标以及所述像素坐标对应的标准坐标，对所述函数关系中的未知参数进行求解，得到所述第二旋转矩阵和第一位移；
将所述第一位移，作为用户人脸在所述摄像头坐标系下的第一坐标。
与现有技术相比，本发明实施例提供的裸眼立体显示的方法及装置，通过对定位数据坐标系的转换处理，提高了人脸定位的准确性，减小了定位误差，从而改善了后续的立体显示效果。并且，本发明实施例还通过引入用户侧脸处理机制，充分考虑用户人脸偏转角度的影响，提高了用户人脸的坐标定位的准确性，进一步改善了后续的裸眼立体显示效果。另外，本发明实施例还通过对切变点的颜色值调整等处理，可以改善因人脸定位数据的误差导致的显示效果变差的问题，并且通过随机惩罚系数或随机惩罚位置，减少了切变点的串扰现象和摩尔纹的产生，提高了裸眼立体显示效果，改善了用户的观看体验。
附图说明
图1为本发明实施例一提供的裸眼立体显示的方法的流程示意图；
图2为本发明实施例中定位摄像头偏离屏幕中心的示意图；
图3A和图3B分别为用户人脸的正面图像和侧面图像的示意图；
图4为本发明实施例二提供的裸眼立体显示的方法的流程示意图；
图5为本发明实施例三提供的裸眼立体显示的方法的流程示意图；
图6为本发明实施例四提供的裸眼立体显示的方法的流程示意图；
图7为本发明实施例五提供的裸眼立体显示的装置的结构示意图。
具体实施方式
在很多应用跟踪-裸眼立体显示技术的电子设备中，用于定位人眼位置的定位模块通常并不是安装在显示屏幕的中心位置，在直接使用该定位模块获得的定位数据进行裸眼立体显示时，会因为定位数据误差较大，导致显示信号的串扰加大，有效的观看区域相对变小等不利情况。针对这种情况，本发明实施例提供了一种裸眼立体显示方法，可以减小上述定位数据的误差，改善裸眼立体显示效果。为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
<实施例一>
请参照图1，本发明实施例提供的裸眼立体显示的方法，包括以下步骤：
步骤11，获取当前用户的用户人脸在一摄像头对应的摄像头坐标系下的第一坐标。
这里，本发明实施例通过定位模块的摄像头，来实时跟踪并检测用户人脸在摄像头坐标系下的三维空间位置坐标。具体的，第一坐标的获取方式有多种，例如，可以通过单个摄像头采集人脸的面部画面，并结合激光测距或红外测距等方式，确定人脸的坐标；又例如，可以是通过两个摄像头采集人脸的面部画面，并利用定位算法确定人脸在其中一个摄像头坐标系下的坐标；再例如，用户可以佩戴有设置有多个LED的眼镜，通过单个摄像头采集LED的图像，进而根据多个LED之间的位置关系，确定人脸的位置坐标，等等。这里可以采用各种现有技术，获取上述第一坐标，本发明实施例对此不作具体限定。
另外，在裸眼立体显示的排图算法中，通常是利用用户双眼的中心点的位置坐标进行排图处理，因此上述第一坐标可以是当前用户双眼之间的中心点在所述摄像头坐标系下的坐标。
步骤12，根据预先确定的一显示屏幕对应的显示屏幕坐标系与所述摄像头坐标系的原点间位移、以及所述摄像头坐标系相对于显示屏幕坐标系的第一旋转矩阵，将所述第一坐标转换为所述显示屏幕坐标系下的第二坐标。
这里，显示屏幕坐标系以显示屏幕的中心点为原点，上述摄像头坐标系和显示屏幕坐标系可以都是基于右手坐标系，假设xp-yp平面为显示屏幕所在平面，z轴垂直于显示屏幕所在平面。两个坐标系的原点之间的位移(原点间位移)，可以直接通过测量获得，而第一旋转矩阵则可以通过现有技术的摄像头外部参数校正的方式来测量获得，此处不再赘述。
图2给出了上述摄像头坐标系与显示屏幕坐标系的一个具体示例，图2中手机20为横置放置，其中定位模块通过手机20的前置摄像头21来跟踪采集用户人脸位置坐标。图2示出了前置摄像头21对应的摄像头坐标系xc-yc-zc和显示屏幕坐标系xp-yp-zp。其中，摄像头坐标系xc-yc-zc的原点为C，显示屏幕坐标系xp-yp-zp的原点为P。因此，定位模块的摄像头21采集的第一坐标，是以C为原点的坐标数据，而实际显示屏幕的原点为C，因此需要对第一坐标进行坐标系的修正，具体可以通过以下公式(1)进行坐标转换：
上述公式(1)中，(x,y,z)是以C为原点的第一坐标的定位数据；(xCP,yCP,zCP)是两个坐标系的原点间位移，即C点相当于P点位移；(x′,y′,z′)是修正后的定位数据(修正为以P为原点)。
但实际情况下，摄像头21由于设计、安装等误差因素，其坐标轴并不一定完全平行于屏幕的坐标轴，因此在上述公式(1)的基础上，需要进一步考虑旋转的因素：
其中Rγ,Rβ,Rα分别表示摄像头坐标系相对于屏幕坐标系在z、y和x三个轴向上的旋转参数(每个旋转参数均为一3*3的矩阵)，RγRβRα表示摄像头坐标系相对于显示屏幕坐标系的第一旋转矩阵，即第一旋转矩阵为所述摄像头坐标系相对于显示屏幕坐标系在三个轴向的三个旋转矩阵的乘积。
通过上述公式(2)，通过三个轴向上的位移、旋转参数，可将摄像头坐标系下的定位数据修正到屏幕坐标系。通常来说，位移参数(xCP,yCP,zCP)对于同一型号的设备来说，大多是比较接近的，可以看作是一个固定值；而旋转参数(Rγ,Rβ,Rα)却并不固定，需要针对每个具体设备做一次外部参数校正来获得。
步骤13，根据所述第二坐标，在所述显示屏幕上对待显示的立体片源进行裸眼立体显示的排图处理。
这里，在获得修正后的所述第二坐标后，可以对立体片源中的左视图和右视图进行排图处理和显示，例如，可以根据所述第二坐标以及预定的排图周期，确定显示屏幕上各个显示单位的显示属性，所述显示属性包括用于指示显示立体片源中的左图或右图的左右图标签和用于指示显示位置点的显示单位索引，所述显示单位可以是像素或子像素；然后，根据各个显示单位的显示属性和待显示的立体片源，确定各个显示单位需要显示的颜色值并进行显示，从而以将立体片源中的左、右视图精准的投射到用户的左右眼中，实现跟踪-裸眼立体的显示效果。
从以上步骤可以看出，本发明实施例考虑到定位模块的摄像头的安装位置通常偏离于显示屏幕的中心，而用户却习惯于正对显示屏幕进行观看这一因素，根据两个坐标系之间的旋转关系和位移关系，对定位模块获得用户人脸坐标进行修正，利用修正后的坐标进行排图处理，使得排图结果与观众的正对显示屏幕的观看习惯相符，从而减小了定位数据的相对误差和显示单位间的串扰，可以增大有效的观看区域，改善立体显示效果。
<实施例二>
在仅采用单个摄像头实时跟踪人脸时，通常需要预先建立并保存一个标准人脸在摄像头坐标系下的坐标数据，在跟踪人脸时，基于实际采集到的用户人脸图像和该标准人脸的坐标数据，确定用户人脸的实际位置。
上述标准人脸用于模拟用户的正脸，例如，可以基于大量样本用户人脸的统计平均数据，确定出标准人脸的形状大小等数据，如双眼瞳距为65mm等。然后，假定该标准人脸正对摄像头，此时采集该标准人脸在摄像头坐标系下的坐标数据(下面称作标准坐标)并保存。这里，所述的正对摄像头可以是标准人脸双眼之间的中心点与摄像头坐标系的原点重合。在实际处理中，通常选取人脸上的多个标记点的坐标来作为人脸的坐标数据，具体的标记点可以通过人脸跟踪算法得到。
实际应用中，定位模块的摄像头的安装位置通常偏离于显示屏幕的中心，而用户却习惯于正对显示屏幕进行观看，因此定位模块跟踪人脸时，通常采集到的是用户的侧脸图像，而非正脸图像。图3A示出了摄像头时采集到的一种正面图像，图3B示出了摄像头采集到的一种侧面图像。可以看出，用户侧面图像相对于正面图像发生了一定角度的旋转。
如上所述，标准人脸是模拟用户的正脸，而摄像头采集到的人脸图像可能是用户正脸旋转某个角度后的侧脸。本发明实施例在基于标准人脸的坐标数据确定用户人脸的实际位置时，考虑到上述旋转的影响，提高了裸眼立体显示中人脸跟踪的坐标精度，进而可以改善后续的裸眼立体显示效果。下面将结合附图进一步说明。
请参照图4所示，本实施例提供的裸眼立体显示的方法，包括以下步骤：
步骤41，建立从标准人脸的标准坐标到当前用户的人脸图像的像素坐标的函数关系，其中，假定当前用户的人脸位置由所述标准人脸在按照一第二旋转矩阵旋转并发生了第一位移后得到，所述第二旋转矩阵和第一位移是未知参数，所述函数关系中人脸图像的像素坐标是关于所述未知参数的函数。
这里，在仅采用单个摄像头进行人脸的空间坐标检测时，不能直接检测得到人脸的实际坐标，需要依靠预先建立的标准人脸的坐标数据，按照上述函数关系，求解得到人脸的空间坐标。由于人脸图像包括有多个标记点，因此，上述函数关系是针对人脸中的多个标记点建立的，例如，可以针对人脸图像中的所有标记点来建立上述函数关系。另外，由于标准人脸是正对摄像头，且双眼中心点与摄像头坐标系的原点重合，因此上述第二位移可以作为当前用户实际人脸双眼之间的中心点的空间位置坐标，这也是最终需要求解得到的空间坐标参数。
步骤42，获取摄像头采集到的当前用户的人脸图像，检测得到所述人脸图像的像素坐标，并确定所述像素坐标对应的标准坐标。
这里，人脸图像的像素坐标是图像坐标系下的坐标。人脸图像上的标记点可以通过人脸跟踪算法得到，进而可以检测得到人脸图像上各个标记点的像素坐标，然后可以在标准人脸的坐标数据中查找到各个标记点对应的标准坐标，即确定了同一标记点在人脸图像的像素坐标以及在标准人脸中的标准坐标。
步骤43，根据检测得到的所述像素坐标以及所述像素坐标对应的标准坐标，对所述函数关系中的未知参数进行求解，得到所述第二旋转矩阵和第一位移，并将所述第一位移作为用户人脸在所述摄像头坐标系下的第一坐标。
这里，利用多个标记点在人脸图像的像素坐标以及在标准人脸中的标准坐标，对所述函数关系中的未知参数进行求解，可以得到第二旋转矩阵和第一位移的数值，并根据求解得到的第一位移，确定用户人脸的实际坐标(即第一坐标)。在上述求解过程中，不仅仅考虑到标准人脸与用户人脸之间的位移，还同时考虑了摄像头偏离显示屏幕中心所造成的侧面图像问题，由于是同时针对包括第二旋转矩阵和第一位移的未知参数进行求解，使得求解得到的结果更能准确的反映出用户人脸的实际空间位置，提高了用户人脸位置检测的准确性。
步骤44，根据预先确定的显示屏幕坐标系与所述摄像头坐标系的原点间位移、以及所述摄像头坐标系相对于显示屏幕坐标系的第一旋转矩阵，将所述第一坐标转换为所述显示屏幕坐标系下的第二坐标。
步骤45，根据所述第二坐标，在所述显示屏幕上对待显示的立体片源进行裸眼立体显示的排图处理。
这里，进一步考虑到摄像头的安装位置通常偏离于显示屏幕的中心，因此，在获得用户人脸的空间坐标(第一坐标)后，本实施例在上述步骤44～45中，按照类似于实施例一中的处理方式，将所述第一坐标转换为所述显示屏幕坐标系下的第二坐标，然后，再根据所述第二坐标，在所述显示屏幕上进行排图，以进一步克服上述安装位置偏离屏幕中心所带来的定位数据误差，从而可以改善显示屏幕上显示单位间的串扰，增大显示屏幕的有效观看区域，提高用户的裸眼立体观看体验。
上述步骤41中，本发明实施例建立了以第二旋转矩阵和第一位移为未知参数的所述函数关系，具体建立过程可以包括：
步骤411，根据所述第二旋转矩阵和第一位移，建立当前用户的用户人脸的实际坐标与所述标准人脸的标准坐标的坐标转换关系。
这里，假设用户人脸是由标准人脸按照第二旋转矩阵旋转后并移动第一位移后得到的，因此，可以得到以下公式(3)：
其中，(xm,ym,zm)是摄像头坐标系下标准人脸的标记点的坐标，(xc,yc,zc)是摄像头坐标系下用户人脸上对应的标记点的坐标，R，T分别表示当前人脸的旋转矩阵和位移，也是待求解的未知数。需要指出的是，这里的(xc,yc,zc)是仅依靠单个摄像头无法测量得到的参数，在本实施例的运算过程中相当于一个将用户人脸图像的像素坐标与标准人脸的标准坐标关联起来的中间变量。
步骤412，根据预先确定的摄像头的内部参数，建立用户人脸的实际坐标到用户人脸在图像坐标系的像素坐标的投影关系。
这里，摄像头内部参数包括有(fx,fy,px,py)，其中，fx，fy分别表示摄像头在成像时在图像平面x轴和y轴上的焦距，(px,py)则表示图像平面上的主点坐标。摄像头的内部参数可以查阅摄像头的产品说明或按照现有技术的测量方法测得，此处不再赘述。通过实际坐标到像素坐标的投影关系变换，可以得到以下公式(4)：
其中，(u,v)是人脸图像中的标记点的像素坐标。
步骤413，根据所述坐标转换关系和所述投影关系，确定从标准人脸的标准坐标到用户人脸的像素坐标的函数关系，所述函数关系以所述第二旋转矩阵和第一位移为待求参数。
这里，通过以上步骤411～412，可以建立以下关系：
通过对上述公式(3)(4)进行数学变换，可以消除(xc,yc,zc)，得到标记点的标准坐标(xm,ym,zm)与该标记点对应的像素坐标(u,v)之间的函数关系。这里，标记点的标准坐标是预先确定的，而像素坐标则可以通过软件跟踪算法检测得到，因此该函数关系中的R，T是未知参数。因此，本实施例在步骤43中，可以利用步骤42中获得的人脸中的多个标记点在人脸图像的坐标值(像素坐标)和标准人脸中的坐标值(标准坐标)，通过各种已有的数学求解方法，求解得到第二旋转矩阵R和第一位移T的数值。
接下来说明本实施例基于最小二乘法的求解过程，对上述步骤43的求解进行详细说明。需要指出的是，该求解过程仅是本发明可以采用的其中一种方法，并不用于限制本发明，本发明可以采用各种已有的数学算法来进行求解。例如，在上述步骤43中，先对所述函数进行泰勒展开，得到一泰勒展开式；然后，为所述未知参数设定一初始值，并通过最小二乘法，对所述泰勒展开式进行迭代更新的循环运算，最终求解得到所述未知参数。
下面通过公式来对上述求解过程进行详细描述。为了简化运算，可以对上述公式(4)进行以下变换得到公式(5)，以将像素坐标(u,v)变换为(u′,v′)，这里将(u′,v′)称为经过摄像头内部参数修正后的标记点像素坐标：
求解过程就是通过检测出来的人脸标记点像素坐标(u,v)和预设的人脸标记点空间坐标(xm,ym,zm)，计算得到未知数(R,T)。这里，将未知参数设为k＝[α,β,γ,Tx,Ty,Tz]T，并令这里，第二旋转矩阵R可以用α,β,γ来表示，而α,β,γ分别表示用户人脸相对于标准人脸在摄像头坐标系的x、y、z轴上的旋转角度，Tx,Ty,Tz则分别表示按照第二旋转矩阵旋转后的标准人脸移动至用户人脸处，在摄像头坐标系的x、y、z轴方向上的位移量。
然后，按照对f(n)进行泰勒展开，可以得到以下公式：
其中，上述多项式为函数f(k)在k1处的泰勒展开式，f(n)(k1)表示f(k)在k1处的n阶导数，Rn(k)是泰勒展开式的余项。考虑到计算量和误差允许范围，这里仅取上述多项式的前两项进行后续计算，即得到如下公式(6)：
根据最小二乘法的迭代公式，将上述公式(6)最终转换下面的迭代公式(7)：
上述公式中，J为一2s×6的矩阵，s表示参与计算的标记点的数量。JT表示J的转置矩阵，J-1表示J的逆矩阵：
其中，Ji表示如下，这里，1≤i≤s：
Ji是对k的偏导矩阵，表示函数f(k)沿着k各个参数方向的一个下降方向。ui′，vi′分别表示第i个经摄像头内部参数修正后的标记点像素坐标。
在得到上述迭代公式(7)之后，可以通过迭代更新计算，求解出未知参数k，具体的迭代更新过程如下：
步骤a，给未知参数k设定一初始值，并作为k1，即此时kj的下标j＝1。初始值的设置可以根据具体应用场景中用户距离显示屏幕的大概距离以及用户人脸相对于显示屏幕的偏转情况来设置。
步骤b，根据上述公式(8)和公式(9)计算J。
步骤c，根据上述公式(7)，计算kj+1。
步骤d，根据步骤c中计算得到的kj+1，判断是否满足预定退出条件：若是，则退出循环，并根据当前的kj+1，确定第一位移T的计算结果；若否，则将j加1后返回上述步骤b。
这里，步骤d中的退出条件可以是循环次数j达到预定门限，或者是kj+1-kj的差值小于一预设第一阈值，或者是的差值小于一预设第二阈值，等等。
通过上述迭代更新得到的第一位移T的计算结果，可以作为用户人脸的双眼之间的中心点的空间位置坐标。由于上述计算过程中，将用户人脸的偏转和位移一同考虑并进行求解，可以有效减小人脸定位的误差，从而改善后续的裸眼立体显示效果，提高用户的观看体验。
另外，作为一种可选实施方式，本实施例在上述步骤43中获得所述第一坐标之后，也可以直接根据该第一坐标进行裸眼立体的排图处理，而不再将第一坐标转换为第二坐标。由于通过上述步骤41～43处理后得到的第一坐标在一定程度上降低了人脸空间定位数据的误差，因此也可以在一定程度上改善跟踪-裸眼立体的显示效果。
<实施例三>
由于用户人脸的定位误差是无法完全消除的，因此在裸眼立体显示中，除了尽量减小该定位误差外，还可以通过对排图算法进行优化，来改善因定位误差导致的立体效果变差的问题。
下表1给出了排图算法处理后的各个显示单位的显示内容的一个示例。
| L1 | L2 | L3 | R4 | R5 | R6 | L7 | L8 | L9 | R10 | R11 | R12 | … |
表1
以上表1为例，每个小方格表示一个显示单位(可以是像素或子像素)，每个方格里的文字内容表示该显示单位的显示属性，具体包括：左右图标签和显示单位索引。这里，用L表示显示左视图，R表示显示右视图；数字则表示显示单位索引，即水平从左往右的一个索引。左右图标签是表示该显示单位上应该使用立体片源中的左图信息还是右图信息。
假设上表中(L1,L2,L3,R4,R5,R6)为一个排图周期，(L7,L8,L9,R10,R11,R12)是接下来的一个排图周期。不同的裸眼立体屏幕会有不同的排图周期，这里举例的是以6个显示单位为周期。按照传统的排图算法，L1的位置上将会被赋值左图的第一个颜色值，R4的位置上将会被赋值右图的第四个颜色值，以此类推。
发明人发现，在相邻显示单位的左右图标签发生变化的位置(本文称作切变点)，如上表中的L3，R4，R6，L7，L9，R10…这些位置上，其颜色值将会很大程度上影响最后的串扰效果。为了减少串扰影响改善显示效果，本实施例提供了一种裸眼立体显示的方法，如图5所示，包括以下步骤：
步骤51，根据显示屏幕上各个显示单位的显示属性，从待显示的立体片源中获得各个显示单位对应的颜色值，其中，所述显示属性包括用于指示显示左图或右图的左右图标签和用于指示显示位置点的显示单位索引。
这里，立体片源中包括有左右视图，每个显示单位可能显示其中的左视图或右视图，所述显示单位具体可以是像素或子像素。每个显示单位所显示的内容，可以通过用户人脸的当前位置坐标和预先设定的排图算法，来确定各个显示单位的显示属性，该属性包括左右图标签和显示单位索引，根据该显示属性，可以确定各个显示单位显示左视图还是右视图，以及显示对应视图中的哪个位置点的内容。
步骤52，选择出所述显示单位中的部分切变点或全部切变点，并对所选择的切变点颜色值进行调整，使所选择的切变点对应的颜色值降低或减小切变点中相邻两个显示单位间的颜色值的差值，其中，所述切变点包括左右图标签不同的相邻显示单位。
步骤53，根据调整后的各个显示单位当前对应的颜色值，进行颜色显示。
这里，显示屏幕上的显示单位是按照排图算法中的排图周期，周期性的显示若干数量的左视图以及右视图，从而造成相邻显示单位之间可能显示不同的视图，即形成上述切变点。这里的相邻是指显示屏幕上的同一行显示单位之间的相邻关系。本实施例通过修改切变点涉及的显示单位的颜色值，例如，降低其颜色值或减小切变点的相邻两个显示单位的颜色值的差，可以减少立体显示中的串扰影响，进而减弱因人脸定位误差导致的不良的立体显示效果。
具体的，在上述步骤52中，可以将所选择的切变点的颜色值与第一惩罚系数相乘，得到调整后的颜色值，以使所选择的切变点的颜色值降低。这里，第一惩罚系数为大于0且小于1的一常数。这种颜色值的调整方式是直接降低切变点的颜色值，可以看作是一种绝对惩罚。例如，按照以下公式(10)进行调整：
C′＝C*e1 (10)
其中C是调整前该切变点的颜色值，C′是调整后切变点的颜色值，e是惩罚系数，e1通常是0.0～1.0之间的一个常数，根据不同的裸眼立体显示屏幕的特性，可以设置不同的e1值。e1具体的设置值可以结合根据在不同e1值的串扰测量结果来最终选择。
例如，可以对上表1中的L3位置的颜色值进行上述调整，类似的，还可以将同样的调整算法应用到R4上，以此类推。
在上述步骤52中，也可以将切变点中相邻两个显示单位中的一个显示单位的颜色值减去一调整值，以及，将另一个显示单位的第一颜色值加上所述调整值，得到调整后的颜色值，以减小切变点中相邻两个显示单位间的颜色值的差值。这里，所述调整值为该相邻两个显示单位当前颜色值的差值与一第二惩罚系数的乘积，第二惩罚系数为大于0且小于1的一常数。这种颜色值的调整可以改变相邻两个显示单位间的颜色值的差值，因此可以看作是一种相对惩罚。这种调整方式通过减少切变点相邻显示单位的颜色差的差异程度，从而减弱串扰效果。一般来说左右图的颜色差别越大，串扰效果越明显。如果颜色差别越小，串扰就会减小，因此可以只在切变点上减少颜色差，这样可以减弱串扰效果，同时也不会明显改变左右图的本身的区别。例如，按照以下公式(11)进行调整：
其中，CL,CR是某个切变点调整前的两个显示单位的颜色值，e2为惩罚系数，通常为0.0～1.0之间的一常数，C′L,C′R是调整后的两个显示单位的颜色值。
例如，可以对上表1中的L3，R4位置的颜色值进行上述调整，类似的，还可以将同样的调整算法应用到R6，L7位置上，以此类推。
以上介绍的两种调整方式中，e1和e2均是常数。当对所有切变点都进行上述调整时，这种调整(或惩罚)都是基于显示单位的物理位置，将呈现出一定的规律性，即惩罚的位置是周期的规律的分布在显示屏幕上，例如，每隔半个排图周期出现一次。这种周期规律性的现象与显示面板外的光栅的周期规律叠加在一块，有可能产生摩尔纹的现象，而摩尔纹会降低立体画面的显示质量。因此，本实施例进一步对以上调整方式进行改进，例如，改变上述e1/e2，使之不再为一个固定值，而是一个0.0～1.0之间的随机值。当随机变量x服从一个位置参数为μ、尺度参数为σ的概率分布，且其概率密度函数为：
则该随机变量x即为正态随机变量，即可以表示为x～N(μ,σ)。因此，本实施例中可以采用e1～N(μ,σ)的第一惩罚系数或者e2～N(μ,σ)的第二惩罚系数。即，e1/e2为符合正态分布的一可变值。当然，本实施例还可以选择e1/e2为满足均匀分布函数、泊松分布函数、指数分布函数等等的一可变值。然后，再利用以上公式(10)或(11)，对切变点的颜色值进行调整，由此得到的调整后的颜色值能够减少摩尔纹现象的产生，改善立体显示的效果。
本实施例在上述步骤52中，可以对显示屏幕上所有切变点都进行颜色值的调整处理，也可以仅对部分切变点进行颜色值调整。在仅对部分切变点进行颜色值调整时，可以任意选择需要进行颜色值调整的切变点，例如随机选择切变点，即本实施例可以不再在固定的显示单位上进行颜色值调整。
以上表1为例，原本在L3,R4,R6,L7,L9,R10...这些本该进行颜色值调整的位置上，按照一种随机值来决定是否进行调整。即，通过一种随机选择算法，从切变点中选择需要调整的切变点，进而利用上述公式(10)或(11)进行颜色值的调整。这里，上述公式(10)或(11)中的e1/e2可以是0.0～1.0之间的常数或可变值。这样，通过采用随机的惩罚系数或惩罚位置，本实施例可以达到降低串扰，减弱摩尔纹的效果，从而改善因人眼定位不准确导致的不良显示问题，提高用户的立体观看体验。
<实施例四>
请参照图6，本发明实施例提供的裸眼立体显示的方法，包括以下步骤：
步骤61，获取当前用户的用户人脸在一摄像头对应的摄像头坐标系下的第一坐标。
这里，本发明实施例通过定位模块的摄像头，来实时跟踪并检测用户人脸在摄像头坐标系下的三维空间位置坐标。具体的，第一坐标的获取方式有多种，可以利用各种已有技术，还可以参照实施例二中的步骤41～43,来获取第一坐标，以减小因定位装置偏离显示屏幕中心位置引起的人脸空间位置的定位误差，为节约篇幅，此处不再赘述。
步骤62，根据预先确定的显示屏幕对应的显示屏幕坐标系与所述摄像头坐标系的原点间位移、以及所述摄像头坐标系相对于显示屏幕坐标系的第一旋转矩阵，将所述第一坐标转换为所述显示屏幕坐标系下的第二坐标。
这里，可以参照实施例一中的步骤12，将第一坐标转换为第二坐标，以减小人脸定位数据的误差，为节约篇幅，此处不再赘述。
步骤63，根据所述第二坐标以及预定的排图周期，确定显示屏幕上各个显示单位的显示属性，所述显示属性包括用于指示显示立体片源中的左图或右图的左右图标签和用于指示显示位置点的显示单位索引。
步骤64，根据各个显示单位的显示属性和待显示的立体片源，确定各个显示单位需要显示的颜色值并进行显示。
这里，上述步骤64具体可以包括：
步骤641，根据各个显示单位的显示属性，从所述立体片源中获得各个显示单位对应的第一颜色值；
步骤642，选择出所述显示单位中的部分切变点或全部切变点，并对所选择的切变点颜色值进行调整，使所选择的切变点对应的颜色值降低或减小切变点中相邻两个显示单位间的颜色值的差值，其中，所述切变点包括左右图标签不同的相邻显示单位；
步骤642，根据调整后的各个显示单位当前对应的颜色值，进行颜色显示。
在上述步骤642中，当需要选择部分切变点进行颜色值调整时，可以从全部切合点中随机选择出部分切变点；当需要使所选择的切变点的颜色值降低时，可以将所选择的切变点的颜色值与第一惩罚系数相乘，从而得到调整后的颜色值；当需要减小切变点中相邻两个显示单位间的颜色值的差值时，可以将切变点中相邻两个显示单位中的一个显示单位的颜色值减去一调整值，以及，将另一个显示单位的第一颜色值加上所述调整值，得到调整后的颜色值，其中，所述调整值为该相邻两个显示单位当前颜色值的差值与一第二惩罚系数的乘积；
上述第一惩罚系数和第二惩罚系数均为大于0且小于1的一常数或随机数。其中，在采用随机数作为第一/第二惩罚系数时，可以进一步减少或避免摩尔纹的产生，改善立体显示效果。这里，可以选择符合正态随机分布、泊松分布、指数分布等分布函数的随机数，作为第一/第二惩罚系数。
本实施例通过对切变点颜色值进行调整，可以减轻因人脸定位数据误差导致的不良显示问题。另外，当采用随机选择的部分切变点进行颜色值调整和/或采用随机数作为惩罚系数的调整方式，能够进一步减少或避免摩尔纹的产生，改善立体显示效果，提高用户的立体观看体验。并且，本实施例可以通过坐标系修正(第一坐标转换为第二坐标)以及侧脸处理机制(参考实施例二)，减小人脸空间位置的定位误差，改善了后续基于人脸空间位置的排图处理的立体显示效果。
<实施例五>
基于以上实施例所提供的裸眼立体显示的方法，本实施例提供了一种用以实现上述方法的装置。请参照图7，本实施例提供的裸眼立体显示的装置，包括：
坐标获取单元71，用于获取当前用户的用户人脸在一摄像头对应的摄像头坐标系下的第一坐标。
这里，所述第一坐标优选为当前用户双眼之间的中心点在所述摄像头坐标系下的坐标。
坐标转换单元72，用于根据预先确定的一显示屏幕对应的显示屏幕坐标系与所述摄像头坐标系的原点间位移、以及所述摄像头坐标系相对于显示屏幕坐标系的第一旋转矩阵，将所述第一坐标转换为所述显示屏幕坐标系下的第二坐标。
这里，所述第一旋转矩阵可以使用所述摄像头坐标系相对于显示屏幕坐标系在三个轴向的三个旋转矩阵的乘积来表示。
排图单元73，用于根据所述第二坐标，在所述显示屏幕上对待显示的立体片源进行裸眼立体显示的排图处理。
通过上述单元，本实施例的裸眼立体显示的装置，将用户人脸在一摄像头对应的摄像头坐标系下的第一坐标，转换为在显示屏幕坐标系下的第二坐标，进而根据第二坐标进行排图处理，可以减小因定位摄像头偏离屏幕中心所引起的定位误差，改善裸眼立体显示效果。
考虑到定位装置(定位摄像头)通常偏离于显示屏幕的中心位置，为进一步减小人脸定位数据的定位误差，上述坐标获取单元71可以包括以下单元，以更进一步的提高定位数据的准确性：
建模单元，用于建立从一预先确定的标准人脸的标准坐标，到当前用户的人脸图像的像素坐标的函数关系，其中，所述标准人脸位于摄像头坐标系的XY平面，且假定当前用户的人脸位置由所述标准人脸在按照一第二旋转矩阵旋转并发生了第一位移后得到，所述第二旋转矩阵和第一位移是未知参数，所述函数关系中人脸图像的像素坐标是关于所述未知参数的函数；
检测单元，用于获取摄像头采集到的当前用户的人脸图像，检测得到所述人脸图像的像素坐标，并确定所述像素坐标对应的标准坐标；
求解单元，用于根据检测得到的所述像素坐标以及所述像素坐标对应的标准坐标，对所述函数关系中的未知参数进行求解，得到所述第二旋转矩阵和第一位移，将所述第一位移，作为用户人脸在所述摄像头坐标系下的第一坐标。
更为具体的：
所述建模单元具体用于：根据所述第二旋转矩阵和第一位移，建立当前用户的用户人脸的实际坐标与所述标准人脸的标准坐标的坐标转换关系；根据预先确定的摄像头的内部参数，建立用户人脸的实际坐标到用户人脸在图像坐标系的像素坐标的投影关系；根据所述坐标转换关系和所述投影关系，确定从标准人脸的标准坐标到用户人脸的像素坐标的函数关系，所述函数关系以所述第二旋转矩阵和第一位移为待求参数。
所述求解单元具体用于：对所述函数进行泰勒展开，得到一泰勒展开式；为所述未知参数设定一初始值，并通过最小二乘法，对所述泰勒展开式进行迭代更新的循环运算，求解得到所述未知参数。
本实施例中，上述排图单元73具体可以包括：
属性确定单元，用于根据所述第二坐标以及预定的排图周期，确定显示屏幕上各个显示单位的显示属性，所述显示属性包括用于指示显示立体片源中的左图或右图的左右图标签和用于指示显示位置点的显示单位索引；
颜色显示单元，用于根据各个显示单位的显示属性和待显示的立体片源，确定各个显示单位需要显示的颜色值并进行显示。
为实现对切变点颜色值的调整处理，减少串扰现象，改善立体显示效果，所述颜色显示单元又可以包括以下单元：
颜色提取单元，用于根据各个显示单位的显示属性，从所述立体片源中获得各个显示单位对应的第一颜色值；
颜色调整单元，用于选择出所述显示单位中的部分切变点或全部切变点，并对所选择的切变点颜色值进行调整，使所选择的切变点对应的颜色值降低或减小切变点中相邻两个显示单位间的颜色值的差值，其中，所述切变点包括左右图标签不同的相邻显示单位；
显示处理单元，用于根据调整后的各个显示单位当前对应的颜色值，进行颜色显示。
这里，所述颜色调整单元，进一步用于在使所选择的切变点的颜色值降低时，将所选择的切变点的颜色值与第一惩罚系数相乘，得到调整后的颜色值；以及，在减小切变点中相邻两个显示单位间的颜色值的差值时，将切变点中相邻两个显示单位中的一个显示单位的颜色值减去一调整值，以及，将另一个显示单位的第一颜色值加上所述调整值，得到调整后的颜色值，其中，所述调整值为该相邻两个显示单位当前颜色值的差值与一第二惩罚系数的乘积；
其中，所述第一惩罚系数和第二惩罚系数均为大于0且小于1的一常数或随机数。
另外，在仅需要对部分切变点进行颜色值调整时，所述述颜色调整单元，还可以进一步用于从全部切合点中随机选择出所述部分切变点，以对位置随机的切变点进行颜色值调整，避免在固定位置上进行颜色值调整，以减少摩尔纹的产生。
为了更好的实现上述目的，本发明实施例还提供了一种裸眼立体显示的电子设备，包括：
壳体、处理器、存储器、显示屏幕、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为电子设备的各个电路或器件供电；存储器用于存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于执行以下步骤：
获取当前用户的用户人脸在一摄像头对应的摄像头坐标系下的第一坐标；
根据预先确定的一显示屏幕对应的显示屏幕坐标系与所述摄像头坐标系的原点间位移、以及所述摄像头坐标系相对于显示屏幕坐标系的第一旋转矩阵，将所述第一坐标转换为所述显示屏幕坐标系下的第二坐标；
根据所述第二坐标，在所述显示屏幕上对待显示的立体片源进行裸眼立体显示的排图处理。
该电子设备以多种形式存在，包括但不限于：
(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括：智能手机(例如iPhone或基于安卓操作系统的手机)、多媒体手机、功能性手机，以及低端手机等；
(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括：PC、PDA、MID和UMPC设备等，例如iPad；
(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括：音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备；
(4)其他具有数据交互功能的电子装置。
需要说明的是，本发明实施例提供的电子设备是能够应用上述裸眼立体显示方法的电子设备，则上述立体显示方法的所有实施例及其有益效果均适用于该电子设备。
综上所述，本发明实施例提供的裸眼立体显示的方法及装置，通过对定位数据坐标系的转换处理、用户侧脸处理、以及切变点的颜色值调整处理，可以大大减少人脸定位数据的误差，减少切变点的串扰现象和摩尔纹的产生，提高了裸眼立体显示效果，改善了用户的观看体验。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (11)
1.一种裸眼立体显示的方法，其特征在于，包括：
获取当前用户的用户人脸在一摄像头对应的摄像头坐标系下的第一坐标；
根据预先确定的一显示屏幕对应的显示屏幕坐标系与所述摄像头坐标系的原点间位移、以及所述摄像头坐标系相对于显示屏幕坐标系的第一旋转矩阵，将所述第一坐标转换为所述显示屏幕坐标系下的第二坐标；
根据所述第二坐标，在所述显示屏幕上对待显示的立体片源进行裸眼立体显示的排图处理；
其中，所述获取当前用户的用户人脸在一摄像头对应的摄像头坐标系下的第一坐标的步骤，包括：
建立从一预先确定的标准人脸的标准坐标，到当前用户的人脸图像的像素坐标的函数关系，其中，所述标准人脸位于摄像头坐标系的XY平面，且假定当前用户的人脸位置由所述标准人脸在按照一第二旋转矩阵旋转并发生了第一位移后得到，所述第二旋转矩阵和第一位移是未知参数，所述函数关系中人脸图像的像素坐标是关于所述未知参数的函数；
获取摄像头采集到的当前用户的人脸图像，检测得到所述人脸图像的像素坐标，并确定所述像素坐标对应的标准坐标；
根据检测得到的所述像素坐标以及所述像素坐标对应的标准坐标，对所述函数关系中的未知参数进行求解，得到所述第二旋转矩阵和第一位移；
将所述第一位移，作为用户人脸在所述摄像头坐标系下的第一坐标。
2.如权利要求1所述的方法，其特征在于，所述第一旋转矩阵为所述摄像头坐标系相对于显示屏幕坐标系在三个轴向的三个旋转矩阵的乘积。
3.如权利要求1所述的方法，其特征在于，所述第一坐标为当前用户双眼之间的中心点在所述摄像头坐标系下的坐标。
4.如权利要求1所述的方法，其特征在于，所述建立从一预先确定的标准人脸的标准坐标，到当前用户的人脸图像的像素坐标的函数关系的步骤包括：
根据所述第二旋转矩阵和第一位移，建立当前用户的用户人脸的实际坐标与所述标准人脸的标准坐标的坐标转换关系；
根据预先确定的摄像头的内部参数，建立用户人脸的实际坐标到用户人脸在图像坐标系的像素坐标的投影关系；
根据所述坐标转换关系和所述投影关系，确定从标准人脸的标准坐标到用户人脸的像素坐标的函数关系，所述函数关系以所述第二旋转矩阵和第一位移为待求参数。
5.如权利要求1所述的方法，其特征在于，所述根据检测得到的所述像素坐标以及所述像素坐标对应的标准坐标，对所述函数关系中的未知参数进行求解的步骤，包括：
对所述函数进行泰勒展开，得到一泰勒展开式；
为所述未知参数设定一初始值，并通过最小二乘法，对所述泰勒展开式进行迭代更新的循环运算，求解得到所述未知参数。
6.一种裸眼立体显示的装置，其特征在于，包括：
坐标获取单元，用于获取当前用户的用户人脸在一摄像头对应的摄像头坐标系下的第一坐标；
坐标转换单元，用于根据预先确定的一显示屏幕对应的显示屏幕坐标系与所述摄像头坐标系的原点间位移、以及所述摄像头坐标系相对于显示屏幕坐标系的第一旋转矩阵，将所述第一坐标转换为所述显示屏幕坐标系下的第二坐标；
排图单元，用于根据所述第二坐标，在所述显示屏幕上对待显示的立体片源进行裸眼立体显示的排图处理；
所述坐标获取单元包括：
建模单元，用于建立从一预先确定的标准人脸的标准坐标，到当前用户的人脸图像的像素坐标的函数关系，其中，所述标准人脸位于摄像头坐标系的XY平面，且假定当前用户的人脸位置由所述标准人脸在按照一第二旋转矩阵旋转并发生了第一位移后得到，所述第二旋转矩阵和第一位移是未知参数，所述函数关系中人脸图像的像素坐标是关于所述未知参数的函数；
检测单元，用于获取摄像头采集到的当前用户的人脸图像，检测得到所述人脸图像的像素坐标，并确定所述像素坐标对应的标准坐标；
求解单元，用于根据检测得到的所述像素坐标以及所述像素坐标对应的标准坐标，对所述函数关系中的未知参数进行求解，得到所述第二旋转矩阵和第一位移，将所述第一位移，作为用户人脸在所述摄像头坐标系下的第一坐标。
7.如权利要求6所述的装置，其特征在于，所述第一旋转矩阵为所述摄像头坐标系相对于显示屏幕坐标系在三个轴向的三个旋转矩阵的乘积。
8.如权利要求6所述的方法，其特征在于，所述第一坐标为当前用户双眼之间的中心点在所述摄像头坐标系下的坐标。
9.如权利要求6所述的装置，其特征在于，所述建模单元具体用于：
根据所述第二旋转矩阵和第一位移，建立当前用户的用户人脸的实际坐标与所述标准人脸的标准坐标的坐标转换关系；
根据预先确定的摄像头的内部参数，建立用户人脸的实际坐标到用户人脸在图像坐标系的像素坐标的投影关系；
根据所述坐标转换关系和所述投影关系，确定从标准人脸的标准坐标到用户人脸的像素坐标的函数关系，所述函数关系以所述第二旋转矩阵和第一位移为待求参数。
10.如权利要求6所述的装置，其特征在于，所述求解单元具体用于：
对所述函数进行泰勒展开，得到一泰勒展开式；
为所述未知参数设定一初始值，并通过最小二乘法，对所述泰勒展开式进行迭代更新的循环运算，求解得到所述未知参数。
11.一种裸眼立体显示的电子设备，其特征在于，包括：
壳体、处理器、存储器、显示屏幕、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为电子设备的各个电路或器件供电；存储器用于存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于执行以下步骤：
获取当前用户的用户人脸在一摄像头对应的摄像头坐标系下的第一坐标；
根据预先确定的一显示屏幕对应的显示屏幕坐标系与所述摄像头坐标系的原点间位移、以及所述摄像头坐标系相对于显示屏幕坐标系的第一旋转矩阵，将所述第一坐标转换为所述显示屏幕坐标系下的第二坐标；
根据所述第二坐标，在所述显示屏幕上对待显示的立体片源进行裸眼立体显示的排图处理；
其中，所述获取当前用户的用户人脸在一摄像头对应的摄像头坐标系下的第一坐标的步骤，包括：
建立从一预先确定的标准人脸的标准坐标，到当前用户的人脸图像的像素坐标的函数关系，其中，所述标准人脸位于摄像头坐标系的XY平面，且假定当前用户的人脸位置由所述标准人脸在按照一第二旋转矩阵旋转并发生了第一位移后得到，所述第二旋转矩阵和第一位移是未知参数，所述函数关系中人脸图像的像素坐标是关于所述未知参数的函数；
获取摄像头采集到的当前用户的人脸图像，检测得到所述人脸图像的像素坐标，并确定所述像素坐标对应的标准坐标；
根据检测得到的所述像素坐标以及所述像素坐标对应的标准坐标，对所述函数关系中的未知参数进行求解，得到所述第二旋转矩阵和第一位移；
将所述第一位移，作为用户人脸在所述摄像头坐标系下的第一坐标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710780661.4A CN107566822B (zh) | 2015-10-20 | 2015-10-20 | 一种裸眼立体显示的方法、装置及电子设备 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510685172.1A CN106254845B (zh) | 2015-10-20 | 2015-10-20 | 一种裸眼立体显示的方法、装置及电子设备 |
| CN201710780661.4A CN107566822B (zh) | 2015-10-20 | 2015-10-20 | 一种裸眼立体显示的方法、装置及电子设备 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510685172.1A Division CN106254845B (zh) | 2015-10-20 | 2015-10-20 | 一种裸眼立体显示的方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107566822A true CN107566822A (zh) | 2018-01-09 |
| CN107566822B CN107566822B (zh) | 2019-03-26 |
Family
ID=57626733
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710780661.4A Active CN107566822B (zh) | 2015-10-20 | 2015-10-20 | 一种裸眼立体显示的方法、装置及电子设备 |
| CN201510685172.1A Active CN106254845B (zh) | 2015-10-20 | 2015-10-20 | 一种裸眼立体显示的方法、装置及电子设备 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510685172.1A Active CN106254845B (zh) | 2015-10-20 | 2015-10-20 | 一种裸眼立体显示的方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (2) | CN107566822B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113270155A (zh) * | 2021-03-11 | 2021-08-17 | 上海交通大学 | 材料样品坐标系确定和转换及表征点生成方法、系统、装置 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109842793A (zh) * | 2017-09-22 | 2019-06-04 | 深圳超多维科技有限公司 | 一种裸眼3d显示方法、装置及终端 |
| CN108989785B (zh) * | 2018-08-22 | 2020-07-24 | 张家港康得新光电材料有限公司 | 基于人眼跟踪的裸眼3d显示方法、装置、终端和介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110157168A1 (en) * | 2009-12-31 | 2011-06-30 | Broadcom Corporation | Three-dimensional display system with adaptation based on viewing reference of viewer(s) |
| CN102663351A (zh) * | 2012-03-16 | 2012-09-12 | 江南大学 | 基于条件外观模型的人脸特征点自动标定方法 |
| CN102884803A (zh) * | 2011-05-11 | 2013-01-16 | 松下电器产业株式会社 | 图像处理装置、影像处理方法、程序、集成电路 |
| US20130135299A1 (en) * | 2011-11-30 | 2013-05-30 | Samsung Electronics Co., Ltd. | Image processing apparatus and method for subpixel rendering |
| CN103631021A (zh) * | 2012-08-27 | 2014-03-12 | 群康科技(深圳)有限公司 | 立体显示装置及其影像显示方法 |
| CN103686133A (zh) * | 2013-12-24 | 2014-03-26 | 友达光电股份有限公司 | 一种用于裸眼立体显示器的图像补偿装置及其方法 |
| CN103699897A (zh) * | 2013-12-10 | 2014-04-02 | 深圳先进技术研究院 | 一种鲁棒人脸配准方法和装置 |
| CN103747236A (zh) * | 2013-12-30 | 2014-04-23 | 中航华东光电有限公司 | 结合人眼跟踪的立体视频处理系统及方法 |
| CN104581129A (zh) * | 2014-12-29 | 2015-04-29 | 深圳超多维光电子有限公司 | 裸眼立体显示装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105989326B (zh) * | 2015-01-29 | 2020-03-03 | 北京三星通信技术研究有限公司 | 人眼三维位置信息的确定方法和装置 |
| KR102415501B1 (ko) * | 2015-08-07 | 2022-07-01 | 삼성전자주식회사 | 3차원 디스플레이 장치의 파라미터 추정 방법 및 그 방법을 이용한 3차원 디스플레이 장치 |
-
2015
- 2015-10-20 CN CN201710780661.4A patent/CN107566822B/zh active Active
- 2015-10-20 CN CN201510685172.1A patent/CN106254845B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110157168A1 (en) * | 2009-12-31 | 2011-06-30 | Broadcom Corporation | Three-dimensional display system with adaptation based on viewing reference of viewer(s) |
| CN102884803A (zh) * | 2011-05-11 | 2013-01-16 | 松下电器产业株式会社 | 图像处理装置、影像处理方法、程序、集成电路 |
| US20130135299A1 (en) * | 2011-11-30 | 2013-05-30 | Samsung Electronics Co., Ltd. | Image processing apparatus and method for subpixel rendering |
| CN102663351A (zh) * | 2012-03-16 | 2012-09-12 | 江南大学 | 基于条件外观模型的人脸特征点自动标定方法 |
| CN103631021A (zh) * | 2012-08-27 | 2014-03-12 | 群康科技(深圳)有限公司 | 立体显示装置及其影像显示方法 |
| CN103699897A (zh) * | 2013-12-10 | 2014-04-02 | 深圳先进技术研究院 | 一种鲁棒人脸配准方法和装置 |
| CN103686133A (zh) * | 2013-12-24 | 2014-03-26 | 友达光电股份有限公司 | 一种用于裸眼立体显示器的图像补偿装置及其方法 |
| CN103747236A (zh) * | 2013-12-30 | 2014-04-23 | 中航华东光电有限公司 | 结合人眼跟踪的立体视频处理系统及方法 |
| CN104581129A (zh) * | 2014-12-29 | 2015-04-29 | 深圳超多维光电子有限公司 | 裸眼立体显示装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113270155A (zh) * | 2021-03-11 | 2021-08-17 | 上海交通大学 | 材料样品坐标系确定和转换及表征点生成方法、系统、装置 |
| CN113270155B (zh) * | 2021-03-11 | 2023-04-07 | 上海交通大学 | 材料样品坐标系确定和转换及表征点生成方法、系统、装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107566822B (zh) | 2019-03-26 |
| CN106254845B (zh) | 2017-08-25 |
| CN106254845A (zh) | 2016-12-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108765328B (zh) | 一种高精度多特征平面模板及其畸变优化和标定方法 | |
| US20180332222A1 (en) | Method and apparatus for obtaining binocular panoramic image, and storage medium | |
| CN108604379A (zh) | 用于确定图像中的区域的系统及方法 | |
| CN104463899B (zh) | 一种目标对象检测、监控方法及其装置 | |
| CN106650827A (zh) | 基于结构指导深度学习的人体姿态估计方法和系统 | |
| CN107925755A (zh) | 针对图像处理进行平面表面检测的方法和系统 | |
| CN103765870A (zh) | 图像处理装置、包括图像处理装置的投影仪和投影仪系统、图像处理方法 | |
| CN104320647B (zh) | 立体图像生成方法及显示装置 | |
| CN108989785B (zh) | 基于人眼跟踪的裸眼3d显示方法、装置、终端和介质 | |
| CN107038722A (zh) | 一种设备定位方法及装置 | |
| de Jesus et al. | Reconstruction accuracy assessment of surface and underwater 3D motion analysis: a new approach | |
| CN106254845B (zh) | 一种裸眼立体显示的方法、装置及电子设备 | |
| CN110675456B (zh) | 多深度摄像机外部参数标定方法、装置及存储介质 | |
| CN102239503A (zh) | 立体匹配处理设备、立体匹配处理方法和记录介质 | |
| CN104457758B (zh) | 基于视频采集的Visual Map数据库建立方法及利用该数据库的室内视觉定位方法 | |
| CN109615664A (zh) | 一种用于光学透视增强现实显示器的标定方法与设备 | |
| CN108898661A (zh) | 三维图像构建的方法、装置及具有存储功能的装置 | |
| CN108846861B (zh) | 图像单应矩阵计算方法、装置、移动终端及存储介质 | |
| Traumann et al. | Accurate 3D measurement using optical depth information | |
| CN110348936A (zh) | 一种眼镜推荐方法、装置、系统及存储介质 | |
| KR102335005B1 (ko) | 매칭 장치 및 매칭 방법 | |
| CN104732560B (zh) | 基于动作捕捉系统的虚拟摄像机拍摄方法 | |
| CN114494582A (zh) | 一种基于视觉感知的三维模型动态更新方法 | |
| CN102474634B (zh) | 对于3维显示模式修正图像 | |
| Rossi et al. | Improved accuracy in 3D analysis using DLT after lens distortion correction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20180801 Address after: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.) Applicant after: Shenzhen super Technology Co., Ltd. Address before: 518053 East Guangdong H-1 East 101, overseas Chinese town, Nanshan District, Shenzhen. Applicant before: Shenzhen SuperD Photoelectronic Co., Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |