CN103270760B - 在立体变焦过程中用于视差调节的方法和系统 - Google Patents

Abstract

一种用于变焦出现在立体图像显示装置的电子显示器上的立体图像的方法。该立体图像具有水平视差，并且是通过电子处理器根据在存储器中被存储成左眼图像像素图和右眼图像像素图的立体图像数据而生成的。该立体图像数据的水平视差被调整成，基于定义用户变焦请求、预定的立体因子，以及在左眼图像像素图和右眼图像像素图间的相对水平位移之间的关系的试探法，生成经视差调节的、缩放的立体图像数据。对应于经视差调节的、缩放的立体图像数据的变焦的立体图像被显示出来。

Description

在立体变焦过程中用于视差调节的方法和系统

相关申请的交叉引用

本申请是提交于2011年12月22日的国际专利申请PCT/US2011/066841的371部分，其指定美国，并且在2012年6月28日根据WO2012/088415A2国际公开以英文公开，其国际专利申请要求提交于2010年12月23日的第61/426,764号美国临时专利申请的优先权，在此结合其全部内容作为参考，并要求该临时申请的较早的提交日期作为优先权日。在此结合以上指出的相关申请中的每一件的全部内容作为参考。

技术领域

本发明涉及用于变焦出现在电子显示器上的立体图像的方法和系统。更尤其地，本发明涉及用于在接收到用户的变焦请求时，调整出现在电子显示器上立体图像的视差的方法和系统。

背景技术

对出现在电子显示器上的立体图像的平面立体感图像对的深度的感知不同于人类对自然界的深度的立体感知。人类在自然界中的立体深度感知出现在左右眼将它们的视轴会聚成固定在一点的时候，同时通过肌肉行为改变每只眼睛透镜的焦距来调节它们的容纳状态（accommodation state），使得在该固定点处及其周围空间中的点处聚焦。该固定点投影到每个视网膜的同一位置，并因此具有零视网膜视差。在该固定点前方或后方的点投影到左右视网膜上的不同位置。这种情况导致的左右视网膜图像相应的点之间的两眼视差向人类大脑提供暗示，由此可感知到深度。

对立体图像的深度而非对自然界中景象的深度的感知之间关键的生理学的不同在于，虽然左右眼需要将立体图像平面会聚到多个固定点，但是在深度上它们的容纳状态必须使图像平面本身总是保持聚焦。这需要观看者能够改变会聚和容纳之间的正常关联，并且这是具有较大感知深度的图像可能观看起来并不舒适的一个原因。

除其它因素外，出现在电子显示器上的立体图像中的感知深度是与到显示器的观看距离直接成比例的。据此，观看者从不同距离看相同的立体图像可能感知到不同的深度。而且，所感知的深度也直接与屏幕视差（左眼的和右眼图像中相应点的物理水平坐标的差异）直接成比例，并且，如果图像被显示成不同的尺寸，则任何给定的立体图像的感知深度是不同的。再进一步，感知深度与观看者因人而异的各只眼睛的间隔或瞳孔间距成反比。

据此，现有技术中需要一种用于调节出现在电子显示器上的立体图像的视差的方法和系统，大体上，并且更尤其地，是在电子图像响应于用户的变焦请求而进行改变的时候。

发明内容

简单地说，本发明的一方面涉及用于响应于用户的变焦请求，其包括变焦幅度，来变焦出现在立体图像显示装置的电子显示器上的立体图像的方法。立体图像包括左眼图像和右眼图像，其具有相对的水平视差，并且由电子处理器根据作为包括左眼像素的左眼图像像素图和包括右眼像素的右眼图像像素图被存储在存储器中的立体图像数据生成。该方法包括以下步骤：响应于用户的变焦请求缩放立体图像数据以产生经缩放的立体图像数据；调节经缩放的立体图像数据的水平视差以基于定义用户变焦申请、预定立体因子和左眼图像像素图中的左眼像素与右眼图像像素图中的右眼像素间相对水平位移之间的关系的试探法而产生经视差调节的、缩放的立体图像数据；以及，在显示器上生成对应于该经视差调节的、缩放的立体图像数据的变焦后的立体图像。

附图说明

在结合附图进行阅读之后将更好地理解前述的内容以及后面对本发明优选实施例的详细说明。为了说明本发明的目的，在附图中示出了当前优选的实施例。但是应该理解的是本发明并不限于所示出的精确的布置和手段。在附图中：

图1是依据本发明的用于变焦立体图像的方法的优选实施例的功能性流程图；

图2是依据本发明的立体图像生成装置的示意性框图；

图3是依据本发明的立体图像生成装置的代表性用户界面的平面图；

图4A和图4B是立体照片的数字图像，以及相应的示出观看具有正视差的景象的用户视野中人像的深度的示意图；

图5A和图5B是在将景象中的人像拉近之后图4A中的立体照面的数字图像，以及相应的示出变焦后用户视野中人像深度的示意图；

图6A和图6B是已经应用变焦试探法来改变左眼图像相对于右眼图像的偏移以产生具有负视差的景象之后图5A中的立体照片的数字图像；

图7A和图7B是立体照片的数字图像，以及相应的示出正观看具有负视差的景象的用户视野中人像深度的示意图；

图8A和图8B是将景象中的人像拉近之后图7A中的立体照片的数字图像，和相应的示出变焦后用户视野中人像深度的示意图；以及

图9A和图9B是已经应用变焦试探法来改变左眼图像相对于右眼图图像的偏移以产生具有正视差的景象之后图8A中立体照片的数字图像。

具体实施方式

现在将具体参考本发明的实施例，在附图中通过举例方式示出了这些实施例。在此本发明的说明书中所使用的术语仅是为了说明特定实施例的目的，并非意图限制本发明。

在本发明的说明书和所附的权利要求书中所使用的单数形式“一”、“一个”和“该”也意图包括复数形式，除非上下文另外明确指出，如在本文中所使用的措辞“和/或”涉及并包括关联的所列出项中一项或多项的任意的和所有可能的组合。措辞“包括”和/或“包含”在被用于本说明中时，指定了所陈述特征、整体、步骤、操作、元件和/或组件的存在，但不排除一个或多个其它特征、整体、步骤、操作、元件、组件，和/或其组群的存在或添加。

措辞“右”、“左”、“下”和“上”指示了附图中作为参考的方向，措辞“向内”和“向外”分别涉及朝向和背向立体图像显示装置的几何中心，以及所指示部分的方向。术语包括以上指示的措辞、其派生词和类似重要性的措辞。

虽然措辞第一、第二等等在本文中被用于描述不同的元件，但是这些元件不应受到这些措辞的限制。这些措辞仅被用于将一个元件与另一个进行区分。例如，第一图像可被称为第二图像，并且类似地，第二图像可被称为第一图像，而不背离本发明的范围。

根据上下文，本文中使用的措辞“如果”可被理解成表示“当…时”或“一…就…”或“响应于确定…”或“响应于检测…”。类似地，取决于上下文，短语“如果确定了…”或者“如果（某陈述条件或事件）已经确定”可被构成表示“根据确定…”或“响应于确定…”或“根据确定（某陈述条件或事件）”或“响应于检测出（某陈述条件或事件）”。

以下说明涉及在接收到用户变焦请求时用于调节出现在电子显示器上的立体图像的视差的方法和系统的不同实施例。

参考详细的附图，贯穿附图中相同的编号指示相同的元件。在图1至图3中示出了一般性地被指示成700的方法并在此后被称为变焦方法700的优选实施例，以及，一般性地指示为900的立体图像显示装置并在此后被称为立体装置900，其用于依据本发明，响应于接收到包括变焦幅度的用户变焦请求，对出现在立体装置900的电子装置910上的立体图像800进行变焦。

用户请求将图像或视频变大或变小可导致立体装置900实施试探法，在试探法中，相对于变焦的范围和方向来调节立体图像对的间隔（或产生的视网膜视差）。虽然在下面使用立体照片说明了优选变焦试探法的示例实施例，但是变焦试探法并不限于这种产生立体景象的方法。技术人员将理解的是，该试探法可等效地应用于其它已知方法中，用于产生立体视图，诸如模板、极化图，或透镜的应用。

参考图4A至图6B，在一个实施例中，变焦试探法可在拉近过程中减少水平偏移量，以将图像从初始感知的深度朝向前景推进或者推进到前景中。图4A示例性地示出了初始立体景象600，其中立体照片具有正视差。蓝色的左眼人像602（其轮廓由虚线示出）在红色的右眼人像604（其轮廓由实现示出）的左侧。使用红/蓝眼镜观看该立体照片的观看者将感知到该人像606处于显示器屏幕的后面。图4B是对立体景象600的示例性表达600a，该立体景象600示出了通过在观看者的视野610的后景576a中的象形人像606a体现的人像606的深度。显示屏幕576c的表面表现为垂直线。

将人像606拉近而不调节视差产生了这样一种景象：其中人像606显得被扩大而在感知深度方面没有变化，如图5A所示以及在图5B中所示的相应的示意图。

参考图6A和相关的示意图6B，获得更生动的变焦效果，同时将人像606（象形606a）的大小基本上保持为与图5A至图5B中人像大小相同（即，没有进一步变焦），在图5A中已经将变焦试探法应用于景象中，这将左眼图像602和右眼图像604之间的偏移减少了足以将左眼图像移到右眼图像右侧的量，产生具有负视差的景象。因此，用户使用红/蓝眼镜观看图6A中的径向将感知到人像的深度已经移到视野610的前景576b。

参考图7A至图9B，在另一种实现中，变焦试探法可在拉近过程中增加水平偏移量，将图像朝向后景推进或者推进到后景中，以避免超出边框。图7A示出了初始的立体景象620，在其中立体照片具有负视差。蓝色左眼图像622（其轮廓由虚线示出）处于红色右眼图像624（其轮廓由实线示出）的右侧。观看者使用红/蓝眼镜观看景象将感受到人像626处于显示器屏幕的前方。图7B是立体景象620的示意性表达620a，其示出了通过在观看者视野610的前景576b中的形象人像626a体现的人像626深度。显示器屏幕576c的表面表现为垂直线。

拉近人像626而不进行视差调节产生了这样一种景象：其中人像626显得被扩大而所感知的深度没有变化，如图8A所示以及图8B所示出的相应的示意图。而且，如通过图8B中象形626a所示的，该拉近已经将人像620扩大成的超出了视野中的边框629这样的范围。当用户聚焦在屏幕的平面576c上并且试图容下超出屏幕边框的人像的一部分时，用户的视觉系统可能由于会聚和容纳冲突而被压缩。

参考图9A以及相关的示意性图9B，当将要被感知的目标由于景象拉近而导致超出边框时，由于会聚/容纳冲突而引起的这种压缩可通过实现变焦试探法而减少，这种变焦试探法保持人像626（象形626a）的大小基本上与图8A至图8B中超出边框的人像的大小相同（即，并未反转变焦的方向）并且将左眼图像622和右眼图像644之间的偏移增加了足以将左眼图像移到右眼图像左侧的量，这产生了具有正视差的图像。因此，用户使用红/蓝眼镜观看图9A中的径向将感知到人像的深度已经移到视野610的后景576a中。

参考图1至图3，立体图像800包括具有水平视差的左眼图像810和右眼图像812。在接收步骤720前面的显示步骤710中，在显示器910上立体图像800的外观是通过电子处理器914根据立体图像数据814生成的，该立体图像数据814在存储器912中被存储成包括左眼像素的左眼图像像素图816和包括右眼像素的右眼图像像素图818。

在缩放步骤730中，立体图像数据814响应于用户变焦请求而被缩放，以产生缩放后的立体图像数据。所请求的变焦幅度以百分比的形式由用户输入。变焦幅度小于100%的变焦请求对应于“拉远”请求，并且，在缩放步骤730的响应中减少了包括左眼和右眼像素图816、818的像素数量，从而降低了相应的立体图像的大小。大于100%的变焦请求对应于“拉近”请求，并且，缩放步骤730的响应中增加了包括左眼和右眼像素图816、818的像素数量，从而增大了相应的立体图像800的大小。

在调节视差的步骤740中，缩放后的立体图像数据的水平视差基于试探法定义的用户变焦请求（M_z）、预定立体因子（F_s），和左眼图像像素图816中的左眼像素相对于右眼图像像素图818中右眼像素的水平位移（S_h）之间的关系被调整成产生经视差调节、缩放后的立体图像数据。在一些实施例中，通过试探法定义的关系可满足一下等式：

S_h=W_pxl×(M_z/F_s) （等式1）

其中，S_h为以像素为单位的水平位移；

W_pxl为以像素为单位的立体图像的水平宽度；

M_z为用百分比表示的变焦幅度，以及

F_s为预定的立体因子。

预定立体因子（F_s）以实验的方式确定，并且为关于观看者在观看立体显示的舒适度的度量。人的因素对立体显示的分析已经示出了在立体图像中视差的量应被限制在所定义的舒适范围之内。对于所有立体显示，观看者的眼睛必须会聚以在仍聚焦在该显示平面上同时感知来自显示平面的深度距离。由于会聚/容纳冲突所产生的压缩根据观看者而不同，并且部分地基于瞳孔间距、观看者的立体视敏度（stereoptic acuity）、立体图像的视差程度、显示大小，和距显示器的观看距离。

在一些实施例中，预定的立体因子（F_s）可在可期望的约35至45的范围之内。在其它实施例中，预定的立体因子（F_s）在可优选的约38至41的范围之内。但是，该预定的立体因子（F_s）依据本发明的一些实施例并不限于该可期望的约35至45的范围内，并且可被设置在该可期望范围以上或以下。对于观看者以30寸的观看距离通过一般的立体感知观看在20寸显示器上的立体图像时，发现预定立体因子（F_s）的优选值大概为40。

由于观看舒适度可能因观看者而不同，在一些实施例中，用户变焦请求可额外地包括立体调节因子（A_s），并且调节步骤740基于立体调节因子（A_s）来调节预定立体因子（F_s）。优选地，可通过多个请求以增量的方式进行调节，每一次将预定的立体因子（F_s）提高或降低预定值，其优选地加上一个单位或减去一个单位。

据此，在用户具有调节预定立体因子（F_s）的能力的实施例中，通过试探法定义的关系可写为以下等式：

S_h=W_pxl×(M_z/(F_s+A_s) (等式2）

其中，A_s为立体调节因子。

在一些实施例中，用户变焦请求可额外地包括定位调节因子（A_pos），并且，调节水平视差的步骤740基于定位调节因子（A_pos）调节经视差调节、缩放后的立体图像数据中的深度。如以上参考图4A至图9B所陈述的，无视差调节的变焦产生了景象中的目标的感知深度不改变的景象。通过将定位调节因子（A_pos）设定成正值（+1），在该景象中的目标在拉近和拉远的过程中向前移动。通过将定位调节因子（A_pos）设定成负值（-1），该景象中的目标则在拉近和拉远过程中向后移动。

在用户变焦请求包括变焦幅度（M_z）、调节因子（A_s），和定位调节因子（A_pos）的实施例中，通过试探法定义的关系可写成以下等式：

S_h=A_pos×W_pxl×(M_z/(F_s+A_s) （等式3）

虽然该试探法可通过等式来表达，但是在优选的实施例中，用于立体图像视差调节变焦的水平位移可根据查询表格和插值被表示成图像宽度的百分比或者像素数量。例如，表1示出了增量为100的百分比变焦与任意大小图像的视差百分比变化之间关系，或备选地基于来自不同幅度的变焦过程中为保持观看舒适度进行的实验的经验数据的立体图像一千（1000）像素宽的像素位移。

表1

在第二显示步骤760中，在显示器上生成对应于经视差调节、缩放后的立体图像数据的经变焦立体图像。

在一些实施例中，变焦方法700可具有剪裁步骤750，在该步骤中在第二显示步骤760之前对经视差调节、缩放后的立体图像数据进行剪裁，以适合显示器的可观看区域。

在一些实施例中，实现变焦方法700的立体装置900具有与显示器910和电子存储器912通信的电子处理器914。为了说明的目的，立体装置900被描绘成可具有更多或更少组件的便携式手持多功能电子系统，其可结合两个或多个组件，或可具有与图2所示出的不同的配置或组件布置。这些不同的组件可以硬件、软件，或硬件和软件两者的组合的方式实现。

能够实现变焦方法700的装置并不限于便携式手持装置。变焦方法700还可在具有能够显示立体图像的大显示器（诸如竖立式或壁挂式电子显示器（或电视屏））的交互式装置上被实现，用户可使用与该显示电子装置通信的远程控制单元来控制该装置。

立体装置900具有与处理器914通信的变焦选择器用户界面916。该变焦选择器用户界面916被配置成接收包括变焦幅度的用户变焦请求作为输入。在一些实施例中，变焦选择器用户界面916可在立体装置900的外壳920上包括多个按钮开关918。例如，外壳920可具有拉近按钮922和拉远按钮924。按钮922、924被按下的时间越长，变焦幅度越大。备选地，变焦选择器用户界面916可包括具有对应于零变焦的中心中间定位的滑动器或切换开关（未示出）。将该开关移动至中心的一侧对应于拉近而移动至中心的另一侧则对应于拉远。中心定位的距离（对于滑动器来说）或远离中心定位的时间（切换开关）确定了变焦的幅度。在具有触摸屏显示器的一些实施例中，变焦用户界面可以图形的方式通过在具有对应于多个物理按钮开关的功能性触摸屏显示器上的多个图标来描绘。在其它实施例中，变焦选择器用户界面916可以是物理按钮开关和触摸屏上图形描绘的开关的组合。

在立体装置900的一些实施例中，显示器并未被设计成手持式的。在这样的例子中，变焦选择器用户界面916可在与立体装置900的电子处理器914进行无线通信的远程控制单元（未示出）上提供。远程控制可具有与按钮式开关和/或具有等价于按钮式开关的虚拟开关的触敏显示器进行电气通信的控制电子装置。被收纳在远程控制器中的该控制电子装置被配置成确定与该触敏显示器或按钮开关的一次或多次接触是否体现了用户变焦请求，以及是否用户变焦请求已经造成向该立体装置900的电子处理器914发送出该用户变焦请求。

在一些实施例中，用户变焦请求还可包括立体调节因子（A_s）和/或定位调节因子（A_pos），并且该变焦用户界面916的多个按钮式开关918可包括立体调节因子按钮式开关926和/或定位调节因子按钮式开关928或其触摸屏等价开关。与键入变焦幅度类似，立体调节因子可通过在一个方向上重复地切换立体调节因子按钮式开关926以增量的形式被键入，以提高预定立体因子（F_s）的值，或在其它方向上操作以降低预定立体因子（F_s）的值。定位调节开关928可以是双定位开关，其在处于第一定位时输入加1，而在处于第二定位时输入减1。在一些触摸屏实施例中，变焦用户界面916可以是与用户变焦请求对应的用户可选参数的下拉菜单。

立体装置900的存储器912可具有存储在其中的立体图像数据814，其包括包括左眼像素的左眼图像像素图816以及包括右眼像素的右眼图像像素图818。左眼图像像素图816具有相对于右眼图像像素图818的水平视差。在一些实施例中，立体图像数据814可以是具有边框的一个或多个静止立体的图像或立体视频，这些边框对于变焦可能是固定不动的。

立体装置900的存储器912具有被存储在其中的一个或多个程序930。这些程序930被配置成通过电子处理器914来执行。该一个或多个程序930包括图像显示指令932以及立体图像变焦指令，图像显示指令932在该显示器上生成对应于立体图像数据814的图像，而立体图像变焦指令将变焦方法700进行编码。

那些本领域技术人员将体会到，可对以上所说明的实施例进行改变，而不背离其广义的发明理念。因此，用于在受到用户变焦请求时调节出现在电子显示器上的立体图像的视差的方法和系统并不限于所揭示的特定实施例，而是意图覆盖本发明的精神和范围之内的变体，正如在随附的权利要求书中所定义的。

本申请涉及提交于2010年11月18日的第12/948,862号美国专利申请作为提交于2010年9月9日的PCT/US2010/048253号国际专利申请的继续，其指定了美国并在2011年3月17日根据WO2001/031848A3号国际公开以英文公布，其国际专利申请依次要求关于提交于2009年9月9日的第61/240,765号美国临时专利申请的权益。在此结合以上所标识的相关申请中的每一件全部内容作为参考。

以上所提及的所有参考资料、专利申请，和专利的全文结合在本文中作为参考，但并不以任何方式构成对任何所述文件构成了现有技术的承认，或构成对抵触感兴趣内容的承认。

Claims (9)

1.一种用于响应于接收包括变焦幅度的用户变焦请求，对出现在立体图像显示装置的电子显示器上的立体图像进行变焦的方法，所述立体图像包括具有相对水平视差并且通过电子处理器根据立体图像数据生成的左眼图像和右眼图像，所述立体图像数据在存储器中被存储成包括左眼像素的左眼图像像素图和包括右眼像素的右眼图像像素图，所述方法包括以下步骤：

响应于所述用户变焦请求，缩放所述立体图像数据，以产生缩放后的立体图像数据；

调节所述缩放后的立体图像数据的所述水平视差，以基于定义所述用户变焦请求、预定立体因子，以及所述左眼图像像素图中的左眼像素和所述右眼图像像素图中的右眼像素间相对水平位移之间的关系的试探法，产生经视差调节的、缩放后的立体图像数据；以及

对应于所述经视差调节的、缩放后的立体图像数据，在显示器上显示变焦的立体图像。

2.如权利要求1所述的方法，其中，通过所述试探法定义的所述关系表示为以下等式：

S_h＝W_pxl×(M_z/F_s)

其中，S_h为像素的水平位移；

W_pxl为立体图像的像素水平宽度；

M_z为变焦幅度百分比，并且

F_s为预定的立体因子。

3.如权利要求1所述的方法，其中，所述预定立体因子F_s在35至45的范围之内。

4.如权利要求1所述的方法，其中，所述用户变焦请求还包括立体调节因子，并且所述调节所述水平视差的步骤是基于所述立体调节因子来调节所述预定立体因子。

5.如权利要求1所述的方法，其中，所述用户变焦请求还包括定位调节因子，并且所述调节所述水平视差的步骤是基于所述定位调节因子来调节所述经视差调节的、缩放后的立体图像数据的深度。

6.如权利要求1所述的方法，进一步包括在所述对应于所述经视差调节的、缩放后的立体图像数据，在显示器上显示变焦的立体图像步骤之前，剪裁所述经视差调节的、缩放后的立体图像数据。

7.如权利要求1所述的方法，其中，所述用户变焦请求还包括立体调节因子和定位调节因子，并且所述调节所述水平视差的步骤是基于所述立体调节因子来调节所述预定立体因子，并基于所述定位调节因子来调节所述经视差调节的、缩放后的立体图像数据的深度，并且其中，通过所述试探法定义的关系表示为等式：

S_h＝A_pos×W_pxl×(M_z/(F_s+A_s))

其中，S_h为以像素为单位的水平位移；

A_pos为定位调节因子；

W_pxl为以像素为单位的立体图像的水平宽度；

M_z为用百分比表示的变焦幅度；

F_s为预定的立体因子，并且

A_s为立体调节因子。

8.一种立体图像生成装置，包括：

电子显示器；

电子存储器；

电子处理器，其与所述显示器和所述电子存储器通信；

变焦选择器用户界面，其与所述处理器通信，所述变焦选择器用户界面被配置成接收用户变焦请求作为输入，所述用户变焦请求包括变焦幅度；

其中，所述电子存储器用于存储立体图像数据，所述立体图像数据包括左眼图像像素图和右眼图像像素图，所述左眼图像像素图包括左眼像素，所述右眼图像像素图包括右眼像素，所述左眼图像像素图具有相对于所述右眼图像像素图的水平视差，并且

其中，所述电子处理器用于在所述显示器上生成对应于所述立体图像数据的图像，并用于执行权利要求1所述的方法。

9.如权利要求8所述的立体图像生成装置，其中，所述变焦选择器用户界面由远程控制单元提供，所述远程控制单元与所述电子处理器无线通信，所述远程控制器具有与按钮式开关和触敏显示器电子通信的控制电子装置，所述控制电子装置被配置成确定与所述触敏显示器或所述按钮式开关的一次或多次接触是否表示用户变焦请求，并且如果做出用户变焦请求则将该用户变焦请求发送给所述电子处理器。