CN102710945A - 变焦立体成像和显示系统 - Google Patents

Abstract

本发明公开了一种变焦立体成像和显示系统，该系统由景深分块、变焦立体摄像机、立体图像处理器、三维图形处理器、合成处理器、存储器、平面显示器、变焦立体眼镜和变焦立体控制器等组成。该系统由变焦立体控制器产生可编程控制的时序，根据景深分块分割场景，应用变焦立体摄像机实现双镜头变焦立体成像，显示器实现左右两场图像分时交替显示和景深分块图像的子场同步显示，应用变焦立体眼镜实现具有景深的立体电影电视功能；使用多组变焦立体摄像机时，可以获得水平和垂直多方位立体成像和体三维成像信息，并应用变焦立体眼镜观看水平和垂直多方位而且具有景深的立体成像和体三维成像信息的显示；同时兼容传统双目立体成像和显示系统。 变焦立体成像也适应于头盔显示系统。

Description

变焦立体成像和显示系统

技术领域

       

      本发明涉及立体电影电视技术和体三维（3D）显示技术和变焦眼镜光学电子技术领域。

背景技术

目前三维（3D）显示技术主要三种：立体三维显示（Stereo 3D）, 体三维显示（Volumetric 3D）, 全息三维显示（Holographic 3D）。

全息显示技术能够完整地再现物体的波光场的振幅和位相信息，所以再现影像与原物体有着完全相同的三维特性。从这种意义上来说，全息像才是真正的三维像。其代表了立体显示技术的未来发展方向。但由于太大的海量数据传输和存储，全息动态显示在目前的技术水平上还不现实。

类似于立体声是基于人的双耳双声道立体听觉原理，立体三维显示是基于人的双目双画面的立体视觉原理。借助于眼镜或者斜光栅屏幕的立体三维显示能提供有限的三维视觉，但人眼在观察时，画面没有真实的景深，聚焦和调节不能匹配，长时间观看容易疲劳。立体三维显示在技术实现和显示效果上都有实际意义，目前已经开始了市场推广，用于立体电视和计算机立体显示器。

体三维显示技术在真实的三维空间显示，也被称之为一种真三维，是一种直接可视、全角度可视、真实景深可视和多人可视的三维空间显示技术。在技术实现和显示效果上都比较有优势。但是，目前基于旋转屏的真三维显示技术也有局限性，主要是由于需要高速旋转，屏幕尺寸和重量不能太大；另外由于是空间显示，效果是一种透明的或半透明的图像，不适合通用显示场合。因此，真三维显示技术比较适合于一些专用场合，例如透视图像的显示，气体和液体图像的显示。这些专用场合应用最好是：图形处理中的粒子系统计算，空气动力学和流体力学等物理模拟，气象分析、地球系统模拟，太空模拟，医学成像中的三维透视图像处理，空中交通控制等领域。

现有比较成熟的真三维显示技术包括：基于美国德州仪器的数字微镜器件（DMD）的投影机，投影到旋转盘屏幕上实现一种球体或圆柱体的真三维显示(现实系统公司，Actuality System Inc.)。该技术已经形成商用产品，有了市场和销售。

北京理工大学的发明提供了一种基于多投影机旋转屏的体三维显示系统，包括：一旋转屏；图像处理装置，在柱坐标系中将三维物体模型分解成一系列多角度的二维图像并传送给各个投影机的数据处理单元；多台投影机沿旋转屏周围固定摆放，将对应角度的一个二维图像同步投影在一个旋转屏幕上，从而重构出与真实物体相似的三维图像。

四川大学的发明，变焦透镜眼镜的体三维立体显示装置，公开了一种变焦透镜眼镜的体3 D立体显示装置，它由变焦透镜眼镜、2 D显示器、同步器组成。人们戴上变焦透镜眼镜看2D显示器上放映的同步变焦、具有景深信息的2 D图像时，3 D图像就出现在立体空间里。与常规的变焦透镜屏的体3 D立体显示装置相比，由于眼镜的镜面面积比显示屏小得多，因此该发明的变焦透镜眼镜的体3 D立体显示装置既能实现体3 D立体显示效果，又节省成本，适合大屏幕的体3 D立体显示。

相关的关键技术有变焦眼镜，这是指会根据需要而自动调整镜片焦距的眼睛，其效果有利于获得清晰的图像，就像自动调焦相机镜头一样。眼睛的晶状体是一块柔软透明的凸透镜，借助于周围肌肉能改变形状，充当了变焦镜头的角色。变焦眼镜有助于辅助眼睛调整焦距。

美国的本杰明·富兰克林于1775年发明了双光眼镜，是将两种折射率不同的镜片上下接合或者熔合在一片镜片上。人们一直致力于研制能够改变焦距的眼镜，并为此申请了很多专利，早期有D.A. Woodward在1866年发明的专利，将液体填充在两层玻璃镜片之间以获得可变焦距眼镜的方法。美国亚利桑那大学的Peyghambarian教授研究小组在2001年开始研制基于液晶的可变焦距眼镜和能够自动对焦的眼镜。2006年，美国的PixelOptics公司开始了可变焦距眼镜的商品化之路，市场化的重点在于如何将这种变焦眼镜的体积缩小。

  

发明内容

 

本发明提供了一种变焦立体成像和显示系统，该系统由景深分块、单个或多组变焦立体摄像机、立体图像处理器、三维图形处理器、合成处理器、存储器、平面显示器、变焦立体眼镜和变焦立体控制器等组成。 该系统由变焦立体控制器产生可编程控制的时序，根据景深分块分割场景，应用变焦立体摄像机实现双镜头变焦立体成像，显示器实现左右两场图像或图形分时交替显示和景深分块图像或图形的子场同步显示，应用变焦立体眼镜实现具有景深的立体电影电视功能；使用多组变焦立体摄像机时，可以获得水平和垂直多方位立体成像和体三维成像信息，应用变焦立体眼镜观看水平和垂直多方位而且具有景深的立体成像和体三维成像信息的显示；同时兼容传统双目立体成像和显示系统。

景深是指在摄影机镜头或其他成像器能够取得清晰图像的成像景深。在聚焦完成后，在焦点前后的范围内都能形成清晰的像，这一前后距离范围叫做景深。本发明中所述景深分块处理将场景按近处和远处不同位置设计为景深分块；场景可以是矩形，景深分块可以是矩形薄块。近处景深小，分辨率高；远处景深大，分辨率低，利用近处和远处不同景深的场景所需分辨率不同，可以减小系统中信息处理量和通讯流量。  

    系统中变焦立体摄像机由两套可编程变焦镜头和两套成像装置组成，受该系统的变焦立体控制器的控制。该摄像机的双变焦镜头可以有机械转动机制，用来调整聚焦夹角。该摄像机的左右两套成像装置分别设计有加宽型图像传感器，用来实现数字变焦和数字化调整夹角，当远景夹角很小时图像处于传感器成像的内侧，当近景夹角较大时图像处于传感器成像的外侧，根据图像在左右传感器上成像位置可以估计夹角大小和焦距。

系统中的立体图像处理器由图像处理器模块，存储器，立体图像输入接口和立体图像输出接口等组成。立体图像处理过程受变焦立体控制器控制，通过人工或计算机智能处理，将其它景深分块的图像留在本景深分块上的影子去掉，同时过滤较远处景深分块中被较近处景深分块的图像遮挡的图像，可以提高多数近处景深分块内的透明度和进一步减小冗余图像信息。

系统中的三维图形处理器由三维图形处理器模块，存储器，三维图形输入接口和三维图形输出接口等组成。 三维图形处理过程受变焦立体控制器控制，通过手工或计算机智能处理，将每一个三维子图形分别置于各景深分块内，同时过滤较远处景深分块中被较近处景深分块的图形遮挡的图形，可以提高多数近处景深分块内的透明度和进一步减小冗余信息。

系统中的合成处理器由合成处理器模块，存储器，合成输入接口和合成输出接口等组成。合成处理过程受变焦立体控制器控制；通过手工或计算机智能处理，将输入的立体图像景深分块和三维图形景深分块对应地合成并置于一个合成景深分块内，同时过滤较远处景深分块中被较近处景深分块的图形或图像遮挡的图形或图像，可以提高多数近处景深分块内的透明度和进一步减小冗余信息。

系统中的变焦立体显示器由立体图像处理器、三维图形处理器，合成处理器，存储器，变焦立体控制器和高速刷新率的平面显示器组成。 在变焦立体控制器的同步时序驱动下，显示器分时显示或采用偏振并行显示左右立体图像，左或右立体图像包括各景深分块图像。

系统中的变焦立体眼镜由两套可程控交替切换和可程控变焦透镜组，两套视觉传感器，一个位置传感器和有线或无线输入输出接口组成。在变焦立体控制器的同步时序驱动下，双眼可以主动调整焦距，注视一个特定的景深分块图像，双目分别看到不同景深分块的左右图像而形成不同景深的立体视觉；同时视觉传感器可以识别双目视觉状态，包括瞳孔大小，视觉焦距和视觉方位；位置传感器可以测量和跟踪眼睛的位置和姿态，便于立体图像处理器和三维图形处理器自适应地调节显示内容，如加重显示不同景深的立体图像或三维图形，切换不同变焦立体摄像机来源或不同方位的立体图像，或切换不同视角而产生的三维图形等。

系统中的变焦立体控制器由时钟，处理器，有线或无线输入输出接口等组成。该控制器产生变焦立体时序控制，首先是依次产生左眼成像和右眼成像场序，在左眼成像和右眼成像场序内再产生景深分块的子场序；该控制器还可以接收变焦立体眼镜传来的视觉状态和位置姿态，用来控制图形图像处理器和变焦立体摄像机。

    变焦立体成像和显示系统中平面显示器在实施于头盔显示系统时，形成左眼微显示器和右眼微显示器，分别对应于左眼变焦透镜组和右眼变焦透镜组。当需要光路折返时，左右眼变焦透镜组分别位于左右眼微显示器和左右眼之间，或分别位于左右眼微显示器和左右反射镜之间。左右反射镜或左右反射透镜用于调整左右眼微显示器与左右眼的位置。左眼视觉传感器和右眼视觉传感器和头盔位置传感器传递信息到变焦立体控制器，于是头盔显示系统在左眼和右眼分别产生具有景深变化和头盔位置自适应的立体虚拟图像。

 

附图说明

    

图1：变焦立体成像和显示系统示意图

图2：景深分块示意图

图3：变焦立体摄像示意图

图4：变焦立体摄像数字变焦示意图

图5：变焦立体图像处理示意图

图6：变焦立体图形处理示意图

图7：变焦立体显示器示意图

图8：变焦立体眼镜示意图

图9：变焦立体时序控制示意图

图10：变焦立体头盔显示系统示意图

应该理解上述附图只是示意性的，并没有按产品设计或按比例绘制

具体实施和详细描述

下面参照附图详细说明本发明提出的变焦立体成像和显示系统的实施例，对本发明进行进一步的具体描述。  

如图1变焦立体成像和显示系统示意图所示，该系统由景深分块1、单个或多组变焦立体摄像机2、立体图像处理器3、三维图形处理器4、合成处理器5、存储器6、平面显示器7、变焦立体眼镜8和变焦立体控制器9等组成。 该系统由变焦立体控制器9产生可编程控制的时序，根据景深分块1分割场景，应用变焦立体摄像机2实现双镜头变焦立体成像，显示器7实现左右两场图像或图形分时交替显示和景深分块1图像或图形的子场同步显示，应用变焦立体眼镜8实现具有景深的立体电影电视功能；使用多组变焦立体摄像机2时，可以获得水平和垂直多方位立体成像和体三维成像信息；应用变焦立体眼镜8观看水平和垂直多方位而且具有景深的立体成像和体三维成像信息的显示；同时兼容传统双目立体成像的和显示系统。

如图2景深分块示意图所示，系统中所述景深分块1处理将场景按近处和远处不同位置设计为景深分块11，12，13，14，15，16；场景可以是矩形，景深分块1可以是矩形薄块。近处景深小，分辨率高；远处景深大，分辨率低，利用近处和远处不同景深的场景所需分辨率不同，可以减小系统中信息处理量和通讯流量。系统中变焦立体摄像机2由两套可编程变焦镜头和两套成像装置组成，受该系统的变焦立体控制器9的控制。  

如图3变焦立体摄像示意图所示，系统中变焦立体摄像机21对准景深分块1中近处景深图像17，该摄像机21的双变焦镜头具有机械转动机制，用来调整聚焦夹角22。系统中变焦立体摄像机23对准景深分块1中远处景深图像18，该摄像机23的双变焦镜头具有机械转动机制，用来调整聚焦夹角24。

如图4变焦立体摄像数字变焦示意图所示，系统中变焦立体摄像机21对准景深分块1中近处景深图像17，该摄像机21的双变焦镜头具有加宽型图像传感器接收右图像25和左图像26，并用来调整聚焦夹角22。系统中变焦立体摄像机23对准景深分块1中远处景深图像18，该摄像机23的双变焦镜头具有加宽型图像传感器接收右图像27和左图像28，并用来调整聚焦夹角24。加宽型图像传感器接收右图像25，27和左图像26，28，用来实现数字变焦和数字化调整夹角，当远景夹角很小时图像处于传感器成像的内侧（右图像27和左图像28），当近景夹角较大时图像处于传感器成像的外侧（右图像25和左图像26），根据图像在左右传感器上成像位置可以估计夹角大小和焦距。

如图5变焦立体图像处理示意图所示，系统中的立体图像处理器3由图像处理器模块，存储器，立体图像输入接口和立体图像输出接口等组成。立体图像处理过程受变焦立体控制器9控制，通过人工或计算机智能处理，将其它景深分块1中的近处景深图像17和远处景深图像18分别留在景深分块16和景深分块11上的影子去掉，同时过滤较远处景深分块16中被较近处景深分块11的图像遮挡的图像，可以提高多数近处景深分块内的透明度和进一步减小冗余图像信息。

如图6变焦立体图形处理示意图所示，系统中的三维图形处理器4由三维图形处理器模块，存储器，三维图形输入接口和三维图形输出接口等组成。 三维图形处理过程受变焦立体控制器9控制，通过手工或计算机智能处理，将每一个三维子图形分别置于各景深分块1内，例如将图中近处景深图像41和远处景深图形42分别置于景深分块11和景深分块16内，同时过滤较远处景深分块1中被较近处景深分块的图形遮挡的图形，可以提高多数近处景深分块1内的透明度和进一步减小冗余信息。

如图7变焦立体显示器示意图所示，该变焦立体显示器由立体图像处理器3、三维图形处理器4，合成处理器5，存储器6，变焦立体控制器9和高速刷新率的平面显示器7组成。 在变焦立体控制器9的同步时序驱动下，显示器7分时显示或采用偏振并行显示左右立体图像，左或右立体图像包括各景深分块图像。

如图8变焦立体眼镜示意图所示，该变焦立体眼镜8由两套可程控交替切换和可程控变焦透镜组81，两套视觉传感器82，一个位置传感器83和有线或无线输入输出接口组成。在变焦立体控制器9的同步时序驱动下，双眼可以主动调整焦距，注视显示器7中一个特定的景深分块图像，双目分别看到不同景深分块的左右图像而形成不同景深的立体视觉；同时视觉传感器82可以识别双目视觉状态，包括瞳孔大小，视觉焦距和视觉方位；位置传感器83可以测量和跟踪眼睛的位置和姿态，便于立体图像处理器和三维图形处理器自适应地调节显示内容，如加重显示不同景深的立体图像或三维图形，切换不同变焦立体摄像机来源或不同方位的立体图像，或切换不同视角而产生的三维图形等。

如图9变焦立体时序控制示意图所示，系统中的变焦立体控制器9由时钟，处理器，有线或无线输入输出接口等组成。该控制器9产生变焦立体时序控制，首先是在时间轴92上依次产生左眼成像93和右眼成像94场序，然后在左眼成像93和右眼成像94场序内再产生景深分块的子场序931，932，，，，93n和941，942，，，，94n。 

如图10变焦立体头盔显示系统示意图所示，变焦立体成像和显示系统中的平面显示器7在实施于头盔显示系统时，形成左眼微显示器71和右眼微显示器72，分别对应于左眼变焦透镜组73和右眼变焦透镜组74，左眼视觉传感器82和右眼视觉传感器82和头盔位置传感器83传递信息到变焦立体控制器9，于是头盔显示系统在左眼和右眼分别产生具有景深变化和头盔位置自适应的立体虚拟图像。

Claims (10)

1.一种变焦立体成像和显示系统，该系统由景深分块、单个或多组变焦立体摄像机、立体图像处理器、三维图形处理器、合成处理器、存储器、平面显示器、变焦立体眼镜和变焦立体控制器等组成。其特征是：由变焦立体控制器产生可编程控制的时序，根据景深分块分割场景，应用变焦立体摄像机实现双镜头变焦立体成像，显示器实现左右两场图像或图形分时交替显示和景深分块图像或图形的子场同步显示，应用变焦立体眼镜实现具有景深的立体电影电视功能；使用多组变焦立体摄像机时，可以获得水平和垂直多方位立体成像和体三维成像信息；应用变焦立体眼镜观看水平和垂直多方位而且具有景深的立体成像和体三维成像信息的显示；同时兼容传统双目立体成像和显示系统。

2.根据权利要求1所述的一种变焦立体成像和显示系统，其中景深分块处理将场景按近处和远处不同位置设计为景深分块；场景可以是方形、矩形、圆球形和圆球壳形，其中圆球形场景是指摄像机组置于场景外围，而圆球壳形场景是指摄像机组置于场景中心内部，对应不同形状场景，景深分块可以是矩形薄块、圆球壳块或部分圆球壳块，其特征是近处景深小分辨率高，和远处景深大分辨率低，利用近处和远处不同景深的场景所需分辨率不同，减小信息处理量和通讯流量。

3.根据权利要求1所述的一种变焦立体成像和显示系统，其中单个或多组变焦立体摄像机由两套可编程变焦镜头和两套成像装置组成，变焦立体摄像机可以自主控制或由该系统的变焦立体控制器控制，其特征是双变焦镜头可以是机械转动调整夹角或通过数字传感器的数字变焦和数字画面调整视角。

4.根据权利要求1和权利要求3所述的一种变焦立体成像和显示系统和变焦立体摄像机，其中左右两套成像装置分别设计有加宽型胶片机构或加宽型图像传感器，其特征是实现数字变焦和数字化调整夹角，当远景夹角很小时图像处于传感器成像的内侧，当近景夹角较大时图像处于传感器成像的外侧，根据图像在左右传感器上成像位置可以估计夹角大小和焦距。

5.根据权利要求1和权利要求2所述的一种变焦立体成像和显示系统和景深分块处理，其中立体图像处理器由图像处理器模块，存储器，立体图像输入接口和立体图像输出接口等组成，其特征是立体图像处理过程受变焦立体控制器控制，通过人工或计算机智能处理，将其它景深分块的图像留在本景深分块上的影子去掉，同时过滤较远处景深分块中被较近处景深分块的图像遮挡的图像，可以提高多数近处景深分块内的透明度和进一步减小冗余图像信息。

6. 根据权利要求1和权利要求2所述的一种变焦立体成像和显示系统和景深分块处理，其中三维图形处理器由三维图形处理器模块，存储器，三维图形输入接口和三维图形输出接口等组成，其特征是三维图形处理过程受变焦立体控制器控制，通过手工或计算机智能处理，将每一个三维子图形分别置于各景深分块内，同时过滤较远处景深分块中被较近处景深分块的图形遮挡的图形，可以提高多数近处景深分块内的透明度和进一步减小冗余信息。

7.  根据权利要求1和权利要求2所述的一种变焦立体成像和显示系统和景深分块处理，其中合成处理器由合成处理器模块，存储器，合成输入接口和合成输出接口等组成，其特征是合成处理过程受变焦立体控制器控制；通过手工或计算机智能处理，将输入的立体图像景深分块和三维图形景深分块对应地合成并置于一个合成景深分块内，同时过滤较远处景深分块中被较近处景深分块的图形或图像遮挡的图形或图像，可以提高多数近处景深分块内的透明度和进一步减小冗余信息。

8.根据权利要求1所述的一种变焦立体成像和显示系统，其中变焦立体显示器由立体图像处理器、三维图形处理器，合成处理器，存储器，变焦立体控制器和平面显示器或球面显示器组成，显示器可采用等离子显示器（PDP），发光二极管显示器（LED）、有机电致发光显示器（OLED）、有机电致发光头盔微型显示器、数字微镜显示投影机（DMD/DLP）等高速刷新率的显示器，其特征是在变焦立体控制器的同步时序驱动下，显示器分时显示或采用偏振并行显示左右立体图像，左或右立体图像包括各景深分块图像。

9. 根据权利要求1所述的一种变焦立体成像和显示系统，其中变焦立体眼镜由两套可程控交替切换和可程控变焦透镜组，两套视觉传感器，一个位置传感器和有线或无线输入输出接口组成，其中变焦透镜组可以是手动控制或电动控制的液体或固体变焦透镜或采用微镜阵列，其特征是在变焦立体控制器的同步时序驱动下，双眼可以主动调整焦距，注视一个特定的景深分块图像，双目分别看到不同景深分块的左右图像而形成不同景深的立体视觉；同时视觉传感器可以识别双目视觉状态，包括瞳孔大小，视觉焦距和视觉方位；位置传感器可以测量和跟踪眼睛的位置和姿态，便于立体图像处理器和三维图形处理器自适应地调节显示内容，如加重显示不同景深的立体图像或三维图形，切换不同变焦立体摄像机来源或不同方位的立体图像，或切换不同视角而产生的三维图形等。

10.根据权利要求1所述的一种变焦立体成像和显示系统，其中平面显示器在实施于头盔显示系统时，形成左眼微显示器和右眼微显示器，分别对应于左眼变焦透镜组和右眼变焦透镜组，左右眼变焦透镜组分别位于左右眼微显示器和左右眼之间或分别位于左右眼微显示器和左右反射镜之间，左右反射镜或左右反射透镜用于调整左右眼微显示器与左右眼的位置，左眼视觉传感器和右眼视觉传感器和头盔位置传感器传递信息到变焦立体控制器，其特征是头盔显示系统在左眼和右眼分别产生具有景深变化和头盔位置自适应的立体虚拟图像。

Images