CN115314698A - 一种立体拍摄及显示装置、方法 - Google Patents

Abstract

本发明涉及一种立体拍摄及显示装置、方法，包括：短间距的双摄取像系统、控制系统、图像处理系统以及立体图像显示系统；短间距的双摄取像系统用于进行图像采集并输出初始图像；控制系统与短间距的双摄取像系统和图像处理系统连接，用于接收初始图像，并结合图像处理系统对初始图像进行处理，获得立体图像；立体图像显示系统与控制系统连接，用于接收立体图像并对立体图像进行显示。本发明采用短间距的双摄取像，可以降低制造对位校正的难度和缩小设备的体积，而且立体图像显示系统不需要进行复杂加工，可以降低成本，另外，本发明基于人眼物理性的透视原理，使观看舒适，不会产生晕眩等不适感，也不会有立体图像中的视角差重影问题。

Description

一种立体拍摄及显示装置、方法

技术领域

本发明涉及立体显示的技术领域，更具体地说，涉及一种立体拍摄及显示装置、方法。

背景技术

习知的立体相机装置，可参看图1传统立体相机方块图示，系由一对以上(含)的立体双摄像头模组，及一块可以显示实时抓拍立体图像的显示屏，再加上适配这种裸眼3D的图像计算方式，以及数码控制电路所构成，这种传统立体相机的设计方式，由于使用了模拟人眼的瞳孔距离，两颗摄像头的间距，一般都设计在18mm～70mm之间，这样的双摄像头在设计上跨距大，以及视角差角度小，会导致三维效果不明显，重影严重等等的缺点。

前述的习知设计方式因为两个摄像头的间距大，会使相机的集成电路板及外形结构整个占比面积大，这样才有足够的空间置放这两个以上(含)的摄像头。

除了配置空间的要求以外，由于立体相机对图像交织的要求，这两个摄像头的相对位置必须达到一定的精度，所拍摄的立体图像才会有好的效果，这里说的效果是指一般的立体图像左、右并排时的要求，假如没有达到一定的精度，例如上下没在一个水平位置上，或是左右有歪斜的情况，都会使立体图像左右图片视差大、成像不清晰、上下交织造成的模糊，造成图像质量不良。

另外，现在的三维立体显示方式，利用了人眼视角差的原理，不论是戴眼镜方式，还是不带眼镜的裸眼方式，基于视差原理的三维立体显示方式，观看者如果查看质量不良的图像，就会产生不适应的现象，也是造成看立体图像晕眩的原因之一。

前述三维立体显示屏，或是立体显示设备，特别是裸眼不带眼镜的方式，都是需要透过贴合一层的光学膜，才有具备立体显示的能力，无论是柱状光栅、或是狭缝光栅光学膜的材料，都是需要经过精密及特殊的加工方式，才能得到质量良好的立体显示屏，无形中增加了成本及提高普及性的壁垒。这也是使这项技术及产品，推广了多年，还难以实现普及的众多原因之一。

由于前述的精密光学膜贴合，具有比较高的门坎，例如设备投入、生产人员的培训、光学膜材的投入等等，因此，有习知的光学膜工艺，透过简易的贴合辅助工具，个人用户可以贴附光学膜在个人电子装置的液晶显示屏表面上，以达到裸眼立体显示的效果，但是这种工艺由于背离了近场光学(Near Field Optics)的物理条件，无法真正的实现良好的立体显示效果。

除了上面所提及的立体显示屏，双摄像头、控制电路等等，在习知的立体三维相机系统上，形成了一种特殊的工艺流程，并且体积也比一般的单摄像头相机或是手持装置，如手机、平板电脑等都需要占据不小的空间，对于现在的电子产品研发人员，不论是空间布局或是成本控制，都有很大的设计难点。

发明内容

本发明要解决的技术问题在于，针对现有技术的缺陷，提供一种立体拍摄及显示装置、方法。

本发明解决其技术问题所采用的技术方案是：构造一种立体拍摄及显示装置，包括：短间距的双摄取像系统、控制系统、图像处理系统以及立体图像显示系统；

所述短间距的双摄取像系统用于进行图像采集并输出初始图像；

所述控制系统与所述短间距的双摄取像系统和所述图像处理系统连接，用于接收所述初始图像，并结合所述图像处理系统对所述初始图像进行处理，获得立体图像；

所述立体图像显示系统与所述控制系统连接，用于接收所述立体图像并对所述立体图像进行显示。

在本发明所述的立体拍摄及显示装置中，所述短间距的双摄取像系统包括：第一组成模式、第二组成模式、第三组成模式、第四组成模式以及第五组成模式中的任意一种；

所述第一组成模式、所述第二组成模式、所述第三组成模式、所述第四组成模式以及所述第五组成模式均采用双镜头，且两个镜头之间的间距小于预设值。

在本发明所述的立体拍摄及显示装置中，所述第一组成模式包括：第一镜头、第二镜头、分光装置、聚光装置以及图像传感器；

所述第一镜头和所述第二镜头分别设置在所述分光装置的取光方向，用于获取光线并传送给所述分光装置；

所述分光装置设置在所述图像传感器的感应面上，用于将所接收的光线进行分光处理后传送至所述图像传感器的感应面上；

所述聚光装置设置在所述分光装置与所述图像传感器之间，用于将所述分光装置输出的光线聚合于所述图像传感器的感应面上；

所述图像传感器用于对光线进行转换处理以获得所述初始图像。

在本发明所述的立体拍摄及显示装置中，所述第二组成模式包括：第一镜头、第二镜头、屏蔽装置、聚光装置以及图像传感器；

所述第一镜头和所述第二镜头设置在所述屏蔽装置入光方向上，用于获取光线；所述第一镜头和所述第二镜头为不同焦距和不同大小的图像圈；

所述聚光装置设置在所述屏蔽装置与所述图像传感器之间，用于将经过所述屏蔽装置的光线聚合于所述图像传感器的感应面上；

所述图像传感器用于对光线进行转换处理以获得所述初始图像。

在本发明所述的立体拍摄及显示装置中，所述第三组成模式包括：第一镜头、第二镜头、屏蔽装置、聚光装置以及图像传感器；

所述述第一镜头和所述第二镜头设置在所述屏蔽装置入光方向上，用于获取光线；所述第一镜头和所述第二镜头为相同焦距和相同大小的图像圈；

所述聚光装置设置在所述屏蔽装置与所述图像传感器之间，用于将经过所述屏蔽装置的光线聚合于所述图像传感器的感应面上；

所述图像传感器用于对光线进行转换处理以获得所述初始图像。

在本发明所述的立体拍摄及显示装置中，所述第四组成模式包括：第一镜头、第二镜头、屏蔽装置、光栅装置、聚光装置以及图像传感器；

所述述第一镜头和所述第二镜头设置在所述屏蔽装置的入光方向，用于获取光线；

所述光栅装置内置于所述屏蔽装置中，用于对所述第一镜头和所述第二镜头输出的光线进行过滤；

所述聚光装置设置在所述屏蔽装置与所述图像传感器之间，用于将经过所述屏蔽装置的光线聚合于所述图像传感器的感应面上；

所述图像传感器用于对光线进行转换处理以获得所述初始图像。

在本发明所述的立体拍摄及显示装置中，所述第五组成模式包括：第一模组和第二模组；

所述第一模组包括：第一镜头、第一聚光装置和第一图像传感器；所述第二模组包括：第二镜头、第二聚光装置和第二图像传感器；

所述第一镜头设置用于获取光线并传送至所述第一聚光装置；

所述第一聚光装置设置在所述第一镜头与所述第一图像传感器之间，用于将经过所述第一镜头的光线聚合于所述第一图像传感器的感应面上；

所述第一图像传感器用于对光线进行转换处理以获得第一图像；

所述第二镜头设置用于获取光线并传送至所述第二聚光装置；

所述第二聚光装置设置在所述第二镜头与所述第二图像传感器之间，用于将经过所述第二镜头的光线聚合于所述第二图像传感器的感应面上；

所述第二图像传感器用于对光线进行转换处理以获得第二图像；

所述第一图像和所述第二图像形成所述初始图像。

在本发明所述的立体拍摄及显示装置中，所述控制系统包括：图像处理单元、数字信号处理单元、人工智能运算单元以及中央运算控制单元；

所述图像处理单元、所述数字信号处理单元、所述人工智能运算单元与所述中央运算控制单元连接，所述图像处理单元和所述数字信号处理单元用于对所述短间距的双摄取像系统输出的初始图像进行转换处理，获得标准图像；

所述中央运算控制单元用于控制所述图像处理单元、所述数字信号处理单元以及所述人工智能运算单元进行三方工作，并结合所述图像处理系统对所述标准图像进行处理，获得立体图像。

在本发明所述的立体拍摄及显示装置中，所述图像处理系统包括：标记单元、分割单元、边框形变计算单元以及融合单元；

所述标记单元，用于对所述标准图像的图像中心进行位置标记；

所述分割单元，用于根据所述位置标记对所述标准图像进行图像侵害，获得前景图像、后景图像以及背景图像；

所述边框形变计算单元，用于对所述背景图像进行边框形变计算，获得待融合背景；

融合单元，用于将所述前景图像、所述后景图像和所述待融合背景进行融合，获得立体图像。

本发明还提供一种立体拍摄及显示方法，包括以下步骤：

通过短间距的双摄取像系统进行图像采集并输出初始图像；

控制系统接收所述初始图像，并结合图像处理系统对所述初始图像进行处理，获得立体图像；

立体图像显示系统对所述立体图像进行显示。

实施本发明的立体拍摄及显示装置、方法，具有以下有益效果：立体拍摄及显示装置包括：短间距的双摄取像系统、控制系统、图像处理系统以及立体图像显示系统；短间距的双摄取像系统用于进行图像采集并输出初始图像；控制系统与短间距的双摄取像系统和图像处理系统连接，用于接收初始图像，并结合图像处理系统对初始图像进行处理，获得立体图像；立体图像显示系统与控制系统连接，用于接收立体图像并对立体图像进行显示。本发明采用短间距的双摄取像，可以降低制造对位校正的难度和缩小设备的体积，而且立体图像显示系统不需要进行复杂加工，可以降低成本，另外，本发明基于人眼物理性的透视原理，使观看舒适，不会产生晕眩等不适感，也不会有立体图像中的视角差重影问题。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是传统立体相机的原理框图；

图2是本发明提供的立体拍摄及显示装置的原理框图；

图3是本发明提供的短间距的双摄取像系统实施例一的结构示意图；

图4是本发明提供的短间距的双摄取像系统实施例二的结构示意图；

图5是本发明提供的短间距的双摄取像系统实施例三的结构示意图；

图6是本发明提供的短间距的双摄取像系统实施例四的结构示意图；

图7是本发明提供的短间距的双摄取像系统实施例五的结构示意图；

图8是本发明提供的控制系统的原理框图；

图9是本发明提供的图像处理系统的原理框图；

图10是本发明实施例提供的左右图像测距原理的示意图；

图11是本发明实施例提供的折边示意图；

图12是本发明提供的立体拍摄及显示方法的流程示意图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

参考图2，为本发明提供的立体拍摄及显示装置一可选实施例的原理框图。

如图2所示，该立体拍摄及显示装置包括：短间距的双摄取像系统10、控制系统20、图像处理系统30以及立体图像显示系统40。其中，短间距的双摄取像系统10用于进行图像采集并输出初始图像；控制系统20与短间距的双摄取像系统10和图像处理系统30连接，用于接收初始图像，并结合图像处理系统30对初始图像进行处理，获得立体图像；立体图像显示系统40与控制系统20连接，用于接收立体图像并对立体图像进行显示。需要说明的是，本发明实施例中，该立体图像显示系统40可以采用平面(2D)显示装置。即本发明不需要采用专用的立体相机装置(如具有与独立相机相同功能的立体摄像及显示功能的三维立体设备装置)，就可以在2D显示装置上呈现立体图像。

本发明通过采用短间距的双摄取像系统10，可以解决对视差角度要求高且需要计算精确才能得到较好的立体图像效果的问题，还可以降低制造对位校正的难度，并且可以相机模块的体积。对于立体显示，本发明直接采用2D显示装置即可实现立体显示，不需要进行复杂的加工，大大降低制作工艺难度和成本。

另外，本发明通过基于人眼物理性的透视原理，使观看舒适，不会产生晕眩等不适感，也不会有立体图像经常产生的视角差重影问题，可以获得更好的立体显示效果，同时，也不会降低或者影响原来的平面(2D)显示质量。

进一步地，本发明由于采用2D显示装置，因此，生成容易，良品率高，进而使得整个系统及设备的成本大大降低，对于立体显示及摄像整体行业，可以达到容易推广的效果，增进用户对立体图像的体验。

可选的，本发明实施例中，短间距的双摄取像系统10包括：第一组成模式、第二组成模式、第三组成模式、第四组成模式以及第五组成模式中的任意一种。即本发明的短间距的双摄取像系统10可以采用第一组成模式、第二组成模式、第三组成模式、第四组成模式以及第五组成模式的任意一种组成模式实现。其中，第一组成模式、第二组成模式、第三组成模式、第四组成模式以及第五组成模式均采用双镜头，且两个镜头之间的间距小于预设值。可选的，本发明实施例中，该预设值小于等于15mm。

具体的，参考图3，为本发明提供的短间距的双摄取像系统10实施例一的结构示意图。

该实施例中，短间距的双摄取像系统10采用第一组成模式。如图3所示，第一组成模式包括：第一镜头11、第二镜头12、分光装置13、聚光装置14以及图像传感器15。

其中，第一镜头11和第二镜头12分别设置在分光装置13的取光方向，用于获取光线并传送给分光装置13。分光装置13设置在图像传感器15的感应面上，用于将所接收的光线进行分光处理后传送至图像传感器15的感应面上。聚光装置14设置在分光装置13与图像传感器15之间，用于将分光装置13输出的光线聚合于图像传感器15的感应面上。图像传感器15用于对光线进行转换处理以获得初始图像。

如图3所示，两路光线分别透过第一镜头11和第二镜头12后进入分光装置13，由分光装置13进行分光后，再由聚光装置14集成在图像传感器15的感应面上，并集成一张图像。

可选的，本发明实施例中，分光装置13可以采用三棱镜，聚光装置14可以采用微透镜。进一步地，本发明实施例中，对于第一镜头11和第二镜头12的设计方式与图像传感器15的选配可采用通用的方式，本发明不作具体限定。

参考图4，为本发明提供的短间距的双摄取像系统10实施例二的结构示意图。

该实施例中，短间距的双摄取像系统10采用第二组成模式。如图4所示，第二组成模式包括：第一镜头11、第二镜头12、屏蔽装置16、聚光装置14以及图像传感器15。

其中，第一镜头11和第二镜头12设置在屏蔽装置16入光方向上，用于获取光线。聚光装置14设置在屏蔽装置16与图像传感器15之间，用于将经过屏蔽装置16的光线聚合于图像传感器15的感应面上。图像传感器15用于对光线进行转换处理以获得初始图像。

如图4所示，两路光线分别透过第一镜头11和第二镜头12进入屏蔽装置16后，由聚光装置14集成在图像传感器15的感应面上，并集成一张图像。其中，该实施例中，第一镜头11和第二镜头12为不同焦距和不同大小的图像圈。

可选的，本发明实施例中，屏蔽装置16可以采用镜头设计中通用的镜头屏蔽。通过设置该镜头屏蔽可以有效避免杂光进入，提升成像质量。可选的，本发明实施例中，聚光装置14可以采用微透镜。进一步地，本发明实施例中，对于第一镜头11和第二镜头12的设计方式与图像传感器15的选配可采用通用的方式，本发明不作具体限定。

参考图5，为本发明提供的短间距的双摄取像系统10实施例三的结构示意图。

该实施例中，短间距的双摄取像系统10采用第三组成模式。如图5所示，第三组成模式包括：第一镜头11、第二镜头12、屏蔽装置16、聚光装置14以及图像传感器15。

其中，述第一镜头11和第二镜头12设置在屏蔽装置16入光方向上，用于获取光线。聚光装置14设置在屏蔽装置16与图像传感器15之间，用于将经过屏蔽装置16的光线聚合于图像传感器15的感应面上。图像传感器15用于对光线进行转换处理以获得初始图像。

如图5所示，两路光线分别透过第一镜头11和第二镜头12进入屏蔽装置16后，由聚光装置14集成在图像传感器15的感应面上，并集成一张图像。其中，该实施例中，第一镜头11和第二镜头12为相同焦距和相同大小的图像圈。

可选的，本发明实施例中，屏蔽装置16可以采用镜头设计中通用的镜头屏蔽。通过设置该镜头屏蔽可以有效避免杂光进入，提升成像质量。可选的，本发明实施例中，聚光装置14可以采用微透镜。进一步地，本发明实施例中，对于第一镜头11和第二镜头12的设计方式与图像传感器15的选配可采用通用的方式，本发明不作具体限定。

参考图6，为本发明提供的短间距的双摄取像系统10实施例四的结构示意图。

该实施例中，短间距的双摄取像系统10采用第四组成模式。如图6所示，第四组成模式包括：第一镜头11、第二镜头12、屏蔽装置16、光栅装置17、聚光装置14以及图像传感器15。

其中，述第一镜头11和第二镜头12设置在屏蔽装置16的入光方向，用于获取光线。光栅装置17内置于屏蔽装置16中，用于对第一镜头11和第二镜头12输出的光线进行过滤。聚光装置14设置在屏蔽装置16与图像传感器15之间，用于将经过屏蔽装置16的光线聚合于图像传感器15的感应面上。图像传感器15用于对光线进行转换处理以获得初始图像。

如图6所示，两路光线分别透过第一镜头11和第二镜头12进入屏蔽装置16后，先通过内置的光栅装置17，再由聚光装置14集成在图像传感器15的感应面上，并集成一张图像。在该实施例中，通过设置该光栅装置17可以有效的过滤进入镜头的杂散光线，有效提高光的利用率。可选的，该实施例中，第一镜头11和第二镜头12可以采用相同焦距和相同大小的图像圈，或者，也可以采用两个不同焦距的图像圈。

参考图7，为本发明提供的短间距的双摄取像系统10实施例五的结构示意图。

该实施例中，短间距的双摄取像系统10采用第五组成模式。如图7所示，第五组成模式包括：第一模组71和第二模组72。

第一模组71包括：第一镜头11、第一聚光装置711和第一图像传感器712。第二模组72包括：第二镜头12、第二聚光装置721和第二图像传感器722。

其中，第一镜头11设置用于获取光线并传送至第一聚光装置711；第一聚光装置711设置在第一镜头11与第一图像传感器712之间，用于将经过第一镜头11的光线聚合于第一图像传感器712的感应面上；第一图像传感器712用于对光线进行转换处理以获得第一图像。第二镜头12设置用于获取光线并传送至第二聚光装置721；第二聚光装置721设置在第二镜头12与第二图像传感器722之间，用于将经过第二镜头12的光线聚合于第二图像传感器722的感应面上；第二图像传感器722用于对光线进行转换处理以获得第二图像。第一图像和第二图像形成初始图像。

如图7所示，第五组成模式是由两个独立的镜头模组组成，其中，这两个独立的镜头模组为带有自动对焦的音圈马达。两个独立的镜头模组可以采用任意方式贴合。其中，第一模组71和第二模组72可以根据系统设计需求，可以采用相同的设计，或者，也可以采用不同的设计，或者也可以采用一个配置彩色摄像头、另一个采用黑白灰阶摄像头的设计。

如图3至图7所示的实施例中，本发明所采用的微透镜为镜头模组的常用设计，通过设置微透镜可以将光线最大化的使用。进一步地，本发明实施例中，图3至图7中的任意一个实施例，第一镜头11与第二镜头12之间的间距均可以缩短至预设值或者以下。

本发明实施例中，通过采用短间距的取像方法，除了可以大幅的降低产品尺寸及体积外，还可以避免双摄像头生产过程中需要的高精度同位置校准，大大提高产品生产良率。另外，对于现有常用于计算深度的习知技术及方法，例如飞时技术(Time of Flight)，3D结构光(Structure Light)技术，不论是前者利用时间差或是后者三角函数的计算基础，都使用了激光做标定的参考，因此存在取像的环境限制、模组零件成本、三角及激光的计算时间，以及对电子硬件系统的高度要求等等。凡此种种，都无法与本发明创作的相对的低成本，计算时间短，电子硬件条件相对低的优势相比较。

参考图8，为本发明提供的控制系统20的原理框图。如图8所示，该控制系统20包括：图像处理单元22、数字信号处理单元23、人工智能运算单元24以及中央运算控制单元21。

图像处理单元22、数字信号处理单元23、人工智能运算单元24与中央运算控制单元21连接，图像处理单元22和数字信号处理单元23用于对短间距的双摄取像系统10输出的初始图像进行转换处理，获得标准图像；中央运算控制单元21用于控制图像处理单元22、数字信号处理单元23以及人工智能运算单元24进行三方工作，并结合图像处理系统30对标准图像进行处理，获得立体图像。

进一步地，如图8所示，该控制系统20还包括：电源控制单元25、UI接口单元26(其中，UI：User Interface，用户接口)、内接存储器单元27、外接存储器单元28、暂存器单元29、无线连接单元211以及显示驱动控制单元210。

其中，电源控制单元25用于实现控制系统20的电源控制，UI接口单元26用于实现与用户之间的交互，内接存储器单元27、外接存储器单元28以及暂存器单元29用于实现数据的存储，无线连接单元211用于实现控制系统20与外部设备之间的无线通信，显示驱动控制单元210用于实现与立体图像显示系统40之间的显示驱动控制。

如图8所示，在取像时，当用户通过UI接口单元26对中央运算控制单元21发出取像指令时，短间距的双摄取像系统10立即将光信号转换为电信号以获得初始图像，并通过短间距的双摄取像系统10的控制通道与图像处理单元22连接，将初始图像通过图像处理单元22、数字信号处理单元23转换为国际标准的图像格式(例如YUV422……等)，并将所转换的标准图像暂存在存储器单元(内接存储器单元27、外接存储器单元28、暂存器单元29中的任意一个或者多个)。其中，图像处理单元22还用于向短间距的双摄取像系统10提供取像的快门速度、白平衡、曝光时间、基础色彩的标准等摄像的参数值。

在进行图像处理过程中，除了软件做计算外，还需要硬件的适配及电路功能的电信号实现。其中，电信号的处理由中央运算控制单元21进行控制统筹，在完成取像后，中央运算控制单元21即输出指令控制图像处理开始执行，并偕同数字信号处理单元23、图像处理单元22进行三方间的作业，同时结合图像处理系统30进行图像处理，而且，在完成图像处理后，可以将所得到的立体图像存储在内接存储器单元27和/或外接存储器单元28中，或者直接由立体图像显示系统40进行显示，或者，也可以通过无线连接单元211将所得到的立体图像通过无线网络实时传送至第三方系统或者设备。

参考图9，为本发明提供的图像处理系统30的原理框图。如图9所示，该图像处理系统30包括：标记单元31、分割单元32、边框形变计算单元33以及融合单元34。

一些实施例中，标记单元31，用于对标准图像的图像中心进行位置标记。分割单元32，用于根据位置标记对标准图像进行图像侵害，获得前景图像、后景图像以及背景图像；边框形变计算单元33，用于对背景图像进行边框形变计算，获得待融合背景；融合单元34，用于将前景图像、后景图像和待融合背景进行融合，获得立体图像。

具体的，先对带有深度信息的图像源进行计算，获得图像中的深度与距离关系；根据图像中的深度与距离关系进行图像中心的位置标记；具体的，通过短间距的双摄取像系统10获得带有深度信息的图像源(例如为左右图像排列方式(SBS))后，可以通过人工智能运算单元24的运算，并根据左右图像测距原理(如图10所示)，计算出图像中的深度与距离关系，并根据图像中的深度与距离关系对源图像进行位置标记。其中，具体的计算公式如下：

因此，通过(1)式即可得到：

其中，Z表示深度，T为左右镜头之间的间距，x^l为左镜头的中心点(图2中以坐标表示为(c_xl，c_yl)，x^r为右镜头的中心点(图2中以坐标表示为(c_xr，c_yr)，f表示镜头的焦距。由于f、T、x^l和x^r均为已知，因此，基于于(2)式即可计算得到Z。

其中，人工智能的运算可采用人工智能深度学习CNN(Convolutional NeuralNetworks，卷积神经网络)算法库进行计算，并且可以通过对多次多张图像进行计算，从而提高标记的准确率。

进一步进，在完成图像中心的位置标记后，由分割单元32将标记所在的图像区域进行分割，从而可以得到前景图像、后景图像以及背景图像。可选的，对于前景图像、后景图像以及背景图像的划分，可以根据所计算得到的深度值与镜头的相对距离进行划分。其中，深度值与镜头的相对距离较小(近距离)的为前景图像(以位置标记为参照)，深度值与镜头的相对距离中等的为后景图像，深度值与镜头的相对距离最大的为背景图像。其中，深度值与镜头相对距离的大、中、小以可区分前、后、背景图像确定，本发明不作具体限定。

可选的，本发明实施例中，在获得前景图像和后景图像后，将前景图像和后景图像缓存。即完成图像分割，并分割出前景图像和后景图像后，对前景图像和后景图像不需要做图像处理，而是将前景图像和后景图像存储在缓存器中，以备后续图像融合使用。

本发明实施例中，在分割出背景图像后，需要对背景图像进行边框形变计算，以获得可进行融合的背景图像(即待融合背景)。

可选的，本发明实施例中，背景图像包括：可适配折边图像、不可适配折边但可进行边框优化的图像以及不适配折边且不可进行边框优化的图像。

其中，对于不适配折边且不可进行边框优化的图像，本发明对背景图像不作任何处理，而是将不适配折边且不可进行边框优化的图像直接作为待融合背景。对于不可适配折边但可进行边框优化的图像，本发明对不可适配折边但可进行边框优化的图像进行HSV转换，获得HSV图像。具体的，HSV(Hue Saturation Value)，H表示颜色色调，S表示饱和度，V表示明度。其中，该HSV图像即为待融合背景。对于可适配折边图像，本发明则需要先进行折边后，再进行边框优化处理。

一些实施例中，对于可适配折边图像，本发明可采用以下方法进行处理。即对可适配折边图像进行边框计算，获得待裁剪尺寸；根据待裁剪尺寸对可适配折边图像进行裁剪，获得裁剪边框；对裁剪边框进行透视变换，获得变换后的图像；对变换后的图像进行HSV转换，获得HSV图像；HSV图像为融合背景。

其中，对于可适配折边的图像，本发明实施例中，先计算边框大小，然后根据所计算得到的边框宽高裁剪出图片的边框，再将所裁剪出的图片的边框的坐标进行透视变换，最后将透视变换后的边框的RGB转化为HSV，即可获得HSV图像。

具体的，如图11所示，初始值取图片的宽高较小的一边的1/8作为边框的宽w，角度α初始值默认45°，根据三角函数公式计算边框的高h＝w*tan(Radians(α))+0.5。根据计算出的边框宽高裁剪出图片的边框(如示意图的HGFE)，利用透视变换通用公式(如下所示)进行透视变换：

将边框HGFE坐标，变换成边框ABFE坐标，其余三条边框采用相同的方法。在完成透视变化后，将边框图像的RGB转换为HSV，即可得到HSV图像。进一步地，在完成HSV转换后，还可以对V进行直方图均衡化处理，实现对图像的亮度优化调整。

一些实施例中，在完成对V进行直方图均衡化处理后，将待融合背景、后影图像、前景图像依次贴回源图像，获得立体图像。这里的源图像即为分割前的图像。

进一步地，一些实施例中，在进行立体图像显示时，中央运算控制单元21通过显示驱动控制单元210与立体图像显示系统40电连接，并显示系统启动的信息，如开机画面、系统信息等。当进入相机预览模式或者拍照模式，短间距的双摄取像系统10获取的初始图像经过图像处理后，在立体图像显示系统40上进行显示。其中，可以通过接口功能的设置，实现2D平面图像显示，也可以实现三维的立体图像显示。

进一步地，在具备人工智能运算单元24的集成控制系统20，可以透过人工智能的模型建立及训练，提高对图像处理的精确度。其中，凡具备这样的集成电路功能模块，也是本发明创作的范围内。

一些实施例中，立体图像显示系统40可包括显示器，其中，显示器的种类可包括但不限于彩色液晶显示器、OLED(Organic Light-Emitting Diode，有机发光二极管)显示器、甚或新型态的Micro LED，Mini LED显示器、激光显示器，举凡可以彩色或式灰阶显示功能的显示设备，皆可应用于本发明创作中。

本发明的立体拍摄及显示系统，突破了传统立体拍摄相机的双摄像头长间距的技术瓶颈以及配合这种双摄头设计的图像取像及图像处理方法，根据本发明的图像处理结果，显示在一般性的显示屏上，达到裸眼立体显示的功能。

参考图12，为本发明提供的立体拍摄及显示方法一可选实施例的流程示意图。其中，该立体拍摄及显示方法可以通过本发明公开的立体拍摄及显示实现。

具体的，如图12所示，该立体拍摄及显示方法包括以下步骤：

步骤S101、通过短间距的双摄取像系统10进行图像采集并输出初始图像。

步骤S102、控制系统20接收初始图像，并结合图像处理系统30对初始图像进行处理，获得立体图像。

步骤S103、立体图像显示系统40对立体图像进行显示。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM(只读光盘存储器)、或技术领域内所公知的任意其它形式的存储介质中。

以上实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据此实施，并不能限制本发明的保护范围。凡跟本发明权利要求范围所做的均等变化与修饰，均应属于本发明权利要求的涵盖范围。

Claims (10)

1.一种立体拍摄及显示装置，其特征在于，包括：短间距的双摄取像系统、控制系统、图像处理系统以及立体图像显示系统；

所述短间距的双摄取像系统用于进行图像采集并输出初始图像；

所述控制系统与所述短间距的双摄取像系统和所述图像处理系统连接，用于接收所述初始图像，并结合所述图像处理系统对所述初始图像进行处理，获得立体图像；

所述立体图像显示系统与所述控制系统连接，用于接收所述立体图像并对所述立体图像进行显示。

2.根据权利要求1所述的立体拍摄及显示装置，其特征在于，所述短间距的双摄取像系统包括：第一组成模式、第二组成模式、第三组成模式、第四组成模式以及第五组成模式中的任意一种；

所述第一组成模式、所述第二组成模式、所述第三组成模式、所述第四组成模式以及所述第五组成模式均采用双镜头，且两个镜头之间的间距小于预设值。

3.根据权利要求2所述的立体拍摄及显示装置，其特征在于，所述第一组成模式包括：第一镜头、第二镜头、分光装置、聚光装置以及图像传感器；

所述第一镜头和所述第二镜头分别设置在所述分光装置的取光方向，用于获取光线并传送给所述分光装置；

所述分光装置设置在所述图像传感器的感应面上，用于将所接收的光线进行分光处理后传送至所述图像传感器的感应面上；

所述聚光装置设置在所述分光装置与所述图像传感器之间，用于将所述分光装置输出的光线聚合于所述图像传感器的感应面上；

所述图像传感器用于对光线进行转换处理以获得所述初始图像。

4.根据权利要求2所述的立体拍摄及显示装置，其特征在于，所述第二组成模式包括：第一镜头、第二镜头、屏蔽装置、聚光装置以及图像传感器；

所述第一镜头和所述第二镜头设置在所述屏蔽装置入光方向上，用于获取光线；所述第一镜头和所述第二镜头为不同焦距和不同大小的图像圈；

所述聚光装置设置在所述屏蔽装置与所述图像传感器之间，用于将经过所述屏蔽装置的光线聚合于所述图像传感器的感应面上；

所述图像传感器用于对光线进行转换处理以获得所述初始图像。

5.根据权利要求2所述的立体拍摄及显示装置，其特征在于，所述第三组成模式包括：第一镜头、第二镜头、屏蔽装置、聚光装置以及图像传感器；

所述述第一镜头和所述第二镜头设置在所述屏蔽装置入光方向上，用于获取光线；所述第一镜头和所述第二镜头为相同焦距和相同大小的图像圈；

所述聚光装置设置在所述屏蔽装置与所述图像传感器之间，用于将经过所述屏蔽装置的光线聚合于所述图像传感器的感应面上；

所述图像传感器用于对光线进行转换处理以获得所述初始图像。

6.根据权利要求2所述的立体拍摄及显示装置，其特征在于，所述第四组成模式包括：第一镜头、第二镜头、屏蔽装置、光栅装置、聚光装置以及图像传感器；

所述述第一镜头和所述第二镜头设置在所述屏蔽装置的入光方向，用于获取光线；

所述光栅装置内置于所述屏蔽装置中，用于对所述第一镜头和所述第二镜头输出的光线进行过滤；

所述聚光装置设置在所述屏蔽装置与所述图像传感器之间，用于将经过所述屏蔽装置的光线聚合于所述图像传感器的感应面上；

所述图像传感器用于对光线进行转换处理以获得所述初始图像。

7.根据权利要求2所述的立体拍摄及显示装置，其特征在于，所述第五组成模式包括：第一模组和第二模组；

所述第一模组包括：第一镜头、第一聚光装置和第一图像传感器；所述第二模组包括：第二镜头、第二聚光装置和第二图像传感器；

所述第一镜头设置用于获取光线并传送至所述第一聚光装置；

所述第一聚光装置设置在所述第一镜头与所述第一图像传感器之间，用于将经过所述第一镜头的光线聚合于所述第一图像传感器的感应面上；

所述第一图像传感器用于对光线进行转换处理以获得第一图像；

所述第二镜头设置用于获取光线并传送至所述第二聚光装置；

所述第二聚光装置设置在所述第二镜头与所述第二图像传感器之间，用于将经过所述第二镜头的光线聚合于所述第二图像传感器的感应面上；

所述第二图像传感器用于对光线进行转换处理以获得第二图像；

所述第一图像和所述第二图像形成所述初始图像。

8.根据权利要求1所述的立体拍摄及显示装置，其特征在于，所述控制系统包括：图像处理单元、数字信号处理单元、人工智能运算单元以及中央运算控制单元；

所述图像处理单元、所述数字信号处理单元、所述人工智能运算单元与所述中央运算控制单元连接，所述图像处理单元和所述数字信号处理单元用于对所述短间距的双摄取像系统输出的初始图像进行转换处理，获得标准图像；

所述中央运算控制单元用于控制所述图像处理单元、所述数字信号处理单元以及所述人工智能运算单元进行三方工作，并结合所述图像处理系统对所述标准图像进行处理，获得立体图像。

9.根据权利要求8所述的立体拍摄及显示装置，其特征在于，所述图像处理系统包括：标记单元、分割单元、边框形变计算单元以及融合单元；

所述标记单元，用于对所述标准图像的图像中心进行位置标记；

所述分割单元，用于根据所述位置标记对所述标准图像进行图像侵害，获得前景图像、后景图像以及背景图像；

所述边框形变计算单元，用于对所述背景图像进行边框形变计算，获得待融合背景；

融合单元，用于将所述前景图像、所述后景图像和所述待融合背景进行融合，获得立体图像。

10.一种立体拍摄及显示方法，其特征在于，包括以下步骤：

通过短间距的双摄取像系统进行图像采集并输出初始图像；

控制系统接收所述初始图像，并结合图像处理系统对所述初始图像进行处理，获得立体图像；

立体图像显示系统对所述立体图像进行显示。

Images