CN112995640A - 一种同屏立体摄像机 - Google Patents

Abstract

本发明公开了一种同屏立体摄像机。一个同屏立体摄像机中左右两个镜头组1和2采集的一个位于立体摄像机中心轴线上的关注物体5的左右两个影像分别在左右两个图像传感器成像表面3和4上成像后被输出到一个影像处理器。影像处理器中一个同屏芯片通过对输入的关注物体5的左右两个影像沿着水平方向上同步地平移使关注物体5的左右两个影像分别位于左右两个平移后的新影像的中心。左右两个影像平移后，关注物体5的立体影像会聚点保持在屏幕上，关注物体5的立体深度与关注物体5的立体影像会聚点的立体深度之间满足一组线性数学公式。本发明解决了立体影像的非线性畸变、出屏和眼睛的焦点平面与立体影像的像平面分离的问题，应用于内窥镜、腔镜、立体测量、立体摄像机、立体影像处理、其他立体影像制作和应用领域。

Description

一种同屏立体摄像机

技术领域

本发明涉及一种双镜头立体摄像机、立体影像线性光学技术、立体影像采集和播放技术、立体影像定位、追踪和测量技术。

背景技术

两种传统的立体影像拍摄方法都存在着无法避免的梯形畸变、非线性畸变和出屏的问题。会聚法获得的立体影像效果与眼睛通过转动眼球观察一个关注物体的方式和效果相同。但是当关注物移动时，左右两个摄像机无法通过向内角或外角方向的同步转动方式追踪移动中的关注物体，并将左右两个镜头中心线会聚和保持在关注物体上，获得的左右两个影像存在着梯形畸变。平行法获得的立体影像效果与眼睛观察一个位于无穷远处的关注物体的方式和效果相同。但是当关注物体距离立体摄像机有限远时，关注物体的立体影像存在的非线性畸变和会聚点的出屏效果使眼睛感觉不自然和不舒服。上述任何一种拍摄方法，实景中一个关注物体的立体深度与对应的立体影像会聚点之间都不是线性关系。

市场中主流的立体播放器都是一种基于平面屏幕的立体显示技术，包括VR和AR眼镜。平面屏幕立体显示技术的核心问题是眼睛的焦点平面与立体影像的像平面是分离的，这与眼睛的日常观看习惯、经验和模式完全不同。这是眼睛观看立体影像一段时间后感觉疲劳、眩晕和生理不适的最主要的原因之一。到目前为止，这个问题的有效解决方案仍然没有被找到。

本发明提出的一种同屏立体摄像机解决了立体成像和立体影像重建过程中存在的上述两个核心问题；第一个是眼睛的焦点平面与立体影像会聚点的像平面分离的问题；第二个是传统的立体影像拍摄方法存在的梯形畸变、非线性畸变和出屏的问题。同屏立体摄像机具有操作简单、成本较低、易于推广和普及的特点。

发明内容

本发明的目的是提供一种同屏立体摄像机。首先，解决了实景中一个关注物体的立体深度与关注物体的立体影像会聚点的立体深度之间满足一组线性数学关系式的技术问题；第二，解决了眼睛的焦点平面与立体影像会聚点的像平面分离的技术问题；第三，解决了实景中一个关注物体的立体影像存在梯形畸变、非线性畸变和出屏的技术问题；第四，解决了立体影像测量过程变得更智慧、更简单、更准确和更快速的技术问题。本发明应用于内窥镜、腔镜、立体测量、立体摄像机、立体影像处理、立体影像制作和应用领域。

一个同屏立体摄像机是由两个彼此独立、相同、中心线彼此平行设置的镜头组、一个或两个相同的图像传感器CCD或CMOS、一个影像处理器和一个同屏芯片组成。权利要求书和说明书中一个同屏立体摄像机是由左右两个镜头组组成，但是当一个同屏立体摄像机使用左右两个图像传感器时，左右两个镜头组也可以是左右两个分别拥有各自独立的图像传感器的摄像机。

一个同屏立体摄像机中两个镜头组完全相同，包括(不限于)镜头组的焦距、视角、光圈、镜头组光学中心，镜片设计和类型、镜片数量、镜片材料、镜片表面镀膜、分辨率、镜头模组外壳内表面涂层、光学设计、结构设计及其他参数。

一个同屏立体摄像机中两个镜头组中心线之间的距离t称为同屏立体摄像机的视间距，视间距t在3毫米至300毫米之间。

同屏立体摄像机输出的影像格式有左右格式和左右两个独立影像格式。对于一个设置有一个图像传感器的同屏立体摄像机，左右两个镜头组采集的左右两个影像分别在一个图像传感器成像表面的左半部和右半部成像表面上成像并输出一个左右格式的影像。一个左右格式的影像是由左右两个子影像组成。对于一个设置有左右两个独立的图像传感器的同屏立体摄像机，左右两个镜头组采集的左右两个影像分别在左右两个图像传感器的成像表面上成像并输出左右两个独立的影像。

会聚法和平行法是双目立体摄像机通常使用的两种立体影像拍摄方法。但是，会聚法和平行法都存在一些无法避免的问题，包括梯形畸变、非线性畸变和立体影像会聚点出屏。会聚法是一种模拟人的双眼观察世界的仿生立体拍摄方法。一个双目立体摄像机在初始设定时，左右两个摄像机通过向内角转动直到左右两个摄像机中心线会聚到一个位于立体摄像机中心轴线上的关注物体上。当关注物体移动时，左右两个摄像机通过向内角或外角方向同步转动的方式追踪移动中的关注物体，并将左右两个摄像机中心线会聚和保持在移动中的关注物体上。这个采集关注物体影像的过程与人的眼睛通过转动眼球方式跟踪并聚焦在关注物体上的过程是相同的，获得的立体影像的立体效果与眼睛通过转动眼球观察一个关注物体获得的视觉效果是相同的，具有一种真实、自然和舒适的感受。实际上，会聚法的仿生立体拍摄技术的核心是通过沿着内角或外角方向上同步地转动左右两个摄像机的方式使关注物体的左右两个影像分别成像在左右两个图像传感器成像表面的中心。平行法是一种相当于眼睛观察一个位于无穷远处的关注物体的方式采集关注物体立体影像的拍摄方法。平行法获得的影像虽然没有梯形畸变，但是存在非线性畸变和立体影像会聚点出屏的问题。立体影像长时间的出屏效果与眼睛观察物体的传统方式和日常经验的感受不同，会造成眼睛疲劳和不舒服。尽管获得的影像存在梯形畸变，但是会聚法相较于平行法仍是一种更为理想的立体影像拍摄方法。

同屏立体摄像机使用一种同屏等效会聚法的立体影像拍摄方法采集一个关注物体的立体影像。同屏等效会聚法是一种以平行法为基础，融合了会聚法的仿生立体拍摄方法的核心技术的立体影像拍摄方法。同屏等效会聚法通过平移左右两个影像的方式解决了会聚法通过向内角或外角方向上同步转动左右两个摄像机的方式追踪和会聚在移动中的关注物体的过程中出现的问题。同屏等效会聚法与会聚法最大的区别是对图像传感器输出的影像进行平移，不是对左右两个摄像机进行转动。同屏等效会聚法获得的立体影像的立体效果与会聚法通过向内角或外角同步转动摄像机的方式获得的立体影像的立体效果是相同，只是实现的路径和方式不同。另外，同屏等效会聚法不仅解决了会聚法中梯形畸变的问题，而且一并地解决了平行法中立体影像的非线性畸变和立体影像会聚点出屏的问题。实际上，同屏等效会聚法最大的贡献和意义不仅是通过左右两个镜头组的平行设置方式等效地实现了使用会聚法获得的立体影像的立体效果，而且在立体影像采集空间和立体影像播放空间之间通过一个线性传递函数建立了一个线性转换关系。这种线性转换关系成为立体空间线性理论和眼睛焦点平面与立体影像的像平面重合的解决方案的基础。

一个同屏立体摄像机中左右两个镜头组采集的一个位于立体摄像机中心轴线上的关注物体的左右两个影像分别成像在一个图像传感器的左半部和右半部成像表面上或左右两个图像传感器成像表面上。一个或左右两个图像传感器将成像后的一个左右格式的影像或左右两个影像输出到一个影像处理器。但是，关注物体的左右两个影像都不在图像传感器输出的一个左右格式的影像中的左右两个子影像的中心或左右两个影像的中心。影像处理器中一个或两个图像处理芯片ISP对来自图像传感器的一个左右格式得影像中的左右两个子影像或左右两个影像分别进行修正、处理和优化后，一个同屏芯片沿着一条位于左右两个镜头组中心线构成的一个平面上并与两个镜头组中心线垂直的直线方向上，对一个左右格式的影像中的左右两个子影像或左右两个影像朝向彼此相对或相反的方向上进行平移，使关注物体的左右两个影像分别位于左右两个平移后的新子影像或左右两个平移后的新影像的中心。影像处理器将平移后的左右两个新子影像或左右两个新影像通过一个左右格式的影像或左右两个影像的影像格式输出。一个同屏立体摄像机在初始设定时，同屏芯片按照公式h＝(F×t)÷ (2Zconv)对左右两个子影像或左右两个影像进行平移。当关注物体移动时，同屏芯片按照公式h＝(F×t)÷(2Z)对左右两个子影像或左右两个影像同步地进行平移。左右两个影像被平移后，关注物体的立体影像会聚点位于屏幕上。同屏立体摄像机通过平移左右两个影像的方式获得并输出的左右两个新影像的立体效果与会聚法通过旋转左右两个摄像机的方式获得并输出的左右两个影像的立体效果是相同的。同屏立体摄像机输出的两种格式的影像中，关注物体的左右两个影像分别位于一个左右格式的影像中的左右两个子影像的中心或左右两个影像的中心。同屏立体摄像机输出的关注物体的左右两个影像在播放时，关注物体的立体影像会聚点位于屏幕上。当关注物体移动时，关注物体的立体影像会聚点将离开屏幕。这时，同屏芯片中的定位追踪和测量指令同步地对移动中的关注物体的左右两个影像分别进行定位追踪和测量，同步地对一个左右格式的影像中的左右两个子影像或左右两个影像进行平移，将关注物体的立体影像会聚点重新“拉回”到屏幕上并保持在屏幕上。同屏芯片的同步反应和执行速度愈快，眼睛感觉立体影像的质量和效果就会更稳定、连续、自然和舒适。同屏立体摄像机和同屏芯片解决了立体影像播放中眼睛的焦点平面和立体影像会聚点的像平面分离的问题。这是造成眼睛观看立体播放器中的内容一段时间后眼睛感觉疲劳、眩晕和生理不适的最主要的原因之一。同屏立体摄像机的一个重要贡献是在立体影像采集空间与立体影像播放空间之间建立了一种相互的线性空间关系。立体影像采集空间中一个关注物体的立体深度和立体影像播放空间中关注物体的立体影像会聚点的立体深度之间可以通过一个称为立体空间线性传递函数Z_C＝Z_D×[T÷(A×F×t)]×Z的线性公式关联在一起。立体空间线性传递函数的物理意义是实景中一个关注点、一条关注直线和一个关注平面与关注点、关注直线和关注平面对应的立体影像是唯一的和没有变形的。上述公式中，h分别是左子影像和右子影像或左影像和右影像各自的平移距离、T是人的双眼之间的距离即瞳距、F是镜头组的焦距、t是两个镜头组中心线之间的距离、A是动态影像放大率、Zconv是同屏立体摄像机的等效会聚点的立体深度或Z坐标、Z是实景中一个关注物体的立体深度或Z坐标(立体影像采集空间)、Z_C是关注物体对应的立体影像会聚点的立体深度或Z坐标(立体影像播放空间)、Z_D是坐标系原点到平面屏幕的距离。

一个立体影像采集空间坐标系(X’,Y’,Z’)的原点(0’,0’,0’)位于同屏立体摄像机中左右两个镜头组中心的连线的中点处。一个立体影像播放空间坐标系(X”,Y”,Z”)的原点 (0”,0”,0”)位于人的双眼连线或瞳距的中点处。将立体影像采集空间坐标系(X’,Y’,Z’)和立体影像播放空间坐标系(X”,Y”,Z”)放置在一起，两个坐标系的原点(0’,0’,0’)和(0”,0”,0”) 重合在一起成为一个新坐标系(X,Y,Z)和(0,0,0)。立体影像采集空间中的同屏立体摄像机和立体影像播放空间中的平面屏幕在新坐标系中拥有共同的坐标系原点。在新的坐标系中，立体影像采集空间与立体影像播放空间重合在一起。

拍摄前，首先确定拍摄的一个主角，称为关注物体。实际上，关注物体上的一个具有代表性的关注点可以被用来代表关注物体。关注物体也可以是一个虚拟物体或虚拟点。将同屏立体摄像机中心轴线对准关注物体，并将同屏立体摄像机的等效会聚点M(0,0,Zconv) 设置在位于中心轴线上的关注物体处。这时，关注物体的左右两个影像在图像传感器成像表面上的成像都不在一个图像传感器的左半部和右半部成像表面的中心或左右两个图像传感器成像表面的中心。将一个或两个图像传感器输出的左右两个子影像或左右两个影像分别沿着水平方向上朝向彼此相对的方向上平移h＝(F×t)÷(2Zconv)的距离。影像平移后，关注物体的左右两个影像分别位于左右两个平移后的新子影像或左右两个平移后的新影像的中心。一个同屏立体摄像机的初始设定就完成了。

一个同屏立体摄像机的等效会聚点M(0,0,Zconv)在立体影像采集空间中的位置决定了实景中一个物体的立体影像会聚点在立体影像播放空间中的立体深度和与屏幕之间的相对位置。同屏立体摄像机的等效会聚点M(0,0,Zconv)处的一个物体在平面屏幕上的视差为零，根据立体空间线性传递函数Z_C＝Z_D×[T÷(A×F×t)]×Z得到，ZC＝ZD和Zconv＝(A ×F×t)÷T。一个同屏立体摄像机的等效会聚点M(0,0,Zconv)是可以通过平移影像h或改变动态影像放大率A的方式改变的，Zconv＝(F×t)÷(2h)＝(A×F×t)÷T。当一个同屏立体摄像机的等效会聚点M(0,0,Zconv)被设置在一个位于中心轴线上的关注物体处时，关注物体(0,0, Z＝Zconv)的左右两个影像被投射到屏幕上后，关注物体的立体影像会聚点出现在屏幕上，左右两个影像的视差为零。当一个同屏立体摄像机的等效会聚点M(0,0,Zconv)被设置在一个位于中心轴线上的关注物体的前方时，关注物体(0,0,Z>Zconv)的左右两个影像被投射到屏幕上后，关注物体的立体影像会聚点出现在屏幕的后面，左右两个影像的视差为正，称为正视差空间。正视差空间是一个自然和舒适的立体影像的理想观看空间。当一个同屏立体摄像机的等效会聚点M(0,0,Zconv)被设置在一个位于中心轴线上的关注物体的后方时，关注物体(0,0,Z<Zconv)的左右两个影像被投射到屏幕上后,关注物体的立体影像会聚点出现在屏幕的前面，左右两个影像的视差为负，称为负视差空间或观众空间。立体影像在负视差空间中呈现一种出屏的立体效果。

立体空间线性传递函数Z_C＝Z_D×[T÷(A×F×t)]×Z表明，一个关注物体的立体影像会聚点的立体深度只与深度坐标Z有关，与坐标X和Y无关。所以，通过一个同屏立体摄像机的等效会聚点M(0,0,Zconv)并垂直于中心轴线的一个物平面(X,Y,Zconv)上所有物体的立体影像会聚点都位于一个垂直于坐标系Z轴的像平面(X,Y,Z_D)上，两个平面分别被称为等效会聚物平面(X,Y,Zconv)和等效会聚像平面M’(X,Y,Z_D)。等效会聚像平面M'(X,Y,Z_D)上所有物体的左右两个影像的视差为零。同理，每一个垂直于同屏立体摄像机中心轴线的物平面(X,Y,Z)都对应着唯一一个像平面(X,Y,Z_C)，物平面上所有物体的立体影像会聚点都位于对应的像平面上。立体影像采集空间中的一个物平面对应着立体影像播放空间中的唯一的一个像平面，物--像平面是两个彼此相互对应并且相互映射的平面。

实际生活中，眼睛是通过转动眼球并会聚到一个关注物体上的方式观察关注物体。大脑将双眼分别获得的关注物体的左右两个影像融合后将关注物体对应的一个立体影像准确地会聚在实景中的关注物体上。眼睛的焦点(关注物体)与物体的立体影像(关注物体处) 是重合的。目前，主流立体显示技术和产品都是一种基于平面屏幕立体影像显示技术，包括 VR和AR眼镜。左右两个具有不同视角的影像被同时投射到平面屏幕上时，左眼和右眼分别只能看到平面屏幕上的左影像和右影像，所以平面屏幕是眼睛的焦点平面。大脑对双眼分别看到的平面屏幕上的左右两个影像融合后就感受到一个关注物体的立体影像。根据实际生活经验，大脑对左右两个影像融合后的立体影像会聚点应该出现在屏幕上，Z_C＝Z_D。但是，立体空间线性传递函数Z_C＝Z_D×[T÷(A×F×t)]×Z表明，Z_C≠Z_D或眼睛的焦点平面与立体影像会聚点的像平面是分离的。这是立体影像重建技术中最核心的一个问题，称为 Vergency-Accomodation Conflict(VAC)。这是造成眼睛在观看立体播放器中的立体内容一段时间后感觉疲劳、晕眩和生理上不适的根本原因之一。

立体空间线性传递函数Z_C＝Z_D×[T÷(A×F×t)]×Z表明，眼睛的焦点平面和立体影像会聚点的像平面重合(Z_C＝Z_D)的充分必要条件是[T÷(A×F×t)]×Z＝1或A＝[T ÷(F×t)]×Z。将平移公式h＝T÷(2A)带入上式中，得到h＝(F×t)÷(2Z)和Δh＝[(F×t)/2]×(1/Z₂－1/Z₁)。当ΔZ>0，则Δh<0表明，当关注物体变得越远时，左右两个影像朝向彼此相反的方向上进行平移，朝向彼此相反的平移方向定义为负。反之，当ΔZ<0，则Δh>0表明，当关注物体变得越近时，左右两个影像朝向彼此相对的方向上进行平移，彼此相对的平移方向定义为正。

影像处理器是一个设置有一个或二个影像处理芯片ISP、一个或二个无线模块、一个触摸屏幕、一个集成和存储有多条指令由影像处理器加载并执行的一个同屏芯片、一个数据存储器和操作系统组成的装置。

一个或两个图像处理芯片对一个或左右两个图像传感器输出的一个左右格式的影像中的左右两个子影像或左右两个影像进行处理、修正和优化。这种修正，处理和优化包括(不限于)；白平衡、色彩、增加色彩饱和度、提高锐度、亮度、对比度、降低噪点、影像边缘和细节修复、压缩和其它参数。

一个或二个无线通讯模块分别将经过图像处理芯片修正、处理、优化及同屏芯片平移或改变了动态影像放大率的影像、图片、语音和文字通过无线方式实时地输出到立体播放器、触模屏幕、远程控制中心、数据库、其它第三方并可以与第三方实时地进行多媒体互动和交流。

一个触摸屏幕提供了一个操作系统的人机互动的操作界面。操作方式有触屏笔、手指、鼠标和键盘。一个操作系统通过一个触摸屏幕和操作界面实现人机互动、操作指令对页面和影像进行管理、影像输入、输出、存储、加载并执行同屏芯片集成和存储的指令、通过有线或无线方式将经过修正、处理、优化、平移和改变了动态影像放大率的一个左右格式的影像或左右两个影像输出到立体播放器、触模屏幕、远程控制中心和数据库、开放接口与其他操作系统和第三方应用软件兼容、下载各种应用和APP的链接、其他第三方并可以与其他第三方实时地进行多媒体互动和交流。

一个同屏芯片是一个集成和存储有(不限于)一个定位追踪指令、一个测量指令、一个平移指令、一个动态影像放大指令和一个等效会聚点重设指令的芯片。一个同屏芯片设置在一个影像处理器中，所有集成和存储的立体影像定位、追踪、测量、平移、动态影像放大和等效会聚点重设指令由影像处理器加载并执行。

除了平移左右两个影像的方式之外，同屏芯片还可以通过改变动态影像放大率A＝[T÷(F×t)]×Z的方式使关注物体的立体影像会聚点保持在屏幕上。根据[0018]中所述，眼睛的焦点平面和立体影像的像平面重合的充分必要条件是A＝[T÷(F×t)]×Z。当实景中一个关注物体移动时，关注物体的立体深度Z发生变化ΔZ，ΔA＝[T÷(F×t)]×ΔZ。其中，A＝W/w 中的W和w都可以成为一个变量。如果w被设定为一个变量，当实景中的关注物的立体深度发生变化ΔZ时，则ΔA＝W/Δw＝W×(1/w2－1/w1)。Δw的视觉效果是播放屏幕中关注物体对应的立体影像被拉进或推远，与一个变焦镜头在变焦过程的影像变化效果完全相同。这种影像的变焦效果符合眼睛在日常观察中的经验和习惯，眼睛感觉自然和舒适。如果W被设定为一个变量，当实景中的关注物体的立体深度发生变化ΔZ时，ΔW的视觉效果是播放屏幕中影像有效播放区域的变大和缩小。眼睛对这种变化方式不熟悉，感觉不自然和不舒服。实景中一个关注物体的立体深度变大ΔZ>0，ΔA>0，则Δw<0。屏幕中影像的视觉变化效果相当于关注物体的立体影像在屏幕中变得愈来愈远，镜头组的焦距变大、视角变小、图像传感器上的成像变小，屏幕中关注物体的影像变得愈来愈小。反之，实景中一个关注物体的立体深度变小ΔZ<0，ΔA<0，则Δw>0。屏幕中影像的视觉变化效果相当于关注物体的立体影像在屏幕中变得愈来愈近，镜头组的焦距变小，视角变大，图像传感器上的成像变大，屏幕中关注物体的影像变得愈来愈大。上述过程中，屏幕中影像的变化方式、过程和视觉效果与人的眼睛对实景中一个关注物体的观察方式、经验和透视效果是一致的。上述公式中，w 是图像传感器实际成像表面的水平长度，w<wmax，wmax是图像传感器有效成像表面的水平长度，W是立体播放器中影像有效播放表面的水平长度。

实景中，一个关注点的空间座标(X,Y,Z)能够通过关注点对应的立体影像被精确地定位取决于关注点的左右两个影像分别在一个左右格式的影像截图中的左子影像截图和右子影像截图或左右两个影像截图中的左影像截图和右影像截图中的横坐标X_L和X_R能够被精确地定位。关注点的纵坐标Y_L和Y_R位于同一个水平线上，Y_L＝Y_R。同屏立体摄像机中左右两个镜头组采集的左右两个影像沿着水平方向上的视差为P＝(X_R－X_L)，垂直方向上视差V＝ (Y_R－Y_L)＝0。一个左右格式的影像截图中的左子影像截图和右子影像截图中的左右两个坐标系原点分别位于左子影像截图和右子影像截图的中心。左右两个影像截图中的左影像截图和右影像截图中的左右两个坐标系原点分别位于左影像截图和右影像截图的中心。坐标符号规定为；X_L和X_R分别位于左右两个坐标系中心垂直轴线的右半部时为正，左半部时为负，坐标系中心垂直轴线上时为零。

实景中一个关注物体的立体深度从Z₁变化到Z₂。关注物体在立体深度Z₁和视差 P₁＝(X_R1－X_L1)是已知的，代入公式A＝{[T－(X_R－X_L)]÷(F×t)}×Z中，得到，

A₁＝{[T－(X_R1－X_L1)]÷(F×t)}×Z₁

同屏芯片中的定位追踪和测量指令得到新关注物体在新立体深度Z₂处的视差为P₂＝(X_R2－ X_L2)，代入公式Z＝(A×F×t)÷[T－(X_R－X_L)]中，得到，

Z₂＝(A₂×F×t)÷[T－(X_R2－X_L2)]

ΔZ＝Z₂－Z₁＝(F×t)×{A₂/[T－(X_R2－X_L2)]－A₁/[T－(X_R1－X_L1)]}

根据[0018]中所述同屏的充分必要条件A＝[T÷(F×t)]×Z，关注物体在新立体深度Z₂时的动态影像放大率变化ΔA可以通过下式得到，

ΔA＝A₂－A₁＝[T÷(F×t)]×ΔZ

＝T×{A₂/[T－(X_R2－X_L2)]－A₁/[T－(X_R1－X_L1)]}

A₂＝A₁+T×{A₂/[T－(X_R2－X_L2)]－A₁/[T－(X_R1－X_L1)]}

＝{[T－(X_R1－X_L1)]÷(F×t)}×Z₁+T×{A₂/[T－(X_R2－X_L2)]－A₁/[T－(X_R1－X_L1)]}

当实景中一个关注物体从一个已知的立体深度Z1处移动到一个新立体深度Z2处时，同屏芯片通过定位追踪和测量指令得到关注物体在新立体深度Z2处的视差P2＝(XR2－XL2)，代入[0026]中所述的公式中，分别得到A2、Z2、Δh和ΔA。同屏芯片使用平移影像Δh或改变动态影像放大率ΔA中的任何一种方法，都可以将关注物体的立体影像会聚点保持在屏幕上。除了同屏芯片之外，还可以在同屏立体摄像机或周边装置上设置一个激光或红外测距仪的方式获得移动中的关注物体的立体深度。将激光或红外测距仪直接对准关注物体，激光或红外测距仪就可以将同屏立体摄像机与关注物体之间的距离进行实时测量并在关注物体移动时同步地追踪关注物体。同屏芯片根据激光或红外测距器获得的信息快速地对左右两个影像进行平移或改变动态影像放大率。无论使用上述任何一种方法，同屏立体摄像机对关注物体立体深度的变化反应越快，平移影像或屏幕中立体影像的缩放反应速度就越快，眼睛对于同屏效果和表现就会更加自然，舒适和健康。

一个等效会聚点重设指令是通过立体播放器中一个物体的立体影像将立体影像对应的实景中的一个物体设置为一个新关注物体，实景中新关注物体所在的空间位置成为同屏立体摄像机的一个新等效会聚点。因为这种确定一个新关注物体的方式很随机，所以绝大部分新关注物体的空间位置都不在同屏立体摄像机的中心轴线上，或新等效会聚点不在中心轴线上。根据[0016]中所述的同屏立体摄像机的等效会聚平面是对等效会聚点的定义和应用的一种扩大。一个等效会聚物平面M(X,Y,Zconv)上的任何一个物体与对应的等效会聚像平面 M’(X,Y,Z_D)上对应的立体影像会聚点满足立体空间线性传递函数。一个新关注物体的物平面M(X,Y,Z₂)转换到对应的等效会聚像平面M’(X,Y,Z_D)的过程和步骤是：根据[0027]中所述的过程和方法，一个新关注物体被确定后，同屏芯片中定位追踪和测量指令就可以确定新关注物体的立体深度Z₂。让Z₂＝Zconv2，则新关注物体所在的物平面M₂(X,Y,Z₂)就变换为新关注物体的等效会聚物平面M₂(X,Y,Zconv2)。同屏芯片通过改变屏幕中影像的动态影像放大率ΔA＝T×{A₂/[T－(X_R2－X_L2)]－A₁/[T－(X_R1－X_L1)]}的方式，使关注物体所在的等效会聚像平面M’₂(X,Y,Z_D)与平面屏幕M_D(X,Y,Z_D)重合。

到目前为止，对于一台健康立体电视机通常对播放内容中主角的左右两个影像的视差设置一个上限，其中一个最经常被使用的经验公式为ΔPr＝ΔPmax/W＝1/30。尽管这种经验公式使眼睛较长时间观看后不会明显地感觉疲劳，但是用现在的技术和观点看来经验公式过于保守，无法真实地将实景中关注物体的立体深度表现出来。根据经验公式定义的健康立体电视机让人有一种感觉不真实和不自然，对立体影像的众多应用造成了困扰和不便。本发明提出一个健康立体播放器的全新定义；播放内容中主角的立体影像会聚点始终保持在屏幕上的一种立体播放器。这个定义彻底放弃了过去一直沿用至今的经验公式，同屏技术从根本上实现了立体影像健康理念和效果。同屏立体摄像机获得立体影像在一个健康立体播放器中播放时，眼睛看到的关注物体和周围环境的立体影像的立体深度是真实的，为基于立体影像的应用创建了一个通用平台。一个立体播放器中设置一个同屏芯片，如果立体播放器中播放的内容来自于一个左右两个镜头平行设置的立体摄像机，播放器就变成为一个健康立体播放器。观众可以较长时间观看立体播放器中的内容而不会感觉眼睛疲劳或生理不适，而且能够与健康立体播放器中正在播放的内容进行互动、感受参与其中的互动效果。互动的过程是，首先，播放内容中包括一个主角在内的多个不同角色的影像被不同颜色的方框包围，观众使用遥控器确定其中的一个被方框包围的角色或物体为新主角。然后，内容中原拍摄内容中的主角就被新主角替换了。眼睛的焦点从内容中的原主角转移到一个新主角并跟随者新主角移动。新主角不断变化和移动过程中，新主角的立体影像会聚点始终保持在屏幕上。眼睛较长时间观看新主角为主的内容并与新主角之间的互动后，眼睛不会感觉疲劳，生理也不会感觉不适。但是，如果立体播放器中播放的内容来自于一个使用会聚法拍摄的双目立体摄像机，眼睛的焦点平面与立体影像的像平面是无法完美重合。

下面的定位追踪指令和测量指令的说明中仅以一个关注点的左右两个影像在一个左右格式的影像截图中的定位追踪和测量过程及方法为例。对于一个关注点的左右两个影像在左右两个影像截图中的定位追踪和测量过程及方法与在一个左右格式的影像截图中的定位追踪和测量过程及方法相同。

定位追踪指令是实景中一个关注点或一条关注直线的左右两个影像中的左影像在左右两个影像截图中的左影像截图中的位置被定位后，定位追踪该关注点或关注直线的右影像在左右两个影像截图中的右影像截图中的位置。或一个相反的过程，实景中一个关注点或一条关注直线的左右两个影像中的右影像在左右两个影像截图中的右影像截图中的位置被定位后，定位追踪该关注点或关注直线的左影像在左右两个影像截图中的左影像截图中的位置。

定位追踪指令包括了影像定位、影像匹配和影像追踪三个不同的过程。首先，定位过程是使用一个矩形方框将一个关注物体上的一个关注点或一条关注直线包围在其中，矩形方框的四个周边分别与左右两个影像截图中的两个坐标轴相互平行，矩形方框的中心是矩形方框的同名点。定位过程就是确定矩形方框的同名点分别在左右两个影像截图中的位置。包围一个关注点的矩形方框是一个正方形方框，关注点也是正方形方框的同名点。包围一条关注直线的矩形方框是一个长方形方框，关注直线是长方形方框的一个对角线。长方形方框的中心是关注直线的中点，也是关注直线的同名点。第二，匹配过程是一种主要以特征匹配为主，结合其他匹配技术，例如灰度匹配或其他。第三，匹配仅限于一个有限的矩形方框中的影像进行特征、灰度、对比、比较和匹配的过程。匹配的内容包括左右两个影像分别与参照物、角点、边缘点、边缘线和其他几何特征处之间的关系，矩形方框中的颜色特征、表面纹路、颜色和纹路变化模式和规律。第四，追踪过程是当一个关注点或一条关注直线的左右两个影像被定位后，关注点或关注直线的影像移动到一个新的位置时，自动追踪已经被定位和被矩形方框包围的关注点或关注直线的左右两个影像分别在左右两个影像截图中任意时刻矩形方框的同名点的新位置、坐标、视差和与立体摄像机之间的距离。一个关注点或一条关注直线的影像移动的原因可能是关注点或关注直线的位置发生了变化或立体摄像机的位置或角度发生了变化或两者同时发生了变化。

一个关注物体上的一个关注点的定位过程原理是：第一步，获得一个包括关注点的左右两个影像的一个左右格式的影像截图；第二步，使用触屏笔点击屏幕上关注点的左影像，确定了关注点的左影像在左影像截图中的横坐标XL；第三步，当关注点的左影像在左影像截图中的位置位于一个具有几何特征的参照物影像上时，例如，一条非水平直线，一条曲线，物体表面上的几何突变处或具有几何特征处，关注点的右影像在右影像截图中的横坐标X_R位于一条通过X_L并横跨左右两个影像截图的水平直线上，与关注点的左影像在左影像截图中具有相同几何特征的参照物影像的交点处。使用触屏笔点击并确定关注点的右影像在右影像截图中的横坐标X_R。一个关注点的左右两个影像在一个左右格式影像截图中的横坐标X_L和 X_R就被确定了。

测量指令是根据两个彼此独立，相同和中心线彼此平行设置的镜头组与一个关注物体之间构成的几何关系和同屏等效会聚法，建立一个关注物体上一个关注点的左右两个影像的视差与关注点在实景中的空间坐标之间的关系；建立一个关注物体表面影像的面积与实景中该关注物体表面实际面积之间的关系。根据[0032]中所述的定位追踪指令获得并确定实景中一个关注点的左右两个影像在一个左右格式的影像截图中的水平坐标X_L和X_R后，测量指令获得一个关注点的左右两个影像的视差为P＝(X_R－X_L)，则一个关注点在实景中的空间坐标(X,Y,Z)是；

X＝t×(X_L+T/2)÷[T－(X_R－X_L)]－t/2

Y＝Y_L÷(m×A)＝Y_R÷(m×A)

Z＝(A×F×t)÷[T－(X_R－X_L)]

上式中，m是镜头组的放大率。

一个立体影像测量过程从下面的两个步骤开始。第一步，从影像中获得一个包括了关注物体表面上的一个或多个关注点，关注表面，关注体积，表面裂纹或受损表面凹凸部分的左右格式的影像截图；第二步，菜单中选择本次测量的目地(不限于)，点－摄像机、点－点、点－直线、点－平面、表面面积、体积、表面裂纹、表面裂纹面积、表面裂纹横截面、表面受损参数、表面受损面积、表面受损横截面和最大深度。

一个关注点a到摄像机镜头的距离的测量过程和方法：第一步，从影像中获得一个左右格式的影像截图；第二步，菜单中选择“点－摄像机”；第三步，使用触屏笔点击并确定关注点a的左影像在左影像截图中的横坐标X_La，屏幕上将自动出现一条通过X_La坐标处并横跨左右两个影像截图的水平线；第四步，使用触屏笔在右影像截图的水平线上点击并确定关注点a的右影像在右影像截图中的横坐标X_Ra。一个关注点a到摄像机的距离为；

Dc＝√[xa²+ya²+(za－c)²]

其中，c为摄像机中心到物镜外表面中心的距离。

两个关注点a和b之间的距离的测量过程和方法：第一步，从影像中获得一个左右格式的影像截图；第二步，菜单中选择“点－点”；第三步，分别确定两个关注点a和b的左右两个影像在左右两个影像截图中的横坐标X_La，X_Ra，X_Lb和X_Rb。两个关注点a和b之间的距离为；

Dab＝√[(xb－xa)²+(yb－ya)²+(zb－za)²]

一个关注点a到一条空间直线的距离的测量过程和方法：第一步，从影像中获得一个左右格式的影像截图；第二步，菜单中选择“点－线”；第三步，分别确定关注点a的左右两个影像在左右两个影像截图中的横坐标X_La和X_Ra；第四步，分别确定空间中一条直线上的两个特征点b和c的左右两个影像在左右两个影像截图中的横坐标X_Lb，X_Rb，X_Lc和X_Rc。一个关注点a到一条经过了两个特征点b和点c的直线的距离为；

Da-bc＝√{[xa－λ(xc－xb)－xb]²+[ya－λ(yc－yb)－yb]²+[za－λ(zc－zb)－zb)]²}

其中，λ＝[(xb－xa)×(xc－xb)+(yb－ya)×(yc－yb)+(zb－za)×(zc－zb)]÷[(xc－xb)²+(yc－yb)²+(zc－zb)²]

一个关注点a到一个空间平面的距离的测量过程和方法：第一步，从影像中获得一个左右格式的影像截图；第二步，菜单中选择“点－平面”；第三步，分别确定关注点a 的左右两个影像在左右两个影像截图中的横坐标X_La和X_Ra；第四步，分别确定位于一个空间平面上但不在一条直线上的三个特征点b，c和d的左右两个影像在左右两个影像截图中的横坐标X_Lb，X_Rb，X_Lc，X_Rc，X_Ld和X_Rd。一个关注点a到一个包括了不在一条直线上的三个特征点b，c和d的平面的距离为；

Da-(bcd)＝[I Axa+Bya+Cza+D I]÷√(A²+B²+C²)

其中，A，B，C由下面的行列式中获得，D＝－(Axb+Byb+Czb)

在触模屏幕上移动触屏笔，手指或鼠标从一个像素点到下一个相邻像素点的三种不同路径分别是沿着水平方向，垂直方向和一个以水平和垂直像素为直角边的三角形斜边方向。触模屏幕上的一条曲线可以近似地看做是由一条众多个彼此相邻的像素之间的水平直线，垂直直线和相邻的两个像素之间的水平和垂直线为直角边的三角形斜边拼接而成的拼接曲线。触模屏幕的分辨率PPI越大，一条曲线的实际长度与一条拼接曲线的长度就越接近。同样，一条闭环曲线包围的面积与一条闭环拼接曲线包围的所有像素单元面积的总和就越接近。两个相邻像素之间的水平距离为a，垂直距离为b，一个闭环拼接曲线包围的所有像素面积的总合为Ω＝∑(a×b)+∑(a×b)÷2。关注物体的实际表面面积为Q＝Ω÷(m²×A×B)，其中，A 是动态影像放大率或水平动态影像放大率，B是垂直动态影像放大率。

一个关注表面面积的测量过程和方法：第一步，从影像中获得一个左右格式的影像截图；第二步，菜单中选择“面积”，系统将自动地保留其中的一个影像截图并放大至全屏幕；第三步，使用触屏笔在屏幕中沿着关注表面的影像边缘画出一个闭环拼接曲线，闭环拼接曲线包围的影像面积是关注表面影像的面积。关注表面面积是关注表面影像的面积除以(m²×A×B)。

根据[0041]中所述的关注表面面积只是关注表面的实际面积在一个与立体摄像机中心轴线(Z轴)垂直的平面上投影的面积。第四步，回到左右格式的影像截图中，当关注物体表面是一个平面或曲率半径与表面长度相比大很多的一个曲面时，分别确定平面表面上三个不在同一条直线上的特征点b，c和d的左右两个影像在左右两个影像截图中的横坐标X_Lb， X_Rb，X_Lc，X_Rc，X_Ld和X_Rd。一个关注表面的实际面积等于上述[0041]中所述的方法获得的关注表面面积除以关注物体表面的法向矢量N与立体摄像机中心轴线(Z轴)之间夹角的余弦。

一个关注平板体积的测量过程和方法：第一步，从影像中获得一个左右格式的影像截图；第二步，菜单中选择体积；第三步，根据上述所述[0042]中所述的方法获得关注平板表面的实际面积；第四步，当关注平板是一个曲率半径与表长度相比大很多的一个曲面时，分别确定关注平板上两个具有典型厚度的特征点a和b的左右两个影像在左右两个影像截图中的横坐标X_La，X_Ra，X_Lb和X_Rb。一个关注平板的厚度等于两个特征点a和点b之间的距离乘以矢量ab与关注平板表面的法向矢量N之间夹角的余弦。一个关注平板的实际体积等于上述第三步中获得的关注平板表面的实际面积乘以上述第四步中获得的平板的厚度。

一个物体表面裂纹横截面的测量过程和方法：第一步，调整立体摄像机中心轴线的位置和方向与裂纹的纵向方向一致并与物体表面平行，当触模屏幕中看到一个具有典型特征和感兴趣的裂纹横截面开口时采集一个左右格式的影像截图；第二步，使用触屏笔分别确定关注物体表面与裂纹横截面开口的左右两个边缘处的两个交点a和b的左右两个影像在左右两个影像截图中的横坐标X_La，X_Ra，X_Lb和X_Rb；第三步，菜单中选择“裂纹横截面”，系统将自动地保留其中的一个影像截图并放大至全屏幕。使用触屏笔在裂纹横截面开口的左右两个边缘上分别确定多个具有拐点，转折点和峰值点的特征点的横坐标X_L1，X_L2，X_L3，……和X_R1，X_R2，X_R3，……。裂纹开口左边缘上的特征点X_L#和裂纹开口右边缘上的特征点X_R# 之间没有任何关系。每一个特征点X_L#和X_R#的横坐标与上述的两个交点a和b在同一个裂纹横截面上，所有裂纹横截面的左右两个开口边缘上的特征点的视差与点a和点b的视差相同，或点a和点b的会聚深度坐标Zc与裂纹横截面的左右两个裂纹开口边缘上所有特征点的立体影像深度坐标Zc是相同的。裂纹横截面的开口左边缘是由点a为起点的依次连接着裂纹横截面开口左边缘上所有彼此相邻特征点X_L#的直线组成。裂纹横截面的开口右边缘是由点b为起点的依次连接着裂纹横截面开口右边缘上所有彼此相邻特征点X_R#的直线组成。裂纹横截面的左右两个边缘形成一个“V”字状的横截面开口。选择的特征点愈多，裂纹横截面的边缘与实际裂纹横截面的边缘愈接近。点a与裂纹横截面开口左边缘上每一个特征点X_L#之间的垂直距离Y_L#和点b与裂纹横截面开口右边缘上每一个特征点X_R#之间的垂直距离Y_R#，点a与点b 之间的距离或裂纹横截面宽度都列在横截面图上。

一个物体表面凹凸部分横截面和最大深度的测量过程和方法：这里仅以物体表面受损或腐蚀造成的凹陷为例进行说明。第一步，调整立体摄像机中心线的位置和方向与物体表面平行，当屏幕中看到了物体表面凹陷中具有典型特征和感兴趣的部分时采集一个左右格式的影像截图，保留其中的一个影像截图并放大至全屏幕；第二步，分别确定物体表面与受损横截面边缘相交的两个交点a和b的左右两个影像在左右两个影像截图中的横坐标X_La，X_Ra， X_Lb和X_Rb；第三步，菜单中选择“受损横截面”，并在菜单的下一层指令中输入受损表面的曲率半径+R，(凸曲面)或－R(凹曲面)。屏幕上将出现一个通过点a和点b的一条曲率半径为 R的曲线。如果受损表面的曲率半径无法获得，使用触屏笔在两个交点a和b之间画出一条拼接曲线。拼接曲线与点a的左边表面曲线和点b的右边表面曲线平滑地链接在一起。第四步，使用触屏笔在两个交点a和b之间沿着横截图中受损部分边缘画出一条拼接曲线。受损横截面的闭环拼接曲线是由一条包括了点a和点b之间的一条曲率为R的曲线和一条拼接曲线组成。第五步，回到左右两个影像截图中，在拼接曲线上点击并确定受损截面最低点C的横坐标X_Lc和X_Rc。一个物体表面受损横截面的面积，点a和点b之间的距离及分别距离横截面最低点c的垂直距离Yc都列在横截面图上。

实际测量过程中，当遇到测量目的和要求与上述基本测量方法不同的情况时、需要根据不同的情况提出不同的和合理的测量方法和解决方案。新的测量方法和解决方案可以是上述基本测量方法的组合或其它新的方法。

上述[0036]到[0039]中所述的基本测量方法和测量原理在使用中显得不方便、缺少效率和不容易准确地确定一个关注点的右影像在右影像截图中的位置。一个关注点的右影像在右影像截图中的定位过程中依靠使用者的人工判定、准确度不高、效率较低、而且速度慢。同屏芯片中定位追踪指令将自动地定位追踪关注点的右影像在右影像截图中的位置，彻底地摆脱了手工确定的过程和工作，使得立体影像的实时定位追踪过程变得更简单、更高效率、更人性化、精确和更快速。

同屏芯片的测量过程和方法是；首先，手动方式确定一个关注点的左影像在左影像截图中的横坐标XL。同屏芯片将对关注点的左右两个影像围绕着同名点处的相同特征进行匹配，获得关注点在右影像截图中的横坐标X_R，关注点的视差P＝(X_R－X_L)和测量结果。

同屏芯片对于一个关注点a到摄像机镜头距离的测量过程和方法：第一步，从影像中获得一个左右格式的影像截图；第二步，菜单中选择“点－摄像机”；第三步，使用触屏笔点击并确定点a的位置。同屏芯片将计算出一个关注点a到两个摄像机物镜外表面上中点连线的中点的距离为；

Dc＝√[xa²+ya²+(za－c)²]

同屏芯片对于两个关注点a和b之间距离的测量过程和方法：第一步，从影像中获得一个左右格式的影像截图；第二步，菜单中选择“直线/直径/高度”；第三步，使用触屏笔点击并确定点a的位置并保持触屏笔在屏幕上滑动到点b的位置。同屏芯片将计算出两个关注点a和b之间的距离为；

Dab＝√[(xb－xa)²+(yb－ya)²+(zb－za)²]

同屏芯片对于一个关注点a到一条空间直线的距离的测量过程和方法：第一步，从影像中获得一个左右格式的影像截图；第二步，菜单中选择“点－线”；第三步，使用触屏笔点击并确定点a的位置；第四步，使用触屏笔点击并确定位于一条直线上的点b的位置并保持触屏笔在屏幕上滑动到点c的位置。同屏芯片将计算出一个关注点a到一条经过了两个特征点b和点c的直线的距离为；

Da-bc＝√{[xa－λ(xc－xb)－xb]²+[ya－λ(yc－yb)－yb]²+ [za－λ(zc－zb)－zb)]²}

同屏芯片对于一个关注点a到一个空间平面的距离的测量过程和方法：第一步，从影像中获得一个左右格式的影像截图；第二步，菜单中选择“点－平面”；第三步，使用触屏笔点击并确定点a的位置；第四步，使用屏幕笔点击并确定点b的位置并保持触屏笔在屏幕上连续滑动到点c和点d的位置，其中点b，点c和点d是不都在一条直线上的三个点。同屏芯片将计算出一个关注点a到一个包括了不都在一条直线上的三个特征点b，c和d的平面距离为；

Da-(bcd)＝[I Axa+Bya+Cza+D I]÷√(A²+B²+C²)

平移指令是当一个位于同屏立体摄像机中心轴线上的关注物体的立体深度Z发生变化ΔZ时，同步地确定关注物体的左右两个影像沿着一条位于左右两个镜头组中心线构成的一个平面上并与两个镜头组中心线垂直的直线方向上的平移变化Δh＝[(F×t)/2]×(1/Z₂－ 1/Z₁)和平移方向。跟据[0027]中所述的过程和方法，当实景中一个关注物体从一个已知的立体深度Z₁处移动到一个新立体深度Z₂处时，同屏芯片通过定位追踪和测量指令得到关注物体在新立体深度Z₂处的视差P₂＝(X_R2－X_L2)，带入[0026]中所述的公式中得到Z₂＝(A₂×F ×t)÷[T－(X_R2－X_L2)]和平移变化Δh＝[(F×t)/2]×(1/Z₂－1/Z₁)。同屏芯片将左右两个影像同步地进行平移变化Δh的同时，关注物体的立体影像会聚点会逐渐地接近屏幕，最终到达屏幕并保持在屏幕上。这个过程执行速度愈快，眼睛感觉立体影像出现在屏幕上的影像质量和效果就会更稳定、连续、自然和舒适。

动态影像放大率指令是根据一个位于同屏立体摄像机中心轴线上的关注物体的立体深度Z发生变化ΔZ时，同步地确定动态影像放大率A＝[T÷(F×t)]×Z和动态影像放大率变化ΔA＝[T÷(F×t)]×ΔZ。跟据[0027]中所述的过程和方法，当实景中一个关注物体从一个已知的立体深度Z₁处移动到一个新立体深度Z₂处时，同屏芯片通过定位追踪和测量指令得到关注物体在新立体深度Z₂处的视差P₂＝(X_R2－X_L2)，带入[0026]中所述的公式中并得到 A₂＝{[T－(X_R1－X_L1)]÷(F×t)}×Z₁+T×{A₂/[T－(X_R2－X_L2)]－A₁/[T－(X_R1－X_L1)]}和动态影像放大率变化ΔA＝T×{A₂/[T－(X_R2－X_L2)]－A₁/[T－(X_R1－X_L1)]}。同屏芯片改变动态影像放大率变化ΔA的同时，关注物体的立体影像会聚点会逐渐地接近屏幕、最终到达屏幕并保持在屏幕上。这个过程执行速度愈快，眼睛感觉立体影像出现在屏幕上的影像质量和效果就会更稳定、连续、自然和舒适。

同屏芯片不仅应用于同屏立体摄像机，而且可以应用于所有由两个彼此独立、相同、中心线彼此平行设置的镜头组的立体摄像机。设置有一个同屏芯片的立体摄像机采集的立体影像与使用同屏立体影像获得的立体影像具有同样的立体效果。

本发明提出的一种同屏立体摄像机不仅解决了目前立体摄像机采集和播放立体影像过程中存在的问题，拥有高度集成的结构设计，人性化的操作方法，而且具有操作简单、影像还原度高、影像延迟小、成本较低、易于推广和普及的特点。

附图说明

图1-1一个立体影像采集空间示意图；

图1-2一个立体影像播放空间示意图；

图2-1会聚法拍摄原理示意图；

图2-2平行法拍摄原理示意图；

图2-3等效会聚法拍摄原理示意图；

图3等效会聚法拍摄空间中任意一点的视差原理示意图；

图4同屏等效会聚法影像平移过程原理示意图；

图5-1立体影像会聚点位于屏幕上示意图；

图5-2立体影像会聚点位于屏幕前方示意图；

图5-3立体影像会聚点位于屏幕后方示意图；

图5-4眼睛焦平面与立体影像会聚点像平面同屏原理示意图；

图6一个关注点的左右两个影像在左右两个影像截图中定位示意图；

图7测量一个关注点到立体摄像机的距离示意图；

图8测量两个关注点之间的距离示意图；

图9测量一个关注点到一条直线的距离示意图；

图10测量一个关注点到一个平面的距离示意图；

图11测量一个平面物体表面面积示意图；

图12测量一个平板物体体积示意图；

图13-1采集一个表面裂纹横界面示意图；

图13-2测量一个表面裂纹横截面示意图；

图14-1采集一个表面受损凹陷横截面示意图；

图14-2测量一个表面受损凹陷横截面示意图。

具体实施方式：

本发明的具体实施方式表示本发明具体化的一个例子，与权利要求书和说明书中的内容和特定事项具有对应关系。本发明不限定实施方式，在不脱离本发明主旨的范围内，能够通过对各种不同的实施方式实现具体化。所有示意图中的说明案例都是所述的多个可实施技术方案中的一个例子。

图1-1所示的是一个立体影像采集空间示意图。左右两个摄像机1和2同时围绕着摄像机镜头中心向内角方向转动，直到左右两台摄像机1和2的中心线同时会聚到实景中一个关注物体5上时开始拍摄。关注物体的左右两个影像在左右两个摄像机的图像传感器3和4的成像表面的中心上成像。这种拍摄立体影像的方法称为会聚法。左右两个摄像机1和2的镜头中心线之间的距离为t。关注物体6前方的物体称为前景物6，后方的物体称为后景物7。立体影采集空间的坐标系原点(0,0,0)位于左右两个摄像机1和2的中心的连线的中点处。

图1-2所示的是一个立体影像播放空间示意图。左右两个摄像机1和2采集的左右两个影像被同时投射到一个平面屏幕10上。平面屏幕的水平长度为W。左右两个影像在屏幕上的投影12和13之间的水平距离是左右两个影像的视差P。当人的左眼8和右眼9分别只能看到屏幕 10上投射的左影像和右影像的投影12和13时，大脑中将左眼8和右眼9分别看到的左右两个影像的投影12和13进行融合后就会感受到关注物体5、6和7对应的立体影像会聚点分别出现在屏幕上11、屏幕前方14和屏幕后方15的位置处。立体影像播放集空间的坐标系原点(0,0,0)位于双眼 8和9之间的连线(瞳距)的中点处。

根据图1-2所示的几何关系得到下面关系式，

Z_C＝(Z_D×T)÷(T－P) (1)

其中，Z_C–左右两个影像会聚点的立体深度(Z坐标)

Z_D–屏幕的立体深度(Z坐标)(坐标系中点与屏幕的距离)

T–人双眼之间的距离(瞳距)

P–视差，左右两个影像在屏幕上的投影12和13之间的水平距离

ΔP＝P_max－P_min＝T×Z_D×(1/Z_cnear－1/Z_cfar) (2)

其中：P_max–左右两个影像在屏幕上的投影12和13之间的最大视差

P_min–左右两个影像在屏幕上的投影12和13之间的最小视差

Z_cnear–左右两个影像的会聚点最小立体深度(Z坐标)(P<0负视差)

Z_cfar–左右两个影像的会聚点最大立体深度(Z坐标)(P>0正视差)

让，P_rel＝ΔP/W

其中：P_rel–屏幕水平单位长度的视差变化

W–屏幕有效播放面积的水平长度

图2-1所示的是会聚法的拍摄原理示意图。图中，左右两个摄像机1和2同时围绕着摄像机镜头中心向内角方向转动，直到左右两台摄像机1和2的中心线同时会聚到实景中一个位于立体摄像机中心轴线上的关注物体5上时开始拍摄。关注物体5的左右两个影像成像在左右两个图像传感器3和4的成像表面的中心。

图2-2所示的是平行法的拍摄原理示意图。图中，左右两个摄像机1和2中心线彼此平行设置，采集一个位于立体摄像机中心轴线上的关注物体5的立体影像。关注物体5的左右两个影像在左右两个图像传感器3和4上的成像不在左右两个图像传感器3和4的成像表面的中心。

图2-3所示的是等效会聚法的拍摄原理示意图。图中，左右两个摄像机1和2中心线彼此平行设置，采集一个位于立体摄像机中心轴线上关注物体5的立体影像。拍摄前，将左右两个图像传感器3和4分别沿着水平方向上朝着彼此相反的方向上平行移动h＝(F×t)÷(2Zconv) 的距离。关注物体5的左右两个影像就能够分别成像在左右两个图像传感器3和4的成像表面的中心。图中，关注物体5与一个位于中心轴线上的点M重合，该点M的立体深度为Zconv，称为立体摄像机的等效会聚点M(0,0,Zconv)。

图3所示的是等效会聚法的原理示意图。图中，中心轴线上的关注物体5的位置与立体摄像机的等效会聚点M(0,0,Zconv)重合。拍摄前，首先将图像传感器3和4分别朝向彼此相反的方向上平移h＝(F×t)÷(2Zconv)的距离，使关注物体5的左右两个影像分别成像在左右两个图像传感器3和4的成像表面的中心。立体摄像机的初始状态就被设定完成。空间中任意一点处的一个物体16的左右两个影像分别成像在左右两个图像传感器3和4成像表面上。

根据图3所示的几何关系我们得到下面关系式，

d1+h＝F×(x+t/2)÷Z (3a)

d2－h＝F×(x－t/2)÷Z (3b)

Δd＝d2－d1＝2h－(F×t)÷Z (4)

其中，Δd–空间中任意一个物体16在左右两个图像传感器上成像后的视差

h–一个图像传感器沿着水平方向上平移的距离

t–左右两个摄像机中心线之间的距离

F–摄像机镜头的等效焦距

Z–空间中任意一个物体16的立体深度(Z坐标)

Zconv–等效会聚点M的立体深度(Z坐标)

根据公式(4)推得下式；

Δd＝dmax－dmin＝F×t×(1/Z_near－1/Z_far) (5)

其中：dmax–左右两个影像在左右两个图像传感器上的最大视差

dmin–左右两个影像在左右两个图像传感器上的最小视差

Znear–空间中的一个物体16在最小视差时的立体深度(Z坐标)

Z_far–空间中的一个物体16在最大视差时的立体深度(Z坐标)

定义，d_rel＝Δd/w

其中：d_re–图像传感器成像表面单位长度的视差变化

w–图像传感器影像成像表面上动态有效成像的水平长度

让，P_rel＝d_rel

推得：t＝[(T×Z_D)÷(A×F)]×[(1/Z_cnear－1/Z_cfar)÷(1/Z_near－1/Z_far)] (6)

其中：A–动态影像放大率W/w

公式(6)表明，双目立体摄像机拍摄时，立体摄像机的视间距与人双眼之间的距离(瞳距)是不相等的。

让：P＝A×Δd和公式(4)代入到公式(1)中：

Z_C＝(Z_D×T)÷(T－P)＝(Z_D×T)÷(T－A×d)

＝(Z_D×T×Z)÷[A×F×t－(2A×h－T)×Z] (7)

公式(7)表明，Z_C与Z之间不是线性关系。理想成像是立体影像采集空间中任意一点，一条直线和一个平面对应着立体影像播放空间中唯一的一个点，一条直线和一个平面对应的立体影像会聚点。理想成像的充分和必要条件是实景中一个关注物体的立体深度Z与关注物体的立体影像会聚点的立体深度Z_C之间是线性关系。公式(7)表明，Z_C与Z之间的线性关系的充分必要条件是，

(2A)×h－T＝0或h＝T÷(2A)

公式(7)被线性化后简化成为下式，

Z_C＝Z_D×[T÷(A×F×t)]×Z (8)

公式(8)被称为立体空间线性传递函数，实景中一个关注物体的立体深度Z与关注物体的两个影像会聚点Z_C的立体深度之间满足立体空间现行传递函数公式。

图4所示的是同屏等效会聚法影像平移过程原理示意图。图中，左右两个摄像机1和2采集的一个位于立体摄像机中心轴线上的关注物体5的左右两个影像分别在左右两个图像传感器成像表面3和4上成像后被输出。输出的关注物体5的左右两个影像不在左右两个影像的中心。将关注物体5的左右两个影像沿着水平方向上，朝向彼此相对的方向上同步地平移，使关注物体5的左右两个影像分别位于左右两个平移后的新影像的中心。

图5-1所示的是立体影像会聚点位于屏幕上示意图。图中，当关注物体5与立体摄像机的等效会聚点M(0,0,Zconv)重合时(见图1)，关注物体5的左右两个影像在屏幕10上的投影12和13是重合的，左右两个影像的视差P＝0，关注物体5的立体影像会聚点11位于在屏幕10上。

图5-2所示的是立体影像会聚点位于屏幕前方示意图。图中，当立体摄像机的等效会聚点M(0,0,Zconv)被设置在一个前景物6的后方时(见图1)，前景物6的左右两个影像在屏幕10上的投影12和13的位置与左右眼睛的相对位置是反向交叉状态，左右两个影像的视差P<0，前景物6的立体影像会聚点14出现在屏幕的前方(出屏)。

图5-3所示的是立体影像会聚点位于屏幕后方示意图。图中，当立体摄像机的等效会聚点M(0,0,Zconv)被设置在一个后景物7的前方时(见图1)，后景物7的左右两个影像在屏幕10上的投影12和13的位置与左右眼睛的相对位置是正向无交叉状态，左右两个影像的视差P>0，后景物7的立体影像会聚点15出现在屏幕的后方。

图5-4所示的是像平面与屏幕重合的同屏原理示意图。图中，立体摄像机的等效会聚点M(0,0,Zconv)与关注物体5的位置重合(见图1)。当关注物体5移动时，同屏芯片通过平移左右两个影像或改变屏幕放大率的方式，使关注物体5的左右两个影像的会聚点17始终保持在屏幕10上。

图6所示的是一个关注点的左右两个影像在左右两个影像截图中的位置示意图。

图中，一个关注点a的左影像18在左右两个影像截图中的左影像截图20中的横坐标为X_L，根据符号规则，X_L<0。关注点a的右影像19左右两个影像截图中的右影像截图21中的横坐标为 X_R，X_R>0。关注点a的左影像18在左影像截图20和右影像19在右影像截图21中的位置都位于同一个横跨屏幕的水平线22上。关注点a的左影像18在左影像截图20中的纵坐标Y_L与右影像19在右影像截图21中的纵坐标YR相等。

一个关注点a的左右两个影像18和19在左右两个影像截图20和21中的视差为P＝(X_R－ X_L)，代入到公式(1)中得到；

Z_C＝Z_D×T÷(T－P)＝(Z_D×T)÷[T－(X_R－X_L)] (9)

将公式(8)代入公式(9)中，简化后得到，

Z＝(A×F×t)÷[T－(X_R－X_L)] (10)

公式(3a)经过变换后得到，

x＝[Z×(d1+h)÷F]－t/2 (11)

将d1＝X_L/A，h＝T/2A和公式(10)带入公式(11)中，简化后得到，

x＝t×(X_L+T/2)÷[T－(X_R－X_L)]－t/2 (12)

一个关注点a在实景中的空间座标a(x,y,z)是；

x＝t×(X_L+T/2)÷[T－(X_R－X_L)]－t/2

y＝Y_L÷(m×A)＝Y_R÷(m×A)

z＝(A×F×t)÷[T－(X_R－X_L)]

图7所示的是测量一个关注点到立体摄像机的距离示意图。跟据[0068]中所述的过程和方法，确定一个关注点a的左右两个影像18和19分别在左右两个影像截图20和21中的横坐标X_La和X_Ra。一个关注点a到立体摄像机1和2物镜外表面中心连线中点的距离为；

Dc＝√[xa²+ya²+(za－c)²]

其中，c为摄像机1或2的镜头中心到物镜表面中心的距离。

图8所示的是测量两个关注点之间的距离示意图。跟据[0068]中所述的过程和方法，分别确定两个关注点a和b的左右两个影像18和19在左右两个影像截图20和21中的横坐标 X_La，X_Ra，X_Lb和X_Rb。两个关注点a和b之间距离为；

Dab＝√[(xb－xa)²+(yb－ya)²+(zb－za)²]

图9所示的是测量一个关注点到一条通过了两个特征点的一条直线的距离示意图。第一步，跟据[0068]中所述的过程和方法，分别确定一个关注点a的左右两个影像18和19在左右两个影像截图20和21中的横坐标X_La和X_Ra。第二步，分别确定位于一条直线上的两个特征点b和c的左右两个影像18和19在左右两个影像截图20和21中的横坐标X_Lb，X_Rb，X_Lc和X_Rc。一个关注点a到一条通过了两个特征点b和c的一条直线的距离为；

Da-bc＝√{[xa－λ(xc－xb)－xb]²+[ya－λ(yc－yb)－yb]²+[za－λ(zc－zb)－zb)]²}

其中，λ＝[(xb－xa)×(xc－xb)+(yb－ya)×(yc－yb)+(zb－za)×(zc－zb)]÷[(xc－xb)²+(yc－yb)²+(zc－zb)²]

图10所示的是测量一个关注点到一个平面的距离示意图。第一步，跟据[0068]中所述的过程和方法，分别确定一个关注点a的左右两个影像18和19在左右两个影像截图20和 21中的横坐标X_La和X_Ra。第二步，在平面23上分别确定不都在同一条直线上的三个特征点b， c和d的左右两个影像18和19在左右两个影像截图20和21中的横坐标X_Lb，X_Rb，X_Lc，X_Rc，X_Ld和X_Rd。一个关注点a到一个包括了三个特征点b，c和d的一个平面23的距离为；

Da-(bcd)＝[I Axa+Bya+Cza+D I]÷√(A²+B²+C²)

其中，A，B，C由下面的行列式中获得，D＝－(Axb+Byb+Czb)

图11所示的是测量一个平面物体表面面积示意图。一个被一条闭环曲线24包围的关注平面25的表面面积的测量方法和步骤；第一步，跟据[0041]和[0042]中所述的过程和方法，使用触屏笔在触摸屏幕上画出一条包括了一个关注平面25表面面积的一条闭环曲线24。获得被一条闭环曲线24包围的平面表面25的面积。第二步，跟据[0039]中所述的过程和方法，分别确定包括了关注平面25的表面上不都在一条直线上的三个特征点b，c和d的左右两个影像18和19在左右两个影像截图20和21中的横坐标X_Lb，X_Rb，X_Lc，X_Rc，X_Ld和X_Rd。一个关注平面25的表面实际面积等于第一步中获得的正投影面积除以由关注平面25表面上的三个特征点b，c和d确定的一个法向矢量N与Z轴之间夹角的余弦。

图12所示的是测量一个平板物体体积示意图。一个关注平板的体积的测量方法和步骤；第一步，根据[0073]中所述的过程和方法，获得一个关注平板26的表面27的实际面积。第二步，根据[0043]中所述的过程和方法，获得关注平板26上的两个具有厚度特征点a和b处的实际厚度等于两个特征点H和K的长度乘以两个特征点构成的矢量HK与关注平板26的表面法向矢量N之间夹角的余弦。一个关注平板26的实际体积等于关注平板26的表面27的实际面积乘以实际厚度。

图13-1所示的是采集一个表面裂纹横截面示意图。图中，一个关注物体表面上出现了一个裂纹28。表面裂纹横截面29处的开口形状和深度的测量方法和步骤：根据[0044]中所述的过程和方法，第一步，调整立体摄像机1和2的中心轴线与裂纹28的纵向方向一致并与物体表面平行。从屏幕中看到物体表面裂纹横截面29中一个具有代表性的位置时采集一个左右格式的影像截图。

图13-2所示的是测量一个表面裂纹横截面示意图。第二步，确定裂纹横截面29处裂纹28的左右两个边缘与关注物体表面的两个交点a和b之间的距离V，V为裂纹28在裂纹横截面29处的表面裂纹宽度。第三步，使用触屏笔，手指或鼠标分别确定裂纹横截面29左边缘上的特征点X_L1，X_L2，X_L3，……和右边缘上的特征点X_R1，X_R2，X_R3，……。裂纹横截面 29左右两个边缘分别以点a和点b为起点依次分别连接裂纹横截面29左右边缘上彼此相邻特征点X_L#和X_R#的直线段组成。每一个特征点X_L#和X_R#与点a和点b之间的垂直高度y_L#和y_R# 分别代表了该特征点距离关注物体表面的深度。

图14-1所示的是采集一个表面受损凹陷横截面示意图。图中，一个关注物体表面上出现了一个凹陷部分30。物体表面凹陷部分30的横截面31的测量方法和步骤：根据[0045] 中所述的过程和方法，第一步，调整立体摄像机1和2的中心轴线与物体凹陷处周围表面平行并在触模屏幕中看到物体表面凹陷30中一个具有代表性的部分时采集一个左右格式的影像截图。

图14-2所示的是测量一个表面受损凹陷横截面示意图。第二步，确定横截面30与物体表面的两个交点a和b之间的距离U。第三步，在触模屏幕的菜单中选择“受损横截面”并输入物体表面在受损部分横截面处的曲率半径+R(凸曲面)或－R(凹曲面)。触摸屏幕上将出现一个通过点a和点b和曲率半径为R的曲线32。第四步，使用触屏笔，手指或鼠标在两个交点a和b之间沿着影像截图中凹陷部分边缘画出一条曲线33。物体表面上的一个凹陷横截面31上的一条闭环曲线是由一条曲率半径为R的曲线32和凹陷部分影像边缘的一条曲线33组成。第五步，在一个影像截图中确定横截面31的最低点c的位置。点a和点b分别距离点c之间的深度ya和yb以及横截面31的面积(图中阴影部分)。

Claims (2)

1.一种同屏立体摄像机，其特征在于，所述的一种同屏立体摄像机包括左右两个彼此独立，相同，中心线彼此平行设置的镜头组，一个或左右两个相同的图像传感器，一个影像处理器和一个同屏芯片组成；同屏立体摄像机中左右两个镜头组采集的一个位于立体摄像机中心轴线上的关注物体的左右两个影像在一个或左右两个图像传感器成像表面上成像后被输出到所述的一个影像处理器，但是关注物体的左右两个影像都不在图像传感器输出的一个左右格式的影像中的左右两个子影像的中心或左右两个影像的中心；所述的一个同屏芯片沿着一条位于左右两个镜头组中心线构成的一个平面上，并与两个镜头组中心线垂直的直线方向上，对一个左右格式的影像中的左右两个子影像或左右两个影像朝向彼此相对或相反的方向上进行平移，使关注物体的左右两个影像分别位于一个左右格式的影像中的左右两个平移后的新子影像的中心或左右两个平移后的新影像的中心；同屏立体摄像机在初始设定时，同屏芯片按照公式h＝(F×t)÷(2Zconv)对一个左右格式的影像中的左右两个子影像或左右两个影像进行平移，当关注物体移动时，同屏芯片按照公式h＝(F×t)÷(2Z)对一个左右格式的影像中的左右两个子影像或左右两个影像同步地进行平移，左右两个影像被平移后，关注物体的立体影像会聚点位于屏幕上，关注物体的立体深度与关注物体的立体影像会聚点的立体深度之间满足一组线性数学关系式；同屏芯片也可以通过改变动态影像放大率A＝[T÷(F×t)]×Z和动态影像放大率变化ΔA＝[T÷(F×t)]×ΔZ的方式使关注物体的立体影像会聚点保持在屏幕上；所述的一个影像处理器是一个设置有一个或二个影像处理芯片ISP，一个集成和存储有多条指令由影像处理器加载并执行的一个同屏芯片组成的装置；所述的一个同屏芯片是一个集成和存储有多条指令，包括一个定位追踪指令，一个测量指令，一个平移指令，一个动态影像放大指令和一个等效会聚点重设指令的芯片，同屏芯片中的上述指令由影像处理器加载并执行；上述公式中，h分别是左子影像和右子影像或左影像和右影像各自的平移距离，T是人的双眼之间的距离即瞳距，F是镜头组的焦距，t是两个镜头组中心线之间的距离，Zconv是同屏立体摄像机的等效会聚点的立体深度，Z是实景中一个关注物体的立体深度。

2.根据权利要求1所述的一种同屏立体摄像机，其特征在于，所述的一个定位追踪指令是实景中一个关注点或一条关注直线的左右两个影像中的左影像在左右两个影像截图中的左影像截图中的位置被定位后，定位和追踪该关注点或关注直线的右影像在左右两个影像截图中的右影像截图中的位置；也可以是实景中一个关注点或一条关注直线的左右两个影像中的右影像在左右两个影像截图中的右影像截图中的位置被定位后，定位和追踪该关注点或关注直线的左影像在左右两个影像截图中的左影像截图中的位置；

所述的一个测量指令是根据两个彼此独立，相同和中心线彼此平行设置的镜头组与一个关注物体之间构成的几何关系和同屏等效会聚法，建立一个关注物体上一个关注点的左右两个影像的视差与关注点在实景中的空间坐标之间的关系，一个关注物体表面影像在屏幕中的面积与关注物体表面在实景中的实际面积之间的关系；

实景中一个关注点的左右两个影像在一个左右格式的影像的截图中或左右两个影像的截图中的视差为P＝(XR-XL)，则关注点在实景中的空间座标(X，Y，Z)是；

X＝t×(XL+T/2)÷[T-(XR-XL)]-t/2

Y＝YL÷(m×A)＝YR÷(m×A)

Z＝(A×F×t)÷[T-(XR-XL)]

其中，XL、XR、YL和YR分别是一个关注点的左右两个影像分别在左右两个影像截图中的左影像截图和右影像截图中的横坐标和纵坐标，m是镜头组的放大率；

所述的一个平移指令是当一个位于同屏立体摄像机中心轴线上的关注物体的立体深度Z发生变化ΔZ时，同步地确定关注物体的左右两个影像沿着一条位于左右两个镜头组中心线构成的一个平面上并与两个镜头组中心线垂直的直线方向上的平移变化Δh＝[(F×t)/2]×(1/Z2-1/Z1)和平移方向；

所述的一个动态影像放大率指令是当一个位于同屏立体摄像机中心轴线上的关注物体的立体深度Z发生变化ΔZ时，同步地确定动态影像放大率A＝[T÷(F×t)]×Z和动态影像放大率变化ΔA＝[T÷(F×t)]×ΔZ；

所述的一个等效会聚点重设指令是通过立体播放器中一个物体的立体影像将立体影像对应的实景中的物体设置为一个新关注物体后，新关注物体在实景中的空间位置成为同屏立体摄像机的一个新等效会聚点。

Images