CN102333234A - 一种双目立体视频状态信息的监测方法及装置 - Google Patents

Abstract

本发明公开了一种双目立体视频状态信息的监测方法，包括如下步骤：输入双目立体视频流，提取左视角帧图像和右视角帧图像；对左视角帧图像和右视角帧图像进行灰度处理；对左视角帧灰度图像进行图像分割以得到左视角帧灰度图像的多个图像分割块，在左视角帧灰度图像上采样关键点，并在右视角帧灰度图像上查找关键点的匹配点；计算关键点的视差信息；对左视角帧灰度图像进行逐像素统计；将状态信息转换为图形信息，并对图形信息进行渲染。本发明还公开了一种双目立体视频状态信息的监测装置。本发明可以实时计算出拍摄到的双目立体视频数据中关于立体感的信息，并通过合适的图形方式显示该信息，作为双目立体视频的状态信息监测。

Description

一种双目立体视频状态信息的监测方法及装置

技术领域

本发明涉及数字图像视频处理技术领域，特别涉及一种双目立体视频状态信息的监测方法及装置。

背景技术

立体视频技术(也称3D视频技术)是未来多媒体技术的发展方向，立体视频能够提供立体感的新型视频技术。与单通道视频相比，立体视频一般有两个视频通道，数据量要远远大于单通道视频。立体视频可以提供人类视觉能感受到的立体感。

当前双目立体视频拍摄已经成为制作立体视频内容的常用手段。摄影工作人员通过专业的双目立体拍摄设备，从两个不同视角采集到场景的视频。

传统的平面视频拍摄状态监视内容通常局限在每帧图像中的颜色信息，通过对每个像素在颜色空间上的分布进行统计，其中，颜色空间可以为RGB空间或HSV空间。常见的灰度直方图即为在HSV空间上对S分量的统计显示，该状态信息能够比较合理地表现出帧图像的曝光程度，使得工作人员能够实时监视并对相关摄像机参数(如光圈、快门时间)及场景布置(如光源设置)作出相应反馈。

在双目立体拍摄过程中，工作人员为了获得所期望的立体感，通常需要对两个视角的距离、汇聚角以及场景内容进行调整，然而传统的平面视频状态监测内容无法提供与立体感相对应的信息。

发明内容

本发明的目的旨在至少解决上述技术缺陷之一。

为此，本发明的第一个目的在于提出一种双目立体视频状态信息的监测方法，该方法可以图形化显示双目立体视频状态信息，从而为双目立体摄制工作人员提供一种实时、直观的监测与参考。

本发明的第二个目的在于提出一种双目立体视频状态信息的监测装置。

为实现上述目的，本发明第一方面的实施例提出了一种双目立体视频状态信息的监测方法，包括如下步骤：输入双目立体视频流，从所述双目立体视频流中提取左视角帧图像和右视角帧图像；对所述左视角帧图像和所述右视角帧图像进行灰度处理以得到左视角帧灰度图像和右视角帧灰度图像；对所述左视角帧灰度图像进行图像分割以得到所述左视角帧灰度图像的多个图像分割块，在所述左视角帧灰度图像上采样关键点，并在所述右视角帧灰度图像上查找所述关键点的匹配点；根据所述关键点和所述匹配点计算所述关键点的视差信息；根据所述左视角帧灰度图像的多个图像分割块和所述关键点的视差信息对所述左视角帧灰度图像进行逐像素统计；将对所述左视角帧灰度图像进行逐像素统计的状态信息转换为图形信息，并对所述图形信息进行渲染。

根据本发明实施例的双目立体视频状态信息的监测方法，可以实时计算出拍摄到的双目立体视频数据中关于立体感的信息，并通过合适的图形方式显示该信息，作为双目立体视频的状态信息监测，从而向拍摄过程中的工作人员提供直观的立体拍摄状态。

本发明第二方面的实施例提出了一种双目立体视频状态信息的监测装置，包括输入模块，所述输入模块用于输入双目立体视频流；ISP实时处理模块，所述ISP实时处理模块与所述输入模块相连，用于从所述双目立体视频流中提取左视角帧图像和右视角帧图像，对所述左视角帧图像和所述右视角帧图像进行灰度处理以得到左视角帧灰度图像和右视角帧灰度图像，对所述左视角帧灰度图像进行图像分割以得到所述左视角帧灰度图像的多个图像分割块，在所述左视角帧灰度图像上采样关键点，并在所述右视角帧灰度图像上查找所述关键点的匹配点，根据所述关键点和所述匹配点计算所述关键点的视差信息；状态信息统计模块，所述状态信息统计模块与所ISP实时处理模块相连，用于根据所述左视角帧灰度图像的多个图像分割块和所述关键点的视差信息对所述左视角帧灰度图像进行逐像素统计；状态信息显示模块，所述状态信息显示模块与所述状态信息统计模块相连，用于将逐像素统计的状态信息转换为图形信息，并对所述图形信息进行渲染，并显示所述渲染后的图形信息。

根据本发明实施例的双目立体视频状态信息的监测装置，可以实时计算出拍摄到的双目立体视频数据中关于立体感的信息，并通过合适的图形方式显示该信息，作为双目立体视频的状态信息监测，从而向拍摄过程中的工作人员提供直观的立体拍摄状态。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的双目立体视频状态信息的监测方法流程图；

图2为根据本发明实施例的状态信息获取的流程图；

图3为根据本发明实施例的左视角帧灰度图像的关键点采样示意图；

图4(a)为根据本发明实施例的左视角帧灰度图像的示意图；

图4(b)为根据本发明实施例的右视角帧灰度图像的示意图；

图5为根据本发明实施例的左视角帧关键点的视差计算示意图；

图6为根据本发明实施例的状态信息统计的流程图；

图7为根据本发明实施例的状态信息显示的流程图；和

图8为根据本发明实施例的双目立体视频状态信息的监测装置的示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

下面参考图1至图7描述根据本发明实施例的双目立体视频状态信息的监测方法。

如图1所示，本发明实施例提供的双目立体视频状态信息的监测方法包括如下步骤：

S101：输入双目立体视频流，从双目立体视频流中提取左视角帧图像和右视角帧图像。

输入双目立体视频流，其中双目立体视频流包括左视角视频流和右视角视频流。首先从左视角视频流中取出左视角视频流中时间戳值最小的帧图像，记为左视角帧图像I_L。然后从右视角视频流中取出右视角视频流中时间戳与上述左视角帧图像时间戳相差最小的帧图像，记为右视角帧图像I_R。

S102：图像预处理。

对步骤S101中得到的左视角帧图像I_L和右视角帧图像I_R进行图像预处理。在本发明的一个实施例中，图像预处理过程可以为灰度处理过程，即对左视角帧图像I_L和右视角帧图像I_R进行灰度处理，得到左视角帧灰度图像和右视角帧灰度图像。

1)如果左视角帧图像I_L和右视角帧图像I_R是RGB彩色图像，则按照如下方式得到左视角帧灰度图像I_GL和右视角帧灰度图像I_GR。

G＝0.299*R+0.587*G+0.114*B

其中，G为左视角帧灰度图像或右视角帧灰度图像上每个像素的灰度值；R、G、B分别为左视角帧图像I_L或右视角帧图像I_R的彩色图像中每个像素对应的红色、绿色、蓝色分量的颜色值，R、G、B的取值范围为0至255。

2)如果左视角帧图像I_L和右视角帧图像I_R是YUV彩色图像，则提取将彩色图像左视角帧图像I_L或右视角帧图像I_R的彩色图像中每个像素的Y通道值，得到相应的左视角帧灰度图像I_GL和右视角帧灰度图像I_GR。

3)如果左视角帧图像I_L和右视角帧图像I_R是其他格式的彩色图像，则采用相应的格式转换算法将原彩色图像转化为RGB彩色格式后，再按照第一种方式计算相应的灰度图像。

在计算得到左视角帧灰度图像I_GL和右视角帧灰度图像I_GR后，进一步包括通过图像滤波算法对左视角帧灰度图像I_GL和右视角帧灰度图像I_GR进行滤波，从而降低图像噪声。上述滤波过程也可以看作图像平滑过程。具体而言，对左视角帧灰度图像I_GL和右视角帧灰度图像I_GR的每个像素按照如下方式进行计算：

首先以该像素为中心得到3*3的像素窗口，对该窗口中的所有像素进行加权求和，其中权重矩阵为：

$\left[\begin{array}{ccc}1/16& 1/8& 1/16\\ 1/8& 1/4& 1/8\\ 1/16& 1/8& 1/16\end{array}\right]$

由此，对左视角帧灰度图像I_GL和右视角帧灰度图像I_GR的每个像素采用上述方式进行加权求和以实现对图像的平滑处理。

S103：对左视角帧灰度图像进行图像分割，在左视角帧灰度图像上采样关键点，并在右视角帧灰度图像上查找关键点的匹配点。

S1031：对左视角帧灰度图像进行图像块分割。

首先，计算左视角帧灰度图像I_L的梯度图像，得到左视角梯度图像I_DL。具体而言，将左视角帧灰度图像I_L中相邻像素的灰度值进行相减，从而得到左视角梯度图像I_DL。

在左视角梯度图像I_DL中均匀划分网格，并对网格中所有像素的梯度进行排序。在本发明的一个示例中，可以在左视角梯度图像中均匀划分8*8网格，并对8*8网格中每个网格中的所有像素的梯度进行排序。将梯度最低对应的像素作为该网格的种子点Ps。由此可以得到所有网格的种子点。在左视角梯度图像I_DL中，对所有的种子点采用分水岭算法进行区域生长，每个种子点最终生长为一个图像块。

对于相邻的图像块，当相邻的图像块的平均灰度的差值小于灰度阈值，或者相邻的图像块中的一个的像素总数小于像素阈值时，则对相邻的图像块进行合并。在本发明的一个实施例中，灰度阈值可以为30，像素阈值可以为16。将左视角梯度图像中每一个图像块对应到左视角帧灰度图像中的相同位置下，从而可以得到左视角帧灰度图像的多个图像分割块。

S1032：在左视角帧灰度图像上采样关键点。

在本发明的一个实施例中，采用均匀采样的方法获得关键点。具体而言，在左视角帧灰度图像I_L中均匀划分网格，设网格中心的点为关键点。

如图3所示，将左视角帧灰度图像I_L分为15*15大小的网格，取网格中心的点，记为关键点K_i。

S1033：在右视角灰度图像上查找左视角灰度图像上关键点的匹配点。

对于左视角帧灰度图像I_L上的每一个关键点K_i，以该关键点K_i为中心建立一个像素窗口称为左视角窗口。在右视角帧灰度图像I_R上对应与关键点的坐标位置，即与上述关键点具有相同坐标位置上建立同样大小的像素窗口，称为右视角窗口。例如，以关键点K_i为中心建立一个5*5的像素窗口，记为左视角窗口W_L，在右视角帧灰度图中的同一个位置，建立一个5*5的像素窗口，记为右视角窗口W_R。

计算左视角窗口W_L和右视角窗口W_R的像素灰度差值的平方和，得到当前左视角窗口W_L和右视角窗口W_R的灰度差异。

Δ＝∑(W_Li-W_Ri)²

其中，W_Li为左视角窗口中的第i个像素灰度值，W_Ri为右视角窗口中的第i个像素灰度值。

水平移动右视角窗口W_R的位置，同时计算左视角窗口和右视角窗口的像素灰度差异Δ，直到找到差异Δ最小的位置，则右视角帧灰度图像中，该差异Δ最小的位置对应的像素点即为关键点K_i的匹配点，记为M_i。

图4(a)为左视角帧灰度图像的示意图，其中点1、2、3分别为左视角帧灰度图像I_L的关键点。图4(b)为右视角帧灰度图像的示意图，其中，点1’为左视角帧灰度图像上的点1的匹配点，点2’为左视角帧灰度图像上的点2的匹配点，点3’为左视角帧灰度图像上的点3的匹配点。

S104：计算关键点的视差信息。

根据步骤S1032中得到的关键点K_i和步骤S1033中得到的匹配点M_i计算关键点K_i的视差信息。

具体而言，对于每一个关键点K_i(图5中的点A)，根据与该关键点对应的匹配点K_i(图5中的点B)，计算两点水平方向坐标的差值作为关键点的视差值D_i。

D_i＝X_Mi-X_Ki。

上述步骤S101至步骤S104均属于对双目立体视频流进行的ISP(Image SignalProcessing，图像是信号处理)实时处理。

S105：状态信息统计。

根据步骤S1031中得到的图像分割结果和步骤S104中得到视差信息进行逐像素统计。

S1051：关键点视差扩散。

计算左视角帧图像上的每个图像分割块上的所有关键点的视差值的平均值，然后将该平均值作为当前图像分割块中的每个像素的视差值。

$D=\frac{1}{n}\mathrm{\Σ}{D}_i.$

其中，D_i为当前图像分割块上的每个关键点的视差值，n为当前图像分割块中的关键点的数量，D为当前图像分割块中的每个像素的视差值。

S1052：一维直方图统计。

对左视角帧灰度图像上的所有像素点的视差值做一维直方图统计，得到逐像素统计的状态信息，即视差信息。其中，该状态信息为同时属于左视角帧图像和右视角帧图像的立体状态信息。

S106：状态信息显示。

S1061：状态信息图形化。

将左视角帧灰度图像的视差一维直方图统计的状态信息进行归一化，即将一维直方图统计的统计值进行归一化。并将归一化后的状态信息映射到预先设定的颜色索引表中，得到状态信息对应的图形化显示时的颜色值。

在本发明的一个实施例中，采用下述方式进行颜色映射：

C＝Hi*255

其中，C为该视差值对应的显示颜色值，Hi为该视差值归一化的统计值。

S1062：图形信息渲染。

在人机交互界面中，将视差值范围作为纵轴，帧数作为横轴，每帧左右图像对的视差统计值作为一列像素在图形界面上输出，其中像素的颜色值为对应视差在步骤S1061中索引得到的颜色值。

根据本发明实施例的双目立体视频状态信息的监测方法，可以实时计算出拍摄到的双目立体视频数据中关于立体感的信息，并通过合适的图形方式显示该信息，作为双目立体视频的状态信息监测，从而向拍摄过程中的工作人员提供直观的立体拍摄状态。

下面参考图8描述根据本发明实施例的双目立体视频状态信息的监测装置800。

如图8所示，本发明实施例提供的双目立体视频状态信息的监测装置800包括：输入模块810、ISP实时处理模块820、状态信息统计模块830和状态信息显示模块840，其中，ISP实时处理模块820与输入模块810相连，状态信息统计模块830与ISP实时处理模块820相连，状态信息显示模块840与状态信息统计模块830相连。

由输入模块810向内存中输入双目立体视频流，其中双目立体视频流包括左视角视频流和右视角视频流。

ISP实时处理模块820首先从左视角视频流中取出左视角视频流中时间戳值最小的帧图像，记为左视角帧图像I_L。然后从右视角视频流中取出右视角视频流中时间戳与上述左视角帧图像时间戳相差最小的帧图像，记为右视角帧图像I_R。

然后，由ISP实时处理模块820对左视角帧图像I_L和右视角帧图像I_R进行图像预处理。在本发明的一个实施例中，图像预处理过程可以为灰度处理过程，即对左视角帧图像I_L和右视角帧图像I_R进行灰度处理，得到左视角帧灰度图像和右视角帧灰度图像。

1)如果左视角帧图像I_L和右视角帧图像I_R是RGB彩色图像，则按照如下方式得到左视角帧灰度图像I_GL和右视角帧灰度图像I_GR。

G＝0.299*R+0.587*G+0.114*B

其中，G为左视角帧灰度图像或右视角帧灰度图像上每个像素的灰度值；R、G、B分别为左视角帧图像I_L或右视角帧图像I_R的彩色图像中每个像素对应的红色、绿色、蓝色分量的颜色值，R、G、B的取值范围为0至255。

2)如果左视角帧图像I_L和右视角帧图像I_R是YUV彩色图像，则提取将彩色图像左视角帧图像I_L或右视角帧图像I_R的彩色图像中每个像素的Y通道值，得到相应的左视角帧灰度图像I_GL和右视角帧灰度图像I_GR。

3)如果左视角帧图像I_L和右视角帧图像I_R是其他格式的彩色图像，则采用相应的格式转换算法将原彩色图像转化为RGB彩色格式后，再按照第一种方式计算相应的灰度图像。

在计算得到左视角帧灰度图像I_GL和右视角帧灰度图像I_GR后，ISP实时处理模块820进一步通过图像滤波算法对左视角帧灰度图像I_GL和右视角帧灰度图像I_GR进行滤波，从而降低图像噪声。ISP实时处理模块820进行的上述滤波过程也可以看作为图像平滑过程。具体而言，ISP实时处理模块820对左视角帧灰度图像I_GL和右视角帧灰度图像I_GR的每个像素按照如下方式进行计算：

首先以该像素为中心得到3*3的像素窗口，对该窗口中的所有像素进行加权求和，其中权重矩阵为：

$\left[\begin{array}{ccc}1/16& 1/8& 1/16\\ 1/8& 1/4& 1/8\\ 1/16& 1/8& 1/16\end{array}\right]$

由此，ISP实时处理模块820对左视角帧灰度图像I_GL和右视角帧灰度图像I_GR的每个像素采用上述方式进行加权求和以实现对图像的平滑处理。

ISP实时处理模块820根据上述过程中得到的左视角帧灰度图像I_GL，计算左视角帧灰度图像I_L的梯度图像，得到左视角梯度图像I_DL。具体而言，ISP实时处理模块820将左视角帧灰度图像I_L中相邻像素的灰度值进行相减，从而得到左视角梯度图像I_DL。然后，ISP实时处理模块820在左视角梯度图像I_DL中均匀划分网格，并对网格中所有像素的梯度进行排序。在本发明的一个示例中，可以在左视角梯度图像中均匀划分8*8网格，并对8*8网格中每个网格中的所有像素的梯度进行排序。将梯度最低对应的像素作为该网格的种子点Ps。由此可以得到所有网格的种子点。在左视角梯度图像I_DL中，对所有的种子点采用分水岭算法进行区域生长，每个种子点最终生长为一个图像块。

对于相邻的图像块，当相邻的图像块的平均灰度的差值小于灰度阈值，或者相邻的图像块中的一个的像素总数小于像素阈值时，ISP实时处理模块820则对相邻的图像块进行合并。在本发明的一个实施例中，灰度阈值可以为30，像素阈值可以为16。ISP实时处理模块820将左视角梯度图像中每一个图像块对应到左视角帧灰度图像中的相同位置下，从而可以得到左视角帧灰度图像的多个图像分割块。

ISP实时处理模块820在左视角帧灰度图像上采样关键点。在本发明的一个实施例中，采用均匀采样的方法获得关键点。具体而言，在左视角帧灰度图像I_L中均匀划分网格，设网格中心得点为关键点。

对于左视角帧灰度图像I_L上的每一个关键点K_i，ISP实时处理模块820以该关键点K_i为中心建立一个像素窗口称为左视角窗口。在右视角帧灰度图像I_R上对应与关键点的坐标位置，即与上述关键点具有相同坐标位置上建立同样大小的像素窗口，称为右视角窗口。例如，以关键点K_i为中心建立一个5*5的像素窗口，记为左视角窗口W_L，在右视角帧灰度图中的同一个位置，建立一个5*5的像素窗口，记为右视角窗口W_R。

ISP实时处理模块820计算左视角窗口W_L和右视角窗口W_R的像素灰度差值的平方和，得到当前左视角窗口W_L和右视角窗口W_R的灰度差异。

Δ＝∑(W_Li-W_Ri)²

其中，W_Li为左视角窗口中的第i个像素灰度值，W_Ri为右视角窗口中的第i个像素灰度值。

水平移动右视角窗口W_R的位置，同时计算左视角窗口和右视角窗口的像素灰度差异Δ，直到找到差异Δ最小的位置，则右视角帧灰度图像中，该差异Δ最小的位置对应的像素点即为关键点K_i的匹配点，记为M_i。

ISP实时处理模块820根据上述过程中得到的关键点K_i和匹配点M_i计算关键点K_i的视差信息。

具体而言，对于每一个关键点K_i(图5中的点A)，ISP实时处理模块820根据与该关键点对应的匹配点K_i(图5中的点B)，计算两点水平方向坐标的差值作为关键点的视差值Di。

Di＝X_Mi-X_Ki。

状态信息统计模块830根据上述过程中得到的图像分割结果和视差信息进行逐像素统计。

具体而言，状态信息统计模块830计算左视角帧图像上的每个图像分割块上的所有关键点的视差值的平均值，然后将该平均值作为当前图像分割块中的每个像素的视差值。

$D=\frac{1}{n}\mathrm{\Σ}{D}_i.$

其中，D_i为当前图像分割块上的每个关键点的视差值，n为当前图像分割块中的关键点的数量，D为当前图像分割块中的每个像素的视差值。

然后，状态信息统计模块830对左视角帧灰度图像上的所有像素点的视差值做一维直方图统计，得到逐像素统计的状态信息，即视差信息。其中，该状态信息为同时属于左视角帧图像和右视角帧图像的立体状态信息。

状态信息显示模块840将左视角帧灰度图像的视差一维直方图统计的状态信息进行归一化，即将一维直方图统计的统计值进行归一化。并将归一化后的状态信息映射到预先设定的颜色索引表中，得到状态信息对应的图形化显示时的颜色值。

在本发明的一个实施例中，采用下述方式进行颜色映射：

C＝Hi*255

其中，C为该视差值对应的显示颜色值，Hi为该视差值归一化的统计值。

在人机交互界面中，状态信息显示模块840将视差值范围作为纵轴，帧数作为横轴，每帧左右图像对的视差统计值作为一列像素在图形界面上输出，其中像素的颜色值为对应视差索引得到的颜色值。

根据本发明实施例的双目立体视频状态信息的监测装置，可以实时计算出拍摄到的双目立体视频数据中关于立体感的信息，并通过合适的图形方式显示该信息，作为双目立体视频的状态信息监测，从而向拍摄过程中的工作人员提供直观的立体拍摄状态。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。

Claims (18)

1.一种双目立体视频状态信息的监测方法，其特征在于，包括如下步骤：

输入双目立体视频流，从所述双目立体视频流中提取左视角帧图像和右视角帧图像；

对所述左视角帧图像和所述右视角帧图像进行灰度处理以得到左视角帧灰度图像和右视角帧灰度图像；

对所述左视角帧灰度图像进行图像分割以得到所述左视角帧灰度图像的多个图像分割块，在所述左视角帧灰度图像上采样关键点，并在所述右视角帧灰度图像上查找所述关键点的匹配点；

根据所述关键点和所述匹配点计算所述关键点的视差信息；

根据所述左视角帧灰度图像的多个图像分割块和所述关键点的视差信息对所述左视角帧灰度图像进行逐像素统计；

将对所述左视角帧灰度图像进行逐像素统计的状态信息转换为图形信息，并对所述图形信息进行渲染。

2.如权利要求1所述的监测方法，其特征在于，所述从所述双目立体视频流中提取左视角帧图像，包括如下步骤：

从所述双目立体视频流的左视角视频流中提取时间戳值最小的帧图像，记为左视角帧图像，

所述从所述双目立体视频流中提取右视角帧图像，包括如下步骤：

从所述双目立体视频流的右视角视频流中提取与所述左视角帧图像时间戳值相差最小的帧图像，记为右视角帧图像。

3.如权利要求1所述的监测方法，其特征在于，在对所述左视角帧图像和所述右视角帧图像进行灰度处理后，还包括：对得到的所述左视角帧灰度图像和所述右视角帧灰度图像进行滤波。

4.如权利要求1所述的监测方法，其特征在于，所述对所述左视角帧灰度图像进行图像分割，包括如下步骤：

将所述左视角帧灰度图像中相邻像素的灰度值相减，得到左视角梯度图像；

在所述左视角梯度图像中均匀划分网格，并对所述网格中所有像素的梯度进行排序，将梯度最低的像素作为所述网格的种子点；

在所述左视角梯度图像中，对所有的种子点利用分水岭算法进行区域生成，其中，每个种子点生长为一个图像块；

对于相邻的所述图像块，当所述相邻的图像块的平均灰度的差值小于灰度阈值，或者所述相邻的所述图像块中的一个的像素总数小于像素阈值时，则将相邻的所述图像块进行合并；

将所述左视角梯度图像中的每一个图像块对应到所述左视角帧灰度图像中的相同位置下，得到所述左视角帧灰度图像的多个图像分割块。

5.如权利要求1所述的监测方法，其特征在于，在所述左视角帧灰度图像中均匀划分网格，设置所述网格中心的点为关键点。

6.如权利要求5所述的监测方法，其特征在于，在所述右视角帧灰度图像上查找所述关键点的匹配点，包括如下步骤：

建立多个左视角窗口和多个右视角窗口，其中，每个左视角窗口为以所述左视角帧灰度图像上的每一个关键点为中心建立的一个像素窗口，每个右视角窗口为在所述右视角帧灰度图像上对应于所述关键点的坐标位置建立的与相应的所述左视角窗口相同大小的像素窗口；

计算所述左视角窗口和所述右视角窗口的像素灰度差值的平方和，得到当前左视角窗口和当前右视角窗口的灰度差异；

水平移动所述右视角窗口的位置直至所述灰度差异最小，则所述右视角窗口的中心像素为所述左视角帧灰度图像上当前关键点的匹配点。

7.如权利要求1所述的监测方法，其特征在于，所述关键点的视差信息为所述匹配点的水平方向坐标与所述关键点的水平方向坐标之差。

8.如权利要求1所述的监测方法，其特征在于，所述对所述左视角帧灰度图像进行逐像素统计，包括如下步骤：

计算所述左视角帧灰度图像上的每个图像分割块上的所有关键点的视差值的平均值，将所述平均值作为当前图像分割块中每个像素的视差值；

计算所述左视角帧灰度图像上所有像素点的视差值进行一维直方图统计以得到状态信息。

9.如权利要求1所述的监测方法，其特征在于，将所述状态信息转换为图形信息，包括如下步骤：

将所述状态信息进行归一化，并将所述归一化后的状态信息映射到预先设定的颜色索引表中，得到所述状态信息对应的图形化显示时的颜色值。

10.一种双目立体视频状态信息的监测装置，其特征在于，包括：

输入模块，所述输入模块用于输入双目立体视频流；

ISP实时处理模块，所述ISP实时处理模块与所述输入模块相连，用于从所述双目立体视频流中提取左视角帧图像和右视角帧图像，对所述左视角帧图像和所述右视角帧图像进行灰度处理以得到左视角帧灰度图像和右视角帧灰度图像，对所述左视角帧灰度图像进行图像分割以得到所述左视角帧灰度图像的多个图像分割块，在所述左视角帧灰度图像上采样关键点，并在所述右视角帧灰度图像上查找所述关键点的匹配点，根据所述关键点和所述匹配点计算所述关键点的视差信息；

状态信息统计模块，所述状态信息统计模块与所ISP实时处理模块相连，用于根据所述左视角帧灰度图像的多个图像分割块和所述关键点的视差信息对所述左视角帧灰度图像进行逐像素统计；

状态信息显示模块，所述状态信息显示模块与所述状态信息统计模块相连，用于将逐像素统计的状态信息转换为图形信息，并对所述图形信息进行渲染，并显示所述渲染后的图形信息。

11.如权利要求10所述的监测装置，其特征在于，所述ISP实时处理模块从所述双目立体视频流的左视角视频流中提取时间戳值最小的帧图像，记为左视角帧图像；从所述双目立体视频流的右视角视频流中提取与所述左视角帧图像时间戳值相差最小的帧图像，记为右视角帧图像。

12.如权利要求10所述的监测装置，其特征在于，所述ISP实时处理模块在对所述左视角帧图像和所述右视角帧图像进行灰度处理后，对得到的所述左视角帧灰度图像和所述右视角帧灰度图像进行滤波。

13.如权利要求10所述的监测装置，其特征在于，所述ISP实时处理模块将所述左视角帧灰度图像中相邻像素的灰度值相减，得到左视角梯度图像，在所述左视角梯度图像中均匀划分网格，并对所述网格中所有像素的梯度进行排序，将梯度最低的像素作为所述网格的种子点，在所述左视角梯度图像中，对所有的种子点利用分水岭算法进行区域生成，其中，每个种子点生长为一个图像块，对于相邻的所述图像块，当所述相邻的图像块的平均灰度的差值小于灰度阈值，或者所述相邻的所述图像块中的一个的像素总数小于像素阈值时，则将相邻的所述图像块进行合并，将所述左视角梯度图像中的每一个图像块对应到所述左视角帧灰度图像中的相同位置下，得到所述左视角帧灰度图像的多个图像分割块。

14.如权利要求10所述的监测装置，其特征在于，所述ISP实时处理模块在所述左视角帧灰度图像中均匀划分网格，设置所述网格中心的点为关键点。

15.如权利要求14所述的监测装置，其特征在于，所述ISP实时处理模块建立多个左视角窗口和多个右视角窗口，其中，每个左视角窗口为以所述左视角帧灰度图像上的每一个关键点为中心建立的一个像素窗口，每个右视角窗口为在所述右视角帧灰度图像上对应于所述关键点的坐标位置建立的与相应的所述左视角窗口相同大小的像素窗口，计算所述左视角窗口和所述右视角窗口的像素灰度差值的平方和，得到当前左视角窗口和当前右视角窗口的灰度差异，水平移动所述右视角窗口的位置直至所述灰度差异最小，则所述右视角窗口的中心像素为所述左视角帧灰度图像上当前关键点的匹配点。

16.如权利要求10所述的监测装置，其特征在于，所述关键点的视差信息为所述匹配点的水平方向坐标与所述关键点的水平方向坐标之差。

17.如权利要求10所述的监测装置，其特征在于，所述状态信息统计模块计算所述左视角帧灰度图像上的每个图像分割块上的所有关键点的视差值的平均值，将所述平均值作为当前图像分割块中每个像素的视差值，计算所述左视角帧灰度图像上所有像素点的视差值进行一维直方图统计以得到状态信息。

18.如权利要求10所述的监测装置，其特征在于，所述状态信息显示模块将所述状态信息进行归一化，并将所述归一化后的状态信息映射到预先设定的颜色索引表中，得到所述状态信息对应的图形化显示时的颜色值。

Images