CN104851129B

CN104851129B - 一种基于多视点的3d重建方法

Info

Publication number: CN104851129B
Application number: CN201510262941.7A
Authority: CN
Inventors: 罗勇; 胡强仁; 谢然
Original assignee: CHENGDU LVYE ORIGIN TECHNOLOGY Co Ltd
Current assignee: Shanghai Kerui Exhibition Display Engineering Technology Co., Ltd.
Priority date: 2015-05-21
Filing date: 2015-05-21
Publication date: 2018-01-23
Anticipated expiration: 2035-05-21
Also published as: CN104851129A

Abstract

本发明公开了一种基于多视点的3D重建方法，包括：获取来自多个摄像机的多视点视频流，针对所获取的每个视点的视频流，对视频流的序列帧图片信息进行预处理，所述预处理包括彩色图像灰度化处理；对可视范围内的目标区域进行矫正变换处理；基于矫正后的目标区域，进行图像处理，将处理后的多视点视频流进行合成并向用户呈现。本发明提出了利用图形图像技术处理，对实时视频流进行预处理，并反向的对表现形式进行修正，最终实现基于多视点的3D重建，克服了现有技术中对应表现形式固定的问题，并且改善了图像的视觉效果。

Description

一种基于多视点的3D重建方法

技术领域

本发明涉及3D重建技术领域，特别涉及一种基于多视点的3D重建方法。

背景技术

同一场景在双目中形成的图像之间的视觉差被称为视差，它反映了物理空间中物体的深度信息。基于多视点的3D重建就是通过对二维图像的处理，用立体视觉的原理来获取场景中目标物体的三维信息。如果能在两张图像中找到一对对应点，这对对应点的反投影射线将在物理空间中相交于一点，这样就能在物体表面上得到该点的三维坐标。如果能够得到物体表面上的所有点的三维坐标，那么该物体的位置和空间几何形状就可以唯一确定。在基于多视点的3D重建技术中，根据获取的二维图像信息来对物体进行3D重建具有非常高的应用价值。从宏观上看，它可以用来对浩瀚的宇宙进行探索；从微观上看，它可以应用在对分子、原子的探索。目前，3D重建技术已经广泛地应用到了日常生活中，并且正在改变着人类的生活质量以及方式，如医学诊断、生产装配，质量检验、自动焊接、切割加工、机器人视觉等，给人类的生产和生活带来很大的方便。因此，对3D重建技术进行进一步研究，将会有非常重要的意义。大部分基于多视点的3D重建技术应用都基于2d图的方式进行展示，不具有可编辑性。因此，现有技术还有待改进和发展。基于此，急需一种改进的方案。

发明内容

本发明提出一种基于多视点的3D重建方法，可充分地解决由于现有技术的限制和缺陷导致的一个或多个问题。

本发明另外的优点、目的和特性，一部分将在下面的说明书中得到阐明，而另一部分对于本领域的普通技术人员通过对下面的说明的考察将是明显的或从本发明的实施中学到。通过在文字的说明书和权利要求书及附图中特别地指出的结构可实现和获得本发明目的和优点。

本发明提供了一种基于多视点的3D重建方法，该方法包括以下步骤：

步骤1：获取来自多个摄像机的多视点视频流，针对所获取的每个视点的视频流，对视频流的序列帧图片信息进行预处理，所述预处理包括彩色图像灰度化处理，所述彩色图像灰度化处理具体包括：

读取彩色图像中对应于各坐标点的R、G、B值，根据所述的各坐标点的R、G、B值计算对应于各坐标点的图像灰度值g(x，y)，其中(x，y)表示坐标点位置；

针对所得到的灰度值g(x，y)进行灰度变换，得到经过变换之后对应于各坐标点的灰度值为f(x，y)，

其中，变换之前的g(x,y)的灰度范围为[0，M_g]，对原始图像中灰度变化范围在[a，b]的像素进行灰度变换，变换后的图像f(x，y)的灰度范围设定为[c，d]；

步骤2：利用预设的目标区域，通过对每个视点的视频流进行分析，得到所述目标区域在摄像机透视角度上的位置信息；

步骤3：针对每个视点的视频流，判断目标区域是否在可视范围内，如果是，则对目标区域进行矫正变换处理；如果否，则结束；

步骤4：每个视点的视频流，基于矫正后的目标区域，进行图像处理；

步骤5：将经过步骤4中的图像处理之后的多视点视频流进行合成并向用户呈现。

优选的，根据所述的各坐标点的R、G、B值计算对应于各坐标点的图像灰度值g(x，y)，具体包括根据以下公式计算对应于各坐标点的图像灰度值g(x，y)，

g(x，y)＝0.229×R(x，y)+0.587×G(x，y)+0.114×B(x，y)，

其中，R(x，y)、G(x，y)、B(x，y)是对应于各坐标点的R、G、B值。

优选的，所述图像处理包括数字化、几何变换、归一化、平滑、复原和增强。

优选的，所述矫正变换处理，具体包括：获取目标区域中多个预定坐标点的转换数据，根据所述转换数据计算矫正变换矩阵A，根据所计算出的矫正变换矩阵对目标区域进行矫正变换处理。

优选的，矫正变换矩阵A包括有旋转缩放矩阵M和平移矩阵B，进行矫正变换处理时，利用矫正变换矩阵采用以下公式进行坐标变换：

其中，(X，Y)是原始图片坐标，(X′，Y′)是变换后的图片坐标。

附图说明

图1为根据本发明实施例的基于多视点的3D重建方法的流程图。

具体实施方式

下面参照附图对本发明进行更全面的描述，其中说明本发明的示例性实施例。

如图1所示，根据本发明实施例的基于多视点的3D重建方法包括以下步骤：

步骤1：获取来自多个摄像机的多视点视频流，针对所获取的每个视点的视频流，对视频流的序列帧图片信息进行预处理，所述预处理包括彩色图像灰度化处理和滤波处理。

摄像机获取的摄像机获取的图片都是彩色图像，需要先将彩色图像转换为灰度图像。灰度图是不包含色彩信息的图像，只包含着亮度信息。彩色图像灰度化就是把含有色彩和亮度的彩色图像变换成灰度的过程。灰度通过灰度值进行量化，划分为0到255一共256个级别，其中0表示全黑，255表示全白。在灰度化的处理过程中，首先读取彩色图像中的R、G、B值，然后利用公式：Y＝0.229×R+0.587×G+0.114×B得到灰度值。

然后，针对所得到的灰度值进行灰度变换。这里所说的灰度变换是指把一个灰度级别映射到另一个灰度级别上，也就是说，假如原图像上的像素(x，y)对应的灰度值为g(x，y)，通过灰度变换，使得经过变换之后的该点的灰度值为f(x，y)。假如原始图像g(x,y)的灰度范围为[0，M_g]，如果对原始图像中灰度变化范围在[a，b]的像素进行灰度变换，希望让变换后的图像f(x，y)的灰度范围在[c，d]，则采用以下的灰度转换公式：

步骤2：利用预设的目标区域，通过每个视点的视频流进行分析，得到所述目标区域在摄像机透视角度上的位置信息，将该位置信息保存到数据库。

步骤3：针对每个视点的视频流，判断目标区域是否在可视范围内，如果是，则对目标区域进行矫正变换处理。

所述矫正变换处理，具体包括：获取目标区域中多个预定坐标点的转换数据，根据所述转换数据计算矫正变换矩阵，根据所计算出的矫正变换矩阵对目标区域进行矫正变换处理。

图片矫正(Affine Transformation)是空间直角坐标系的变换，从一个二维坐标变换到另一个二维坐标，图片矫正是一个线性变换，保持了图像的“平行性”和“平直性”，即图像中原来的直线和平行线，变换后仍然保持原来的直线和平行线，映射变换比较常用的特殊变换有平移(Translation)、缩放(Scale)、翻转(Flip)、旋转(Rotation)和剪切(Shear)。

矫正变换(Perspective Transformation)处理是指利用透视中心、像点、目标点三点共线的条件，按透视旋转定律使承影面(透视面)绕迹线(透视轴)旋转某一角度，破坏原有的投影光线束，仍能保持承影面上投影几何图形不变的变换。

对于矫正变换来说，矫正变换矩阵为：

其中，A是矫正变换矩阵，该矫正矩阵是2*3矩阵，其中包括有旋转缩放矩阵M和平移矩阵B。旋转缩放矩阵M是2*2矩阵，表示坐标轴的旋转和缩放，包括旋转缩放系数m₁₁、m₁₂、m₂₁、m₂₂。平移矩阵B是2*1矩阵，表示坐标轴的平移，包括平移系数b₁、b₂。

通过获取目标区域中多个预定坐标点的转换数据，例如获取3个点之间的矫正变换，就可以利用已知的3点变换结果计算出矫正变换矩阵中的旋转缩放系数m₁₁、m₁₂、m₂₁、m₂₂以及平移系数b₁、b₂，从而得到矫正变换矩阵，根据所得到的矫正变换矩阵对目标区域进行矫正变换处理。

进行矫正变换时，利用矫正变换矩阵采用以下公式进行坐标变换：

步骤4：针对每个视点的视频流，基于矫正后的目标区域，进行图像处理，所述图像处理包括数字化、几何变换、归一化、平滑、复原和增强。

本发明提出了利用图形图像技术处理，对实时视频流进行预处理，并反向的对表现形式进行修正，最终实现基于多视点的3D重建，克服了现有技术中对应表现形式固定的问题，并且改善了图像的视觉效果。

以上内容仅为本发明的较佳实施例，对于本领域的普通技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，本说明书内容不应理解为对本发明的限制。

Claims

1.一种基于多视点的3D重建方法，该方法包括以下步骤：

读取彩色图像中对应于各坐标点的R、G、B值，根据所述的各坐标点的R、G、B值计算对应于各坐标点的图像灰度值g(x，y)，其中(x，y)表示坐标点位置，具体为

g(x，y)＝0.229×R(x，y)+0.587×G(x，y)+0.114×B(x，y)，

其中，R(x，y)、G(x，y)、B(x，y)是对应于各坐标点的R、G、B值；

步骤3：针对每个视点的视频流，判断目标区域是否在可视范围内，如果是，则对目标区域进行矫正变换处理；如果否，则结束；所述矫正变换处理具体为

获取目标区域中多个预定坐标点的转换数据，根据所述转换数据计算矫正变换矩阵A，根据所计算出的矫正变换矩阵对目标区域进行矫正变换处理；

矫正变换矩阵A包括有旋转缩放矩阵M和平移矩阵B，进行矫正变换处理时，利用矫正变换矩阵采用以下公式进行坐标变换：

<mrow> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msup> <mi>X</mi> <mo>&prime;</mo> </msup> </mtd> </mtr> <mtr> <mtd> <msup> <mi>Y</mi> <mo>&prime;</mo> </msup> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <mi>M</mi> <mo>*</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mi>X</mi> </mtd> </mtr> <mtr> <mtd> <mi>Y</mi> </mtd> </mtr> </mtable> </mfenced> <mo>+</mo> <mi>B</mi> <mo>,</mo> </mrow>

其中，(X，Y)是原始图片坐标，(X′，Y′)是变换后的图片坐标；

步骤4：针对每个视点的视频流，基于矫正后的目标区域，进行图像处理；

2.根据权利要求1所述的基于多视点的3D重建方法，其特征在于，所述图像处理包括数字化、几何变换、归一化、平滑、复原和增强。