CN105447007B - 一种电子设备及数据处理方法 - Google Patents
一种电子设备及数据处理方法 Download PDFInfo
- Publication number
- CN105447007B CN105447007B CN201410392213.3A CN201410392213A CN105447007B CN 105447007 B CN105447007 B CN 105447007B CN 201410392213 A CN201410392213 A CN 201410392213A CN 105447007 B CN105447007 B CN 105447007B
- Authority
- CN
- China
- Prior art keywords
- image
- image acquisition
- acquisition units
- parameter
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种电子设备及数据处理方法，所述电子设备包括第一图像采集单元和第二图像采集单元；所述第一图像采集单元能够采集目标对象的第一图像，所述第二图像采集单元能够采集目标对象的第二图像，且所述第一图像采集单元与所述第二图像采集单元具有不同的图像采集参数；所述电子设备还包括：第一处理模块，用于对所述第一图像采集单元和所述第二图像采集单元的图像采集参数进行校准，得到所述第一图像采集单元和所述第二图像采集单元的校准参数；第二处理模块，用于利用所述校准参数，对所述第一图像和所述第二图像进行校准，并对校准后的所述第一图像和所述第二图像进行视差计算。
Description
技术领域
本发明涉及数据处理技术，尤其涉及一种电子设备及数据处理方法。
背景技术
人们用两只眼睛观察事物的时候，会有远近和深度的感觉。双目立体视觉就是基于这个原理设计和实现的，使用两个摄像机对同一个物体进行图像的采集，最后根据图像的视差来计算物体的空间坐标。双目立体视觉系统主要的硬件设备为双目摄像头，目前的双目摄像头的图像采集参数是一致的，即双目摄像头的内部光学参数和几何特性均一样。然而，当双目摄像头的图像采集参数不一致时，目前还没有一种有效的手段使用此类双目摄像头对采集到的图像进行视差处理。
发明内容
为解决上述技术问题，本发明实施例提供了一种电子设备及数据处理方法。
本发明实施例提供的电子设备包括第一图像采集单元和第二图像采集单元；所述第一图像采集单元能够采集目标对象的第一图像，所述第二图像采集单元能够采集目标对象的第二图像，且所述第一图像采集单元与所述第二图像采集单元具有不同的图像采集参数；所述电子设备还包括：
第一处理模块，用于对所述第一图像采集单元和所述第二图像采集单元的图像采集参数进行校准，得到所述第一图像采集单元和所述第二图像采集单元的校准参数；
第二处理模块，用于利用所述校准参数，对所述第一图像和所述第二图像进行校准，并对校准后的所述第一图像和所述第二图像进行视差计算。
本发明实施例提供的数据处理方法应用于电子设备中，所述电子设备包括第一图像采集单元和第二图像采集单元；所述第一图像采集单元能够采集目标对象的第一图像，所述第二图像采集单元能够采集目标对象的第二图像，且所述第一图像采集单元与所述第二图像采集单元具有不同的图像采集参数；所述电子设备还包括第一处理模块、第二处理模块；所述数据处理方法包括：
利用所述第一处理模块对所述第一图像采集单元和所述第二图像采集单元进行校准，得到所述第一图像采集单元和所述第二图像采集单元的校准参数；
利用所述第二处理模块依据所述校准参数，对所述第一图像和所述第二图像进行校准，并对校准后的所述第一图像和所述第二图像进行视差计算。
本发明实施例的技术方案中，电子设备具有两个图像采集单元，分别为第一图像采集单元和第二图像采集单元；这两个图像采集单元的图像采集参数不一致，因此，由第一图像采集单元采集到的第一图像与由第二图像采集单元采集到的第二图像的像素大小不一致；基于此，电子设备首先通过第一处理模块，对第一图像采集单元和第二图像采集单元的图像采集参数进行校准，得到所述第一图像采集单元和所述第二图像采集单元的校准参数；然后通过第二处理模块，利用所述校准参数，对所述第一图像和所述第二图像进行校准，并对校准后的所述第一图像和所述第二图像进行视差计算。这里，第一处理模块位于电子设备CPU端，属于后端处理模块；第二处理模块位于电子设备的专用加速芯片端，例如图像信号处理单元(ISP，Image Signal Processing)芯片，属于前端处理模块；预先由第一处理模块得到两个图像采集单元的校准参数，然后当第二处理模块对采集到的图像进行处理时，利用校准参数对图像进行校准，再继续后续的视差计算，进而实现了异构双目摄像头对采集到的图像进行视差处理，由于双目摄像头的图像采集参数不同，也即两个图像采集单元中有一个图像采集单元的采集精度较高，而另一个图像采集单元的采集精度较低，如此，不必采用同样高采集精度的两个图像采集单元，有效节约电子设备的成本及功耗；并且，本发明实施例的技术方案可以有效结合智能设备的前后摄像头进行实现，实现方式便捷。
附图说明
图1为本发明实施例一的数据处理方法的流程示意图；
图2为本发明实施例二的数据处理方法的流程示意图；
图3为本发明实施例三的数据处理方法的流程示意图；
图4为本发明实施例四的数据处理方法的流程示意图；
图5为本发明实施例五的数据处理方法的流程示意图；
图6为本发明实施例一的电子设备的结构组成示意图；
图7为本发明实施例二的电子设备的结构组成示意图；
图8为本发明实施例三的电子设备的结构组成示意图；
图9为本发明实施例四的电子设备的结构组成示意图；
图10为本发明实施例五的电子设备的结构组成示意图；
图11为本发明实施例的摄像机的针孔成像模型示意图。
具体实施方式
为了能够更加详尽地了解本发明实施例的特点与技术内容，下面结合附图对本发明实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本发明实施例。
图1为本发明实施例一的数据处理方法的流程示意图，本示例中的数据处理方法应用于电子设备中，所述电子设备包括第一图像采集单元和第二图像采集单元；所述第一图像采集单元能够采集目标对象的第一图像，所述第二图像采集单元能够采集目标对象的第二图像，且所述第一图像采集单元与所述第二图像采集单元具有不同的图像采集参数；所述电子设备还包括第一处理模块、第二处理模块；如图1所示，所述数据处理方法包括以下步骤：
步骤101：利用所述第一处理模块对所述第一图像采集单元和所述第二图像采集单元进行校准，得到所述第一图像采集单元和所述第二图像采集单元的校准参数。
本发明实施例中，所述电子设备可以是智能手机、平板电脑、掌上电脑、游戏机、笔记本电脑等电子设备；该电子设备具有两个图像采集单元，分别为第一图像采集单元和第二图像采集单元；这里，图像采集单元可由摄像头实现。其中，第一图像采集单元与第二图像采集单元具有不同的图像采集参数，这里，图像采集参数为图像采集单元的内部参数，简称为内参，图像采集参数表征了图像采集单元的内部光学特性以及几何结构特性。由于第一图像采集单元与第二图像采集单元具有不同的图像采集参数，因此，由第一图像采集单元采集到的第一图像与由第二图像采集单元采集到的第二图像的像素大小不同。
本发明实施例中，由第一图像采集单元和第二图像采集单元同时采集同一目标对象的图像，分别得到第一图像和第二图像；第一图像的像素和第二图像的像素不同。本发明实施例中的目标对象是指被拍摄物体。
本发明实施例中，电子设备具有两个处理模块，分别为第一处理模块和第二处理模块；其中，第一处理模块属于后端处理模块，也称为离线(Offline)模块，第一处理模块运行在电子设备的CPU端，完成对第一图像采集单元和第二图像采集单元的校准，以获得第一图像采集单元和第二图像采集单元的校准参数。
具体地，图11为摄像机的针孔成像模型示意图，如图11所示，空间点p在图像上的投影点P为摄像机光心Oc与P点的连线OcP与图像平面的交点。从三维空间投影到二维图像平面涉及到如下4个坐标系之间的变换：
1)图像平面坐标系中的像素坐标(u，v)，每幅数字图像可表示为像素大小为M×N的矩阵，其中，像素坐标(u，v)表示像素位于矩阵中的行数与列数。该坐标系以图像左上角为坐标原点，以像素(Pixels)为单位。
2)图像平面坐标系中的物理坐标(x，y)，该坐标系的坐标原点O为光轴与图像平面的交点；x，y轴分别与u，v轴平行，以mm为单位。
3)摄像机坐标系中的坐标(Xc，Yc，Zc)，该坐标系以摄像机光心Oc为原点，Xc，Yc轴分别与x，y轴平行，摄像机光轴为Zc轴，OcO为摄像机焦距。
4)世界坐标(Xw，Yw，Zw)为现实坐标，也即客观世界的绝对坐标，描述物体的位置。
对于双目摄像机，首先要对每一个摄像机进行标定，然后再进行校准；对摄像机进行标定就是要解决图像平面坐标系中的像素坐标(u，v)与世界坐标(Xw，Yw，Zw)之间转换的问题，根据针孔成像原理，他们之间的转换关系为公式(1a)：
其中，S为比例因子，F为内参数矩阵，[R T]为摄像机的外参矩阵R和T分别为摄像机坐标系相对于世界坐标系的旋转分量和平移分量。F，R和T分别为公式(2a)：
其中，fx，fy分别表示在x，y方向上的焦距，单位为Pixels；Cx，Cy分别表示主光轴与像平面交点的图像平面坐标系中的像素坐标。
设双目摄像头中的第一图像采集单元的外参为Rl，Tl；第二图像采集单元的外参为Rr，Tr；双目摄像头的校准参数为R，T；对于空间任意一点，在世界坐标系、第一图像采集单元坐标系和第二图像采集单元坐标系中的x坐标分别为xw，x1，xr，则有公式(3a)成立：
因此，第一图像采集单元与第二图像采集单元的校准参数为公式(4a)：
步骤102：利用所述第二处理模块依据所述校准参数，对所述第一图像和所述第二图像进行校准，并对校准后的所述第一图像和所述第二图像进行视差计算。
本发明实施例中，第二处理模块位于电子设备的专用加速芯片端，例如ISP芯片，属于前端处理模块，也称为在线(Online)模块；预先由第一处理模块得到两个图像采集单元的校准参数后，再利用第二处理模块依据所述校准参数，对所述第一图像和所述第二图像进行校准；对于空间任意一点在第一图像采集单元坐标系和第二图像采集单元坐标系中的x坐标分别为x1，xr，则有公式(5a)成立：
xl＝Rxr+T (5a)
因此，可通过公式(5a)对由第一图像采集单元采集到的第一图像和由第二图像采集单元采集到的第二图像进行校准。
本发明实施例中，对于校准后的两幅图像，可以求得目标对象的视差。
本发明实施例中，第一处理模块位于电子设备CPU端，属于后端处理模块；第二处理模块位于电子设备的专用加速芯片端，属于前端处理模块；预先由第一处理模块得到两个图像采集单元的校准参数，然后当第二处理模块对采集到的图像进行处理时，利用校准参数对图像进行校准，再继续后续的视差计算，进而实现了异构双目摄像头对采集到的图像进行视差处理，由于双目摄像头的图像采集参数不同，也即两个图像采集单元中有一个图像采集单元的采集精度较高，而另一个图像采集单元的采集精度较低，如此，不必采用同样高采集精度的两个图像采集单元，有效节约电子设备的成本及功耗；并且，本发明实施例的技术方案可以有效结合智能设备的前后摄像头进行实现，实现方式便捷。
图2为本发明实施例二的数据处理方法的流程示意图，本示例中的数据处理方法应用于电子设备中，所述电子设备包括第一图像采集单元和第二图像采集单元；所述第一图像采集单元能够采集目标对象的第一图像，所述第二图像采集单元能够采集目标对象的第二图像，且所述第一图像采集单元与所述第二图像采集单元具有不同的图像采集参数；所述电子设备还包括第一处理模块、第二处理模块；如图2所示，所述数据处理方法包括以下步骤：
步骤201：获取由所述第一图像采集单元以及所述第二图像采集单元采集到的样本对象的N组待配准图像。
其中，N≥1。
本发明实施例中，所述电子设备可以是智能手机、平板电脑、掌上电脑、游戏机、笔记本电脑等电子设备；该电子设备具有两个图像采集单元，分别为第一图像采集单元和第二图像采集单元；这里，图像采集单元可由摄像头实现。其中，第一图像采集单元与第二图像采集单元具有不同的图像采集参数，这里，图像采集参数为图像采集单元的内部参数，简称为内参，图像采集参数表征了图像采集单元的内部光学特性以及几何结构特性。由于第一图像采集单元与第二图像采集单元具有不同的图像采集参数，因此，由第一图像采集单元采集到的第一图像与由第二图像采集单元采集到的第二图像的像素大小不同。
本发明实施例中，由第一图像采集单元和第二图像采集单元同时采集同一目标对象的图像，分别得到第一图像和第二图像；第一图像的像素和第二图像的像素不同。本发明实施例中的目标对象是指被拍摄物体。
本发明实施例中，电子设备具有两个处理模块，分别为第一处理模块和第二处理模块；其中，第一处理模块属于后端处理模块，也称为离线(Offline)模块，第一处理模块运行在电子设备的CPU端，完成对第一图像采集单元和第二图像采集单元的校准，以获得第一图像采集单元和第二图像采集单元的校准参数。
具体地，首先利用第一处理模块获取由所述第一图像采集单元以及所述第二图像采集单元采集到的样本对象的N组待配准图像；本发明实施例将由第一图像采集单元采集到的N幅图像成为左图像，将由第二图像采集单元采集到的N幅图像成为右图像，总共有N组图像有待配准。
步骤202：针对所述N组待配准图像的每一组待配准图像，对所述待配准图像进行缩放处理，以获得图像参数相同的待配准图像。
本发明实施例中，由于两个图像采集单元的图像采集参数不同，因此，左图像和对应的右图像的像素不同。对每一组左右图像，也即待配准图像，对所述图像进行缩放处理，以使得两幅图像的像素大小一样。
例如，左图像的像素大小为2560×1920，由图像的像素大小为4128×3096，将这两幅图像进行缩放处理，得到左图像的像素大小为640×480，右图像的像素大小为640×480。
步骤203：针对图像参数相同的待配准图像，检测所述待配准图像的角点，并获取相应的角点坐标。
本发明实施例中，对摄像机进行标定时，需要首先检测待配准图像的角点，这里，角点为图像的基准点，一般，将图像的中心点作为图像的角点。
步骤204：基于所述角点坐标，分别计算所述第一图像采集单元和所述第二图像采集单元的配准参数。
这里，所述配准参数至少包括以下之一：内参、外参、及畸变系数。
具体地，图11为摄像机的针孔成像模型示意图，如图11所示，空间点p在图像上的投影点P为摄像机光心Oc与P点的连线OcP与图像平面的交点。从三维空间投影到二维图像平面涉及到如下4个坐标系之间的变换：
1)图像平面坐标系中的像素坐标(u，v)，每幅数字图像可表示为像素大小为M×N的矩阵，其中，像素坐标(u，v)表示像素位于矩阵中的行数与列数。该坐标系以图像左上角为坐标原点，以像素(Pixels)为单位。
2)图像平面坐标系中的物理坐标(x，y)，该坐标系的坐标原点O为光轴与图像平面的交点；x，y轴分别与u，v轴平行，以mm为单位。
3)摄像机坐标系中的坐标(Xc，Yc，Zc)，该坐标系以摄像机光心Oc为原点，Xc，Yc轴分别与x，y轴平行，摄像机光轴为Zc轴，OcO为摄像机焦距。
4)世界坐标(Xw，Yw，Zw)为现实坐标，也即客观世界的绝对坐标，描述物体的位置。
对于双目摄像机，首先要对每一个摄像机进行标定，然后再进行校准；对摄像机进行标定就是要解决图像平面坐标系中的像素坐标(u，v)与世界坐标(Xw，Yw，Zw)之间转换的问题，根据针孔成像原理，他们之间的转换关系为公式(1b)：
其中，S为比例因子，F为内参数矩阵，[R T]为摄像机的外参矩阵R和T分别为摄像机坐标系相对于世界坐标系的旋转分量和平移分量。F，R和T分别为公式(2b)：
其中，fx，fy分别表示在x，y方向上的焦距，单位为Pixels；Cx，Cy分别表示主光轴与像平面交点的图像平面坐标系中的像素坐标。
本发明实施例中，将左图像的角点坐标代入第一图像采集单元对应的公式(1b)和公式(2b)中，即可得出第一图像采集单元的配准参数；同理，将右图像的角点坐标代入第二图像采集单元对应的公式(1b)和公式(2b)中，即可得出第二图像采集单元的配准参数。
步骤205：确定所述第一图像采集单元和第二图像采集单元的校准参数。
具体地，设双目摄像头中的第一图像采集单元的外参为Rl，Tl；第二图像采集单元的外参为Rr，Tr；双目摄像头的校准参数为R，T；对于空间任意一点，在世界坐标系、第一图像采集单元坐标系和第二图像采集单元坐标系中的x坐标分别为xw，x1，xr，则有公式(3b)成立：
因此，第一图像采集单元与第二图像采集单元的校准参数为公式(4b)：
如此，通过上述公式(4b)即可得出第一图像采集单元和第二图像采集单元的校准参数。
步骤206：利用所述第二处理模块依据所述校准参数，对所述第一图像和所述第二图像进行校准，并对校准后的所述第一图像和所述第二图像进行视差计算。
本发明实施例中，第二处理模块位于电子设备的专用加速芯片端，例如ISP芯片，属于前端处理模块，也称为在线(Online)模块；预先由第一处理模块得到两个图像采集单元的校准参数后，再利用第二处理模块依据所述校准参数，对所述第一图像和所述第二图像进行校准；对于空间任意一点在第一图像采集单元坐标系和第二图像采集单元坐标系中的x坐标分别为x1，xr，则有公式(5b)成立：
xl＝Rxr+T (5b)
因此，可通过公式(5b)对由第一图像采集单元采集到的第一图像和由第二图像采集单元采集到的第二图像进行校准。
本发明实施例中，对于校准后的两幅图像，可以求得目标对象的视差。
本发明实施例中，第一处理模块位于电子设备CPU端，属于后端处理模块；第二处理模块位于电子设备的专用加速芯片端，属于前端处理模块；预先由第一处理模块得到两个图像采集单元的校准参数，然后当第二处理模块对采集到的图像进行处理时，利用校准参数对图像进行校准，再继续后续的视差计算，进而实现了异构双目摄像头对采集到的图像进行视差处理，由于双目摄像头的图像采集参数不同，也即两个图像采集单元中有一个图像采集单元的采集精度较高，而另一个图像采集单元的采集精度较低，如此，不必采用同样高采集精度的两个图像采集单元，有效节约电子设备的成本及功耗；并且，本发明实施例的技术方案可以有效结合智能设备的前后摄像头进行实现，实现方式便捷。
图3为本发明实施例三的数据处理方法的流程示意图，本示例中的数据处理方法应用于电子设备中，所述电子设备包括第一图像采集单元和第二图像采集单元；所述第一图像采集单元能够采集目标对象的第一图像，所述第二图像采集单元能够采集目标对象的第二图像，且所述第一图像采集单元与所述第二图像采集单元具有不同的图像采集参数；所述电子设备还包括第一处理模块、第二处理模块；如图3所示，所述数据处理方法包括以下步骤：
步骤301：获取由所述第一图像采集单元以及所述第二图像采集单元采集到的样本对象的N组待配准图像。
其中，N≥1。
本发明实施例中，所述电子设备可以是智能手机、平板电脑、掌上电脑、游戏机、笔记本电脑等电子设备；该电子设备具有两个图像采集单元，分别为第一图像采集单元和第二图像采集单元；这里，图像采集单元可由摄像头实现。其中，第一图像采集单元与第二图像采集单元具有不同的图像采集参数，这里，图像采集参数为图像采集单元的内部参数，简称为内参，图像采集参数表征了图像采集单元的内部光学特性以及几何结构特性。由于第一图像采集单元与第二图像采集单元具有不同的图像采集参数，因此，由第一图像采集单元采集到的第一图像与由第二图像采集单元采集到的第二图像的像素大小不同。
本发明实施例中，由第一图像采集单元和第二图像采集单元同时采集同一目标对象的图像，分别得到第一图像和第二图像；第一图像的像素和第二图像的像素不同。本发明实施例中的目标对象是指被拍摄物体。
本发明实施例中，电子设备具有两个处理模块，分别为第一处理模块和第二处理模块；其中，第一处理模块属于后端处理模块，也称为离线(Offline)模块，第一处理模块运行在电子设备的CPU端，完成对第一图像采集单元和第二图像采集单元的校准，以获得第一图像采集单元和第二图像采集单元的校准参数。
具体地，首先利用第一处理模块获取由所述第一图像采集单元以及所述第二图像采集单元采集到的样本对象的N组待配准图像；本发明实施例将由第一图像采集单元采集到的N幅图像成为左图像，将由第二图像采集单元采集到的N幅图像成为右图像，总共有N组图像有待配准。
步骤302：针对所述N组待配准图像的每一组待配准图像，对所述待配准图像进行缩放处理，以获得图像参数相同的待配准图像。
本发明实施例中，由于两个图像采集单元的图像采集参数不同，因此，左图像和对应的右图像的像素不同。对每一组左右图像，也即待配准图像，对所述图像进行缩放处理，以使得两幅图像的像素大小一样。
例如，左图像的像素大小为2560×1930，由图像的像素大小为4128×3096，将这两幅图像进行缩放处理，得到左图像的像素大小为640×480，右图像的像素大小为640×480。
步骤303：针对图像参数相同的待配准图像，检测所述待配准图像的角点，并获取相应的角点坐标。
本发明实施例中，对摄像机进行标定时，需要首先检测待配准图像的角点，这里，角点为图像的基准点，一般，将图像的中心点作为图像的角点。
步骤304：基于所述角点坐标，分别计算所述第一图像采集单元和所述第二图像采集单元的配准参数。
这里，所述配准参数至少包括以下之一：内参、外参、及畸变系数。
具体地，图11为摄像机的针孔成像模型示意图，如图11所示，空间点p在图像上的投影点P为摄像机光心Oc与P点的连线OcP与图像平面的交点。从三维空间投影到二维图像平面涉及到如下4个坐标系之间的变换：
1)图像平面坐标系中的像素坐标(u，v)，每幅数字图像可表示为像素大小为M×N的矩阵，其中，像素坐标(u，v)表示像素位于矩阵中的行数与列数。该坐标系以图像左上角为坐标原点，以像素(Pixels)为单位。
2)图像平面坐标系中的物理坐标(x，y)，该坐标系的坐标原点O为光轴与图像平面的交点；x，y轴分别与u，v轴平行，以mm为单位。
3)摄像机坐标系中的坐标(Xc，Yc，Zc)，该坐标系以摄像机光心Oc为原点，Xc，Yc轴分别与x，y轴平行，摄像机光轴为Zc轴，OcO为摄像机焦距。
4)世界坐标(Xw，Yw，Zw)为现实坐标，也即客观世界的绝对坐标，描述物体的位置。
对于双目摄像机，首先要对每一个摄像机进行标定，然后再进行校准；对摄像机进行标定就是要解决图像平面坐标系中的像素坐标(u，v)与世界坐标(Xw，Yw，Zw)之间转换的问题，根据针孔成像原理，他们之间的转换关系为公式(1c)：
其中，S为比例因子，F为内参数矩阵，[R T]为摄像机的外参矩阵R和T分别为摄像机坐标系相对于世界坐标系的旋转分量和平移分量。F，R和T分别为公式(2c)：
其中，fx，fy分别表示在x，y方向上的焦距，单位为Pixels；Cx，Cy分别表示主光轴与像平面交点的图像平面坐标系中的像素坐标。
本发明实施例中，将左图像的角点坐标代入第一图像采集单元对应的公式(1c)和公式(2c)中，即可得出第一图像采集单元的配准参数；同理，将右图像的角点坐标代入第二图像采集单元对应的公式(1c)和公式(2c)中，即可得出第二图像采集单元的配准参数。
步骤305：确定所述第一图像采集单元和第二图像采集单元的校准参数。
具体地，设双目摄像头中的第一图像采集单元的外参为Rl，Tl；第二图像采集单元的外参为Rr，Tr；双目摄像头的校准参数为R，T；对于空间任意一点，在世界坐标系、第一图像采集单元坐标系和第二图像采集单元坐标系中的x坐标分别为xw，x1，xr，则有公式(3c)成立：
因此，第一图像采集单元与第二图像采集单元的校准参数为公式(4c)：
如此，通过上述公式(4c)即可得出第一图像采集单元和第二图像采集单元的校准参数。
步骤306：获取由所述第一图像采集单元以及所述第二图像采集单元采集到的目标对象的第一图像以及第二图像。
本发明实施例中，第二处理模块位于电子设备的专用加速芯片端，例如ISP芯片，属于前端处理模块，也称为在线(Online)模块；预先由第一处理模块得到两个图像采集单元的校准参数后，再利用第二处理模块依据所述校准参数，对所述第一图像和所述第二图像进行校准。
步骤307：针对所述第一图像以及第二图像进行缩放处理，以获得图像参数相同的第一图像以及第二图像。
本发明实施例中，由于两个图像采集单元的图像采集参数不同，因此，左图像和对应的右图像的像素不同。对每一组左右图像，对所述图像进行缩放处理，以使得两幅图像的像素大小一样。
例如，左图像的像素大小为2560×1930，由图像的像素大小为4128×3096，将这两幅图像进行缩放处理，得到左图像的像素大小为640×480，右图像的像素大小为640×480。
步骤308：利用所述第一处理模块得到的校准参数，对所述图像参数相同的第一图像以及第二图像进行校准。
这里，对于空间任意一点在第一图像采集单元坐标系和第二图像采集单元坐标系中的x坐标分别为x1，xr，则有公式(5c)成立：
xl＝Rxr+T (5c)
因此，可通过公式(5c)对由第一图像采集单元采集到的第一图像和由第二图像采集单元采集到的第二图像进行校准。
步骤309：基于校准后的第一图像以及第二图像，计算所述第一图像以及第二图像的视差。
本发明实施例中，对于校准后的两幅图像，可以求得目标对象的视差。
本发明实施例中，第一处理模块位于电子设备CPU端，属于后端处理模块；第二处理模块位于电子设备的专用加速芯片端，属于前端处理模块；预先由第一处理模块得到两个图像采集单元的校准参数，然后当第二处理模块对采集到的图像进行处理时，利用校准参数对图像进行校准，再继续后续的视差计算，进而实现了异构双目摄像头对采集到的图像进行视差处理，由于双目摄像头的图像采集参数不同，也即两个图像采集单元中有一个图像采集单元的采集精度较高，而另一个图像采集单元的采集精度较低，如此，不必采用同样高采集精度的两个图像采集单元，有效节约电子设备的成本及功耗；并且，本发明实施例的技术方案可以有效结合智能设备的前后摄像头进行实现，实现方式便捷。
图4为本发明实施例四的数据处理方法的流程示意图，本示例中的数据处理方法应用于电子设备中，所述电子设备包括第一图像采集单元和第二图像采集单元；所述第一图像采集单元能够采集目标对象的第一图像，所述第二图像采集单元能够采集目标对象的第二图像，且所述第一图像采集单元与所述第二图像采集单元具有不同的图像采集参数；所述电子设备还包括第一处理模块、第二处理模块；如图4所示，所述数据处理方法包括以下步骤：
步骤401：获取由所述第一图像采集单元以及所述第二图像采集单元采集到的样本对象的N组待配准图像。
其中，N≥1。
本发明实施例中，所述电子设备可以是智能手机、平板电脑、掌上电脑、游戏机、笔记本电脑等电子设备；该电子设备具有两个图像采集单元，分别为第一图像采集单元和第二图像采集单元；这里，图像采集单元可由摄像头实现。其中，第一图像采集单元与第二图像采集单元具有不同的图像采集参数，这里，图像采集参数为图像采集单元的内部参数，简称为内参，图像采集参数表征了图像采集单元的内部光学特性以及几何结构特性。由于第一图像采集单元与第二图像采集单元具有不同的图像采集参数，因此，由第一图像采集单元采集到的第一图像与由第二图像采集单元采集到的第二图像的像素大小不同。
本发明实施例中，由第一图像采集单元和第二图像采集单元同时采集同一目标对象的图像，分别得到第一图像和第二图像；第一图像的像素和第二图像的像素不同。本发明实施例中的目标对象是指被拍摄物体。
本发明实施例中，电子设备具有两个处理模块，分别为第一处理模块和第二处理模块；其中，第一处理模块属于后端处理模块，也称为离线(Offline)模块，第一处理模块运行在电子设备的CPU端，完成对第一图像采集单元和第二图像采集单元的校准，以获得第一图像采集单元和第二图像采集单元的校准参数。
具体地，首先利用第一处理模块获取由所述第一图像采集单元以及所述第二图像采集单元采集到的样本对象的N组待配准图像；本发明实施例将由第一图像采集单元采集到的N幅图像成为左图像，将由第二图像采集单元采集到的N幅图像成为右图像，总共有N组图像有待配准。
步骤402：针对所述N组待配准图像的每一组待配准图像，对所述待配准图像进行缩放处理，以获得图像参数相同的待配准图像。
本发明实施例中，由于两个图像采集单元的图像采集参数不同，因此，左图像和对应的右图像的像素不同。对每一组左右图像，也即待配准图像，对所述图像进行缩放处理，以使得两幅图像的像素大小一样。
例如，左图像的像素大小为2560×1940，由图像的像素大小为4128×4096，将这两幅图像进行缩放处理，得到左图像的像素大小为640×480，右图像的像素大小为640×480。
步骤403：针对图像参数相同的待配准图像，检测所述待配准图像的角点，并获取相应的角点坐标。
本发明实施例中，对摄像机进行标定时，需要首先检测待配准图像的角点，这里，角点为图像的基准点，一般，将图像的中心点作为图像的角点。
步骤404：基于所述角点坐标，分别计算所述第一图像采集单元和所述第二图像采集单元的配准参数。
这里，所述配准参数至少包括以下之一：内参、外参、及畸变系数。
具体地，图11为摄像机的针孔成像模型示意图，如图11所示，空间点p在图像上的投影点P为摄像机光心Oc与P点的连线OcP与图像平面的交点。从三维空间投影到二维图像平面涉及到如下4个坐标系之间的变换：
1)图像平面坐标系中的像素坐标(u，v)，每幅数字图像可表示为像素大小为M×N的矩阵，其中，像素坐标(u，v)表示像素位于矩阵中的行数与列数。该坐标系以图像左上角为坐标原点，以像素(Pixels)为单位。
2)图像平面坐标系中的物理坐标(x，y)，该坐标系的坐标原点O为光轴与图像平面的交点；x，y轴分别与u，v轴平行，以mm为单位。
3)摄像机坐标系中的坐标(Xc，Yc，Zc)，该坐标系以摄像机光心Oc为原点，Xc，Yc轴分别与x，y轴平行，摄像机光轴为Zc轴，OcO为摄像机焦距。
4)世界坐标(Xw，Yw，Zw)为现实坐标，也即客观世界的绝对坐标，描述物体的位置。
对于双目摄像机，首先要对每一个摄像机进行标定，然后再进行校准；对摄像机进行标定就是要解决图像平面坐标系中的像素坐标(u，v)与世界坐标(Xw，Yw，Zw)之间转换的问题，根据针孔成像原理，他们之间的转换关系为公式(1d)：
其中，S为比例因子，F为内参数矩阵，[R T]为摄像机的外参矩阵R和T分别为摄像机坐标系相对于世界坐标系的旋转分量和平移分量。F，R和T分别为公式(2d)：
其中，fx，fy分别表示在x，y方向上的焦距，单位为Pixels；Cx，Cy分别表示主光轴与像平面交点的图像平面坐标系中的像素坐标。
本发明实施例中，将左图像的角点坐标代入第一图像采集单元对应的公式(1d)和公式(2d)中，即可得出第一图像采集单元的配准参数；同理，将右图像的角点坐标代入第二图像采集单元对应的公式(1d)和公式(2d)中，即可得出第二图像采集单元的配准参数。
步骤405：确定所述第一图像采集单元和所述第二图像采集单元分别对应的有效采集区域。
本发明实施例中，有效采集区域是指第一图像采集单元和第二图像采集单元采集到的图像的有效区域。
步骤406：确定所述第一图像采集单元和第二图像采集单元的校准参数。
具体地，设双目摄像头中的第一图像采集单元的外参为Rl，Tl；第二图像采集单元的外参为Rr，Tr；双目摄像头的校准参数为R，T；对于空间任意一点，在世界坐标系、第一图像采集单元坐标系和第二图像采集单元坐标系中的x坐标分别为xw，x1，xr，则有公式(3d)成立：
因此，第一图像采集单元与第二图像采集单元的校准参数为公式(4d)：
如此，通过上述公式(4d)即可得出第一图像采集单元和第二图像采集单元的校准参数。
步骤407：获取由所述第一图像采集单元以及所述第二图像采集单元采集到的目标对象的第一图像以及第二图像。
本发明实施例中，第二处理模块位于电子设备的专用加速芯片端，例如ISP芯片，属于前端处理模块，也称为在线(Online)模块；预先由第一处理模块得到两个图像采集单元的校准参数后，再利用第二处理模块依据所述校准参数，对所述第一图像和所述第二图像进行校准。
步骤408：针对所述第一图像以及第二图像进行缩放处理，以获得图像参数相同的第一图像以及第二图像。
本发明实施例中，由于两个图像采集单元的图像采集参数不同，因此，左图像和对应的右图像的像素不同。对每一组左右图像，对所述图像进行缩放处理，以使得两幅图像的像素大小一样。
例如，左图像的像素大小为2560×1940，由图像的像素大小为4128×4096，将这两幅图像进行缩放处理，得到左图像的像素大小为640×480，右图像的像素大小为640×480。
步骤409：依据第一图像采集单元和所述第二图像采集单元分别对应的有效采集区域，对由所述第二缩放单元缩放处理后的所述第一图像以及第二图像进行剪裁，以获取有效采集区域内的第一图像以及第二图像。
步骤410：对有效采集区域内的第一图像以及第二图像进行缩放处理，以获得图像参数相同的第一图像以及第二图像。
由于步骤409对第一图像以及第二图像进行了剪裁，因此，第一图像与第二图像的像素变的不一致，本步骤再次对第一图像以及第二图像进行缩放处理，以获得图像参数相同的第一图像以及第二图像。
步骤411：利用所述第一处理模块得到的校准参数，对所述图像参数相同的第一图像以及第二图像进行校准。
这里，对于空间任意一点在第一图像采集单元坐标系和第二图像采集单元坐标系中的x坐标分别为x1，xr，则有公式(5d)成立：
xl＝Rxr+T (5d)
因此，可通过公式(5d)对由第一图像采集单元采集到的第一图像和由第二图像采集单元采集到的第二图像进行校准。
步骤412：基于校准后的第一图像以及第二图像，计算所述第一图像以及第二图像的视差。
本发明实施例中，对于校准后的两幅图像，可以求得目标对象的视差。
本发明实施例中，第一处理模块位于电子设备CPU端，属于后端处理模块；第二处理模块位于电子设备的专用加速芯片端，属于前端处理模块；预先由第一处理模块得到两个图像采集单元的校准参数，然后当第二处理模块对采集到的图像进行处理时，利用校准参数对图像进行校准，再继续后续的视差计算，进而实现了异构双目摄像头对采集到的图像进行视差处理，由于双目摄像头的图像采集参数不同，也即两个图像采集单元中有一个图像采集单元的采集精度较高，而另一个图像采集单元的采集精度较低，如此，不必采用同样高采集精度的两个图像采集单元，有效节约电子设备的成本及功耗；并且，本发明实施例的技术方案可以有效结合智能设备的前后摄像头进行实现，实现方式便捷。
图5为本发明实施例五的数据处理方法的流程示意图，本示例中的数据处理方法应用于电子设备中，所述电子设备包括第一图像采集单元和第二图像采集单元；所述第一图像采集单元能够采集目标对象的第一图像，所述第二图像采集单元能够采集目标对象的第二图像，且所述第一图像采集单元与所述第二图像采集单元具有不同的图像采集参数；所述电子设备还包括第一处理模块、第二处理模块；如图5所示，所述数据处理方法包括以下步骤：
步骤501：获取由所述第一图像采集单元以及所述第二图像采集单元采集到的样本对象的N组待配准图像。
其中，N≥1。
本发明实施例中，所述电子设备可以是智能手机、平板电脑、掌上电脑、游戏机、笔记本电脑等电子设备；该电子设备具有两个图像采集单元，分别为第一图像采集单元和第二图像采集单元；这里，图像采集单元可由摄像头实现。其中，第一图像采集单元与第二图像采集单元具有不同的图像采集参数，这里，图像采集参数为图像采集单元的内部参数，简称为内参，图像采集参数表征了图像采集单元的内部光学特性以及几何结构特性。由于第一图像采集单元与第二图像采集单元具有不同的图像采集参数，因此，由第一图像采集单元采集到的第一图像与由第二图像采集单元采集到的第二图像的像素大小不同。
本发明实施例中，由第一图像采集单元和第二图像采集单元同时采集同一目标对象的图像，分别得到第一图像和第二图像；第一图像的像素和第二图像的像素不同。本发明实施例中的目标对象是指被拍摄物体。
本发明实施例中，电子设备具有两个处理模块，分别为第一处理模块和第二处理模块；其中，第一处理模块属于后端处理模块，也称为离线(Offline)模块，第一处理模块运行在电子设备的CPU端，完成对第一图像采集单元和第二图像采集单元的校准，以获得第一图像采集单元和第二图像采集单元的校准参数。
具体地，首先利用第一处理模块获取由所述第一图像采集单元以及所述第二图像采集单元采集到的样本对象的N组待配准图像；本发明实施例将由第一图像采集单元采集到的N幅图像成为左图像，将由第二图像采集单元采集到的N幅图像成为右图像，总共有N组图像有待配准。
步骤502：针对所述N组待配准图像的每一组待配准图像，对所述待配准图像进行缩放处理，以获得图像参数相同的待配准图像。
本发明实施例中，由于两个图像采集单元的图像采集参数不同，因此，左图像和对应的右图像的像素不同。对每一组左右图像，也即待配准图像，对所述图像进行缩放处理，以使得两幅图像的像素大小一样。
例如，左图像的像素大小为2560×1950，由图像的像素大小为4128×5096，将这两幅图像进行缩放处理，得到左图像的像素大小为640×480，右图像的像素大小为640×480。
步骤503：针对图像参数相同的待配准图像，检测所述待配准图像的角点，并获取相应的角点坐标。
本发明实施例中，对摄像机进行标定时，需要首先检测待配准图像的角点，这里，角点为图像的基准点，一般，将图像的中心点作为图像的角点。
步骤504：基于所述角点坐标，分别计算所述第一图像采集单元和所述第二图像采集单元的配准参数。
这里，所述配准参数至少包括以下之一：内参、外参、及畸变系数。
具体地，图11为摄像机的针孔成像模型示意图，如图11所示，空间点p在图像上的投影点P为摄像机光心Oc与P点的连线OcP与图像平面的交点。从三维空间投影到二维图像平面涉及到如下4个坐标系之间的变换：
1)图像平面坐标系中的像素坐标(u，v)，每幅数字图像可表示为像素大小为M×N的矩阵，其中，像素坐标(u，v)表示像素位于矩阵中的行数与列数。该坐标系以图像左上角为坐标原点，以像素(Pixels)为单位。
2)图像平面坐标系中的物理坐标(x，y)，该坐标系的坐标原点O为光轴与图像平面的交点；x，y轴分别与u，v轴平行，以mm为单位。
3)摄像机坐标系中的坐标(Xc，Yc，Zc)，该坐标系以摄像机光心Oc为原点，Xc，Yc轴分别与x，y轴平行，摄像机光轴为Zc轴，OcO为摄像机焦距。
4)世界坐标(Xw，Yw，Zw)为现实坐标，也即客观世界的绝对坐标，描述物体的位置。
对于双目摄像机，首先要对每一个摄像机进行标定，然后再进行校准；对摄像机进行标定就是要解决图像平面坐标系中的像素坐标(u，v)与世界坐标(Xw，Yw，Zw)之间转换的问题，根据针孔成像原理，他们之间的转换关系为公式(1e)：
其中，S为比例因子，F为内参数矩阵，[R T]为摄像机的外参矩阵R和T分别为摄像机坐标系相对于世界坐标系的旋转分量和平移分量。F，R和T分别为公式(2e)：
其中，fx，fy分别表示在x，y方向上的焦距，单位为Pixels；Cx，Cy分别表示主光轴与像平面交点的图像平面坐标系中的像素坐标。
本发明实施例中，将左图像的角点坐标代入第一图像采集单元对应的公式(1e)和公式(2e)中，即可得出第一图像采集单元的配准参数；同理，将右图像的角点坐标代入第二图像采集单元对应的公式(1e)和公式(2e)中，即可得出第二图像采集单元的配准参数。
步骤505：确定所述第一图像采集单元和第二图像采集单元的校准参数。
具体地，设双目摄像头中的第一图像采集单元的外参为Rl，Tl；第二图像采集单元的外参为Rr，Tr；双目摄像头的校准参数为R，T；对于空间任意一点，在世界坐标系、第一图像采集单元坐标系和第二图像采集单元坐标系中的x坐标分别为xw，x1，xr，则有公式(3e)成立：
因此，第一图像采集单元与第二图像采集单元的校准参数为公式(4e)：
如此，通过上述公式(4e)即可得出第一图像采集单元和第二图像采集单元的校准参数。
步骤506：获取由所述第一图像采集单元以及所述第二图像采集单元采集到的目标对象的第一图像以及第二图像。
本发明实施例中，第二处理模块位于电子设备的专用加速芯片端，例如ISP芯片，属于前端处理模块，也称为在线(Online)模块；预先由第一处理模块得到两个图像采集单元的校准参数后，再利用第二处理模块依据所述校准参数，对所述第一图像和所述第二图像进行校准。
步骤507：针对所述第一图像以及第二图像进行缩放处理，以获得图像参数相同的第一图像以及第二图像。
本发明实施例中，由于两个图像采集单元的图像采集参数不同，因此，左图像和对应的右图像的像素不同。对每一组左右图像，对所述图像进行缩放处理，以使得两幅图像的像素大小一样。
例如，左图像的像素大小为2560×1950，由图像的像素大小为4128×5096，将这两幅图像进行缩放处理，得到左图像的像素大小为640×480，右图像的像素大小为640×480。
步骤508：利用所述第一处理模块得到的校准参数，对所述图像参数相同的第一图像以及第二图像进行校准。
这里，对于空间任意一点在第一图像采集单元坐标系和第二图像采集单元坐标系中的x坐标分别为x1，xr，则有公式(5e)成立：
xl＝Rxr+T (5e)
因此，可通过公式(5e)对由第一图像采集单元采集到的第一图像和由第二图像采集单元采集到的第二图像进行校准。
步骤509：基于校准后的第一图像以及第二图像，计算所述第一图像以及第二图像的视差。
本发明实施例中，对于校准后的两幅图像，可以求得目标对象的视差。
步骤510：基于所述第一图像和所述第二图像的视差，计算目标对象的深度值。
本发明实施例中，第一处理模块位于电子设备CPU端，属于后端处理模块；第二处理模块位于电子设备的专用加速芯片端，属于前端处理模块；预先由第一处理模块得到两个图像采集单元的校准参数，然后当第二处理模块对采集到的图像进行处理时，利用校准参数对图像进行校准，再继续后续的视差计算，进而实现了异构双目摄像头对采集到的图像进行视差处理，最后，再由电子设备CPU端计算目标对象的深度值。由于双目摄像头的图像采集参数不同，也即两个图像采集单元中有一个图像采集单元的采集精度较高，而另一个图像采集单元的采集精度较低，如此，不必采用同样高采集精度的两个图像采集单元，有效节约电子设备的成本及功耗；并且，本发明实施例的技术方案可以有效结合智能设备的前后摄像头进行实现，实现方式便捷。
图6为本发明实施例一的电子设备的结构组成示意图，本示例中的电子设备包括第一图像采集单元和第二图像采集单元；所述第一图像采集单元能够采集目标对象的第一图像，所述第二图像采集单元能够采集目标对象的第二图像，且所述第一图像采集单元与所述第二图像采集单元具有不同的图像采集参数；所述电子设备还包括：
第一处理模块61，用于对所述第一图像采集单元和所述第二图像采集单元的图像采集参数进行校准，得到所述第一图像采集单元和所述第二图像采集单元的校准参数；
第二处理模块62，用于利用所述校准参数，对所述第一图像和所述第二图像进行校准，并对校准后的所述第一图像和所述第二图像进行视差计算。
实际应用中，所述第一处理模块由第一处理器实现，所述第一处理器位于所述电子设备的CPU端；
所述第二处理模块中由第二处理器实现，所述第二处理器位于所述电子设备的加速芯片端。
本领域技术人员应当理解，本发明实施例的电子设备中的各单元所实现的功能，可参照前述的数据处理方法的相关描述而理解，本发明实施例的电子设备中的各单元，可通过实现本发明实施例所述的功能的模拟电路而实现，也可以通过执行本发明实施例所述的功能的软件在智能终端上的运行而实现。
图7为本发明实施例二的电子设备的结构组成示意图，本示例中的电子设备包括第一图像采集单元和第二图像采集单元；所述第一图像采集单元能够采集目标对象的第一图像，所述第二图像采集单元能够采集目标对象的第二图像，且所述第一图像采集单元与所述第二图像采集单元具有不同的图像采集参数；所述电子设备还包括：
第一处理模块71，用于对所述第一图像采集单元和所述第二图像采集单元的图像采集参数进行校准，得到所述第一图像采集单元和所述第二图像采集单元的校准参数；
第二处理模块72，用于利用所述校准参数，对所述第一图像和所述第二图像进行校准，并对校准后的所述第一图像和所述第二图像进行视差计算。
优选地，所述第一处理模块71包括：
第一获取单元711，用于获取由所述第一图像采集单元以及所述第二图像采集单元采集到的样本对象的N组待配准图像，N≥1；
第一缩放单元712，用于针对所述N组待配准图像的每一组待配准图像，对所述待配准图像进行缩放处理，以获得图像参数相同的待配准图像；
角点获取单元713，用于针对图像参数相同的待配准图像，检测所述待配准图像的角点，并获取相应的角点坐标；
计算单元714，用于基于所述角点坐标，分别计算所述第一图像采集单元和所述第二图像采集单元的配准参数；所述配准参数至少包括以下之一：内参、外参、及畸变系数；
参数确定单元715，用于确定所述第一图像采集单元和第二图像采集单元的校准参数。
实际应用中，所述第一处理模块由第一处理器实现，所述第一处理器位于所述电子设备的CPU端；具体地，第一处理模块中各个单元所实现的功能可由第一处理器中编写的OpenCV中的各个函数实现；第一获取单元由cvQueryFrame()函数实现，第一缩放单元由Resize函数实现，角点获取单元由cvFindChessboardCorners()函数、cvFindCornerSubPix()函数实现，计算单元由cvCalibrateCamera()函数实现，参数确定单元由CalibrateSystem()函数实现。
所述第二处理模块由第二处理器实现，所述第二处理器位于所述电子设备的加速芯片端。
本领域技术人员应当理解，本发明实施例的电子设备中的各单元所实现的功能，可参照前述的数据处理方法的相关描述而理解，本发明实施例的电子设备中的各单元，可通过实现本发明实施例所述的功能的模拟电路而实现，也可以通过执行本发明实施例所述的功能的软件在智能终端上的运行而实现。
图8为本发明实施例三的电子设备的结构组成示意图，本示例中的电子设备包括第一图像采集单元和第二图像采集单元；所述第一图像采集单元能够采集目标对象的第一图像，所述第二图像采集单元能够采集目标对象的第二图像，且所述第一图像采集单元与所述第二图像采集单元具有不同的图像采集参数；所述电子设备还包括：
第一处理模块81，用于对所述第一图像采集单元和所述第二图像采集单元的图像采集参数进行校准，得到所述第一图像采集单元和所述第二图像采集单元的校准参数；
第二处理模块82，用于利用所述校准参数，对所述第一图像和所述第二图像进行校准，并对校准后的所述第一图像和所述第二图像进行视差计算。
优选地，所述第一处理模块81包括：
第一获取单元811，用于获取由所述第一图像采集单元以及所述第二图像采集单元采集到的样本对象的N组待配准图像，N≥1；
第一缩放单元812，用于针对所述N组待配准图像的每一组待配准图像，对所述待配准图像进行缩放处理，以获得图像参数相同的待配准图像；
角点获取单元813，用于针对图像参数相同的待配准图像，检测所述待配准图像的角点，并获取相应的角点坐标；
计算单元814，用于基于所述角点坐标，分别计算所述第一图像采集单元和所述第二图像采集单元的配准参数；所述配准参数至少包括以下之一：内参、外参、及畸变系数；
参数确定单元815，用于确定所述第一图像采集单元和第二图像采集单元的校准参数。
优选地，所述第二处理模块82包括：
第二获取单元821，用于获取由所述第一图像采集单元以及所述第二图像采集单元采集到的目标对象的第一图像以及第二图像；
第二缩放单元822，用于针对所述第一图像以及第二图像进行缩放处理，以获得图像参数相同的第一图像以及第二图像；
校准单元823，用于利用所述第一处理模块得到的校准参数，对所述图像参数相同的第一图像以及第二图像进行校准；
视差单元824，用于基于校准后的第一图像以及第二图像，计算所述第一图像以及第二图像的视差。
实际应用中，所述第一处理模块由第一处理器实现，所述第一处理器位于所述电子设备的CPU端；具体地，第一处理模块中各个单元所实现的功能可由第一处理器中编写的OpenCV中的各个函数实现；第一获取单元由cvQueryFrame()函数实现，第一缩放单元由Resize函数实现，角点获取单元由cvFindChessboardCorners()函数、cvFindCornerSubPix()函数实现，计算单元由cvCalibrateCamera()函数实现，参数确定单元由CalibrateSystem()函数实现。
所述第二处理模块各个处理单元由第二处理器实现，所述第二处理器位于所述电子设备的加速芯片端。
本领域技术人员应当理解，本发明实施例的电子设备中的各单元所实现的功能，可参照前述的数据处理方法的相关描述而理解，本发明实施例的电子设备中的各单元，可通过实现本发明实施例所述的功能的模拟电路而实现，也可以通过执行本发明实施例所述的功能的软件在智能终端上的运行而实现。
图9为本发明实施例四的电子设备的结构组成示意图，本示例中的电子设备包括第一图像采集单元和第二图像采集单元；所述第一图像采集单元能够采集目标对象的第一图像，所述第二图像采集单元能够采集目标对象的第二图像，且所述第一图像采集单元与所述第二图像采集单元具有不同的图像采集参数；所述电子设备还包括：
第一处理模块91，用于对所述第一图像采集单元和所述第二图像采集单元的图像采集参数进行校准，得到所述第一图像采集单元和所述第二图像采集单元的校准参数；
第二处理模块92，用于利用所述校准参数，对所述第一图像和所述第二图像进行校准，并对校准后的所述第一图像和所述第二图像进行视差计算。
优选地，所述第一处理模块91包括：
第一获取单元911，用于获取由所述第一图像采集单元以及所述第二图像采集单元采集到的样本对象的N组待配准图像，N≥1；
第一缩放单元912，用于针对所述N组待配准图像的每一组待配准图像，对所述待配准图像进行缩放处理，以获得图像参数相同的待配准图像；
角点获取单元913，用于针对图像参数相同的待配准图像，检测所述待配准图像的角点，并获取相应的角点坐标；
计算单元914，用于基于所述角点坐标，分别计算所述第一图像采集单元和所述第二图像采集单元的配准参数；所述配准参数至少包括以下之一：内参、外参、及畸变系数；
参数确定单元915，用于确定所述第一图像采集单元和第二图像采集单元的校准参数。
优选地，所述第二处理模块92包括：
第二获取单元921，用于获取由所述第一图像采集单元以及所述第二图像采集单元采集到的目标对象的第一图像以及第二图像；
第二缩放单元922，用于针对所述第一图像以及第二图像进行缩放处理，以获得图像参数相同的第一图像以及第二图像；
校准单元923，用于利用所述第一处理模块得到的校准参数，对所述图像参数相同的第一图像以及第二图像进行校准；
视差单元924，用于基于校准后的第一图像以及第二图像，计算所述第一图像以及第二图像的视差。
优选地，所述第一处理模块91还包括：
区域确定单元916，用于确定所述第一图像采集单元和所述第二图像采集单元分别对应的有效采集区域。
优选地，所述第二处理模块92还包括：
剪裁单元925，用于依据第一图像采集单元和所述第二图像采集单元分别对应的有效采集区域，对由所述第二缩放单元缩放处理后的所述第一图像以及第二图像进行剪裁，以获取有效采集区域内的第一图像以及第二图像；
第三缩放单元926，用于对有效采集区域内的第一图像以及第二图像进行缩放处理，以获得图像参数相同的第一图像以及第二图像。
实际应用中，所述第一处理模块由第一处理器实现，所述第一处理器位于所述电子设备的CPU端；具体地，第一处理模块中各个单元所实现的功能可由第一处理器中编写的OpenCV中的各个函数实现；第一获取单元由cvQueryFrame()函数实现，第一缩放单元由Resize函数实现，角点获取单元由cvFindChessboardCorners()函数、cvFindCornerSubPix()函数实现，计算单元由cvCalibrateCamera()函数实现，参数确定单元由CalibrateSystem()函数实现。
所述第二处理模块各个处理单元由第二处理器实现，所述第二处理器位于所述电子设备的加速芯片端。
本领域技术人员应当理解，本发明实施例的电子设备中的各单元所实现的功能，可参照前述的数据处理方法的相关描述而理解，本发明实施例的电子设备中的各单元，可通过实现本发明实施例所述的功能的模拟电路而实现，也可以通过执行本发明实施例所述的功能的软件在智能终端上的运行而实现。
图10为本发明实施例五的电子设备的结构组成示意图，本示例中的电子设备包括第一图像采集单元和第二图像采集单元；所述第一图像采集单元能够采集目标对象的第一图像，所述第二图像采集单元能够采集目标对象的第二图像，且所述第一图像采集单元与所述第二图像采集单元具有不同的图像采集参数；所述电子设备还包括：
第一处理模块11，用于对所述第一图像采集单元和所述第二图像采集单元的图像采集参数进行校准，得到所述第一图像采集单元和所述第二图像采集单元的校准参数；
第二处理模块12，用于利用所述校准参数，对所述第一图像和所述第二图像进行校准，并对校准后的所述第一图像和所述第二图像进行视差计算。
优选地，所述第一处理模块11包括：
第一获取单元111，用于获取由所述第一图像采集单元以及所述第二图像采集单元采集到的样本对象的N组待配准图像，N≥1；
第一缩放单元112，用于针对所述N组待配准图像的每一组待配准图像，对所述待配准图像进行缩放处理，以获得图像参数相同的待配准图像；
角点获取单元113，用于针对图像参数相同的待配准图像，检测所述待配准图像的角点，并获取相应的角点坐标；
计算单元114，用于基于所述角点坐标，分别计算所述第一图像采集单元和所述第二图像采集单元的配准参数；所述配准参数至少包括以下之一：内参、外参、及畸变系数；
参数确定单元115，用于确定所述第一图像采集单元和第二图像采集单元的校准参数。
优选地，所述第二处理模块12包括：
第二获取单元121，用于获取由所述第一图像采集单元以及所述第二图像采集单元采集到的目标对象的第一图像以及第二图像；
第二缩放单元122，用于针对所述第一图像以及第二图像进行缩放处理，以获得图像参数相同的第一图像以及第二图像；
校准单元123，用于利用所述第一处理模块得到的校准参数，对所述图像参数相同的第一图像以及第二图像进行校准；
视差单元124，用于基于校准后的第一图像以及第二图像，计算所述第一图像以及第二图像的视差。
优选地，所述第二处理模块12还包括：
应用单元125，用于基于所述第一图像和所述第二图像的视差，计算目标对象的深度值。
实际应用中，所述第一处理模块由第一处理器实现，所述第一处理器位于所述电子设备的CPU端；具体地，第一处理模块中各个单元所实现的功能可由第一处理器中编写的OpenCV中的各个函数实现；第一获取单元由cvQueryFrame()函数实现，第一缩放单元由Resize函数实现，角点获取单元由cvFindChessboardCorners()函数、cvFindCornerSubPix()函数实现，计算单元由cvCalibrateCamera()函数实现，参数确定单元由CalibrateSystem()函数实现。
所述第二处理模块中的第二获取单元、第二缩放单元、校准单元、视差单元由第二处理器实现，所述第二处理器位于所述电子设备的加速芯片端；所述第二处理模块中的应用单元由第一处理器实现，所述第一处理器位于所述电子设备的CPU端。
本领域技术人员应当理解，本发明实施例的电子设备中的各单元所实现的功能，可参照前述的数据处理方法的相关描述而理解，本发明实施例的电子设备中的各单元，可通过实现本发明实施例所述的功能的模拟电路而实现，也可以通过执行本发明实施例所述的功能的软件在智能终端上的运行而实现。
本发明实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
在本发明所提供的几个实施例中，应该理解到，所揭露的方法和智能设备，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个第二处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。
Claims (13)
1.一种电子设备，所述电子设备包括第一图像采集单元和第二图像采集单元；所述第一图像采集单元能够采集目标对象的第一图像，所述第二图像采集单元能够采集目标对象的第二图像，且所述第一图像采集单元与所述第二图像采集单元具有不同的图像采集参数；所述电子设备还包括：
第一处理模块，用于对所述第一图像采集单元和所述第二图像采集单元的图像采集参数进行校准，得到所述第一图像采集单元和所述第二图像采集单元的校准参数；
第二处理模块，用于利用所述校准参数，对所述第一图像和所述第二图像进行校准，并对校准后的所述第一图像和所述第二图像进行视差计算。
2.根据权利要求1所述电子设备，所述第一处理模块包括：
第一获取单元，用于获取由所述第一图像采集单元以及所述第二图像采集单元采集到的样本对象的N组待配准图像，N≥1；
第一缩放单元，用于针对所述N组待配准图像的每一组待配准图像，对所述待配准图像进行缩放处理，以获得图像参数相同的待配准图像；
角点获取单元，用于针对图像参数相同的待配准图像，检测所述待配准图像的角点，并获取相应的角点坐标；
计算单元，用于基于所述角点坐标，分别计算所述第一图像采集单元和所述第二图像采集单元的配准参数；所述配准参数至少包括以下之一：内参、外参、及畸变系数；
参数确定单元，用于确定所述第一图像采集单元和第二图像采集单元的校准参数。
3.根据权利要求1或2所述电子设备，所述第二处理模块包括：
第二获取单元，用于获取由所述第一图像采集单元以及所述第二图像采集单元采集到的目标对象的第一图像以及第二图像；
第二缩放单元，用于针对所述第一图像以及第二图像进行缩放处理，以获得图像参数相同的第一图像以及第二图像；
校准单元，用于利用所述第一处理模块得到的校准参数，对所述图像参数相同的第一图像以及第二图像进行校准；
视差单元，用于基于校准后的第一图像以及第二图像，计算所述第一图像以及第二图像的视差。
4.根据权利要求3所述电子设备，所述第一处理模块还包括：
区域确定单元，用于确定所述第一图像采集单元和所述第二图像采集单元分别对应的有效采集区域。
5.根据权利要求4所述电子设备，所述第二处理模块还包括：
剪裁单元，用于依据第一图像采集单元和所述第二图像采集单元分别对应的有效采集区域，对由所述第二缩放单元缩放处理后的所述第一图像以及第二图像进行剪裁，以获取有效采集区域内的第一图像以及第二图像；
第三缩放单元，用于对有效采集区域内的第一图像以及第二图像进行缩放处理，以获得图像参数相同的第一图像以及第二图像。
6.根据权利要求3所述的电子设备，所述第二处理模块还包括：
应用单元，用于基于所述第一图像和所述第二图像的视差，计算目标对象的深度值。
7.根据权利要求6所述的电子设备，所述第一处理模块由第一处理器实现，所述第一处理器位于所述电子设备的CPU端；
所述第二处理模块中的第二获取单元、第二缩放单元、校准单元、视差单元由第二处理器实现，所述第二处理器位于所述电子设备的加速芯片端；所述第二处理模块中的应用单元由第一处理器实现，所述第一处理器位于所述电子设备的CPU端。
8.一种数据处理方法，该方法应用于电子设备中，所述电子设备包括第一图像采集单元和第二图像采集单元；所述第一图像采集单元能够采集目标对象的第一图像，所述第二图像采集单元能够采集目标对象的第二图像，且所述第一图像采集单元与所述第二图像采集单元具有不同的图像采集参数；所述电子设备还包括第一处理模块、第二处理模块；所述数据处理方法包括：
利用所述第一处理模块对所述第一图像采集单元和所述第二图像采集单元进行校准，得到所述第一图像采集单元和所述第二图像采集单元的校准参数；
利用所述第二处理模块依据所述校准参数，对所述第一图像和所述第二图像进行校准，并对校准后的所述第一图像和所述第二图像进行视差计算。
9.根据权利要求8所述的数据处理方法，所述利用所述第一处理模块对所述第一图像采集单元和所述第二图像采集单元进行校准，得到所述第一图像采集单元和所述第二图像采集单元的校准参数，包括：
获取由所述第一图像采集单元以及所述第二图像采集单元采集到的样本对象的N组待配准图像，N≥1；
针对所述N组待配准图像的每一组待配准图像，对所述待配准图像进行缩放处理，以获得图像参数相同的待配准图像；
针对图像参数相同的待配准图像，检测所述待配准图像的角点，并获取相应的角点坐标；
基于所述角点坐标，分别计算所述第一图像采集单元和所述第二图像采集单元的配准参数；所述配准参数至少包括以下之一：内参、外参、及畸变系数；
确定所述第一图像采集单元和第二图像采集单元的校准参数。
10.根据权利要求8或9所述的数据处理方法，所述利用所述第二处理模块依据所述校准参数，对所述第一图像和所述第二图像进行校准，并对校准后的所述第一图像和所述第二图像进行视差计算，包括：
获取由所述第一图像采集单元以及所述第二图像采集单元采集到的目标对象的第一图像以及第二图像；
针对所述第一图像以及第二图像进行缩放处理，以获得图像参数相同的第一图像以及第二图像；
利用所述第一处理模块得到的校准参数，对所述图像参数相同的第一图像以及第二图像进行校准；
基于校准后的第一图像以及第二图像，计算所述第一图像以及第二图像的视差。
11.根据权利要求9所述的数据处理方法，所述基于所述角点坐标，分别计算所述第一图像采集单元和所述第二图像采集单元的配准参数之后，所述方法还包括：
确定所述第一图像采集单元和所述第二图像采集单元分别对应的有效采集区域。
12.根据权利要求11所述的数据处理方法，所述针对所述第一图像以及第二图像进行缩放处理，以获得图像参数相同的第一图像以及第二图像之后，所述方法还包括：
依据第一图像采集单元和所述第二图像采集单元分别对应的有效采集区域，对由第二缩放单元缩放处理后的所述第一图像以及第二图像进行剪裁，以获取有效采集区域内的第一图像以及第二图像；
对有效采集区域内的第一图像以及第二图像进行缩放处理，以获得图像参数相同的第一图像以及第二图像。
13.根据权利要求10所述的数据处理方法，所述基于校准后的第一图像以及第二图像，计算所述第一图像以及第二图像的视差之后，所述方法还包括：
基于所述第一图像和所述第二图像的视差，计算目标对象的深度值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410392213.3A CN105447007B (zh) | 2014-08-11 | 2014-08-11 | 一种电子设备及数据处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410392213.3A CN105447007B (zh) | 2014-08-11 | 2014-08-11 | 一种电子设备及数据处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105447007A CN105447007A (zh) | 2016-03-30 |
| CN105447007B true CN105447007B (zh) | 2019-03-08 |
Family
ID=55557202
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410392213.3A Active CN105447007B (zh) | 2014-08-11 | 2014-08-11 | 一种电子设备及数据处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105447007B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108307179A (zh) * | 2016-08-30 | 2018-07-20 | 姜汉龙 | 一种3d立体成像的方法 |
| CN106412460B (zh) * | 2016-11-30 | 2019-08-30 | 深圳市中兴移动软件有限公司 | 一种图像处理方法及设备 |
| CN109753930B (zh) * | 2019-01-03 | 2021-12-24 | 京东方科技集团股份有限公司 | 人脸检测方法及人脸检测系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102074014A (zh) * | 2011-02-23 | 2011-05-25 | 山东大学 | 一种利用基于图论的图像分割算法的立体匹配方法 |
| CN103247037A (zh) * | 2012-02-10 | 2013-08-14 | 联想(北京)有限公司 | 图像处理方法、装置和电子设备 |
| CN103581642A (zh) * | 2012-08-09 | 2014-02-12 | 索尼公司 | 在环校准 |
| CN103686130A (zh) * | 2012-09-11 | 2014-03-26 | 株式会社东芝 | 图像处理设备、图像处理方法以及立体显示装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009080578A (ja) * | 2007-09-25 | 2009-04-16 | Toshiba Corp | 多視点データ生成装置、方法及びプログラム |
-
2014
- 2014-08-11 CN CN201410392213.3A patent/CN105447007B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102074014A (zh) * | 2011-02-23 | 2011-05-25 | 山东大学 | 一种利用基于图论的图像分割算法的立体匹配方法 |
| CN103247037A (zh) * | 2012-02-10 | 2013-08-14 | 联想(北京)有限公司 | 图像处理方法、装置和电子设备 |
| CN103581642A (zh) * | 2012-08-09 | 2014-02-12 | 索尼公司 | 在环校准 |
| CN103686130A (zh) * | 2012-09-11 | 2014-03-26 | 株式会社东芝 | 图像处理设备、图像处理方法以及立体显示装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105447007A (zh) | 2016-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108765498B (zh) | 单目视觉跟踪方法、装置及存储介质 | |
| CN107223269B (zh) | 三维场景定位方法和装置 | |
| US8897502B2 (en) | Calibration for stereoscopic capture system | |
| CN108399643A (zh) | 一种激光雷达和相机间的外参标定系统和方法 | |
| US9420263B2 (en) | Information processor and information processing method | |
| CN107358633A (zh) | 一种基于三点标定物的多相机内外参标定方法 | |
| CN108269238B (zh) | 深度图像采集装置和深度图像采集系统及其图像处理方法 | |
| JP2018179990A (ja) | カメラパラメタセット算出方法、カメラパラメタセット算出プログラム及びカメラパラメタセット算出装置 | |
| CN202075794U (zh) | 一种无人机航摄立体成像处理设备 | |
| CN105376484A (zh) | 一种图像处理方法及终端 | |
| CN105222717B (zh) | 一种标的物长度测量方法及装置 | |
| CN105516579B (zh) | 一种图像处理方法、装置和电子设备 | |
| CN101401443A (zh) | 用于获得三维图像的cmos立体照相机 | |
| CN107798702A (zh) | 一种用于增强现实的实时图像叠加方法以及装置 | |
| CN104599317A (zh) | 一种实现3d扫描建模功能的移动终端及方法 | |
| CN105447007B (zh) | 一种电子设备及数据处理方法 | |
| CN105955260B (zh) | 移动机器人位置感知方法和装置 | |
| CN112330747B (zh) | 基于无人机平台的多传感器联合探测和显示方法 | |
| CN103959770A (zh) | 图像处理设备、图像处理方法和程序 | |
| CN108430032A (zh) | 一种实现vr/ar设备位置共享的方法及设备 | |
| CN104297896B (zh) | 一种对焦方法及电子设备 | |
| CN111854636A (zh) | 一种多相机阵列三维检测系统和方法 | |
| CN112348890A (zh) | 一种空间定位方法、装置及计算机可读存储介质 | |
| CN108805921A (zh) | 图像获取系统及方法 | |
| CN110068308A (zh) | 一种基于多目相机的测距方法及测距系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |