CN103731658A - 双目摄像机复位方法和双目摄像机复位装置 - Google Patents

双目摄像机复位方法和双目摄像机复位装置 Download PDF

Info

Publication number
CN103731658A
CN103731658A CN201310728399.0A CN201310728399A CN103731658A CN 103731658 A CN103731658 A CN 103731658A CN 201310728399 A CN201310728399 A CN 201310728399A CN 103731658 A CN103731658 A CN 103731658A
Authority
CN
China
Prior art keywords
image
video cameras
parallax
characteristic point
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310728399.0A
Other languages
English (en)
Other versions
CN103731658B (zh
Inventor
郁树达
王锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Super Technology Co Ltd
Original Assignee
Auspicious Photoelectron Of Shenzhen's Merck Research Institute
Shenzhen Super Perfect Optics Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Auspicious Photoelectron Of Shenzhen's Merck Research Institute, Shenzhen Super Perfect Optics Ltd filed Critical Auspicious Photoelectron Of Shenzhen's Merck Research Institute
Priority to CN201310728399.0A priority Critical patent/CN103731658B/zh
Publication of CN103731658A publication Critical patent/CN103731658A/zh
Priority to US14/488,442 priority patent/US9706188B2/en
Application granted granted Critical
Publication of CN103731658B publication Critical patent/CN103731658B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明提供了一种双目摄像机复位方法和一种双目摄像机复位装置，其中双目摄像机复位方法包括：在两个摄像机完成粗调后，分别获取两个摄像机同时拍摄的第一图像和第二图像；根据第一图像的特征点和第二图像的特征点计算出两个摄像机的光轴之间的相对旋转角度；控制两个摄像机中的一摄像机旋转相对旋转角度，使该摄像机的光轴与另一摄像机的光轴平行，在两个摄像机的光轴平行后，将两个摄像机之间的间距调整为预设距离，以确保两个摄像机处于预设的基准初始位置。本发明能够在发出复位指令后，自动将双目摄像机精确复位至基准初始位置，避免了人工进行复位的误差以及利用传感器判断双目摄像机是否到达基准位置所带来的误差问题。

Description

双目摄像机复位方法和双目摄像机复位装置
技术领域
本发明涉及立体影像拍摄技术领域，具体而言，涉及一种双目摄像机复位方法和一种双目摄像机复位装置。
背景技术
随着立体显示技术的日益成熟，立体电影或视频越来越多的出现在人们的日常生活当中。其中，双目摄像机是拍摄立体电影或视频最常用的拍摄工具。在使用拍摄过程中，摄影师越来越多的使用双目可动摄像机，即左右摄像机可自由旋转或水平移动的摄像机进行拍摄。使用此类摄像机，摄影师可根据拍摄场景对摄像机参数（左右摄像机间距和相对旋转角度）做出相应的调节，以获得理想的立体显示效果。
在拍摄过程中，双目可动摄像机首先处于一个基准初始位置，然后摄像机参数被经过多次调节并参与立体拍摄。在拍摄结束后，由于摄像机参数经过变化，我们需要将双目摄像机重新复位到之前的基准初始位置，以备下次使用。精确的使摄像机复位到基准初始位置至关重要。这里，处于基准初始位置的双目摄像机至少具备以下特点：左右摄像机是精确对齐且光轴平行的；两者间距为一已知长度。使用此条件下的摄像机所得到的左右图像只存在水平视差。只有当摄像机处于此位置下，摄影师才可依据此位置做出精确的摄像机参数调节。假如双目可移动摄像机不处于基准初始位置，比如左右摄像机不能精确对齐，则拍摄出的电影或视频的视差计算将出现错误，进而降低电影或视频的立体效果。
目前，直观的复位调节方法有如下两种：
1、摄影师通过经验手动调节，并判断摄影机是否复位；
2、记录每一次调节数据，待完成拍摄后，根据所记录数据，反方向实施每一次调节。
然而上述两种方法均存在不足，前者不能保证调节的精确性而且速度很慢，后者随着每一次调节所积累的误差，实际基准初始位置与准确的基准初始位置的误差将逐渐增大，而且如果遇到外力干扰，如摄像机颠簸，则误差将变得不可控。另外，我们也可使用传感器手段判断摄像机是否处于基准初始位置，然而传感器仍存在较大误差，左右摄像机很难达到精确对齐。
因此，如何使双目摄像机能够准确复位到基准初始位置成为亟待解决的技术问题。
发明内容
本发明正是基于上述问题中至少之一，提出了一种新的摄像机复位技术，可以利用计算机视觉技术来确定双目摄像机的光轴之间的相对角度差，无需人工调整以及利用传感器来进行检测调整。
有鉴于此，根据本发明的一个方面，提供了一种双目摄像机复位方法，包括：在两个摄像机完成粗调后，分别获取所述两个摄像机同时拍摄的第一图像和第二图像；根据所述第一图像的特征点和所述第二图像的特征点计算出所述两个摄像机的光轴之间的相对旋转角度；控制所述两个摄像机中的一摄像机旋转所述相对旋转角度，使所述一摄像机的光轴与另一摄像机的光轴平行；在所述两个摄像机的光轴平行后，将所述两个摄像机之间的间距调整为预设距离，以确保确定所述两个摄像机处于预设的基准初始位置。
在对双目摄像机进行复位时，两个摄像机首先被粗调，粗调的方式可以采用目前的复位调节方法，例如人工调整方式，通过传感器检测方式等，由于摄像机没有到达准确的初始位置，为了避免目前的复位调节方式所带来的误差，因此在上述技术方案中利用计算机视觉技术来获取两个摄像机光轴之间的夹角，基于计算出的该夹角来对双目摄像机的姿态进行调节，以使双目摄像机位于理想的初始位置，此时双目摄像机的姿态和位置，称之为基准初始位置，对于双目摄像机的光轴的旋转角度的调节过程，可称之为细调过程。
为了使双目摄像机达到准确的基准初始位置，除了使两个摄像机的光轴保持平行之外，还需要使两个摄像机之间的距离为预设距离。这样，双目摄像机拍摄的左右两幅图像之间仅有水平视差，由于避免了人工调节以及传感器检测所带来的误差，因此采用该复位方式可使双目摄像机获得更好的立体视频效果。
在上述技术方案中，优选的，所述根据所述第一图像的特征点和所述第二图像的特征点计算出所述两个摄像机的光轴之间的相对旋转角度，包括：分别提取所述第一图像的多个特征点和所述第二图像的多个特征点；将所述第一图像的多个特征点与所述第二图像的多个特征点进行匹配，获取多个特征点匹配对；根据多个所述特征点匹配对计算出所述相对旋转角度。
本发明采用计算机视觉技术来获取两个摄像机的光轴之间的角度差，计算角度差的方式有多种，在一种优选的实施方式中，提取左右图像的特征点，该特征点的个数可以预先设置，然后将左右图像的特征点进行匹配，得到多个匹配对，利用这些匹配对就可以计算出相对旋转角度，在角度计算过程中没有利用传感器的检测数据，完全利用左右摄像机拍摄的图像来进行分析，因此可以避免传感器带来的误差。
在上述任一技术方案中，优选的，所述分别提取所述第一图像的多个特征点和所述第二图像的多个特征点，包括：针对每一图像，计算图像中每一像素的像素特征分数，选取像素特征分数大于阈值的预定个数的像素作为每一图像的所述多个特征点；所述将所述第一图像的特征点与所述第二图像的特征点进行匹配，包括：将所述第一图像中的每一特征点与其在所述第二图像中的相同位置邻域内的所有特征点进行一一匹配，选取匹配值最高的两个特征点作为一个所述特征点匹配对。
在提取图像的特征点时，需要计算出图像中的每一像素的像素特征分数，然后选取像素特征分数大于阈值的像素作为一个特征点。即从每一图像中选取较为典型的若干个像素点，这样可以减少后续的计算时间。然后将左右图像中的特征点进行匹配，计算每一匹配对的匹配值（即匹配度），匹配值越高，两个特征点越相似，选取匹配值较高的匹配对作为后续使用的特征点匹配对，这样同样可以减少后续的计算复杂度和计算时间。
在上述任一技术方案中，优选的，所述根据多个所述特征点匹配对计算出所述相对旋转角度，包括：每选取N对所述特征点匹配对，计算出所述两个摄像机之间的一个旋转矩阵，所述N为大于等于8的正整数；计算出对应于每一个旋转矩阵的离群匹配对的数目；选取对应于所述离群匹配对的数目最小的旋转矩阵作为最终确定的所述两个摄像机之间的旋转矩阵；根据所述旋转矩阵计算出所述一摄像机相对于另一摄像机在x轴、y轴和z轴上的旋转角度。
在确定特征点匹配对之后，在N为八时，用每八对匹配对来计算出两个摄像机之间的一个选择矩阵，若有八十对匹配对，则可以计算出两个摄像机之间的十个旋转矩阵。还可以再次循环，重新从特征点匹配对中随机选取八对特征点匹配对，这样就可以再次得到十个旋转矩阵，不断循环，就可以得到更多的旋转矩阵。然后从中选取出最优的旋转矩阵作为双目摄像机的旋转矩阵，选取方式为计算每一个旋转矩阵的离群匹配对的数目，离群匹配对的数目越小，说明该旋转矩阵越符合双目摄像机之间当前相对旋转角度，因此将离群匹配对数目最小的旋转矩阵作为两个摄像机之间的旋转矩阵，最后基于该旋转矩阵可计算出两个摄像机的光轴在不同方向上的夹角。
由于本发明将选取出的特征点匹配对进行随机组合，并且根据每一组随机组合的特征点匹配对计算出一个旋转矩阵，最后才从中选取出合适的旋转，因此计算出的旋转矩阵是相对准确的，误差远远小于传感器测量的误差，故采用计算机视觉技术计算出的旋转角度也是相对精确的，比人工复位与传感器测量复位具有更高的测量精度，从而使双目摄像机能够到达准确的基准初始位置。
在上述技术方案中，优选的，所述将所述两个摄像机之间的间距调整为预设距离，包括：获取所述两个摄像机之间的图像水平视差与所述两个摄像机之间的间距的对应关系；根据所述对应关系和所述两个摄像机之间的当前图像水平视差，确定当前所述两个摄像机之间的间距；判断确定的所述两个摄像机之间的间距是否符合所述两个摄像机的基准初始位置之间的预设距离，若不符合，则调整所述两个摄像机之间的间距。
在计算出两个摄像机的光轴之间的相对旋转角度并进行角度调节之后，再调节两个摄像机之间的距离，使其达到预设距离。在进行距离调节时，首先要获取图像水平视差与两个摄像机之间的间距的对应关系，在获取到该对应关系之后，根据两个摄像机之间的当前图像水平视差就能够确定在当前，两个摄像机之间的实际距离。若两个摄像机之间的实际距离没有达到预设距离，则将两个摄像机之间的距离调整为预设距离，否则无需调整。
通过两个摄像机之间的距离与图像水平视差之间的对应关系，就无需直接测量两个摄像机之间的距离，然后判断两个摄像机之间的距离是否满足要求，而是间接根据图像水平视差来间接确定两个摄像机之间的实际距离，由于图像水平视差是根据两个摄像机拍摄的图像的特征点计算得到，因此该计算结果相对于利用测量工具来测量两个摄像机之间的实际距离将更准确。
在上述任一技术方案中，优选的，所述获取所述两个摄像机之间的图像水平视差与所述两个摄像机之间的间距的对应关系，包括：在所述两个摄像机的光轴相互平行的第一时刻，使所述两个摄像机分别拍摄左右图像，并计算在所述第一时刻，左右图像之间的第一平均视差；控制其中一摄像机移动一个单位长度的距离，使所述两个摄像机在第二时刻分别拍摄左右图像，并计算在所述第二时刻，左右图像之间的第二平均视差；根据平均视差之差与所述一个单位长度的距离之间的关系，获取所述对应关系，其中，所述平均视差之差为所述第一平均视差与所述第二平均视差之间的差值。
获取图像水平视差与两个摄像机之间的间距的对应关系有多种方式，可以预先设置，或者实时测量，其中实时测量的方式较为准确，可以去除外界因素干扰，根据两个摄像机的实际工作环境来计算出该对应关系。当两个摄像机处于一个相对位置时，计算此时拍摄的左右图像之间的水平视差，当两个摄像机中的一个摄像机移动单位长度距离之后，计算此时拍摄的左右图像之间的水平视差。接着判断在移动一个单位长度距离之后，左右图像的水平视差的变化量，即一个单位长度距离对应一个水平视差变化量。
在上述任一技术方案中，优选的，计算所述左右图像之间的平均视差的方法包括：提取在所述第一时刻的左右图像的特征点，将左图像的特征点与右图像的特征点进行匹配，得到多对匹配对，并计算出每一匹配对的视差，获取在所述第一时刻的所述第一平均视差，提取在所述第二时刻的左右图像的特征点，将左图像的特征点与右图像的特征点进行匹配，得到多对匹配对，并计算出每一匹配对的视差，获取在所述第二时刻的所述第二平均视差。
同样，计算左右图像之间的水平视差的方式也有多种，其中较优选的方式为与计算摄像机光轴之间的旋转角度的方法类似，提取左右图像的特征点，将左右图像的特征点进行匹配，得到多对匹配对，计算出每一匹配对的水平视差，对计算出的多个水平视差进行平均计算，得到平均水平视差。
在上述任一技术方案中，优选的，在任一所述匹配对中的两个特征点满足以下条件时，确定相应匹配对的视差无误，并根据确定无误的视差计算出所述第一平均视差和所述第二平均视差：在所述第一时刻的左图像的特征点与在所述第二时刻的左图像的特征点匹配，或者在所述第一时刻的右图像的特征点与在所述第二时刻的右图像的特征点匹配。
为了进一步确认计算出的每一匹配对的水平视差是否有误，可采用上述方式来进行判断。如果第一时刻的某一匹配对中的左图像特征点与第二时刻的左图像中的某特征点匹配，且在第二时刻，该匹配对中的左图像特征点也与某一右图像特征点匹配，则确定该匹配对对应的水平视差无误。根据确认无误的水平视差来计算出平均水平视差，提高平均水平视差计算的准确性，从而提高摄像机之间的间距的计算准确度，进而使双目摄像机能处于精确的初始位置。
在上述任一技术方案中，优选的，所述两个摄像机完成粗调具体包括：在接收到复位命令时，分别驱动所述两个摄像机移动至相应的原点位置；在所述两个摄像机分别到达相应的原点位置后，分别驱动所述两个摄像机旋转预设角度以及反方向移动所述预设距离。
在粗调过程中，本方案采用自动复位粗调，在发出复位命令时，利用电机驱动两个摄像机完成粗调。当两个摄像机完成粗调之后，采用本发明提出的细调方案，中间过程无需人工参与，用户在触发复位开关之后，就能够使双目摄像机处于精确的基准初始位置，达到一键复位的效果。
根据本发明的另一方面，还提供了一种双目摄像机复位装置，包括：处理器，连接至控制器，在两个摄像机完成粗调后，分别获取所述两个摄像机同时拍摄的第一图像和第二图像，根据所述第一图像的特征点和所述第二图像的特征点计算出所述两个摄像机之间的相对旋转角度，并向所述控制器发送角度控制指令，以及获取所述两个摄像机之间的间距，并向所述控制器发送距离控制指令；所述控制器，连接至两个驱动单元，在接收到所述角度控制指令时，向两个所述驱动单元发送所述第一控制信号，以及在接收到所述距离控制指令时，向所述两个驱动单元发送第二控制信号；两个驱动单元，分别连接至所述两个摄像机，在接收到第一控制信号时，控制所述两个摄像机中的一摄像机旋转所述相对旋转角度，使所述一摄像机的光轴与另一摄像机的光轴平行，以及，在接收到第二控制信号时，将所述两个摄像机之间的间距调整为预设距离，以确保所述两个摄像机处于预设的基准初始位置。
在对双目摄像机进行复位时，两个摄像机首先被粗调，粗调的方式可以采用目前的复位调节方法，例如人工调整方式，通过传感器检测方式等，由于摄像机没有到达准确的初始位置，为了避免目前的复位调节方式所带来的误差，因此在上述技术方案中利用计算机视觉技术来获取两个摄像机光轴之间的夹角，基于计算出的该夹角来对双目摄像机的姿态进行调节，以使双目摄像机位于理想的初始位置，此时双目摄像机的姿态和位置，称之为基准初始位置，对于双目摄像机的光轴的旋转角度的调节过程，可称之为细调过程。
为了使双目摄像机达到基准初始位置，除了使两个摄像机的光轴保持平行之外，还需要使两个摄像机之间的距离为预设距离。这样，双目摄像机拍摄的左右两幅图像之间仅有水平视差，由于避免了人工调节以及传感器检测所带来的误差，因此采用该复位方式可使双目摄像机获得更好的立体视频效果。
在上述任一技术方案中，优选的，所述处理器包括：特征点提取单元，用于分别提取所述第一图像的多个特征点和所述第二图像的多个特征点；匹配对获取单元，用于将所述第一图像的多个特征点与所述第二图像的多个特征点进行匹配，获取多个特征点匹配对；角度计算单元，用于根据多个所述特征点匹配对计算出所述相对旋转角度。
本发明采用计算机视觉技术来获取两个摄像机的光轴之间的角度差，计算角度差的方式有多种，在一种优选的实施方式中，提取左右图像的特征点，该特征点的个数可以预先设置，然后将左右图像的特征点进行匹配，得到多个匹配对，利用这些匹配对就可以计算出相对旋转角度，在角度计算过程中没有利用传感器的检测数据，完全利用左右摄像机拍摄的图像来进行分析，因此可以避免传感器带来的误差。
在上述任一技术方案中，优选的，所述特征点提取单元包括：像素特征分数计算子单元和特征点选取子单元，其中，所述像素特征分数计算子单元用于针对每一图像，计算图像中每一像素的像素特征分数，特征点选取子单元用于选取像素特征分数大于阈值的预定个数的像素作为每一图像的所述多个特征点；所述匹配对获取单元包括匹配子单元，用于将所述第一图像中的每一特征点与其在所述第二图像中的相同位置邻域内的所有特征点进行一一匹配，选取匹配值最高的两个特征点作为一个所述特征点匹配对。
在提取图像的特征点时，需要计算出图像中的每一像素的像素特征分数，然后选取像素特征分数大于阈值的像素作为一个特征点。即从每一图像中选取较为典型的若干个像素点，这样可以减少后续的计算时间。然后将左右图像中的特征点进行匹配，计算每一匹配对的匹配值（即匹配度），匹配值越高，两个特征点越相似，选取匹配值较高的匹配对作为后续使用的特征点匹配对，这样同样可以减少后续的计算复杂度和计算时间。
在上述任一技术方案中，优选的，所述角度计算单元包括：旋转矩阵计算子单元，用于每选取N对所述特征点匹配对，计算出所述两个摄像机之间的一个旋转矩阵，并计算出对应于每一个旋转矩阵的离群匹配对的数目，选取对应于所述离群匹配对的数目最小的旋转矩阵作为最终确定的所述两个摄像机之间的旋转矩阵；旋转角度计算子单元，用于根据所述旋转矩阵计算出所述一摄像机相对于另一摄像机在x轴、y轴和z轴上的旋转角度，其中，所述N为大于等于8的正整数。
在确定特征点匹配对之后，在N为八时，每八对匹配对来计算出两个摄像机之间的一个选择矩阵，若有八十对匹配对，则可以计算出两个摄像机之间的十个旋转矩阵。还可以再次循环，重新从特征点匹配对中随机选取八对特征点匹配对，这样就可以再次得到十个旋转矩阵，不断循环，就可以得到更多的旋转矩阵。然后从中选取出最优的旋转矩阵作为双目摄像机的旋转矩阵，选取方式为计算每一个旋转矩阵的离群匹配对的数目，离群匹配对的数目越小，说明该旋转矩阵越符合双目摄像机之间当前相对旋转角度，因此将离群匹配对数目最小的旋转矩阵作为两个摄像机之间的旋转矩阵，最后基于该旋转矩阵可计算出两个摄像机的光轴在不同方向上的夹角。
由于本发明将选取出的特征点匹配对进行随机组合，并且根据每一组随机组合的特征点匹配对计算出一个旋转矩阵，最后才从中选取出合适的旋转，因此计算出的旋转矩阵是相对准确的，误差远远小于传感器测量的误差，故采用计算机视觉技术计算出的旋转角度也是相对精确的，比人工复位与传感器测量复位具有更高的测量精度，从而使双目摄像机能够到达准确的基准初始位置。
在上述任一技术方案中，优选的，所述处理器包括：对应关系获取单元，用于获取所述两个摄像机之间的图像水平视差与所述两个摄像机之间的间距的对应关系；距离计算单元，用于根据所述对应关系和所述两个摄像机之间的当前图像水平视差，确定当前所述两个摄像机之间的间距；判断单元，用于判断确定的所述两个摄像机之间的间距是否符合所述两个摄像机的基准初始位置之间的预设距离，若不符合，则调整所述两个摄像机之间的间距。
在计算出两个摄像机的光轴之间的相对旋转角度并进行角度调节之后，再调节两个摄像机之间的距离，使其达到预设距离。在进行距离调节时，首先要获取图像水平视差与两个摄像机之间的间距的对应关系，在获取到该对应关系之后，根据两个摄像机之间的当前图像水平视差就能够确定在当前，两个摄像机之间的实际距离。若两个摄像机之间的实际距离没有达到预设距离，则将两个摄像机之间的距离调整为预设距离，否则无需调整。
在上述任一技术方案中，优选的，所述对应关系获取单元包括：第一平均视差计算子单元，用于在所述两个摄像机的光轴相互平行的第一时刻，使所述两个摄像机分别拍摄左右图像，并计算在所述第一时刻，左右图像之间的第一平均视差；第二平均视差计算子单元，用于控制其中一摄像机移动一个单位长度的距离，使所述两个摄像机在第二时刻分别拍摄左右图像，并计算在所述第二时刻，左右图像之间的第二平均视差；对应关系计算子单元，用于根据平均视差之差与所述一个单位长度的距离之间的关系，获取所述对应关系，其中，所述平均视差之差为所述第一平均视差与所述第二平均视差之间的差值。
获取图像水平视差与两个摄像机之间的间距的对应关系有多种方式，可以预先设置，或者实时测量，其中实时测量的方式较为准确，可以去除外界因素干扰，根据两个摄像机的实际工作环境来计算出该对应关系。当两个摄像机处于一个相对位置时，计算此时拍摄的左右图像之间的水平视差，当两个摄像机中的一个摄像机移动单位长度距离之后，计算此时拍摄的左右图像之间的水平视差。接着判断在移动一个单位长度距离之后，左右图像的水平视差的变化量，即一个单位长度距离对应一个水平视差变化量。
在上述任一技术方案中，优选的，所述对应关系获取单元包括：第一视差计算单元，用于提取在所述第一时刻的左右图像的特征点，将左图像的特征点与右图像的特征点进行匹配，得到多对匹配对，并计算出每一匹配对的视差，获取在所述第一时刻的所述第一平均视差，第二视差计算单元，用于提取在所述第二时刻的左右图像的特征点，将左图像的特征点与右图像的特征点进行匹配，得到多对匹配对，并计算出每一匹配对的视差，获取在所述第二时刻的所述第二平均视差。
同样，计算左右图像之间的水平视差的方式也有多种，其中较优选的方式为与计算摄像机光轴之间的旋转角度的方法类似，提取左右图像的特征点，将左右图像的特征点进行匹配，得到多对匹配对，计算出每一匹配对的水平视差，对计算出的多个水平视差进行平均计算，得到平均水平视差。
在上述任一技术方案中，优选的，所述处理器还包括：检测单元，用于在任一所述匹配对中的两个特征点满足以下条件时，确定相应匹配对的视差无误，并使所述第一视差计算单元和所述第二视差计算单元根据确定无误的视差计算出所述第一平均视差和所述第二平均视差：在所述第一时刻的左图像的特征点与在所述第二时刻的左图像的特征点匹配，或者在所述第一时刻的右图像的特征点与在所述第二时刻的右图像的特征点匹配。
为了进一步确认计算出的每一匹配对的水平视差是否有误，可采用上述方式来进行判断。如果第一时刻的某一匹配对中的左图像特征点与第二时刻的左图像中的某特征点匹配，且在第二时刻，该匹配对中的左图像特征点也与某一右图像特征点匹配，则确定该匹配对对应的水平视差无误。根据确认无误的水平视差来计算出平均水平视差，提高平均水平视差计算的准确性，从而提高摄像机之间的间距的计算准确度，进而使双目摄像机能处于精确的初始位置。
在上述任一技术方案中，优选的，所述处理器还用于在接收到复位开关的触发信号时，向所述控制器发送复位命令；所述控制器还用于在接收到所述复位命令时，向两个所述驱动单元发送第三控制信号；每一所述驱动单元在接收到所述第三控制信号时，还用于驱动相对应的摄像机完成粗调，其中，每一所述驱动单元包括：第一驱动电机，在接收到所述第一控制信号时，分别驱动所述两个摄像机移动至相应的原点位置，以及在所述两个摄像机分别到达相应的原点位置后，分别驱动所述两个摄像机反方向移动所述预设距离，第二驱动电机，在所述两个摄像机分别到达相应的原点位置后，旋转预设角度。
在粗调过程中，本方案采用自动复位粗调，在发出复位命令时，利用电机驱动两个摄像机完成粗调。当两个摄像机分别完成粗调之后，采用本发明提出的细调方案，中间过程无需人工参与，用户在触发复位开关之后，就能够使双目摄像机处于精确的初始位置，达到一键复位的效果。
附图说明
图1示出了根据本发明的一个实施例的双目摄像机复位方法的流程图；
图2示出了根据本发明的另一个实施例的双目摄像机复位方法的流程图；
图3示出了图2中的细调过程的流程图；
图4示出了根据本发明的实施例的在计算水平视差时确定匹配对的示意图；
图5A至图5F分别示出了根据本发明的实施例的在复位调整过程中双目摄像机在各步骤中的位置状态示意图；
图6示出了根据本发明的一个实施例的双目摄像机复位装置的示意图；
图7示出了根据本发明的另一实施例的双目摄像机复位装置的示意图；
图8A示出了根据本发明的一个实施例的在对双目摄像机进行角度粗调时所涉及的设备的俯视图；
图8B示出了根据本发明的一个实施例的在对双目摄像机进行角度粗调时所涉及的设备的左视图；
图8C示出了根据本发明的一个实施例的在对双目摄像机进行角度粗调时所涉及的设备的右视图；
图8D示出了根据本发明的一个实施例的在对双目摄像机进行水平位移粗调时所涉及的设备的示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开的具体实施例的限制。
图1示出了根据本发明的一个实施例的双目摄像机复位方法的流程图。
如图1所示，根据本发明的实施例的双目摄像机复位方法可以包括以下步骤：
步骤102，在两个摄像机完成粗调后，分别获取两个摄像机同时拍摄的第一图像和第二图像。
步骤104，根据第一图像的特征点和第二图像的特征点计算出两个摄像机的光轴之间的相对旋转角度；其中，一个特征点是指图像中与其周围像素之间灰度差异较大的一个像素。
步骤106，控制两个摄像机中的一摄像机旋转相对旋转角度，使该摄像机的光轴与另一摄像机的光轴保持平行。
步骤108，在两个摄像机的光轴保持平行后，将两个摄像机之间的间距调整为预设距离，以确保两个摄像机处于预设的基准初始位置。
在对双目摄像机进行复位时，两个摄像机首先被粗调，粗调的方式可以采用目前的复位调节方法，例如人工调整方式，通过传感器检测方式等，由于摄像机没有到达准确的初始位置，为了避免目前的复位调节方式所带来的误差，因此在上述技术方案中利用计算机视觉技术来获取两个摄像机光轴之间的夹角，基于计算出的该夹角来对双目摄像机的姿态进行调节，以使双目摄像机位于理想的初始位置，此时双目摄像机的姿态和位置，称之为基准初始位置，对于双目摄像机的光轴的旋转角度的调节过程，可称之为细调过程。
为了使双目摄像机达到基准初始位置，除了使两个摄像机的光轴保持平行之外，还需要使两个摄像机之间的距离为预设距离。因此，在两个摄像机的光轴保持平行后，将两个摄像机之间的间距调整为预设距离。这样，双目摄像机拍摄的左右两幅图像之间仅有水平视差，由于避免了人工调节以及传感器检测所带来的误差，因此采用该复位方式可使双目摄像机获得更好的立体视频效果。
在上述任一技术方案中，优选的，步骤104具体包括：分别提取所述第一图像的多个特征点和所述第二图像的多个特征点；将所述第一图像的多个特征点与所述第二图像的多个特征点进行匹配，获取多个特征点匹配对；根据多个所述特征点匹配对计算出所述相对旋转角度。
本发明采用计算机视觉技术来获取两个摄像机的光轴之间的角度差，计算角度差的方式有多种，在一种优选的实施方式中，提取左右图像的特征点，该特征点的个数可以预先设置，然后将左右图像的特征点进行匹配，得到多个匹配对，利用这些匹配对就可以计算出相对旋转角度，在角度计算过程中没有利用传感器的检测数据，完全利用左右摄像机拍摄的图像来进行分析，因此可以避免传感器带来的误差。
在上述任一技术方案中，优选的，在步骤104中，所述分别提取所述第一图像的多个特征点和所述第二图像的多个特征点，具体可以包括：针对每一图像，计算图像中每一像素的像素特征分数，选取像素特征分数大于阈值的预定个数的像素作为每一图像的所述多个特征点。以及所述将所述第一图像的特征点与所述第二图像的特征点进行匹配，具体可以包括：将所述第一图像中的每一特征点与其在所述第二图像中的相同位置邻域内的所有特征点进行一一匹配，选取匹配值最高的两个特征点作为一个所述特征点匹配对。
在提取图像的特征点时，需要计算出图像中的每一像素的像素特征分数，然后选取像素特征分数大于阈值的像素作为一个特征点。即从每一图像中选取较为典型的若干个像素点，这样可以减少后续的计算时间。然后将左右图像中的特征点进行匹配，计算每一匹配对的匹配值（即匹配度），匹配值越高，两个特征点越相似，选取匹配值较高的匹配对作为后续使用的特征点匹配对，这样同样可以减少后续的计算复杂度和计算时间，从而提高处理效率。
在上述任一技术方案中，优选的，在步骤104中，根据多个特征点匹配对计算出相对旋转角度，具体可以包括：每选取N（N为大于等于8的正整数）对特征点匹配对，计算出两个摄像机之间的一个旋转矩阵；计算出对应于每一个旋转矩阵的离群匹配对的数目；选取对应于离群匹配对的数目最小的旋转矩阵作为最终确定的两个摄像机之间的旋转矩阵；根据旋转矩阵计算出一摄像机相对于另一摄像机在x轴、y轴和z轴上的旋转角度。
在确定特征点匹配对之后，在N为八时，每八对匹配对来计算出两个摄像机之间的一个旋转矩阵，若有八十对匹配对，则可以计算出两个摄像机之间的十个旋转矩阵。还可以再次循环，重新从特征点匹配对中随机选取八对特征点匹配对，这样就可以再次得到十个旋转矩阵，不断循环，就可以得到更多的旋转矩阵。然后从中选取出最优的旋转矩阵作为双目摄像机的旋转矩阵，选取方式为计算每一个旋转矩阵的离群匹配对的数目，离群匹配对的数目越小，说明该旋转矩阵越符合双目摄像机之间当前相对旋转角度，因此将离群匹配对数目最小的旋转矩阵作为两个摄像机之间的旋转矩阵，最后基于该旋转矩阵可计算出两个摄像机的光轴在不同方向上的夹角。
由于本发明将选取出的特征点匹配对进行随机组合，并且根据每一组随机组合的特征点匹配对计算出一个旋转矩阵，最后才从中选取出合适的旋转矩阵，因此计算出的旋转矩阵是相对准确的，误差远远小于传感器测量的误差，故采用计算机视觉技术计算出的旋转角度也是相对精确的，比人工复位与传感器测量复位具有更高的测量精度，从而使双目摄像机能够到达准确的基准初始位置。
在上述任一技术方案中，优选的，将两个摄像机之间的间距调整为预设距离，具体包括：获取两个摄像机之间的图像水平视差与两个摄像机之间的间距的对应关系；根据对应关系和两个摄像机之间的当前图像水平视差，确定当前两个摄像机之间的间距；判断确定的两个摄像机之间的间距是否符合两个摄像机的基准初始位置之间的预设距离，若不符合，则调整两个摄像机之间的间距。
在计算出两个摄像机的光轴之间的相对旋转角度并进行角度调节之后，再调节两个摄像机之间的距离，使其达到预设距离。在进行距离调节时，首先要获取图像水平视差与两个摄像机之间的间距的对应关系，在获取到该对应关系之后，根据两个摄像机之间的当前图像水平视差就能够确定在当前，两个摄像机之间的实际距离。若两个摄像机之间的实际距离没有达到预设距离，则将两个摄像机之间的距离调整为预设距离，否则无需调整。
在上述任一技术方案中，优选的，获取两个摄像机之间的图像水平视差与两个摄像机之间的间距的对应关系，具体可以包括以下处理过程：
在两个摄像机的光轴相互平行的第一时刻，使两个摄像机分别拍摄左右图像，并计算在第一时刻，左右图像之间的第一平均视差；控制其中一摄像机移动一个单位长度的距离，使两个摄像机在第二时刻分别拍摄左右图像，并计算在第二时刻，左右图像之间的第二平均视差；根据平均视差之差与一个单位长度的距离之间的关系，获取对应关系，其中，平均视差之差为第一平均视差与第二平均视差之间的差值。
获取图像水平视差与两个摄像机之间的间距的对应关系有多种方式，可以预先设置，或者实时测量，其中实时测量的方式较为准确，可以去除外界因素干扰，根据两个摄像机的实际工作环境来计算出该对应关系。当两个摄像机处于一个相对位置时，计算此时拍摄的左右图像之间的水平视差，当两个摄像机中的一个摄像机移动单位长度距离之后，计算此时拍摄的左右图像之间的水平视差。接着判断在移动一个单位长度距离之后，左右图像的水平视差的变化量，即一个单位长度距离对应一个水平视差变化量。
通过两个摄像机之间的距离与图像水平视差之间的对应关系，就无需直接测量两个摄像机之间的距离，然后判断两个摄像机之间的距离是否满足要求，而是间接根据图像水平视差来间接确定两个摄像机之间的实际距离，由于图像水平视差是根据两个摄像机拍摄的图像的特征点计算得到，因此该计算结果相对于利用测量工具来测量两个摄像机之间的实际距离将更准确。
需说明的是，在其中一摄像机移动一个单位长度的距离之后，若计算出的平均视差之差（即第一平均视差与第二平均视差之间的差值）为正值，则说明被移动的摄像机的移动方向是正确的，那么在调整两个摄像机之间的距离时，仍将之前移动的摄像机沿原来移动的方向继续移动；若计算出的平均视差之差是负值时，则说明被移动的摄像机是偏离另一个摄像机的，并且使两个摄像机之间的实际距离偏离预设距离，其移动方向是错误的，那么在调整两个摄像机之间的距离时，将该摄像机需沿反方向移动。因此，根据平均视差之差可以自动判断摄像机的准确移动方向，从而能够使两个摄像机之间的实际距离趋向于预设距离，提高了双目摄像机复位的智能性。
在上述任一技术方案中，优选的，计算左右图像之间的平均视差的方法具体可以包括：
提取在第一时刻的左右图像的特征点，将左图像的特征点与右图像的特征点进行匹配，得到多对匹配对，并计算出每一匹配对的视差，获取在第一时刻的第一平均视差，提取在第二时刻的左右图像的特征点，将左图像的特征点与右图像的特征点进行匹配，得到多对匹配对，并计算出每一匹配对的视差，获取在第二时刻的第二平均视差。
同样，计算左右图像之间的水平视差的方式也有多种，其中较优选的方式为与计算摄像机光轴之间的旋转角度的方法类似，提取左右图像的特征点，将左右图像的特征点进行匹配，得到多对匹配对，计算出每一匹配对的水平视差，对计算出的多个水平视差进行平均计算，得到平均水平视差。
在上述任一技术方案中，优选的，在任一匹配对中的两个特征点满足以下条件时，确定相应匹配对的视差无误，并根据确定无误的视差计算出第一平均视差和第二平均视差：在第一时刻的左图像的特征点与在第二时刻的左图像的特征点匹配，在第一时刻的右图像的特征点与在第二时刻的右图像的特征点匹配。
为了进一步确认计算出的每一匹配对的水平视差是否有误，可采用上述方式来进行判断。如果第一时刻的某一匹配对中的左图像特征点与第二时刻的左图像中的某特征点匹配，且在第二时刻，该匹配对中的左图像特征点也与某一右图像特征点匹配，则确定该匹配对对应的水平视差无误。根据确认无误的水平视差来计算出平均水平视差，提高平均水平视差计算的准确性，从而提高摄像机之间的间距的计算准确度，进而使双目摄像机能处于精确的初始位置。
在上述任一技术方案中，优选的，所述两个摄像机完成粗调具体可以包括：在接收到复位命令时，分别驱动两个摄像机移动至相应的原点位置；在两个摄像机分别到达相应的原点位置后，分别驱动两个摄像机旋转预设角度以及反方向移动预设距离，以使两个摄像机分别到达基准初始位置。
在粗调过程中，本方案采用自动复位粗调，在发出复位命令时，利用电机驱动两个摄像机完成粗调。当两个摄像机分别完成粗调之后，采用本发明提出的细调方案，中间过程无需人工参与，用户在触发复位开关之后，就能够使双目摄像机处于精确的初始位置，达到一键复位的效果。
图2示出了根据本发明的另一个实施例的双目摄像机复位方法的流程图。
在初次使用之前，设定基准初始位置，即每次自动复位后，双目摄像机所处的位置。
如图2所示，在本实施例中，根据本发明的双目摄像机复位方法主要包括粗调部分和细调部分。
步骤202，判断是否接收到复位命令进行摄像机归位，如果是，则进入步骤204，否则继续监听是否接收到复位命令。
步骤204，在接收到复位命令后，驱动电机使左右两个摄像机完成粗调，此过程为复位的粗调部分。其中，在粗调过程中包括摄像机的水平位移的粗调以及光轴角度的粗调。具体过程可以为首先驱动两个摄像机分别到达原点传感器所处的位置，称之为原点位置。然后水平移动摄像机一个已知的距离，以及旋转摄像机一个已知的角度，该已知的距离和角度是原点位置与基准初始位置之间的水平距离和旋转角度。
步骤206，然后进行复位的细调部分，包括：1）使用计算机视觉技术，计算对齐左右摄像机所需的旋转角度，并驱动电机旋转其中一个摄像机使之与另一摄像机对齐；2）使用计算机视觉技术配合自动化技术，计算左右摄像机到达基准初始位置所需的水平位移，驱动电机使其中一个摄像机移动所需距离，完成自动复位。
下面结合图3详细说明双目摄像机自动复位的细调过程。
步骤302，在两个摄像机分别到达粗调位置之后，使用左右摄像机同时拍摄两幅图像。
步骤304，计算两个摄像机的光轴之间的相对旋转角度。
在本实施例中使用了计算机视觉领域的一些经典算法，如随机抽样一致算法RANSAC（RANdom Sample Consensus），稀疏集束调整（BundleAdjustment）等。概括的讲，首先对左右图像分别进行特征点提取，并将左图特征点与右图特征点进行匹配，然后不断使用不同匹配对计算两摄像机光轴之间的旋转角度，并选取其中鲁棒性最高的结果。
需要说明的是，为增加特征点匹配的准确性和鲁棒性，摄像机所拍摄的场景可以是纹理较丰富的场景，也可以是含有专门用于标定摄像机参数的棋盘格的场景。
下面针对各个步骤进行详细说明。
图像特征点提取和匹配：特征点的提取可以是简单的角点提取。计算图像中每一个像素特征分数。每一个像素特征分数可以是其灰度的Laplacian-of-Gaussian（LoG），或是鲁棒性更高的Harris分数，或HarrisAffine分数等。然后，再全局或分区局部选取分数最高的一定数目（例如500）的像素为特征点。
接下来，将在左图中提取出的特征点和在右图中提取的特征点进行匹配，也就是对于左图的每一个特征点，寻找其在右图对应同一个空间点的特征点。具体方法是，对左图的每一个特征点，寻找其在右图相同位置邻域内的所有特征点，并依据一定的匹配原则逐一计算匹配值，并选取匹配值最高的特征点作为其在右图的匹配特征点。其中，匹配原则可以是计算这两个特征点的邻域像素平方和（Sum of Squared Differences）或邻域零均值归一互相关和（Zero-mean Normalized Cross Correlation）等。最后，选取匹配值高过一定阀值的匹配特征点对（即得到多对匹配对），作为此步骤的最终结果。
计算旋转角度：通过一组匹配特征点对求解两个摄像机光轴之间的旋转角度有多种方法，本实施例列出其中的一种。
在此，假定左摄像机为基准摄像机，需要计算右摄像机相对左摄像机的旋转角度。对于任意一对匹配特征点对M={p1，p2}，p1和p2分别为同一空间点在左右摄像机图像上投影坐标的齐次表示，因而在理想情况下，有如下关系：
( K 2 - 1 p 2 ) T E K 1 - 1 p 1 = 0
K1为已知的左摄像机的内参矩阵，K2为已知的右摄像机的内参矩阵，E是一个3×3矩阵，被称为本质矩阵。假设左摄像机到右摄像机的旋转矩阵为：
R = R 11 R 12 R 13 R 21 R 22 R 23 R 31 R 32 R 33
平移向量为 t = t x t y t z , 这里，我们有E=R[t]x，其中 [ t ] x = 0 - t z t y t z 0 - t x - t y t x 0 为向量t的向量积矩阵形式。
随机抽取八组匹配特征点对，可以建立八个方程，外加第九个方程det(E)=0来计算出E。然后，对E进行奇异值分解（Singular ValueDecomposition）得到：
E=Ｕ∑VT。
进而求解出R和[t]x：
[t]x=VW∑VT，
RRUW-1VT。
这里，[t]x的结果是成比例的，其绝对结果，即左右摄像机实际水平位移的计算在后续段落中叙述。
接下来，可直接使用计算出的旋转矩阵R来计算旋转角度，也可以使用一些鲁棒估测算法，如随机抽样一致算法RANSAC(RANdom SAmpleConsensus）等来增强旋转矩阵R的鲁棒性：随机抽取8对匹配对计算旋转矩阵，并计算依据此旋转矩阵所得到的所有匹配对的重投射误差，然后计算离群匹配对的数目。重复上述过程一定数目（比如500）的次数，选取对应离群匹配对数目最小的旋转矩阵作为最终旋转矩阵。
当计算出旋转矩阵R后，两摄像机之间相对旋转角度可按照如下方法计算。
假设a，b，c分别为右摄像机相对左摄像机在x，y和z轴的旋转角度。b的解是sin-1(R31)或π+sin-1(R31)，这里由于已知旋转角度较小，所以b取两者之间绝对值最小者；关于a和c，
Figure BDA0000446619310000204
这里，由于b是较小的角度，因而cos(b)不为0。最后，计算得出的旋转角度可直接用来进行下一步的摄像机旋转，也可以经过稀疏集束调整Bundle Adjustment进行优化，进一步提高旋转角度的准确度。使用Bundle Adjustment优化的基本原理是对所计算的旋转角度进行多次迭代，使得所有非离群匹配对的二次方差和（局部）最小，此时所获得的旋转角度即为最终优化后的旋转角度。
步骤306，在计算出相对旋转角度之后，旋转其中一个摄像机，使两个摄像机对齐并且光轴平行。然后计算在此时的两个摄像机拍摄的图像之间的平均视差，由此进入摄像机的水平位移调整过程。
步骤308，使其中一个摄像头移动单位长度的距离，计算在此时的两个摄像机拍摄的图像之间的平均视差。
步骤310，计算两个摄像机之间的距离与图像的平均视差之间的对应关系，并根据该对应关系计算此时两个摄像机之间的实际距离。
步骤312，移动摄像机，使摄像机之间的距离达到所要求的距离，完成归位。
下面详细说明摄像机的水平位移的调整过程。
首先，在计算得到左右摄像机之间的相对旋转角度后，将其中一个摄像机旋转所计算的角度，使之与另一个摄像机对齐（光轴平行且方向一致）。假设此时刻为t1，控制左右摄像机同时拍摄场景并计算左右图之间的平均视差d1。
之后，控制一个摄像机向左或是向右移动一个单位距离的长度u。这里，u可以是一毫米到二厘米之间的某一已知数值。假设此时刻为t2，再次控制左右摄像机同时拍摄场景并计算现在的左右图的平均视差d2。
系统根据d1和d2计算出左右图视差和双目摄像机之间水平距离的线性对应关系，即一个单位长度的两摄像机间距u所对应的视差为d2-d1。又知此时左右图的平均视差为d2，因而左右摄像机之间的实际距离h可通过如下计算求得：
h = d 2 d 2 - d 1 u
已知两个摄像机处于基准初始位置时需要达到的预设距离为g。因此只需将控制之前移动的摄像机沿之前移动的同方向移动（g-h）长度的距离即可完成复位。
这里，计算左右图平均视差d1和d2的方法有多种，可以是基于特征点匹配的方法，也可以是基于致密匹配计算视差图的方法。在本实施例中详细阐述基于特征点匹配的方法。
如图4所示，首先进行如下特征点提取和匹配：
a.提取t1时刻左右图的特征点并进行匹配，并计算每一组匹配对的水平视差；
b.提取t2时刻左右图的特征点并进行匹配，并计算每一组匹配对的水平视差；
c.对在t1和t2时刻的左图特征点进行匹配；
d.对在t1和t2时刻的右图特征点进行匹配。
需要指出的是，每一个单独的特征点提取和匹配方法在精确计算左右摄像机相对旋转角度时已经做出了叙述，在此不再赘述。
这里，只有当一个特征点和它的左图匹配点或右图匹配点在a，b，c，d四种情况下均得到匹配时（如图4所示），才可采用其在t1和t2时刻的视差结果，否则不予采用。最后，系统对所有采用的视差求平均值，即可获得单位长度的水平位移所对应的平均视差。
致密匹配计算视差的方法与基于特征点匹配的方法的区别在于，基于特征点匹配的方法计算每个像素的特征分数，然后选取出500个特征点进行特征点匹配，最后基于特征点匹配对来计算出相对旋转角度，而致密匹配计算视差的方法没有选取500个特征点，而是将每个像素作为特征点，基于所有像素进行匹配计算，因此称为致密匹配计算视差方法，其匹配原理与基于特征点匹配的方法是相似的，在此不再赘述。
上面详细阐述了双目摄像机的自动复位方法，图5A至图5F示出了相应步骤下的双目摄像机的位置和姿态，以形象说明自动复位过程。
如图5A所示，在该图中示出了双目摄像机在完成一个拍摄任务后的位置和姿态，为了完成下一个拍摄任务，需要将双目摄像机还原至基准初始位置。从图中可知，两个摄像机的光轴没有平行且也不在基准初始位置上。
如图5B所示，在接收到复位指令时，首先进行粗调，驱动两个摄像机分别到达原点位置，在每个摄像机的原点位置处设置一个原点传感器（原点开关LSD），当传感器检测到摄像机时，确定摄像机已经到达原点位置，此时停止摄像机的移动。
如图5C所示，水平移动一个已知的距离或旋转一个已知的角度以完成粗调。这个已知的距离或角度是原点位置和基准初始位置之间的水平距离和旋转角度。在图5C中两个摄像机所处的位置是经过粗调完成之后的位置，即不是真正的基准初始位置，需要进行细调。
如图5D所示，控制左右摄像机同时采集两幅图像，然后对同时采集的图像进行分析，计算获得一个摄像机（A）相对于另一个摄像机（B）的旋转角度，选择其中一个摄像机为基准，控制另外一个摄像机旋转计算出的角度，使两个摄像机对齐且光轴保持平行。
之后，控制左右摄像机同时摄取此时的图像并计算左右摄像机所获图像之间的平均视差，然后，如图5E所示，控制摄像机A做出单位距离长度的平移，再次控制左右摄像机同时摄取图像并计算左右摄像机所获图像之间的平均视差。根据前后两次平均视差，计算出图像视差和两摄像机之间距离的对应关系，并随之计算出两摄像机之间的实际距离。最后，如图5F所示，控制摄像机A做出水平移动，使两摄像机之间的实际距离达到基准初始位置所需的距离。
图6示出了根据本发明的实施例的双目摄像机复位装置。
如图6所示，根据本发明的实施例的双目摄像机复位装置600，包括：处理器602，连接至控制器604，在两个摄像机完成粗调后，分别获取两个摄像机同时拍摄的第一图像和第二图像，根据第一图像的特征点和第二图像的特征点计算出两个摄像机之间的相对旋转角度，并向控制器发送角度控制指令，以及获取所述两个摄像机之间的间距，并向所述控制器发送距离控制指令；控制器604，连接至两个驱动单元，在接收到角度控制指令时，向两个驱动单元发送第一控制信号，以及在接收到所述距离控制指令时，向所述两个驱动单元发送第二控制信号；两个驱动单元（606A和606B），分别连接至两个摄像机，在接收到第一控制信号时，控制两个摄像机中的一摄像机旋转相对旋转角度，使一摄像机的光轴与另一摄像机的光轴平行，以及在接收到第二控制信号时，将两个摄像机之间的间距调整为预设距离，以确保两个摄像机处于预设的基准初始位置。
在对双目摄像机进行复位时，两个摄像机首先被粗调，粗调的方式可以采用目前的复位调节方法，例如人工调整方式，通过传感器检测方式等，由于摄像机没有到达准确的初始位置，为了避免目前的复位调节方式所带来的误差，因此在上述技术方案中利用计算机视觉技术来获取两个摄像机光轴之间的夹角，基于计算出的该夹角来对双目摄像机的姿态进行调节，以使双目摄像机位于理想的初始位置，此时双目摄像机的姿态和位置，称之为基准初始位置，对于双目摄像机的光轴的旋转角度的调节过程，可称之为细调过程。
为了使双目摄像机达到基准初始位置，除了使两个摄像机的光轴保持平行之外，还需要使两个摄像机之间的距离为预设距离。这样，双目摄像机拍摄的左右两幅图像之间仅有水平视差，由于避免了人工调节以及传感器检测所带来的误差，因此采用该复位方式可使双目摄像机获得更好的立体视频效果。
在上述任一技术方案中，优选的，在上述任一技术方案中，优选的，处理器602包括：特征点提取单元6022，用于分别提取第一图像的多个特征点和第二图像的多个特征点；匹配对获取单元6024，用于将第一图像的多个特征点与第二图像的多个特征点进行匹配，获取多个特征点匹配对；角度计算单元6026，用于根据多个特征点匹配对计算出相对旋转角度。
本发明采用计算机视觉技术来获取两个摄像机的光轴之间的角度差，计算角度差的方式有多种，在一种优选的实施方式中，提取左右图像的特征点，该特征点的个数可以预先设置，然后将左右图像的特征点进行匹配，得到多个匹配对，利用这些匹配对就可以计算出相对旋转角度，在角度计算过程中没有利用传感器的检测数据，完全利用左右摄像机拍摄的图像来进行分析，因此可以避免传感器带来的误差。
在上述任一技术方案中，优选的，所述特征点提取单元6022包括：像素特征分数计算子单元6022A和特征点选取子单元6022B，其中，所述像素特征分数计算子单元用于针对每一图像，计算图像中每一像素的像素特征分数，所述特征点选取子单元用于选取像素特征分数大于阈值的预定个数的像素作为每一图像的所述多个特征点；所述匹配对获取单元6024包括匹配子单元6024A，用于将所述第一图像中的每一特征点与其在所述第二图像中的相同位置邻域内的所有特征点进行一一匹配，选取匹配值最高的两个特征点作为一个所述特征点匹配对。
在提取图像的特征点时，需要计算出图像中的每一像素的像素特征分数，然后选取像素特征分数大于阈值的像素作为一个特征点。即从每一图像中选取较为典型的若干个像素点，这样可以减少后续的计算时间。然后将左右图像中的特征点进行匹配，计算每一匹配对的匹配值（即匹配度），匹配值越高，两个特征点越相似，选取匹配值较高的匹配对作为后续使用的特征点匹配对，这样同样可以减少后续的计算复杂度和计算时间。
在上述任一技术方案中，优选的，所述角度计算单元6026：旋转矩阵计算子单元6026A，用于每选取N对所述特征点匹配对，计算出所述两个摄像机之间的一个旋转矩阵，并计算出对应于每一个旋转矩阵的离群匹配对的数目，选取对应于所述离群匹配对的数目最小的旋转矩阵作为最终确定的所述两个摄像机之间的旋转矩阵；旋转角度计算子单元6026B，根据所述旋转矩阵计算出所述一摄像机相对于另一摄像机在x轴、y轴和z轴上的旋转角度，其中，所述N为大于等于8的正整数。
在确定特征点匹配对之后，在N为八时，每八对匹配对来计算出两个摄像机之间的一个选择矩阵，若有八十对匹配对，则可以计算出两个摄像机之间的十个旋转矩阵。还可以再次循环，重新从特征点匹配对中随机选取八对特征点匹配对，这样就可以再次得到十个旋转矩阵，不断循环，就可以得到更多的旋转矩阵。然后从中选取出最优的旋转矩阵作为双目摄像机的旋转矩阵，选取方式为计算每一个旋转矩阵的离群匹配对的数目，离群匹配对的数目越小，说明该旋转矩阵越符合双目摄像机之间当前相对旋转角度，因此将离群匹配对数目最小的旋转矩阵作为两个摄像机之间的旋转矩阵，最后基于该旋转矩阵可计算出两个摄像机的光轴在不同方向上的夹角。由于本发明将选取出的特征点匹配对进行随机组合，并且根据每一组随机组合的特征点匹配对计算出一个旋转矩阵，最后才从中选取出合适的旋转，因此计算出的旋转矩阵是相对准确的，误差远远小于传感器测量的误差，故采用计算机视觉技术计算出的旋转角度也是相对精确的，比人工复位与传感器测量复位具有更高的测量精度，从而使双目摄像机能够到达准确的基准初始位置。
在上述任一技术方案中，优选的，所述处理器602还包括：对应关系获取单元6028，用于获取所述两个摄像机之间的图像水平视差与所述两个摄像机之间的间距的对应关系；距离计算单元60210，用于根据所述对应关系和所述两个摄像机之间的当前图像水平视差，确定当前所述两个摄像机之间的间距；判断单元60212，用于判断确定的所述两个摄像机之间的间距是否符合所述两个摄像机的基准初始位置之间的预设距离，若不符合，则调整所述两个摄像机之间的间距。
在计算出两个摄像机的光轴之间的相对旋转角度并进行角度调节之后，再调节两个摄像机之间的距离，使其达到预设距离。在进行距离调节时，首先要获取图像水平视差与两个摄像机之间的间距的对应关系，在获取到该对应关系之后，根据两个摄像机之间的当前图像水平视差就能够确定在当前，两个摄像机之间的实际距离。若两个摄像机之间的实际距离没有达到预设距离，则将两个摄像机之间的距离调整为预设距离，否则无需调整。
在上述任一技术方案中，优选的，所述对应关系获取单元6028包括：第一平均视差计算子单元6028A，用于在所述两个摄像机的光轴相互平行的第一时刻，使所述两个摄像机分别拍摄左右图像，并计算在所述第一时刻，左右图像之间的第一平均视差；第二平均视差计算子单元6028B，用于控制其中一摄像机移动一个单位长度的距离，使所述两个摄像机在第二时刻分别拍摄左右图像，并计算在所述第二时刻，左右图像之间的第二平均视差；对应关系计算子单元6028C，用于根据平均视差之差与所述一个单位长度的距离之间的关系，获取所述对应关系，其中，所述平均视差之差为所述第一平均视差与所述第二平均视差之间的差值。
获取图像水平视差与两个摄像机之间的间距的对应关系有多种方式，可以预先设置，或者实时测量，其中实时测量的方式较为准确，可以去除外界因素干扰，根据两个摄像机的实际工作环境来计算出该对应关系。当两个摄像机处于一个相对位置时，计算此时拍摄的左右图像之间的水平视差，当两个摄像机中的一个摄像机移动单位长度距离之后，计算此时拍摄的左右图像之间的水平视差。接着判断在移动一个单位长度距离之后，左右图像的水平视差的变化量，即一个单位长度距离对应一个水平视差变化量。
通过两个摄像机之间的距离与图像水平视差之间的对应关系，就无需直接测量两个摄像机之间的距离，然后判断两个摄像机之间的距离是否满足要求，而是间接根据图像水平视差来间接确定两个摄像机之间的实际距离，由于图像水平视差是根据两个摄像机拍摄的图像的特征点计算得到，因此该计算结果相对于利用测量工具来测量两个摄像机之间的实际距离将更准确。
在上述任一技术方案中，优选的，所述对应关系获取单元6028包括：第一视差计算单元，用于提取在所述第一时刻的左右图像的特征点，将左图像的特征点与右图像的特征点进行匹配，得到多对匹配对，并计算出每一匹配对的视差，获取在所述第一时刻的所述第一平均视差，第二视差计算单元，用于提取在所述第二时刻的左右图像的特征点，将左图像的特征点与右图像的特征点进行匹配，得到多对匹配对，并计算出每一匹配对的视差，获取在所述第二时刻的所述第二平均视差。
同样，计算左右图像之间的水平视差的方式也有多种，其中较优选的方式为与计算摄像机光轴之间的旋转角度的方法类似，提取左右图像的特征点，将左右图像的特征点进行匹配，得到多对匹配对，计算出每一匹配对的水平视差，对计算出的多个水平视差进行平均计算，得到平均水平视差。
在上述任一技术方案中，优选的，所述处理器602还包括：检测单元60214，用于在任一所述匹配对中的两个特征点满足以下条件时，确定相应匹配对的视差无误，并使所述第一视差计算单元和所述第二视差计算单元根据确定无误的视差计算出所述第一平均视差和所述第二平均视差：在所述第一时刻的左图像的特征点与在所述第二时刻的左图像的特征点匹配，在所述第一时刻的右图像的特征点与在所述第二时刻的右图像的特征点匹配。
为了进一步确认计算出的每一匹配对的水平视差是否有误，可采用上述方式来进行判断。如果第一时刻的某一匹配对中的左图像特征点与第二时刻的左图像中的某特征点匹配，且在第二时刻，该匹配对中的左图像特征点也与某一右图像特征点匹配，则确定该匹配对对应的水平视差无误。根据确认无误的水平视差来计算出平均水平视差，提高平均水平视差计算的准确性，从而提高摄像机之间的间距的计算准确度，进而使双目摄像机能处于精确的初始位置。
在上述任一技术方案中，优选的，所述处理器602还用于在接收到复位开关的触发信号时，向所述控制器604发送复位命令；所述控制器604还用于在接收到所述复位命令时，向两个所述驱动单元（606A和606B）发送第三控制信号；每一所述驱动单元在接收到所述第三控制信号时，还用于驱动相对应的摄像机完成粗调，其中，每一所述驱动单元包括：第一驱动电机，在接收到所述第一控制信号时，分别驱动所述两个摄像机移动至相应的原点位置，以及在所述两个摄像机分别到达相应的原点位置后，分别驱动所述两个摄像机反方向移动所述预设距离，第二驱动电机，在所述两个摄像机分别到达相应的原点位置后，旋转预设角度。
在粗调过程中，本方案采用自动复位粗调，在发出复位命令时，利用电机驱动两个摄像机完成粗调。当两个摄像机分别完成粗调之后，采用本发明提出的细调方案，中间过程无需人工参与，用户在触发复位开关之后，就能够使双目摄像机处于精确的初始位置，达到一键复位的效果。
下面结合图7进一步说明根据本发明的双目摄像机复位装置。
双目摄像机复位装置中的主要部件：处理器602即上位机。该上位机可以是微处理器（Micro-processor）或基于中央处理器（CentralProcessing Unit）的计算机，或现场可编程逻辑门阵列（Field-Programmable Gate Array），或可编程逻辑器件（Programmable LogicDevice）。此外，由于本发明实施例使用计算机视觉技术，因而在处理器602中添加数字信号处理器（Digital Signal Processor），或图形处理器（Graphic Processing Unit）等设备提高图像处理速度。
双目摄像机复位装置还可以包括复位信号接收器（即复位开关702），可编程逻辑控制器PLC（Programmable Logical Controller）（即控制器604），传感器组，电机驱动器和电机组。其中每个摄像机对应一个驱动单元，例如左摄像机对应驱动单元606A，右摄像机对应驱动单元606B。每个驱动单元包括一个控制水平移动的电机，三个分别控制摄像机不同方向旋转的电机。除此之外，每一个摄像机有一个置于摄像支架一端的传感器，和三个置于该摄像机上的传感器，即每个摄像机有四个传感器，例如左摄像机对应传感器LSD11至LSD14（其中，LSD11用于检测摄像机是否处于原点位置，LSD12、LSD13、LSD14分别用于检测摄像机在三个方向（x、y、z）上的旋转角度），右摄像机对应传感器LSD21至LSD24。控制器604和处理器602的通信通过串口实现，处理器602和摄像机之间的通信根据左摄像机和右摄像机的输出信号而定，可以是SDI或HDMI或Firewire格式传输。此外，复位开关702和处理器602，传感器和处理器602，驱动单元和控制器604之间的信号均通过脉冲信号传输。
下面结合图8A至图8D说明对摄像机进行粗调所涉及的器件设置示意图。其中图8A至图8C说明了进行旋转粗调时所涉及的器件设置示意图，图8D说明了进行水平粗调时所涉及的器件设置示意图。
如图8A所示，是摄像机设备的俯视图。在与摄像机的基准初始位置相对的位置上设置有原点开关（传感器）802，在粗调时，电机804首先将摄像机800旋转至原点开关802所在的原点位置，然后控制摄像机800旋转已知角度，到达初始位置，该已知角度即初始位置806与原点位置之间的相对角度，由于是粗调，因此摄像机800并不是真正到达初始位置806，需要进一步进行细调。图8B和图8C是两个侧视图，从不同方向示出了该摄像机设备的结构。
如图8D所示，示出了与水平位移粗调相关的设备示意图。在图中，原点开关812所在的位置是在水平位移上的原点位置，与图8C中的原点位置不相同。电机810首先驱动摄像机800到达该原点开关812所在的位置上，然后移动摄像机800已知的距离（该已知的距离即原点位置与初始位置之间的距离），使摄像机800到达初始位置814，由于是粗调，因此摄像机800并不是真正到达初始位置814，需要进一步进行细调。而进一步细调则在前面叙述，在此不再赘述。
以上结合附图详细说明了根据本发明的技术方案，提出了一个基于计算机视觉技术的双目摄像机自动还原复位的方法和装置，相对于传统的人工还原复位等方法，此方法具有节省时间，精度高等优势；此外，本发明使用计算机视觉技术，灵活的计算出两个摄像机之间的旋转角度和实际平移距离，无需高精度的距离测量传感器等较昂贵设备即可实现双目可动摄像机的精确还原复位，并且摄像师只需发出复位命令，摄像机即可自动完成复位的任务，也提高了摄像机复位的灵活性。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (16)

1.一种双目摄像机复位方法，其特征在于，包括：
在两个摄像机完成粗调后，分别获取所述两个摄像机同时拍摄的第一图像和第二图像；
根据所述第一图像的特征点和所述第二图像的特征点计算出所述两个摄像机的光轴之间的相对旋转角度；
控制所述两个摄像机中的一摄像机旋转所述相对旋转角度，使所述摄像机的光轴与另一摄像机的光轴平行；
在所述两个摄像机的光轴平行后，将所述两个摄像机之间的间距调整为预设距离，以确保所述两个摄像机处于预设的基准初始位置。
2.根据权利要求1所述的双目摄像机复位方法，其特征在于，所述根据所述第一图像的特征点和所述第二图像的特征点计算出所述两个摄像机的光轴之间的相对旋转角度，包括：
分别提取所述第一图像的多个特征点和所述第二图像的多个特征点；
将所述第一图像的多个特征点与所述第二图像的多个特征点进行匹配，获取多个特征点匹配对；
根据多个所述特征点匹配对计算出所述相对旋转角度。
3.根据权利要求2所述的双目摄像机复位方法，其特征在于，所述分别提取所述第一图像的多个特征点和所述第二图像的多个特征点，包括：
针对每一图像，计算图像中每一像素的像素特征分数，
选取像素特征分数大于阈值的预定个数的像素作为每一图像的所述多个特征点；
所述将所述第一图像的特征点与所述第二图像的特征点进行匹配，包括：
将所述第一图像中的每一特征点与其在所述第二图像中的相同位置邻域内的所有特征点进行一一匹配，
选取匹配值最高的两个特征点作为一个所述特征点匹配对。
4.根据权利要求2所述的双目摄像机复位方法，其特征在于，所述根据多个所述特征点匹配对计算出所述相对旋转角度，包括：
每选取N对所述特征点匹配对，计算出所述两个摄像机之间的一个旋转矩阵，所述N为大于等于8的正整数；
计算出对应于每一个旋转矩阵的离群匹配对的数目；选取对应于所述离群匹配对的数目最小的旋转矩阵作为最终确定的所述两个摄像机之间的旋转矩阵；
根据所述旋转矩阵计算出所述摄像机相对于所述另一摄像机在x轴、y轴和z轴上的旋转角度。
5.根据权利要求1至4中任一项所述的双目摄像机复位方法，其特征在于，所述将所述两个摄像机之间的间距调整为预设距离，包括：
获取所述两个摄像机之间的图像水平视差与所述两个摄像机之间的间距的对应关系；
根据所述对应关系和所述两个摄像机之间的当前图像水平视差，确定当前所述两个摄像机之间的间距；
判断确定的所述两个摄像机之间的间距是否符合所述两个摄像机的基准初始位置之间的预设距离，若不符合，则调整所述两个摄像机之间的间距。
6.根据权利要求5所述的双目摄像机复位方法，其特征在于，所述获取所述两个摄像机之间的图像水平视差与所述两个摄像机之间的间距的对应关系，包括：
在所述两个摄像机的光轴相互平行的第一时刻，使所述两个摄像机分别拍摄左右图像，并计算在所述第一时刻，左右图像之间的第一平均视差；
控制其中一摄像机移动一个单位长度的距离，使所述两个摄像机在第二时刻分别拍摄左右图像，并计算在所述第二时刻，左右图像之间的第二平均视差；
根据平均视差之差与所述一个单位长度的距离之间的关系，获取所述对应关系，其中，所述平均视差之差为所述第一平均视差与所述第二平均视差之间的差值。
7.根据权利要求6所述的双目摄像机复位方法，其特征在于，计算所述左右图像之间的平均视差的方法包括：
提取在所述第一时刻的左右图像的特征点，将左图像的特征点与右图像的特征点进行匹配，得到多对匹配对，并计算出每一匹配对的视差，获取在所述第一时刻的所述第一平均视差；
提取在所述第二时刻的左右图像的特征点，将左图像的特征点与右图像的特征点进行匹配，得到多对匹配对，并计算出每一匹配对的视差，获取在所述第二时刻的所述第二平均视差；
其中，在任一所述匹配对中的两个特征点满足以下条件时，确定相应匹配对的视差无误，并根据确定无误的视差计算出所述第一平均视差和所述第二平均视差：
在所述第一时刻的左图像的特征点与在所述第二时刻的左图像的特征点匹配，在所述第一时刻的右图像的特征点与在所述第二时刻的右图像的特征点匹配。
8.根据权利要求1至4中任一项所述的双目摄像机复位方法，其特征在于，所述两个摄像机完成粗调具体包括：
在接收到复位命令时，分别驱动所述两个摄像机移动至相应的原点位置；
在所述两个摄像机分别到达相应的原点位置后，分别驱动所述两个摄像机旋转预设角度以及反方向移动所述预设距离。
9.一种双目摄像机复位装置，其特征在于，包括：
处理器，连接至控制器，在两个摄像机完成粗调后，分别获取所述两个摄像机同时拍摄的第一图像和第二图像，根据所述第一图像的特征点和所述第二图像的特征点计算出所述两个摄像机之间的相对旋转角度，并向所述控制器发送角度控制指令，以及获取所述两个摄像机之间的间距，并向所述控制器发送距离控制指令；
所述控制器，连接至两个驱动单元，在接收到所述角度控制指令时，向两个所述驱动单元发送所述第一控制信号，以及在接收到所述距离控制指令时，向所述两个驱动单元发送第二控制信号；
两个驱动单元，分别连接至所述两个摄像机，在接收到第一控制信号时，控制所述两个摄像机中的一摄像机旋转所述相对旋转角度，使所述摄像机的光轴与另一摄像机的光轴平行，以及在接收到第二控制信号时，将所述两个摄像机之间的间距调整为预设距离，以确保所述两个摄像机处于预设的基准初始位置。
10.根据权利要求9所述的双目摄像机复位装置，其特征在于，所述处理器包括：
特征点提取单元，用于分别提取所述第一图像的多个特征点和所述第二图像的多个特征点；
匹配对获取单元，用于将所述第一图像的多个特征点与所述第二图像的多个特征点进行匹配，获取多个特征点匹配对；
角度计算单元，用于根据多个所述特征点匹配对计算出所述相对旋转角度。
11.根据权利要求10所述的双目摄像机复位装置，其特征在于，所述特征点提取单元包括：像素特征分数计算子单元和特征点选取子单元，其中，所述像素特征分数计算子单元用于针对每一图像，计算图像中每一像素的像素特征分数，所述特征点选取子单元用于选取像素特征分数大于阈值的预定个数的像素作为每一图像的所述多个特征点；
所述匹配对获取单元包括匹配子单元，用于将所述第一图像中的每一特征点与其在所述第二图像中的相同位置邻域内的所有特征点进行一一匹配，选取匹配值最高的两个特征点作为一个所述特征点匹配对。
12.根据权利要求10所述的双目摄像机复位装置，其特征在于，所述角度计算单元包括：
旋转矩阵计算子单元，用于每选取N对所述特征点匹配对，计算出所述两个摄像机之间的一个旋转矩阵，并计算出对应于每一个旋转矩阵的离群匹配对的数目，选取对应于所述离群匹配对的数目最小的旋转矩阵作为最终确定的所述两个摄像机之间的旋转矩阵；
旋转角度计算子单元，用于根据所述旋转矩阵计算出所述一摄像机相对于另一摄像机在x轴、y轴和z轴上的旋转角度，其中，所述N为大于等于8的正整数。
13.根据权利要求9至12中任一项所述的双目摄像机复位装置，其特征在于，所述处理器包括：
对应关系获取单元，用于获取所述两个摄像机之间的图像水平视差与所述两个摄像机之间的间距的对应关系；
距离计算单元，用于根据所述对应关系和所述两个摄像机之间的当前图像水平视差，确定当前所述两个摄像机之间的间距；
判断单元，用于判断确定的所述两个摄像机之间的间距是否符合所述两个摄像机的基准初始位置之间的预设距离，若不符合，则调整所述两个摄像机之间的间距。
14.根据权利要求13所述的双目摄像机复位装置，其特征在于，所述对应关系获取单元包括：
第一平均视差计算子单元，用于在所述两个摄像机的光轴相互平行的第一时刻，使所述两个摄像机分别拍摄左右图像，并计算在所述第一时刻，左右图像之间的第一平均视差；
第二平均视差计算子单元，用于控制其中一摄像机移动一个单位长度的距离，使所述两个摄像机在第二时刻分别拍摄左右图像，并计算在所述第二时刻，左右图像之间的第二平均视差；
对应关系计算子单元，用于根据平均视差之差与所述一个单位长度的距离之间的关系，获取所述对应关系，其中，所述平均视差之差为所述第一平均视差与所述第二平均视差之间的差值。
15.根据权利要求14所述的双目摄像机复位装置，其特征在于，所述对应关系获取单元包括：
第一视差计算单元，用于提取在所述第一时刻的左右图像的特征点，将左图像的特征点与右图像的特征点进行匹配，得到多对匹配对，并计算出每一匹配对的视差，获取在所述第一时刻的所述第一平均视差；
第二视差计算单元，用于提取在所述第二时刻的左右图像的特征点，将左图像的特征点与右图像的特征点进行匹配，得到多对匹配对，并计算出每一匹配对的视差，获取在所述第二时刻的所述第二平均视差；
所述处理器还包括：检测单元，用于在任一所述匹配对中的两个特征点满足以下条件时，确定相应匹配对的视差无误，并使所述第一视差计算单元和所述第二视差计算单元根据确定无误的视差计算出所述第一平均视差和所述第二平均视差：
在所述第一时刻的左图像的特征点与在所述第二时刻的左图像的特征点匹配，在所述第一时刻的右图像的特征点与在所述第二时刻的右图像的特征点匹配。
16.根据权利要求9至12中任一项所述的双目摄像机复位装置，其特征在于，所述处理器还用于在接收到复位开关的触发信号时，向所述控制器发送复位命令；
所述控制器还用于在接收到所述复位命令时，向两个所述驱动单元发送第三控制信号；
每一所述驱动单元在接收到所述第三控制信号时，还用于驱动相对应的摄像机完成粗调，
其中，每一所述驱动单元包括：
第一驱动电机，在接收到所述第一控制信号时，分别驱动所述两个摄像机移动至相应的原点位置，以及在所述两个摄像机分别到达相应的原点位置后，分别驱动所述两个摄像机反方向移动所述预设距离，
第二驱动电机，在所述两个摄像机分别到达相应的原点位置后，旋转预设角度。
CN201310728399.0A 2013-12-25 2013-12-25 双目摄像机复位方法和双目摄像机复位装置 Active CN103731658B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201310728399.0A CN103731658B (zh) 2013-12-25 2013-12-25 双目摄像机复位方法和双目摄像机复位装置
US14/488,442 US9706188B2 (en) 2013-12-25 2014-09-17 Binocular camera resetting method and binocular camera resetting apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310728399.0A CN103731658B (zh) 2013-12-25 2013-12-25 双目摄像机复位方法和双目摄像机复位装置

Publications (2)

Publication Number Publication Date
CN103731658A true CN103731658A (zh) 2014-04-16
CN103731658B CN103731658B (zh) 2015-09-30

Family

ID=50455562

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310728399.0A Active CN103731658B (zh) 2013-12-25 2013-12-25 双目摄像机复位方法和双目摄像机复位装置

Country Status (2)

Country Link
US (1) US9706188B2 (zh)
CN (1) CN103731658B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104469170A (zh) * 2014-12-29 2015-03-25 浙江宇视科技有限公司 双目摄像装置、图像处理方法及装置
CN104601892A (zh) * 2015-01-30 2015-05-06 深圳酷派技术有限公司 一种终端、图像拍摄方法及装置
CN105607409A (zh) * 2016-01-07 2016-05-25 信利光电股份有限公司 一种双摄像头模组校正用的影像采集装置及其使用方法
CN106412397A (zh) * 2016-10-17 2017-02-15 成都观界创宇科技有限公司 摄像设备及用于识别摄像设备状态的方法及装置
CN107742310A (zh) * 2017-09-18 2018-02-27 广东美晨通讯有限公司 一种双摄像头的夹角的测试方法、测试装置及存储装置
CN108933936A (zh) * 2017-05-25 2018-12-04 通用汽车环球科技运作有限责任公司 用于摄像头校准的方法和装置
CN109084959A (zh) * 2018-06-05 2018-12-25 南京理工大学 一种基于双目测距算法的光轴平行度校正方法
CN110225840A (zh) * 2017-01-26 2019-09-10 福特全球技术公司 虚拟现实自主驾驶接管
WO2020133468A1 (en) * 2018-12-29 2020-07-02 Zhejiang Dahua Technology Co., Ltd. Methods and systems for camera calibration
CN112098044A (zh) * 2020-09-07 2020-12-18 深圳惠牛科技有限公司 检测方法、系统、单目模组检测设备及存储介质
WO2021104357A1 (zh) * 2019-11-29 2021-06-03 维沃移动通信有限公司 电子设备和拍摄方法
CN113155083A (zh) * 2021-04-25 2021-07-23 深圳慧源创新科技有限公司 双目摄像头测距方法、装置、测距设备和可读存储介质
CN115988193A (zh) * 2022-12-09 2023-04-18 广纳四维(广东)光电科技有限公司 一种基于单镜头的双目合像方法、光学模组及头显设备

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9196039B2 (en) * 2014-04-01 2015-11-24 Gopro, Inc. Image sensor read window adjustment for multi-camera array tolerance
US10027954B2 (en) * 2016-05-23 2018-07-17 Microsoft Technology Licensing, Llc Registering cameras in a multi-camera imager
US10326979B2 (en) 2016-05-23 2019-06-18 Microsoft Technology Licensing, Llc Imaging system comprising real-time image registration
US10339662B2 (en) 2016-05-23 2019-07-02 Microsoft Technology Licensing, Llc Registering cameras with virtual fiducials
US10796425B1 (en) * 2016-09-06 2020-10-06 Amazon Technologies, Inc. Imagery-based member deformation gauge
WO2019080061A1 (zh) * 2017-10-26 2019-05-02 深圳市柔宇科技有限公司 基于摄像设备的遮挡检测修复装置及其遮挡检测修复方法
CN110148178B (zh) * 2018-06-19 2022-02-22 腾讯科技（深圳）有限公司 相机定位方法、装置、终端及存储介质
CN109900301B (zh) * 2019-04-02 2022-10-25 哈尔滨工程大学 一种动态环境下双目立体定位角度补偿方法
JP2020190438A (ja) * 2019-05-20 2020-11-26 株式会社リコー 計測装置および計測システム
CN116170693B (zh) * 2023-04-25 2023-07-21 山西乐宸科技有限公司 一种安防监控系统控制方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101231750A (zh) * 2008-02-21 2008-07-30 南京航空航天大学 一种双目立体测量系统的标定方法
CN101706957A (zh) * 2009-10-30 2010-05-12 无锡景象数字技术有限公司 一种双目立体视觉装置的自标定方法
CN103415860A (zh) * 2011-01-27 2013-11-27 Metaio有限公司 确定第一和第二图像间的对应关系的方法以及确定摄像机姿态的方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110117558A (ko) * 2010-04-21 2011-10-27 삼성전자주식회사 3차원 카메라 장치
US8797414B2 (en) * 2010-12-23 2014-08-05 Samsung Electronics Co., Ltd. Digital image stabilization device
CN103792667B (zh) * 2012-10-30 2016-06-01 财团法人工业技术研究院 立体摄像装置、自动校正装置与校正方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101231750A (zh) * 2008-02-21 2008-07-30 南京航空航天大学 一种双目立体测量系统的标定方法
CN101706957A (zh) * 2009-10-30 2010-05-12 无锡景象数字技术有限公司 一种双目立体视觉装置的自标定方法
CN103415860A (zh) * 2011-01-27 2013-11-27 Metaio有限公司 确定第一和第二图像间的对应关系的方法以及确定摄像机姿态的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘晓利等: "双目立体视觉的光学标定技术", 《光学仪器》 *
朱永娟: "双目摄像机的自标定方法研究", 《光电技术应用》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104469170B (zh) * 2014-12-29 2017-11-03 浙江宇视科技有限公司 双目摄像装置、图像处理方法及装置
CN104469170A (zh) * 2014-12-29 2015-03-25 浙江宇视科技有限公司 双目摄像装置、图像处理方法及装置
CN104601892A (zh) * 2015-01-30 2015-05-06 深圳酷派技术有限公司 一种终端、图像拍摄方法及装置
CN105607409A (zh) * 2016-01-07 2016-05-25 信利光电股份有限公司 一种双摄像头模组校正用的影像采集装置及其使用方法
CN105607409B (zh) * 2016-01-07 2018-04-03 信利光电股份有限公司 一种双摄像头模组校正用的影像采集装置及其使用方法
CN106412397A (zh) * 2016-10-17 2017-02-15 成都观界创宇科技有限公司 摄像设备及用于识别摄像设备状态的方法及装置
CN110225840A (zh) * 2017-01-26 2019-09-10 福特全球技术公司 虚拟现实自主驾驶接管
CN108933936A (zh) * 2017-05-25 2018-12-04 通用汽车环球科技运作有限责任公司 用于摄像头校准的方法和装置
CN107742310B (zh) * 2017-09-18 2021-06-04 广东美晨通讯有限公司 一种双摄像头的夹角的测试方法、测试装置及存储装置
CN107742310A (zh) * 2017-09-18 2018-02-27 广东美晨通讯有限公司 一种双摄像头的夹角的测试方法、测试装置及存储装置
CN109084959A (zh) * 2018-06-05 2018-12-25 南京理工大学 一种基于双目测距算法的光轴平行度校正方法
WO2020133468A1 (en) * 2018-12-29 2020-07-02 Zhejiang Dahua Technology Co., Ltd. Methods and systems for camera calibration
WO2021104357A1 (zh) * 2019-11-29 2021-06-03 维沃移动通信有限公司 电子设备和拍摄方法
CN112098044A (zh) * 2020-09-07 2020-12-18 深圳惠牛科技有限公司 检测方法、系统、单目模组检测设备及存储介质
CN112098044B (zh) * 2020-09-07 2022-07-26 深圳惠牛科技有限公司 检测方法、系统、单目模组检测设备及存储介质
CN113155083A (zh) * 2021-04-25 2021-07-23 深圳慧源创新科技有限公司 双目摄像头测距方法、装置、测距设备和可读存储介质
CN113155083B (zh) * 2021-04-25 2023-06-23 深圳慧源创新科技有限公司 双目摄像头测距方法、装置、测距设备和可读存储介质
CN115988193A (zh) * 2022-12-09 2023-04-18 广纳四维(广东)光电科技有限公司 一种基于单镜头的双目合像方法、光学模组及头显设备
CN115988193B (zh) * 2022-12-09 2024-02-09 广纳四维(广东)光电科技有限公司 一种基于单镜头的双目合像方法、光学模组及头显设备

Also Published As

Publication number Publication date
US9706188B2 (en) 2017-07-11
US20150181199A1 (en) 2015-06-25
CN103731658B (zh) 2015-09-30

Similar Documents

Publication Publication Date Title
CN103731658B (zh) 双目摄像机复位方法和双目摄像机复位装置
CN106529495B (zh) 一种飞行器的障碍物检测方法和装置
US11663741B2 (en) Stereo calibration method for movable vision system
Carrera et al. SLAM-based automatic extrinsic calibration of a multi-camera rig
Levinson et al. Automatic online calibration of cameras and lasers.
CN103278139B (zh) 一种可变焦单双目视觉传感装置
CN103020952B (zh) 信息处理设备和信息处理方法
CN102353340B (zh) 缸盖毛坯加工尺寸识别方法及装置
CN109840922B (zh) 基于双目光场相机的深度获取方法和系统
KR20150004989A (ko) 삼차원 영상 획득 장치 및 이를 이용한 영상 처리 방법
CN112598706B (zh) 无需精确时空同步的多相机运动目标三维轨迹重建方法
CN110751685B (zh) 深度信息确定方法、确定装置、电子装置和车辆
CN109636857B (zh) 对位方法及标定系统
CN114812558B (zh) 一种结合激光测距的单目视觉无人机自主定位方法
CN113052897A (zh) 定位初始化方法和相关装置、设备、存储介质
KR101006728B1 (ko) 중심 투영과 영상 매칭을 이용한 자동 3 차원 좌표 측정 방법
CN209231985U (zh) 一种基于虚拟双目视觉原理的摄像机参数自动标定装置
CN105335959A (zh) 成像装置快速对焦方法及其设备
CN111199576B (zh) 一种基于移动平台的室外大范围人体姿态重建方法
CN110322518B (zh) 立体匹配算法的评价方法、评价系统及测试设备
Bao et al. Cost-effective and robust visual based localization with consumer-level cameras at construction sites
KR101142279B1 (ko) 스테레오 비전 시스템에서의 이미지 정렬 장치 및 방법
CN112001970A (zh) 一种基于点线特征的单目视觉里程计方法
CN103841394A (zh) 多层式三维显示器的标定设备和标定方法
Tilneac et al. 3D stereo vision measurements for weed-crop discrimination

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20180713

Address after: 518052 Room 201, building A, 1 front Bay Road, Shenzhen Qianhai cooperation zone, Shenzhen, Guangdong

Patentee after: Shenzhen super Technology Co., Ltd.

Address before: 518053 East Guangdong H-1 East 101, overseas Chinese town, Nanshan District, Shenzhen.

Co-patentee before: Shenzhen SuperD Photoelectronic Co., Ltd.

Patentee before: The auspicious photoelectron of Shenzhen's Merck research institute

TR01 Transfer of patent right