CN104469170B - 双目摄像装置、图像处理方法及装置 - Google Patents

Abstract

本发明提供双目摄像装置、图像处理方法及装置，所述装置包括：电机圆盘齿轮，矩形齿片，第一机芯圆盘齿轮和第二机芯圆盘齿轮；在所述第一机芯圆盘齿轮上设置第一机芯，所述第一机芯通过第一镜头拍摄第一图像，在所述第二机芯圆盘齿轮上设置第二机芯，所述第二机芯通过第二镜头拍摄第二图像；所述矩形齿片的两侧边分别包括第一齿条和第二齿条，其中，所述电机圆盘齿轮与所述第二齿条咬合，所述第一机芯圆盘齿轮与所述第一齿条咬合，所述第二机芯圆盘齿轮与所述第二齿条咬合。应用本发明提供的双目摄像装置，可以扩展拍摄功能，并基于上述拍摄的图像实现各种双目三维测量和全景拼接的有机结合。

Description

双目摄像装置、图像处理方法及装置

技术领域

本发明涉及监控技术领域，尤其涉及双目摄像装置、图像处理方法及装置。

背景技术

视频监控系统是安全防范系统的重要组成部分，传统的视频监控系统包括前端摄像装置、传输线缆和视频监控平台。其中，摄像装置通常设置在云台上，通过云台控制可以实现水平360度旋转，从而实现监控拍摄。但是，在一种现有技术中，摄像装置通常采用单目摄像机，即该摄像装置为一单机芯球机，因此拍摄功能单一，难以基于所拍摄图像实现三维测量。

发明内容

本发明提供双目摄像装置、图像处理方法及装置，以解决现有技术中难以基于摄像装置实现三维测量的问题。

根据本发明实施例的第一方面，提供一种双目摄像装置，所述装置包括：电机圆盘齿轮，矩形齿片，第一机芯圆盘齿轮和第二机芯圆盘齿轮；

在所述第一机芯圆盘齿轮上设置第一机芯，所述第一机芯通过第一镜头拍摄第一图像，在所述第二机芯圆盘齿轮上设置第二机芯，所述第二机芯通过第二镜头拍摄第二图像；

所述矩形齿片的两侧边分别包括第一齿条和第二齿条，其中，所述电机圆盘齿轮与所述第二齿条咬合，所述第一机芯圆盘齿轮与所述第一齿条咬合，所述第二机芯圆盘齿轮与所述第二齿条咬合。

根据本发明实施例的第二方面，提供一种图像处理方法，所述方法用于对前述双目摄像装置拍摄的图像进行处理，所述方法包括：

在第一机芯和第二机芯运动过程中，检测所述第一机芯和所述第二机芯的中轴线夹角；

根据所述中轴线夹角选择图像合成模式；

按照所述图像合成模式对所述第一机芯拍摄的第一图像和所述第二机芯拍摄的第二图像进行合成，生成合成全景图；

对所述合成全景图进行视频编码。

根据本发明实施例的第三方面，提供一种图像处理装置，所述装置用于对前述双目摄像装置拍摄的图像进行处理，所述装置包括：

获取单元，用于在第一机芯和第二机芯运动过程中，检测所述第一机芯和所述第二机芯的中轴线夹角；

选择单元，用于根据所述中轴线夹角选择图像合成模式；

合成单元，用于按照所述图像合成模式对所述第一机芯拍摄的第一图像和所述第二机芯拍摄的第二图像进行合成，生成合成全景图；

编码单元，用于对所述合成全景图进行视频编码。

本发明实施例中的双目摄像装置与现有单目摄像装置相比，通过齿轮与齿条的咬合结构，可以统一控制两个机芯做开合运动，并可进一步通过控制云台转盘做PT运动，从而实现水平方向360度覆盖拍摄，以此增强摄像装置的拍摄广度，提高摄像的准确性；基于上述双目摄像装置拍摄的图像，可以通过对所拍摄图像进行拼接实现拍摄大场景的功能，并获得根据拼接场景大小采用可变分辨率的图像编码进行编码后的图像；在全景拼接模式下，可以实现在大场景范围内，对前景目标进行重点跟踪，从而可以扩大目标的跟踪范围，提供目标的跟踪精确度；进一步，通过控制双目摄像装置运动到两个机芯的视场重叠区域最大时，可以利用该重叠区域对感兴趣物体的三维参数进行测量，从而扩展了双目摄像装置的功能。综上可知，应用本发明提供的双目摄像装置，可以扩展拍摄功能，并基于上述拍摄的图像实现各种双目三维测量和全景拼接的有机结合。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1A为本发明一种实施方式中双目摄像装置的结构示意图；

图1B为本发明另一种实施方式中双目摄像装置的结构示意图；

图2A和图2B为本发明一种实施方式中双目摄像装置的运动状态示意图；

图3A和图3B为本发明一种实施方式中双目摄像装置的工作状态示意图；

图4A至图4D为本发明一种实施方式中双目摄像装置的镜头视场重叠关系示意图；

图5为本发明一种实施方式中的图像处理方法流程图；

图6为本发明另一种实施方式中的图像处理方法流程图；

图7为本发明另一种实施方式中的图像处理方法流程图；

图8为本发明图像处理装置运行的硬件环境架构图；

图9为本发明一种实施方式中的图像处理装置框图。

具体实施方式

参见图1A，为本发明一种实施方式中的双目摄像装置结构示意图：

该双目摄像装置包括：电机圆盘齿轮110，矩形齿片120，该矩形齿片120的两侧边分别包括第一齿条121和第二齿条122，第一机芯圆盘齿轮130和第二机芯圆盘齿轮140，在第一机芯圆盘齿轮130上设置第一机芯150，第一机芯150通过第一镜头151拍摄监控图像，在第二机芯圆盘齿轮140上设置第二机芯160，第二机芯160通过第二镜头161拍摄监控图像。其中，第一机芯150和第二机芯160可以为定焦机芯；当第一机芯150和第二机芯160具有相同配置时，两个机芯在拍摄同一场景时，所拍摄图像相同，例如，该相同配置可以包括采用相同的图像传感器，采用相同的定焦焦距，配置相同的图像处理参数等。

其中，电机圆盘齿轮110与矩形齿片120的第二齿条122咬合，第一机芯圆盘齿轮130与第一齿条121咬合，第二机芯圆盘齿轮140与第二齿条122咬合。当电机圆盘齿轮110转动时，可以带动矩形齿片120运动，从而使得第一机芯圆盘130和第二机芯圆盘140转动，最终带动第一机芯150和第二机芯160转动，从而进行监控拍摄。

参见图1B，为本发明另一种实施方式中的双目摄像装置结构示意图：

与图1A相比，图1B中增加了云台转盘100，图1A所示装置中的矩形齿片130、第一机芯圆盘齿轮130和第二机芯圆盘齿轮140可以设置在云台转盘100上。其中，图1A示出的装置可以在云台转盘100上进行PT(Pan/Tilt，左右/上下)运动，云台转盘100可以在水平方向进行360度旋转，以及在竖直方向上在预设角度范围内旋转，例如，该预设角度范围为正60度至负60度之间。

参见图2A和图2B，为本发明一种实施方式中的双目摄像装置运动状态示意图：

在图2A中，当步进电机(图2A未示出)驱动电机圆盘齿轮110顺时针转动时，电机圆盘齿轮110通过与矩形齿片120的第二齿条122之间的咬合，驱动矩形齿片120向上运动；在向上运动过程中，矩形齿片120通过第一齿条121与第一机芯圆盘齿轮130之间的咬合，带动第一机芯圆盘齿轮130逆时针转动，进而带动第一机芯150转动，以及通过第二齿条122与第二机芯圆盘齿轮140之间的咬合，带动第二机芯圆盘齿轮140顺时针转动，进而带动第二机芯160转动；上述过程相当于第一机芯150和第二机芯160在水平方向上做张开运动。

在图2B中，当步进电机(图2B未示出)驱动电机圆盘齿轮110逆时针转动时，电机圆盘齿轮110通过与矩形齿片120的第二齿条122之间的咬合，驱动矩形齿片120向下运动；在向下运动过程中，矩形齿片120通过第一齿条121与第一机芯圆盘齿轮130之间的咬合，带动第一机芯圆盘齿轮130顺时针转动，进而带动第一机芯150转动，以及通过第二齿条122与第二机芯圆盘齿轮140之间的咬合，带动第二机芯圆盘齿轮140逆时针转动，进而带动第二机芯160转动；对应于图2A，上述过程相当于第一机芯150和第二机芯160在水平方向上做闭合运动。

参见图3A和图3B，为本发明一种实施方式中的双目摄像装置工作状态示意图：

在图3A中，对应于图2B中第一机芯150和第二机芯160在水平方向上做闭合运动，当第一机芯150和第二机芯160的中轴线平行时，即中轴线夹角θ为0时，第一镜头151的第一视场与第二镜头161的第二视场的重叠区域最多，即第一镜头151和第二镜头161所拍摄图像的重叠区域最多，其中视场表示镜头所能拍摄的场景范围。

在图3B中，对应于图2A中第一机芯150和第二机芯160在水平方向上做张开运动，第一镜头151和第二镜头161的中轴线夹角θ逐渐增大，第一镜头151的第一视场与第二镜头161的第二视场的重叠区域逐渐减少，即第一镜头151和第二镜头161所拍摄图像的重叠区域也逐渐减少。

参见图4A至图4D，为本发明一种实施方式中双目摄像装置的镜头视场重叠关系示意图：结合前述图1A至图3B，其中第一镜头151的第一视场表示为“L”，第二镜头161的第二视场表示为“R”。

在图4A中，当第一机芯150和第二机芯160做张开运动直至中轴线夹角θ达到最大时，第一视场L和第二视场R之间没有重叠；在图4B和图4C中，当第一机芯150和第二机芯160做闭合运动，中轴线夹角θ逐渐减小，第一视场L和第二视场R之间的重叠区域逐渐增大；在图4D中，第一机芯150和第二机芯160做闭合运动直至中轴线夹角θ为0时，第一视场L和第二视场R之间的重叠区域达到最大。在上述图4A至图4D中，阴影部分示出了第一视场L和第二视场R之间的重叠区域。

由上述双目摄像装置的实施例可见，该装置通过齿轮与齿条的咬合结构，可以统一控制两个机芯做开合运动，并可进一步通过控制云台转盘做PT运动，从而实现水平方向360度覆盖拍摄，以此增强摄像装置的拍摄广度，提高摄像的准确性；并且应用该双目摄像装置可以扩展拍摄功能，并基于上述拍摄的图像实现各种双目三维测量和全景拼接的有机结合。

与前述双目摄像装置的实施例相对应，本发明还提供了对通过该双目摄像装置所拍摄图像进行处理的图像处理方法实施例和图像处理装置实施例。

参见图5，为本发明一种实施方式中的图像处理方法实施例，该实施例示出了根据双目摄像装置所拍摄图像生成合成全景图的过程：

步骤501：在第一机芯和第二机芯运动过程中，检测第一机芯和第二机芯的中轴线夹角。

结合图1A至图3B中示出的双目摄像装置，在第一机芯和第二机芯做张开或闭合运动时，第一机芯和第二机芯的中轴线夹角θ发生变化。

步骤502：比较中轴线夹角和预设的夹角阈值，当中轴线夹角大于夹角阈值时，执行步骤503；当中轴线夹角不大于夹角阈值时，执行步骤504。

本实施例中预先设置夹角阈值θ_theshold，将该夹角阈值θ_theshold作为图像合成模式的选择阈值，当θ不小于θ_theshold且逐渐增大时，表示第一机芯和第二机芯持续做张开运动，此时第一图像和第二图像没有重叠，对应于图4A中示出的视场示意图；当θ小于θ_theshold且逐渐减小时，表示第一机芯和第二机芯持续做闭合运动，此时第一图像和第二图像之间产生重叠，对应于图4B至图4D中示出的视场示意图。

步骤503：选择合成大图模式生成合成全景图，并对合成全景图进行视频编码，结束当前流程。

本步骤中，当θ不小于θ_theshold时，选择合成大图模式，此时将第一图像和第二图像直接进行左右拼接，生成第一图像和第二图像的合成全景图，结合图4A，即将第一视场L下拍摄的第一图像和第二视场R下拍摄的第二图像按照从左到右的顺序存放，从而生成宽度加倍，且高度不变的合成全景图，然后对该合成全景图进行视频编码，视频编码的具体方式可以采用现有技术中的任一编码方式，对此本发明实施例不再赘述。

步骤504：选择全景拼接模式生成合成全景图。

本步骤中，当θ小于θ_theshold时，选择全景模式，此时检测第一图像和第二图像的SIFT(Scale Invariant Feature Transform，尺度不变特征转换)特征点，在对上述SIFT特征点进行匹配后，将第一图像和第二图像进行变换，以生成第一图像和第二图像的合成全景图，上述通过SIFT特征点匹配对第一图像和第二图像进行全景拼接的过程与现有技术中的全景拼接过程一致，在此不再赘述。

步骤505：判断第一机芯和第二机芯的运动速度是否大于预设的速度阈值，若是，则执行步骤506；否则，执行步骤507。

本实施例中，第一机芯和第二机芯在做张开运动或闭合运动时，其运动速度可能发生变化，运动速度的变化可以通过中轴线夹角的变化速度进行表征。假设中轴线夹角的变化速度为Δθ/s，预设的用于表征速度阈值的角度变化速度阈值为

步骤506：选择长度为1帧的GOP对合成全景图进行视频编码，结束当前流程。

当Δθ/s大于时，表示第一机芯和第二机芯的运动速度较快，此时所拍摄的第一图像和第二图像的图像内容变化较快，因此可以选择长度较短的GOP(Group ofPictures，图像组)对第一图像和第二图像的合成全景图进行视频编码，例如，可以优选长度为1帧的GOP，即采用全I帧对合成全景图进行视频编码。

步骤507：选择预设长度的GOP对合成全景图进行视频编码，结束当前流程。

当Δθ/s不大于时，表示第一机芯和第二机芯的运动速度较慢，此时所拍摄的第一图像和第二图像的图像内容变化较慢，因此可以选择长度较长的GOP对第一图像和第二图像的合成全景图进行视频编码。例如，假设GOP的预设长度为n(n为大于1的自然数)帧，此时在一个GOP中，对第一图像和第二图像的同一帧图像分别生成合成全景图，即生成n帧合成全景图，并对该n帧合成全景图进行视频编码；其中，由于第一机芯和第二机芯运动过程中，第一图像和第二图像的重叠区域逐渐增加或者逐渐减小，相应每一帧合成全景图的图像长度有所变化，因此在进行视频编码前，可以对每一帧合成全景图进行缩放，使同一个GOP内的每一帧合成全景图具有相同的图像分辨率，然后再对该GOP进行视频编码。

上述步骤506和步骤507中，视频编码的具体方式可以采用现有技术中的任一编码方式，对此本实施例不再赘述。

由上述实施例可见，基于双目摄像装置拍摄的图像，可以通过对所拍摄图像进行拼接实现拍摄大场景的功能，并获得根据拼接场景大小采用可变分辨率的图像编码进行编码后的图像。

参见图6，为本发明另一种实施方式中的图像处理方法流程图，该实施例示出了在全景拼接模式下基于合成全景图进行运动目标跟踪的过程：

步骤601：对合成全景图进行前景和背景分离，获得运动前景。

步骤602：通过对运动前景进行检测，选择运动目标。

步骤601和步骤602中对图像的前景和背景进行分离，并从运动前景中检测运动目标的过程与现有技术中的实现方式一致，在此不再赘述。其中，运动目标可以包括行驶中的车辆，走动中的行人等。

步骤603：根据运动目标在第一图像和第二图像中的位置，从第一机芯和第二机芯中选择一个目标机芯，其中，运动目标到目标机芯所拍摄图像的中心的距离小于到另一个机芯所拍摄图像的中心的距离。

本步骤中从双目摄像装置的第一机芯和第二机芯中选择一个目标机芯对运动目标进行跟踪时，可以采用就近原则，即比较运动目标到第一图像中心的第一距离，以及运动目标到第二图像中心的第二距离，选择第一距离和第二距离中较短距离对应的机芯作为目标机芯。

步骤604：根据跟踪算法控制云台转盘转动，对运动目标进行跟踪，以使运动目标位于目标机芯所拍摄图像的中央。

本步骤中对运动目标进行跟踪时可以采用现有技术中的任一跟踪算法，对此本实施例不再赘述。在采用跟踪算法对运动目标进行跟踪时，当运动目标偏离目标机芯所拍摄图像的中央时，可以控制云台转台做PT运动，从而实现对运动目标的跟踪，以使运动目标在跟踪过程中始终位于目标机芯所拍摄图像的中央。

其中，在对运动目标进行跟踪时，可以停止第一机芯和第二机芯的张开运动或闭合运动，而仅控制云台转台做PT运动，对此本实施例不进行限制。

步骤605：在跟踪运动目标结束后，控制云台转盘恢复到预设位置。

在对运动目标进行跟踪过程中，当在目标机芯所拍摄图像中检测不到运动目标，或者满足预设跟踪结束条件时，可以确定跟踪运动目标结束，此时可以控制云台转盘在水平方向和竖直方向均恢复到预设位置。

由上述实施例可见，在全景拼接模式下，可以实现在大场景范围内，对前景目标进行重点跟踪，从而可以扩大目标的跟踪范围，提供目标的跟踪精确度。

参见图7，为本发明另一种实施方式中的图像处理方法流程图，该实施例示出了双目摄像装置中的两个机芯的中轴线平行时对目标物体进行3D测量的过程：

步骤701：当在第一图像或第二图像中检测到目标物体时，控制第一机芯和第二机芯进行运动，直到满足预设条件，该预设条件包括中轴线夹角为0，且目标物体位于第一图像和第二图像的重叠区域。

本实施例中在实现对目标物体进行3D测量时，可以首先从第一图像或第二图像中检测到目标物体，例如，当该目标物体为行人时，可以通过现有行人检测算法从第一图像或第二图像中检测目标行人；然后可以控制双目摄像装置的第一机芯和第二机芯运动到如图3A所示的中轴线夹角θ为0的状态，此时第一机芯拍摄的第一图像与第二机芯拍摄的第二图像之间的重叠区域示意如图4D所示，即第一图像和第二图像之间的重叠区域达到最大，同时控制云台转台进行PT运动，以使目标物体位于上述重叠区域内。

步骤702：通过预先获得的校正映射矩阵分别对满足预设条件时拍摄的第一图像和第二图像进行校正映射，获得视差映射图。

本实施例可以预先在线下通过对双目摄像装置进行双目标定功能测量，获得用于进行3D测量的视差深度变换矩阵Q，校正映射矩阵M₀₀、M₀₁、M₁₀和M₁₁。当第一机芯和第二机芯运动到满足预设条件时，可以通过校正映射矩阵对第一图像和第二图像进行校正，并对校正后的图像按行求取视差映射图，该视差映射图中的每一点可以通过三维坐标(x，y，d)表示，其中d为每一点的视差映射值。

步骤703：从视差映射图中提取目标物体的目标点，该目标点位于视差映射图中目标物体的边缘轮廓范围内，且与该边缘轮廓的距离为预设距离。

由于目标物体位于第一图像和第二图像的重叠区域，因此可以从任一图像的视差映射图中检测出目标物体的边缘轮廓范围，并在该边缘轮廓范围内提取目标物体的目标点。

本实施例中，假设目标物体为目标行人，且目标点用于测量目标行人的高度，则可以在目标行人的边缘轮廓范围内，分别从人头处提取目标点A，以及从人脚处提取目标点B，上述目标点A和目标点B分别距离边缘轮廓预设距离，例如该预设距离w为3(单位为像素)。

步骤704：以目标点为中心，按照预设大小的邻域窗口计算目标点的视差均值。

仍然以目标物体为目标行人为例，假设预先设置了大小为w×w(例如，3×3)的邻域窗口，则在选择了目标点A和目标点B后，可以分别以目标点A和目标点B为中心，取大小为w×w的邻域窗口，对该邻域窗口内的每个点的视差映射值d进行遍历，消除上述视差映射值d中不在预设的映射阈值范围内的奇异点，获得N个视差映射值d，对该N个视差映射值d按照如下公式求视差均值：

步骤705：将根据视差均值获得的该目标点在视差映射图中的坐标，转换为世界坐标系中的坐标。

将按照上述公式(1)计算得到目标点A的视差均值作为目标点A的视差映射值，对应目标点A在视差映射图中的坐标为将按照上述公式(1)计算得到目标点B的视差均值作为目标点B的视差映射值，对应目标点B在视差映射图中的坐标为分别将上述目标点A和目标点B的坐标按照如下公式转换为世界坐标系中的坐标：

上述公式(2)中，Q为视差深度变换矩阵，W为预设因子。将目标点A和目标点B在视差映射图中的坐标分别代入上述公式(2)，假设求得目标点A在世界坐标系中的坐标为(X_w0，Y_w0，Z_w0)，目标点B在世界坐标系中的坐标为(X_w1，Y_w1，Z_w1)。

步骤706：根据世界坐标系中的坐标测量目标物体的三维参数。

本步骤中，在计算得到目标物体的目标点在世界坐标系中的坐标后，可以根据该目标点测量目标物体的各种3D(三维)参数，其中，根据目标点的位置不同，能够测量的3D参数可以包括目标物体的长度、宽度、对角线长度等，例如，目标行人的高度，行驶车辆的宽度，静止箱柜的长度和宽度等。

例如，结合步骤705，在计算得到目标行人的目标点A在世界坐标系中的坐标(X_w0，Y_w0，Z_w0)，以及目标点B在世界坐标系中的坐标(X_w1，Y_w1，Z_w1)后，可以按照如下公式计算目标行人的身高h：

由上述实施例可见，通过控制双目摄像装置运动到两个机芯的视场重叠区域最大时，可以利用该重叠区域对感兴趣物体的三维参数进行测量，从而扩展了双目摄像装置的功能。

参见图8，为本发明一种实施方式中图像处理装置运行的硬件环境架构图：

本发明图像处理装置的实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在设备的CPU将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图8所示，为本发明图像处理装置所在设备的一种硬件结构图，除了图8所示的CPU、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的设备通常还可以包括其他硬件，对此图8不再一一示出。

参见图9，是本发明一种实施方式中的图像处理装置框图：

该装置包括：获取单元910、选择单元920、合成单元930和编码单元940。

其中，获取单元910，用于在第一机芯和第二机芯运动过程中，检测所述第一机芯和所述第二机芯的中轴线夹角；

选择单元920，用于根据所述中轴线夹角选择图像合成模式；

合成单元930，用于按照所述图像合成模式对所述第一机芯拍摄的第一图像和所述第二机芯拍摄的第二图像进行合成，生成合成全景图；

编码单元940，用于对所述合成全景图进行视频编码。

在一个可选的实现方式中：

所述选择单元920可以包括(图9中未示出)：

夹角比较子单元，用于比较所述中轴线夹角和预设的夹角阈值；

模式选择子单元，用于当所述中轴线夹角大于所述夹角阈值时，选择合成大图模式，当所述中轴线夹角不大于所述夹角阈值时，选择全景拼接模式；

所述合成单元930可以包括(图9中未示出)：

合成大图子单元，用于当所述图像合成模式为合成大图模式时，将所述第一图像和所述第二图像直接进行左右拼接，以生成所述第一图像和第二图像的合成全景图；

全景拼接子单元，用于当所述图像合成模式为全景拼接模式时，检测所述第一图像和所述第二图像的尺度不变特征转换SIFT特征点，在对所述SIFT特征点进行匹配后，将所述第一图像和所述第二图像进行变换，以生成所述第一图像和第二图像的合成全景图。

在另一个可选的实现方式中：

当所述合成单元930按照所述全景拼接模式生成所述合成全景图时，所述编码单元940可以包括(图9中未示出)：

速度判断子单元，用于判断所述第一机芯和所述第二机芯的运动速度是否大于预设的速度阈值；

视频编码子单元，用于当所述运动速度大于所述速度阈值时，选择长度为1帧的GOP对所述合成全景图进行视频编码，当所述运动速度不大于所述速度阈值时，选择预设长度的GOP对所述合成全景图进行视频编码。

在另一个可选的实现方式中：

当所述合成单元930按照所述全景拼接模式生成所述合成全景图时，所述装置还可以包括：跟踪单元950，用于对所述合成全景图进行前景和背景分离，获得运动前景；通过对所述运动前景进行检测，选择运动目标；根据所述运动目标在所述第一图像和所述第二图像中的位置，从所述第一机芯和所述第二机芯中选择一个目标机芯，其中，所述运动目标到所述目标机芯所拍摄图像的中心的距离小于到另一个机芯所拍摄图像的中心的距离；根据跟踪算法控制云台转盘转动，对所述运动目标进行跟踪，以使所述运动目标位于所述目标机芯所拍摄图像的中央；在跟踪所述运动目标结束后，控制所述云台转盘恢复到预设位置。

在另一个可选的实现方式中：

所述装置还可以包括：测量单元960，用于当在所述第一图像或第二图像中检测到目标物体时，控制所述第一机芯和所述第二机芯进行运动，直到满足预设条件，所述预设条件包括所述中轴线夹角为0，且所述目标物体位于所述第一图像和所述第二图像的重叠区域；通过预先获得的校正映射矩阵分别对满足所述预设条件时拍摄的第一图像和第二图像进行校正映射，获得视差映射图；从所述视差映射图中提取所述目标物体的目标点，所述目标点位于所述视差映射图中所述目标物体的边缘轮廓范围内，且与所述边缘轮廓的距离为预设距离；以所述目标点为中心，按照预设大小的邻域窗口计算所述目标点的视差均值；将根据所述视差均值获得的所述目标点在所述视差映射图中的坐标，转换为世界坐标系中的坐标；根据所述世界坐标系中的坐标测量所述目标物体的三维参数；其中，根据所述目标点的位置不同，所述三维参数包括所述目标物体的长度、宽度、对角线长度。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

由上述装置实施例可见，基于双目摄像装置拍摄的图像，可以通过对所拍摄图像进行拼接实现拍摄大场景的功能，并获得根据拼接场景大小采用可变分辨率的图像编码进行编码后的图像；在全景拼接模式下，可以实现在大场景范围内，对前景目标进行重点跟踪，从而可以扩大目标的跟踪范围，提供目标的跟踪精确度；进一步，通过控制双目摄像装置运动到两个机芯的视场重叠区域最大时，可以利用该重叠区域对感兴趣物体的三维参数进行测量，从而扩展了双目摄像装置的功能。综上可知，应用本发明提供的双目摄像装置，可以扩展拍摄功能，并基于上述拍摄的图像实现各种双目三维测量和全景拼接的有机结合。因此，可以实现各种双目三维测量和全景拼接的有机结合。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (14)

1.一种双目摄像装置，其特征在于，所述装置包括：电机圆盘齿轮，矩形齿片，第一机芯圆盘齿轮和第二机芯圆盘齿轮；

在所述第一机芯圆盘齿轮上设置第一机芯，所述第一机芯通过第一镜头拍摄第一图像，在所述第二机芯圆盘齿轮上设置第二机芯，所述第二机芯通过第二镜头拍摄第二图像，所述第一图像与所述第二图像之间重叠区域的大小与所述第一机芯和所述第二机芯之间中轴线夹角大小具有负相关关系，且所述重叠区域的最小值为0；

所述矩形齿片的两侧边分别包括第一齿条和第二齿条，其中，所述电机圆盘齿轮与所述第二齿条咬合，所述第一机芯圆盘齿轮与所述第一齿条咬合，所述第二机芯圆盘齿轮与所述第二齿条咬合。

2.根据权利要求1所述的装置，其特征在于，

当所述电机圆盘齿轮转动时，通过与所述第二齿条之间的咬合，带动所述矩形齿片运动；

当所述矩形齿片运动时，带动所述第一机芯圆盘齿轮和所述第二机芯圆盘齿轮转动，其中，所述第一机芯圆盘齿轮转动时驱动所述第一机芯转动，所述第二机芯圆盘齿轮转动时驱动所述第二机芯转动。

3.根据权利要求2所述的装置，其特征在于，

在所述第一机芯和所述第二机芯做张开运动时，当所述第一机芯和所述第二机芯的中轴线夹角为0时，所述第一镜头的第一视场与所述第二镜头的第二视场之间的重叠区域最多；

在所述第一机芯和所述第二机芯做闭合运动时，当所述第一机芯和所述第二机芯的中轴线夹角为最大时，所述第一镜头的第一视场与所述第二镜头的第二视场之间的重叠区域最少。

4.根据权利要求1所述的装置，其特征在于，所述装置还包括：用于执行左右上下Pan/Tilt运动的云台转盘；

其中，所述矩形齿片、所述第一机芯圆盘齿轮和所述第二机芯圆盘齿轮设置在所述云台转盘上。

5.一种图像处理方法，其特征在于，所述方法用于对如权利要求1至4任一所述的双目摄像装置拍摄的图像进行处理，所述方法包括：

在第一机芯和第二机芯运动过程中，检测所述第一机芯和所述第二机芯的中轴线夹角；

根据所述中轴线夹角与预设的夹角阈值选择图像合成模式；

按照所述图像合成模式对所述第一机芯拍摄的第一图像和所述第二机芯拍摄的第二图像进行合成，生成合成全景图，所述图像合成模式包括合成大图模式与全景拼接模式；

对所述合成全景图进行视频编码。

6.根据权利要求5所述的方法，其特征在于，

所述根据所述中轴线夹角与预设的夹角阈值选择图像合成模式，包括：

比较所述中轴线夹角和预设的夹角阈值；

当所述中轴线夹角大于所述夹角阈值时，选择合成大图模式，当所述中轴线夹角不大于所述夹角阈值时，选择全景拼接模式；

所述按照所述图像合成模式对所述第一机芯拍摄的第一图像和所述第二机芯拍摄的第二图像进行合成，生成合成全景图，包括：

当所述图像合成模式为合成大图模式时，将所述第一图像和所述第二图像直接进行左右拼接，以生成所述第一图像和第二图像的合成全景图；

当所述图像合成模式为全景拼接模式时，检测所述第一图像和所述第二图像的尺度不变特征转换SIFT特征点，在对所述SIFT特征点进行匹配后，将所述第一图像和所述第二图像进行变换，以生成所述第一图像和第二图像的合成全景图。

7.根据权利要求6所述的方法，其特征在于，当按照所述全景拼接模式生成所述合成全景图时，所述对所述合成全景图进行视频编码包括：

判断所述第一机芯和所述第二机芯的运动速度是否大于预设的速度阈值；

当所述运动速度大于所述速度阈值时，选择长度为1帧的画面组GOP对所述合成全景图进行视频编码，当所述运动速度不大于所述速度阈值时，选择预设长度的GOP对所述合成全景图进行视频编码。

8.根据权利要求6所述的方法，其特征在于，当按照所述全景拼接模式生成所述合成全景图时，所述方法还包括：

对所述合成全景图进行前景和背景分离，获得运动前景；

通过对所述运动前景进行检测，选择运动目标；

根据所述运动目标在所述第一图像和所述第二图像中的位置，从所述第一机芯和所述第二机芯中选择一个目标机芯，其中，所述运动目标到所述目标机芯所拍摄图像的中心的距离小于到另一个机芯所拍摄图像的中心的距离；

根据跟踪算法控制云台转盘转动，对所述运动目标进行跟踪，以使所述运动目标位于所述目标机芯所拍摄图像的中央；

在跟踪所述运动目标结束后，控制所述云台转盘恢复到预设位置。

9.根据权利要求5所述的方法，其特征在于，所述方法还包括：

当在所述第一图像或第二图像中检测到目标物体时，控制所述第一机芯和所述第二机芯进行运动，直到满足预设条件，所述预设条件包括所述中轴线夹角为0，且所述目标物体位于所述第一图像和所述第二图像的重叠区域；

通过预先获得的校正映射矩阵分别对满足所述预设条件时拍摄的第一图像和第二图像进行校正映射，获得视差映射图；

从所述视差映射图中提取所述目标物体的目标点，所述目标点位于所述视差映射图中所述目标物体的边缘轮廓范围内，且与所述边缘轮廓的距离为预设距离；

以所述目标点为中心，按照预设大小的邻域窗口计算所述目标点的视差均值；

将根据所述视差均值获得的所述目标点在所述视差映射图中的坐标，转换为世界坐标系中的坐标；

根据所述世界坐标系中的坐标测量所述目标物体的三维参数；其中，根据所述目标点的位置不同，所述三维参数包括所述目标物体的长度、宽度、对角线长度。

10.一种图像处理装置，其特征在于，所述装置用于对如权利要求1至4任一所述的双目摄像装置拍摄的图像进行处理，所述装置包括：

获取单元，用于在第一机芯和第二机芯运动过程中，检测所述第一机芯和所述第二机芯的中轴线夹角；

选择单元，用于根据所述中轴线夹角与预设的夹角阈值选择图像合成模式；

合成单元，用于按照所述图像合成模式对所述第一机芯拍摄的第一图像和所述第二机芯拍摄的第二图像进行合成，生成合成全景图，所述图像合成模式包括合成大图模式与全景拼接模式；

编码单元，用于对所述合成全景图进行视频编码。

11.根据权利要求10所述的装置，其特征在于，

所述选择单元包括：

夹角比较子单元，用于比较所述中轴线夹角和预设的夹角阈值；

模式选择子单元，用于当所述中轴线夹角大于所述夹角阈值时，选择合成大图模式，当所述中轴线夹角不大于所述夹角阈值时，选择全景拼接模式；

所述合成单元包括：

合成大图子单元，用于当所述图像合成模式为合成大图模式时，将所述第一图像和所述第二图像直接进行左右拼接，以生成所述第一图像和第二图像的合成全景图；

全景拼接子单元，用于当所述图像合成模式为全景拼接模式时，检测所述第一图像和所述第二图像的尺度不变特征转换SIFT特征点，在对所述SIFT特征点进行匹配后，将所述第一图像和所述第二图像进行变换，以生成所述第一图像和第二图像的合成全景图。

12.根据权利要求11所述的装置，其特征在于，当所述合成单元按照所述全景拼接模式生成所述合成全景图时，所述编码单元包括：

速度判断子单元，用于判断所述第一机芯和所述第二机芯的运动速度是否大于预设的速度阈值；

视频编码子单元，用于当所述运动速度大于所述速度阈值时，选择长度为1帧的GOP对所述合成全景图进行视频编码，当所述运动速度不大于所述速度阈值时，选择预设长度的GOP对所述合成全景图进行视频编码。

13.根据权利要求11所述的装置，其特征在于，当所述合成单元按照所述全景拼接模式生成所述合成全景图时，所述装置还包括：

跟踪单元，用于对所述合成全景图进行前景和背景分离，获得运动前景；通过对所述运动前景进行检测，选择运动目标；根据所述运动目标在所述第一图像和所述第二图像中的位置，从所述第一机芯和所述第二机芯中选择一个目标机芯，其中，所述运动目标到所述目标机芯所拍摄图像的中心的距离小于到另一个机芯所拍摄图像的中心的距离；根据跟踪算法控制云台转盘转动，对所述运动目标进行跟踪，以使所述运动目标位于所述目标机芯所拍摄图像的中央；在跟踪所述运动目标结束后，控制所述云台转盘恢复到预设位置。

14.根据权利要求10所述的装置，其特征在于，所述装置还包括：

测量单元，用于当在所述第一图像或第二图像中检测到目标物体时，控制所述第一机芯和所述第二机芯进行运动，直到满足预设条件，所述预设条件包括所述中轴线夹角为0，且所述目标物体位于所述第一图像和所述第二图像的重叠区域；通过预先获得的校正映射矩阵分别对满足所述预设条件时拍摄的第一图像和第二图像进行校正映射，获得视差映射图；从所述视差映射图中提取所述目标物体的目标点，所述目标点位于所述视差映射图中所述目标物体的边缘轮廓范围内，且与所述边缘轮廓的距离为预设距离；以所述目标点为中心，按照预设大小的邻域窗口计算所述目标点的视差均值；将根据所述视差均值获得的所述目标点在所述视差映射图中的坐标，转换为世界坐标系中的坐标；根据所述世界坐标系中的坐标测量所述目标物体的三维参数；其中，根据所述目标点的位置不同，所述三维参数包括所述目标物体的长度、宽度、对角线长度。