CN111770270B - 一种相机姿态的校正方法、摄像机 - Google Patents

一种相机姿态的校正方法、摄像机 Download PDF

Info

Publication number
CN111770270B
CN111770270B CN202010590417.3A CN202010590417A CN111770270B CN 111770270 B CN111770270 B CN 111770270B CN 202010590417 A CN202010590417 A CN 202010590417A CN 111770270 B CN111770270 B CN 111770270B
Authority
CN
China
Prior art keywords
attitude information
coordinate system
holder
measurement data
axis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010590417.3A
Other languages
English (en)
Other versions
CN111770270A (zh
Inventor
王欢
沈康
马伟民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202010590417.3A priority Critical patent/CN111770270B/zh
Publication of CN111770270A publication Critical patent/CN111770270A/zh
Application granted granted Critical
Publication of CN111770270B publication Critical patent/CN111770270B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

公开了一种相机姿态的校正方法，包括，获取第一位置处加速度传感器的第一测量数据、以及第二位置处加速度传感器的第二测量数据，其中，第二位置为以云台转轴为轴心带动机芯和加速度传感器同步旋转至与第一位置的方位角坐标相差180°，根据第一测量数据，确定机芯在世界坐标系下的第一姿态信息，根据第一测量数据和第二测量数据，通过云台转轴向量获取云台在世界坐标系下的第二姿态信息，根据第一姿态信息和第二姿态信息，确定机芯与云台的之间的相对姿态信息，基于第二姿态信息、相对姿态信息，通过坐标变换，获取云台以云台转轴为轴心旋转至任一位置时机芯在世界坐标系下的当前姿态信息，作为相机姿态校正结果。本发明提高了相机姿态校正精度。

Description

一种相机姿态的校正方法、摄像机
技术领域
本发明涉及摄像机领域，特别地，涉及一种相机姿态的校正方法。
背景技术
随着摄像机设备智能功能的丰富，设备的安装越来越有着更高的要求。以球机为例，在球机中，具有成像模组的机芯与控制机芯运动的云台如果安装不精密，则会导致目标跟踪、目标GPS定位的精度不够。
现有的相机姿态校正通过加速度传感器与陀螺仪对相机姿态进行校正，使用加速度传感器确定相机的俯仰角和横滚角，使用陀螺仪确定相机的偏航角，得到相机在世界坐标系下的姿态，但是这种方法误差较大，精度不高。
发明内容
本发明提供了一种相机姿态的校正方法，以提高相机姿态的校正精度。
本发明提供的一种相机姿态的校正方法，所述相机包括，具有成像模组的机芯、安装于机芯上的加速度传感器、和控制机芯转动的云台，该方法包括，
获取第一位置处加速度传感器的第一测量数据、以及第二位置处加速度传感器的第二测量数据，其中，第二位置为以云台转轴为轴心带动机芯和加速度传感器同步旋转至与第一位置的方位角坐标相差180°，机芯PT坐标系的P轴与云台PT坐标系的P轴重合，
根据第一测量数据，确定机芯在世界坐标系下的第一姿态信息，
根据第一测量数据和第二测量数据，通过云台转轴向量获取云台在世界坐标系下的第二姿态信息，
根据第一姿态信息和第二姿态信息，确定机芯与云台的之间的相对姿态信息，
基于第二姿态信息、相对姿态信息，通过坐标变换，获取云台以云台转轴为轴心旋转至任一位置时机芯在世界坐标系下的当前姿态信息，作为相机姿态校正结果。
较佳地，该方法还包括，基于第一姿态信息、相对姿态信息，通过坐标变换，获取机芯到达世界坐标下的任一预定位置时需要云台绕云台的转轴转动的姿态信息。
较佳地，所述根据第一测量数据，确定机芯在世界坐标系下的第一姿态信息，包括，
根据第一测量数据包括的加速度传感器所测量得到的三维直角坐标系中的读数、以及加速度传感器无任何偏转时的读数，得到加速度传感器读数与偏转角的转换关系，
基于所述转换关系，求得机芯在世界坐标系下的俯仰角、偏航角和横滚角，得到机芯在世界坐标系下的第一欧拉角。
较佳地，所述根据第一测量数据和第二测量数据，通过云台转轴向量获取云台在世界坐标系下的第二姿态信息，包括，
基于第一测量数据中包括的加速度传感器所测量得到的三维直角坐标系中的读数、和第二测量数据中包括的加速度传感器所测量得到的三维直角坐标系中的读数，分别求取第一测量数据和第二测量数据三维直角坐标系中各读数之和，并进行归一化，得到转轴向量，
计算所述转轴向量的俯仰角和横滚角，作为云台在世界坐标系下的俯仰角和横滚角；基于机芯PT坐标系的P轴与云台PT坐标系的P轴重合，确定云台在世界坐标系下的偏航角为0，得到云台在世界坐标系下的第二欧拉角，作为第二姿态信息，该姿态信息用于表征云台与地平面的安装偏角。
较佳地，根据第一姿态信息和第二姿态信息，确定机芯与云台的之间的相对姿态信息，包括，
将第一欧拉角进行四元数化，得到第一姿态信息的四元数表示，
将第二欧拉角进行四元数化，得到第二姿态信息的四元数表示，
基于机芯PT坐标系、世界坐标系、云台PT坐标系之间的转换关系，计算第一姿态信息四元数的转置与第二姿态信息四元数的点积，得到机芯与云台的之间的相对姿态信息的四元数表示，将该四元数转换为欧拉角，得到相对姿态信息，该相对姿态信息用于表征机芯与云台的安装姿态偏角。
较佳地，所述基于第二姿态信息、相对姿态信息，通过坐标变换，获取云台以云台转轴为轴心旋转至任一位置时机芯在世界坐标系下的当前姿态信息，作为相机姿态校正结果，包括，
基于机芯PT坐标系、世界坐标系、云台PT坐标系之间的转换关系，计算第二姿态信息四元数、云台在云台坐标系下转动至当前位置时当前姿态信息的四元数、机芯与云台之间相对姿态信息四元数的转置的三者点积，得到云台以云台转轴为轴心旋转至该位置时机芯在世界坐标系下的当前姿态信息的四元数表示，将该四元数转换为欧拉角，得到姿态信息。
较佳地，所述基于第一姿态信息、相对姿态信息，通过坐标变换，获取机芯到达世界坐标下的任一预定位置时需要云台绕云台的转轴转动的姿态信息，包括，
基于机芯PT坐标系、世界坐标系、云台PT坐标系之间的转换关系，计算第一姿态信息四元数的转置、机芯到达世界坐标下当前预定位置时当前姿态信息的四元数、机芯与云台之间相对姿态信息四元数的三者点积，得到机芯到达世界坐标下该预定位置时需要云台绕云台的转轴转动的姿态信息的四元数表示，将该四元数转换为欧拉角，得到姿态信息。
本发明提供的一种相机姿态的校正装置，应用于具有云台的相机中，该装置包括，
加速度传感器测量模块，获取第一位置处加速度传感器的第一测量数据、以及第二位置处加速度传感器的第二测量数据，
其中，第二位置为以云台转轴为轴心带动机芯和加速度传感器同步旋转至与第一位置的方位角坐标相差180°，机芯PT坐标系的P轴与云台PT坐标系的P轴重合，
计算模块，用于
根据第一测量数据，确定机芯在世界坐标系下的第一姿态信息，
根据第一测量数据和第二测量数据，通过云台转轴向量获取云台在世界坐标系下的第二姿态信息，
根据第一姿态信息和第二姿态信息，确定机芯与云台的之间的相对姿态信息，
基于第二姿态信息、相对姿态信息，通过坐标变换，获取云台以云台转轴为轴心旋转至任一位置时机芯在世界坐标系下的当前姿态信息，作为校正结果。
本发明提供的一种摄像机，包括，具有成像模组的机芯、安装于机芯上的加速度传感器、和控制机芯转动的云台，该摄像机还包括，存储器和处理器，其中，存储器存储有计算机程序，处理器被配置执行所述计算机程序实现上述任一所述相机姿态的校正方法的步骤。
本发明提供的一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述相机姿态的校正方法的步骤。
本发明还提供一种确定相机安装偏差的方法，所述相机包括，具有图像传感器和加速度传感器的机芯组件，和控制机芯组件转动的云台组件，其中，所述机芯组件固定地安装在所述云台组件上，所述云台组件被配置为响应于外界输入的PT坐标进行俯仰运动和/或水平旋转运动，使得所述机芯组件进行对应的俯仰运动和/或水平旋转运动，以使所述图像传感器采集所述外界输入的PT坐标所对应的图像，所述方法包括：在所述云台组件处于第一PT坐标时，从所述加速度传感器处获取第一测量数据；
在所述云台组件处于第二PT坐标时，从所述加速度传感器处获取第二测量数据；
基于所述第一测量数据和所述第二测量数据，确定所述机芯组件与所述云台组件之间存在倾斜。
较佳地，确定所述机芯组件与所述云台组件存在倾斜，包括：
基于所述第一测量数据，计算得到第一四元数，
基于第一测量数据和第二测量数据，通过云台以其转轴为轴心从第一位置旋转到第二位置的转轴向量，计算得到第二四元数；
基于所述第一四元数和所述第二四元数，确定所述机芯组件与所述云台组件存在倾斜。
较佳地，所述加速度传感器为三轴传感器，用于分别生成X、Y、Z轴的测量数据，其中X轴的测量数据用于指示所述机芯组件的俯仰角，Y轴的测量数据用于指示所述机芯组件的偏航角，Z轴的数据用于指示所述机芯组件的横滚角；
基于所述第一测量数据，根据测量数据与偏转角的转换关系确定第一四元数，用于指示所述机芯组件的PT坐标系与水平坐标系的映射函数；
基于所述第一测量数据和第二测量数据，计算云台从第一PT坐标旋转到第二PT坐标的转轴向量，确定第二四元数，用于指示所述云台组件的PT坐标系与水平坐标系的映射函数；
基于所述第一四元数和所述第二四元数，确定所述机芯组件和所述云台组件存在的倾斜。
较佳地，其中基于所述第一四元数和所述第二四元数，确定所述机芯组件与所述云台组件存在倾斜，包括：
将所述第一四元数的转置和所述第二四元数之间的点积结果确定为所述机芯组件PT坐标系和所述云台组件PT坐标系之间的映射函数，用于定量指示所述机芯组件与所述云台组件存在的倾斜。
较佳地，确定所述机芯组件和所述云台组件存在倾斜，包括：
确定所述机芯组件和所述云台组件之间存在俯仰角以及横滚角，或确定所述机芯组件PT坐标系的P轴与所述云台组件PT坐标系的P轴重合，且机芯组件PT坐标系的T轴与所述云台组件PT坐标系的T轴不重合。
较佳地，第一PT坐标与第二PT坐标的方位角相差180°。
较佳地，所述加速度传感器为三轴传感器，用于分别生成X、Y、Z轴的测量数据，其中X轴的测量数据用于指示俯仰角，Y轴的测量数据用于指示偏航角，Z轴的数据用于指示横滚角；
所述确定所述机芯组件和所述云台组件存在的倾斜，包括：
基于所述第一测量数据中X轴数据和所述第二测量数据中X轴数据，计算转轴向量的x分量，确定在所述云台组件处于第二PT坐标时，所述云台组件对应的俯仰角；
基于所述第一测量数据中Y和Z轴数据、以及所述第二测量数据中Y和Z轴数据，分别计算转轴向量的y分量和z分量，确定在所述云台组件处于第二PT坐标时，所述云台组件对应的横滚角；
基于在所述云台组件处于第二PT坐标时，所述云台组件对应的俯仰角和对应的横滚角，确定第二四元数，用于指示所述云台组件的PT坐标系与水平坐标系的映射函数；
基于所述第一测量数据，确定第一四元数，用于指示所述机芯组件的PT坐标系与水平坐标系的映射函数；
基于所述第一四元数和所述第二四元数，确定所述机芯组件和所述云台组件存在的倾斜。
较佳地，在所述云台组件处于任一输入的第三PT坐标时，将该第三PT坐标进行四元数转化，得到第三四元数；
基于所述第二四元数、所述第三四元数和所述机芯组件PT坐标系和所述云台组件PT坐标系之间的映射函数，得到在所述云台组件处于第三PT坐标时，所述机芯组件的PT坐标。
较佳地，在所述机芯组件处于任一输入的第四PT坐标时，将该第三PT坐标进行四元数转化，得到第四四元数；
基于所述第二四元数、所述第四四元数和所述机芯组件PT坐标系和所述云台组件PT坐标系之间的映射函数，得到在所述机芯组件处于第四PT坐标时，所述云台组件的PT坐标。
较佳地，在所述云台组件处于第三PT坐标时，所述机芯组件的PT坐标为，第二四元数、第三四元数、基于所述机芯组件PT坐标系和所述云台组件PT坐标系之间的映射函数所转化的四元数的转置，该三者点积的结果，数学式表达为：
Figure BDA0002555272900000051
其中，
Figure BDA0002555272900000052
为第二四元数，
Figure BDA0002555272900000053
为第三四元数，
Figure BDA0002555272900000054
为基于所述机芯组件PT坐标系和所述云台组件PT坐标系之间的映射函数所转化的四元数的转置。
较佳地，所述在所述机芯组件处于第四PT坐标时，所述云台组件的PT坐标包括，第一四元数的转置、第四四元数、基于所述机芯组件PT坐标系和所述云台组件PT坐标系之间的映射函数所转化的四元数，该三者点积的结果，数学式表达为：
Figure BDA0002555272900000061
其中，
Figure BDA0002555272900000062
为第一四元数的转置，
Figure BDA0002555272900000063
为第四四元数，
Figure BDA0002555272900000064
为基于所述机芯组件PT坐标系和所述云台组件PT坐标系之间的映射函数所转化的四元数。
较佳地，将所述转轴向量进行归一化，基于归一化后的转轴向量，计算该向量与x轴的夹角，得到所述云台组件处于第二PT坐标时，所述云台组件对应的俯仰角；计算该向量与z轴的夹角，得到所述云台组件处于第二PT坐标时，所述云台组件对应的横滚角；基于机芯PT坐标系的P轴与云台PT坐标系的P轴重合，确定云台在世界坐标系下的偏航角为0，得到云台相对地面的安装偏角；
较佳地，所述计算该向量与x轴的夹角，数学式表达为：
β＝arccos(nx)
其中，β为俯仰角，nx为归一化后的转轴向量的x分量；
所述计算该向量与z轴的夹角，数学式表达为：
γ＝arctan(ny/nz)
其中，γ为横滚角，ny、nz分别为转轴向量的y分量和z分量。本发明实施例通过云台控制机芯在方位角相差180°的两个位置处的加速度传感器测量数据，计算得到机芯在世界坐标系下的第一姿态信息、云台在世界坐标系下的第二姿态信息、机芯与云台的之间的相对姿态信息、以及云台以云台转轴为轴心旋转至任一位置时机芯在世界坐标系下的当前姿态信息，从而实现了对相机姿态的校正。本发明实施例无需陀螺仪数据来进行校正，有利于提高校正的精度，并且，通过所述第二姿态信息，可获取云台与地面的安装偏角，通过机芯与云台的之间的相对姿态信息，可获取机芯与云台的安装偏角，无需人工介入，有效地解决机芯安装在云台中发生倾斜和云台安装不水平所带来的目标跟踪、目标GPS定位的精度不够的问题。
附图说明
图1是具有成像模组的机芯建立PTZ空间坐标系的一种示意图。
图2为一球机中云台、机芯主视图中按照右手坐标系原则建立的三维空间坐标系与PT空间坐标系之间关系的一种示意图。
图3为本申请相机姿态校正方法的一种流程示意图。
图4a为机芯位于第一位置的一种示意图。
图4b为云台带动机芯转动至第二位置的一种示意图。
图5为云台PT坐标系与机芯PT坐标系之间的转换关系的一种示意图。
图6为本发明校正装置的一种示意图。
具体实施方式
为了使本申请的目的、技术手段和优点更加清楚明白，以下结合附图对本申请做进一步详细说明。
为便于理解本申请，以下将以球机中的机芯姿态的校正为例来说明。
参见图1所示，图1是为具有成像模组的机芯建立PTZ空间坐标系的一种示意图，图中，机芯可旋转，坐标点为平行光线经镜群组中的镜头折射后汇聚的焦点。在球机中，通常为具有成像模组的机芯建立有PTZ(仰角、方位角、变倍倍率)空间坐标系；其中，成像模组中镜头的光轴为Z轴，表示相机的变倍倍率，图中对应为坐标点与PTZ空间坐标系原点(机芯)的距离，旋转坐标包括用于表示机芯在水平方向上的方位角的坐标(Pan)和用于表示竖直方向上的仰俯角的坐标(Tilt)，相应地，这两个角度坐标简称为PT角度坐标，分别对应有P轴和T轴。
参见图2所示，图2为一球机中云台、机芯主视图中按照右手坐标系原则建立的三维空间坐标系与PT空间坐标系之间关系的一种示意图。图中，云台为非水平安装，且云台围绕云台的转轴旋转，按照右手坐标系原则，机芯、云台的直角空间坐标系如图所示，机芯的三维空间坐标系为：光轴方向为z轴z轴，水平方向为x轴，与x轴、z轴垂直的为y轴；云台的三维空间坐标系为：云台转轴方向为z轴z轴，水平方向为x轴，与x轴、z轴垂直的为y轴。在球机中，通常为用于控制机芯运动的云台建立有PT(仰角、方位角)空间坐标系；其中，P轴用于描述云台在水平方向上的方位角的坐标(Pan)，与x轴、y轴所形成的水平平面重合，通常称为水平坐标系，相当于世界坐标系。T轴用于表示云台在竖直方向上的仰俯角的坐标，对应为z轴坐标。
在本申请实施例中，用于确定俯仰角、横滚角初始值的加速度传感器安装于机芯上，加速度传感器的坐标系与机芯坐标系重合，即，加速度传感器与机芯无安装误差。为便于计算，机芯的P轴与云台的P轴重合。所述加速度传感器为三轴传感器，用于分别生成X、Y、Z轴的测量数据，其中X轴的测量数据用于指示俯仰角，Y轴的测量数据用于指示偏航角，Z轴的数据用于指示横滚角。
参见图3所示，图3为本申请相机姿态校正方法的一种流程示意图。该方法包括：
步骤301，云台控制机芯位于第一位置，参见图4a所示，图4a为机芯位于第一位置的一种示意图。图中，球机的安装为非水平，即，云台非水平安装。例如，第一位置为(P＝0,T＝0)，在该位置加速度传感器进行测量，加速度传感器的测量值为三维空间直角坐标系中的读数(ax，ay，az)，得到第一测量数据，根据加速度传感器的第一测量数据，确定机芯在世界坐标系(水平坐标系)下的第一姿态信息；
鉴于加速度传感器坐标系与机芯坐标系重合，故而根据加速度传感器的第一测量数据，转换得到的欧拉角即为机芯在水平坐标系下的初始欧拉角。此状态为初始位置，初始欧拉角记为(θ,0,φ)，其中，θ为俯仰角，φ为横滚角，偏航角ψ为0，将此欧拉角转化为四元数，记为
Figure BDA0002555272900000081
表示世界坐标系下(水平坐标系)机芯的姿态信息。
其中，俯仰角θ、横滚角φ是这样计算的：
由于在加速度传感器没有任何偏转时，加速度传感器理论读数为(0，0，g)，其中，g为重力加速度，故而，有加速度传感器读数与偏转角存在以下转换关系，
Figure BDA0002555272900000082
由此可得，
Figure BDA0002555272900000083
φ＝arctan(ay/az)
ψ＝0
步骤302，控制云台从第一位置以云台的转轴为轴心旋转180°，带动机芯以及加速度传感器以云台转轴为轴旋转180°，到达的第二位置，例如，第二位置为(P＝180,T＝0)，参见图4b所示，图4b为机芯位于第二位置的一种示意图。在该位置加速度传感器进行测量，加速度传感器的测量值为(ax，ay，az)，得到第二测量数据；
步骤303，根据加速度传感器的第一测量数据和第二测量数据，计算云台转轴向量，根据转轴向量，计算云台在世界坐标下下的俯仰角β和横滚角γ，得到云台在世界坐标系下的欧拉角，记为(β,0,γ)，表征了云台与地面的安装偏角；将其转化为四元数，记为
Figure BDA0002555272900000084
表示世界坐标系下(水平坐标系)云台的姿态信息(第二姿态信息)；
在该步骤中，鉴于转轴向量n等于加速度传感器在第一位置(P＝0,T＝0)与第二位置(P＝180,T＝0)的读数之和，故而有：
Figure BDA0002555272900000091
其中，加速度传感器读数(ax0，ay0，az0)、
Figure BDA00025552729000000911
归一化后的数据，保证两个向量大小一致,Nor(n)为对向量进行归一化。
根据归一化后的转轴向量n，可计算云台在世界坐标下下的俯仰角β和横滚角γ分别为：
β＝arccos(nx)
γ＝arctan(ny/nz)
由于设定了云台的P轴与水平坐标系的P轴重合，故偏航角为0。
步骤304，根据机芯PT坐标系、世界坐标系、云台PT坐标系之间的转换关系，基于步骤301得到的世界坐标系下机芯的姿态信息、步骤302得到的世界坐标系下云台的姿态信息，确定机芯与云台的之间的相对姿态信息，记为
Figure BDA0002555272900000092
该姿态信息表征了机芯与云台之间的安装偏角。
具体有，
Figure BDA0002555272900000093
其中，
Figure BDA0002555272900000094
即：机芯与云台的之间的相对姿态信息的四元数，等于，第一姿态信息四元数的转置与第二姿态信息四元数的点积。
步骤305，根据云台在云台PT坐标系下的转动姿态信息，确定机芯在机芯PT坐标系下的姿态信息，从而得到机芯的姿态标定结果，
设云台在云台PT坐标系下转动，得到相应的欧拉角，记为(T，P，0)，转化为四元数，记为
Figure BDA0002555272900000095
表示云台在云台PT坐标系下的转动后的姿态信息，
根据世界坐标系、云台PT坐标系、机芯PT坐标系的转换关系，机芯转动后在世界坐标系下的姿态信息
Figure BDA0002555272900000096
有：
Figure BDA0002555272900000097
其中，
Figure BDA0002555272900000098
为云台在世界坐标系下的姿态信息(第二姿态信息)，可在步骤301中得到；
Figure BDA0002555272900000099
为云台转动后云台与机芯的相对姿态信息，
Figure BDA00025552729000000910
可在步骤303中得到；
即：云台以云台转轴为轴心旋转至该位置时机芯在世界坐标系下的当前姿态信息的四元数，等于，第二姿态信息的四元数、云台在云台坐标系下转动至当前位置时当前姿态信息的四元数、机芯与云台之间相对姿态信息四元数的转置，这三者的点积。
由此，得到四元数
Figure BDA0002555272900000101
将该四元数转化为欧拉角，可以得到云台转动后，机芯在世界坐标系下(水平坐标系)的姿态信息，作为机芯的标定结果，即，相机姿态的校正结果。
步骤306，当机芯到达相对于水平坐标系下的任一位置时，确定需要云台绕云台的转轴转动的姿态信息。
设机芯转动到一位置，得到相应的欧拉角，记为(T，P，0)，转化为四元数，记为
Figure BDA0002555272900000102
表示机芯转动到世界坐标系下该位置的姿态信息，
参见图5所示，图5为云台PT坐标系与机芯PT坐标系之间的转换关系的一种示意图，云台从初始云台坐标系以转轴为轴心转动，其转动后的当前云台坐标系等价于，从初始云台坐标系变换至世界坐标系，然后变换至当前机芯坐标系，最后变换至当前云台坐标系。即，根据世界坐标系、云台PT坐标系、机芯PT坐标系的转换关系，云台在云台PT坐标系下转动姿态
Figure BDA0002555272900000103
有：
Figure BDA0002555272900000104
其中，
Figure BDA0002555272900000105
即：机芯到达世界坐标下当前预定位置时需要云台绕云台的转轴转动的姿态信息的四元数，等于，第一姿态信息四元数的转置、机芯到达世界坐标下当前预定位置时当前姿态信息的四元数、机芯与云台之间相对姿态信息四元数，这三者的点积。
由此，得到四元数
Figure BDA0002555272900000106
将该四元数转化为欧拉角，可以得到机芯到达世界坐标系下该位置时，需要云台转动的姿态信息。
鉴于上述步骤305是已知云台的转动姿态信息，来确定当前机芯的姿态信息，步骤306是已知机芯转动的当前姿态信息，来确定云台需要转动的姿态信息，故而上述步骤305、306没有先后次序关系。此外，所应理解的是，基于坐标变换关系所求得的
Figure BDA0002555272900000111
的方法不限于此，采用其他坐标变换也可实现。
本发明通过两个方位角坐标相差180°的两个位置处的加速度传感器测量数据、以及对应的云台转轴向量，计算出机芯与云台之间的安装姿态偏角、以及云台与地面的安装偏角；基于机芯与云台之间的安装姿态偏角、以及云台与地面的安装偏角，通过坐标变换，确定云台转动至当前位置时机芯的当前姿态信息，以及机芯转动到当前位置时云台所需转动的当前姿态信息，以实现对相机姿态的校正。本发明无需陀螺仪数据参与校正，有利于提高校正的精度；所确定的云台和机芯之间的转换关系精度高；在校正过程中无需人工介入即可确定云台、机芯安装倾斜偏角，有利于提高校正的精度。
参见图6所示，图6为本发明校正装置的一种示意图。该校正装置包括，
加速度传感器测量模块，获取第一位置处加速度传感器的第一测量数据、以及第二位置处加速度传感器的第二测量数据，
其中，第二位置为以云台转轴为轴心带动机芯和加速度传感器同步旋转至与第一位置的方位角坐标相差180°，机芯PT坐标系的P轴与云台PT坐标系的P轴重合，
计算模块，根据第一测量数据，确定机芯在世界坐标系下的第一姿态信息，根据第一测量数据和第二测量数据，通过云台转轴向量获取云台在世界坐标系下的第二姿态信息，根据第一姿态信息和第二姿态信息，确定机芯与云台的之间的相对姿态信息，基于第二姿态信息、相对姿态信息，通过坐标变换，获取云台以云台转轴为轴心旋转至任一位置时机芯在世界坐标系下的当前姿态信息，作为校正结果。
本发明提供的摄像机，包括，具有成像模组的机芯、安装于机芯上的加速度传感器、和控制机芯转动的云台，该摄像机还包括，存储器和处理器，其中，存储器存储有计算机程序，处理器被配置执行所述计算机程序实现所述相机姿态的校正方法的步骤。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DigitalSignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例中的摄像机无需安装陀螺仪，有利于相机设备小型化和轻型化，增加的计算模块有利于提高姿态校正的精度，所确定云台和机芯之间的转换关系精度高。
本发明实施例还提供了一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述相机姿态的校正方法的步骤。
对于装置/网络侧设备/存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种相机姿态的校正方法，所述相机包括，具有成像模组的机芯、安装于机芯上的加速度传感器、和控制机芯转动的云台，其特征在于，该方法包括，
获取第一位置处加速度传感器的第一测量数据、以及第二位置处加速度传感器的第二测量数据，其中，第二位置为以云台转轴为轴心带动机芯和加速度传感器同步旋转至与第一位置的方位角坐标相差180°，机芯PT坐标系的P轴与云台PT坐标系的P轴重合，
根据第一测量数据，确定机芯在世界坐标系下的第一姿态信息，
根据第一测量数据和第二测量数据，通过云台以其转轴为轴心从第一位置旋转到第二位置的转轴向量，获取云台在世界坐标系下的第二姿态信息，
根据第一姿态信息和第二姿态信息，确定机芯与云台之间的相对姿态信息，
基于第二姿态信息、相对姿态信息，通过坐标变换，获取云台以云台转轴为轴心旋转至任一位置时机芯在世界坐标系下的当前姿态信息，作为相机姿态校正结果。
2.如权利要求1所述的方法，其特征在于，该方法还包括，基于第一姿态信息、相对姿态信息，通过坐标变换，获取机芯到达世界坐标下的任一预定位置时需要云台绕云台的转轴转动的姿态信息。
3.如权利要求2所述的方法，其特征在于，所述根据第一测量数据，确定机芯在世界坐标系下的第一姿态信息，包括，
根据第一测量数据包括的加速度传感器所测量得到的三维直角坐标系中的读数、以及加速度传感器无任何偏转时的读数，得到加速度传感器读数与偏转角的转换关系，
基于所述转换关系，求得机芯在世界坐标系下的俯仰角、偏航角和横滚角，得到机芯在世界坐标系下的第一欧拉角。
4.如权利要求3所述的方法，其特征在于，所述根据第一测量数据和第二测量数据，通过云台以其转轴为轴心从第一位置旋转到第二位置的转轴向量获取云台在世界坐标系下的第二姿态信息，包括，
基于第一测量数据中包括的加速度传感器所测量得到的三维直角坐标系中的读数、和第二测量数据中包括的加速度传感器所测量得到的三维直角坐标系中的读数，分别求取第一测量数据和第二测量数据三维直角坐标系中各读数之和，并进行归一化，得到转轴向量，
计算所述转轴向量的俯仰角和横滚角，作为云台在世界坐标系下的俯仰角和横滚角，基于机芯PT坐标系的P轴与云台PT坐标系的P轴重合，确定云台在世界坐标系下的偏航角为0，得到云台在世界坐标系下的第二欧拉角，作为第二姿态信息，该姿态信息用于表征云台与地平面的安装偏角。
5.如权利要求4所述的方法，其特征在于，根据第一姿态信息和第二姿态信息，确定机芯与云台之间的相对姿态信息，包括，
将第一欧拉角进行四元数化，得到第一姿态信息的四元数表示，
将第二欧拉角进行四元数化，得到第二姿态信息的四元数表示，
基于机芯PT坐标系、世界坐标系、云台PT坐标系之间的转换关系，计算第一姿态信息四元数的转置与第二姿态信息四元数的点积，得到机芯与云台的之间的相对姿态信息的四元数表示，将该四元数转换为欧拉角，得到相对姿态信息，该相对姿态信息用于表征机芯与云台的安装姿态偏角。
6.如权利要求2所述的方法，其特征在于，所述基于第二姿态信息、相对姿态信息，通过坐标变换，获取云台以云台转轴为轴心旋转至任一位置时机芯在世界坐标系下的当前姿态信息，作为相机姿态校正结果，包括，
基于机芯PT坐标系、世界坐标系、云台PT坐标系之间的转换关系，计算， 第二姿态信息四元数、云台在云台坐标系下转动至当前位置时当前姿态信息的四元数、机芯与云台之间相对姿态信息四元数的转置， 该三者的 点积，得到云台以云台转轴为轴心旋转至该位置时机芯在世界坐标系下的当前姿态信息的四元数表示，将该四元数转换为欧拉角，得到姿态信息。
7.如权利要求2所述的方法，其特征在于，所述基于第一姿态信息、相对姿态信息，通过坐标变换，获取机芯到达世界坐标下的任一预定位置时需要云台绕云台的转轴转动的姿态信息，包括，
基于机芯PT坐标系、世界坐标系、云台PT坐标系之间的转换关系，计算， 第一姿态信息四元数的转置、机芯到达世界坐标下当前预定位置时当前姿态信息的四元数、机芯与云台之间相对姿态信息四元数， 该三者的 点积，得到机芯到达世界坐标下该预定位置时需要云台绕云台的转轴转动的姿态信息的四元数表示，将该四元数转换为欧拉角，得到姿态信息。
8.一种相机姿态的校正装置，应用于具有云台的相机中，其特征在于，该装置包括，
加速度传感器测量模块，获取第一位置处加速度传感器的第一测量数据、以及第二位置处加速度传感器的第二测量数据，
其中，第二位置为以云台转轴为轴心带动机芯和加速度传感器同步旋转至与第一位置的方位角坐标相差180°，机芯PT坐标系的P轴与云台PT坐标系的P轴重合，
计算模块，用于
根据第一测量数据，确定机芯在世界坐标系下的第一姿态信息，
根据第一测量数据和第二测量数据，通过云台以其转轴为轴心从第一位置旋转到第二位置的转轴向量，获取云台在世界坐标系下的第二姿态信息，
根据第一姿态信息和第二姿态信息，确定机芯与云台之间的相对姿态信息，
基于第二姿态信息、相对姿态信息，通过坐标变换，获取云台以云台转轴为轴心旋转至任一位置时机芯在世界坐标系下的当前姿态信息，作为校正结果。
9.一种摄像机，包括，具有成像模组的机芯、安装于机芯上的加速度传感器、和控制机芯转动的云台，其特征在于，该摄像机还包括，存储器和处理器，其中，存储器存储有计算机程序，处理器被配置执行所述计算机程序实现如权利要求1至7任一所述相机姿态的校正方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一所述相机姿态的校正方法的步骤。
CN202010590417.3A 2020-06-24 2020-06-24 一种相机姿态的校正方法、摄像机 Active CN111770270B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010590417.3A CN111770270B (zh) 2020-06-24 2020-06-24 一种相机姿态的校正方法、摄像机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010590417.3A CN111770270B (zh) 2020-06-24 2020-06-24 一种相机姿态的校正方法、摄像机

Publications (2)

Publication Number Publication Date
CN111770270A CN111770270A (zh) 2020-10-13
CN111770270B true CN111770270B (zh) 2021-06-25

Family

ID=72721964

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010590417.3A Active CN111770270B (zh) 2020-06-24 2020-06-24 一种相机姿态的校正方法、摄像机

Country Status (1)

Country Link
CN (1) CN111770270B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112261262B (zh) * 2020-10-21 2022-06-17 维沃移动通信有限公司 图像校准方法和装置、电子设备和可读存储介质
CN113194257A (zh) * 2021-04-29 2021-07-30 高新兴科技集团股份有限公司 一种利用gnss坐标纠正ptz摄像机姿态的方法
CN113313945A (zh) * 2021-05-31 2021-08-27 上海智能网联汽车技术中心有限公司 基于传感器数据进行姿态自适应调节的智能网联系统和方法
CN115164823B (zh) * 2022-05-16 2024-04-02 上海芯翌智能科技有限公司 一种摄像机陀螺仪信息的获取方法及设备
CN114882023B (zh) * 2022-07-07 2022-11-18 苏州小牛自动化设备有限公司 电池串位姿校正方法、装置、控制设备及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001319349A (ja) * 2000-05-01 2001-11-16 Ricoh Co Ltd 光ピックアップ装置
CN105513072A (zh) * 2015-12-05 2016-04-20 中国航空工业集团公司洛阳电光设备研究所 一种云台校正方法
CN105812720A (zh) * 2014-12-29 2016-07-27 浙江大华系统工程有限公司 一种球机预置位的矫正方法及装置
CN106959110A (zh) * 2017-04-06 2017-07-18 亿航智能设备（广州）有限公司 一种云台姿态检测方法及装置
CN108762324A (zh) * 2018-05-23 2018-11-06 深圳市道通智能航空技术有限公司 云台电机角度和角速度估算方法、装置、云台及飞行器
WO2019183845A1 (zh) * 2018-03-28 2019-10-03 深圳市大疆创新科技有限公司 云台的控制方法、装置、系统、计算机存储介质及无人机
CN111131813A (zh) * 2019-10-29 2020-05-08 牧今科技 用于确定相机校准的姿态的方法和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017073753A (ja) * 2015-10-09 2017-04-13 富士通株式会社 補正方法、プログラム及び電子機器

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001319349A (ja) * 2000-05-01 2001-11-16 Ricoh Co Ltd 光ピックアップ装置
CN105812720A (zh) * 2014-12-29 2016-07-27 浙江大华系统工程有限公司 一种球机预置位的矫正方法及装置
CN105513072A (zh) * 2015-12-05 2016-04-20 中国航空工业集团公司洛阳电光设备研究所 一种云台校正方法
CN106959110A (zh) * 2017-04-06 2017-07-18 亿航智能设备（广州）有限公司 一种云台姿态检测方法及装置
WO2019183845A1 (zh) * 2018-03-28 2019-10-03 深圳市大疆创新科技有限公司 云台的控制方法、装置、系统、计算机存储介质及无人机
CN110622091A (zh) * 2018-03-28 2019-12-27 深圳市大疆创新科技有限公司 云台的控制方法、装置、系统、计算机存储介质及无人机
CN108762324A (zh) * 2018-05-23 2018-11-06 深圳市道通智能航空技术有限公司 云台电机角度和角速度估算方法、装置、云台及飞行器
CN111131813A (zh) * 2019-10-29 2020-05-08 牧今科技 用于确定相机校准的姿态的方法和系统

Also Published As

Publication number Publication date
CN111770270A (zh) 2020-10-13

Similar Documents

Publication Publication Date Title
CN111770270B (zh) 一种相机姿态的校正方法、摄像机
US10970873B2 (en) Method and device to determine the camera position and angle
CN108762324A (zh) 云台电机角度和角速度估算方法、装置、云台及飞行器
CN108050928B (zh) 一种视觉测量仪以及一种视觉测量方法
CN110987021B (zh) 一种基于转台基准的惯性视觉相对姿态标定方法
JP4052382B2 (ja) 非接触画像計測装置
US8761460B2 (en) Method of automatically tracking and photographing celestial objects, and celestial-object auto-tracking photographing apparatus
CN110555813B (zh) 一种无人机遥感影像的快速几何校正方法及系统
CN113962853B (zh) 一种旋转线阵扫描图像位姿自动化精密解算方法
CN111123280A (zh) 激光雷达的定位方法、装置、系统、电子设备及存储介质
CN106338286B (zh) 一种动基座测量方法
CN111862197A (zh) 视频监控中的目标跟踪方法、系统及球机
CN116886881B (zh) 一种基于全向梯形技术的投影仪
CN113240754A (zh) 确定ptz摄像装置的内参的方法、装置、设备及存储介质
CN111654634B (zh) 确定摄像机中机芯组件和云台组件倾斜的方法、摄像机
CN116228888B (zh) 地理坐标与ptz相机坐标的转换方法及系统
CN111754584A (zh) 一种远距离大视场相机参数标定系统和方法
CN116743973A (zh) 无感投影图像自动校正方法
CN207456379U (zh) 一种视觉测量仪
CN115100026A (zh) 基于目标对象的标签坐标转换方法、装置、设备及存储介质
US11415990B2 (en) Optical object tracking on focal plane with dynamic focal length
JPH11101640A (ja) カメラおよびカメラのキャリブレーション方法
CN113008135B (zh) 用于确定空间中目标点位置的方法、设备、电子装置及介质
WO2021134715A1 (zh) 一种控制方法、设备、无人机及存储介质
Hua et al. 3D measurement, reconstruction and navigation through panoramic photography

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant