CN113491106A - 一种摄像头模组的安装方法及移动平台 - Google Patents

一种摄像头模组的安装方法及移动平台 Download PDF

Info

Publication number
CN113491106A
CN113491106A CN202180002256.4A CN202180002256A CN113491106A CN 113491106 A CN113491106 A CN 113491106A CN 202180002256 A CN202180002256 A CN 202180002256A CN 113491106 A CN113491106 A CN 113491106A
Authority
CN
China
Prior art keywords
camera module
center
coordinate system
image sensor
theta
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202180002256.4A
Other languages
English (en)
Other versions
CN113491106B (zh
Inventor
李俊超
陈伟
卢佐旻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202211403956.7A priority Critical patent/CN115835031A/zh
Publication of CN113491106A publication Critical patent/CN113491106A/zh
Application granted granted Critical
Publication of CN113491106B publication Critical patent/CN113491106B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/12—Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B30/00—Camera modules comprising integrated lens units and imaging units, specially adapted for being embedded in other devices, e.g. mobile phones or vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)

Abstract

一种摄像头模组的安装方法及移动平台，用于自动驾驶或智能驾驶。包括：将摄像头模组安装在移动平台上，摄像头模组与移动平台所在的地面平行；其中摄像头模组包括镜头组和图像传感器，镜头组包括至少一个镜头；镜头组的中心在图像传感器平面的投影为第一位置；第一位置与图像传感器中心的距离大于第一阈值，第一阈值大于0。这样，由于摄像头模组可以与移动平台所在的地面平行，可以保证运动方向与图像传感器平面垂直，可以提高摄像头运动估计的准确性和鲁棒性，进而减小目标定位误差，并且无需将摄像头模组倾斜安装，就可以满足所需的探测范围。该方法可以应用于车联网，如车辆外联V2X、车间通信长期演进技术LTE‑V、车辆‑车辆V2V等。

Description

一种摄像头模组的安装方法及移动平台
技术领域
本申请涉及传感器技术领域，尤其涉及一种摄像头模组的安装方法及移动平台。
背景技术
镜头组和图像传感器是摄像头模组的两个重要组成部分。其中，镜头组可以是一组凸(凹)透镜，图像传感器是成像面。图像传感器将从镜头组传导过来的光线转换为电信号，再内部通过模拟-数字转换将电信号转换为数字信号，形成图像。
目前，可以应用摄像头模组实现对周围环境的探测，进而对周围环境进行三维重建，从而实现目标定位。例如，在摄像头模组应用于车载感知系统时，摄像头模组的功能主要可以包括对自车周围车辆、行人、一般障碍物、车道线、路面标识物、交通标志牌等目标的检测和识别，也包括对上述检测到的目标的距离、速度测量，还包括对摄像头运动(也即自车运动)(包括旋转和平移)的估计、以及在此基础上的对周围环境的三维重建，从而实现目标定位。
摄像头模组在移动平台，例如，车辆等运动物体上的安装还需要考虑摄像头运动估计的准确性和鲁棒性，减少目标定位误差。
发明内容
本申请提供一种摄像头模组的安装方法及移动平台，用以解决为了满足所需的探测范围，安装方法会影响摄像头运动估计的准确性和鲁棒性，进而导致目标定位误差较大的问题。
第一方面，本申请提供了一种摄像头模组的安装方法，具体可以包括：将所述摄像头模组安装在移动平台上，所述摄像头模组与所述移动平台所在的地面平行；其中，所述摄像头模组包括镜头组和图像传感器，所述镜头组包括至少一个镜头；所述镜头组的中心在所述图像传感器平面的投影为第一位置；所述第一位置与所述图像传感器中心的距离大于第一阈值，所述第一阈值大于0。
通过上述安装方法，由于摄像头模组可以与所述移动平台所在的地面平行，可以保证运动方向与图像传感器平面垂直，这样可以提高摄像头运动估计的准确性和鲁棒性，进而减小目标定位误差，并且通过镜头组中心在图像传感器平面投影的第一位置与图像传感器中心的距离大于第一阈值，可以增大镜头组的中心以上部分或者以下部分的感知能力，从而无需将摄像头模组倾斜安装，就可以满足所需的探测范围。
在一个可能的设计中，所述镜头组的光轴和所述图像传感器平面的法线均与所述移动平台所在的地面平行。这样可以保证运动方向与图像传感器平面垂直，从而可以提高摄像头运动估计的准确性和鲁棒性。
在一个可能的设计中，所述第一位置与所述图像传感器中心的连线与第一坐标系中横轴方向垂直，所述第一坐标系为以所述图像传感器中心为原点，水平向右为横轴正方向，竖直向下为纵轴正方向建立的直角坐标系。这样可以使所述第一位置与所述图像传感器中心仅在竖直方向上存在距离，在水平方向上不存在距离，从而可以保证摄像头模组的探测性能。
在一个可能的设计中，所述第一位置和所述图像传感器中心的距离与第一角度相关，所述第一角度为所述摄像头模组的垂直视场(vertical filed of view，VFOV)角的角平分线与所述镜头组的光轴之间的角度。具体的，所述第一角度可以表征所述摄像头模组的VFOV的方向，进而可以指示实际探测范围的位置，可以通过调整所述第一角度来获得所需的探测范围。这样可以根据实际探测需求来确定所述第一位置和所述图像传感器中心的距离。
在一个可能的设计中，所述第一角度大于0度且小于或者等于所述摄像头模组的VFOV补角的一半。可以根据实际所需的探测范围确定要采用的第一角度的度数，以确定所述摄像头模组的VFOV的方向，进而确定所述第一位置和所述图像传感器中心的距离，以满足实际探测需求。
在一个可能的设计中，所述第一位置高于所述图像传感器中心，从而可以增大所述镜头组的中心以下部分的感知能力，即该区域原来未能在所述图像传感器上成像的信息可以更多地通过所述镜头组被所述图像传感器接收到；或者，所述第一位置低于所述图像传感器中心，从而可以增大所述镜头组的中心以上部分的感知能力，即该区域原来未能在所述图像传感器上成像的信息可以更多地通过所述镜头组被所述图像传感器接收到。
在一个可能的设计中，所述摄像头模组对应的光心或扩张焦点FOE在第一坐标系中的纵坐标y0的绝对值符合以下公式：
|y0|＝|fyh(θ)|
其中，fy为所述摄像头模组中心的焦距，θ为所述第一角度，h(θ)＝tan(θ)，或者h(θ)为θ的一元N次函数，N为大于0的整数，|*|为对其中参数取绝对值，tan(*)表示正切函数，所述第一坐标系为以所述图像传感器中心为原点，水平向右为横轴正方向，竖直向下为纵轴正方向建立的直角坐标系。
在一个可能的设计中，所述摄像头模组对应的光心或扩张焦点FOE在第一坐标系中的纵坐标y0符合以下公式：
Figure BDA0003227900850000021
其中，fy为所述摄像头模组中心的焦距，
Figure BDA0003227900850000022
为所述摄像头模组的VFOV，所述第一坐标系为以所述图像传感器中心为原点，水平向右为横轴正方向，竖直向下为纵轴正方向建立的直角坐标系。
在一个可能的设计中，所述摄像头模组对应的光心或扩张焦点FOE在第一坐标系中的纵坐标y0符合以下公式：
y0＝-fyθd
其中，fy为所述摄像头模组中心的焦距，θd与θ1相关，θd可以为与θ1有关的函数g(θ1)，
Figure BDA0003227900850000023
Figure BDA0003227900850000024
为所述摄像头模组的VFOV，所述第一坐标系为以所述图像传感器中心为原点，水平向右为横轴正方向，竖直向下为纵轴正方向建立的直角坐标系。
在一个可能的设计中，所述摄像头模组对应的光心或扩张焦点FOE在第一坐标系中的纵坐标y0符合以下公式：
Figure BDA0003227900850000031
其中，fy为所述摄像头模组中心的焦距，θ0为预设度数，
Figure BDA0003227900850000032
为所述摄像头模组的VFOV，所述第一坐标系为以所述图像传感器中心为原点，水平向右为横轴正方向，竖直向下为纵轴正方向建立的直角坐标系。
在一个可能的设计中，所述摄像头模组对应的光心或扩张焦点FOE在第一坐标系中的纵坐标y0符合以下公式：
y0＝fyθs
其中，fy为所述摄像头模组中心的焦距，θs与θ2相关，θs可以为与θ2有关的函数g(θ2)，
Figure BDA0003227900850000033
Figure BDA0003227900850000034
为所述摄像头模组的VFOV，θ0为预设度数，所述第一坐标系为以所述图像传感器中心为原点，水平向右为横轴正方向，竖直向下为纵轴正方向建立的直角坐标系。
第二方面，本申请提供了一种移动平台，所述移动平台安装有与其所在的地面平行的摄像头模组，所述摄像头模组包括镜头组和图像传感器，所述镜头组包括至少一个镜头；其中：所述镜头组的中心在所述图像传感器平面的投影为第一位置；所述第一位置与所述图像传感器中心的距离大于第一阈值，所述第一阈值大于0。
这样，由于摄像头模组可以与移动平台所在的地面平行，可以保证运动方向与图像传感器平面垂直，这样可以提高摄像头运动估计的准确性和鲁棒性，进而减小目标定位误差，并且通过镜头组中心在图像传感器平面投影的第一位置与图像传感器中心的距离大于第一阈值，可以增大镜头组的中心以上部分或者以下部分的感知能力，从而无需将摄像头模组倾斜安装，就可以满足所需的探测范围。
在一个可能的设计中，所述镜头组的光轴和所述图像传感器平面的法线均与所述移动平台所在的地面平行。这样可以保证运动方向与图像传感器平面垂直，从而可以提高摄像头运动估计的准确性和鲁棒性。
在一个可能的设计中，所述镜头组的中心与所述图像传感器中心的连线与第一坐标系中横轴方向垂直，所述第一坐标系为以所述图像传感器中心为原点，水平向右为横轴正方向，竖直向下为纵轴正方向建立的直角坐标系。这样可以使所述第一位置与所述图像传感器中心仅在竖直方向上存在距离，在水平方向上不存在距离，从而可以保证摄像头模组的性能。
在一个可能的设计中，所述第一位置和所述图像传感器中心的距离与第一角度相关，所述第一角度为所述摄像头模组的垂直视场VFOV的角平分线与所述镜头组的光轴之间的角度。具体的，所述第一角度可以表征所述摄像头模组的VFOV的方向，进而可以指示实际探测范围的位置，可以通过调整所述第一角度来获得所需的探测范围。这样可以根据实际探测需求来确定所述第一位置和所述图像传感器中心的距离。
在一个可能的设计中，所述第一角度大于0度且小于或者等于所述摄像头模组的VFOV补角的一半。可以根据实际所需的探测范围确定要采用的第一角度的度数，以确定所述摄像头模组的VFOV的方向，进而确定所述第一位置和所述图像传感器中心的距离，以满足实际探测需求。
在一个可能的设计中，所述第一位置高于所述图像传感器中心，从而可以增大所述镜头组的中心以下部分的感知能力，即该区域原来未能在所述图像传感器上成像的信息可以更多地通过所述镜头组被所述图像传感器接收到；或者，所述第一位置低于所述图像传感器中心，从而可以增大所述镜头组的中心以上部分的感知能力，即该区域原来未能在所述图像传感器上成像的信息可以更多地通过所述镜头组被所述图像传感器接收到。
在一个可能的设计中，所述摄像头模组对应的光心或扩张焦点FOE在第一坐标系中的纵坐标y0的绝对值符合以下公式：
|y0|＝|fyh(θ)|
其中，fy为所述摄像头模组中心的焦距，θ为所述第一角度，h(θ)＝tan(θ)，或者h(θ)为θ的一元N次函数，N为大于0的整数，所述第一坐标系为以所述图像传感器中心为原点，水平向右为横轴正方向，竖直向下为纵轴正方向建立的直角坐标系。
在一个可能的设计中，所述摄像头模组对应的光心或扩张焦点FOE在第一坐标系中的纵坐标y0符合以下公式：
Figure BDA0003227900850000041
其中，fy为所述摄像头模组中心的焦距，
Figure BDA0003227900850000042
为所述摄像头模组的VFOV，所述第一坐标系为以所述图像传感器中心为原点，水平向右为横轴正方向，竖直向下为纵轴正方向建立的直角坐标系。
在一个可能的设计中，所述摄像头模组对应的光心或扩张焦点FOE在第一坐标系中的纵坐标y0符合以下公式：
y0＝-fyθd
其中，fy为所述摄像头模组中心的焦距，θd与θ1相关，例如θd可以为与θ1有关的函数g(θ1)，
Figure BDA0003227900850000043
Figure BDA0003227900850000044
为所述摄像头模组的VFOV，所述第一坐标系为以所述图像传感器中心为原点，水平向右为横轴正方向，竖直向下为纵轴正方向建立的直角坐标系。
在一个可能的设计中，所述摄像头模组对应的光心或扩张焦点FOE在第一坐标系中的纵坐标y0符合以下公式：
Figure BDA0003227900850000045
其中，fy为所述摄像头模组中心的焦距，θ0为预设度数，
Figure BDA0003227900850000046
为所述摄像头模组的VFOV，所述第一坐标系为以所述图像传感器中心为原点，水平向右为横轴正方向，竖直向下为纵轴正方向建立的直角坐标系。
在一个可能的设计中，所述摄像头模组对应的光心或扩张焦点FOE在第一坐标系中的纵坐标y0符合以下公式：
y0＝fyθs
其中，fy为所述摄像头模组中心的焦距，θs与θ2相关，θs可以为与θ2有关的函数g(θ2)，
Figure BDA0003227900850000051
Figure BDA0003227900850000052
为所述摄像头模组的VFOV，θ0为预设度数，所述第一坐标系为以所述图像传感器中心为原点，水平向右为横轴正方向，竖直向下为纵轴正方向建立的直角坐标系。
附图说明
图1为本申请提供的一种摄像头模组爆炸图的示意图；
图2为现有技术中的镜头组和图像传感器的组装位置的示意图；
图3为现有技术中的摄像头模组的可以感知的VFOV和水平视场的示意图；
图4为现有技术中的一种车载环视感知系统中前视摄像头安装示意图；
图5为现有技术中的一种车载前视感知系统中前视摄像头安装示意图；
图6为本申请提供的一种摄像头模组的安装示意图；
图7为本申请提供的一种摄像头模组的侧视图；
图8为本申请提供的一种摄像头模组的投影图；
图9为本申请提供的另一种摄像头模组的投影图；
图10为本申请提供的另一种摄像头模组的安装示意图；
图11为本申请提供的另一种摄像头模组的安装示意图；
图12为本申请提供的一种通过摄像头模组拍摄的两帧图像中匹配的特征点估计摄像头运动的示意图；
图13为本申请提供的一种求解结果的示意图；
图14为本申请提供的一种摄像头模组平移方向对平移向量估计的影响示意图。
具体实施方式
下面将结合附图，对本申请实施例进行详细描述。
本申请实施例提供一种摄像头模组的安装方法及移动平台，用以解决为了所需的探测范围，安装方法会影响摄像头运动估计的准确性和鲁棒性，进而导致目标定位误差较大的问题。
本申请中所涉及的至少一个是指一个或多个；多个，是指两个或两个以上。
在本申请的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。
目前摄像头模组(camera compact module，CCM)的主要组成部分可以如图1摄像头模组爆炸图呈现的器件所示。在图1中，所述摄像头模组主要可以包括镜头组和图像传感器。所述镜头组可以包括至少一个镜头(镜片)，例如图1中所述镜头组可以包括镜头1、镜头2和镜头3。其中所述镜头组包括的至少一个镜头可以为凸(凹)透镜。具体的，如图1中示出的，所述镜头组可以通过镜筒和镜座固定，在所述镜头组和所述镜座之间有滤光片。所述图像传感器可以是一个半导体芯片，所述半导体芯片上包含芯片感光区。具体的，所述图像传感器可以将从所述镜头组传导过来的光线转换为电信号，再内部通过模拟-数字转换将电信号转换为数字信号，形成图像。
示例性的，如图1所示，所述摄像头模组还可以包括电路板，所述电路板是电子元器件的支撑体，是电子元器件电气相互连接的载体。
需要说明的是，图1所示的镜头组包括的镜头的个数仅仅是示例，实际中镜头组可以包含更多或者更少的镜头，本申请对此不作限定。
目前，在摄像头模组的组装过程中，通常会保证镜头组的中心和图像传感器中心对齐，例如图2所示的镜头组和图像传感器的组装位置示意图和图3所示的摄像头模组的投影示意图中可以看出，所述镜头组的中心在所述图像传感器平面的投影与所述图像传感器中心重合(即中心对齐)。在这种组装方式下，受到图像传感器宽高比例的限制，通常摄像头模组实际可以感知的垂直视场(vertical filed of view，VFOV)较小。示例性的，摄像头模组的可以感知的VFOV和水平视场(horizontal filed ofview，HFOV)可以如图3中所示，其中，VFOV为镜头组对高度的张角，HFOV为镜头组对宽度的张角，在图3中仅示例出该高度和宽度。
摄像头模组可以广泛应用于各种需要位姿估计和目标物三维重建的场景，以实现通过摄像头模组对周围环境的探测，对周围环境进行三维重建，从而实现目标定位。例如，摄像头模组可以应用于移动平台等，实现对移动平台等周围环境的探测。例如，摄像头模组可以应用于车辆，具体可以应用于车载感知系统。例如，摄像头模组可以用于车载前视感知系统的前视摄像头，也可以应用于车载环视感知系统的前视摄像头、侧视摄像头或者后视摄像头。其中，前视摄像头、侧视摄像头或者后视摄像头的视场(filed of view，FOV)可以是一般规格的40～60度，也可以是较窄的23～40度，还可以是较宽的100～180度等。示例性的，前视摄像头、侧视摄像头或者后视摄像头具体可以为单目摄像头、双目摄像头或者鱼眼摄像头等类型的摄像头。
示例性的，当摄像头模组应用于车载感知系统时，摄像头模组的功能主要可以包括对自车周围车辆、行人、一般障碍物、车道线、路面标识物、交通标志牌等目标的检测和识别，也包括对上述检测到的目标的距离、速度测量，还包括对摄像头运动(包括旋转和平移)的估计，以及在此基础上对周围环境的三维重建，从而实现目标定位。
在一个具体的示例中，当摄像头模组应用于车载环视感知系统时，是基于摄像头模组探测车身周围环境。为了保证车身四周的盲区足够小，在安装时会将摄像头模组倾斜向下指向地面，以保证其VFOV下沿贴近自车车身边缘。例如，图4所示的车载环视感知系统中前视摄像头安装示意图所示，假设前视摄像头的VFOV为120度，为了满足探测范围，可以将摄像头模组向下倾斜30度(也即将摄像头模组的光轴向下倾斜30度)，以保证其VFOV下沿贴近自车前保。
需要说明的是，在车载环视感知系统中侧视摄像头和后视摄像头的安装原理与上述前视摄像头的安装原理相同，可以互相参照，此处不再详细描述。
在另一个具体的示例中，当摄像头模组应用于车载前视感知系统时，是基于摄像头模组探测交通标志牌和交通信号灯等目标。例如，图5所示的车载前视感知系统中前视摄像头安装示意图所示，假设前视摄像头的VFOV为40度，受限于自车引擎盖，其水平向下部分的视场约有12度。为了满足探测范围，在安装时可以将摄像头模组向上倾斜8度(也即将摄像头模组的光轴向上倾斜8度)。
在图4和图5所示的两个示例中，为了满足探测范围均将摄像头模组倾斜安装。这样会导致运动方向与图像传感器平面之间并不是垂直关系，从而会影响摄像头运动估计的准确性和鲁棒性，进而会导致目标定位误差较大。基于此，本申请提出一种摄像头模组的安装方法及移动平台，以提高摄像头运动估计的准确性和鲁棒性，进而减小目标定位误差。
为了更加清晰地描述本申请实施例的技术方案，下面结合附图，对本申请实施例提供的摄像头模组的安装方法及移动平台进行详细说明。
本申请实施例提供了一种摄像头模组的安装方法，具体可以为：将所述摄像头模组安装在移动平台上，所述摄像头模组与所述移动平台所在的地面平行，例如摄像头模组的安装示意图可以如图6所示，需要说明的是，图6中摄像头模组的形状以及在移动平台上的安装位置仅仅是一种示例，本申请对此不作限定。其中，所述摄像头模组可以包括镜头组和图像传感器，所述镜头组包括至少一个镜头；所述镜头组的中心在所述图像传感器平面的投影为第一位置；所述第一位置与所述图像传感器中心的距离大于第一阈值，所述第一阈值大于0。示例性的，所述摄像头模组的侧视图可以如图7中(a)或图7中(b)所示。
在一种实施例中，在不考虑组装误差的情况下，现有的摄像头模组中的镜头组的中心和图像传感器中心是绝对对齐的，此时所述镜头组的中心在所述图像传感器平面的投影与所述图像传感器中心重合在一起，也即投影位置与所述图像传感器中心的距离为0。也就是说在不考虑组装误差的情况下，本申请涉及的所述摄像头模组中所述第一阈值大于0。
在另一种实施例中，在考虑组装误差的情况下，现有的摄像头模组中的镜头组的中心和图像传感器中心对齐，也会存在一个误差值，此时所述镜头组的中心在所述图像传感器平面的投影位置与所述图像传感器中心距离所述误差值即认为镜头组的中心和图像传感器中心对齐。也就是说在考虑组装误差的情况下，本申请涉及的所述摄像头模组中所述第一阈值大于所述误差值。
具体的，所述摄像头安装在所述移动平台上，所述摄像头模组与所述移动平台所在的地面平行时，所述镜头组的光轴和所述图像传感器平面的法线均与所述移动平台所在的地面平行。这样可以提高摄像头运动估计的准确性和鲁棒性，从而可以减小目标定位误差，提高目标定位的准确性。示例性的，所述移动平台可以是机动车辆、无人机、轨道车、自行车、信号灯、测速装置或网络设备(如各种系统中的基站、终端设备)等等。例如，摄像头模组可以安装在运输设备、家居设备、机器人、云台等可移动的设备上。本申请对安装摄像头模组的终端设备类型和摄像头模组的功能不做限定。
示例性的，所述第一位置与所述图像传感器中心的连线可以与第一坐标系中横轴方向垂直，所述第一坐标系为以所述图像传感器中心为原点，水平向右为横轴正方向，竖直向下为纵轴正方向建立的直角坐标系。也就是说，所述镜头组的中心在所述图像传感器平面上的投影位置与所述图像传感器中心在竖直方向上存在距离，在水平方向上不存在距离。
在一种可选的实施方式中，如图7中(a)所示，所述第一位置可以高于所述图像传感器中心。在这种情况下，所述摄像头模组的投影图可以如图8所示，在图8中可以看出所述镜头组在所述图像传感器平面上的投影位置(也即所述第一位置)高于所述图像传感器中心。
具体的，图8所示的摄像头模组相对于图3所示的摄像头模组，可以增大所述镜头组的中心以下部分的感知能力，即该区域原来未能在所述图像传感器上成像的信息可以更多地通过所述镜头组被所述图像传感器接收到。
在另一种可选的实施方式中，如图7中(b)所示，所述第一位置可以低于所述图像传感器中心。在这种情况下，所述摄像头模组的投影图可以如图9所示，在图9中可以看出所述镜头组在所述图像传感器平面上的投影位置(也即所述第一位置)低于所述图像传感器中心。
具体的，图9所示的摄像头模组相对于图3所示的摄像头模组，可以增大所述镜头组的中心以上部分的感知能力，即该区域原来未能在所述图像传感器上成像的信息可以更多地通过所述镜头组被所述图像传感器接收到。
在一种实施方式中，所述第一位置和所述图像传感器中心的距离可以与第一角度相关，其中，所述第一角度可以为所述摄像头模组的VFOV的角平分线与所述镜头组的光轴之间的角度。可选的，所述第一角度可以大于0度且小于或者等于所述摄像头模组的VFOV补角的一半。
其中，所述第一位置与所述图像传感器中心的距离为以下涉及的摄像头模组对应的光心或扩张焦点(focus ofexpansion，FOE)在所述第一坐标系中的纵坐标的绝对值。
具体的，所述摄像头模组对应的光心或FOE在所述第一坐标系中的纵坐标y0的绝对值可以符合以下公式一：
|y0|＝|fyh(θ)| 公式一；
其中，fy为所述摄像头模组中心的焦距，θ为所述第一角度，h(θ)＝tan(θ)，或者h(θ)为θ的一元N次函数，N为大于0的整数。其中，|*|为对其中参数取绝对值，tan(*)表示正切函数。
可选的，所述FOE可以为当摄像头模组在基于移动平台运动时，静止目标上光流的汇聚点。
在上述方法中，所述第一角度可以为待调整角度，也即通过所述摄像头模组探测的探测范围需要在满足所述VFOV的基础上调整所述第一角度对应的探测范围。
在一种可选的实施方式中，在实际成像时，如图7中(a)和图8所示的摄像头模组的摄像头内参标定时标定出的光心坐标位于所述图像传感器平面的上半部分，所述FOE的坐标同样的在所述图像传感器平面的上半部分，此时在所述第一坐标系中y0为负值，则基于上述公式一可以得到y0可以符合以下公式二：
y0＝-fyh(θ) 公式二。
在另一种可选的实施方式中，在实际成像时，如图7中(b)和图9所示的摄像头模组的摄像头内参标定时标定出的光心坐标位于所述图像传感器平面的下半部分，所述FOE的坐标同样的在所述图像传感器平面的下半部分，此时在所述第一坐标系中y0为正值，则基于上述公式一可以得到y0可以符合以下公式三：
y0＝fyh(θ) 公式三。
可选的，由于摄像头模组的成像模型不同，θ的函数h(θ)也可能不同。例如，当所述摄像头模组的成像模型为小孔成像模型时，h(θ)＝tan(θ)。又例如，当所述摄像头模组的成像模型为鱼眼成像模型时，h(θ)可以为θ的一元N次函数。可选的，θ的一元N次函数可以为θ的一元9次函数，例如，h(θ)＝θ(1+k1θ2+k2θ4+k3θ6+k4θ8)，其中，k1，k2，k3，k4为所述鱼眼成像模型中的四个系数。例如，k1，k2，k3，k4的取值可以分别为：-1.2101823606265119，2.348159905176264，-2.8413822488946474，1.3818466241138192；又例如，k1，k2，k3，k4的取值可以分别为：-1.1529851704803267，2.114443595798193，-2.458009210238794，1.1606670303240054；又例如，k1，k2，k3，k4的取值可以分别为：-1.1741024894366126，2.1870282871688733，-2.5272904743180695，1.170976436497773。当然，k1，k2，k3，k4的取值还可以为其他取值，本申请此处不再一一列举。
需要说明的是，上述θ的一元9次函数仅仅是一个示例，不作为对h(θ)的限定。
需要说明的是，上述仅仅以两种成像模型为例示出了可能的h(θ)，并不能对h(θ)进行限定，h(θ)还可以有其它多种函数表示，本申请在此不再一一列举。
在一种可选的实施方式中，所述第一位置和所述图像传感器中心的距离可以与所述摄像头模组的VFOV相关。同样的，所述第一位置和所述图像传感器中心的距离为以下涉及的摄像头模组对应的光心或FOE在所述第一坐标系中的纵坐标的绝对值。
在一种示例中，所述摄像头模组对应的光心或FOE在所述第一坐标系中的纵坐标y0可以符合以下公式四：
Figure BDA0003227900850000091
其中，fy为所述摄像头模组中心的焦距，
Figure BDA0003227900850000092
为所述摄像头模组的VFOV。
可选的，当所述摄像头模组的成像模型为小孔成像模型时可以采用上述公式四的方法。
在另一种示例中，所述摄像头模组对应的光心或FOE在所述第一坐标系中的纵坐标y0可以符合以下公式五：
y0＝-fyθd 公式五；
其中，fy为所述摄像头模组中心的焦距，θd与θ1相关，例如θd可以为与θ1有关的函数g(θ1)，
Figure BDA0003227900850000093
Figure BDA0003227900850000094
为所述摄像头模组的VFOV。
可选的，当所述摄像头模组的成像模型为鱼眼成像模型时可以采用上述公式五的方法。此时，θd＝θ1(1+k1θ12+k2θ14+k3θ16+k4θ18)，k1，k2，k3，k4为所述鱼眼成像模型中的四个系数。例如，k1，k2，k3，k4的取值可以分别为：-1.2101823606265119，2.348159905176264，-2.8413822488946474，1.3818466241138192；又例如，k1，k2，k3，k4的取值可以分别为：-1.1529851704803267，2.114443595798193，-2.458009210238794，1.1606670303240054；又例如，k1，k2，k3，k4的取值可以分别为：-1.1741024894366126，2.1870282871688733，-2.5272904743180695，1.170976436497773。当然，k1，k2，k3，k4的取值还可以为其他取值，本申请此处不再一一列举。
需要说明的是，上述θd的计算方式仅仅是一个示例，还可以有其它多种方式，本申请对此不作限定。
在具体实施时，当所述摄像头模组为图7中(a)和图8中所示的摄像头模组时，可以采用上述公式四和公式五中的方法。
在又一种示例中，所述摄像头模组对应的光心或FOE在所述第一坐标系中的纵坐标y0可以符合以下公式六：
Figure BDA0003227900850000095
其中，fy为所述摄像头模组中心的焦距，θ0为预设度数，
Figure BDA0003227900850000103
为所述摄像头模组的VFOV。
可选的，θ0可以为0.21弧度(rad)等，或者θ0可以为12度等，当然θ0还可以为其它度数，本申请对此不作限定。
可选的，当所述摄像头模组的成像模型为小孔成像模型时可以采用上述公式六的方法。
在又一种示例中，所述摄像头模组对应的光心或FOE在所述第一坐标系中的纵坐标y0可以符合以下公式七：
y0＝fyθs 公式七；
其中，fy为所述摄像头模组中心的焦距，θs与θ2相关，例如θs可以为与θ2有关的函数g(θ2)，
Figure BDA0003227900850000101
Figure BDA0003227900850000102
为所述摄像头模组的VFOV。
可选的，当所述摄像头模组的成像模型为鱼眼成像模型时可以采用上述公式七的方法。此时，θs＝θ2(1+k1θ22+k2θ24+k3θ126+k4θ28)，k1，k2，k3，k4为所述鱼眼成像模型中的四个系数。例如，k1，k2，k3，k4的取值可以分别为：-1.2101823606265119，2.348159905176264，-2.8413822488946474，1.3818466241138192；又例如，k1，k2，k3，k4的取值可以分别为：-1.1529851704803267，2.114443595798193，-2.458009210238794，1.1606670303240054；又例如，k1，k2，k3，k4的取值可以分别为：-1.1741024894366126，2.1870282871688733，-2.5272904743180695，1.170976436497773。当然，k1，k2，k3，k4的取值还可以为其他取值，本申请此处不再一一列举。
需要说明的是，上述θs的计算方式仅仅是一个示例，还可以有其它多种方式，本申请对此不作限定。
在具体实施时，当所述摄像头模组为图7中(b)和图9中所示的摄像头模组时，可以采用上述公式六和公式七中的方法。
示例性的，所述移动平台可以是车辆等等。
例如，当所述摄像头模组安装在车辆上时，图7中(a)和图8所示的摄像头模组可以应用于车载环视感知系统，图7中(b)和图9所示的摄像头模组可以应用于车载前视感知系统。在一种实施方式中，采用本申请实施例提供的摄像头模组的安装方法，将上述涉及的摄像头模组安装在车辆上时，在安装时可以不必将摄像头模组倾斜安装，即可以满足探测需求。
在一种可选的实施方式中，当所述移动平台为车辆，并且安装在车辆上的所述摄像头模组应用于所述车载环视感知系统时，在安装时不需要将摄像头模组倾斜向下指向地面，则可以保证车身四周的盲区足够小。例如，当所述摄像头模组应用于所述车载环视感知系统的前视摄像头时，假设所述摄像头模组的VFOV为120度时，所述摄像头模组的安装示意图可以如图10所示。在图10中可以看出，所述摄像头模组的光轴平行于车辆所在的地面，这样可以保证运动方向与图像传感器平面垂直，从而可以提高摄像头运动估计的准确性和鲁棒性，进而减小目标定位误差。
在又一种可选的实施方式中，当所述移动平台为车辆，并且安装在车辆上的所述摄像头模组应用于所述车载前视感知系统时，在安装时不需要将摄像头模组倾斜向上安装，则可以增大交通标志牌、交通信号灯等目标的感知范围。例如，当所述摄像头模组应用于所述车载前视感知系统时，假设所述摄像头模组的VFOV为40度时，所述摄像头模组的安装示意图可以如图11所示。在图11中可以看出，所述摄像头模组的光轴平行于车辆所在的地面，这样可以保证运动方向与图像传感器平面垂直，从而可以提高摄像头运动估计的准确性和鲁棒性，进而减小目标定位误差。
采用本申请实施例提供的摄像头模组的安装方法，由于摄像头模组可以与移动平台所在的地面平行，可以保证运动方向与图像传感器平面垂直，这样可以提高摄像头运动估计的准确性和鲁棒性，进而减小目标定位误差，并且无需将摄像头模组倾斜安装，就可以满足所需的探测范围。
基于以上描述，本申请实施例还提供了一种移动平台，包括摄像头模组，所述摄像头模组包括镜头组和图像传感器，所述镜头组包括至少一个镜头；其中：所述摄像头模组与所述移动平台所在的地面平行；所述镜头组的中心在所述图像传感器平面的投影为第一位置；所述第一位置与所述图像传感器中心的距离大于第一阈值，所述第一阈值大于0。具体的，所述摄像头模组的详细介绍可以参见上述实施例中涉及的相关描述，此处不再重复赘述。在一种可选的实施方式中，所述移动平台可以但不限于是车辆等等。
基于以上实施例，采用本申请实施例提供的摄像头模组的安装方法，将所述摄像头模组安装在移动平台上，以进行目标定位时，通过所述摄像头模组拍摄的两帧图像中匹配的特征点估计摄像头运动是空间三维重建算法中重要的一个环节。以图12为例，假设求取两帧图像I1、I2之间的运动，即求取从第一帧图像I1到第二帧图像I2摄像头的旋转R和平移t。两帧图像对应的镜头组的中心分别为O1、O2。考虑I1中的一个特征点p1在I2中对应着特征点p2。其中，两帧图像中特征点相匹配或相对应，表示两帧图像中特征点为同一个空间三维点P在这两帧图像上的投影。
从代数角度分析其中的几何关系，在第一帧图像的坐标系下，设P的空间位置为：P＝[X，Y，Z]T。
假设摄像头模组的成像模型为小孔成像模型时，根据小孔成像模型，P点在两帧图像I1、I2中的像素点p1、p2的像素位置可以符合以下公式八：
s1p1＝KP，s2p2＝K(RP+t) 公式八；
其中，K是摄像头内参矩阵。
在齐次坐标系下，一个向量将等于它自身乘上任意的非零常数。这通常用于表达一个投影关系。例如p1和s1p1成投影关系，p1和s1p1在齐次坐标系的意义下是相等的，或称为尺度意义下相等，可以记作：s1p1～p1。
那么，公式八中两个投影可以记作：p1～KP，p2～K(RP+t)；
令x1＝K-1p1，x2＝K-1p2，代入上式则有：x2～Rx1+t；
两边同时左乘t∧，再同时左乘
Figure BDA0003227900850000111
则有：
Figure BDA0003227900850000112
其中，t＝[t1，t2，t3]T，
Figure BDA0003227900850000113
由于等号左侧中向量t∧x2和向量x2垂直，因此两者内积为0，因此有以下公式九：
Figure BDA0003227900850000114
可以称上述公式九为对极约束。定义本质矩阵E＝t∧R，是一个3×3的矩阵。
假设一对匹配点的归一化坐标为x1＝[u1，v1，1]T，x2＝[u2，v2，1]T。根据上述对极约束，则有：
Figure BDA0003227900850000121
将矩阵E展开写成向量的形式则有：e＝[e1，e2，e3，e4，e5，e6，e7，e8，e9]T；
那么对极约束可以写成如下线性形式：[u2u1，u2v1，u2，v2u1，v2v1，v2，u1，v1，1]·e＝0。
通常，可以使用n之8对特征点来估计E。把所有点放到一个方程中，可以变成如公式十所示的线性方程组：
Ae＝0 公式十
其中，
Figure BDA0003227900850000122
易证明，上述公式十所示的线性方程组的解为矩阵ATA最小特征值对应的特征向量。
在求解得E之后，可以通过奇异值分解(singular value decomposition，SVD)恢复出摄像头的旋转R和平移t。设E的SVD为：E＝U∑VT，其中，U、V为正交阵，∑为奇异值矩阵。对于任意一个E，存在两个可能的R、t与之对应可以如下：
Figure BDA0003227900850000123
其中，Rz(π/2)表示沿Z轴旋转90°得到的旋转矩阵。因此，从E分解到R、t时，一共存在4个可能的解，可以如图13所示。
从图13中可以看出，只有第一种解(图13中(a)所示)中的P在两个摄像头中都具有正的深度。因此，只要把任意一点代入4种解中，检测该点在两个摄像头下的深度，就可以确定哪个解是正确的了。
令B＝ATA，通过正交矩阵H对角化，即H-1BH＝diag{λ1，λ2，...，λn}，其中λi，i＝1，2，...，n为矩阵B的特征值。
不失一般性，设λ1为简单特征值，并令λ1＜λ2≤λ3≤…≤λn，再令对应的特征向量张成H＝[h1，h2，...，hn]，其中，e为对应特征值λ1的特征向量，即e在h1张成的空间中。
设B(∈)＝B+ΔB，表示B上叠加了噪声，其中∈为矩阵
Figure BDA0003227900850000124
的最大值，则有：
Figure BDA0003227900850000125
其中
Figure BDA0003227900850000126
因此，有|bij|≤1。记矩阵ΔB的最小特征值为λ1(∈)，对应的特征向量为：e(∈)＝e+δe。其中，δe在{h2，h3，...，hn}张成的空间中。
当∈足够小时，则误差λ1(∈)-λ1可以展开为级数λ1(∈)-λ1＝a1∈+a2∈2+a3∈3+…，其中线性部分可以表示为：
Figure BDA0003227900850000127
令H2＝[h2，h3，...，hn]。易证明，存在(n-1)维向量g1，g2，g3，...，使得δe＝∈H2g1+∈2H2g2+∈3H2g3+…，其中线性部分可以表示为：∈H2g1＝HΔHTΔBe。其中，Δ可以符合以下公式十一：
Δ＝diag{0，(λ1-λ2)-1，...，(λ1-λn)-1} 公式十一。
舍弃误差级数中二次和高次项，则特征值λ1的误差可以为
Figure BDA0003227900850000131
特征向量e的误差可以为
Figure BDA0003227900850000132
当矩阵A为非退化阵，即矩阵A的秩为8时，λ1＝0。而当矩阵A的秩小于8时，矩阵E的求解是噪声敏感的。所述噪声主要来自于特征点检测误差、特征点匹配误差、量化误差，以及摄像头内参标定误差等。具体的，当矩阵A的秩小于8时，有λ1≈λ2。由上述公式十一可以看出，Δ的第二项变为无穷大，这使得矩阵E的估计误差也变得无穷大。
上述噪声影响在摄像头模组实际工作时体现如下：
由上述公式九以及上述R、t计算过程可以看出：t·(x2×Rx1)＝0。即t和x2×Rx1互相垂直。
如图14中(a)所示，当平移向量t垂直于图像传感器平面XY时，x2×Rx1覆盖着较大的区域(见阴影区域)；而如图14中(b)所示，当平移向量t平行于图像传感器平面XY时，x2×Rx1覆盖区域较小(见阴影区域)。当矩阵A受到噪声影响时，阴影区域将偏离其原有位置，从而在平移向量t的估计中引入误差。很显然，此时图14中(a)所示场景相比图14中(b)所示场景具有更高的鲁棒性。
基于上述分析，可以看出：为了保证摄像头运动估计的准确性和鲁棒性，应使得摄像头平移方向(运动方向)垂直于图像传感器平面。
基于上述分析，很显然，由于采用本申请实施例提供摄像头模组的安装方法，在将所述摄像头模组安装在移动平台上时，可以使所述摄像头模组与所述移动平台所在的地面平行，具体的，可以使摄像头模组的镜头组的光轴和图像传感器平面的法线均与移动平台所在的地面平行，例如图10和图11所示，也即使得摄像头运动方向垂直于所述图像传感器平面，从而提高摄像头运动估计的准确性和鲁棒性。也就是说，相对于现有技术中摄像头模组安装在移动平台上时，由于摄像头模组倾斜安装例如图4和图5所示，导致摄像头运动方向与图像传感器平面不能垂直，影响摄像头运动估计的准确性和鲁棒性，采用本申请实施例提供的摄像头模组的安装方法后，摄像头运动估计的准确性和鲁棒性明显可以提高。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的保护范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (20)

1.一种摄像头模组的安装方法，其特征在于：
将所述摄像头模组安装在移动平台上，所述摄像头模组与所述移动平台所在的地面平行；
所述摄像头模组包括镜头组和图像传感器，所述镜头组包括至少一个镜头；
所述镜头组的中心在所述图像传感器平面的投影为第一位置；
所述第一位置与所述图像传感器中心的距离大于第一阈值，所述第一阈值大于0。
2.如权利要求1所述的安装方法，其特征在于，所述镜头组的光轴和所述图像传感器平面的法线均与所述移动平台所在的地面平行。
3.如权利要求1或2所述的安装方法，其特征在于，所述第一位置与所述图像传感器中心的连线与第一坐标系中横轴方向垂直，所述第一坐标系为以所述图像传感器中心为原点，水平向右为横轴正方向，竖直向下为纵轴正方向建立的直角坐标系。
4.如权利要求1-3任一项所述的安装方法，其特征在于，所述第一位置和所述图像传感器中心的距离与第一角度相关，所述第一角度为所述摄像头模组的垂直视场VFOV的角平分线与所述镜头组的光轴之间的角度。
5.如权利要求4所述的安装方法，其特征在于，所述第一角度大于0度且小于或者等于所述摄像头模组的VFOV补角的一半。
6.如权利要求4或5所述的安装方法，其特征在于，所述摄像头模组对应的光心或扩张焦点FOE在第一坐标系中的纵坐标y0的绝对值符合以下公式：
|y0|＝|fyh(θ)|
其中，fy为所述摄像头模组中心的焦距，θ为所述第一角度，h(θ)＝tan(θ)，或者h(θ)为θ的一元N次函数，N为大于0的整数，所述第一坐标系为以所述图像传感器中心为原点，水平向右为横轴正方向，竖直向下为纵轴正方向建立的直角坐标系。
7.如权利要求1-5任一项所述的安装方法，其特征在于，所述摄像头模组对应的光心或扩张焦点FOE在第一坐标系中的纵坐标y0符合以下公式：
Figure FDA0003227900840000011
其中，fy为所述摄像头模组中心的焦距，
Figure FDA0003227900840000012
为所述摄像头模组的VFOV，所述第一坐标系为以所述图像传感器中心为原点，水平向右为横轴正方向，竖直向下为纵轴正方向建立的直角坐标系。
8.如权利要求1-5任一项所述的安装方法，其特征在于，所述摄像头模组对应的光心或扩张焦点FOE在第一坐标系中的纵坐标y0符合以下公式：
y0＝-fyθd
其中，fy为所述摄像头模组中心的焦距，θd与θ1相关，
Figure FDA0003227900840000013
Figure FDA0003227900840000014
为所述摄像头模组的VFOV，所述第一坐标系为以所述图像传感器中心为原点，水平向右为横轴正方向，竖直向下为纵轴正方向建立的直角坐标系。
9.如权利要求1-5任一项所述的安装方法，其特征在于，所述摄像头模组对应的光心或扩张焦点FOE在第一坐标系中的纵坐标y0符合以下公式：
Figure FDA0003227900840000021
其中，fy为所述摄像头模组中心的焦距，θ0为预设度数，
Figure FDA0003227900840000022
为所述摄像头模组的VFOV，所述第一坐标系为以所述图像传感器中心为原点，水平向右为横轴正方向，竖直向下为纵轴正方向建立的直角坐标系。
10.如权利要求1-5任一项所述的安装方法，其特征在于，所述摄像头模组对应的光心或扩张焦点FOE在第一坐标系中的纵坐标y0符合以下公式：
y0＝fyθs
其中，fy为所述摄像头模组中心的焦距，θs与θ2相关，
Figure FDA0003227900840000023
Figure FDA0003227900840000024
为所述摄像头模组的VFOV，θ0为预设度数，所述第一坐标系为以所述图像传感器中心为原点，水平向右为横轴正方向，竖直向下为纵轴正方向建立的直角坐标系。
11.一种移动平台，其特征在于，包括摄像头模组，所述摄像头模组包括镜头组和图像传感器，所述镜头组包括至少一个镜头；其中：
所述摄像头模组与所述移动平台所在的地面平行；
所述镜头组的中心在所述图像传感器平面的投影为第一位置；
所述第一位置与所述图像传感器中心的距离大于第一阈值，所述第一阈值大于0。
12.如权利要求11所述的移动平台，其特征在于，所述镜头组的光轴和所述图像传感器平面的法线均与所述移动平台所在的地面平行。
13.如权利要求11或12所述的移动平台，其特征在于，所述镜头组的中心与所述图像传感器中心的连线与第一坐标系中横轴方向垂直，所述第一坐标系为以所述图像传感器中心为原点，水平向右为横轴正方向，竖直向下为纵轴正方向建立的直角坐标系。
14.如权利要求11-13任一项所述的移动平台，其特征在于，所述第一位置和所述图像传感器中心的距离与第一角度相关，所述第一角度为所述摄像头模组的垂直视场VFOV的角平分线与所述镜头组的光轴之间的角度。
15.如权利要求14所述的移动平台，其特征在于，所述第一角度大于0度且小于或者等于所述摄像头模组的VFOV补角的一半。
16.如权利要求14或15所述的移动平台，其特征在于，所述摄像头模组对应的光心或扩张焦点FOE在第一坐标系中的纵坐标y0的绝对值符合以下公式：
|y0|＝|fyh(θ)|
其中，fy为所述摄像头模组中心的焦距，θ为所述第一角度，h(θ)＝tan(θ)，或者h(θ)为θ的一元N次函数，N为大于0的整数，所述第一坐标系为以所述图像传感器中心为原点，水平向右为横轴正方向，竖直向下为纵轴正方向建立的直角坐标系。
17.如权利要求11-15任一项所述的移动平台，其特征在于，所述摄像头模组对应的光心或扩张焦点FOE在第一坐标系中的纵坐标y0符合以下公式：
Figure FDA0003227900840000031
其中，fy为所述摄像头模组中心的焦距，
Figure FDA0003227900840000032
为所述摄像头模组的VFOV，所述第一坐标系为以所述图像传感器中心为原点，水平向右为横轴正方向，竖直向下为纵轴正方向建立的直角坐标系。
18.如权利要求11-15任一项所述的移动平台，其特征在于，所述摄像头模组对应的光心或扩张焦点FOE在第一坐标系中的纵坐标y0符合以下公式：
y0＝-fyθd
其中，fy为所述摄像头模组中心的焦距，θd与θ1相关，
Figure FDA0003227900840000033
Figure FDA0003227900840000034
为所述摄像头模组的VFOV，所述第一坐标系为以所述图像传感器中心为原点，水平向右为横轴正方向，竖直向下为纵轴正方向建立的直角坐标系。
19.如权利要求11-15任一项所述的移动平台，其特征在于，所述摄像头模组对应的光心或扩张焦点FOE在第一坐标系中的纵坐标y0符合以下公式：
Figure FDA0003227900840000035
其中，fy为所述摄像头模组中心的焦距，θ0为预设度数，
Figure FDA0003227900840000036
为所述摄像头模组的VFOV，所述第一坐标系为以所述图像传感器中心为原点，水平向右为横轴正方向，竖直向下为纵轴正方向建立的直角坐标系。
20.如权利要求11-15任一项所述的移动平台，其特征在于，所述摄像头模组对应的光心或扩张焦点FOE在第一坐标系中的纵坐标y0符合以下公式：
y0＝fyθs
其中，fy为所述摄像头模组中心的焦距，θs与θ2相关，
Figure FDA0003227900840000037
Figure FDA0003227900840000038
为所述摄像头模组的VFOV，θ0为预设度数，所述第一坐标系为以所述图像传感器中心为原点，水平向右为横轴正方向，竖直向下为纵轴正方向建立的直角坐标系。
CN202180002256.4A 2021-03-24 2021-03-24 一种摄像头模组的安装方法及移动平台 Active CN113491106B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211403956.7A CN115835031A (zh) 2021-03-24 2021-03-24 一种摄像头模组的安装方法及移动平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/082852 WO2022198534A1 (zh) 2021-03-24 2021-03-24 一种摄像头模组的安装方法及移动平台

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202211403956.7A Division CN115835031A (zh) 2021-03-24 2021-03-24 一种摄像头模组的安装方法及移动平台

Publications (2)

Publication Number Publication Date
CN113491106A true CN113491106A (zh) 2021-10-08
CN113491106B CN113491106B (zh) 2022-11-18

Family

ID=77939958

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202180002256.4A Active CN113491106B (zh) 2021-03-24 2021-03-24 一种摄像头模组的安装方法及移动平台
CN202211403956.7A Pending CN115835031A (zh) 2021-03-24 2021-03-24 一种摄像头模组的安装方法及移动平台

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202211403956.7A Pending CN115835031A (zh) 2021-03-24 2021-03-24 一种摄像头模组的安装方法及移动平台

Country Status (3)

Country Link
EP (1) EP4319137A4 (zh)
CN (2) CN113491106B (zh)
WO (1) WO2022198534A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022198534A1 (zh) * 2021-03-24 2022-09-29 华为技术有限公司 一种摄像头模组的安装方法及移动平台
CN117437352A (zh) * 2023-09-27 2024-01-23 广州汽车集团股份有限公司 三维重建方法、装置、车辆及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160021309A1 (en) * 2014-07-21 2016-01-21 Honeywell International Inc. Image based surveillance system
CN105991904A (zh) * 2015-02-28 2016-10-05 福州瑞芯微电子股份有限公司 具有摄像功能的便携式电子设备与摄像模组
WO2020178161A1 (en) * 2019-03-02 2020-09-10 Jaguar Land Rover Limited A camera assembly and a method
CN111866349A (zh) * 2020-07-30 2020-10-30 深圳市当智科技有限公司 一种用于投影设备的摄像头、投影设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140152771A1 (en) * 2012-12-01 2014-06-05 Og Technologies, Inc. Method and apparatus of profile measurement
DE102013002111B4 (de) * 2013-02-08 2021-11-18 Mekra Lang Gmbh & Co. Kg Sichtsystem für Fahrzeuge, insbesondere Nutzfahrzeuge
US10946798B2 (en) * 2013-06-21 2021-03-16 Magna Electronics Inc. Vehicle vision system
US10525883B2 (en) * 2014-06-13 2020-01-07 Magna Electronics Inc. Vehicle vision system with panoramic view
JP6343629B2 (ja) * 2016-04-19 2018-06-13 富士通株式会社 表示制御装置、表示制御方法、および表示制御プログラム
CN209299385U (zh) * 2019-01-25 2019-08-23 深圳市艾为智能有限公司 一种偏心鱼眼摄像头
WO2022198534A1 (zh) * 2021-03-24 2022-09-29 华为技术有限公司 一种摄像头模组的安装方法及移动平台

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160021309A1 (en) * 2014-07-21 2016-01-21 Honeywell International Inc. Image based surveillance system
CN105991904A (zh) * 2015-02-28 2016-10-05 福州瑞芯微电子股份有限公司 具有摄像功能的便携式电子设备与摄像模组
WO2020178161A1 (en) * 2019-03-02 2020-09-10 Jaguar Land Rover Limited A camera assembly and a method
CN111866349A (zh) * 2020-07-30 2020-10-30 深圳市当智科技有限公司 一种用于投影设备的摄像头、投影设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022198534A1 (zh) * 2021-03-24 2022-09-29 华为技术有限公司 一种摄像头模组的安装方法及移动平台
CN117437352A (zh) * 2023-09-27 2024-01-23 广州汽车集团股份有限公司 三维重建方法、装置、车辆及存储介质

Also Published As

Publication number Publication date
CN115835031A (zh) 2023-03-21
WO2022198534A1 (zh) 2022-09-29
CN113491106B (zh) 2022-11-18
EP4319137A1 (en) 2024-02-07
EP4319137A4 (en) 2024-05-22

Similar Documents

Publication Publication Date Title
US10860871B2 (en) Integrated sensor calibration in natural scenes
US10909395B2 (en) Object detection apparatus
JP6834964B2 (ja) 画像処理装置、画像処理方法、およびプログラム
CN113491106B (zh) 一种摄像头模组的安装方法及移动平台
JP6767998B2 (ja) 画像の線からのカメラの外部パラメータ推定
CN110415555B (zh) 一种基于深度学习的有效划线车位识别方法和系统
US10885389B2 (en) Image processing device, image processing method, learning device, and learning method
US11173841B2 (en) Multicamera system for autonamous driving vehicles
CN110691986B (zh) 用于计算机视觉的设备、方法和非暂时性计算机可读记录介质
JP4414661B2 (ja) ステレオアダプタ及びそれを用いた距離画像入力装置
CN103426161A (zh) 车载摄像机自动校准装置
CN109643467B (zh) 图像处理设备和图像处理方法
US10453219B2 (en) Image processing apparatus and image processing method
CN114913290A (zh) 多视角融合的场景重建方法、感知网络训练方法及装置
CN112348752A (zh) 一种基于平行约束的车道线消失点补偿方法及装置
WO2016203989A1 (ja) 画像処理装置および画像処理方法
JP2004257837A (ja) ステレオアダプタ撮像システム
CN111860270A (zh) 一种基于鱼眼相机的障碍物检测方法及装置
CN112639864B (zh) 用于测距的方法和装置
CN112001970A (zh) 一种基于点线特征的单目视觉里程计方法
CN111260698A (zh) 双目图像特征匹配方法及车载终端
EP4246467A1 (en) Electronic instrument, movable apparatus, distance calculation method, and storage medium
Kawamata et al. Calibration method of the monocular omnidirectional stereo camera
CN116778151A (zh) 一种目标检测方法、装置、车辆、计算机设备及存储介质
Vu et al. Catadioptric omnidirectional vision sensor integration for vehicle-based sensing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant