CN108260360B - 场景深度计算方法、装置及终端 - Google Patents

场景深度计算方法、装置及终端 Download PDF

Info

Publication number
CN108260360B
CN108260360B CN201680054264.2A CN201680054264A CN108260360B CN 108260360 B CN108260360 B CN 108260360B CN 201680054264 A CN201680054264 A CN 201680054264A CN 108260360 B CN108260360 B CN 108260360B
Authority
CN
China
Prior art keywords
camera
image
lens
offset
ois
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680054264.2A
Other languages
English (en)
Other versions
CN108260360A (zh
Inventor
唐忠伟
徐荣跃
王运
李邢
李远友
敖欢欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN108260360A publication Critical patent/CN108260360A/zh
Application granted granted Critical
Publication of CN108260360B publication Critical patent/CN108260360B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本发明实施例涉及场景深度计算方法、装置和终端。该方法包括：获取带有OIS系统的摄像头的镜头偏移量；其中，第一摄像头和/或第二摄像头带有OIS系统；根据预设的OIS马达感度标定参数，将镜头偏移量转换为图像偏移量；根据补偿后的第一摄像头标定参数和/或补偿后的第二摄像头标定参数，以及第一摄像头和所述第二摄像头在同一时刻采集目标场景分别得到的第一图像和第二图像，计算所述目标场景的场景深度；其中，根据第一摄像头的镜头偏移量补偿第一摄像头的标定参数，根据第二摄像头的镜头偏移量补偿第二摄像头的标定参数。由此，解决了视差问题，用补偿后的摄像头标定参数计算目标场景的场景深度，计算出的目标场景的场景深度值更准确。

Description

场景深度计算方法、装置及终端
本申请要求于2016年10月25日提交中国国家知识产权局专利局、申请号为201610941102.2、发明名称为“一种具有双摄像头终端的图像深度计算的方法和终端”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本发明实施例涉及通信领域，尤其涉及一种具有双摄像头终端设备的目标场景的场景深度计算方法、装置及终端。
背景技术
当前，通过双摄像头实现深度计算的方式，正应用在越来越多的手机上，比如型号为华为P9的手机。光学图像稳定(Optical Image Stabilization，OIS，通常也可以称为光学防抖)作为提升在低光照下拍照质量的重要手段，也在越来越多的手机上使用。OIS的工作原理是通过镜头的移动来补偿手抖以达到图像的稳定。
现有技术一般通过双摄像头的标定参数来矫正图像，使得双摄像头提供的左右图像在一个方向上对齐，然后计算出视差，再将视差转换为场景深度。但只要其中一个摄像头带有OIS系统后，由于OIS引起镜头偏移，导致双摄像头标定参数发生变化，导致视差问题(正值视差和负值视差同时存在，或者图像无法在一个方向对齐)，进而造成计算的场景深度值不准确。
发明内容
本发明实施例提供了一种场景深度计算方法，当OIS系统存在于一个或两个摄像头时，解决了视差问题(正负视差同时存在，或者图像无法在一个方向对齐)导致的目标场景的场景深度值不准确的问题。
第一方面，提供了一种场景深度计算方法，所述方法包括：获取带有OIS系统的摄像头的镜头偏移量；其中，第一摄像头和/或第二摄像头带有OIS系统，第一摄像头和第二摄像头并列设置在同一终端设备的机身上；根据预设的OIS马达感度标定参数，将所述镜头偏移量转换为图像偏移量；根据补偿后的第一摄像头标定参数和/或补偿后的第二摄像头标定参数，以及所述第一摄像头和所述第二摄像头在同一时刻采集目标场景分别得到的第一图像和第二图像，计算所述目标场景的场景深度；其中，根据第一摄像头的镜头偏移量补偿第一摄像头的标定参数，根据第二摄像头的镜头偏移量补偿第二摄像头的标定参数。通过补偿终端设备抖动引起的摄像头标定参数的变化，解决了视差问题，用补偿后的摄像头标定参数计算目标场景的场景深度，计算出的场景深度值更准确。
结合第一方面，在第一方面的第一种可能的实现方式中，所述方法之前还包括：获取陀螺仪传感器检测的终端设备抖动的角速度信息；将所述角速度信息转化为终端设备的抖动幅度，根据所述抖动幅度驱动OIS马达推动所述第一摄像头的镜头和/或第二摄像头的镜头移动，并获取第一摄像头和/或第二摄像头的镜头偏移量。其中，由于终端设备抖动时间和其曝光时间不一致，且抖动时间大于曝光时间，会获取到多个镜头偏移量，根据预设规则，从多个镜头偏移量中确定一个镜头偏移量，并在后续计算目标场景的场景深度时，利用该确定的镜头偏移量进行计算。
结合第一方面，在第一方面的第二种可能的实现方式中，根据以下步骤确定OIS马达感度标定参数：通过OIS控制器，推动OIS马达，将镜头移动至指定位置；等待所述OIS马达稳定后拍照；当拍摄的图像达到预设数量张时，检测各张图像的特征点坐标，并根据镜头的所述指定位置和所述各张图像的特征点坐标,确定OIS马达感度标定参数。通过在终端设备出厂之前，将该OIS马达感度标定参数存储在其中，以便在终端设备出厂后，计算目标场景的场景深度时，利用存储的OIS马达感度标定参数，将镜头偏移量转换为图像偏移量。
结合第一方面，在第一方面的第三种可能的实现方式中，根据下式，将镜头偏移量转换为图像偏移量，
Δx≈α×ΔC
其中，Δx为图像偏移量，α为OIS马达感度标定参数，ΔC为镜头偏移量，通过OIS马达感度标定参数，将镜头偏移量转换为图像偏移量，与摄像头标定参数的单位保持一致。
结合第一方面，在第一方面的第四种可能的实现方式中，当第一摄像头带有OIS系统时，所述根据补偿后的第一摄像头标定参数和/或补偿后的第二摄像头标定参数，以及所述第一摄像头和所述第二摄像头在同一时刻采集目标场景分别得到的第一图像和第二图像，计算所述目标场景的场景深度具体包括：
利用下式确定目标场景的场景深度，
Figure BDA0001599843560000021
其中，Z为目标场景的场景深度，f为焦距，a1为第一摄像头的OIS马达感度标定参数，Δ 1为镜头偏移量，pixel pitch为一个pixel的大小，a1×Δ1≈Δx1为第一图像偏移量，a×Δ1×pixel pitch是将第一图像偏移量的单位从pixel转换为mm，补偿后第一摄像头的主点从u1'变为u1，基线从B'变为B1，第二摄像头的主点为u2，x1为所述第一图像成像点，x2为所述第二图像的成像点。
结合第一方面，在第一方面的第五种可能的实现方式中，当第一摄像头和第二摄像头都带有OIS系统时，所述根据补偿后的第一摄像头标定参数和/或补偿后的第二摄像头标定参数，以及所述第一摄像头和所述第二摄像头在同一时刻采集目标场景分别得到的第一图像和第二图像，计算所述目标场景的场景深度具体包括：
Figure BDA0001599843560000022
其中，a1为第一摄像头的OIS马达感度标定参数，Δ1为第一摄像头的镜头偏移量，a1×Δ1≈Δx1为第一图像偏移量，a1×Δ1×pixel pitch是将第一图像偏移量的单位从pixel转换为mm，a2为第二摄像头的OIS马达感度标定参数，Δ2为第二摄像头的镜头偏移量，a2×Δ2≈Δx2为第二图像偏移量，a2×Δ2×pixel pitch是将第二图像偏移量的单位pixel转换为mm，补偿后第一摄像头的主点从u1'变为u1，补偿后第二摄像头的主点从u2'变为u2，x1为所述第一图像成像点，x2为所述第二图像的成像点。
第二方面，本发明实施例提供了一种场景深度计算装置，所述装置包括：第一获取单元，处理单元，计算单元；所述第一获取单元，用于获取带有OIS系统的摄像头的镜头偏移量；其中，第一摄像头和/或第二摄像头带有OIS系统，第一摄像头和第二摄像头并列设置在同一终端设备的机身上；所述处理单元，用于根据预设的OIS马达感度标定参数，将所述镜头偏移量转换为图像偏移量；所述计算单元，用于根据补偿后的第一摄像头标定参数和/或补偿后的第二摄像头标定参数，以及所述第一摄像头和所述第二摄像头在同一时刻采集目标场景分别得到的第一图像和第二图像，计算所述目标场景的场景深度；其中，根据第一摄像头的镜头偏移量补偿第一摄像头的标定参数，根据第二摄像头的镜头偏移量补偿第二摄像头的标定参数。通过补偿终端设备抖动引起的摄像头标定参数的变化，解决了视差问题，用补偿后的摄像头标定参数计算场景深度，计算出的场景深度值更准确。
结合第二方面，在第二方面的第一种可能的实现方式中，所述装置还包括：第二获取单元；所述第二获取单元具体用于：获取陀螺仪传感器检测的终端设备抖动的角速度信息；将所述角速度信息转化为终端设备的抖动幅度，根据所述抖动幅度驱动OIS马达推动所述第一摄像头的镜头和/或第二摄像头的镜头移动，并获取第一摄像头和/或第二摄像头的镜头偏移量。其中，由于终端设备抖动时间和其曝光时间不一致，且抖动时间大于曝光时间，会获取到多个镜头偏移量，根据预设规则，从多个镜头偏移量中确定一个镜头偏移量，并在后续计算目标场景的场景深度时，利用该确定的镜头偏移量进行计算。
结合第二方面，在第二方面的第二种可能的实现方式中，所述装置还包括：确定单元；所述确定单元具体用于，通过OIS控制器，推动OIS马达，将镜头移动至指定位置；等待所述OIS马达稳定后拍照；当拍摄的图像达到预设数量张时，检测各张图像的特征点坐标，并根据镜头的所述指定位置,确定OIS马达感度标定参数。通过在终端设备出厂之前，将该OIS马达感度标定参数存储在其中，以便在终端设备出厂后，计算目标场景的场景深度时，利用存储的OIS马达感度标定参数，将镜头偏移量转换为图像偏移量。
结合第二方面，在第二方面的第三种可能的实现方式中，所述处理单元具体用于：
根据下式，将镜头偏移量转换为图像偏移量，
Δx≈α×ΔC
其中，Δx为图像偏移量，α为OIS马达感度标定参数，ΔC为镜头偏移量，通过OIS马达感度标定参数，将镜头偏移量转换为图像偏移量，与摄像头标定参数的单位保持一致。
结合第二方面，在第二方面的第四种可能的实现方式中，当第一摄像头带有OIS时，所述计算单元，具体用于：
利用下式确定目标场景的场景深度，
Figure BDA0001599843560000031
其中，Z为目标场景的场景深度，f为焦距，a1为第一摄像头的OIS马达感度标定参数，Δ 1为镜头偏移量，pixel pitch为一个pixel的大小，a1×Δ1≈Δx1为第一图像偏移量，a×Δ1×pixel pitch是将第一图像偏移量的单位从pixel转换为mm，补偿后第一摄像头的主点从u1'变为u1，基线从B'变为B1，第二摄像头的主点为u2，x1为所述第一图像成像点，x2为所述第二图像的成像点。
结合第二方面，在第二方面的第五种可能的实现方式中，当第一摄像头和第二摄像头都带有OIS时，所述计算单元，具体用于：
利用下式确定目标场景的场景深度，
Figure BDA0001599843560000032
其中，a1为第一摄像头的OIS马达感度标定参数，Δ1为第一摄像头的镜头偏移量，a1×Δ1≈Δx1为第一图像偏移量，a1×Δ1×pixel pitch是将第一图像偏移量的单位从pixel转换为mm，a2为第二摄像头的OIS马达感度标定参数，Δ2为第二摄像头的镜头偏移量，a2×Δ2≈Δx2为第二图像偏移量，a2×Δ2×pixel pitch是将第二图像偏移量的单位pixel转换为mm，补偿后第一摄像头的主点从u1'变为u1，补偿后第二摄像头的主点从u2'变为u2，x1为所述第一图像成像点，x2为所述第二图像的成像点。
第三方面，本发明实施例提供了一种终端，所述终端包括第一摄像头和第二摄像头，所述第一摄像头和第二摄像头至少用于在同一时刻采集目标场景，分别得到第一图像和第二图像；其中，第一摄像头和/或第二摄像头带有OIS系统，第一摄像头和第二摄像头并列设置在同一终端设备的机身上；存储器，所述存储器用于存储所述第一图像和第二图像；处理器，所述处理器用于获取带有OIS马达的摄像头的镜头偏移量，根据预设的OIS马达感度标定参数，将所述镜头偏移量转换为图像偏移量；根据补偿后的第一摄像头标定参数和/或补偿后的第二摄像头标定参数，以及从所述存储器获取的第一图像和第二图像，计算所述目标场景的场景深度；其中，根据第一摄像头的镜头偏移量补偿第一摄像头的标定参数，根据第二摄像头的镜头偏移量补偿第二摄像头的标定参数。利用镜头偏移量，补偿终端设备抖动引起的摄像头标定参数的变化，解决了视差问题，用补偿后的摄像头标定参数计算目标场景的场景深度，计算出的场景深度值更准确。
结合第三方面，在第三方面的第一种可能的实现方式中，所述OIS系统具体用于，获取陀螺仪传感器检测的终端设备抖动的角速度信息；将所述角速度信息转化为终端设备的抖动幅度，根据所述抖动幅度驱动OIS马达推动所述第一摄像头的镜头和/或第二摄像头的镜头移动，并获取第一摄像头和/或第二摄像头的镜头偏移量。其中，由于终端设备抖动时间和其曝光时间不一致，且抖动时间大于曝光时间，会获取到多个镜头偏移量，根据预设规则，从多个镜头偏移量中确定一个镜头偏移量，并在后续计算目标场景的场景深度时，利用该确定的镜头偏移量进行计算。
结合第三方面，在第三方面的第二种可能的实现方式中，所述处理器还用于，通过OIS控制器，推动OIS马达，将镜头移动至指定位置；等待所述OIS马达稳定后拍照；当拍摄的图像达到预设数量张时，检测各张图像的特征点坐标，并根据镜头的所述指定位置和所述各张图像的特征点坐标,确定OIS马达感度标定参数；所述存储器还用于，存储所述OIS马达感度标定参数。通过在终端出厂之前，将该OIS马达感度标定参数存储在其中，以便在终端出厂后，计算目标场景的场景深度时，利用存储的OIS马达感度标定参数，将镜头偏移量转换为图像偏移量。
结合第三方面，在第三方面的第三种可能的实现方式中，所述处理器具体用于，根据下式，将镜头偏移量转换为图像偏移量，
Δx≈α×ΔC
其中，Δx为图像偏移量，α为OIS马达感度标定参数，ΔC为镜头偏移量，通过OIS马达感度标定参数，将镜头偏移量转换为图像偏移量，与摄像头标定参数的单位保持一致。
结合第三方面，在第三方面的第四种可能的实现方式中，当第一摄像头带有OIS系统时，所述处理器具体用于，利用下式确定所述目标场景的场景深度，
Figure BDA0001599843560000041
其中，Z为所述目标场景的场景深度，f为焦距，a1为第一摄像头的OIS马达感度标定参数，Δ1为镜头偏移量，pixel pitch为一个pixel的大小，a1×Δ1≈Δx1为第一图像偏移量，a×Δ1×pixel pitch是将第一图像偏移量的单位从pixel转换为mm，补偿后第一摄像头的主点从u1'变为u1，基线从B'变为B1，第二摄像头的主点为u2，x1为所述第一图像成像点，x2为所述第二图像的成像点。
结合第三方面，在第三方面的第五种可能的实现方式中，当第一摄像头和第二摄像头都带有OIS系统时，所述处理器具体用于，利用下式确定所述目标场景的场景深度，
Figure BDA0001599843560000051
a1为第一摄像头的OIS马达感度标定参数，Δ1为第一摄像头的镜头偏移量，a1×Δ1≈Δx1为第一图像偏移量，a1×Δ1×pixel pitch是将第一图像偏移量的单位从pixel转换为mm，a2为第二摄像头的OIS马达感度标定参数，Δ2为第二摄像头的镜头偏移量，a2×Δ2≈Δx2为第二图像偏移量，a2×Δ2×pixel pitch是将第二图像偏移量的单位pixel转换为mm，补偿后第一摄像头的主点从u1'变为u1，补偿后第二摄像头的主点从u2'变为u2，x1为所述第一图像成像点，x2为所述第二图像的成像点。
附图说明
下面通过附图和实施例，对本发明实施例的技术方案做进一步的详细描述。
图1为OIS系统工作原理框图；
图2为深度计算系统框图；
图3为本发明实施例一提供的场景深度计算方法流程图；
图4a为镜头偏移场景示意图；
图4b为镜头偏移前后成像变化的示意图；
图4c为确定OIS马达感度标定参数流程图；
图5a为本发明实施例提供的场景深度计算的一个示意图；
图5b为本发明实施例提供的场景深度计算的又一个示意图；
图6a为补偿双摄像头标定参数时，拍摄的图像示意图；
图6b为没有补偿双摄像头标定参数后，拍摄的图像示意图；
图6c为图6a的局部放大图；
图6d为图6b的局部放大图；
图7a为没有补偿双摄像头标定参数时，场景深度示意图；
图7b为补偿双摄像头标定参数后，场景深度示意图；
图8为本发明实施例二提供的场景深度计算装置结构示意图；
图9为本发明实施例二提供的又一场景深度计算装置结构示意图；
图10为本发明实施例三提供的终端结构示意图。
具体实施方式
在本发明中，涉及终端设备，终端设备可以是具有双摄像头的设备，包括但不限于照相机(例如数码相机)、摄像机、手机(例如智能手机)、平板电脑(Pad)、个人数字助理(Personal Digital Assistant，PDA)、便携设备(例如，便携式计算机)、可穿戴设备等，本发明实施例对此不做具体限定。
请参考图1，终端设备可以为手机，下面以手机为例对本发明实施例进行阐述。
目前，越来越多的手机上应用双摄像头计算场景深度，双摄像头模拟人类双目视觉原理感知距离，即从两个点观察一个物体，获取在不同视角下的图像，根据图像之间像素的匹配关系，通过三角测量原理计算出像素之间的偏移来获取物体的场景深度。当双摄像头中的一个或者两个带有OIS系统后，由于OIS引起镜头偏移，导致双摄像头标定参数发生变化，导致视差问题，进而造成场景深度计算不准确，因此，需要补偿双摄像头标定参数，使得目标场景的场景深度计算准确。
图1为OIS系统工作原理框图。如图1所示，终端设备包括：OIS系统100和图像处理器(Image Signal Processor，ISP)110。OIS系统100包括：OIS控制器120、陀螺仪传感器130、霍尔传感器140、马达150、摄像头160。
摄像头160包括第一摄像头和第二摄像头，第一摄像头和第二摄像头可以并列位于终端设备的前面，也可以并列位于终端设备的背面，排布方式可以为水平排布也可以为竖直排布，第一摄像头和/或第二摄像头带有OIS系统，第一摄像头和第二摄像头分别具有镜头(图1中未标示)。
霍尔传感器140是基于霍尔效应进行位移测量的磁场传感器，用于获取带有OIS系统的摄像头的镜头偏移量，即第一摄像头和/或第二摄像头的镜头偏移量。
陀螺仪传感器130是基于终端设备在自由空间方位移动的定位系统，用于获取终端设备抖动时的角速度信息。
OIS控制器120从陀螺仪传感器130获取角速度信息，并将角速度信息转换为终端设备的抖动幅度，并将所述抖动幅度作为参考信号发送给马达150。
马达150可以为OIS马达，用于根据抖动幅度，推动带有OIS系统的摄像头的镜头移动，以保证图像的清晰度；其中，该移动指在X和/或Y方向移动，Y方向指镜头的光心和焦点的连线的平面内的一个方向，X方向指通过镜头的光心，和Y方向垂直的方向。
OIS控制器120还从第一摄像头和第二摄像头获取同一时刻采集目标场景分别得到的第一图像和第二图像。
ISP 110存储从OIS控制器120获取的镜头偏移量、第一图像以及第二图像。
下面结合图1中各个构成部件，对OIS系统的工作原理做具体的介绍。
在准备拍摄时，终端设备进行初始化，通常，在准备就绪后，OIS控制器120控制快门获取图像。
在拍摄时，终端设备会发生抖动，OIS控制器120读取陀螺仪传感器130检测的角速度信息，并将角速度信息转换为终端设备的抖动幅度并作为参考信号发送给OIS马达，OIS马达根据抖动幅度移动带有OIS系统的摄像头的镜头，避免因为终端设备抖动造成的拍摄图像模糊，保证图像的清晰度。其中，该移动可以是第一摄像头的镜头在X和/或Y方向移动和/或第二摄像头的镜头在X和/或Y方向移动。OIS控制器120读取霍尔传感器140检测的带有OIS系统的摄像头的镜头偏移量，亦即第一摄像头和/或第二摄像头的镜头偏移量，并从摄像头获取拍摄的图像，亦即分别对应于第一摄像头和第二摄像头在同一时刻采集目标场景得到的第一图像和第二图像，并将镜头偏移量以及拍摄的图像发送给ISP 110。ISP 110存储镜头偏移量以及摄像头拍摄的第一图像和第二图像。
由于终端设备抖动的时间一般大于其曝光时间，比如，终端设备抖动持续时间为30ms，曝光时间为2ms，在此次终端设备抖动时，霍尔传感器140会获取到15个镜头偏移量，OIS控制器120根据预设的规则，从霍尔传感器140读取到这15个镜头偏移量中，再从15个镜头偏移量中，确定一个镜头偏移量，并在后续过程中，利用该确定的镜头偏移量作为上下文中所述的镜头偏移量，进行目标场景的场景深度计算。
图2为深度计算系统框图。如图2所示，深度计算系统包括ISP 110和深度计算模块210。深度计算模块210从ISP 110获取预设的标定信息以及从ISP 110中读取存储的OIS信息、第一摄像头和第二摄像头在同一时刻采集目标场景分别得到的第一图像和第二图像，计算目标场景的场景深度，输出视差图/深度图。其中，标定信息为初始化时，摄像头标定参数，比如焦距、基线、光心和主点等；OIS信息为镜头偏移量。
具体地，深度计算模块获取镜头偏移量，由于镜头偏移量的单位为code,场景深度的单位为毫米(mm)，二者不一致，因此，需要根据OIS马达感度标定参数，将镜头偏移量转换为图像偏移量，单位为像素(pixel)，再用镜头偏移量补偿摄像头标定参数，根据补偿后的摄像头标定参数，计算目标场景的场景深度值，由此计算出的场景深度值更加精确。
图3为本发明实施例一提供的场景深度计算方法流程图。如图3所示，该方法包括：
S310，获取镜头偏移量(参见图4b的ΔC，图5a的Δ1，图5b的Δ1和Δ2)。
具体地，镜头偏移量可以通过霍尔传感器检测获得。
S320，镜头偏移量是否异常；不异常，跳转至S340；异常，跳转至S380。
具体地，如果镜头偏移量大于预设阈值，则镜头偏移量异常；如果镜头偏移量不大于预设阈值，则镜头偏移量不异常。
S340，将镜头偏移量转换为图像偏移量(参见图4b的Δx)。在执行S340之前需要预先执行S330，即输入OIS马达感度标定参数，即单位镜头偏移量所导致的图像偏移量，其中，每一个带有OIS系统的摄像头都有其相应的OIS马达感度标定参数，在终端设备出厂之前，OIS马达感度标定参数已经预先存储在其中。利用OIS马达感度标定参数，可以由镜头偏移量转换为图像偏移量。
S350，补偿双摄像头标定参数。
具体地，由于拍照时终端设备的抖动，导致摄像头的部分标定参数(比如光心、主点、基线等)发生变化，根据镜头偏移量计算出图像偏移量，用镜头偏移量补偿变化的摄像头标定参数，确定变化后的摄像头标定参数的数值。参见图4的光心从C'变为C，主点从u'变为u。参见图5a的第一摄像头镜头的光心从C1'变为C1，主点从u1'变为u1，基线从B'变为B1。参见图5b中的第一摄像头镜头的光心从C1'变为C1，主点从u1'变为u1，第二摄像头镜头的光心从C2'变为C2，主点从u2'变为u2，基线从B'变为B2。
S380，计算目标场景的场景深度。计算公式参见公式2、公式4。在执行S380之前需要预先执行S360，即输入第一图像，以及S370，即输入第二图像。
具体地，根据补偿后的摄像头标定参数、第一图像和第二图像，确定目标场景的场景深度。其中，第一摄像头和第二摄像头在同一时刻采集目标场景分别得到的第一图像和第二图像。
S390，输出目标场景的场景深度。
下面结合图4a-4c，说明如何确定OIS马达感度标定参数。
图4a为镜头偏移场景示意图。如图4a所示，以OIS马达推动一个摄像头的镜头移动为例，OIS马达推动镜头从椭圆形虚线的位置移动至指定位置(xi,yi)，分别拍摄固定chart的图像，图像传感器将摄像头获取的光学图像转换为电子信号，可以根据镜头移动前后的位置，确定镜头偏移量，根据两个固定chart的图像，确定图像偏移量。
图4b为镜头偏移前后成像变化的示意图。如图4b所示，以OIS马达推动一个摄像头的镜头在X方向上移动为例，镜头移动前，摄像头标定参数：焦距为f，光心为C',主点为u'。镜头移动后，摄像头的部分标定参数发生变化：光心从C'变为C，主点从u'变为u。镜头移动前后的成像点分别为x'和x，ΔC为光心C'和光心C的距离，即镜头偏移量，单位为code,Δx为成像点x'和成像点x的距离，即图像偏移量，单位为pixel。根据镜头偏移量和图像偏移量，可以测算出单位镜头偏移量所导致的图像偏移量，即OIS马达感度标定参数。根据该OIS马达感度标定参数，可以在后续的拍摄过程中，基于镜头偏移量计算出实际的图像偏移量，以便补偿终端抖动时摄像头标定参数。
在确定OIS马达感度标定参数时，假设镜头偏移量ΔC和图像偏移量Δx间的关系为线性，可以得到OIS马达感度标定参数为：α≈Δx/ΔC，α单位为pixels/code。
但是ΔC和Δx并不是严格线性的，可以使用更高阶的模型，比如二阶、三阶或者更高，拍摄更多的图像来获得更精准的OIS马达感度标定参数。
图4c为确定OIS马达感度标定参数流程图。如图4c所示，包括：
S410，通过OIS控制器，推动OIS马达，将镜头移动至指定位置(xi,yi)。
具体地，可以是将镜头的坐标从(x1,y1)位置移动至(xi,yi)位置。
S420，等待OIS马达稳定后拍照。
S430，拍摄图像数目是否达到预设数量张；不够，跳转至S410；足够，跳转至S440。
具体地，拍摄图像过少，确定的OIS马达感度标定参数可能误差比较大，可以拍摄多张图像，以提高OIS马达感度标定参数精确度。
另外，镜头偏移量和图像偏移量之间未必存在严格的线性关系，为了更准确地确定在某个镜头偏移量下的图像偏移量，有必要对不同镜头偏移量下的图像偏移情况进行测算。
S440，检测各张图像中的特征点坐标，结合镜头位置(xi,yi),确定OIS马达感度标定参数。
具体地，分别检测镜头移动前后，拍摄的图像中的特征点坐标，获取图像偏移量。根据镜头的移动距离，确定镜头偏移量，根据图像偏移量和镜头偏移量，确定OIS马达感度标定参数。
S450，将OIS马达感度标定参数存储至终端设备中。
具体地，在终端设备出厂之前，将OIS马达感度标定参数存储至其中，以便该终端设备出厂后，在利用该终端设备采集目标场景时，根据预先存储在其中的OIS马达感度标定参数，将镜头偏移量转换为图像偏移量，并用镜头偏移量补偿摄像头标定参数，使目标场景的场景深度更精确。
下面结合图5a、5b、6a-6c，对如何进行深度计算做进一步的说明。
在一个例子中，如图5a所示，图5a为本发明实施例提供的场景深度计算的一个示意图。以第一摄像头带有OIS系统，第二摄像头不带OIS系统，第一摄像头的镜头在X方向移动为例，其中，摄像头的镜头为一凸透镜，入射线和与其对应且相平行的出射线构成共轭光线，其入射点跟出射点的连线与主光轴的交点，称为凸透镜的焦点，从焦点到底片或CCD等成像平面的距离叫焦距，位于透镜中央的点叫光心，主视线与底片或CCD等成像平面的交点叫主点，第一摄像头镜头和第二摄像头镜头的间距叫基线。初始化时，摄像头的以下标定参数是已知的：焦距为f,第一摄像头的镜头的光心为C1',主点为u1'，第二摄像头的镜头的光心为C2，主点为u2，基线为B'。其中，摁下快门时，第一摄像头获取的第一图像的成像点为x1，第二摄像头获取的第二图像的成像点为x2。
此时，利用相似三角形原理，计算出的场景深度Z'为：
Figure BDA0001599843560000091
在现有技术中，由于没有考虑摁下快门时，终端设备抖动造成的摄像头的部分标定参数发生变化，因此场景深度计算是按照未补偿的摄像头标定参数，主点u1'和基线B'，来完成的。计算出的场景深度Z'误差较大。
当摁下快门时，终端设备抖动会引起摄像头的部分标定参数发生变化，根据抖动幅度，OIS马达推动第一摄像头镜头发生偏移，第一摄像头镜头的光心从C1'变为C1(即第一摄像头的镜头偏移量，单位为code)，主点从u1'变为u1,基线从B'变为B1，需要计算出u1和B1。利用镜头偏移量补偿变化的摄像头标定参数，确定出补偿后的摄像头标定参数的数值，利用相似三角形原理，计算出的场景深度Z为：
Figure BDA0001599843560000092
其中，a1为第一摄像头的OIS马达感度标定参数，Δ1为第一摄像头的镜头偏移量，pixel pitch为一个pixel的大小，a1×Δ1≈Δx1为第一图像偏移量，以pixel为单位，a1×Δ1×pixel pitch是将第一图像偏移量的单位从pixel转换为mm。
在另一个例子中，如图5b所示，图5b为本发明实施例提供的场景深度计算的又一个示意图。以第一摄像头和第二摄像头同时带有OIS系统，第一摄像头和第二摄像头同时在X方向移动为例，初始化时，摄像头的以下标定参数是已知的：焦距为f,第一摄像头的镜头的光心为C1',主点为u1'，第二摄像头的镜头的光心为C2'，主点为u2'，基线为B'。摁下快门时，第一摄像头获取的第一图像的成像点为x1，第二摄像头获取的第二图像的成像点为x2。
此时，利用相似三角形原理，计算出的场景深度Z'为：
Figure BDA0001599843560000093
在现有技术中，由于没有考虑摁下快门时，终端设备抖动造成的摄像头的部分标定参数发生变化，因此深度计算是按照未补偿的摄像头标定参数，主点u1'、u2'和基线B'来完成的。计算出的场景深度Z'误差较大。
当摁下快门时，终端设备抖动会引起摄像头的部分标定参数发生变化，即第一摄像头镜头的光心从C1'变为C1，主点从u1'变为u1，第二摄像头镜头的光心从C2'变为C2(对应第二摄像头的镜头偏移量，单位为code)，主点从u2'变为u2，基线从B'变为B2，需要计算出u1、u2和B2。利用镜头偏移量(包括第一摄像头的镜头偏移量和第二摄像头的镜头偏移量)，补偿变化的摄像头标定参数，确定出变化后的摄像头标定参数的数值，利用相似三角形原理，计算出的场景深度Z为：
Figure BDA0001599843560000094
其中，a1为第一摄像头的OIS马达感度标定参数，Δ1为第一摄像头的镜头偏移量，a1×Δ1≈Δx1为第一图像偏移量，a1×Δ1×pixel pitch是将第一图像偏移量的单位从pixel转换为mm，a2为第二摄像头的OIS马达感度标定参数，Δ2为第二摄像头的镜头偏移量，a2×Δ2≈Δx2为第二图像偏移量，a2×Δ2×pixel pitch是将第二图像偏移量的单位pixel转换为mm。
虽然图5a和图5b是以摄像头在一个方向的移动为例说明如何进行摄像头标定参数补偿的，但是应当意识到，同理可以实现两个摄像头在两个方向移动的摄像头标定参数的补偿，此处不再赘述。
图6a为补偿双摄像头标定参数时，拍摄的图像示意图；图6b为没有补偿双摄像头标定参数后，拍摄的图像示意图；图6c为图6a的局部放大图；图6d为图6b的局部放大图；从图6a-6d可以看出，没有补偿双摄像头标定参数时，图像的对齐效果很差，补偿双摄像头标定参数后，图像的对齐效果很好。
图7a为没有补偿双摄像头标定参数时，场景深度示意图；图7b为补偿双摄像头标定参数后，场景深度示意图。在图7a和7b中，不同深度值用不同的颜色表示，黑色表示无法计算场景深度。在图7a中，在1000mm处测得的场景深度为1915.8mm，在300mm处测得的场景深度为344.6mm。在图7b中，在1000mm处测得的场景深度为909.6mm，在300mm处测得的场景深度为287.4mm。由此得出，补偿双摄像头标定参数后，计算的场景深度值更准确。
应用本发明实施例提供的具有双摄像头终端的场景深度计算方法，解决了视差问题导致的场景深度值不准确的问题。
图8为本发明实施例二提供的场景深度计算装置结构示意图，如图8所示，该场景深度计算装置800包括：第一获取单元810，处理单元820，计算单元830。
其中，第一获取单元810，用于获取带有OIS系统的摄像头的镜头偏移量；其中，第一摄像头和/或第二摄像头带有OIS系统，第一摄像头和第二摄像头并列设置在同一终端设备的机身上。
处理单元820，用于根据预设的OIS马达感度标定参数，将所述镜头偏移量转换为图像偏移量。
计算单元830，用于根据补偿后的第一摄像头标定参数和/或补偿后的第二摄像头标定参数，以及获取的所述第一摄像头和所述第二摄像头在同一时刻采集目标场景分别得到的第一图像和第二图像，计算场景深度；其中，根据第一摄像头的镜头偏移量补偿第一摄像头的标定参数，根据第二摄像头的镜头偏移量补偿第二摄像头的标定参数。
具体地，处理单元820具体用于：根据下式，将镜头偏移量转换为图像偏移量，
Δx≈α×ΔC
其中，Δx为图像偏移量，α为OIS马达感度标定参数，ΔC为镜头偏移量。
当第一摄像头带有OIS系统，第二摄像头不带OIS系统时，所述计算单元830，具体用于：
利用下式确定目标场景的场景深度，
Figure BDA0001599843560000101
其中，Z为目标场景的场景深度，f为焦距，a1为第一摄像头的OIS马达感度标定参数，Δ1为镜头偏移量，pixel pitch为一个pixel的大小，a1×Δ1≈Δx1为第一图像偏移量，a×Δ1×pixel pitch是将第一图像偏移量的单位从pixel转换为mm，补偿后第一摄像头的主点从u1'变为u1，基线从B'变为B1，第二摄像头的主点为u2，x1为所述第一图像成像点，x2为所述第二图像的成像点。
当第一摄像头和第二摄像头都带有OIS系统时，计算单元830，具体用于：
利用下式确定目标场景的场景深度，
Figure BDA0001599843560000111
其中，a1为第一摄像头的OIS马达感度标定参数，Δ1为第一摄像头的镜头偏移量，a1×Δ1≈Δx1为第一图像偏移量，a1×Δ1×pixel pitch是将第一图像偏移量的单位从pixel转换为mm，a2为第二摄像头的OIS马达感度标定参数，Δ2为第二摄像头的镜头偏移量，a2×Δ2≈Δx2为第二图像偏移量，a2×Δ2×pixel pitch是将第二图像偏移量的单位pixel转换为mm，补偿后第一摄像头的主点从u1'变为u1，补偿后第二摄像头的主点从u2'变为u2，x1为所述第一图像成像点，x2为所述第二图像的成像点。
图9为本发明实施例二提供的又一场景深度计算装置结构示意图。如图9所示，该装置还可以为场景深度计算装置900，该装置900还可以包括：第二获取单元910和确定单元920。
第二获取单元910，用于获取陀螺仪传感器检测的终端设备抖动的角速度信息；将所述角速度信息转化为终端设备的抖动幅度，根据所述抖动幅度驱动OIS马达推动所述第一摄像头的镜头和/或第二摄像头的镜头移动，并获取第一摄像头和/或第二摄像头的镜头偏移量。
确定单元920，用于通过OIS控制器，推动OIS马达，将镜头移动至指定位置；等待所述OIS马达稳定后拍照；当拍摄的图像达到预设数量张时，检测各张图像的特征点坐标，并根据镜头的所述指定位置,确定OIS马达感度标定参数。
图10为本发明实施例三提供的终端结构示意图。如图10所示，该终端1000包括摄像头1010(摄像头1010包括第一摄像头和第二摄像头)处理器1020、存储器1030、系统总线；摄像头1010、处理器1020和存储器1030通过系统总线建立连接。
第一摄像头和第二摄像头至少用于在同一时刻采集目标场景，分别得到第一图像和第二图像；其中，第一摄像头和/或第二摄像头带有OIS系统，第一摄像头和第二摄像头并列设置在同一终端设备的机身上。
存储器1020用于存储第一图像和第二图像。
处理器1030用于获取带有OIS马达的摄像头的镜头偏移量，根据预设的OIS马达感度标定参数，将所述镜头偏移量转换为图像偏移量；根据补偿后的第一摄像头标定参数和/或补偿后的第二摄像头标定参数，以及从所述存储器获取的第一图像和第二图像，计算目标场景的场景深度；其中，根据第一摄像头的镜头偏移量补偿第一摄像头的标定参数，根据第二摄像头的镜头偏移量补偿第二摄像头的标定参数。
具体的，OIS系统具体用于，获取陀螺仪传感器检测的终端设备抖动的角速度信息；将所述角速度信息转化为终端设备的抖动幅度，根据所述抖动幅度驱动OIS马达推动所述第一摄像头的镜头和/或第二摄像头的镜头移动，并获取第一摄像头和/或第二摄像头的镜头偏移量。
处理器1030还用于，通过OIS控制器，推动OIS马达，将镜头移动至指定位置；等待所述OIS马达稳定后拍照；当拍摄的图像达到预设数量张时，检测各张图像的特征点坐标，并根据镜头的所述指定位置和所述各张图像的特征点坐标,确定OIS马达感度标定参数。
存储器1020还用于，存储所述OIS马达感度标定参数。
进一步的，处理器1030具体用于，根据下式，将镜头偏移量转换为图像偏移量，
Δx≈α×ΔC
其中，Δx为图像偏移量，α为OIS马达感度标定参数，ΔC为镜头偏移量。
进一步的，当第一摄像头带有OIS系统时，所述处理器具体用于，利用下式确定所述目标场景的场景深度，
Figure BDA0001599843560000121
其中，Z为所述目标场景的场景深度，f为焦距，a1为第一摄像头的OIS马达感度标定参数，Δ1为镜头偏移量，pixel pitch为一个pixel的大小，a1×Δ1≈Δx1为第一图像偏移量，a×Δ1×pixel pitch是将第一图像偏移量的单位从pixel转换为mm，补偿后第一摄像头的主点从u1'变为u1，基线从B'变为B1，第二摄像头的主点为u2，x1为所述第一图像成像点，x2为所述第二图像的成像点。
进一步的，当第一摄像头和第二摄像头都带有OIS系统时，所述处理器具体用于，利用下式确定所述目标场景的场景深度，
Figure BDA0001599843560000122
其中，a1为第一摄像头的OIS马达感度标定参数，Δ1为第一摄像头的镜头偏移量，a1×Δ1≈Δx1为第一图像偏移量，a1×Δ1×pixel pitch是将第一图像偏移量的单位从pixel转换为mm，a2为第二摄像头的OIS马达感度标定参数，Δ2为第二摄像头的镜头偏移量，a2×Δ2≈Δx2为第二图像偏移量，a2×Δ2×pixel pitch是将第二图像偏移量的单位pixel转换为mm，补偿后第一摄像头的主点从u1'变为u1，补偿后第二摄像头的主点从u2'变为u2，x1为所述第一图像成像点，x2为所述第二图像的成像点。
专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令处理器完成，所述的程序可以存储于计算机可读存储介质中，所述存储介质是非短暂性(英文：non-transitory)介质，例如随机存取存储器，只读存储器，快闪存储器，硬盘，固态硬盘，磁带(英文：magnetic tape)，软盘(英文：floppy disk)，光盘(英文：optical disc)及其任意组合。

Claims (18)

1.一种场景深度计算方法，其特征在于，所述方法包括：
获取带有OIS系统的摄像头的镜头偏移量；其中，第一摄像头和/或第二摄像头带有OIS系统，第一摄像头和第二摄像头并列设置在同一终端设备的机身上；
根据预设的OIS马达感度标定参数，将所述镜头偏移量转换为图像偏移量；
根据补偿后的第一摄像头标定参数和/或补偿后的第二摄像头标定参数，以及所述第一摄像头和所述第二摄像头在同一时刻采集目标场景分别得到的第一图像和第二图像，计算所述目标场景的场景深度；其中，根据第一摄像头的镜头偏移量转换的图像偏移量补偿第一摄像头的标定参数，根据第二摄像头的镜头偏移量转换的图像偏移量补偿第二摄像头的标定参数。
2.根据权利要求1所述的方法，其特征在于，所述方法之前还包括：
获取陀螺仪传感器检测的终端设备抖动的角速度信息；
将所述角速度信息转化为终端设备的抖动幅度，根据所述抖动幅度驱动OIS马达推动所述第一摄像头的镜头和/或第二摄像头的镜头移动，并获取第一摄像头和/或第二摄像头的镜头偏移量。
3.根据权利要求1所述的方法，其特征在于，根据以下步骤确定OIS马达感度标定参数：
通过OIS控制器，推动OIS马达，将镜头移动至指定位置；
等待所述OIS马达稳定后拍照；
当拍摄的图像达到预设数量张时，检测各张图像的特征点坐标，并根据镜头的所述指定位置和所述各张图像的特征点坐标,确定OIS马达感度标定参数。
4.根据权利要求1所述的方法，其特征在于，所述根据预设的OIS马达感度标定参数，将所述镜头偏移量转换为图像偏移量，具体包括：
根据下式，将镜头偏移量转换为图像偏移量，
Δx≈α×ΔC
其中，Δx为图像偏移量，α为OIS马达感度标定参数，ΔC为镜头偏移量。
5.根据权利要求1所述的方法，其特征在于，当第一摄像头带有OIS系统时，所述根据补偿后的第一摄像头标定参数和/或补偿后的第二摄像头标定参数，以及所述第一摄像头和所述第二摄像头在同一时刻采集目标场景分别得到的第一图像和第二图像，计算所述目标场景的场景深度具体包括：
利用下式确定所述目标场景的场景深度，
Figure FDA0002665404540000011
其中，Z为所述目标场景的场景深度，f为焦距，a1为第一摄像头的OIS马达感度标定参数，Δ1为镜头偏移量，pixel pitch为一个pixel的大小，a1×Δ1≈Δx1为第一图像偏移量，a×Δ1×pixel pitch是将第一图像偏移量的单位从pixel转换为mm，补偿后第一摄像头的主点从u1'变为u1，基线从B'变为B1，第二摄像头的主点为u2，x1为所述第一图像成像点，x2为所述第二图像的成像点。
6.根据权利要求1所述的方法，其特征在于，当第一摄像头和第二摄像头都带有OIS系统时，所述根据补偿后的第一摄像头标定参数和/或补偿后的第二摄像头标定参数，以及所述第一摄像头和所述第二摄像头在同一时刻采集目标场景分别得到的第一图像和第二图像，计算所述目标场景的场景深度具体包括：
利用下式确定所述目标场景的场景深度，
Figure FDA0002665404540000021
其中，a1为第一摄像头的OIS马达感度标定参数，Δ1为第一摄像头的镜头偏移量，a1×Δ1≈Δx1为第一图像偏移量，a1×Δ1×pixel pitch是将第一图像偏移量的单位从pixel转换为mm，a2为第二摄像头的OIS马达感度标定参数，Δ2为第二摄像头的镜头偏移量，a2×Δ2≈Δx2为第二图像偏移量，a2×Δ2×pixel pitch是将第二图像偏移量的单位pixel转换为mm，补偿后第一摄像头的主点从u1'变为u1，补偿后第二摄像头的主点从u2'变为u2，x1为所述第一图像成像点，x2为所述第二图像的成像点。
7.一种场景深度计算装置，其特征在于，所述装置包括：第一获取单元，处理单元，计算单元；
所述第一获取单元，用于获取带有OIS系统的摄像头的镜头偏移量；其中，第一摄像头和/或第二摄像头带有OIS系统，第一摄像头和第二摄像头并列设置在同一终端设备的机身上；
所述处理单元，用于根据预设的OIS马达感度标定参数，将所述镜头偏移量转换为图像偏移量；
所述计算单元，用于根据补偿后的第一摄像头标定参数和/或补偿后的第二摄像头标定参数，以及所述第一摄像头和所述第二摄像头在同一时刻采集目标场景分别得到的第一图像和第二图像，计算所述目标场景的场景深度；其中，根据第一摄像头的镜头偏移量转换的图像偏移量补偿第一摄像头的标定参数，根据第二摄像头的镜头偏移量转换的图像偏移量补偿第二摄像头的标定参数。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：第二获取单元；
所述第二获取单元，具体用于，
获取陀螺仪传感器检测的终端设备抖动的角速度信息；
将所述角速度信息转化为终端设备的抖动幅度，根据所述抖动幅度驱动OIS马达推动所述第一摄像头的镜头和/或第二摄像头的镜头移动，并获取第一摄像头和/或第二摄像头的镜头偏移量。
9.根据权利要求7所述的装置，其特征在于，所述装置还包括：确定单元；
所述确定单元具体用于，通过OIS控制器，推动OIS马达，将镜头移动至指定位置；
等待所述OIS马达稳定后拍照；
当拍摄的图像达到预设数量张时，检测各张图像的特征点坐标，并根据镜头的所述指定位置,确定OIS马达感度标定参数。
10.根据权利要求7所述的装置，其特征在于，所述处理单元具体用于：
根据下式，将镜头偏移量转换为图像偏移量，
Δx≈α×ΔC
其中，Δx为图像偏移量，α为OIS马达感度标定参数，ΔC为镜头偏移量。
11.根据权利要求7所述的装置，其特征在于，当第一摄像头带有OIS系统时，所述计算单元，具体用于：
利用下式确定所述目标场景的场景深度，
Figure FDA0002665404540000031
其中，Z为所述目标场景的场景深度，f为焦距，a1为第一摄像头的OIS马达感度标定参数，Δ1为镜头偏移量，pixel pitch为一个pixel的大小，a1×Δ1≈Δx1为第一图像偏移量，a×Δ1×pixel pitch是将第一图像偏移量的单位从pixel转换为mm，补偿后第一摄像头的主点从u1'变为u1，基线从B'变为B1，第二摄像头的主点为u2，x1为所述第一图像成像点，x2为所述第二图像的成像点。
12.根据权利要求7所述的装置，其特征在于，当第一摄像头和第二摄像头都带有OIS系统时，所述计算单元，具体用于：
利用下式确定所述目标场景的场景深度，
Figure FDA0002665404540000032
其中，a1为第一摄像头的OIS马达感度标定参数，Δ1为第一摄像头的镜头偏移量，a1×Δ1≈Δx1为第一图像偏移量，a1×Δ1×Δpixel pitch是将第一图像偏移量的单位从pixel转换为mm，a2为第二摄像头的OIS马达感度标定参数，Δ2为第二摄像头的镜头偏移量，a2×Δ2≈Δx2为第二图像偏移量，a2×Δ2×pixel pitch是将第二图像偏移量的单位pixel转换为mm，补偿后第一摄像头的主点从u1'变为u1，补偿后第二摄像头的主点从u2'变为u2，x1为所述第一图像成像点，x2为所述第二图像的成像点。
13.一种终端，其特征在于，所述终端包括第一摄像头和第二摄像头，所述第一摄像头和第二摄像头至少用于在同一时刻采集目标场景，分别得到第一图像和第二图像；其中，第一摄像头和/或第二摄像头带有OIS系统，第一摄像头和第二摄像头并列设置在同一终端设备的机身上；
存储器，所述存储器用于存储所述第一图像和第二图像；
处理器，所述处理器用于获取带有OIS马达的摄像头的镜头偏移量，根据预设的OIS马达感度标定参数，将所述镜头偏移量转换为图像偏移量；根据补偿后的第一摄像头标定参数和/或补偿后的第二摄像头标定参数，以及从所述存储器获取的第一图像和第二图像，计算所述目标场景的场景深度；其中，根据第一摄像头的镜头偏移量转换的图像偏移量补偿第一摄像头的标定参数，根据第二摄像头的镜头偏移量转换的图像偏移量补偿第二摄像头的标定参数。
14.根据权利要求13所述的终端，其特征在于，所述OIS系统具体用于，获取陀螺仪传感器检测的终端设备抖动的角速度信息；
将所述角速度信息转化为终端设备的抖动幅度，根据所述抖动幅度驱动OIS马达推动所述第一摄像头的镜头和/或第二摄像头的镜头移动，并获取第一摄像头和/或第二摄像头的镜头偏移量。
15.根据权利要求13所述的终端，其特征在于，所述处理器还用于，通过OIS控制器，推动OIS马达，将镜头移动至指定位置；
等待所述OIS马达稳定后拍照；
当拍摄的图像达到预设数量张时，检测各张图像的特征点坐标，并根据镜头的所述指定位置和所述各张图像的特征点坐标,确定OIS马达感度标定参数；
所述存储器还用于，存储所述OIS马达感度标定参数。
16.根据权利要求13所述的终端，其特征在于，所述处理器具体用于，
根据下式，将镜头偏移量转换为图像偏移量，
Δx≈α×ΔC
其中，Δx为图像偏移量，α为OIS马达感度标定参数，ΔC为镜头偏移量。
17.根据权利要求13所述的终端其特征在于，当第一摄像头带有OIS系统时，所述处理器具体用于，利用下式确定所述目标场景的场景深度，
Figure FDA0002665404540000041
其中，Z为所述目标场景的场景深度，f为焦距，a1为第一摄像头的OIS马达感度标定参数，Δ1为镜头偏移量，pixel pitch为一个pixel的大小，a1×Δ1≈Δx1为第一图像偏移量，a×Δ1×pixel pitch是将第一图像偏移量的单位从pixel转换为mm，补偿后第一摄像头的主点从u1'变为u1，基线从B'变为B1，第二摄像头的主点为u2，x1为所述第一图像成像点，x2为所述第二图像的成像点。
18.根据权利要求13所述的终端，其特征在于，当第一摄像头和第二摄像头都带有OIS系统时，所述处理器具体用于，利用下式确定所述目标场景的场景深度，
Figure FDA0002665404540000051
a1为第一摄像头的OIS马达感度标定参数，Δ1为第一摄像头的镜头偏移量，a1×Δ1≈Δx1为第一图像偏移量，a1×Δ1×pixelpitch是将第一图像偏移量的单位从pixel转换为mm，a2为第二摄像头的OIS马达感度标定参数，Δ2为第二摄像头的镜头偏移量，a2×Δ2≈Δx2为第二图像偏移量，a2×Δ2×pixel pitch是将第二图像偏移量的单位pixel转换为mm，补偿后第一摄像头的主点从u1'变为u1，补偿后第二摄像头的主点从u2'变为u2，x1为所述第一图像成像点，x2为所述第二图像的成像点。
CN201680054264.2A 2016-10-25 2016-12-28 场景深度计算方法、装置及终端 Active CN108260360B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201610941102 2016-10-25
CN2016109411022 2016-10-25
PCT/CN2016/112696 WO2018076529A1 (zh) 2016-10-25 2016-12-28 场景深度计算方法、装置及终端

Publications (2)

Publication Number Publication Date
CN108260360A CN108260360A (zh) 2018-07-06
CN108260360B true CN108260360B (zh) 2021-01-05

Family

ID=62024299

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680054264.2A Active CN108260360B (zh) 2016-10-25 2016-12-28 场景深度计算方法、装置及终端

Country Status (2)

Country Link
CN (1) CN108260360B (zh)
WO (1) WO2018076529A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12126929B2 (en) 2021-09-14 2024-10-22 Samsung Electronics Co., Ltd. Electronic device applying bokeh effect to image and operating method thereof

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108876739B (zh) 2018-06-15 2020-11-24 Oppo广东移动通信有限公司 一种图像补偿方法、电子设备及计算机可读存储介质
CN111833394A (zh) * 2020-07-27 2020-10-27 深圳惠牛科技有限公司 摄像头校准方法、基于双目测量装置的测量方法
CN112581538A (zh) * 2020-12-11 2021-03-30 昆山丘钛光电科技有限公司 一种获取马达感度的方法及装置
CN113873157B (zh) * 2021-09-28 2024-04-16 维沃移动通信有限公司 拍摄方法、装置、电子设备和可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102098438A (zh) * 2009-12-15 2011-06-15 索尼公司 图像捕获装置和图像捕获方法
CN103685950A (zh) * 2013-12-06 2014-03-26 华为技术有限公司 一种视频图像防抖方法及装置
CN104954689A (zh) * 2015-06-30 2015-09-30 努比亚技术有限公司 一种利用双摄像头获得照片的方法及拍摄装置
CN105629427A (zh) * 2016-04-08 2016-06-01 东莞佩斯讯光电技术有限公司 基于双可控制镜头倾斜式音圈马达的立体数码摄像装置
CN105637413A (zh) * 2013-08-21 2016-06-01 奥林巴斯株式会社 摄像装置、摄像方法以及程序

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102867304B (zh) * 2012-09-04 2015-07-01 南京航空航天大学 双目立体视觉系统中场景立体深度与视差的关系建立方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102098438A (zh) * 2009-12-15 2011-06-15 索尼公司 图像捕获装置和图像捕获方法
CN105637413A (zh) * 2013-08-21 2016-06-01 奥林巴斯株式会社 摄像装置、摄像方法以及程序
CN103685950A (zh) * 2013-12-06 2014-03-26 华为技术有限公司 一种视频图像防抖方法及装置
CN104954689A (zh) * 2015-06-30 2015-09-30 努比亚技术有限公司 一种利用双摄像头获得照片的方法及拍摄装置
CN105629427A (zh) * 2016-04-08 2016-06-01 东莞佩斯讯光电技术有限公司 基于双可控制镜头倾斜式音圈马达的立体数码摄像装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12126929B2 (en) 2021-09-14 2024-10-22 Samsung Electronics Co., Ltd. Electronic device applying bokeh effect to image and operating method thereof

Also Published As

Publication number Publication date
CN108260360A (zh) 2018-07-06
WO2018076529A1 (zh) 2018-05-03

Similar Documents

Publication Publication Date Title
CN111147741B (zh) 基于对焦处理的防抖方法和装置、电子设备、存储介质
KR102143456B1 (ko) 심도 정보 취득 방법 및 장치, 그리고 이미지 수집 디바이스
CN109194876B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
EP3033733B1 (en) Stereo yaw correction using autofocus feedback
KR102526794B1 (ko) 카메라 모듈, 고체 촬상 소자, 전자 기기 및 촬상 방법
US10306165B2 (en) Image generating method and dual-lens device
US9781405B2 (en) Three dimensional imaging with a single camera
CN109712192B (zh) 摄像模组标定方法、装置、电子设备及计算机可读存储介质
CN109598764B (zh) 摄像头标定方法和装置、电子设备、计算机可读存储介质
WO2014156731A1 (ja) 撮像装置、固体撮像素子、カメラモジュール、電子機器、および撮像方法
CN108260360B (zh) 场景深度计算方法、装置及终端
CN107113376A (zh) 一种图像处理方法、装置及摄像机
CN109660718B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
US20220174217A1 (en) Image processing method and device, electronic device, and computer-readable storage medium
CN109671028B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
US8179431B2 (en) Compound eye photographing apparatus, control method therefor, and program
CN109685854B (zh) 摄像头标定方法和装置、电子设备、计算机可读存储介质
CN110121023B (zh) 影像处理方法、电子装置及非暂态电脑可读取存储媒体
JP5925109B2 (ja) 画像処理装置、その制御方法、および制御プログラム
JP7053434B2 (ja) 画像処理装置および画像処理方法
JP2011182325A (ja) 撮像装置
JP2018194694A (ja) 制御装置および撮像装置
JP2017076051A (ja) 画像処理装置、撮像装置、画像処理方法、プログラム
JPH10108050A (ja) 撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant