CN113572958B - 一种自动触发摄像机聚焦的方法及设备 - Google Patents

一种自动触发摄像机聚焦的方法及设备 Download PDF

Info

Publication number
CN113572958B
CN113572958B CN202110802819.XA CN202110802819A CN113572958B CN 113572958 B CN113572958 B CN 113572958B CN 202110802819 A CN202110802819 A CN 202110802819A CN 113572958 B CN113572958 B CN 113572958B
Authority
CN
China
Prior art keywords
distance
depth image
depth
target
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110802819.XA
Other languages
English (en)
Other versions
CN113572958A (zh
Inventor
潘聪
马伟民
何萍
陈宾朋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202110802819.XA priority Critical patent/CN113572958B/zh
Publication of CN113572958A publication Critical patent/CN113572958A/zh
Application granted granted Critical
Publication of CN113572958B publication Critical patent/CN113572958B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本申请提供一种自动触发摄像机聚焦的方法及设备，该方法包括：针对每个距离区间，基于第一深度图像中每个目标像素点的第一距离值和第二深度图像中每个目标像素点的第二距离值，统计所有第一距离值中处于该距离区间的第一像素点数量、所有第二距离值中处于该距离区间的第二像素点数量；基于每个距离区间对应的第一像素点数量和该距离区间对应第二像素点数量，确定第一深度图像与第二深度图像之间的相关程度值；若相关程度值小于预设阈值，则自动触发摄像机执行聚焦操作。通过本申请技术方案，能够实现高频且精准的聚焦需求，即根据视场中场景变化判断是否启动聚焦，若是，则对感兴趣目标进行针对性的区域聚焦，使该目标成像最清晰，满足聚焦需求。

Description

一种自动触发摄像机聚焦的方法及设备
技术领域
本申请涉及图像处理技术领域，尤其是涉及一种自动触发摄像机聚焦的方法及设备。
背景技术
聚焦是成像的必要条件，是控制一束光或粒子流使其尽可能会聚于一点的过程，让待拍摄物体清晰的成像在图像传感器的这个操作就是聚焦，即，聚焦是自主调节图像传感器使待拍摄物体成像清晰的过程。比如说，通过移动镜头的轴向距离，以使目标场景的待拍摄物体的成像清晰，也就是说，在图像传感器采集的彩色图像中，待拍摄物体更加清晰，待拍摄物体的图像质量更好。
在安全控制、手机、热成像等应用场景，可以自动触发聚焦操作，如镜头倍率、PT(Pan Tilt，云台)角度、光圈等条件变化时，会自动触发聚焦操作。
随着网络直播等应用场景的逐渐兴起，对聚焦操作提出了更高的要求，比如说，需要更加高频的聚焦触发，需要更加精准的区域聚焦等。但是，基于镜头倍率、PT角度、光圈等条件变化自动触发聚焦操作的实现方式，已经无法满足这些应用场景的聚焦需求，即，无法实现高频且精准的聚焦需求。
发明内容
本申请提供一种自动触发摄像机聚焦的方法，所述摄像机包括3D深度传感器和图像传感器，所述3D深度传感器用于采集目标场景的深度图像，所述图像传感器用于采集所述目标场景的彩色图像，所述方法包括：
通过所述3D深度传感器采集所述目标场景的第一深度图像，所述第一深度图像的任一像素点用于指示目标场景内物体与3D深度传感器的距离值；
针对已划分的每个距离区间，基于第一深度图像中每个目标像素点的第一距离值和第二深度图像中每个目标像素点的第二距离值，统计所有第一距离值中处于该距离区间的第一像素点数量、所有第二距离值中处于该距离区间的第二像素点数量；其中，所述第二深度图像为上一次自动触发摄像机聚焦时存储；
基于每个距离区间对应的第一像素点数量和该距离区间对应第二像素点数量，确定所述第一深度图像与所述第二深度图像之间的相关程度值；
若所述相关程度值小于预设阈值，则自动触发所述摄像机执行聚焦操作，以便所述图像传感器在所述摄像机执行聚焦操作后采集彩色图像。
本申请提供一种摄像机设备，所述摄像机包括3D深度传感器和图像传感器，所述3D深度传感器用于采集目标场景的深度图像，所述图像传感器用于采集所述目标场景的彩色图像；其中，所述3D深度传感器用于采集所述目标场景的第一深度图像，所述第一深度图像的任一像素点用于指示目标场景内物体与3D深度传感器的距离值；其中，所述图像采集设备还包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；
所述处理器用于执行机器可执行指令，以实现如下步骤：
针对已划分的每个距离区间，基于第一深度图像中每个目标像素点的第一距离值和第二深度图像中每个目标像素点的第二距离值，统计所有第一距离值中处于该距离区间的第一像素点数量、所有第二距离值中处于该距离区间的第二像素点数量；其中，所述第二深度图像为上一次自动触发摄像机聚焦时存储；
基于每个距离区间对应的第一像素点数量和该距离区间对应第二像素点数量，确定所述第一深度图像与所述第二深度图像之间的相关程度值；
若所述相关程度值小于预设阈值，则自动触发所述摄像机执行聚焦操作，以便所述图像传感器在所述摄像机执行聚焦操作后采集彩色图像。
本申请提供一种自动触发摄像机聚焦的方法，所述摄像机包括3D深度传感器，所述摄像机被配置为生成场景中目标的视频图像序列，所述方法包括：
利用所述3D深度传感器，获取第一深度图像和采集时刻早于第一深度图像的第二深度图像，其中，所述第一深度图像和所述第二深度图像的各像素点的像素值用于指示所述目标相对所述3D深度传感器的物距；
根据预设的多个物距段，分别生成所述第一深度图像和所述第二深度图像的所有像素点分布在所述预设的多个物距段中任一物距段的数量；
基于比较所述第一深度图像和所述第二深度图像所有像素点在所述预设的任一物距段的分布数量，在发现到所述第一深度图像和所述第二深度图像的相关性值小于阈值时，则自动触发所述摄像机基于所述第一深度图像执行聚焦，由此允许所述摄像机输出包含所述目标的清晰视频图像序列；
其中，所述阈值被限定为：所述相关性小于所述阈值，则表征所述目标在所述场景内的物距发生大变化。
由以上技术方案可见，本申请实施例中，可以基于第一深度图像中每个目标像素点的距离值和第二深度图像中每个目标像素点的距离值，确定第一深度图像与第二深度图像的相关程度值，并基于该相关程度值确定是否触发聚焦操作，当该相关程度值表示图像之间的相似性较差时，可以触发聚焦操作，能够实现图像传感器的自动聚焦操作，是一种基于3D深度传感器的自动触发聚焦方式，能够利用3D深度传感器输出的深度图像(用于反映目标场景内物体的距离值)，判断是否触发聚焦操作，能够实现更加高频的聚焦触发，可以更灵敏地进行聚焦触发，能够满足网络直播等应用场景的聚焦需求。能够实现高频且精准的聚焦需求，即根据视场中场景变化判断是否启动聚焦，若是，则对感兴趣目标进行针对性的区域聚焦，使该目标成像最清晰，满足各应用场景的聚焦需求。通过本申请的技术方案，比较3D深度传感器输出的前后两帧图像各物距段的像素点个数之间的相关性值，若相关性值小于阈值，则触发自动聚焦，以使目标处于预设的运动状态时，无需手动触发摄像机，即可实现远程自动触发摄像机聚焦，由此允许目标使用摄像机拍摄出清晰高质量的视频序列。
附图说明
图1是本申请一种实施方式中的基于FV的聚焦触发方案的示意图；
图2是本申请一种实施方式中的自动触发摄像机聚焦的方法的流程示意图；
图3是本申请一种实施方式中的自动触发摄像机聚焦的方法流程图；
图4是本申请一种实施方式中的距离区间的流程图；
图5是本申请一种实施方式中的感兴趣区域确定过程的示意图；
图6是本申请一种实施方式中的区域增长过程的示意图。
具体实施方式
在本申请实施例使用的术语仅仅是出于描述特定实施例的目的，而非限制本申请。本申请和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。还应当理解，本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，此外，所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
在安全控制、手机、热成像等应用场景，可以自动触发聚焦操作，如镜头倍率、PT角度、光圈等条件变化时，会自动触发聚焦操作。随着网络直播等应用场景的逐渐兴起，与安全控制、手机、热成像等应用场景相比，对聚焦操作提出了更高的要求，需要更加高频的聚焦触发，需要更加精准的区域聚焦等。
比如说，网络直播等应用场景多用于室内，小范围的物距变化对景深更加敏感，需要更加精准的区域聚焦。区域聚焦可以指：默认聚焦针对整个成像区域，即达到整个画面综合清晰度最优，但应用场景中包含不同物体时，常规聚焦不能得到理想画面，针对感兴趣区域进行聚焦，可以得到预期的成像效果。
相关技术无法满足高频且精准的聚焦需求，导致无法满足网络直播等应用场景的聚焦需求。比如说，在自动触发聚焦的相关技术中，通常使用FV(Focus Value，对焦数值)作为聚焦触发的依据，无法实现高频且精准的聚焦需求，FV用于表征图像(整体或部分)的清晰度数值，FV越大则代表图像越清晰。
示例性的，基于FV的聚焦触发方案中，FV代表图像清晰度，对于相同场景，图像越清晰，FV越大，图像越模糊，FV越小。但利用FV作为聚焦触发依据时，容易导致聚焦触发的错误，如需要触发时未触发，不应触发时误触发。
参见图1所示，为基于FV的聚焦触发方案的示意图，横坐标代指镜头电机位置，纵坐标代指场景成像画面的FV，两条曲线代表2个场景的离焦曲线，竖直虚线代表场景1的理想位置。参见图1左侧位置的示意图，为理想条件的示例，两个场景的FV峰值类似，峰值点对应的Pos不同，先停在场景1的清晰位置，然后场景1切换到场景2，△FV较大触发聚焦，停在场景2的清晰位置。
参见图1中间位置的示意图，为未触发条件的示例，即使用△FV判断聚焦存在风险，比如说，场景2的细节较多，虽然在不清晰的位置，但FV和场景1的最清晰位置接近，不触发聚焦，也就是说，需要触发聚焦时未触发。
参见图1右侧位置的示意图，为误触发条件的示例，即使用△FV判断聚焦存在风险，比如说，场景2和场景1的物距类似，但细节较多，也会误触发一次，也就是说，虽然不需要触发聚焦，但是会错误的触发聚焦。
示例性的，在基于FV的聚焦触发方案中，需要对整个视场进行聚焦，或者默认将中心视场的权重加大，即主要是对中心视场进行聚焦，如果背景细节较多，则可能聚焦到背景上，导致目标区域的成像模糊，成像效果较差。
综上所述，基于FV的聚焦触发方案，无法满足高频且精准的聚焦需求，无法对真正需要聚焦的区域进行聚焦操作。针对上述问题，本申请实施例中提出一种触发聚焦的方法，是一种基于3D深度传感器的自动触发聚焦方式，能够利用3D深度传感器输出的深度图像(用于反映目标场景内物体的距离值)，判断是否触发聚焦操作，实现图像传感器的自动聚焦操作，能够实现更加高频的聚焦触发，更灵敏地进行聚焦触发。以及，能够提供聚焦操作的区域信息，协助图像传感器进行聚焦操作，以满足精准聚焦的需求，对聚焦区域进行准确地定位聚焦，实现更加精准的区域聚焦，避免多物距场景下目标物体的模糊。综上所述，能够实现高频且精准的聚焦需求，满足网络直播等应用场景的聚焦需求。
本申请实施例中提出的触发聚焦的方法，可以应用在网络直播等应用场景，也可以应用在非网络直播等其它应用场景，对此应用场景不做限制。
本申请实施例中提出的触发聚焦的方法，可以应用于摄像机(如模拟摄像机、网络摄像机等)，该摄像机可以包括但不限于3D深度传感器和图像传感器，对此图像采集设备的类型不做限制，包括3D深度传感器和图像传感器即可。
示例性的，3D深度传感器是能够获取物体到3D深度传感器自身距离(深度)信息的传感器，通常能够检测多个点的深度信息，得到3D深度图，常见的3D深度传感器可以包括双目立体视觉、Tof(Time of flight，飞行时间法)、结构光等。3D深度传感器用于采集深度图像(为了区分方便，将3D深度传感器采集的图像称为深度图像)，深度图像用于提供目标场景的三维轮廓信息，3D深度传感器的输出是一个二维数组，数组下标代表空间位置，数组值代表对应区域的物距，即距离值。比如说，深度图像可以包括多个像素点的距离值，如(x1,y1,d11)、(x1,y2,d12)、(x1,y3,d13)、…、(x2,y1,d21)、(x2,y2,d22)、(x2,y3,d23)、…、(x3,y1,d31)、(x3,y2,d32)、…、以此类推。(x1,y1)表示像素点的空间位置，d11表示像素点(x1,y1)与3D深度传感器的距离值，(x1,y2)表示像素点的空间位置，d12表示像素点(x1,y2)与3D深度传感器的距离值，以此类推。
示例性的，图像传感器用于采集彩色图像(为区分方便，将图像传感器采集的图像称为彩色图像)，彩色图像用于提供目标场景的色彩信息，如彩色图像可以为RGB(RedGreen Blue，红色绿色蓝色)图像，而RGB图像用于提供目标场景的RGB信息。比如说，彩色图像包括多个像素点的像素值(如R通道像素值、G通道像素值、B通道像素值)，如(x1,y1,p11)、(x1,y2,p12)、(x1,y3,p13)、…、(x2,y1,p21)、(x2,y2,p22)、(x2,y3,p23)、…、(x3,y1,p31)、(x3,y2,p32)、…、以此类推。(x1,y1)表示像素点的空间位置，p11表示像素点(x1,y1)的像素值，(x1,y2)表示像素点的空间位置，p12表示像素点(x1,y2)的像素值，以此类推。
以下结合具体实施例，对本申请实施例的技术方案进行说明。
本申请实施例中提出一种自动触发摄像机聚焦的方法，摄像机包括3D深度传感器和图像传感器，3D深度传感器用于采集目标场景的深度图像，图像传感器用于采集目标场景的彩色图像，参见图2所示，为该自动触发摄像机聚焦的方法的流程示意图，该自动触发摄像机聚焦的方法可以包括：
步骤201，通过3D深度传感器采集目标场景的第一深度图像，第一深度图像的任一像素点用于指示目标场景内物体与3D深度传感器的距离值。
示例性的，3D深度传感器可以周期性采集目标场景(即3D深度传感器的成像区域，如视野范围内区域)的深度图像，为了区分方便，将3D深度传感器采集的每帧深度图像称为第一深度图像。基于3D深度传感器采集的每帧第一深度图像，可以判断是否触发聚焦操作，即通过后续步骤判断是否触发聚焦操作。
示例性的，步骤201之前，摄像机已经存储有3D深度传感器采集的目标场景的第二深度图像，该第二深度图像为上一次自动触发摄像机聚焦时存储。
比如说，3D深度传感器周期性的采集目标场景的深度图像时，假设依次采集到深度图像1、深度图像2、深度图像3、深度图像4、…。基于此，在采集到深度图像1后，将深度图像1作为第一深度图像，基于深度图像1判断是否触发聚焦操作，如果是，则将深度图像1存储为第二深度图像。在采集到深度图像2后，将深度图像2作为第一深度图像，基于深度图像2和第二深度图像(即深度图像1)判断是否触发聚焦操作，如果否，则丢弃深度图像2。在采集到深度图像3后，将深度图像3作为第一深度图像，基于深度图像3和第二深度图像(即深度图像1)判断是否触发聚焦操作，如果是，则将深度图像3存储为第二深度图像，即使用深度图像3替换深度图像1。在采集到深度图像4后，将深度图像4作为第一深度图像，基于深度图像4和第二深度图像(已更新为深度图像3)判断是否触发聚焦操作，如果否，则丢弃深度图像4，以此类推。
步骤202，针对已划分的每个距离区间，基于第一深度图像中每个目标像素点的第一距离值(为了区分方便，将第一深度图像中的距离值称为第一距离值)和第二深度图像中每个目标像素点的第二距离值(为了区分方便，将第二深度图像中的距离值称为第二距离值)，统计所有第一距离值中处于该距离区间的第一像素点数量、所有第二距离值中处于该距离区间的第二像素点数量。
示例性的，步骤202之前，可以将已配置的距离范围划分为至少两个距离区间，且每个距离区间之间不重叠。示例性的，将已配置的距离范围划分为至少两个距离区间，可以包括但不限于：针对至少两个距离区间中的第一个距离区间，基于已配置的最小聚焦距离计算第一个距离区间的前景深位置和后景深位置，也就是说，该前景深位置作为第一个距离区间的区间起始位置，该后景深位置作为第一个距离区间的区间终止位置。针对至少两个距离区间中的第K个距离区间，K为大于1的正整数，将第K-1个距离区间的后景深位置确定为第K个距离区间的前景深位置(第K个距离区间的前景深位置作为第K个距离区间的区间起始位置)；基于第K个距离区间的前景深位置确定第K个距离区间对应的目标聚焦距离；基于该目标聚焦距离确定第K个距离区间的后景深位置(第K个距离区间的后景深位置作为第K个距离区间的区间终止位置)。
步骤203，基于每个距离区间对应的第一像素点数量和该距离区间对应第二像素点数量，确定第一深度图像与第二深度图像之间的相关程度值。例如，若相关程度值越小，则说明第一深度图像与第二深度图像之间的相似性越差，若相关程度值越大，则说明第一深度图像与第二深度图像之间的相似性越好。
示例性的，可以基于每个距离区间对应的第一像素点数量、所有距离区间对应的第一像素点数量的平均数量、每个距离区间对应的第二像素点数量、所有距离区间对应的第二像素点数量的平均数量、及每个距离区间对应的权重因子，确定第一深度图像与第二深度图像之间的相关程度值。其中，权重因子用于指示不同距离区间的敏感性差异，当距离区间的距离值(如距离区间的最大距离值、或最小距离值、或任一距离值)越大时，该距离区间对应的权重因子越小，当距离区间的距离值越小时，该距离区间对应的权重因子越大。
步骤204，若该相关程度值小于预设阈值，则自动触发摄像机执行聚焦操作，以便图像传感器在摄像机执行聚焦操作后采集彩色图像。
在一种可能的实施方式中，自动触发摄像机执行聚焦操作，可以包括但不限于：从已划分的所有距离区间中选取目标距离区间，第一深度图像中距离值与第二深度图像中距离值在该目标距离区间的深度差异变化最大。基于第一深度图像中每个目标像素点的第一距离值，确定第一距离值处于该目标距离区间的所有目标像素点，并基于处于该目标距离区间的所有目标像素点从第一深度图像中确定出感兴趣区域。从图像传感器采集的彩色图像中确定出与该感兴趣区域匹配的聚焦区域，并自动触发摄像机对该聚焦区域执行聚焦操作。
示例性的，从已划分的所有距离区间中选取目标距离区间，可以包括但不限于：针对每个距离区间，通过如下公式确定第一深度图像中距离值与第二深度图像中距离值在该距离区间的深度差异变化值：
Figure BDA0003165349340000081
其中，
Figure BDA0003165349340000082
表示第i个距离区间对应的第一像素点数量，
Figure BDA0003165349340000083
表示第i个距离区间对应的第二像素点数量，ωi表示第i个距离区间对应的权重因子；当距离区间的距离值越大时，则该距离区间对应的权重因子越小。然后，可以将深度差异变化值最大的距离区间选取为目标距离区间，即从所有距离区间中选取目标距离区间。
示例性的，基于处于该目标距离区间的所有目标像素点从第一深度图像中确定出感兴趣区域，可以包括但不限于：基于处于该目标距离区间的所有目标像素点生成至少一个初始区域。然后，从所有初始区域中选取一个初始区域作为目标区域；其中，若只存在一个初始区域，则可以将该初始区域选取为目标区域，或者，若存在至少两个初始区域，则可以确定每个初始区域的重心坐标，并将与第一深度图像的中心坐标最接近的重心坐标对应的初始区域选取为目标区域。然后，基于目标区域的最小外接矩形区域确定感兴趣区域。
示例性的，基于目标区域的最小外接矩形区域确定感兴趣区域，可以包括但不限于：确定该最小外接矩形区域的第一区域面积；基于深度图像与彩色图像之间的尺寸转换参数，可以将该第一深度图像中的第一区域面积转换为彩色图像中的第二区域面积，并可以判断该第二区域面积是否大于等于预设面积阈值。若是，则可以将该最小外接矩形区域确定为感兴趣区域，若否，则可以对该最小外接矩形区域进行放大，并将放大后的区域作为最小外接矩形区域，以及，返回执行确定最小外接矩形区域的第一区域面积的操作。
在一种可能的实施方式中，在步骤202之前，还可以将第一深度图像中不处于近距离固定背景区域的像素点确定为第一深度图像中的目标像素点，并将第二深度图像中不处于近距离固定背景区域的像素点确定为第二深度图像中的目标像素点，也就是说，第一深度图像中处于近距离固定背景区域的像素点不是第一深度图像中的目标像素点，第二深度图像中处于近距离固定背景区域的像素点不是第二深度图像中的目标像素点，在此基础上，可以基于第一深度图像中每个目标像素点的第一距离值和第二深度图像中每个目标像素点的第二距离值，确定第一深度图像与第二深度图像之间的相关程度值。
示例性的，近距离固定背景区域的确定方式，可以包括但不限于：通过3D深度传感器采集目标场景的N个样本深度图像，N为大于1的正整数；基于N个样本深度图像确定平均深度图像，该平均深度图像表示N个样本深度图像的平均值；基于N个样本深度图像和该平均深度图像确定差异深度图像，该差异深度图像表示样本深度图像与平均深度图像之间的差值。在此基础上，可以基于该差异深度图像确定第一背景区域，基于该平均深度图像确定第二背景区域，将第一背景区域与第二背景区域的交集区域确定为近距离固定背景区域。
示例性的，基于该差异深度图像确定第一背景区域，基于该平均深度图像确定第二背景区域，可以包括但不限于：若差异深度图像中像素点的距离值小于或者等于第一距离阈值，则将该像素点确定为第一背景区域中的像素点；若差异深度图像中像素点的距离值大于第一距离阈值，则该像素点不是第一背景区域中的像素点。若平均深度图像中像素点的距离值小于或者等于第二距离阈值，则将该像素点确定为第二背景区域中的像素点；若平均深度图像中像素点的距离值大于第二距离阈值，则该像素点不是第二背景区域中的像素点。
由以上技术方案可见，本申请实施例中，可以基于第一深度图像中每个目标像素点的距离值和第二深度图像中每个目标像素点的距离值，确定第一深度图像与第二深度图像的相关程度值，并基于相关程度值确定是否触发聚焦操作，当相关程度值表示图像之间的相似性较差时，触发聚焦操作，能够实现图像传感器的自动聚焦操作，是一种基于3D深度传感器的自动触发聚焦方式，能够利用3D深度传感器输出的深度图像(用于反映目标场景内物体的距离值)，判断是否触发聚焦操作，能够实现更加高频的聚焦触发，可以更灵敏地进行聚焦触发，能够满足网络直播等应用场景的聚焦需求。在需要进行聚焦操作时，可以基于第一深度图像中每个目标像素点的距离值从第一深度图像中确定出感兴趣区域，并从目标场景的彩色图像中确定与感兴趣区域匹配的聚焦区域，并对聚焦区域进行聚焦操作，从而提供聚焦操作的区域信息(即聚焦区域)，协助图像传感器进行聚焦操作，以满足精准聚焦的需求，对聚焦区域进行准确地定位聚焦，实现更加精准的区域聚焦，避免多物距场景下目标物体(即待拍摄物体)的模糊，即目标物体更加清晰，能够满足网络直播等应用场景的聚焦需求，能够实现高频且精准的聚焦需求。
以下结合具体应用场景，对本申请实施例的上述技术方案进行说明。
参见图3所示，为自动触发摄像机聚焦的的方法流程图，该方法可以包括：
步骤301，存储3D深度传感器采集的目标场景的第二深度图像，该第二深度图像是上一次触发聚焦操作的深度图像。比如说，在基于深度图像1确定触发聚焦操作时，将深度图像1存储为第二深度图像，在此之后，若基于深度图像3确定触发聚焦操作，将深度图像3存储为第二深度图像，即替换深度图像1，以此类推，每次触发聚焦操作时，将当前采集的深度图像存储为第二深度图像。
步骤302，通过3D深度传感器采集目标场景的第一深度图像，第一深度图像的任一像素点用于指示目标场景内物体与3D深度传感器的距离值。
示例性的，3D深度传感器可以周期性采集目标场景的第一深度图像，基于3D深度传感器采集的每帧第一深度图像以及已存储的第二深度图像，可以判断是否触发聚焦操作，即通过步骤303及后续步骤判断是否触发聚焦操作。
步骤303，基于第一深度图像中每个目标像素点的第一距离值和第二深度图像中每个目标像素点的第二距离值，确定第一深度图像与第二深度图像之间的相关程度值。示例性的，若相关程度值越小，则说明图像之间的相似性越差，即第一深度图像与第二深度图像之间的差异越大，若相关程度值越大，则说明图像之间的相似性越好，即第一深度图像与第二深度图像之间的差异越小。
示例性的，由于第一深度图像和第二深度图像均是用于反映距离(深度)信息的深度图像，即第一深度图像包括大量像素点的距离值，第二深度图像也包括大量像素点的距离值，因此，可以基于第一深度图像中的距离值和第二深度图像中的距离值，确定第一深度图像与第二深度图像之间的相关程度值，并通过该相关程度值表示第一深度图像与第二深度图像之间的差异。
在一种可能的实施方式中，可以采用如下步骤确定第一深度图像与第二深度图像之间的相关程度值，当然，关于相关程度值的确定方式，本实施例中不做限制，只要能够确定第一深度图像与第二深度图像之间的相关程度值即可。
步骤3031、将已配置的距离范围划分为至少两个距离区间。
示例性的，针对至少两个距离区间中的第一个距离区间，可以基于已配置的最小聚焦距离计算第一个距离区间的前景深位置和后景深位置。针对至少两个距离区间中的第K个距离区间，K为大于1的正整数，将第K-1个距离区间的后景深位置确定为第K个距离区间的前景深位置；基于第K个距离区间的前景深位置确定第K个距离区间对应的目标聚焦距离；基于目标聚焦距离确定第K个距离区间的后景深位置。比如说，针对至少两个距离区间中的第一个距离区间，可以基于图像传感器的光学参数及已配置的最小聚焦距离，确定该距离区间的区间起始位置(即前景深位置)和区间终止位置(即后景深位置)。针对至少两个距离区间中的第K个距离区间，K为大于1的正整数，可以将第K-1个距离区间的区间终止位置确定为第K个距离区间的区间起始位置(即前景深位置)；基于第K个距离区间的区间起始位置及图像传感器的光学参数，确定第K个距离区间对应的目标聚焦距离，并基于图像传感器的光学参数及该目标聚焦距离，确定第K个距离区间的区间终止位置(即后景深位置)。其中，图像传感器的光学参数可以包括但不限于像元尺寸、光圈数、焦距中的至少一个。
参见图4所示，为至少两个距离区间的示例，第一个距离区间为[D1,D2)，区间起始位置为D1，区间终止位置为D2，D1和D2均是距离值，当某距离值大于或者等于D1，且小于D2时，则这个距离值位于距离区间[D1,D2)。第二个距离区间为[D2,D3)，区间起始位置为D2，区间终止位置为D3，当某距离值大于或者等于D2，且小于D3时，则这个距离值位于距离区间[D2,D3)，以此类推，最后一个距离区间为[Dn-1,Dn]，区间起始位置为Dn-1，区间终止位置为Dn，当某距离值大于或者等于Dn-1，且小于或者等于Dn时，则这个距离值位于距离区间[Dn-1,Dn]。
示例性的，假设Di为第i个距离区间的区间起始位置，Di+1为第i个距离区间的区间终止位置，即第i+1个距离区间的区间起始位置，i的取值范围是1-(n-1)，各距离区间是连续的，即第i+1个距离区间的区间起始位置等于第i个距离区间的区间终止位置，记DTi为各距离区间的目标聚焦距离，如DT1为第1个距离区间的目标聚焦距离，如DT2为第2个距离区间的目标聚焦距离，以此类推。
在此基础上，可以将已配置的距离范围(如0-距离最大值，该距离最大值是3D深度传感器能够采集到的最大值，即测量范围)划分为多个距离区间，这些距离区间可以通过公式(1)和公式(2)表示，i的取值范围是1-(n-1)。
Figure BDA0003165349340000121
Figure BDA0003165349340000122
pixelSize是图像传感器的像元尺寸，F#是图像传感器的镜头的光圈数，f是图像传感器的镜头的焦距。像元尺寸pixelSize、光圈数F#和焦距f可以称为图像传感器的光学参数。除了图像传感器的光学参数，公式(1)和公式(2)中还可以包括其它类型的参数等，对此公式(1)和公式(2)对此不做限制。
示例性的，当i为1时，DT1是已配置的最小聚焦距离(即目标聚焦距离)，也称为最近聚焦距离，是一个已知值，可以根据经验配置，因此，针对所有距离区间中的第一个距离区间[D1,D2)，可以通过公式(1)确定该距离区间的区间起始位置D1，可以通过公式(2)确定该距离区间的区间终止位置D2。
当i为2时，针对所有距离区间中的第二个距离区间[D2,D3)，DT2是目标聚焦距离，是一个未知值，但是，D2是一个已知值，即第一个距离区间[D1,D2)的区间终止位置D2，因此，可以通过公式(1)确定目标聚焦距离DT2，在得到目标聚焦距离DT2后，可以通过公式(2)确定该距离区间的区间终止位置D3。
当i为3时，针对所有距离区间中的第三个距离区间[D3,D4)，DT3是目标聚焦距离，是一个未知值，但是，D3是一个已知值，即第二个距离区间[D2,D3)的区间终止位置D3，因此，可以通过公式(1)确定目标聚焦距离DT3，在得到目标聚焦距离DT3后，可以通过公式(2)确定该距离区间的区间终止位置D4。
以此类推，直到Di+1的数值超过了已配置的距离范围(即距离最大值，表示3D深度传感器的测量范围)，结束流程，得到所有距离区间。
步骤3032、针对每个距离区间，统计所有第一距离值中处于该距离区间的第一像素点数量，并统计所有第二距离值中处于该距离区间的第二像素点数量。
参见图4所示，针对第i个距离区间，i的取值范围是1-(n-1)，可以基于第一深度图像中所有目标像素点的第一距离值，统计这些第一距离值中处于第i个距离区间的第一像素点数量
Figure BDA0003165349340000131
比如说，可以统计这些第一距离值中处于第1个距离区间[D1,D2)的第一像素点数量
Figure BDA0003165349340000132
可以统计这些第一距离值中处于第2个距离区间[D2,D3)的第一像素点数量
Figure BDA0003165349340000133
以此类推。显然，若第一深度图像中某个目标像素点的第一距离值大于或等于D1，且小于D2，则可以将第一像素点数量
Figure BDA0003165349340000134
的取值加1，以此类推。在基于第一深度图像中所有目标像素点的第一距离值进行上述处理后，就可以统计出每个距离区间的第一像素点数量。
以及，可以基于第二深度图像中所有目标像素点的第二距离值，统计这些第二距离值中处于第i个距离区间的第二像素点数量
Figure BDA0003165349340000135
比如说，统计这些第二距离值中处于第1个距离区间[D1,D2)的第二像素点数量
Figure BDA0003165349340000136
统计这些第二距离值中处于第2个距离区间[D2,D3)的第二像素点数量
Figure BDA0003165349340000137
以此类推。
综上所述，针对每个距离区间，可以得到该距离区间对应的第一像素点数量(即第一深度图像中第一距离值中处于该距离区间的像素点数量)和第二像素点数量(即第二深度图像中第二距离值中处于该距离区间的像素点数量)。
步骤3033、基于每个距离区间对应的第一像素点数量和第二像素点数量，确定第一深度图像与第二深度图像之间的相关程度值。
比如说，可以基于每个距离区间对应的第一像素点数量、所有距离区间对应的第一像素点数量的平均数量(即平均值)、每个距离区间对应的第二像素点数量、所有距离区间对应的第二像素点数量的平均数量(即平均值)、以及每个距离区间对应的权重因子，确定第一深度图像与第二深度图像之间的相关程度值。示例性的，权重因子用于指示不同距离区间的敏感性差异，即针对距离值的差异，比如说，当距离区间的距离值越大时，该距离区间对应的权重因子越小，当距离区间的距离值越小时，该距离区间对应的权重因子越大。
在一种可能的实施方式中，第一深度图像与第二深度图像之间的相关程度值，也就是第一深度图像的分布与第二深度图像的分布之间的相关函数，可以通过公式(3)确定该相关程度值，当然，公式(3)只是示例，只要能够基于每个距离区间对应的第一像素点数量和第二像素点数量，确定相关程度值即可。
Figure BDA0003165349340000138
在公式(3)中，i的取值范围是1-(n-1)，即一共存在(n-1)个距离区间，
Figure BDA0003165349340000139
表示第i个距离区间对应的第二像素点数量，
Figure BDA0003165349340000141
表示所有距离区间对应的第二像素点数量的平均数量，
Figure BDA0003165349340000142
表示第i个距离区间对应的第一像素点数量，
Figure BDA0003165349340000143
表示所有距离区间对应的第一像素点数量的平均数量，ρcr表示第一深度图像与第二深度图像之间的相关程度值，ωi表示第i个距离区间对应的权重因子。
从公式(3)可以看出，可以基于每个距离区间对应的第一像素点数量、所有距离区间对应的第一像素点数量的平均数量、每个距离区间对应的第二像素点数量、所有距离区间对应的第二像素点数量的平均数量、以及每个距离区间对应的权重因子，确定第一深度图像与第二深度图像之间的相关程度值。
在公式(3)中，通过加入权重因子ωi，用以设置不同距离的敏感性差异，权重因子ωi可以通过如下公式确定：
Figure BDA0003165349340000144
M为正数，M表示距离衰减速度，M越大，则距离衰减速度越大，可以根据实际情况调节。显然，当i的取值越大时，即距离区间的距离值越大，则该距离区间对应的权重因子越小，当i的取值越小时，即距离区间的距离值越小，则该距离区间对应的权重因子越大。
步骤304，基于第一深度图像与第二深度图像之间的相关程度值，判断是否满足聚焦操作的触发条件。如果是，则执行步骤305，如果否，则返回步骤302，等待下一个周期，通过3D深度传感器采集目标场景的第一深度图像。
示例性的，可以基于第一深度图像与第二深度图像之间的相关程度值确定是否触发聚焦操作。比如说，当该相关程度值小于预设阈值(可以根据经验进行配置)时，表示第一深度图像与第二深度图像之间的相似性较差，即第一深度图像与第二深度图像之间的差异比较大，也就是说，目标物体与3D深度传感器之间的距离值发生变化，且距离值变化较大，因此，触发聚焦操作，即满足聚焦操作的触发条件。当该相关程度值不小于预设阈值时，表示第一深度图像与第二深度图像之间的相似性较好，即第一深度图像与第二深度图像之间的差异比较小，也就是说，目标物体与3D深度传感器之间的距离值变化较小或者未发生变化，因此，不触发聚焦操作，即不满足聚焦操作的触发条件。
步骤305，判断图像传感器当前是否在聚焦中。
如果是，则可以执行步骤306，如果否，则可以执行步骤307。
步骤306，若在聚焦中，则重启聚焦，一直到聚焦结束，执行步骤308。
步骤307，若不在聚焦中，则开启聚焦，一直到聚焦结束，执行步骤308。
示例性的，若基于第一深度图像与第二深度图像之间的相关程度值，确定满足聚焦操作的触发条件，则自动触发摄像机执行聚焦操作。在自动触发摄像机执行聚焦操作时，假设自动触发摄像机对聚焦区域A执行聚焦操作，那么：
若摄像机当前正在聚焦中，如摄像机当前正在对聚焦区域B进行聚焦，则需要重启聚焦，也就是说，停止对聚焦区域B进行聚焦，在停止对聚焦区域B进行聚焦的当前时刻和当前位置，开始对聚焦区域A进行聚焦，对此聚焦过程不做限制，一直到完成聚焦操作，实现自动触发摄像机执行聚焦操作。
若摄像机当前不在聚焦中，则在摄像机的当前位置，开始对聚焦区域A进行聚焦，一直到完成聚焦操作，实现自动触发摄像机执行聚焦操作。
步骤308，将第一深度图像存储为新的第二深度图像，替换原有的第二深度图像，返回步骤302，在后续过程中，将使用新的第二深度图像进行处理。
在一种可能的实施方式中，若触发聚焦操作，还可以基于第一深度图像中每个目标像素点的第一距离值从第一深度图像中确定出感兴趣区域，并从彩色图像中确定与该感兴趣区域匹配的聚焦区域(即待聚焦的目标区域)，从而确定出聚焦区域，对聚焦区域进行准确地定位聚焦，实现更加精准的区域聚焦，
参见图5所示，为感兴趣区域和聚焦区域确定过程的示意图。
步骤501，从所有距离区间中选取目标距离区间，示例性的，第一深度图像中距离值与第二深度图像中距离值在该目标距离区间的深度差异变化最大。
比如说，针对每个距离区间，可以通过如下公式确定第一深度图像中距离值与第二深度图像中距离值在该距离区间的深度差异变化值：
Figure BDA0003165349340000151
i表示第i个距离区间，i的取值范围是1-(n-1)，
Figure BDA0003165349340000152
表示第i个距离区间对应的第一像素点数量(即第一深度图像中距离值处于第i个距离区间的像素点数量)，
Figure BDA0003165349340000153
表示第i个距离区间对应的第二像素点数量(即第二深度图像中距离值处于第i个距离区间的像素点数量)，ωi表示第i个距离区间对应的权重因子；示例性的，当距离区间的距离值越大时，则该距离区间对应的权重因子越小。
在得到每个距离区间对应的深度差异变化值之后，可以将深度差异变化值最大的距离区间作为目标距离区间，即
Figure BDA0003165349340000154
的值最大的距离区间作为目标距离区间，即目标距离区间的深度差异变化为最大。比如说，假设第t个距离区间对应的深度差异变化值为最大，则目标距离区间为距离区间为[Dt,Dt+1)。
步骤502，基于第一深度图像中每个目标像素点的第一距离值，确定第一距离值处于该目标距离区间的所有目标像素点，并基于处于该目标距离区间的所有目标像素点生成至少一个初始区域。比如说，遍历第一深度图像中第一距离值处于目标距离区间[Dt,Dt+1)的目标像素点，并通过邻域生长方式(如8邻域或者4邻域的区域生长方式)，将这些目标像素点合并为至少一个初始区域。
比如说，假设第一深度图像包括目标像素点1-100，且目标像素点1-10的第一距离值处于目标距离区间[Dt,Dt+1)，则基于目标像素点1-10生成初始区域。
先为目标像素点1生成初始区域1，若目标像素点2位于目标像素点1的8邻域范围内，则可以将目标像素点2划分到初始区域1，若目标像素点3位于目标像素点1或者目标像素点2的8邻域范围内，则可以将目标像素点3划分到初始区域1，以此类推，可以获知划分到初始区域1的所有目标像素点，也就是说，这些目标像素点组成初始区域1。显然，针对初始区域1内的任一目标像素点，会位于初始区域1的另一个目标像素点的8邻域范围内。
若目标像素点4并不位于初始区域1内的每个目标像素点的8邻域范围内，则可以为目标像素点4生成初始区域2，并采用上述方式获知划分到初始区域2的所有目标像素点，以此类推，采用上述方式就可以生成至少一个初始区域。
步骤503，从所有初始区域中选取一个初始区域作为目标区域。
比如说，若只存在一个初始区域，则可以直接将该初始区域选取为目标区域。或者，若存在至少两个初始区域，则可以确定每个初始区域的重心坐标，并从所有重心坐标中选取与第一深度图像的中心坐标最接近的目标重心坐标，并可以将该目标重心坐标对应的初始区域选取为目标区域。
例如，若存在初始区域1和初始区域2，则计算初始区域1的重心坐标(即中心坐标)与第一深度图像的中心坐标之间的距离1，并计算初始区域2的重心坐标与第一深度图像的中心坐标之间的距离2。若距离1小于距离2，则将初始区域1选取为目标区域，若距离2小于距离1，则将初始区域2选取为目标区域。
示例性的，上述距离1和距离2可以是两个坐标之间的欧式距离。
第一深度图像的中心坐标可以为(Width/2，Height/2)，Width表示第一深度图像的横向像素点个数，Height表示第一深度图像的纵向像素点个数。
步骤504，确定目标区域的最小外接矩形区域的第一区域面积。
比如说，可以获取目标区域的最小外接矩形区域的起始点坐标、该最小外接矩形区域的宽高信息，并计算该最小外接矩形区域的面积PixArea。
步骤505，基于深度图像与彩色图像之间的尺寸转换参数(可以预先配置)，将第一深度图像中的第一区域面积转换为彩色图像中的第二区域面积。
比如说，深度图像与彩色图像之间的尺寸转换参数为α，表示彩色图像的宽度(即横向像素点个数)是深度图像的宽度的α倍，彩色图像的高度(即纵向像素点个数)是深度图像的高度的α倍。显然，若彩色图像的尺寸大于深度图像的尺寸，则α为大于1的数值，若深度图像的尺寸大于彩色图像的尺寸，则α为大于0且小于1的数值，若深度图像的尺寸等于彩色图像的尺寸，则α为1。
在此基础上，第一区域面积为PixArea时，第二区域面积为PixArea*α*α。
又例如，深度图像与彩色图像之间的尺寸转换参数为α1和α2，表示彩色图像的宽度是深度图像的宽度的α1倍，彩色图像的高度是深度图像的高度的α2倍。显然，若彩色图像的宽度大于深度图像的宽度，则α1为大于1的数值，若彩色图像的高度大于深度图像的高度，则α2为大于1的数值，以此类推。在此基础上，第一区域面积为PixArea时，第二区域面积为PixArea*α1*α2。
步骤506，判断该第二区域面积是否大于或等于预设面积阈值(该预设面积阈值可以根据经验配置，可以大于或等于能够进行聚焦操作的最小面积)。
示例性的，若该第二区域面积PixArea*α*α小于预设面积阈值，则表示将感兴趣区域映射为聚焦区域后，聚焦区域的面积小于预设面积阈值，无法对聚焦区域进行聚焦操作，因此，执行步骤507。
若第二区域面积PixArea*α*α大于或等于预设面积阈值，则表示将感兴趣区域映射为聚焦区域后，聚焦区域的面积大于或等于预设面积阈值，能够对聚焦区域进行聚焦操作，因此，执行步骤508。
步骤507，对该最小外接矩形区域进行放大，并将放大后的区域作为最小外接矩形区域，返回执行步骤504，重新确定最小外接矩形区域的第一区域面积。
比如说，在该最小外接矩形区域的基础上扩充多个像素点，得到扩充后的矩形区域，并将扩充后的矩形区域作为最小外接矩形区域，返回步骤504。
又例如，将目标距离区间[Dt,Dt+1)扩展为新的目标距离区间，如[Dt,Dt+2)，或[Dt,Dt+3)，或[Dt,Dt+4)等，对此新的目标距离区间不做限制。基于新的目标距离区间重新执行步骤502-步骤506，显然，由于新的目标距离区间扩大了目标距离区间的边界范围，因此，能够以新的目标距离区间对边界的各点进行一次8邻域增长，得到新的最小外接矩形区域，且最小外接矩形区域的面积增加。
以此类推，当最小外接矩形区域的第一区域面积对应的第二区域面积小于预设面积阈值时，可以不断对最小外接矩形区域进行放大，一直到最小外接矩形区域的第一区域面积对应的第二区域面积大于或等于预设面积阈值。
在一种可能的实施方式中，若对最小外接矩形区域进行M(可根据经验配置)次放大操作后，最小外接矩形区域的第一区域面积对应的第二区域面积仍然小于预设面积阈值，则可以将第一深度图像的全部区域作为感兴趣区域。
以下结合图6对上述区域增长过程进行说明。图6的(a)表示原始深度信息，以等高线方式表示，内层线条代表更小的物距。在图6的(b)中，选择区域1作为目标区域，区域1相比于区域2更考虑画面中心，且示出了区域1的最小外接矩形。在图6的(c)中，显示了第一次深度范围扩展，距离扩展到区域3对应的深度和一次之后的区域邻域外扩过程。在图6的(d)中，显示了深度未扩展条件下，一次区域邻域外扩过程。在图6的(x)中，显示了一系列操作之后，满足条件的区域，此时深度范围已经外扩到了区域5对应的深度。
步骤508，将该最小外接矩形区域确定为感兴趣区域，至此，成功从第一深度图像中确定出感兴趣区域，该感兴趣区域对应的区域就是需要聚焦的区域。
步骤509，从图像传感器采集的彩色图像中确定出与该感兴趣区域匹配的聚焦区域，并自动触发摄像机对该聚焦区域执行聚焦操作。
比如说，可以先确定3D深度传感器的坐标系与图像传感器的坐标系之间的映射关系，该映射关系表示两个坐标系对同一物体的坐标描述间的关系，对此映射关系的确定方式不做限制。基于3D深度传感器的坐标系与图像传感器的坐标系之间的映射关系，可以将第一深度图像中的感兴趣区域映射到彩色图像中的某个区域(记为区域X)。然后，可以基于深度图像与彩色图像之间的尺寸转换参数，将区域X转换为彩色图像中的聚焦区域。
例如，若彩色图像的宽度是深度图像的宽度的α1倍，彩色图像的高度是深度图像的高度的α2倍，则将区域X转换为聚焦区域后，聚焦区域的宽度是区域X的宽度的α1倍，聚焦区域的高度是区域X的高度的α2倍，且聚焦区域的中心与区域X的中心相同，对此转换方式不做限制。
综上所述，就可以将感兴趣区域映射到彩色图像中的聚焦区域，继而自动触发摄像机对该聚焦区域执行聚焦操作，对此聚焦操作不做限制。
在一种可能的实施方式中，可以将第一深度图像中的每个像素点均作为目标像素点，将第二深度图像中的每个目标像素点均作为目标像素点。基于第一深度图像中的目标像素点和第二深度图像中的目标像素点进行上述处理。
在另一种可能的实施方式中，考虑到聚焦区域是物距最近的区域，但摄像机的安装状态多样，3D深度传感器可能测量到干扰物体(如近处的桌面)，形成伪目标，导致真实聚焦区域的误判，且伪目标可能随着3D深度传感器位置和场景的变化而发生转变，因此，可以确定出背景区域，并排除背景区域中的像素点。由于远处干扰可通过均值、相关运算的权重设置等方式去除，因此，本实施例中的背景区域可以是近距离固定背景区域，如近处的桌面等。
在此基础上，可以将第一深度图像中不处于近距离固定背景区域的像素点确定为第一深度图像中的目标像素点，将第二深度图像中不处于近距离固定背景区域的像素点确定为第二深度图像中的目标像素点，基于第一深度图像中的目标像素点和第二深度图像中的目标像素点进行上述处理，从而排除第一深度图像中处于近距离固定背景区域的像素点，排除第二深度图像中处于近距离固定背景区域的像素点，即排除干扰物体(如近处的桌面)的干扰。
示例性的，在执行上述实施例的触发判断之前，可以确定近距离固定背景区域(用于过滤出目标像素点)，如基于如下步骤确定近距离固定背景区域：
步骤S11、通过3D深度传感器采集目标场景的N个样本深度图像，N为大于1的正整数，如N个样本深度图像可以记为Dep1，Dep2，…，Depn。
步骤S12、基于N个样本深度图像确定平均深度图像，该平均深度图像可以表示N个样本深度图像的平均值，该平均深度图像可以记为Depmean。比如说，Depmean中第一个距离值是所有样本深度图像的第一个距离值的平均值，Depmean中第二个距离值是所有样本深度图像的第二个距离值的平均值，以此类推。
步骤S13、基于N个样本深度图像和平均深度图像确定差异深度图像，该差异深度图像表示样本深度图像与平均深度图像之间的差值，该差异深度图像可以记为DepA。示例性的，DepA中第一个距离值是基于所有样本深度图像的第一个距离值及Depmean中第一个距离值确定，DepA中第二个距离值是基于所有样本深度图像的第二个距离值及Depmean中第二个距离值确定，以此类推。
比如说，可以基于如下公式确定差异深度图像DepA，即深度图绝对差异。
Figure BDA0003165349340000191
步骤S14、基于该差异深度图像确定第一背景区域。比如说，若该差异深度图像中像素点的距离值小于或者等于第一距离阈值(可以根据经验配置)，则将该像素点确定为第一背景区域中的像素点；若该差异深度图像中像素点的距离值大于第一距离阈值，则该像素点不是第一背景区域中的像素点。
比如说，可以将相对均值波动较小(即差异深度图像中像素点的距离值较小)的区域认为是第一背景区域，可以将第一背景区域记为AreaAC，将第一距离阈值(即物距波动阈值)记为Th，则可以通过如下公式确定第一背景区域。
Figure BDA0003165349340000201
综上可以看出，若差异深度图像中像素点(x,y)的距离值小于或者等于Th，则像素点(x,y)的AreaAC为1，用于表示像素点(x,y)是第一背景区域中的像素点。或者，若差异深度图像中像素点(x,y)的距离值大于Th，则像素点(x,y)的AreaAC为0，用于表示像素点(x,y)非第一背景区域中的像素点。
步骤S15、基于该平均深度图像确定第二背景区域。比如说，若该平均深度图像中像素点的距离值小于或者等于第二距离阈值(可以根据经验配置)，则将该像素点确定为第二背景区域中的像素点；若该平均深度图像中像素点的距离值大于第二距离阈值，则该像素点不是第二背景区域中的像素点。
比如说，可以将平均值较小(即平均深度图像中像素点的距离值较小)的区域认为是第二背景区域，可以将第二背景区域记为AreaMC，并将第二距离阈值记为Dth，在此基础上，可以通过如下公式确定第二背景区域。
Figure BDA0003165349340000202
综上可以看出，若平均深度图像中像素点(x,y)的距离值小于或者等于Dth，则像素点(x,y)的AreaMC为1，用于表示像素点(x,y)是第二背景区域中的像素点。或者，若平均深度图像中像素点(x,y)的距离值大于Dth，则像素点(x,y)的AreaMC为0，用于表示像素点(x,y)不是第二背景区域中的像素点。
步骤S16、将第一背景区域与第二背景区域的交集区域确定为近距离固定背景区域。如AreaC＝AreaAC∩AreaMC，AreaC表示近距离固定背景区域，显然，若像素点的AreaMC为1，像素点的AreaAC为1，则像素点的AreaC为1，像素点是近距离固定背景区域中的像素点，若像素点的AreaMC为0，或像素点的AreaAC为0，则像素点的AreaC为0，像素点不是近距离固定背景区域中的像素点。
综上所述，可以确定出近距离固定背景区域，在执行上述实施例的触发判断时，就可以排除处于近距离固定背景区域的像素点，就不是目标像素点。
在一种可能的实施方式中，随着时间变化，实际的近距离固定背景区域可能发生变化，需要对该近距离固定背景区域进行更新，比如说，可以重新采用上述步骤S11-步骤S16确定近距离固定背景区域，在此不再重复赘述。
示例性的，假设Depmean记录最近连续N个样本深度图像的平均深度，每更新一次Depi，计算一次Areaci，若Areaci与Areac的差异超过阈值，则记录之前的Areac为Areacr，Depmean为Depmeanr，计算流程可以参见如下公式：
DepAi＝abs(Depi-Depmeanr)
Figure BDA0003165349340000211
Figure BDA0003165349340000212
AreaCi＝AreaACi∩AreaMCi
在此基础上，若Areaci与Areacr差异连续大于阈值w次，则更新Areac为最近w次Dep计算的Areac值，至此，也可以对近距离固定背景区域进行更新。
基于与上述方法同样的申请构思，本申请实施例中还提出一种自动触发摄像机聚焦的方法，该摄像机至少可以包括3D深度传感器，且该摄像机被配置为生成场景(即目标场景)的视频图像序列，该方法可以包括以下步骤：
步骤S21、利用3D深度传感器，获取第一深度图像和采集时刻早于第一深度图像的第二深度图像，其中，第一深度图像和第二深度图像的各像素点的像素值用于指示物距，即场景内物体与3D深度传感器的距离值。
示例性的，第二深度图像被限定为：摄像机上一次的自动触发聚焦是基于第二深度图像执行聚焦，即第二深度图像为上一次自动触发摄像机聚焦时存储。
关于第一深度图像和第二深度图像的相关介绍，可以参见上述实施例。
步骤S22、根据预设的多个物距段，分别生成第一深度图像和第二深度图像的所有像素点在预设的多个物距段中的直方图分布。
示例性的，为了生成第一深度图像的直方图分布和第二深度图像的直方图分布，可以采用如下方式：基于预设的多个物距段中的任一物距段：计算第一深度图像和第二深度图像中分布在任一物距段的像素点个数(即上述实施例的第一像素点数量和第二像素点数量)。确定与任一物距段关联的权重因子，其中该权重因子用于指示不同物距段的敏感性，具有较远物距段的权重因子较小。
在此基础上，可以基于第一深度图像和第二深度图像中分布在预设的多个物距段的像素点个数，生成第一深度图像和第二深度图像的所有像素点在预设的多个物距段中的直方图分布。比如说，第一深度图像的直方图分布包括第一深度图像中的所有像素点在每个物距段中的像素点个数，第二深度图像的直方图分布包括第二深度图像中的所有像素点在每个物距段中的像素点个数。
示例性的，预设的多个物距段被限定为：预设的多个物距段中任一物距段的起始值是摄像机在预设对焦距离下能够清晰成像的最近物距，且，预设的多个物距段中任一物距段的终止值是摄像机在该预设对焦距离下能够清晰成像的最远物距。不同的物距段可以对应不同的预设对焦距离。此外，各物距段首尾相连，也就是说，后一物距段的起始值等于前一物距段的终止值，当一个物距段的终止值超过3D深度传感器的行程，该物距段为最后一个物距段。
其中，物距段可以为上述实施例的距离区间，预设对焦距离可以为上述实施例的目标聚焦距离，任一物距段的起始值可以为上述实施例的前景深位置，任一物距段的终止值可以为上述实施例的后景深位置，关于预设的多个物距段的划分方式，可以参见步骤3031，在此不再重复赘述。
步骤S23、基于第一深度图像的直方图分布和第二深度图像的直方图分布，在检测到第一深度图像的直方图分布和第二深度图像的直方图分布之间的相关性值(即上述实施例的相关程度值)小于阈值时，则判定场景内目标的运动程度处于预设范围，进而自动触发摄像机基于第一深度图像执行聚焦，由此允许摄像机输出与目标关联的清晰视频图像序列。
比如说，可以计算第一深度图像的直方图分布(第一深度图像中的所有像素点在每个物距段中的像素点个数)和第二深度图像的直方图分布(第二深度图像中的所有像素点在每个物距段中的像素点个数)之间的相关性值，计算方式参见公式(3)，在此不再赘述，能够得到该相关性值即可。
在得到该相关性值之后，若该相关性值小于阈值，则可以自动触发摄像机基于第一深度图像执行聚焦。或者，在检测到第一深度图像的直方图分布和第二深度图像的直方图分布之间的相关性值大于阈值时，摄像机不被自动触发执行聚焦，且，利用3D深度传感器获取新采集的第三深度图像，当且仅当在检测到第三深度图像的直方图分布和第二深度图像的直方图分布之间的相关性值小于阈值时，才触发摄像机基于该第三深度图像执行自动聚焦。
关于第三深度图像的直方图分布，可以包括第三深度图像中的所有像素点在每个物距段中的像素点个数，第三深度图像的直方图分布和第二深度图像的直方图分布之间的相关性值，其计算方式也参见公式(3)，在此不再赘述。
在上述实施例中，触发摄像机基于第一深度图像执行聚焦的过程，可以参见图5所示，即自动触发摄像机对该聚焦区域执行聚焦操作，在此不再赘述。
在上述实施例中，第一深度图像、第二深度图像和第三深度图像中任一深度图像被限定为：任一深度图像不包括指示场景中背景区域(即近距离固定背景区域，如近处的桌面等)的像素点，也就是说，在使用第一深度图像、第二深度图像和第三深度图像进行计算时，需要排除指示场景中背景区域的像素点，关于场景中背景区域的确定方式，可以参见步骤S11-步骤S16，在此不再赘述。
在上述实施例中，摄像机用于执行聚焦的物距是由第一深度图像和第二深度图像中分布在预设的多个物距段的像素点个数与预设的多个物距段关联的权重因子确定。例如，摄像机用于执行聚焦的物距被限定为：第一深度图像和第二深度图像中分布在用于执行聚焦的物距所在的预设物距段的像素点个数与物距所在的预设物距段关联的权重因子的乘积具有最大值。即，当
Figure BDA0003165349340000231
的取值最大时，则将取值最大的物距段作为摄像机用于执行聚焦的物距。
由以上技术方案可见，本实施例中，比较3D深度传感器输出的前后两帧图像各物距段的像素点个数之间的相关性值，若相关性值小于阈值，则触发自动聚焦，以使目标处于预设的运动状态时，无需手动触发摄像机，即实现远程自动触发摄像机聚焦，由此允许目标使用摄像机拍摄出清晰高质量的视频序列。
基于与上述方法同样的申请构思，本申请实施例中提出一种自动触发摄像机聚焦的装置，所述摄像机包括3D深度传感器和图像传感器，3D深度传感器用于采集目标场景的深度图像，图像传感器用于采集所述目标场景的彩色图像，3D深度传感器采集所述目标场景的第一深度图像，所述第一深度图像的任一像素点用于指示目标场景内物体与3D深度传感器的距离值；所述装置包括：
第一确定模块，用于针对已划分的每个距离区间，基于第一深度图像中每个目标像素点的第一距离值和第二深度图像中每个目标像素点的第二距离值，统计所有第一距离值中处于该距离区间的第一像素点数量、所有第二距离值中处于该距离区间的第二像素点数量；其中，所述第二深度图像为上一次自动触发摄像机聚焦时存储；第二确定模块，用于基于每个距离区间对应的第一像素点数量和该距离区间对应第二像素点数量，确定所述第一深度图像与所述第二深度图像之间的相关程度值；处理模块，用于若所述相关程度值小于预设阈值，则自动触发所述摄像机执行聚焦操作，以便所述图像传感器在所述摄像机执行聚焦操作后采集彩色图像。
示例性的，所述处理模块自动触发所述摄像机执行聚焦操作时具体用于：从已划分的所有距离区间中选取目标距离区间；其中，第一深度图像中距离值与第二深度图像中距离值在所述目标距离区间的深度差异变化最大；
基于所述第一深度图像中每个目标像素点的第一距离值，确定第一距离值处于所述目标距离区间的所有目标像素点，并基于处于所述目标距离区间的所有目标像素点从所述第一深度图像中确定出感兴趣区域；
从所述图像传感器采集的彩色图像中确定出与所述感兴趣区域匹配的聚焦区域，并自动触发所述摄像机对所述聚焦区域执行聚焦操作。
示例性的，所述处理模块从已划分的所有距离区间中选取目标距离区间时具体用于：针对每个距离区间，通过如下公式确定所述第一深度图像中距离值与所述第二深度图像中距离值在该距离区间的深度差异变化值：
Figure BDA0003165349340000241
其中，
Figure BDA0003165349340000242
表示第i个距离区间对应的第一像素点数量，
Figure BDA0003165349340000243
表示第i个距离区间对应的第二像素点数量，ωi表示第i个距离区间对应的权重因子；其中，当距离区间的距离值越大时，则该距离区间对应的权重因子越小；
将深度差异变化值最大的距离区间选取为目标距离区间。
示例性的，所述处理模块基于处于所述目标距离区间的所有目标像素点从所述第一深度图像中确定出感兴趣区域时具体用于：基于处于所述目标距离区间的所有目标像素点生成至少一个初始区域；
从所有初始区域中选取一个初始区域作为目标区域；其中，若存在至少两个初始区域，则确定每个初始区域的重心坐标，将与所述第一深度图像的中心坐标最接近的重心坐标对应的初始区域选取为目标区域；
基于所述目标区域的最小外接矩形区域确定所述感兴趣区域。
示例性的，所述处理模块基于所述目标区域的最小外接矩形区域确定所述感兴趣区域时具体用于：确定所述最小外接矩形区域的第一区域面积；
基于深度图像与彩色图像之间的尺寸转换参数，将所述第一深度图像中的所述第一区域面积转换为彩色图像中的第二区域面积；
判断所述第二区域面积是否大于等于预设面积阈值；
若是，则将所述最小外接矩形区域确定为所述感兴趣区域；
若否，对所述最小外接矩形区域进行放大，将放大后的区域作为最小外接矩形区域，返回执行确定所述最小外接矩形区域的第一区域面积的操作。
示例性的，第一确定模块还用于将已配置的距离范围划分为至少两个距离区间，每个距离区间之间不重叠；第一确定模块将已配置的距离范围划分为至少两个距离区间时具体用于：针对所述至少两个距离区间中的第一个距离区间，基于已配置的最小聚焦距离计算所述第一个距离区间的前景深位置和后景深位置；针对所述至少两个距离区间中的第K个距离区间，所述K为大于1的正整数，将第K-1个距离区间的后景深位置确定为所述第K个距离区间的前景深位置；基于所述第K个距离区间的前景深位置确定所述第K个距离区间对应的目标聚焦距离；基于所述目标聚焦距离确定所述第K个距离区间的后景深位置。
示例性的，所述第二确定模块基于每个距离区间对应的第一像素点数量和该距离区间对应第二像素点数量，确定所述第一深度图像与所述第二深度图像之间的相关程度值时具体用于：基于每个距离区间对应的第一像素点数量、所有距离区间对应的第一像素点数量的平均数量、每个距离区间对应的第二像素点数量、所有距离区间对应的第二像素点数量的平均数量、及每个距离区间对应的权重因子，确定所述第一深度图像与所述第二深度图像之间的相关程度值；
其中，权重因子用于指示不同距离区间的敏感性差异，当距离区间的距离值越大时，该距离区间对应的权重因子越小。
基于与上述方法同样的申请构思，本申请实施例中提出一种摄像机设备，所述摄像机包括3D深度传感器和图像传感器，所述3D深度传感器用于采集目标场景的深度图像，所述图像传感器用于采集所述目标场景的彩色图像；其中，所述3D深度传感器用于采集所述目标场景的第一深度图像，所述第一深度图像的任一像素点用于指示目标场景内物体与3D深度传感器的距离值；
其中，所述图像采集设备还包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；
所述处理器用于执行机器可执行指令，以实现如下步骤：
针对已划分的每个距离区间，基于第一深度图像中每个目标像素点的第一距离值和第二深度图像中每个目标像素点的第二距离值，统计所有第一距离值中处于该距离区间的第一像素点数量、所有第二距离值中处于该距离区间的第二像素点数量；其中，所述第二深度图像为上一次自动触发摄像机聚焦时存储；
基于每个距离区间对应的第一像素点数量和该距离区间对应第二像素点数量，确定所述第一深度图像与所述第二深度图像之间的相关程度值；
若所述相关程度值小于预设阈值，则自动触发所述摄像机执行聚焦操作，以便所述图像传感器在所述摄像机执行聚焦操作后采集彩色图像。
基于与上述方法同样的申请构思，本申请实施例还提供一种机器可读存储介质，所述机器可读存储介质上存储有若干计算机指令，所述计算机指令被处理器执行时，能够实现本申请上述示例公开的自动触发摄像机聚焦的的方法。
本申请提供一种自动触发摄像机聚焦的方法，所述摄像机包括3D深度传感器，所述摄像机被配置为生成场景中目标的视频图像序列，所述方法包括：
利用所述3D深度传感器，获取第一深度图像和采集时刻早于第一深度图像的第二深度图像，其中，所述第一深度图像和所述第二深度图像的各像素点的像素值用于指示所述目标相对所述3D深度传感器的物距；
根据预设的多个物距段，分别生成所述第一深度图像和所述第二深度图像的所有像素点分布在所述预设的多个物距段中任一物距段的数量；
基于比较所述第一深度图像和所述第二深度图像所有像素点在所述预设的任一物距段的分布数量，在发现到所述第一深度图像和所述第二深度图像的相关性值小于阈值时，则自动触发所述摄像机基于所述第一深度图像执行聚焦，由此允许所述摄像机输出包含所述目标的清晰视频图像序列；
其中，所述阈值被限定为：所述相关性小于所述阈值，则表征所述目标在所述场景内的物距发生大变化。
其中，在发现到所述第一深度图像和所述第二深度图像的相关性值大于阈值时，则摄像机不被自动触发执行聚焦，且，利用所述3D深度传感器获取新采集的第三深度图像，当且仅当在检测到所述第三深度图像和所述第二深度图像的相关性值小于阈值时，才触发摄像机基于所述第三深度图像执行自动聚焦。
其中，所述第二深度图像被限定为：所述摄像机上一次的自动触发聚焦是基于所述第二深度图像执行的。
其中，基于所述预设的多个物距段中的任一物距段：计算所述第一深度图像和所述第二深度图像中分布在所述任一物距段的像素点个数；确定与所述任一物距段关联的权重因子，其中所述权重因子用于指示不同物距段的敏感性，具有较远物距段的权重因子较小；基于所述第一深度图像和所述第二深度图像中分布在所述预设的多个物距段的像素点个数，生成所述第一深度图像和所述第二深度图像的所有像素点分布在所述预设的多个物距段中任一物距段的数量。
其中，所述预设的多个物距段被限定为：所述预设的多个物距段中任一物距段的起始值是所述摄像机在预设对焦距离下能够清晰成像的最近物距，且，终止值是所述摄像机在所述预设对焦距离下能够清晰成像的最远物距；不同的物距段对应不同的预设对焦距离；各物距段首尾相连，后一物距段的起始值等于前一物距段的终止值，当一个物距段的终止值超过所述3D深度传感器的行程，该物距段为最后一个物距段。
其中，所述第一深度图像、所述第二深度图像和所述第三深度图像中任一深度图像被限定为：所述任一深度图像不包括指示场景中背景区域的像素点。
其中，所述摄像机用于执行聚焦的物距被限定为：在所述用于执行聚焦的物距所在预设物距段，所述第一深度图像的像素点分布个数与所述第二深度图像中像素点分布个数之间存在最大差异。
其中，所述摄像机用于执行聚焦的物距被限定为：由所述第一深度图像和所述第二深度图像中分布在所述预设的多个物距段的像素点个数与预设的多个物距段关联的权重因子确定。
其中，所述摄像机用于执行聚焦的物距被限定为：在所述用于执行聚焦的物距所在的预设物距段，所述第一深度图像和所述第二深度图像中分布在所述用于执行聚焦的物距所在的预设物距段的像素点个数与所述用于执行聚焦的物距所在的预设物距段关联的权重因子的乘积具有最大值。
其中，上述机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
而且，这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种自动触发摄像机聚焦的方法，其特征在于，所述摄像机包括3D深度传感器和图像传感器，所述3D深度传感器用于采集目标场景的深度图像，所述图像传感器用于采集所述目标场景的彩色图像，所述方法包括：
通过所述3D深度传感器采集所述目标场景的第一深度图像，所述第一深度图像的任一像素点用于指示目标场景内物体与3D深度传感器的距离值；
针对已划分的每个距离区间，基于第一深度图像中每个目标像素点的第一距离值和第二深度图像中每个目标像素点的第二距离值，统计所有第一距离值中处于该距离区间的第一像素点数量、所有第二距离值中处于该距离区间的第二像素点数量；其中，所述第二深度图像为上一次自动触发摄像机聚焦时存储；
基于每个距离区间对应的第一像素点数量和该距离区间对应第二像素点数量、所有距离区间对应的第一像素点数量的平均数量和所有距离区间对应的第二像素点数量的平均数量、及每个距离区间对应的权重因子，确定所述第一深度图像与所述第二深度图像之间的相关程度值；其中，权重因子用于指示不同距离区间的敏感性差异，当距离区间的距离值越大时权重因子越小；
若所述相关程度值小于预设阈值，则自动触发所述摄像机执行聚焦操作，以便所述图像传感器在所述摄像机执行聚焦操作后采集彩色图像。
2.根据权利要求1所述的方法，其特征在于，
所述自动触发所述摄像机执行聚焦操作，包括：
从已划分的所有距离区间中选取目标距离区间；其中，第一深度图像中距离值与第二深度图像中距离值在所述目标距离区间的深度差异变化最大；
基于所述第一深度图像中每个目标像素点的第一距离值，确定第一距离值处于所述目标距离区间的所有目标像素点，并基于处于所述目标距离区间的所有目标像素点从所述第一深度图像中确定出感兴趣区域；
从所述图像传感器采集的彩色图像中确定出与所述感兴趣区域匹配的聚焦区域，并自动触发所述摄像机对所述聚焦区域执行聚焦操作。
3.根据权利要求2所述的方法，其特征在于，
所述从已划分的所有距离区间中选取目标距离区间，包括：
针对每个距离区间，通过如下公式确定所述第一深度图像中距离值与所述第二深度图像中距离值在该距离区间的深度差异变化值：
Figure FDA0003782751640000021
其中，
Figure FDA0003782751640000022
表示第i个距离区间对应的第一像素点数量，
Figure FDA0003782751640000023
表示第i个距离区间对应的第二像素点数量，ωi表示第i个距离区间对应的权重因子；其中，当距离区间的距离值越大时，则该距离区间对应的权重因子越小；
将深度差异变化值最大的距离区间选取为目标距离区间。
4.根据权利要求1-3任一项所述的方法，其特征在于，还包括：将已配置的距离范围划分为至少两个距离区间；其中，每个距离区间之间不重叠；
其中，所述将已配置的距离范围划分为至少两个距离区间，包括：
针对所述至少两个距离区间中的第一个距离区间，基于已配置的最小聚焦距离计算所述第一个距离区间的前景深位置和后景深位置；
针对所述至少两个距离区间中的第K个距离区间，所述K为大于1的正整数，将第K-1个距离区间的后景深位置确定为所述第K个距离区间的前景深位置；基于所述第K个距离区间的前景深位置确定所述第K个距离区间对应的目标聚焦距离；基于所述目标聚焦距离确定所述第K个距离区间的后景深位置。
5.根据权利要求1-3任一项所述的方法，其特征在于，
所述统计所有第一距离值中处于该距离区间的第一像素点数量、所有第二距离值中处于该距离区间的第二像素点数量之前，所述方法还包括：
将所述第一深度图像中不处于近距离固定背景区域的像素点确定为所述第一深度图像中的目标像素点，并将所述第二深度图像中不处于所述近距离固定背景区域的像素点确定为所述第二深度图像中的目标像素点；
其中，所述近距离固定背景区域的确定方式，包括：通过所述3D深度传感器采集所述目标场景的N个样本深度图像；基于N个样本深度图像确定平均深度图像，所述平均深度图像表示N个样本深度图像的平均值；基于N个样本深度图像和所述平均深度图像确定差异深度图像，所述差异深度图像表示样本深度图像与所述平均深度图像之间的差值；基于所述差异深度图像确定第一背景区域，基于所述平均深度图像确定第二背景区域，并将所述第一背景区域与所述第二背景区域的交集区域确定为近距离固定背景区域。
6.一种摄像机设备，其特征在于，
所述摄像机包括3D深度传感器和图像传感器，所述3D深度传感器用于采集目标场景的深度图像，所述图像传感器用于采集所述目标场景的彩色图像；其中，所述3D深度传感器用于采集所述目标场景的第一深度图像，所述第一深度图像的任一像素点用于指示目标场景内物体与3D深度传感器的距离值；
其中，所述图像采集设备还包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；
所述处理器用于执行机器可执行指令，以实现如下步骤：
针对已划分的每个距离区间，基于第一深度图像中每个目标像素点的第一距离值和第二深度图像中每个目标像素点的第二距离值，统计所有第一距离值中处于该距离区间的第一像素点数量、所有第二距离值中处于该距离区间的第二像素点数量；其中，所述第二深度图像为上一次自动触发摄像机聚焦时存储；
基于每个距离区间对应的第一像素点数量和该距离区间对应第二像素点数量、所有距离区间对应的第一像素点数量的平均数量和所有距离区间对应的第二像素点数量的平均数量、及每个距离区间对应的权重因子，确定所述第一深度图像与所述第二深度图像之间的相关程度值；其中，权重因子用于指示不同距离区间的敏感性差异，当距离区间的距离值越大时权重因子越小；
若所述相关程度值小于预设阈值，则自动触发所述摄像机执行聚焦操作，以便所述图像传感器在所述摄像机执行聚焦操作后采集彩色图像。
7.一种自动触发摄像机聚焦的方法，所述摄像机包括3D深度传感器，所述摄像机被配置为生成场景中目标的视频图像序列，所述方法包括：
利用所述3D深度传感器，获取第一深度图像和采集时刻早于第一深度图像的第二深度图像，其中，所述第一深度图像和所述第二深度图像的各像素点的像素值用于指示所述目标相对所述3D深度传感器的物距；
根据预设的多个物距段，分别生成所述第一深度图像和所述第二深度图像的所有像素点分布在所述预设的多个物距段中任一物距段的数量；
基于比较所述第一深度图像和所述第二深度图像所有像素点在所述预设的任一物距段的分布数量，在发现到所述第一深度图像和所述第二深度图像的相关性值小于阈值时，则自动触发所述摄像机基于所述第一深度图像执行聚焦，由此允许所述摄像机输出包含所述目标的清晰视频图像序列；
其中，所述阈值被限定为：所述相关性小于所述阈值，则表征所述目标在所述场景内的物距发生大变化；
其中，在发现到所述第一深度图像和所述第二深度图像的相关性值大于阈值时，则所述摄像机不被自动触发执行聚焦，且，利用所述3D深度传感器获取新采集的第三深度图像，当且仅当在检测到所述第三深度图像和所述第二深度图像的相关性值小于阈值时，才触发所述摄像机基于所述第三深度图像执行自动聚焦；
其中，所述第二深度图像被限定为：所述摄像机上一次的自动触发聚焦是基于所述第二深度图像执行的。
8.根据权利要求7所述的方法，其中，
基于所述预设的多个物距段中的任一物距段：
计算所述第一深度图像和所述第二深度图像中分布在所述任一物距段的像素点个数；
确定与所述任一物距段关联的权重因子，其中所述权重因子用于指示不同物距段的敏感性，具有较远物距段的权重因子较小；
基于所述第一深度图像和所述第二深度图像中分布在所述预设的多个物距段的像素点个数，生成所述第一深度图像和所述第二深度图像的所有像素点分布在所述预设的多个物距段中任一物距段的数量。
9.根据权利要求7所述的方法，其中，所述摄像机用于执行聚焦的物距被限定为：在所述用于执行聚焦的物距所在预设物距段，所述第一深度图像的像素点分布个数与所述第二深度图像中像素点分布个数之间存在最大差异。
10.根据权利要求7所述的方法，其中，所述摄像机用于执行聚焦的物距被限定为：由所述第一深度图像和所述第二深度图像中分布在所述预设的多个物距段的像素点个数与预设的多个物距段关联的权重因子确定。
CN202110802819.XA 2021-07-15 2021-07-15 一种自动触发摄像机聚焦的方法及设备 Active CN113572958B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110802819.XA CN113572958B (zh) 2021-07-15 2021-07-15 一种自动触发摄像机聚焦的方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110802819.XA CN113572958B (zh) 2021-07-15 2021-07-15 一种自动触发摄像机聚焦的方法及设备

Publications (2)

Publication Number Publication Date
CN113572958A CN113572958A (zh) 2021-10-29
CN113572958B true CN113572958B (zh) 2022-12-23

Family

ID=78165023

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110802819.XA Active CN113572958B (zh) 2021-07-15 2021-07-15 一种自动触发摄像机聚焦的方法及设备

Country Status (1)

Country Link
CN (1) CN113572958B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114697524B (zh) * 2020-12-30 2023-05-02 浙江宇视科技有限公司 自动聚焦方法、装置、电子设备及介质
CN114125288B (zh) * 2021-11-19 2022-12-27 杭州晨安科技股份有限公司 一种变焦镜头自动微聚焦方法
CN115209051B (zh) * 2022-07-08 2024-02-13 杭州海康威视数字技术股份有限公司 变焦摄像机的聚焦方法及装置
CN117880630B (zh) * 2024-03-13 2024-06-07 杭州星犀科技有限公司 对焦深度获取方法、对焦深度获取系统及终端

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001083404A (ja) * 1999-09-10 2001-03-30 Olympus Optical Co Ltd 多点測距装置及びその装置を搭載する多点測距カメラ
JP2008085634A (ja) * 2006-09-27 2008-04-10 Konica Minolta Holdings Inc 撮像装置及び画像処理方法
WO2013152819A1 (en) * 2012-04-13 2013-10-17 Sony Corporation Method for correcting images and corresponding camera

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007036823A2 (en) * 2005-09-29 2007-04-05 Koninklijke Philips Electronics N.V. Method and apparatus for determining the shot type of an image
CN101651772B (zh) * 2009-09-11 2011-03-16 宁波大学 一种基于视觉注意的视频感兴趣区域的提取方法
JP2011211514A (ja) * 2010-03-30 2011-10-20 Nec Corp 故障予測装置、故障予測方法、電磁干渉検出装置、電磁干渉検出方法、及び制御プログラム
CN104023177A (zh) * 2014-06-04 2014-09-03 华为技术有限公司 摄像机控制方法、装置及摄像机
US10659766B2 (en) * 2015-10-30 2020-05-19 Canon Kabushiki Kaisha Confidence generation apparatus, confidence generation method, and imaging apparatus
CN106056597B (zh) * 2016-05-26 2019-07-09 广州视源电子科技股份有限公司 物体视觉检测方法及装置
CN109697444B (zh) * 2017-10-20 2021-04-13 中国移动通信有限公司研究院 基于深度图像的对象识别方法及装置、设备、存储介质
JP2019176249A (ja) * 2018-03-27 2019-10-10 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラム及び撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001083404A (ja) * 1999-09-10 2001-03-30 Olympus Optical Co Ltd 多点測距装置及びその装置を搭載する多点測距カメラ
JP2008085634A (ja) * 2006-09-27 2008-04-10 Konica Minolta Holdings Inc 撮像装置及び画像処理方法
WO2013152819A1 (en) * 2012-04-13 2013-10-17 Sony Corporation Method for correcting images and corresponding camera

Also Published As

Publication number Publication date
CN113572958A (zh) 2021-10-29

Similar Documents

Publication Publication Date Title
CN113572958B (zh) 一种自动触发摄像机聚焦的方法及设备
CN108496350B (zh) 一种对焦处理方法及设备
US8970770B2 (en) Continuous autofocus based on face detection and tracking
US10375292B2 (en) Image pickup apparatus and method for generating image having depth information
CN107945105B (zh) 背景虚化处理方法、装置及设备
CN110488481B (zh) 一种显微镜对焦方法、显微镜及相关设备
CN108076278B (zh) 一种自动对焦方法、装置及电子设备
JP5374119B2 (ja) 距離情報取得装置、撮像装置、及びプログラム
US20140211045A1 (en) Image processing apparatus and image pickup apparatus
CN108062763B (zh) 目标跟踪方法及装置、存储介质
JP2019075776A (ja) 固定カメラに対するパンチルトズームカメラの方向を校正する方法、およびこのような校正が行われるシステム
JP2010016743A (ja) 測距装置、測距方法、測距プログラム又は撮像装置
CN103888645A (zh) 摄像设备及用于控制摄像设备的方法
CN105791801A (zh) 图像处理装置、图像拾取装置和图像处理方法
CN110248101B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN105674878B (zh) 在透视图上显示热图的装置和方法
US20140307054A1 (en) Auto focus method and auto focus apparatus
JP6316534B2 (ja) 撮像装置および撮像装置制御方法
US20160078598A1 (en) Image processor and image processing method
KR101321974B1 (ko) 옵티컬 플로우를 이용한 이동물체 영상합성 방법
JP6395429B2 (ja) 画像処理装置、その制御方法及び記憶媒体
JP6881909B2 (ja) 撮像装置及びその制御方法、及び画像処理装置及び方法
JP2016146601A (ja) 画像処理装置およびその制御方法
CN116567412A (zh) 变焦跟踪曲线确定方法、装置、计算机设备和存储介质
CN116456191A (zh) 图像生成方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant