CN117652136A - 使用多点深度感测系统信息来处理图像数据 - Google Patents

使用多点深度感测系统信息来处理图像数据 Download PDF

Info

Publication number
CN117652136A
CN117652136A CN202180099996.4A CN202180099996A CN117652136A CN 117652136 A CN117652136 A CN 117652136A CN 202180099996 A CN202180099996 A CN 202180099996A CN 117652136 A CN117652136 A CN 117652136A
Authority
CN
China
Prior art keywords
interest
depth
region
image
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180099996.4A
Other languages
English (en)
Inventor
冯文俊
李勉
高慧姗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN117652136A publication Critical patent/CN117652136A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

提供了用于处理一个或多个图像的系统和技术。例如，各方面包括可以包括确定与在使用至少一个照相机获得的图像中描绘的第一对象相对应的第一感兴趣区域的过程。第一感兴趣区域是与跟多点深度感测系统相关联的多点网格的至少一个元素相关联的。过程可以包括确定针对第一对象的第一扩展感兴趣区域。第一扩展感兴趣区域是与包括多点网格的至少一个元素和一个或多个额外的元素的多个元素相关联的。过程可以进一步包括：基于与第一扩展感兴趣区域相关联的多个元素，来确定表示在至少一个照相机与在图像中描绘的第一对象之间的第一距离的代表性深度信息。

Description

使用多点深度感测系统信息来处理图像数据
技术领域
本申请涉及图像处理。在一些示例中，本申请的各方面涉及使用来自多点深度感测系统的信息来处理图像数据。
背景技术
照相机可以被配置具有各种图像捕获和图像处理设置，以改变图像的外观。一些图像处理操作是在捕获照片之前或在捕获照片期间确定以及应用的，诸如自动聚焦、自动曝光和自动白平衡操作，以及其它。这些操作被配置为校正和/或改变图像的一个或多个区域(例如，以确保区域的内容不模糊、过度曝光或失焦)。操作可以由图像处理系统自动地执行或者响应于用户输入来执行。
发明内容
本文描述了用于使用来自多点深度感测系统的信息来处理图像数据(例如，使用自动聚焦、自动曝光、自动白平衡、自动缩放和/或其它操作)的系统和技术。根据至少一个示例，提供了一种处理图像数据的方法。该方法可以包括：确定与在使用至少一个照相机获得的图像中描绘的第一对象相对应的第一感兴趣区域，所述第一感兴趣区域是与跟多点深度感测系统相关联的多点网格的至少一个元素相关联的；确定针对所述第一对象的第一扩展感兴趣区域，所述第一扩展感兴趣区域是与包括所述多点网格的所述至少一个元素和一个或多个额外的元素的多个元素相关联的；以及基于与所述第一扩展感兴趣区域相关联的所述多个元素，来确定表示在所述至少一个照相机与在所述图像中描绘的所述第一对象之间的第一距离的代表性深度信息。
在另一示例中，提供了一种用于处理视频数据的装置。该装置可以包括至少一个存储器以及耦合到所述至少一个存储器的(例如，在电路中实现的)一个或多个处理器。所述一个或多个处理器被配置为：确定与在使用至少一个照相机获得的图像中描绘的第一对象相对应的第一感兴趣区域，所述第一感兴趣区域是与跟多点深度感测系统相关联的多点网格的至少一个元素相关联的；确定针对所述第一对象的第一扩展感兴趣区域，所述第一扩展感兴趣区域是与包括所述多点网格的所述至少一个元素和一个或多个额外的元素的多个元素相关联的；以及基于与所述第一扩展感兴趣区域相关联的所述多个元素，来确定表示在所述至少一个照相机与在所述图像中描绘的所述第一对象之间的第一距离的代表性深度信息。
在另一示例中，提供了一种非暂时性计算机可读介质，其具有存储在其上的指令，所述指令在由一个或多个处理器执行时使所述一个或多个处理器进行以下操作：确定与在使用至少一个照相机获得的图像中描绘的第一对象相对应的第一感兴趣区域，所述第一感兴趣区域是与跟多点深度感测系统相关联的多点网格的至少一个元素相关联的；确定针对所述第一对象的第一扩展感兴趣区域，所述第一扩展感兴趣区域是与包括所述多点网格的所述至少一个元素和一个或多个额外的元素的多个元素相关联的；以及基于与所述第一扩展感兴趣区域相关联的所述多个元素，来确定表示在所述至少一个照相机与在所述图像中描绘的所述第一对象之间的第一距离的代表性深度信息。
在另一示例中，提供了一种用于处理视频数据的装置。该装置包括：用于确定与在使用至少一个照相机获得的图像中描绘的第一对象相对应的第一感兴趣区域的单元，所述第一感兴趣区域是与跟多点深度感测系统相关联的多点网格的至少一个元素相关联的；用于确定针对所述第一对象的第一扩展感兴趣区域的单元，所述第一扩展感兴趣区域是与包括所述多点网格的所述至少一个元素和一个或多个额外的元素的多个元素相关联的；以及用于基于与所述第一扩展感兴趣区域相关联的所述多个元素，来确定表示在所述至少一个照相机与在所述图像中描绘的所述第一对象之间的第一距离的代表性深度信息的单元。
在一些方面中，上文描述的方法、装置和计算机可读介质可以包括：基于表示所述第一距离的代表性深度信息来处理所述图像，其中，处理所述图像包括：对所述图像的至少所述第一感兴趣区域执行自动曝光、自动聚焦、自动白平衡和自动缩放中的至少一者。
在一些方面中，为了确定针对所述第一对象的所述第一扩展感兴趣区域，上文描述的方法、装置和计算机可读介质可以包括：确定所述第一感兴趣区域的大小和所述第一感兴趣区域相对于在所述图像中的参考点的位置中的至少一者；以及基于所述第一感兴趣区域的所述大小和所述位置中的至少一者，来确定针对所述第一对象的所述第一扩展感兴趣区域。
在一些方面中，为了确定针对所述第一对象的所述第一扩展感兴趣区域，上文描述的方法、装置和计算机可读介质可以包括：基于所述第一感兴趣区域的所述大小来确定针对所述第一对象的所述第一扩展感兴趣区域。
在一些方面中，为了确定针对所述第一对象的所述第一扩展感兴趣区域，上文描述的方法、装置和计算机可读介质可以包括：基于所述第一感兴趣区域的所述位置来确定针对所述第一对象的所述第一扩展感兴趣区域。
在一些方面中，为了确定针对所述第一对象的所述第一扩展感兴趣区域，上文描述的方法、装置和计算机可读介质可以包括：基于所述第一感兴趣区域的所述大小和所述位置，来确定针对所述第一对象的所述第一扩展感兴趣区域。
在一些方面，为了确定针对所述第一对象的所述第一扩展感兴趣区域，上文描述的方法、装置和计算机可读介质可以包括：确定与所述多点网格的一个或多个额外的元素中的第一元素相关联的第一深度，所述第一元素邻接与所述第一感兴趣区域相关联的所述至少一个元素；确定在所述第一深度和与所述第一感兴趣区域相关联的所述至少一个元素的深度之间的差小于门限差；以及基于确定在所述第一深度与跟所述第一感兴趣区域相关联的所述至少一个元素的所述深度之间的所述差小于所述门限差，来将所述第一元素与所述第一扩展感兴趣区域进行关联。
在一些方面中，上文描述的方法、装置和计算机可读介质可以进一步基于所述第一深度的置信度大于置信度门限，来将所述第一元素与所述第一扩展感兴趣区域进行关联。
在一些方面，上文描述的方法、装置和计算机可读介质可以包括：确定与所述多点网格的所述一个或多个额外的元素中的第二元素相关联的第二深度，所述第二元素邻接所述一个或多个额外的元素中的所述第一元素；确定在所述第二深度与所述第一深度之间的差小于所述门限差；以及基于确定在所述第二深度与所述第一深度之间的所述差小于所述门限差，来将所述第二元素与所述第一扩展感兴趣区域进行关联。
在一些方面，上文描述的方法、装置和计算机可读介质可以包括：确定与所述多点网格的所述一个或多个额外的元素中的第二元素相关联的第二深度，所述第二元素邻接所述一个或多个额外的元素中的所述第一元素；确定在所述第二深度与所述第一深度之间的所述差大于所述门限差；以及基于确定在所述第二深度与所述第一深度之间的所述差大于所述门限差，来从所述第一扩展感兴趣区域中排除所述第二元素。
在一些方面中，为了确定表示所述第一距离的所述代表性深度信息，上文描述的方法、装置和计算机可读介质可以包括：基于与所述第一扩展感兴趣区域相关联的所述多个元素的深度值，来确定针对所述第一扩展感兴趣区域的代表性深度值。
在一些方面中，代表性深度值包括与第一扩展感兴趣区域相关联的多个元素的深度值的平均值。
在一些方面中，上文描述的方法、装置和计算机可读介质可以包括：基于所述第一感兴趣区域是针对所述图像确定的唯一感兴趣区域，基于表示所述第一距离的所述代表性深度信息来处理所述图像。
在一些方面中，为了基于表示所述第一距离的所述代表性深度信息来处理所述图像，上文描述的方法、装置和计算机可读介质可以包括对所述图像的至少所述第一感兴趣区域执行自动曝光、自动聚焦、自动白平衡和自动缩放中的至少一者。
在一些方面中，上文描述的方法、装置和计算机可读介质可以包括：确定与在所述图像中描绘的第二对象相对应的第二感兴趣区域，所述第二感兴趣区域是与跟所述多点深度感测系统相关联的所述多点网格的至少一个额外的元素相关联的；确定针对所述第二对象的第二扩展感兴趣区域，所述第二扩展感兴趣区域是与包括所述多点网格的所述至少一个额外的元素和第二一个或多个额外的元素的多个元素相关联的；以及基于与所述第二扩展感兴趣区域相关联的所述多个元素，来确定表示在所述至少一个照相机与在图像中描绘的所述第二对象之间的第二距离的代表性深度信息。
在一些方面中，上文描述的方法、装置和计算机可读介质可以包括：基于表示所述第一距离的代表性深度信息和表示所述第二距离的代表性深度信息来确定组合深度信息。
在一些方面中，为了确定所述组合深度信息，上文描述的方法、装置和计算机可读介质可以包括：确定表示所述第一距离的代表性深度信息和表示所述第二距离的代表性深度信息的加权平均值。
在一些方面中，上文描述的方法、装置和计算机可读介质可以包括：基于所述组合深度信息来处理所述图像。
在一些方面中，为了基于所述组合深度信息来处理所述图像，上文描述的方法、装置和计算机可读介质可以包括对所述图像的至少所述第一感兴趣区域执行自动曝光、自动聚焦、自动白平衡和自动缩放中的至少一者。
在一些方面中，多点深度感测系统包括发射机和接收机，发射机包括多个光源，接收机被配置为接收由多个光源发射的光的反射。在一些情况下，代表性深度信息是基于接收到的光的反射来确定的。
根据至少一个额外的示例，提供了一种处理图像数据的方法。该方法可以包括：确定与在使用至少一个照相机获得的图像中描绘的至少一个对象相对应的感兴趣区域，所述感兴趣区域是与跟多点深度感测系统相关联的多点网格的多个元素相关联的；基于与所述多个元素相关联的深度信息，来确定所述感兴趣区域是否包括多深度信息；以及基于所述感兴趣区域是否包括多深度信息，来确定表示在所述至少一个照相机与在图像中描绘的所述至少一个对象之间的距离的代表性深度信息。
在另一示例中，提供了一种用于处理视频数据的装置。该装置可以包括至少一个存储器以及耦合到所述至少一个存储器的(例如，在电路中实现的)一个或多个处理器。所述一个或多个处理器被配置为：确定与在使用至少一个照相机获得的图像中描绘的至少一个对象相对应的感兴趣区域，所述感兴趣区域是与跟多点深度感测系统相关联的多点网格的多个元素相关联的；基于与所述多个元素相关联的深度信息，来确定所述感兴趣区域是否包括多深度信息；以及基于所述感兴趣区域是否包括多深度信息，来确定表示在所述至少一个照相机与在图像中描绘的所述至少一个对象之间的距离的代表性深度信息。
在另一示例中，提供了一种非暂时性计算机可读介质，其具有存储在其上的指令，所述指令在由一个或多个处理器执行时使所述一个或多个处理器进行以下操作：确定与在使用至少一个照相机获得的图像中描绘的至少一个对象相对应的感兴趣区域，所述感兴趣区域是与跟多点深度感测系统相关联的多点网格的多个元素相关联的；基于与所述多个元素相关联的深度信息，来确定所述感兴趣区域是否包括多深度信息；以及基于所述感兴趣区域是否包括多深度信息，来确定表示在所述至少一个照相机与在图像中描绘的所述至少一个对象之间的距离的代表性深度信息。
在另一示例中，提供了一种用于处理视频数据的装置。该装置包括：用于确定与在使用至少一个照相机获得的图像中描绘的至少一个对象相对应的感兴趣区域的单元，所述感兴趣区域是与跟多点深度感测系统相关联的多点网格的多个元素相关联的；用于基于与所述多个元素相关联的深度信息，来确定所述感兴趣区域是否包括多深度信息的单元；以及用于基于所述感兴趣区域是否包括多深度信息，来确定表示在所述至少一个照相机与在图像中描绘的所述至少一个对象之间的距离的代表性深度信息的单元。
在一些方面中，上文描述的方法、装置和计算机可读媒体可以包括：根据与所述多个元素相关联的代表性深度信息对所述多个元素进行排序，其中，所述多个元素是从最小深度到最大深度来排序的。
在一些方面中，为了确定所述感兴趣区域是否包括所述多深度信息，上文描述的方法、装置和计算机可读介质可以包括：确定在所述多个元素的最小深度值与所述多个元素的最大深度值之间的差大于多深度门限；以及基于确定在所述最小深度值与所述最大深度值之间的所述差大于所述多深度门限，来确定感兴趣区域包括多深度信息。
在一些方面中，为了确定所述代表性深度信息，上文描述的方法、装置和计算机可读介质可以包括：选择第二最小深度值或第三最小深度值作为所述代表性深度信息。
在一些方面中，为了确定所述感兴趣区域是否包括所述多深度信息，上文描述的方法、装置和计算机可读介质可以包括：确定在所述多个元素的最小深度值与所述多个元素的最大深度值之间的差小于多深度门限；以及基于确定在所述最小深度值与所述最大深度值之间的所述差小于所述多深度门限，来确定感兴趣区域不包括多深度信息。
在一些方面中，为了确定所述代表性深度信息，上文描述的方法、装置和计算机可读介质可以包括：从所述多点网格的所述多个元素来确定与大多数元素相关联的深度值；以及选择所述深度值作为所述代表性深度信息。
在一些方面中，上文描述的方法、装置和计算机可读介质可以包括：基于表示所述距离的所述代表性深度信息来处理所述图像，其中，处理所述图像包括对所述图像的至少所述感兴趣区域执行自动曝光、自动聚焦、自动白平衡和自动缩放中的至少一者。
在一些方面中，多点深度感测系统包括发射机和接收机，发射机包括多个光源，接收机被配置为接收由多个光源发射的光的反射。在一些情况下，代表性深度信息是基于接收到的光的反射来确定的。
在一些方面中，上文描述的装置中的一个或多个装置是以下各者或以下各者的一部分：移动设备(例如，移动电话或所谓的“智能电话”或其它移动设备)、可穿戴设备、扩展现实设备(例如，虚拟现实(VR)设备、增强现实(AR)设备或混合现实(MR)设备)、个人计算机、膝上型计算机、服务器计算机、车辆(例如，车辆的计算设备)或其它设备。在一些方面中，一种装置包括用于捕获一个或多个图像的一个照相机或多个照相机。在一些方面中，所述装置还包括用于显示一个或多个图像、通知和/或其它可显示数据的显示器。在一些方面中，该装置可以包括一个或多个传感器，一个或多个传感器可以用于确定该装置的位置和/或姿态、该装置的状态和/或用于其它目的。
该发明内容既不旨在标识所要求保护的主题的关键或必要特征，也不旨在单独用于确定所要求保护的主题的范围。应当通过参考本专利的整个说明书的适当部分、任何或全部附图以及每个权利要求来理解该主题。
参考以下说明书、权利要求和附图，前述内容连同其它特征和实施例将变得更加显而易见。
附图说明
参考下列附图在下文中对本申请的说明性实施例进行了详细描述：
图1是示出根据一些示例的图像捕获和处理系统的示例架构的框图；
图2A和图2B是根据一些示例的执行图像捕获操作的图示；
图3是示出根据一些示例的飞行时间(TOF)系统的示例的示意图；
图4A是示出根据一些示例的深度感测系统的单点光源的视场(FOV)的图像；
图4B是示出根据一些示例的与具有多点光源的深度感测系统相关联的4x4网格的图像；
图5是示出根据一些示例的结构化光系统的示例的示意图；
图6A是说明示出根据一些示例的应用使用多点深度信息和感兴趣区域(ROI)信息的(多个)图像处理算法的过程的示例的流程图的示意图；
图6B是示出根据一些示例的可以执行一个或多个图像捕获和处理操作的多点深度感测控制器的示例的示意图；
图7A是示出根据一些示例的多点光源的网格的示例的图像的示意图；
图7B是示出根据一些示例的多点光源的网格的另一示例的示意图；
图8A是示出根据一些示例的扩展ROI的图像，该扩展ROI包括是原始ROI或目标ROI的大小的两倍的大小；
图8B是示出根据一些示例的扩展ROI的图像，该扩展ROI包括是原始ROI或目标ROI的大小的四倍的大小；
图9是示出根据一些示例的基于在目标ROI附近的多点网格的坐标相关性来扩展目标ROI的示例的示意图；
图10是示出根据一些示例的可以由图6的多点深度感测控制器的数据分析器来执行的过程的示例的流程图；
图11包括根据一些示例的覆盖有多点网格的图像，其示出图6的多点深度感测控制器的多主体优化器的操作；
图12是根据一些示例的包括在不同深度处的多个主体的图像；
图13是示出根据一些示例的用于处理图像数据的过程的示例的流程图；
图14是示出根据一些示例的用于处理图像数据的过程的示例的流程图；以及
图15是示出用于实现本文中描述的某些方面的系统的示例的示意图。
具体实施方式
下文提供本公开内容的某些方面和实施例。这些方面和实施例中的一些方面和实施例可以独立地应用，以及它们中的一些方面和实施例可以组合地应用，如对于本领域技术人员来说将显而易见的。在以下描述中，出于解释的目的，阐述了具体细节，以便提供对本申请的实施例的透彻理解。然而，将显而易见的是，在没有这些具体细节的情况下可以实践各个实施例。附图和描述不旨在是限制性的。
随后的描述仅提供示例性实施例，以及不旨在限制本公开内容的范围、适用性或配置。而是，对示例性实施例的随后的描述将为本领域技术人员提供用于实现示例性实施例的有条件完成的描述。应当理解的是，在不背离如在所附的权利要求中阐述的本申请的精神和范围的情况下，可以在元素的功能和布置中进行各种改变。
照相机是接收光线以及使用图像传感器捕获图像帧(诸如静态图像或视频帧)的设备。术语“图像”、“图像帧”和“帧”是在本文中可互换地使用的。照相机可以包括处理器(诸如图像信号处理器(ISP))，其可以接收一个或多个图像帧以及处理一个或多个图像帧。例如，由照相机传感器捕获的未经处理的图像帧可以由ISP来处理以生成最终图像。由ISP进行的处理可以由应用于所捕获的图像帧的多个滤波器或处理块来执行，诸如去噪或噪声滤波、边缘增强、色彩平衡、对比度、强度调整(诸如变暗或变亮)、色调调整、以及其它。图像处理块或模块可以包括透镜/传感器噪声校正、拜耳滤波器、去马赛克、色彩转换、图像属性的校正或增强/抑制、去噪滤波器、锐化滤波器、以及其它。
照相机可以被配置具有各种图像捕获和/或图像处理操作和设置。不同的设置导致具有不同外观的图像。一些照相机操作是在对照片的捕获之前或在对照片的捕获期间确定以及应用的，诸如自动聚焦(automatic-focus)(还称为自动聚焦(auto-focus))、自动曝光(automatic-exposure)(还称为自动曝光(auto-exposure))和自动白平衡(automaticwhite-balance)算法(还称为自动白平衡(auto-while-balance))，统称为“3A”或“3As”。在对图像的捕获之前、在对图像的捕获期间、或在对图像的捕获之后应用的额外的照相机操作包括涉及缩放(例如，放大或缩小)、ISO、光圈大小、f/光阑、快门速度和增益的操作。其它的照相机操作可以配置对照片的后处理，诸如对于对比度、亮度、饱和度、锐度、级别、曲线或色彩的改变。
图1是示出图像捕获和处理系统100的架构的框图。图像捕获和处理系统100包括用于捕获和处理场景的图像(例如，场景110的图像)的各个组件。图像捕获和处理系统100可以捕获独立的图像(或照片)和/或可以捕获包括处于特定顺序的多个图像(或视频帧)的视频。系统100的透镜115面向场景110，以及接收来自场景110的光。透镜115使光弯曲向图像传感器130。由透镜115接收的光穿过由一个或多个控制机构120控制的光圈，以及是由图像传感器130来接收的。
一个或多个控制机构120可以基于来自图像传感器130的信息和/或基于来自图像处理器150的信息来控制曝光、聚焦和/或缩放。一个或多个控制机构120可以包括多个机构和组件；例如，控制机构120可以包括一个或多个曝光控制机构125A、一个或多个聚焦控制机构125B和/或一个或多个缩放控制机构125C。一个或多个控制机构120还可以包括除了所示的那些之外的额外的控制机构，诸如控制模拟增益、闪光、HDR、景深和/或其它图像捕获属性的控制机构。在一些情况下，一个或多个控制机构120可以控制和/或实现“3A”图像处理操作。
控制机构120的聚焦控制机构125B可以获得聚焦设置。在一些示例中，聚焦控制机构125B将聚焦设置存储在存储寄存器中。基于聚焦设置，聚焦控制机构125B可以相对于图像传感器130的位置来调整透镜115的位置。例如，基于聚焦设置，聚焦控制机构125B可以通过开动电动机或伺服装置来使透镜115更靠近图像传感器130或更远离图像传感器130，从而调整聚焦。在一些情况下，额外的透镜可以被包括在设备105A中，诸如在图像传感器130的每个光电二极管上的一个或多个微透镜，一个或多个微透镜各自在光到达光电二极管之前将从透镜115接收的光弯曲向相应的光电二极管。聚焦设置可以是经由对比度检测自动聚焦(CDAF)、相位检测自动聚焦(PDAF)或其某种组合来确定的。聚焦设置可以是使用控制机构120、图像传感器130和/或图像处理器150来确定的。聚焦设置可以称为图像捕获设置和/或图像处理设置。
控制机构120的曝光控制机构125A可以获得曝光设置。在一些情况下，曝光控制机构125A将曝光设置存储在存储寄存器中。基于这个曝光设置，曝光控制机构125A可以控制光圈的大小(例如，光圈大小或f/光阑)、光圈开着的持续时间(例如，曝光时间或快门速度)、图像传感器130的灵敏度(例如，ISO速度或底片速度)、由图像传感器130施加的模拟增益，或其任何组合。曝光设置可以称为图像捕获设置和/或图像处理设置。
控制机构120的缩放控制机构125C可以获得缩放设置。在一些示例中，缩放控制机构125C将缩放设置存储在存储寄存器中。基于缩放设置，缩放控制机构125C可以控制透镜元件组合件(透镜组合件)的焦距，透镜元件组合件包括透镜115和一个或多个额外的透镜。例如，缩放控制机构125C可以通过开动一个或多个电动机或伺服装置以使透镜中的一个或多个透镜相对于彼此移动，来控制透镜组合件的焦距。缩放设置可以称为图像捕获设置和/或图像处理设置。在一些示例中，透镜组合件可以包括齐焦缩放透镜或变焦缩放透镜。在一些示例中，透镜组合件可以包括聚焦透镜(其在一些情况下可以是透镜115)，所述聚焦透镜首先从场景110接收光，其中在光到达图像传感器130之前，光接着穿过在聚焦透镜(例如，透镜115)与图像传感器130之间的无焦缩放系统。在一些情况下，无焦缩放系统可以包括在它们之间具有与负(例如，发散的、凹面的)透镜相等的或者类似的(例如，在门限差异内的)焦距的两个正(例如，会聚的、凸面的)透镜。在一些情况下，缩放控制机构125C移动无焦缩放系统中的一个或多个透镜，诸如负透镜和正透镜中的一个或两个正透镜。
图像传感器130包括光电二极管或其它光敏元件的一个或多个阵列。每个光电二极管测量最终与由图像传感器130产生的图像中的特定像素相对应的光的量。在一些情况下，不同的光电二极管可以被不同的颜色过滤器覆盖，以及因此可以测量与覆盖光电二极管的过滤器的颜色匹配的光。例如，拜耳颜色过滤器包括红色颜色过滤器、蓝色颜色过滤器和绿色颜色过滤器，其中图像的每个像素是基于来自在红色颜色过滤器中覆盖的至少一个光电二极管的红色光数据、来自在蓝色颜色过滤器中覆盖的至少一个光电二极管的蓝色光数据和来自在绿色颜色过滤器中覆盖的至少一个光电二极管的绿色光数据来生成的。其它类型的颜色过滤器可以使用黄色、洋红色和/或青色(还称为“翠绿色”)颜色过滤器来代替红色、蓝色和/或绿色颜色过滤器，或者除了红色、蓝色和/或绿色颜色过滤器之外还使用黄色、洋红色和/或青色(还称为“翠绿色”)颜色过滤器。一些图像传感器可以完全缺少颜色过滤器，以及可以替代地遍及像素阵列来使用不同的光电二极管(在一些情况下是垂直地堆叠的)。遍及像素阵列的不同光电二极管可以具有不同的光谱灵敏度曲线，因此对不同波长的光进行响应。单色图像传感器也可以缺少颜色过滤器，以及因此缺少颜色深度。
在一些情况下，图像传感器130可以替代地或额外地包括不透明的和/或反射的掩模，不透明的和/或反射的掩模阻挡光在某些时间和/或从某些角度到达某些光电二极管或某些光电二极管的部分，这可以用于相位检测自动聚焦(PDAF)。图像传感器130还可以包括模拟增益放大器和/或模数转换器(ADC)，所述模拟增益放大器用于对由光电二极管输出的模拟信号进行放大，所述ADC用于将光电二极管的模拟信号输出(和/或由模拟增益放大器放大的)转换成数字信号。在一些情况下，关于控制机构120中的一个或多个控制机构120讨论的某些组件或功能可以替代地或额外地被包括在图像传感器130中。图像传感器130可以是电荷耦合器件(CCD)传感器、电子倍增CCD(EMCCD)传感器、有源像素传感器(APS)、互补金属氧化物半导体(CMOS)、N型金属氧化物半导体(NMOS)、混合CCD/CMOS传感器(例如，sCMOS)，或其某个其它组合。
图像处理器150可以包括一个或多个处理器，诸如一个或多个图像信号处理器(ISP)(包括ISP 154)、一个或多个主机处理器(包括主机处理器152)和/或关于计算系统1500讨论的任何其它类型的处理器1510中的一者或多者。主机处理器152可以是数字信号处理器(DSP)和/或其它类型的处理器。在一些实现方式中，图像处理器150是单个集成电路或芯片(例如，称为片上系统或SoC)，其包括主机处理器152和ISP 154。在一些情况下，芯片还可以包括一个或多个输入/输出端口(例如，输入/输出(I/O)端口156)、中央处理单元(CPU)、图形处理单元(GPU)、宽带调制解调器(例如，3G、4G或LTE、5G等)、存储器、连接组件(例如，蓝牙TM、全球定位系统(GPS)等)、其任何组合和/或其它组件。I/O端口156可以包括根据一个或多个协议或规范的任何合适的输入/输出端口或接口，诸如内置集成电路2(I2C)接口、内置集成电路3(I3C)接口、串行外围接口(SPI)接口、串行通用输入/输出(GPIO)接口、移动工业处理器接口(MIPI)(诸如MIPI CSI-2物理(PHY)层端口或接口、高级高性能总线(AHB)总线、其任何组合)和/或其它输入/输出端口。在一个说明性示例中，主机处理器152可以使用I2C端口与图像传感器130通信，以及ISP 154可以使用MIPI端口与图像传感器130通信。
图像处理器150可以执行一数量个任务，诸如去马赛克、颜色空间转换、图像帧下采样、像素内插、自动曝光(AE)控制、自动增益控制(AGC)、CDAF、PDAF、自动白平衡、合并图像帧，以形成HDR图像、图像识别、对象识别、特征识别、对输入的接收、管理输出、管理存储器、或其某种组合。图像处理器150可以将图像帧和/或经处理的图像存储在随机存取存储器(RAM)140/1520、只读存储器(ROM)145/1525、高速缓存1512、存储器单元1515、另一存储设备1530、或其某种组合中。
各个输入/输出(I/O)设备160可以连接到图像处理器150。I/O设备160可以包括显示屏、键盘、小键盘、触摸屏、触控板、触敏表面、打印机、任何其它输出设备1535、任何其它输入设备1545、或其某种组合。在一些情况下，字幕可以通过I/O设备160的物理键盘或小键盘或者通过I/O设备160的触摸屏的虚拟键盘或小键盘来输入到图像处理设备105B中。I/O160可以包括一个或多个端口、插孔或者其它连接器，其实现在设备105B与一个或多个外围设备之间的有线连接，通过该有线连接，设备105B可以从一个或多个外围设备接收数据和/或向一个或多个外围设备发送数据。I/O 160可以包括一个或多个无线收发机，其实现在设备105B与一个或多个外围设备之间的无线连接，通过该无线连接，设备105B可以从一个或多个外围设备接收数据和/或向一个或多个外围设备发送数据。外围设备可以包括先前讨论的类型的I/O设备160中的任何一者，以及一旦它们耦合到端口、插孔、无线收发机或其它有线和/或无线连接器，它们本身就可以被认为是I/O设备160。
在一些情况下，图像捕获和处理系统100可以是单个设备。在一些情况下，图像捕获和处理系统100可以是两个或更多个单独的设备，包括图像捕获设备105A(例如，照相机)和图像处理设备105B(例如，耦合到照相机的计算设备)。在一些实现方式中，图像捕获设备105A和图像处理设备105B可以例如经由一个或多个导线、电缆或其它电连接器耦合在一起，和/或经由一个或多个无线收发机无线地耦合在一起。在一些实现方式中，图像捕获设备105A和图像处理设备105B可以彼此断开。
如图1所示，垂直虚线将图1的图像捕获和处理系统100划分为两个部分，其分别表示图像捕获设备105A和图像处理设备105B。图像捕获设备105A包括透镜115、控制机构120和图像传感器130。图像处理设备105B包括图像处理器150(包括ISP 154和主机处理器152)、RAM 140、ROM 145和I/O 160。在一些情况下，在图像捕获设备105A中所示的某些组件(诸如ISP 154和/或主机处理器152)可以被包括在图像捕获设备105A中。
图像捕获和处理系统100可以包括电子设备，诸如移动的或静止的电话手机(例如，智能电话、蜂窝电话等)、台式计算机、膝上型或笔记本计算机、平板计算机、机顶盒、电视机、照相机、显示设备、数字媒体播放器、视频游戏机、视频串流设备、互联网协议(IP)照相机、或任何其它合适的电子设备。在一些示例中，图像捕获和处理系统100可以包括用于无线通信(诸如蜂窝网络通信、802.11wi-fi通信、无线局域网(WLAN)通信、或其某种组合)的一个或多个无线收发机。在一些实现方式中，图像捕获设备105A和图像处理设备105B可以是不同的设备。例如，图像捕获设备105A可以包括照相机设备，以及图像处理设备105B可以包括计算设备，诸如移动手机、台式计算机或其它计算设备。
虽然图像捕获和处理系统100示出为包括某些组件，但是普通技术人员将理解的是，图像捕获和处理系统100可以包括与图1中所示的组件相比更多的组件。图像捕获和处理系统100的组件可以包括软件、硬件、或软件和硬件的一个或多个组合。例如，在一些实现方式中，图像捕获和处理系统100的组件可以包括电子电路或其它电子硬件，和/或可以是使用电子电路或其它电子硬件来实现的，电子电路或其它电子硬件可以包括一个或多个可编程电子电路(例如，微处理器、GPU、DSP、CPU和/或其它合适的电子电路)，和/或可以包括计算机软件、固件或其任何组合，和/或是使用计算机软件、固件或其任何组合来实现的，以执行本文中描述的各个操作。软件和/或固件可以包括被存储在计算机可读存储介质上并且可以由实现图像捕获和处理系统100的电子设备的一个或多个处理器执行的一个或多个指令。
主机处理器152可以利用新的参数设置来配置图像传感器130(例如，经由外部控制接口，诸如I2C、I3C、SPI、GPIO和/或其它接口)。在一个说明性示例中，主机处理器152可以基于来自过去图像帧的曝光控制算法的内部处理结果，来更新由图像传感器130使用的曝光设置。主机处理器152还可以动态地配置ISP 154的内部流水线或模块的参数设置，以匹配来自图像传感器130的一个或多个输入图像帧的设置，使得图像数据是由ISP 154来正确地处理的。ISP 154的处理(或流水线)块或模块可以包括用于透镜/传感器噪声校正、去马赛克、色彩转换、对图像属性的校正或增强/抑制、去噪滤波器、锐化滤波器、以及其它的模块。对ISP 154的不同模块的设置可以由主机处理器152来配置。每个模块可以包括大量的可调谐的参数设置。此外，模块可以是相互依赖的，因为不同的模块可能影响图像的类似方面。例如，去噪和纹理校正或增强两者可能都影响图像的高频方面。结果，大量参数由ISP来使用以从捕获的未经处理的图像生成最终图像。
在一些情况下，图像捕获和处理系统100可以自动地执行上文描述的图像处理功能中的一个或多个图像处理功能。例如，控制机构120中的一个或多个控制机构120可以被配置为执行自动聚焦操作、自动曝光操作和/或自动白平衡操作(如上文所述，称为“3As”)。在一些实施例中，自动聚焦功能允许图像捕获设备105A在捕获期望的图像之前自动地聚焦。存在各种自动聚焦技术。例如，主动自动聚焦技术通常通过发射红外激光或超声信号以及接收对那些信号的反射，经由照相机的测距传感器来确定在照相机与图像的主体之间的射程。此外，被动自动聚焦技术使用照相机本身的图像传感器来对照相机进行聚焦，以及因此不要求将额外传感器整合到照相机中。被动AF技术包括对比度检测自动聚焦(CDAF)、相位检测自动聚焦(PDAF)，以及在一些情况下的使用这两种技术的混合系统。图像捕获和处理系统100可以被配备具有这些或任何额外类型的自动聚焦技术。
图2A和图2B示出在图像捕获和处理系统100执行自动聚焦操作或其它“3A”操作时可以捕获和/或处理的图像的示例。特别地，图2A和图2B示出利用固定感兴趣区域(ROI)的自动聚焦操作的示例。如图2A所示，系统100的图像捕获设备105A可以捕获图像帧202。在一些情况下，图像处理设备105B可以检测到用户已经选择了在图像帧202内的位置208(例如，当图像帧202被显示在预览流内时)。例如，图像处理设备105B可以确定用户已经提供了包括对与位置208相对应的像素或像素组的选择的输入(例如，使用手指、手势、手写笔和/或其它适当的输入机构)。在一些情况下，图像处理设备105B或其它组件或系统可以执行对象检测，以检测在位置208处的对象(例如，图2A中描绘的环)。图像处理设备105B然后可以确定包括位置208的ROI 204。图像处理器150可以对在ROI 204内的图像数据执行自动聚焦操作、另一“3A”操作(例如，自动曝光或自动白平衡)或其它操作(例如，自动缩放等)。自动聚焦操作的结果是在图2A中所示的图像帧部分206中示出的。
图2B示出ROI 204的说明性示例。在图2B的示例中，图像处理设备105B可以通过以图像帧202的区域内的位置208为中心来确定和/或生成ROI 204，图像帧202的区域的大小是通过预先确定的宽度212和预先确定的高度210来定义的。在一些情况下，预先确定的宽度212和预先确定的高度210可以对应于预先选择的数量的像素(诸如10个像素、50个像素、100个像素等)。额外地或替代地，预先确定的宽度212和预先确定的高度210可以对应于在向用户显示图像帧202的显示器内的预先选择的距离(诸如.5厘米、1厘米、2厘米等)。虽然图2B将ROI 204示出为矩形，但是ROI 204可以是任何替代的形状(包括正方形、圆形、椭圆形、以及其它)。
在一些情况下，图像处理设备105B可以通过存取和/或分析指示在图像帧202内的像素的坐标的信息来确定与ROI 204的边界相对应的像素。作为说明性示例，由用户选择的位置208可以对应于具有在图像帧202内的为200的x轴坐标(在水平方向上)和为300的y轴坐标(在垂直方向上)的像素。如果图像处理设备105B被配置为生成其高度为100个像素并且其长度为200个像素的固定ROI，则图像处理设备105B可以将ROI 204定义为具有与坐标(150,400)、(250,400)、(150,200)和(250,200)相对应的角落的方格。图像处理设备105B可以利用任何额外的或替代的技术来生成ROI。
在许多照相机系统中，图像捕获和/或处理操作(例如，自动聚焦、自动曝光、自动白平衡、自动缩放和/或其它操作)可以利用来自深度感测系统的信息。在一个说明性示例中，照相机系统可以利用来自包括单点光源(例如，激光器)的深度感测系统的信息来辅助在低光条件(例如，具有为20或更小的勒克斯值的光照条件)下的自动聚焦操作。例如，在低光条件下，被配置为执行PDAF的照相机系统可能由于缺乏由图像传感器获得的图像信息而无法执行自动聚焦。深度感测系统可以提供用于在执行自动聚焦操作时使用的深度信息。使用单点光源的深度感测系统的示例可以包括基于飞行时间(TOF)的深度感测系统。
图3是示出TOF系统300的示例的示意图。TOF系统300可以用于生成场景或场景的一部分的(例如，在场景中的反射发射到场景中的光的对象的)深度图(未示出)，或者可以用于进行测距的其它应用。TOF系统300可以包括发射机302和接收机308。发射机302可以称为“发射机”、“投影仪”、“发射器”等，以及不应限于特定的发送组件。类似地，接收机308可以称为“检测器”、“传感器”、“感测元件”、“光电检测器”等，以及不应限于特定的接收组件。在一个说明性示例中，TOF系统300可以用于生成在场景中的对象306的深度图。如图3所示，物体306示出为反射由TOF系统300的发射机302发射的光，所述光然后由TOF系统300的接收机308接收。由发射机302发射的光示出为发送的光304。由物体306反射的光示出为反射312。
发射机302可以被配置为将信号(诸如光或光场)发送、发射或投影到场景上。在一些情况下，发射机302可以在对象306的方向上发送光(例如，发送的光304)。虽然发送的光304仅示出为指向对象306，但是由发射机302进行的发射或发送的场可以扩展超出对象306(例如，朝向包括对象306的整个场景)。例如，常规TOF系统发射机可以包括用于发射的固定焦距透镜，所述固定焦距透镜定义远离发射机行进的发射场。
发送的光304包括处于已知时间间隔(诸如周期性地)的光脉冲314。接收机308包括被配置为感测发送的光304的反射312的传感器310。反射312包括反射的光脉冲316。TOF系统300可以通过将发送的光脉冲的时序318与反射的光脉冲的时序320进行比较来确定针对光的往返时间322。对象306距TOF系统的距离可以被计算为往返时间的一半乘以发射的速度(例如，针对光发射的光速)。
传感器310可以包括光电二极管的阵列，以测量或感测反射。替代地，传感器310可以包括互补金属氧化物半导体(CMOS)传感器或包括一数量个像素(或光电二极管)或用于感测的区域的其它合适的光敏传感器。在一些情况下，当脉冲的幅度大于门限时，TOF系统300可以识别如由传感器310感测的反射的光脉冲316。例如，TOF系统300可以在没有信号的情况下测量环境光和其它干扰的幅度。TOF系统300然后可以确定进一步的测量结果是否与先前的测量结果相比大测量门限。TOF系统的有效范围的上限可以是在感测到反射之前噪声或信号的降级导致信噪比(SNR)太大对于传感器而言无法准确地感测反射的光脉冲316的距离。为了减少干扰，接收机308可以在传感器310之前包括带通滤波器，以过滤处于与发送的光304相比不同的波长的入射光中的一些入射光。
然而，单点光源可以具有在图像内的小视场(FOV)覆盖。在一个说明性示例中，单点光源可以具有25°的对角线FOV(从左上角到右下角)。单点光源是嵌入到设备中的硬件组件(例如，激光器)。单点光源的FOV是基于光源在其所嵌入的设备上或设备中的位置和取向的。图4A是示出深度感测系统的单点光源的FOV 402的图像400。如所示出的，FOV 402是相对于整个图像400的大小而言较小的。ROI 404也是在图4A中示出的。如上文关于图2A所描述的，ROI 404可以是基于用户提供相对于图像400中所描绘的人的面部的触摸输入、基于正用于检测人的面部的面部检测和/或使用其它信息来确定的。如图4A所示，深度感测系统的单点光源的FOV 402覆盖图像的中心，使得难以对偏离中心的对象执行图像捕获或处理操作(例如，自动聚焦、自动曝光、自动白平衡等)。例如，FOV 402不覆盖ROI 404的大部分。因此，单点光源不提供与在图像400中描绘的面部相对应的深度信息。结果，图像捕获或处理操作(例如，自动聚焦、自动曝光等)可能无法针对在ROI 404内的图像的部分来适当地执行。例如，在低光条件下(例如，20或更小的勒克斯值)，由图像传感器(例如，通过图像传感器的图像像素和PDAF像素)捕获的信息可能缺乏针对要在图像400的ROI 404上正确地执行的自动聚焦的纹理，以及来自单点光源的深度信息可能不提供针对ROI 404的深度信息，在这种情况下，深度信息不能用于弥补图像信息的缺乏。
基于单个光源的深度感测系统的另一问题是其为图像处理操作(例如，自动聚焦等)提供较少的选项。例如，因为单个光源仅提供每图像的单个深度值(例如，针对图4A所示的FOV 402的单个深度值)，所以图像处理操作不能生成针对多深度场景的输出图像，该多深度场景具有针对在图像中描绘的不同深度的不同特性(例如，针对在第一深度处的对象的第一聚焦水平、针对在第二深度处的第二对象的第二聚焦水平、以及针对背景的第三聚焦水平)。
在一些情况下，深度感测系统可以利用多点光源来确定在场景内的深度。基于多点的深度感测系统的示例包括具有多个光源的TOF系统和结构化光系统。在一个说明性示例中，深度感测系统的多点光源可以包括发射器(或发射机)和接收机，所述发射器(或发射机)已经被配置为发送940纳米(nm)红外(IR)(或近IR)光，所述接收机包括单光电雪崩二极管(SPADS)的阵列。示例多点光源可以包括多达400厘米(cm)的范围、61°的对角线FOV(例如，通过穿过其发射光的透镜的设计来控制的)、4x4区段(例如，以60帧每秒(fps)最大测距频率)或8x8区段(例如，以15fps最大测距频率)的分辨率(例如，表示为区段的数量)、以及在宏观上15毫米(mm)以及在其它距离处5％的测距精度。
图5是结构化光系统500的描绘。结构化光系统500可以用于生成场景(其中对象506A和506B在场景中的不同深度处)的深度图(未画出)，或者可以用于针对对于对象506A和506B或场景的其它部分的测距的其它应用。结构化光系统500可以包括发射机502和接收机508。
发射机502可以被配置为将空间图案504投影到场景(包括对象506A和506B)上。发射机502可以包括一个或多个光源524(诸如激光光源)、透镜526和光调制器528。在一些实施例中，光调制器528包括一个或多个衍射光学元件(DOE)以将来自一个或多个光源524(其可以由透镜526引导到光调制器528)的发射衍射成额外的发射。光调制器528还可以调整发射的强度。额外地或替代地，光源524可以被配置为调整发射的强度。
在发射机502的一些其它实现方式中，DOE可以直接地耦合到光源(无透镜526)，并且被配置为将来自光源的发射的光漫反射到空间图案504的至少一部分中。空间图案504可以是发射机投影到场景上的发射的光的固定图案。例如，可以制造DOE，使得在空间图案504中的黑点对应于在DOE中的防止来自光源524的光被发射机502发射的位置。以这种方式，空间图案504可以是在分析由接收机508接收的任何反射时已知的。发射机502可以通过发射机502的孔径522以空间图案发送光并且发送到场景(包括对象506A和506B)上。
接收机508可以包括孔径520，对发射的光的反射可以穿过该孔径520，由透镜530引导以及到达传感器510。传感器510可以被配置为从场景检测(或“感测”)对空间图案化的光的一个或多个反射。如所示出的，发射机502可以定位在与接收机508相同的参考平面上，以及发射机502和接收机508可以分开称为“基线”512的距离。
传感器510可以包括光电二极管(诸如雪崩光电二极管)阵列以测量或感测反射。所述阵列可以耦合到互补金属氧化物半导体(CMOS)传感器，CMOS传感器包括与阵列中的一数量个光电二极管相对应的一数量个像素或区域。通过阵列生成的多个电脉冲可以触发CMOS传感器的相对应的像素或区域，以提供通过阵列感测的反射的测量结果。替代地，传感器510可以是光敏CMOS传感器，以感测或测量包括反射的码字图案的反射。CMOS传感器可以在逻辑上划分成与空间图案504的比特的大小或码字(一块比特)的大小相对应的像素群组。
反射可以包括来自在不同的深度处的不同对象或场景的部分(诸如对象506A和506B)的空间图案化的光的多次反射。基于基线512、空间图案504中的感测的光的位移和失真以及反射的强度，结构化光系统500可以用于确定来自结构化光系统500的对象(诸如对象506A和506B)的一个或多个深度和位置。利用基于基线和距离的三角测量，结构化光系统500可以用于确定在对象506A与506B之间的有差异的距离。例如，在中心514与(从对象506B反射的光到达传感器510的)位置516之间的第一距离小于在中心514与(从对象506A反射的光到达传感器510的)位置518之间的第二距离。从传感器510的中心到位置516和位置518的距离可以分别指示对象506A和506B的深度。第一距离小于第二距离可以指示对象506B比对象506A更远离发射机502。除了确定距传感器510的中心的距离之外，计算还可以包括确定在到达传感器510的光中的空间图案504的位移或失真，以确定深度或距离。
因此，与单点光源相比，多点光源提供增加的FOV和更大量的深度信息。例如，图4B是示出4x4网格416(包括16个区段，还称为元素或单元)的图像410。包括多点光源的深度感测系统可以确定针对在网格416内的每个元素或区段的深度值。例如，网格416可以对应于包括针对在网格内的每个元素或区段的深度值的深度图。与图4A中描绘的单点照明系统的FOV 402相比，网格416的FOV大得多。进一步地，与针对单点光源的每图像的一个深度值相比，网格416包括每图像的16个深度值(针对在网格416内的每个元素或区段有一个深度值)。
在本文中描述用于使用来自包括多点光源(例如，一个或多个多点激光器)的深度感测系统的信息来处理图像数据(例如，使用自动聚焦、自动曝光、自动白平衡、自动缩放和/或其它操作)的系统、装置、过程(还称为方法)和计算机可读介质(在本文中统称为“系统和技术”)。
图6A是示出应用使用多点深度信息602和感兴趣区域信息604的(多个)图像处理算法609的过程600的示例的流程图。(多个)图像处理算法609可以包括一个或多个自动聚焦算法、一个或多个自动曝光算法、一个或多个自动白平衡算法、一个或多个自动缩放算法和/或其它算法或操作。图7A是示出多点光源的网格706(对应于多点光源的FOV)的图像700。使用来自具有多点光源的深度感测系统的深度信息，过程600可以获得偏离中心的对象(从图像的中心移开的对象)的距离或深度。例如，如图7A所示，ROI 704对应于在图像700中描绘的人的面部。网格706的两个元素(还称为区段或单元)覆盖ROI 704的大部分，以及因此可以提供针对ROI 704的深度值。然而，由于人的面部的小尺寸，距多点光源的距离或深度可能不稳定。例如，在包围面部的网格706的元素(或区段或单元)内的其它对象(例如，在人后面的建筑物)的深度可能引入噪声，以及因此网格元素的深度值可能无法准确地反映人距多点光源的真实深度或距离。
此外，使用多点光源，过程600和相关联的系统可以获得针对每个网格元素的深度或距离。通常，这样的过程600和相关联的系统使用具有在多点网格(例如，图4B中所示的网格416)中的大多数的值的距离或深度作为输出。然而，如果大多数距离或深度对应于在场景中离得更远的对象，则结果可能是不足的，因为用户可能期望当在场景中存在在不同深度处的对象时，系统将聚焦在最靠近照相机的对象上。更进一步地，虽然过程600和相关联的系统可以获得针对每个网格元素的距离或深度，但是可以仅选择一个距离作为输出，用于由(多个)图像处理算法609来使用。
如本文中描述的，在一些示例中，系统和技术可以执行一个或多个操作以改善对来自具有多点光源的用于图像捕获和处理操作的深度感测系统的信息的使用。图6B是示出可以处理多点深度信息612和感兴趣区域信息614以及输出代表性深度信息用于由(多个)图像处理算法619来使用的多点深度感测控制器615的示例的示意图。多点深度感测控制器615包括感兴趣区域(ROI)控制器616、数据分析器616和多主体优化器618。
在一些方面中，ROI控制器616可以扩展ROI(例如，图7A的ROI 704)，以便额外的深度或距离信息可以是从具有多点光源的深度感测系统来获得的。例如，如图7B所示，ROI控制器616可以确定针对图像710的扩展ROI 714。基于扩展ROI 714，可以确定来自网格的额外的元素的深度信息(例如，针对网格706的中间四个元素的四个深度值，包括每网格元素的一个深度值)以及将所述深度信息输出到数据分析器617。利用来自额外的网格元素的深度信息，可以向(多个)图像处理算法619提供更稳定的深度结果(例如，与图6A的示例相比，其中与ROI 704相关联的有限可用深度值可能不足，如上文描述的)。下文描述用于确定扩展ROI的各个技术。在一些示例中，ROI控制器616仅扩展特定ROI(本文中称为“特殊”ROI)，诸如使用对象检测确定的ROI(例如，使用面部检测确定的面部ROI、使用车辆检测确定的车辆ROI)、基于输入的ROI(例如，基于触摸输入、手势输入、语音输入和/或从用户接收的其它输入)和/或针对图像的特定对象或部分确定的其它ROI。在这样的示例中，ROI控制器616可以不扩展被设定为在图像内的默认位置(例如，中心位置)的通用ROI。例如，当没有检测到对象时、当没有接收到用户输入时等，可以确定针对图像的通用ROI。
在一些情况下，ROI控制器616可以基于ROI在图像中的大小和/或位置来确定扩展ROI。例如，针对第一对象的ROI可以被扩展为包含与针对比第一对象小的第二对象的ROI相比更多的网格元素。图8A是示出扩展ROI 802的图像810，扩展ROI 802包括原始ROI的大小的两倍的大小(原始ROI是在图8A中利用实线示出的，而扩展ROI 812的扩展部分是利用虚线示出的)。原始ROI在本文中还称为目标ROI。图8B是示出扩展ROI 812的图像810，扩展ROI812包括原始ROI的大小的四倍的大小(原始ROI是在图8B中利用实线示出的，而扩展ROI812的扩展部分是利用虚线示出的)。由于原始ROI分别对应于在图像800和图像810中的人的面部，ROI 802(在图8A中)和ROI 812(在图8B中)是在向下方向上扩展的。例如，通过在向下方向上扩展原始ROI，人的身体的深度值(其将具有在与人的脸相对应的深度值的门限差(诸如为10的门限差)内的深度值)可以用于提供更稳定的深度确定，用于由图像捕获或处理操作(例如，自动聚焦、自动曝光等)来使用。在一些情况下，系统可以确定人正在躺下、坐下和/或以不同于站立的方式定位，在这种情况下，ROI可以是在不同于向下方向的方向上扩展的。虽然图8A和图8B的示例示出ROI是在向下方向上扩展的，但是ROI控制器616可以在任何方向(例如，左、右、向上和/或向下方向)上扩展ROI，诸如取决于对象的类型。
在一些情况下，ROI控制器616可以使用一个或多个尺寸门限(或范围)来确定要扩展ROI的量。在一个说明性示例中，如果ROI的大小小于第一尺寸门限，则ROI控制器616可以在一个或多个方向上(例如，向左、向右、向上和/或向下方向，诸如当ROI对应于如图8A和图8B所示的人的面部时在向下方向上)通过为一的因子来扩展ROI(以包括原始ROI的大小的一倍)。另外或替代地，如果ROI的大小小于第二尺寸门限并且大于第一尺寸门限，则ROI控制器616可以在一个或多个方向上通过为二的因子来扩展ROI(以包括原始ROI的大小的两倍)。另外或替代地，如果ROI的大小小于第三尺寸门限并且大于第一尺寸门限和第二尺寸门限，则ROI控制器616可以在一个或多个方向上通过为三的因子来扩展ROI(以包括大小的三倍)。可以使用更少或更多的尺寸门限，诸如取决于在网格中的网格元素的数量。尺寸门限可以包括一数量个像素(例如，100个像素、200个像素等)、绝对大小(例如，2.5厘米、5厘米等)和/或其它度量。
另外或替代地，ROI控制器616可以基于ROI在图像中相对于图像中的参考点的位置来确定扩展ROI。参考点可以包括图像的中心点、图像的左上点和/或图像的其它点或部分。例如，参考图8B作为说明性示例，原始ROI(利用实线描绘的扩展ROI 812的部分)位于图像810的中心点813的上方和左侧。基于原始ROI位于图像810的中心点813的上方和左侧，可以假设在图像810中描绘了人的身体的更多部分。因此，ROI控制器616可以(基于原始ROI位于图像810的中心点813的上方和左侧)通过将原始ROI通过为四的因子来进行扩展，生成扩展ROI 812，以便ROI是其原始大小的四倍。
在一些情况下，ROI控制器616可以基于ROI的大小和位置来扩展原始ROI。在一个示例中，针对小的(例如，小于一个或多个尺寸门限)偏离中心的面部的ROI将具有大的扩展。例如，再次参考图8B作为说明性示例，基于原始ROI(利用实线描绘的)是较小的(例如，小于一个或多个尺寸门限)并且位于图像810的中心点813的上方和左侧，可以假设在图像810中描绘了人的身体的大的部分。因此，ROI控制器616可以(基于原始ROI是较小的并且位于图像810的中心点813的上方和左侧)通过将原始ROI通过为四的因子来进行扩展，生成扩展ROI 812。
在一些方面中，ROI控制器616可以基于在目标对象的ROI附近的多点网格的坐标相关性来扩展ROI。图9是示出基于在目标ROI附近的多点网格906的坐标相关性来扩展目标ROI 902(还称为原始ROI)的示例的示意图。例如，从目标ROI 902开始，ROI控制器616可以搜索在网格906中的邻近元素(或单元或区段)(对应于在与网格906相关联的深度图中的不同深度值)，以确定在指派给与目标ROI 902相对应的多点网格的元素的深度(图9中的为50的值)和与目标ROI 902相对应的元素邻近的元素的深度之间的差。ROI控制器616然后可以确定差是否小于门限差。如果深度值的差在门限差内(以及在一些情况下，深度值的置信度高，诸如大于置信度门限)，则ROI控制器616将确定邻近元素是有效扩展，因为深度值是类似的。在这样的示例中，ROI控制器616将扩展ROI以包括邻近元素。如上所述，在一些情况下，ROI控制器616可以基于特定深度值的置信度来确定是否扩展ROI，以确保特定网格元素的深度置信度是可信的或以其它方式有效的。例如，除了确定在原始ROI深度值或目标ROI深度值与邻近网格元素的深度值之间的差在门限差内之外，ROI控制器616还可以将(邻近网格元素的)深度值的置信度与置信度门限进行比较。在这样的示例中，如果在深度值中的差在门限差内，并且邻近元素深度值的置信度大于置信度门限，则ROI控制器616将扩展ROI以包括邻近元素。在一个说明性示例中，置信度门限可以被设置为0.4、0.5、0.6的值或其它合适的值。
方向和搜索范围可以是可调谐参数。例如，方向和搜索范围可以是取决于ROI的类型(例如，面部ROI、对象ROI、触摸ROI等)、基于用户偏好和/或基于其它因素来调谐的。例如，面部ROI、触摸ROI、对象ROI(例如，与车辆相对应的ROI)和其它种类的ROI可以具有不同的可调谐参数。在图9的示例中，搜索方向是在向下方向上(例如，基于ROI是面部ROI，在这种情况下，用户的身体可能在向下方向上)，以及门限差被设置到为10的门限。在一个示例中，ROI控制器616首先搜索紧接在包括目标ROI 902的元素下方的邻近元素。因为邻近元素具有为55的深度值，并且包括目标ROI 902的元素具有为50的深度值，所以深度值是在为10的门限差内。因此，ROI控制器616可以确定将目标ROI 902扩展为与邻近元素相关联(在向下方向上通过为一的因子来增加目标ROI 902)。ROI控制器616可以接着在邻近元素的左侧、右侧和下方进行搜索，以确定那些元素的深度值是否在包括目标ROI 902的元素的深度值的门限差内(或在一些情况下在邻近元素的门限差内)。在邻近元素左侧、右侧和下方的元素的深度值在包括目标ROI 902的元素的门限差内，在这种情况下，ROI控制器616可以将目标ROI 902扩展为与邻近元素相关联(在左右方向上通过为一的因子来增加目标ROI902)。
ROI控制器616可以接着在具有在包括目标ROI 902的元素的深度值的门限差内(或在一些情况下在相应的元素的门限差内)的深度值的元素中的每个元素的左侧、右侧及下方进行搜索。在图9的示例中，ROI控制器616最终生成扩展ROI 904，以便扩展ROI 904是与在图9中所示的虚线内的网格元素的深度值相关联的。通过圆圈包围的深度值是不在包括目标ROI 902的元素的深度值的门限差内(或在一些情况下在相应的元素的门限差内)的那些深度值。
数据分析器617可以分析与针对图像确定的(例如，由ROI控制器616输出的)扩展ROI相关联的深度值、或与针对图像确定的通用ROI(例如，中心ROI)相关联的深度值，以便确定要输出到多主体优化器618的一个或多个深度值。图10是示出可以由数据分析器617执行的过程1000的示例的示意图。过程1000将是关于图11中所示的图像(利用多点网格1106来覆盖的)来描述的。多点网格1106的每个单元可以是与由多点深度感测系统确定的相应的深度值相关联的。
在过程1000的框1002处，数据分析器617可以确定针对图像确定的ROI是通用ROI(例如，中心ROI)还是特殊ROI。特殊ROI可以包括使用对象检测确定的ROI(例如，使用面部检测确定的面部ROI、使用车辆检测确定的车辆ROI)、基于输入的ROI(例如，基于触摸输入、手势输入、语音输入和/或从用户接收的其它输入)和/或针对图像的特定对象或部分确定的其它ROI。如上所述，在一些情况下，通用ROI可以是当没有检测到对象时、当没有接收到用户输入时等针对图像来确定的。
在框1004处，数据分析器617确定ROI是中心ROI。基于确定ROI是中心ROI，数据分析器617可以在框1006处对网格的距离(或深度)进行排序。例如，数据分析器617可以按从最近距离(例如，最小深度)到最远距离(例如，最大深度)的顺序对距离(或深度)进行排序。参考图11作为说明性示例，网格1106的网格元素(或单元或区段)是从最小深度到最大深度来排序的，其中单元的顺序是在数字上从1到16示出的。在一些情况下，框1006是可选的，在这种情况下，数据分析器617在一些实现方式中可以不执行框1006的操作。
在框1008处，数据分析器617可以基于与来自多点深度感测系统的多点网格(例如，图11中所示的网格1106)相关联提供的深度值，来确定在图像中描绘的场景(例如，图像中的ROI)是否是多深度场景。例如，数据分析器617可以确定在来自多点网格中的元素的最小深度值与最大深度值之间的差是否大于或小于多深度门限。例如，多深度门限可以被设置为100cm、150cm、200cm或其它合适的值。数据分析器617可以基于确定在最小深度值与最大深度值之间的差大于多深度门限，来确定场景(例如，ROI)包括多深度信息。如果数据分析器617确定在最小深度值与最大深度值之间的差小于多深度门限，则数据分析器617可以确定场景(例如，ROI)不包括多深度信息。
如果数据分析器617确定场景是多深度场景，则数据分析器617可以选择距多点网格的网格元素最近的距离(或最小深度)中的一个距离。例如，数据分析器617可以使用可调谐的百分位数选择过程来选择最近距离中的一个距离作为目标距离。在一个说明性示例中，可调谐的百分位数选择过程可以包括通过调谐来选择第一最小深度(例如，与图11中具有为1的值的网格元素相关联的深度值)、第二最小深度(例如，与图11中具有为2的值的网格元素相关联的深度值)、第三最小深度(例如，与图11中具有为3的值的网格元素相关联的深度值)等。例如，选择第三最小深度可以为图像中描绘的多深度场景提供最佳处理(例如，自动聚焦、自动曝光)平衡。
如果数据分析器617确定场景不是多深度场景，则数据分析器617可以选择通用的距离。在一个示例中，通用的距离可以包括在多点网格中具有大多数的值的深度。例如，数据分析器617可以确定与来自多点网格的大多数元素相关联的深度值，以及可以选择该深度值作为针对中心ROI的代表性深度信息。
在框1014处，数据分析器617确定ROI是特殊ROI。如上所述，ROI控制器616可以生成针对特殊ROI的扩展ROI。在一些情况下，如本文中描述的，ROI控制器616可以生成针对为图像中的多个对象确定的多个特殊ROI的扩展ROI。基于确定ROI是特殊ROI，数据分析器617在框1016处可以基于来自ROI控制器616的针对在图像中检测到或以其它方式识别(例如，基于用户输入)的每个对象确定的扩展ROI，来确定针对每个ROI的各自的距离。例如，数据分析器617可以基于与扩展ROI相关联的多个元素(例如，网格706中与图7B的ROI 714重叠的四个网格元素)的深度值，来确定针对ROI的代表性深度值。在一个说明性示例中，代表性深度值是通过扩展ROI包围的多点网格的元素的深度值的平均值(例如，与网格706中的与图7B的ROI 714重叠的四个网格元素相关联的深度值的平均值)。
数据分析器617可以将一个或多个深度值(例如，在图10的框1010、框1012或框1016处确定的深度值或距离)输出到多主体优化器618。例如，因为多点深度感测控制器615可以存取来自整个多点网格的信息，所以控制器615可以利用该信息来处理包括多个主体(还称为对象)的场景。多主体优化器618可以导致(多个)图像处理算法(例如，自动聚焦、自动曝光等)在图像中捕获多个主体(或对象)时生成具有更好主观视觉质量的图像。
如果来自数据分析器617的输出包括针对单个主体或对象的深度信息(包括距离或深度值)，则多主体优化器618可以输出距离或深度值，用于由(多个)图像处理算法619来使用。
如果来自数据分析器617的输出包括针对多个主体/对象的深度信息(包括距离或深度值)，则多主体优化器618可以分析由数据分析器617输出的针对主体中的每个主体的距离或深度值。图12是包括相对于用于捕获图像1200的照相机(或相对于基于多点光源的深度感测系统)处于不同深度的多个主体(包括两个人)的图像1200。如图12所示，覆盖在图像1200上的(由具有多点光源的深度感测系统提供的)多点网格1204的不同元素是与两个不同主体相关联的。以粗实线轮廓勾勒的网格元素包括与最靠近或更靠近照相机或深度感测系统的对象(称为近对象)相关联的深度值，以及以虚线轮廓勾勒的网格元素包括与更远离照相机或深度感测系统的对象(称为远对象)相关联的深度值。第一扩展ROI 1202是针对远对象来确定的，以及第二扩展ROI 1203是针对近对象来确定的。
使用自动聚焦作为示例图像捕获或处理操作，自动聚焦通常聚焦于具有较大ROI的近对象。然而，这将使得远主体(绿色主体)模糊。使用来自具有多点光源的深度感测系统的信息(例如，被包括在多点网格1206中的深度或距离值)，多主体优化器618可以考虑两个主体用于确定在图像中用于聚焦或其它图像捕获或处理操作(例如，自动曝光、自动白平衡等)的位置。在一个示例中，多主体优化器618可以基于由数据分析器617输出的针对远主体的距离或深度信息和由数据分析器617输出的针对近主体的距离或深度信息，来确定组合的距离或深度信息。在一个说明性示例中，如图12所示，多主体优化器618可以通过确定由数据分析器617输出的针对远主体的深度或距离值和由数据分析器617输出的针对近主体的深度或距离值的加权平均值，来确定组合的距离或深度信息。使用这样的组合的距离或深度值可以允许(多个)图像处理算法619生成具有其中两个对象以视觉上令人愉悦的特性出现的平衡结果的输出图像。
多主体优化器618可以输出表示在用于捕获图像(或深度感测系统)的照相机与在图像中描绘的一个或多个主体或对象之间的距离的代表性深度信息。(多个)图像处理算法619可以使用从多主体优化器618输出的代表性深度信息来对在图像710的在ROI 704或扩展ROI 714内的部分执行一个或多个图像捕获或处理操作(例如，自动聚焦、自动曝光、自动白平衡、自动缩放和/或其它操作)。
图13是说明用于使用本文中描述的技术中的一个或多个技术处理图像数据的过程1300的示例的流程图。在框1302处，过程1300包括确定与在使用至少一个照相机获得的图像中描绘的第一对象相对应的第一感兴趣区域。第一感兴趣区域是与跟多点深度感测系统相关联的多点网格的至少一个元素(或单元或区段)相关联的。例如，参考图7B作为说明性示例，原始感兴趣区域(ROI)或目标感兴趣区域(ROI)(扩展ROI 714的最顶部)是与网格706的两个元素(网格706的第二行和第二列中的元素、以及网格706的第二行和第三列中的元素)相关联的。
在框1304处，过程1300包括确定针对第一对象的第一扩展感兴趣区域。第一扩展感兴趣区域是与包括多点网格的至少一个元素和一个或多个额外的元素的多个元素相关联的。例如，再次参考图7B作为说明性示例，扩展ROI 714是与网格706的四个元素(网格706的第二行和第二列中的元素、网格706的第二行和第三列中的元素、网格706的第三行和第二列中的元素、以及网格706的第三行和第三列中的元素)相关联的。
在一些示例中，为了确定针对第一对象的第一扩展感兴趣区域，过程1300可以包括确定第一感兴趣区域的大小和第一感兴趣区域相对于图像中的参考点的位置中的至少一者。过程1300可以包括基于第一感兴趣区域的大小和位置中的至少一者，来确定针对第一对象的第一扩展感兴趣区域。基于大小和/或位置来确定扩展ROI的说明性示例是在上文中关于图8A和图8B来描述的。在一些情况下，为了确定针对第一对象的第一扩展感兴趣区域，过程1300可以包括基于第一感兴趣区域的大小来确定针对第一对象的第一扩展感兴趣区域。在一些情况下，为了确定针对第一对象的第一扩展感兴趣区域，过程1300可以包括基于第一感兴趣区域的位置来确定针对第一对象的第一扩展感兴趣区域。在一些情况下，为了确定针对第一对象的第一扩展感兴趣区域，过程1300可以包括基于第一感兴趣区域的大小和位置来确定针对第一对象的第一扩展感兴趣区域。
在一些方面中，过程1300可以基于在目标ROI附近的多点网格的坐标相关性来确定第一扩展感兴趣区域。基于在目标ROI附近的多点网格的坐标相关性来确定扩展ROI的说明性示例是在上文中关于图9来描述的。例如，为了确定针对第一对象的第一扩展感兴趣区域，过程1300可以包括确定与多点网格的一个或多个额外的元素中的第一元素相关联的第一深度。第一元素邻接与第一感兴趣区域相关联的至少一个元素。过程1300可以包括确定在第一深度和与第一感兴趣区域相关联的至少一个元素的深度之间的差小于门限差。过程1300还可以包括基于确定在第一深度与跟第一感兴趣区域相关联的至少一个元素的深度之间的差小于门限差，来将第一元素与第一扩展感兴趣区域进行关联。在一些方面中，过程1300可以进一步基于第一深度的置信度大于置信度门限来将第一元素与第一扩展感兴趣区域进行关联。
在一些示例中，过程1300可以包括确定与多点网格的一个或多个额外的元素中的第二元素相关联的第二深度。第二元素与一个或多个额外的元素中的第一元素邻近。过程1300可以包括确定在第二深度与第一深度之间的差小于门限差。过程1300还可以包括基于确定在第二深度与第一深度之间的差小于门限差，来将第二元素与第一扩展感兴趣区域进行关联。
在一些方面中，过程1300可以包括确定与多点网格的一个或多个额外的元素中的第二元素相关联的第二深度。第二元素与一个或多个额外的元素中的第一元素邻接。过程1300可以包括确定在第二深度与第一深度之间的差大于门限差。过程1300还可以包括基于确定在第二深度与第一深度之间的差大于门限差，来从第一扩展感兴趣区域中排除第二元素。
在框1306处，过程1300包括基于与第一扩展感兴趣区域相关联的多个元素，来确定表示在至少一个照相机与在图像中描绘的第一对象之间的第一距离的代表性深度信息。在一些情况下，过程1300可以包括基于表示第一距离的代表性深度信息来处理图像。例如，处理图像可以包括对图像的至少第一感兴趣区域执行自动曝光、自动聚焦、自动白平衡、自动缩放和/或(多个)其它操作。在一些方面中，多点深度感测系统包括发射机和接收机，发射机包括多个光源，接收机被配置为接收由多个光源发射的光的反射。在一些情况下，代表性深度信息是基于接收到的光的反射来确定的。
在一些情况下，为了确定表示第一距离的代表性深度信息，过程1300可以包括基于与第一扩展感兴趣区域相关联的多个元素的深度值来确定针对第一扩展感兴趣区域的代表性深度值。在一些方面中，代表性深度值包括与第一扩展感兴趣区域相关联的多个元素的深度值的平均值。
在一些方面中，过程1300可以包括基于第一感兴趣区域是针对图像确定的唯一感兴趣区域，基于表示第一距离的代表性深度信息来处理图像。例如，过程1300可以包括确定第一感兴趣区域是唯一感兴趣区域，以及基于第一感兴趣区域是针对图像确定的唯一感兴趣区域，过程1300可以基于表示第一距离的代表性深度信息来处理图像。
在一些方面中，过程1300可以包括确定与在图像中描绘的第二对象相对应的第二感兴趣区域。第二感兴趣区域是与跟多点深度感测系统相关联的多点网格的至少一个额外的元素相关联的。过程1300可以包括确定针对第二对象的第二扩展感兴趣区域。第二扩展感兴趣区域是与包括多点网格的至少一个额外的元素和第二一个或多个额外的元素的多个元素相关联的。过程1300可以包括基于与第二扩展感兴趣区域相关联的多个元素，来确定表示在至少一个照相机与在图像中描绘的第二对象之间的第二距离的代表性深度信息。在一些情况下，过程1300可以包括基于表示第一距离的代表性深度信息和表示第二距离的代表性深度信息来确定组合深度信息。在一些情况下，为了确定组合深度信息，过程1300可以包括确定表示第一距离的代表性深度信息和表示第二距离的代表性深度信息的加权平均值。
在一些方面中，过程1300可以包括基于组合深度信息来处理图像。在一些情况下，为了基于组合深度信息来处理图像，过程1300可以包括对图像的至少第一感兴趣区域执行自动曝光、自动聚焦、自动白平衡、自动缩放和/或(多个)其它操作。
图14是说明用于使用本文中描述的技术中的一个或多个技术处理图像数据的过程1400的另一示例的流程图。在框1402处，过程1400包括确定与在使用至少一个照相机获得的图像中描绘的至少一个对象相对应的感兴趣区域。感兴趣区域是与跟多点深度感测系统相关联的多点网格的多个元素相关联的。
在框1404处，过程1400包括基于与多个元素相关联的深度信息来确定感兴趣区域是否包括多深度信息。
在框1406处，过程1400包括基于感兴趣区域是否包括多深度信息，来确定表示在至少一个照相机与在图像中描绘的至少一个对象之间的距离的代表性深度信息。在一些方面中，过程1400可以包括基于表示距离的代表性深度信息来处理图像。在一些情况下，为了处理图像，过程1400可以包括对图像的至少感兴趣区域执行自动曝光、自动聚焦、自动白平衡、自动缩放和/或(多个)其它操作。在一些示例中，多点深度感测系统包括发射机和接收机，发射机包括多个光源，接收机被配置为接收由多个光源发射的光的反射。在一些情况下，代表性深度信息是基于接收到的光的反射来确定的。
在一些情况下，过程1400可以包括根据与多个元素相关联的代表性深度信息对多个元素进行排序。例如，过程1400可以从最小深度到最大深度对多个元素进行排序(例如，如关于图11所示和描述的)。
在一些示例中，为了确定感兴趣区域是否包括多深度信息，过程1400可以包括确定在多个元素的最小深度值与多个元素的最大深度值之间的差大于多深度门限(例如，100cm、150cm、200cm或其它合适的值)。过程1400可以包括基于确定在最小深度值与最大深度值之间的差大于多深度门限，来确定感兴趣区域包括多深度信息。在这样的示例中，为了确定代表性深度信息，过程1400可以包括选择第二最小深度值或第三最小深度值作为代表性深度信息(例如，根据上文关于图6和图11描述的可调谐的百分位数选择过程)。
在一些示例中，为了确定感兴趣区域是否包括多深度信息，过程1400可以包括确定在多个元素的最小深度值与多个元素的最大深度值之间的差小于多深度门限。过程1400可以包括基于确定在最小深度值与最大深度值之间的差小于多深度门限，来确定感兴趣区域不包括多深度信息。在这样的示例中，为了确定代表性深度信息，过程1400可以包括确定与来自多点网格的多个元素的大多数元素相关联的深度值。过程1400可以包括选择深度值作为代表性深度信息。
在一些示例中，本文中描述的过程(例如，过程1000、过程1300、过程1400和/或本文中描述的其它过程)可以由计算设备或装置(例如，图6B的多点深度感测控制器、图1的图像捕获和处理系统100、具有图15的计算系统1500的计算设备、或其它设备)来执行。例如，具有图15所示的计算架构的计算设备可以包括图6B的多点深度感测控制器的组件，以及可以实现图10、图13和/或图14的操作。
计算设备可以包括任何合适的设备，诸如移动设备(例如，移动电话)、台式计算设备、平板计算设备、可穿戴设备(例如，VR头盔、AR头盔、AR眼镜、联网手表或智能手表或其它可穿戴设备)、服务器计算机、自主车辆或自主车辆的计算设备、机器人设备、电视和/或具有执行本文中描述的过程(包括过程1000、过程1300、和/或过程1400)的资源能力的任何其它计算设备。在一些情况下，计算设备或装置可以包括各种组件，诸如一个或多个输入设备、一个或多个输出设备、一个或多个处理器、一个或多个微处理器、一台或多个微型计算机、一个或多个照相机、一个或多个传感器、和/或被配置为执行本文中描述的过程的步骤的(多个)其它组件。在一些示例中，计算设备可以包括显示器、被配置为传送和/或接收数据的网络接口、其任何组合、和/或(多个)其它组件。网络接口可以被配置为传送和/或接收基于互联网协议(IP)的数据或其它类型的数据。
计算设备的组件可以是在在电路系统中实现的。例如，组件可以包括电子电路或其它电子硬件，和/或者可以使用电子电路或其它电子硬件来实现，所述电子电路或其它电子硬件可以包括一个或多个可编程电子电路(例如，微处理器、图形处理单元(GPU)、数字信号处理器(DSP)、中央处理单元(CPU)、和/或其它合适的电子电路)，和/或组件可以包括用于执行本文中描述的各种操作的计算机软件、固件或其任何组合，和/或者可以是使用用于执行本文中描述的各种操作的计算机软件、固件或其任何组合来实现的。
过程1000、过程1300和过程1400示出为逻辑流程图，逻辑流程图的操作表示可以在硬件、计算机指令或其组合中实现的一系列操作。在计算机指令的背景下，操作表示被存储在一个或多个计算机可读存储介质上的计算机可执行指令，所述计算机可执行指令在由一个或多个处理器执行时执行所记载的操作。通常，计算机可执行指令包括执行特定功能或实现特定数据类型的例程、程序、对象、组件、数据结构等。描述操作的次序不旨在解释为限制，以及任何数量的所描述的操作可以以任何次序和/或并行地组合，以实现这些过程。
另外，过程1000、过程1300、过程1400和/或本文中描述的其它过程可以在被配置具有可执行指令的一个或多个计算机系统的控制之下执行，以及可以作为在一个或多个处理器上共同地执行的代码(例如，可执行指令、一个或多个计算机程序、或一个或多个应用)来实现，通过硬件来实现，或其组合。如上所述，代码可以被存储在计算机可读或机器可读存储介质上，例如，以包括由一个或多个处理器可执行的多个指令的计算机程序的形式。计算机可读或机器可读存储介质可以是非暂时性的。
图15是示出用于实现本技术的某些方面的系统的示例的示意图。特别地，图15示出计算系统1500的示例，计算系统1500可以是例如组成以下各项的任何计算设备：内部计算系统、远程计算系统、照相机、或其任何组件(在其中系统的组件使用连接1505来彼此相通信)。连接1505可以是使用总线的物理连接，或者是到处理器1510中的直接连接，诸如在芯片组架构中。连接1505还可以是虚拟连接、联网连接或逻辑连接。
在一些实施例中，计算系统1500是分布式系统，在其中本公开内容中描述的功能可以分布在数据中心、多个数据中心、对等网络等内。在一些实施例中，所描述的系统组件中的一个或多个系统组件表示许多这样的组件，每个组件执行针对其描述该组件的功能中的一些功能或全部功能。在一些实施例中，组件可以是物理设备或虚拟设备。
示例系统1500包括至少一个处理单元(CPU或处理器)1510和连接1505，连接1505将包括系统存储器1515(诸如只读存储器(ROM)1520和随机存取存储器(RAM)1525)的各种系统组件耦合到处理器1510。计算系统1500可以包括高速存储器的高速缓存1512，高速缓存1512与处理器1510直接地连接、靠近处理器1510、或被整合为处理器1510的一部分。
处理器1510可以包括任何通用处理器和硬件服务或软件服务，诸如存储在存储设备1530中的服务1532、1534和1536，其被配置为控制处理器1510以及专用处理器，在专用处理器中软件指令被并入到实际的处理器设计中。处理器1510基本上可以是完全独立的计算系统，包含多个核或处理器、总线、存储控制器、高速缓存等。多核处理器可以是对称的或非对称的。
为了实现用户交互，计算系统1500包括输入设备1545，其可以表示任何数量的输入机构，诸如用于语音的麦克风、用于手势或图形输入的触敏屏幕、键盘、鼠标、运动输入、语音等。计算系统1500还可以包括输出设备1535，输出设备1535可以是一数量个输出机构中的一个或多个输出机构。在一些实例中，多模式系统可以使得用户能够提供多种类型的输入/输出，以与计算系统1500进行通信。计算系统1500可以包括通信接口1540，通信接口1540通常可以控制和管理用户输入和系统输出。通信接口可以使用有线和/或无线收发机(包括使用音频插孔/插头、麦克风插孔/插头、通用串行总线(USB)端口/插头、端口/插头、以太网端口/插头、光纤端口/插头、专有有线端口/插头、/>无线信号传送、/>低功耗(BLE)无线信号传送、/>无线信号传送、射频识别(RFID)无线信号传送、近场通信(NFC)无线信号传送、专用短程通信(DSRC)无线信号传送、802.11Wi-Fi无线信号传送、无线局域网(WLAN)信号传送、可见光通信(VLC)、全球微波接入互操作性(WiMAX)、红外(IR)通信无线信号传送、公共交换电话网(PSTN)信号传送、综合业务数字网(ISDN)信号传送、3G/4G/5G/LTE蜂窝数据网络无线信号传送、自组网络信号传送、无线电波信号传送、微波信号传送、红外信号传送、可见光信号传送、紫外光信号传送、沿电磁波谱的无线信号传送、或其某种组合)执行或促进接收和/或发送有线或无线通信。通信接口1540还可以包括一个或多个全球导航卫星系统(GNSS)接收机或收发机，其用于基于从与一个或多个GNSS系统相关联的一个或多个卫星接收到一个或多个信号来确定计算系统1500的位置。GNSS系统包括但不限于基于美国的全球定位系统(GPS)、基于俄罗斯的全球导航卫星系统(GLONASS)、基于中国的北斗导航卫星系统(BDS)和基于欧洲的伽利略GNSS。对于任何特定硬件布置的操作都没有限制，因此这里的基本特征可以很容易地被替换为如它们被开发的改进的硬件或固件布置。
存储设备1530可以是非易失性和/或非暂时性和/或计算机可读存储器设备，以及可以是硬盘、或可以存储由计算机可存取的数据的其它类型的计算机可读介质，诸如磁带盒、闪存卡、固态存储设备、数字多功能光盘、盒式磁带、软盘、软磁盘、硬盘、磁带、磁条/条带、任何其它磁存储介质、闪存、忆阻器存储器、任何其它固态存储器、压缩光盘只读存储器(CD-ROM)光盘、可重写压缩光盘(CD)光盘、数字视频光盘(DVD)光盘、蓝光光盘(BDD)光盘、全息光盘、另一光学介质、安全数字(SD)卡、微安全数字(microSD)卡、卡、智能卡芯片、EMV芯片、订户身份模块(SIM)卡、迷你/微/纳米/微微SIM卡、另一集成电路(IC)芯片/卡、随机存取存储器(RAM)、静态RAM(SRAM)、动态RAM(DRAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、闪存EPROM(FLASHEPROM)、高速缓冲存储器(L1/L2/L3/L4/L5/L#)、电阻随机存取存储器(RRAM/ReRAM)、相变存储器(PCM)、自旋转移矩RAM(STT-RAM)、另一存储器芯片或盒、和/或其组合。
存储设备1530可以包括软件服务、服务器、服务等，当定义这样的软件的代码由处理器1510执行时，其使得系统执行功能。在一些实施例中，执行特定功能的硬件服务可以包括存储在计算机可读介质中的软件组件，其与必要的硬件组件(诸如处理器1510、连接1505、输出设备1535等)相连接以执行所述功能。
如本文中使用的，术语“计算机可读介质”包括但不限于便携式或非便携式存储设备、光学存储设备以及能够存储、包含或携带(多个)指令和/或数据的各种其它介质。计算机可读介质可以包括在其中可以存储数据的非暂时性介质，并且不包括无线地的或通过有线连接传播的载波和/或暂时性电子信号。非暂时性介质的示例可以包括但不限于：磁盘或磁带、光存储介质(诸如压缩光盘(CD)或数字多功能光盘(DVD))、闪存、存储器或存储设备。计算机可读介质可能已经在其上存储了代码和/或机器可执行指令，所述指令可以表示过程、函数、子程序、程序、例程、子例程、模块、软件包、类、或指令、数据结构或程序语句的任何组合。代码段可以是通过传递和/或接收信息、数据、自变量、参数或存储器内容来耦合到另一代码段或硬件电路的。信息、自变量、参数、数据等可以是使用包括存储器共享、消息传递、令牌传递、网络传输等的任何合适的方式来传递、转发或发送的。
在一些实施例中，计算机可读存储设备、介质和存储器可以包括电缆或无线信号，所述电缆或无线信号包含比特流等。但是，当提及时，非暂时性计算机可读存储介质明确地排除诸如能量、载波信号、电磁波和信号本身的介质。
具体细节是在以上的描述中提供的，以提供对本文中提供的实施例和示例的透彻理解。然而，本领域普通技术人员将理解的是，在没有这些具体细节的情况下可以实践实施例。为了解释清楚，在一些情况下，目前的技术可以被呈现为包括单独的功能块，所述单独的功能块包括如下的功能块，所述功能块包括设备、设备组件、以软件体现的方法中的步骤或例程、或者硬件和软件的组合。除了在附图中所示的和/或本文中描述的那些组件之外，还可以使用额外的组件。例如，电路、系统、网络、过程和其它组件可以以框图形式示出为组件，以便不在不必要的细节上使实施例含糊。在其它情况下，公知的电路、过程、算法、结构和技术可以示出为不具有不必要的细节，以便避免使实施例含糊。
个别的实施例可以在上文中描述为过程或方法，所述过程或方法描绘为流程图、流程示意图、数据流程图、结构图或框图。虽然流程图可以将操作描述为顺序过程，但是操作中的许多操作可以并行或并发地执行。此外，可以对操作的顺序进行重新布置。过程在其操作完成时终止，但是可以具有图中未包括的额外的步骤。过程可以对应于方法、函数、规程、子例程、子程序等。当过程对应于函数时，其终止可以对应于该函数返回到调用函数或主函数。
根据上文描述的示例的过程和方法可以是使用被存储在计算机可读介质中或以其它方式从计算机可读介质可获得的计算机可执行指令来实现的。这样的指令可以包括例如使得或以其它方式配置通用计算机、专用计算机或处理设备以执行某个功能或功能组的指令和数据。所使用的计算机资源的部分可以是通过网络可存取的。计算机可执行指令可以是例如二进制文件、诸如汇编语言的中间格式指令、固件、源代码等。可以用于存储指令、使用的信息和/或在根据所描述的示例的方法期间创建的信息的计算机可读介质的示例包括磁盘或光盘、闪存、提供有非易失性存储器的USB设备、联网存储设备等。
实现根据这些公开内容的过程和方法的设备可以包括硬件、软件、固件、中间件、微代码、硬件描述语言或其任何组合，以及可以采用各种形状因子中的任何一者。当以软件、固件、中间件、或微代码来实现时，用于执行必要任务的程序代码或代码段(例如，计算机程序产品)可以被存储在计算机可读或机器可读介质中。(多个)处理器可以执行必要的任务。形状因子的典型示例包括膝上型计算机、智能电话、移动电话、平板设备或其它小型形状因子个人计算机、个人数字助理、机架式设备、独立设备等。本文所描述的功能还可以体现在外围设备或插卡式扩展卡中。通过进一步的举例，这样的功能还可以是在单个设备中执行的不同芯片或不同过程当中的电路板上实现的。
指令、用于传达这样的指令的介质、用于执行它们的计算资源、以及用于支持这样的计算资源的其它结构是用于提供在本公开内容中描述的功能的示例单元。
在前面的描述中，本申请的各方面是参考其具体实施例来描述的，但是本领域普通技术人员将认识到的是，本申请不限于此。因此，虽然本文已经详细描述了本申请的说明性实施例，但是应当理解的是，本发明的概念可以以其它方式被不同地体现和采用，以及所附权利要求书旨在解释为包括这样的变体，除非受到现有技术限制。上文描述的应用的各个特征和方面可以是单独地或联合地使用的。进一步地，在不背离本说明书的更广泛的精神和范围的情况下，实施例可以是在本文中描述的那些之外的任何数量的环境和应用中利用的。因此，说明书和附图被认为是说明性的而不是限制性的。出于说明的目的，方法是以特定次序来描述的。应当认识到的是，在替代实施例中，方法可以是以与所描述的次序不同的次序来执行的。
本领域普通技术人员将理解的是，本文中使用的小于(“<”)和大于(“>”)符号或术语可以被分别替换为小于或等于(“≤”)以及大于或等于(“≥”)符号，而不背离本说明书的范围。
在将组件描述为“被配置为”执行某些操作的情况下，这样的配置可以是例如通过以下方式来实现的：通过设计电子电路或其它硬件以执行操作，通过对可编程电子电路(例如，微处理器或其它适当的电子电路)进行编程以执行操作，或其任何组合。
短语“耦合到”指的是直接地或间接地在物理上连接到另一组件的任何组件、和/或直接地或间接地与另一组件相通信的任何组件(例如，通过有线连接或无线连接、和/或其它适当的通信接口来连接到另一组件)。
记载集合中的“至少一个”和/或集合中的“一个或多个”的权利要求语言或其它语言指示该集合中的一个成员或者该集合中的多个成员(以任何组合)满足该权利要求。例如，记载“A和B中的至少一个”的权利要求语言意指A、B或A和B。在另一示例中，记载“A、B和C中的至少一个”的权利要求语言意指A、B、C、或A和B、或A和C、或B和C、或A和B和C。语言集合中的“至少一个”和/或集合中的“一个或多个”不将该集合限制为在该集合中列出的项。例如，记载“A和B中的至少一个”的权利要求语言可以意指A、B、或A和B，以及可以额外地包括未在A和B的集合中列出的项。
结合本文中公开的实施例描述的各种说明性逻辑框、模块、电路和算法步骤可以实现为电子硬件、计算机软件、固件或者其组合。为了清楚地说明硬件和软件的这种可互换性，各种说明性组件、方框、模块、电路和步骤已经在它们的功能性方面大体上进行了描述。至于这样的功能性是实现为硬件还是软件，取决于特定的应用以及施加在整个系统上的设计约束。熟练的技术人员可以针对每个特定的应用以变通的方式实现所描述的功能，但是这样的实现决策不应解释为引起背离本申请的范围。
本文中描述的技术还可以是利用电子硬件、计算机软件、固件或者其任何组合来实现的。这样的技术可以是在各种设备(诸如通用计算机、无线通信设备手机或具有多种用途(包括在无线通信设备手机和其它设备中的应用)的集成电路设备)中的任何一者中实现的。描述为模块或组件的任何特征可以是在集成逻辑设备中一起实现的，或者分别作为分立的但是可互操作的逻辑设备来实现的。如果在软件中实现，则所述技术可以是至少部分地由计算机可读数据存储介质来实现的，计算机可读数据存储介质包括程序代码，程序代码包括在被执行时执行上文描述的方法中的一个或多个方法的指令。计算机可读数据存储介质可以形成计算机程序产品的一部分，所述计算机程序产品可以包括封装材料。计算机可读介质可以包括存储器或数据存储介质，诸如随机存取存储器(RAM)(诸如同步动态随机存取存储器(SDRAM))、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、闪速存储器、磁或光数据存储介质等。所述技术另外地或替代地可以是至少部分地通过计算机可读通信介质(诸如传播的信号或波)来实现的，所述计算机可读通信介质携带或传送以指令或数据结构的形式的程序代码，并且可以由计算机存取、读取和/或执行。
程序代码可以由处理器执行，所述处理器可以包括一个或多个处理器，诸如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或者其它等效的集成逻辑电路或分立逻辑电路。这样的处理器可以被配置为执行在本公开内容中描述的技术中的任何技术。通用处理器可以是微处理器；但是在替代的方式中，处理器可以是任何常规的处理器、控制器、微控制器或状态机。处理器还可以实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP核、或者任何其它这样的配置。因此，如本文中使用的术语“处理器”可以指的是前述结构中的任何结构、前述结构的任何组合、或者适合于实现本文中描述的技术的任何其它结构或装置。此外，在一些方面中，本文中描述的功能可以是在被配置用于编码和解码的专用软件模块和/或硬件模块内提供的，或者被合并在组合的视频编码器-解码器(CODEC)中。
本公开内容的说明性方面包括但不限于以下方面：
方面1：一种处理图像数据的方法，所述方法包括：确定与在使用至少一个照相机获得的图像中描绘的第一对象相对应的第一感兴趣区域，所述第一感兴趣区域是与跟多点深度感测系统相关联的多点网格的至少一个元素相关联的；确定针对所述第一对象的第一扩展感兴趣区域，所述第一扩展感兴趣区域是与包括所述多点网格的所述至少一个元素和一个或多个额外的元素的多个元素相关联的；以及基于与所述第一扩展感兴趣区域相关联的所述多个元素，来确定表示在所述至少一个照相机与在所述图像中描绘的所述第一对象之间的第一距离的代表性深度信息。
方面2：根据方面1所述的方法，还包括：基于表示所述第一距离的所述代表性深度信息来处理所述图像，其中，处理所述图像包括对所述图像的至少所述第一感兴趣区域执行自动曝光、自动聚焦、自动白平衡和自动缩放中的至少一者。
方面3：根据方面1或2中的任一方面所述的方法，其中，确定针对所述第一对象的所述第一扩展感兴趣区域包括：确定所述第一感兴趣区域的大小和所述第一感兴趣区域相对于在所述图像中的参考点的位置中的至少一者；以及基于所述第一感兴趣区域的所述大小和所述位置中的至少一者，来确定针对所述第一对象的所述第一扩展感兴趣区域。
方面4：根据方面3所述的方法，其中，确定针对所述第一对象的所述第一扩展感兴趣区域包括：基于所述第一感兴趣区域的所述大小来确定针对所述第一对象的所述第一扩展感兴趣区域。
方面5：根据方面3所述的方法，其中，确定针对所述第一对象的所述第一扩展感兴趣区域包括：基于所述第一感兴趣区域的所述位置来确定针对所述第一对象的所述第一扩展感兴趣区域。
方面6：根据方面3所述的方法，其中，确定针对所述第一对象的所述第一扩展感兴趣区域包括：基于所述第一感兴趣区域的所述大小和所述位置来确定针对所述第一对象的所述第一扩展感兴趣区域。
方面7：根据方面1或2中的任一项所述的方法，其中，确定针对所述第一对象的所述第一扩展感兴趣区域包括：确定与所述多点网格的所述一个或多个额外的元素中的第一元素相关联的第一深度，所述第一元素邻接与所述第一感兴趣区域相关联的所述至少一个元素；确定在所述第一深度和与所述第一感兴趣区域相关联的所述至少一个元素的深度之间的差小于门限差；以及基于确定在所述第一深度与跟所述第一感兴趣区域相关联的所述至少一个元素的所述深度之间的所述差小于所述门限差，来将所述第一元素与所述第一扩展感兴趣区域进行关联。
方面8：根据方面7所述的方法，其中，将所述第一元素与所述第一扩展感兴趣区域进行关联还是基于所述第一深度的置信度大于置信度门限的。
方面9：根据方面7或8中的任一项所述的方法，还包括：确定与所述多点网格的所述一个或多个额外的元素中的第二元素相关联的第二深度，所述第二元素邻接所述一个或多个额外的元素中的所述第一元素；确定在所述第二深度与所述第一深度之间的差小于所述门限差；以及基于确定在所述第二深度与所述第一深度之间的所述差小于所述门限差，来将所述第二元素与所述第一扩展感兴趣区域进行关联。
方面10：根据方面7或8中的任一项所述的方法，还包括：确定与所述多点网格的所述一个或多个额外的元素中的第二元素相关联的第二深度，所述第二元素邻接所述一个或多个额外的元素中的所述第一元素；确定在所述第二深度与所述第一深度之间的所述差大于所述门限差；以及基于确定在所述第二深度与所述第一深度之间的所述差大于所述门限差，来从所述第一扩展感兴趣区域中排除所述第二元素。
方面11：根据方面1至10中的任一项所述的方法，其中，确定表示所述第一距离的所述代表性深度信息包括：基于与所述第一扩展感兴趣区域相关联的所述多个元素的深度值，来确定针对所述第一扩展感兴趣区域的代表性深度值。
方面12：根据方面11所述的方法，其中，所述代表性深度值包括与所述第一扩展感兴趣区域相关联的所述多个元素的所述深度值的平均值。
方面13：根据方面1至12中的任一项所述的方法，还包括：基于所述第一感兴趣区域是针对所述图像确定的唯一感兴趣区域，基于表示所述第一距离的所述代表性深度信息来处理所述图像。
方面14：根据方面13所述的方法，其中，基于表示所述第一距离的所述代表性深度信息来处理所述图像包括：对所述图像的至少所述第一感兴趣区域执行自动曝光、自动聚焦、自动白平衡和自动缩放中的至少一者。
方面15：根据方面1至14中的任一项所述的方法，还包括：确定与在所述图像中描绘的第二对象相对应的第二感兴趣区域，所述第二感兴趣区域是与跟所述多点深度感测系统相关联的所述多点网格的至少一个额外的元素相关联的；确定针对所述第二对象的第二扩展感兴趣区域，所述第二扩展感兴趣区域是与包括所述多点网格的所述至少一个额外的元素和第二一个或多个额外的元素的多个元素相关联的；以及基于与所述第二扩展感兴趣区域相关联的所述多个元素，来确定表示在所述至少一个照相机与在所述图像中描绘的所述第二对象之间的第二距离的代表性深度信息。
方面16：根据方面15所述的方法，还包括：基于表示所述第一距离的所述代表性深度信息和表示所述第二距离的所述代表性深度信息来确定组合深度信息。
方面17：根据方面16所述的方法，其中，确定所述组合深度信息包括：确定表示所述第一距离的所述代表性深度信息和表示所述第二距离的所述代表性深度信息的加权平均值。
方面18：根据方面16或17中的任一项所述的方法，还包括：基于所述组合深度信息来处理所述图像。
方面19：根据方面18所述的方法，其中，基于所述组合深度信息来处理所述图像包括：对所述图像的至少所述第一感兴趣区域执行自动曝光、自动聚焦、自动白平衡和自动缩放中的至少一者。
方面20：根据方面1至19中的任一项所述的方法，其中，所述多点深度感测系统包括发射机和接收机，所述发射机包括多个光源，所述接收机被配置为接收由所述多个光源发射的光的反射，并且其中，所述代表性深度信息是基于接收到的光的反射来确定的。
方面21：一种用于处理图像数据的装置，包括至少一个存储器，以及耦合到所述至少一个存储器的至少一个处理器。所述至少一个处理器被配置为：确定与在使用至少一个照相机获得的图像中描绘的第一对象相对应的第一感兴趣区域，所述第一感兴趣区域是与跟多点深度感测系统相关联的多点网格的至少一个元素相关联的；确定针对所述第一对象的第一扩展感兴趣区域，所述第一扩展感兴趣区域是与包括所述多点网格的所述至少一个元素和一个或多个额外的元素的多个元素相关联的；以及基于与所述第一扩展感兴趣区域相关联的所述多个元素，来确定表示在所述至少一个照相机与在所述图像中描绘的所述第一对象之间的第一距离的代表性深度信息。
方面22：根据方面21所述的装置，其中，所述至少一个处理器还被配置为：基于表示所述第一距离的所述代表性深度信息来处理所述图像，其中，处理所述图像包括对所述图像的至少所述第一感兴趣区域执行自动曝光、自动聚焦、自动白平衡和自动缩放中的至少一者。
方面23：根据方面21或22中的任一项所述的装置，其中，为了确定针对所述第一对象的所述第一扩展感兴趣区域，所述至少一个处理器被配置为：确定所述第一感兴趣区域的大小和所述第一感兴趣区域相对于在所述图像中的参考点的位置中的至少一者；以及基于所述第一感兴趣区域的所述大小和所述位置中的至少一者，来确定针对所述第一对象的所述第一扩展感兴趣区域。
方面24：根据方面23所述的装置，其中，为了确定针对所述第一对象的所述第一扩展感兴趣区域，所述至少一个处理器被配置为：基于所述第一感兴趣区域的所述大小来确定针对所述第一对象的所述第一扩展感兴趣区域。
方面25：根据方面23所述的方法，其中，为了确定针对所述第一对象的所述第一扩展感兴趣区域，所述至少一个处理器被配置为：基于所述第一感兴趣区域的所述位置来确定针对所述第一对象的所述第一扩展感兴趣区域。
方面26：根据方面23所述的方法，其中，为了确定针对所述第一对象的所述第一扩展感兴趣区域，所述至少一个处理器被配置为：基于所述第一感兴趣区域的所述大小和所述位置来确定针对所述第一对象的所述第一扩展感兴趣区域。
方面27：根据方面21或22中的任一项所述的装置，其中，为了确定针对所述第一对象的所述第一扩展感兴趣区域，所述至少一个处理器被配置为：确定与所述多点网格的所述一个或多个额外的元素中的第一元素相关联的第一深度，所述第一元素邻接与所述第一感兴趣区域相关联的所述至少一个元素；确定在所述第一深度和与所述第一感兴趣区域相关联的所述至少一个元素的深度之间的差小于门限差；以及基于确定在所述第一深度与跟所述第一感兴趣区域相关联的所述至少一个元素的所述深度之间的所述差小于所述门限差，来将所述第一元素与所述第一扩展感兴趣区域进行关联。
方面28：根据方面27所述的装置，其中，所述至少一个处理器被配置为：进一步基于所述第一深度的置信度大于置信度门限，来将所述第一元素与所述第一扩展感兴趣区域进行关联。
方面29：根据方面27或28中的任一项所述的装置，其中，所述至少一个处理器被配置为：确定与所述多点网格的所述一个或多个额外的元素中的第二元素相关联的第二深度，所述第二元素邻接所述一个或多个额外的元素中的所述第一元素；确定在所述第二深度与所述第一深度之间的差小于所述门限差；以及基于确定在所述第二深度与所述第一深度之间的所述差小于所述门限差，来将所述第二元素与所述第一扩展感兴趣区域进行关联。
方面30：根据方面27或28中的任一项所述的装置，其中，所述至少一个处理器被配置为：确定与所述多点网格的所述一个或多个额外的元素中的第二元素相关联的第二深度，所述第二元素邻接所述一个或多个额外的元素中的所述第一元素；确定在所述第二深度与所述第一深度之间的所述差大于所述门限差；以及基于确定在所述第二深度与所述第一深度之间的所述差大于所述门限差，来从所述第一扩展感兴趣区域中排除所述第二元素。
方面31：根据方面21至30中的任一项所述的装置，其中，为了确定表示所述第一距离的所述代表性深度信息，所述至少一个处理器被配置为：基于与所述第一扩展感兴趣区域相关联的所述多个元素的深度值，来确定针对所述第一扩展感兴趣区域的代表性深度值。
方面32：根据方面31所述的装置，其中，所述代表性深度值包括与所述第一扩展感兴趣区域相关联的所述多个元素的所述深度值的平均值。
方面33：根据方面21至32中的任一项所述的装置，其中，所述至少一个处理器被配置为：基于所述第一感兴趣区域是针对所述图像确定的唯一感兴趣区域，基于表示所述第一距离的所述代表性深度信息来处理所述图像。
方面34：根据方面33所述的装置，其中，为了基于表示所述第一距离的所述代表性深度信息来处理所述图像，所述至少一个处理器被配置为：对所述图像的至少所述第一感兴趣区域执行自动曝光、自动聚焦、自动白平衡和自动缩放中的至少一者。
方面35：根据方面21至34中的任一项所述的装置，其中，所述至少一个处理器被配置为：确定与在所述图像中描绘的第二对象相对应的第二感兴趣区域，所述第二感兴趣区域是与跟所述多点深度感测系统相关联的所述多点网格的至少一个额外的元素相关联的；确定针对所述第二对象的第二扩展感兴趣区域，所述第二扩展感兴趣区域是与包括所述多点网格的所述至少一个额外的元素和第二一个或多个额外的元素的多个元素相关联的；以及基于与所述第二扩展感兴趣区域相关联的所述多个元素，来确定表示在所述至少一个照相机与在所述图像中描绘的所述第二对象之间的第二距离的代表性深度信息。
方面36：根据方面35所述的装置，其中，所述至少一个处理器被配置为：基于表示所述第一距离的所述代表性深度信息和表示所述第二距离的所述代表性深度信息来确定组合深度信息。
方面37：根据方面36所述的装置，其中，为了确定所述组合深度信息，所述至少一个处理器被配置为：确定表示所述第一距离的所述代表性深度信息与表示所述第二距离的所述代表性深度信息的加权平均值。
方面38：根据方面36或37中的任一项所述的装置，其中，所述至少一个处理器被配置为：基于所述组合深度信息来处理所述图像。
方面39：根据方面38所述的装置，其中，为了基于所述组合深度信息来处理所述图像，所述至少一个处理器被配置为：对所述图像的至少所述第一感兴趣区域执行自动曝光、自动聚焦、自动白平衡及自动缩放中的至少一者。
方面40：根据方面21至39中的任一项所述的装置，其中，所述多点深度感测系统包括发射机和接收机，所述发射机包括多个光源，所述接收机被配置为接收由所述多个光源发射的光的反射，并且其中，所述代表性深度信息是基于接收到的光的反射来确定的。
方面41：一种包括存储在其上的指令的非暂时性计算机可读存储介质，所述指令当由一个或多个处理器执行时使得所述一个或多个处理器执行方面1至40中的任一项的操作。
方面42：一种用于处理图像数据的装置，所述装置包括用于执行方面1到40中任一项的操作的单元。
方面43：一种处理图像数据的方法，所述方法包括：确定与在使用至少一个照相机获得的图像中描绘的至少一个对象相对应的感兴趣区域，所述感兴趣区域是与跟多点深度感测系统相关联的多点网格的多个元素相关联的；基于与所述多个元素相关联的深度信息，来确定所述感兴趣区域是否包括多深度信息；以及基于所述感兴趣区域是否包括多深度信息，来确定表示在所述至少一个照相机与在所述图像中描绘的所述至少一个对象之间的距离的代表性深度信息。
方面44：根据方面43所述的方法，还包括：根据与所述多个元素相关联的所述代表性深度信息来对所述多个元素进行排序，其中，所述多个元素是从最小深度到最大深度排序的。
方面45：根据方面43或44中的任一项所述的方法，其中，确定所述感兴趣区域是否包括所述多深度信息包括：确定在所述多个元素的最小深度值与所述多个元素的最大深度值之间的差大于多深度门限；以及基于确定在所述最小深度值与所述最大深度值之间的所述差大于所述多深度门限，来确定所述感兴趣区域包括多深度信息。
方面46：根据方面45所述的方法，其中，确定所述代表性深度信息包括：选择第二最小深度值或第三最小深度值作为所述代表性深度信息。
方面47：根据方面43或44中的任一项所述的方法，其中，确定所述感兴趣区域是否包括所述多深度信息包括：确定在所述多个元素的最小深度值与所述多个元素的最大深度值之间的差小于多深度门限；以及基于确定在所述最小深度值与所述最大深度值之间的所述差小于所述多深度门限，来确定所述感兴趣区域不包括多深度信息。
方面48：根据方面47所述的方法，其中，确定所述代表性深度信息包括：确定与来自所述多点网格的所述多个元素中的大多数元素相关联的深度值；以及选择所述深度值作为所述代表性深度信息。
方面49：根据方面43至48中的任一项所述的方法，还包括：基于表示所述距离的所述代表性深度信息来处理所述图像，其中，处理所述图像包括对所述图像的至少所述感兴趣区域执行自动曝光、自动聚焦、自动白平衡和自动缩放中的至少一者。
方面50：根据方面43至49中的任一项所述的方法，其中，所述多点深度感测系统包括发射机和接收机，所述发射机包括多个光源，所述接收机被配置为接收由所述多个光源发射的光的反射，并且其中，所述代表性深度信息是基于接收到的光的反射来确定的。
方面51：一种用于处理图像数据的装置，包括至少一个存储器，以及耦合到所述至少一个存储器的至少一个处理器。所述至少一个处理器被配置为：确定与在使用至少一个照相机获得的图像中描绘的至少一个对象相对应的感兴趣区域，所述感兴趣区域是与跟多点深度感测系统相关联的多点网格的多个元素相关联的；基于与所述多个元素相关联的深度信息，来确定所述感兴趣区域是否包括多深度信息；以及基于所述感兴趣区域是否包括多深度信息，来确定表示在所述至少一个照相机与在所述图像中描绘的所述至少一个对象之间的距离的代表性深度信息。
方面52：根据方面51所述的装置，其中，所述至少一个处理器被配置为：根据与所述多个元素相关联的所述代表性深度信息来对所述多个元素进行排序，其中，所述多个元素是从最小深度到最大深度排序的。
方面53：根据方面51或52中的任一项所述的装置，其中，为了确定所述感兴趣区域是否包括所述多深度信息，所述至少一个处理器被配置为：确定在所述多个元素的最小深度值与所述多个元素的最大深度值之间的差大于多深度门限；以及基于确定在所述最小深度值与所述最大深度值之间的所述差大于所述多深度门限，来确定所述感兴趣区域包括多深度信息。
方面54：根据方面53所述的装置，其中，为了确定所述代表性深度信息，所述至少一个处理器被配置为：选择第二最小深度值或第三最小深度值作为所述代表性深度信息。
方面55：根据方面51或52中的任一项所述的装置，其中，为了确定所述感兴趣区域是否包括所述多深度信息，所述至少一个处理器被配置为：确定在所述多个元素的最小深度值与所述多个元素的最大深度值之间的差小于多深度门限；以及基于确定在所述最小深度值与所述最大深度值之间的所述差小于所述多深度门限，来确定所述感兴趣区域不包括多深度信息。
方面56：根据方面55所述的装置，其中，为了确定所述代表性深度信息，所述至少一个处理器被配置为：确定与来自所述多点网格的所述多个元素的大多数元素相关联的深度值；以及选择所述深度值作为所述代表性深度信息。
方面57：根据方面51至56中的任一项所述的装置，其中，所述至少一个处理器被配置为：基于表示所述距离的所述代表性深度信息来处理所述图像，其中，处理所述图像包括对所述图像的至少所述感兴趣区域执行自动曝光、自动聚焦、自动白平衡和自动缩放中的至少一者。
方面58：根据方面51至57中的任一项所述的装置，其中，所述多点深度感测系统包括发射机和接收机，所述发射机包括多个光源，所述接收机被配置为接收由所述多个光源发射的光的反射，并且其中，所述代表性深度信息是基于接收到的光的反射来确定的。
方面59：一种包括存储在其上的指令的非暂时性计算机可读存储介质，所述指令当由一个或多个处理器执行时使得所述一个或多个处理器执行方面43至59中的任一项的操作。
方面60：一种用于处理图像数据的装置，所述装置包括用于执行方面43到59中任一项的操作的单元。
方面61：一种用于处理图像数据的方法，所述方法包括根据方面1至40中的任一项以及方面43至59中的任一项的操作。
方面62：一种用于处理图像数据的装置，所述装置包括至少一个存储器，以及耦合到所述至少一个存储器的至少一个处理器。所述至少一个处理器被配置为执行方面1至40中的任一项以及方面43至59中的任一项的操作。
方面63：一种包括存储在其上的指令的非暂时性计算机可读存储介质，所述指令当由一个或多个处理器执行时使得所述一个或多个处理器执行方面1至40中的任一项以及方面43至59中的任一项的操作。
方面64：一种用于处理图像数据的装置，所述装置包括用于执行方面1到40中任一项以及方面43至59中的任一项的操作的单元。

Claims (60)

1.一种处理图像数据的方法，所述方法包括：
确定与在使用至少一个照相机获得的图像中描绘的第一对象相对应的第一感兴趣区域，所述第一感兴趣区域是与跟多点深度感测系统相关联的多点网格的至少一个元素相关联的；
确定针对所述第一对象的第一扩展感兴趣区域，所述第一扩展感兴趣区域是与包括所述多点网格的所述至少一个元素和一个或多个额外的元素的多个元素相关联的；以及
基于与所述第一扩展感兴趣区域相关联的所述多个元素，来确定表示在所述至少一个照相机与在所述图像中描绘的所述第一对象之间的第一距离的代表性深度信息。
2.根据权利要求1所述的方法，还包括：
基于表示所述第一距离的所述代表性深度信息来处理所述图像，其中，处理所述图像包括对所述图像的至少所述第一感兴趣区域执行自动曝光、自动聚焦、自动白平衡和自动缩放中的至少一者。
3.根据权利要求1或2中的任一项所述的方法，其中，确定针对所述第一对象的所述第一扩展感兴趣区域包括：
确定所述第一感兴趣区域的大小和所述第一感兴趣区域相对于在所述图像中的参考点的位置中的至少一者；以及
基于所述第一感兴趣区域的所述大小和所述位置中的至少一者，来确定针对所述第一对象的所述第一扩展感兴趣区域。
4.根据权利要求3所述的方法，其中，确定针对所述第一对象的所述第一扩展感兴趣区域包括：
基于所述第一感兴趣区域的所述大小，来确定针对所述第一对象的所述第一扩展感兴趣区域。
5.根据权利要求3所述的方法，其中，确定针对所述第一对象的所述第一扩展感兴趣区域包括：
基于所述第一感兴趣区域的所述位置，来确定针对所述第一对象的所述第一扩展感兴趣区域。
6.根据权利要求3所述的方法，其中，确定针对所述第一对象的所述第一扩展感兴趣区域包括：
基于所述第一感兴趣区域的所述大小和所述位置，来确定针对所述第一对象的所述第一扩展感兴趣区域。
7.根据权利要求1或2中的任一项所述的方法，其中，确定针对所述第一对象的所述第一扩展感兴趣区域包括：
确定与所述多点网格的所述一个或多个额外的元素中的第一元素相关联的第一深度，所述第一元素邻接与所述第一感兴趣区域相关联的所述至少一个元素；
确定在所述第一深度和与所述第一感兴趣区域相关联的所述至少一个元素的深度之间的差小于门限差；以及
基于确定在所述第一深度与跟所述第一感兴趣区域相关联的所述至少一个元素的所述深度之间的所述差小于所述门限差，来将所述第一元素与所述第一扩展感兴趣区域进行关联。
8.根据权利要求7所述的方法，其中，将所述第一元素与所述第一扩展感兴趣区域进行关联还是基于所述第一深度的置信度大于置信度门限的。
9.根据权利要求7或8中的任一项所述的方法，还包括：
确定与所述多点网格的所述一个或多个额外的元素中的第二元素相关联的第二深度，所述第二元素邻接所述一个或多个额外的元素中的所述第一元素；
确定在所述第二深度与所述第一深度之间的差小于所述门限差；以及
基于确定在所述第二深度与所述第一深度之间的所述差小于所述门限差，来将所述第二元素与所述第一扩展感兴趣区域进行关联。
10.根据权利要求7或8中的任一项所述的方法，还包括：
确定与所述多点网格的所述一个或多个额外的元素中的第二元素相关联的第二深度，所述第二元素邻接所述一个或多个额外的元素中的所述第一元素；
确定在所述第二深度与所述第一深度之间的所述差大于所述门限差；以及
基于确定在所述第二深度与所述第一深度之间的所述差大于所述门限差，来从所述第一扩展感兴趣区域中排除所述第二元素。
11.根据权利要求1至10中的任一项所述的方法，其中，确定表示所述第一距离的所述代表性深度信息包括：
基于与所述第一扩展感兴趣区域相关联的所述多个元素的深度值，来确定针对所述第一扩展感兴趣区域的代表性深度值。
12.根据权利要求11所述的方法，其中，所述代表性深度值包括与所述第一扩展感兴趣区域相关联的所述多个元素的所述深度值的平均值。
13.根据权利要求1至12中的任一项所述的方法，还包括：
基于所述第一感兴趣区域是针对所述图像确定的唯一感兴趣区域，基于表示所述第一距离的所述代表性深度信息来处理所述图像。
14.根据权利要求13所述的方法，其中，基于表示所述第一距离的所述代表性深度信息来处理所述图像包括：对所述图像的至少所述第一感兴趣区域执行自动曝光、自动聚焦、自动白平衡和自动缩放中的至少一者。
15.根据权利要求1至14中的任一项所述的方法，还包括：
确定与在所述图像中描绘的第二对象相对应的第二感兴趣区域，所述第二感兴趣区域是与跟所述多点深度感测系统相关联的所述多点网格的至少一个额外的元素相关联的；
确定针对所述第二对象的第二扩展感兴趣区域，所述第二扩展感兴趣区域是与包括所述多点网格的所述至少一个额外的元素和第二一个或多个额外的元素的多个元素相关联的；以及
基于与所述第二扩展感兴趣区域相关联的所述多个元素，来确定表示在所述至少一个照相机与在所述图像中描绘的所述第二对象之间的第二距离的代表性深度信息。
16.根据权利要求15所述的方法，还包括：
基于表示所述第一距离的所述代表性深度信息和表示所述第二距离的所述代表性深度信息，来确定组合深度信息。
17.根据权利要求16所述的方法，其中，确定所述组合深度信息包括：确定表示所述第一距离的所述代表性深度信息和表示所述第二距离的所述代表性深度信息的加权平均值。
18.根据权利要求16或17中的任一项所述的方法，还包括：
基于所述组合深度信息来处理所述图像。
19.根据权利要求18所述的方法，其中，基于所述组合深度信息来处理所述图像包括：对所述图像的至少所述第一感兴趣区域执行自动曝光、自动聚焦、自动白平衡和自动缩放中的至少一者。
20.根据权利要求1至19中的任一项所述的方法，其中，所述多点深度感测系统包括发射机和接收机，所述发射机包括多个光源，所述接收机被配置为接收由所述多个光源发射的光的反射，并且其中，所述代表性深度信息是基于接收到的光的反射来确定的。
21.一种用于处理图像数据的装置，包括：
至少一个存储器；以及
耦合到所述至少一个存储器的至少一个处理器，所述至少一个处理器被配置为：
确定与在使用至少一个照相机获得的图像中描绘的第一对象相对应的第一感兴趣区域，所述第一感兴趣区域是与跟多点深度感测系统相关联的多点网格的至少一个元素相关联的；
确定针对所述第一对象的第一扩展感兴趣区域，所述第一扩展感兴趣区域是与包括所述多点网格的所述至少一个元素和一个或多个额外的元素的多个元素相关联的；以及
基于与所述第一扩展感兴趣区域相关联的所述多个元素，来确定表示在所述至少一个照相机与在所述图像中描绘的所述第一对象之间的第一距离的代表性深度信息。
22.根据权利要求21所述的装置，其中，所述至少一个处理器被配置为：
基于表示所述第一距离的所述代表性深度信息来处理所述图像，其中，处理所述图像包括对所述图像的至少所述第一感兴趣区域执行自动曝光、自动聚焦、自动白平衡和自动缩放中的至少一者。
23.根据权利要求21或22中的任一项所述的装置，其中，为了确定针对所述第一对象的所述第一扩展感兴趣区域，所述至少一个处理器被配置为：
确定所述第一感兴趣区域的大小和所述第一感兴趣区域相对于在所述图像中的参考点的位置中的至少一者；以及
基于所述第一感兴趣区域的所述大小和所述位置中的至少一者，来确定针对所述第一对象的所述第一扩展感兴趣区域。
24.根据权利要求23所述的装置，其中，为了确定针对所述第一对象的所述第一扩展感兴趣区域，所述至少一个处理器被配置为：
基于所述第一感兴趣区域的所述大小，来确定针对所述第一对象的所述第一扩展感兴趣区域。
25.根据权利要求23所述的装置，其中，为了确定针对所述第一对象的所述第一扩展感兴趣区域，所述至少一个处理器被配置为：
基于所述第一感兴趣区域的所述位置，来确定针对所述第一对象的所述第一扩展感兴趣区域。
26.根据权利要求23所述的装置，其中，为了确定针对所述第一对象的所述第一扩展感兴趣区域，所述至少一个处理器被配置为：
基于所述第一感兴趣区域的所述大小和所述位置，来确定针对所述第一对象的所述第一扩展感兴趣区域。
27.根据权利要求21或22中的任一项所述的装置，其中，为了确定针对所述第一对象的所述第一扩展感兴趣区域，所述至少一个处理器被配置为：
确定与所述多点网格的所述一个或多个额外的元素中的第一元素相关联的第一深度，所述第一元素邻接与所述第一感兴趣区域相关联的所述至少一个元素；
确定在所述第一深度和与所述第一感兴趣区域相关联的所述至少一个元素的深度之间的差小于门限差；以及
基于确定在所述第一深度与跟所述第一感兴趣区域相关联的所述至少一个元素的所述深度之间的所述差小于所述门限差，来将所述第一元素与所述第一扩展感兴趣区域进行关联。
28.根据权利要求27所述的装置，其中，所述至少一个处理器被配置为：进一步基于所述第一深度的置信度大于置信度门限，来将所述第一元素与所述第一扩展感兴趣区域进行关联。
29.根据权利要求27或28中的任一项所述的装置，其中，所述至少一个处理器被配置为：
确定与所述多点网格的所述一个或多个额外的元素中的第二元素相关联的第二深度，所述第二元素邻接所述一个或多个额外的元素中的所述第一元素；
确定在所述第二深度与所述第一深度之间的差小于所述门限差；以及
基于确定在所述第二深度与所述第一深度之间的所述差小于所述门限差，来将所述第二元素与所述第一扩展感兴趣区域进行关联。
30.根据权利要求27或28中的任一项所述的装置，其中，所述至少一个处理器被配置为：
确定与所述多点网格的所述一个或多个额外的元素中的第二元素相关联的第二深度，所述第二元素邻接所述一个或多个额外的元素中的所述第一元素；
确定在所述第二深度与所述第一深度之间的所述差大于所述门限差；以及
基于确定在所述第二深度与所述第一深度之间的所述差大于所述门限差，来从所述第一扩展感兴趣区域中排除所述第二元素。
31.根据权利要求21至30中的任一项所述的装置，其中，为了确定表示所述第一距离的所述代表性深度信息，所述至少一个处理器被配置为：
基于与所述第一扩展感兴趣区域相关联的所述多个元素的深度值，来确定针对所述第一扩展感兴趣区域的代表性深度值。
32.根据权利要求31所述的装置，其中，所述代表性深度值包括与所述第一扩展感兴趣区域相关联的所述多个元素的所述深度值的平均值。
33.根据权利要求21至32中的任一项所述的装置，其中，所述至少一个处理器被配置为：
基于所述第一感兴趣区域是针对所述图像确定的唯一感兴趣区域，基于表示所述第一距离的所述代表性深度信息来处理所述图像。
34.根据权利要求33所述的装置，其中，为了基于表示所述第一距离的所述代表性深度信息来处理所述图像，所述至少一个处理器被配置为：对所述图像的至少所述第一感兴趣区域执行自动曝光、自动聚焦、自动白平衡和自动缩放中的至少一者。
35.根据权利要求21至34中的任一项所述的装置，其中，所述至少一个处理器被配置为：
确定与在所述图像中描绘的第二对象相对应的第二感兴趣区域，所述第二感兴趣区域是与跟所述多点深度感测系统相关联的所述多点网格的至少一个额外的元素相关联的；
确定针对所述第二对象的第二扩展感兴趣区域，所述第二扩展感兴趣区域是与包括所述多点网格的所述至少一个额外的元素和第二一个或多个额外的元素的多个元素相关联的；以及
基于与所述第二扩展感兴趣区域相关联的所述多个元素，来确定表示在所述至少一个照相机与在所述图像中描绘的所述第二对象之间的第二距离的代表性深度信息。
36.根据权利要求35所述的装置，其中，所述至少一个处理器被配置为：
基于表示所述第一距离的所述代表性深度信息和表示所述第二距离的所述代表性深度信息，来确定组合深度信息。
37.根据权利要求36所述的装置，其中，为了确定所述组合深度信息，所述至少一个处理器被配置为：确定表示所述第一距离的所述代表性深度信息与表示所述第二距离的所述代表性深度信息的加权平均值。
38.根据权利要求36或37中的任一项所述的装置，其中，所述至少一个处理器被配置为：
基于所述组合深度信息来处理所述图像。
39.根据权利要求38所述的装置，其中，为了基于所述组合深度信息来处理所述图像，所述至少一个处理器被配置为：对所述图像的至少所述第一感兴趣区域执行自动曝光、自动聚焦、自动白平衡及自动缩放中的至少一者。
40.根据权利要求21至39中的任一项所述的装置，其中，所述多点深度感测系统包括发射机和接收机，所述发射机包括多个光源，所述接收机被配置为接收由所述多个光源发射的光的反射，并且其中，所述代表性深度信息是基于接收到的光的反射来确定的。
41.一种包括存储在其上的指令的非暂时性计算机可读存储介质，所述指令当由一个或多个处理器执行时使得所述一个或多个处理器执行权利要求1至40中的任一项的操作。
42.一种用于处理图像数据的装置，所述装置包括用于执行权利要求1到40中任一项的操作的单元。
43.一种处理图像数据的方法，所述方法包括：
确定与在使用至少一个照相机获得的图像中描绘的至少一个对象相对应的感兴趣区域，所述感兴趣区域是与跟多点深度感测系统相关联的多点网格的多个元素相关联的；
基于与所述多个元素相关联的深度信息，来确定所述感兴趣区域是否包括多深度信息；以及
基于所述感兴趣区域是否包括多深度信息，来确定表示在所述至少一个照相机与在所述图像中描绘的所述至少一个对象之间的距离的代表性深度信息。
44.根据权利要求43所述的方法，还包括：
根据与所述多个元素相关联的所述代表性深度信息来对所述多个元素进行排序，其中，所述多个元素是从最小深度到最大深度排序的。
45.根据权利要求43或44中的任一项所述的方法，其中，确定所述感兴趣区域是否包括所述多深度信息包括：
确定在所述多个元素的最小深度值与所述多个元素的最大深度值之间的差大于多深度门限；以及
基于确定在所述最小深度值与所述最大深度值之间的所述差大于所述多深度门限，来确定所述感兴趣区域包括多深度信息。
46.根据权利要求45所述的方法，其中，确定所述代表性深度信息包括：
选择第二最小深度值或第三最小深度值作为所述代表性深度信息。
47.根据权利要求43或44中的任一项所述的方法，其中，确定所述感兴趣区域是否包括所述多深度信息包括：
确定在所述多个元素的最小深度值与所述多个元素的最大深度值之间的差小于多深度门限；以及
基于确定在所述最小深度值与所述最大深度值之间的所述差小于所述多深度门限，来确定所述感兴趣区域不包括多深度信息。
48.根据权利要求47所述的方法，其中，确定所述代表性深度信息包括：
从所述多点网格的所述多个元素来确定与大多数元素相关联的深度值；以及
选择所述深度值作为所述代表性深度信息。
49.根据权利要求43至48中的任一项所述的方法，还包括：
基于表示所述距离的所述代表性深度信息来处理所述图像，其中，处理所述图像包括对所述图像的至少所述感兴趣区域执行自动曝光、自动聚焦、自动白平衡和自动缩放中的至少一者。
50.根据权利要求43至49中的任一项所述的方法，其中，所述多点深度感测系统包括发射机和接收机，所述发射机包括多个光源，所述接收机被配置为接收由所述多个光源发射的光的反射，并且其中，所述代表性深度信息是基于接收到的光的反射来确定的。
51.一种用于处理图像数据的装置，包括：
至少一个存储器；以及
耦合到所述至少一个存储器的至少一个处理器，所述至少一个处理器被配置为：
确定与在使用至少一个照相机获得的图像中描绘的至少一个对象相对应的感兴趣区域，所述感兴趣区域是与跟多点深度感测系统相关联的多点网格的多个元素相关联的；
基于与所述多个元素相关联的深度信息，来确定所述感兴趣区域是否包括多深度信息；以及
基于所述感兴趣区域是否包括多深度信息，来确定表示在所述至少一个照相机与在所述图像中描绘的所述至少一个对象之间的距离的代表性深度信息。
52.根据权利要求51所述的装置，其中，所述至少一个处理器被配置为：
根据与所述多个元素相关联的代表性深度信息来对所述多个元素进行排序，其中，所述多个元素是从最小深度到最大深度排序的。
53.根据权利要求51或52中的任一项所述的装置，其中，为了确定所述感兴趣区域是否包括所述多深度信息，所述至少一个处理器被配置为：
确定在所述多个元素的最小深度值与所述多个元素的最大深度值之间的差大于多深度门限；以及
基于确定在所述最小深度值与所述最大深度值之间的所述差大于所述多深度门限，来确定所述感兴趣区域包括多深度信息。
54.根据权利要求53所述的装置，其中，为了确定所述代表性深度信息，所述至少一个处理器被配置为：
选择第二最小深度值或第三最小深度值作为所述代表性深度信息。
55.根据权利要求51或52中的任一项所述的装置，其中，为了确定所述感兴趣区域是否包括所述多深度信息，所述至少一个处理器被配置为：
确定在所述多个元素的最小深度值与所述多个元素的最大深度值之间的差小于多深度门限；以及
基于确定在所述最小深度值与所述最大深度值之间的所述差小于所述多深度门限，来确定所述感兴趣区域不包括多深度信息。
56.根据权利要求55所述的装置，其中，为了确定所述代表性深度信息，所述至少一个处理器被配置为：
从所述多点网格的所述多个元素来确定与大多数元素相关联的深度值；以及
选择所述深度值作为所述代表性深度信息。
57.根据权利要求51至56中的任一项所述的装置，其中，所述至少一个处理器被配置为：
基于表示所述距离的所述代表性深度信息来处理所述图像，其中，处理所述图像包括对所述图像的至少所述感兴趣区域执行自动曝光、自动聚焦、自动白平衡和自动缩放中的至少一者。
58.根据权利要求51至57中的任一项所述的装置，其中，所述多点深度感测系统包括发射机和接收机，所述发射机包括多个光源，所述接收机被配置为接收由所述多个光源发射的光的反射，并且其中，所述代表性深度信息是基于接收到的光的反射来确定的。
59.一种包括存储在其上的指令的非暂时性计算机可读存储介质，所述指令当由一个或多个处理器执行时使得所述一个或多个处理器执行权利要求43至59中的任一项的操作。
60.一种用于处理图像数据的装置，所述装置包括用于执行权利要求43到59中任一项的操作的单元。
CN202180099996.4A 2021-07-07 2021-07-07 使用多点深度感测系统信息来处理图像数据 Pending CN117652136A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/104992 WO2023279289A1 (en) 2021-07-07 2021-07-07 Processing image data using multi-point depth sensing system information

Publications (1)

Publication Number Publication Date
CN117652136A true CN117652136A (zh) 2024-03-05

Family

ID=84800136

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180099996.4A Pending CN117652136A (zh) 2021-07-07 2021-07-07 使用多点深度感测系统信息来处理图像数据

Country Status (5)

Country Link
EP (1) EP4367874A1 (zh)
KR (1) KR20240029003A (zh)
CN (1) CN117652136A (zh)
TW (1) TW202303522A (zh)
WO (1) WO2023279289A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230377215A1 (en) * 2022-05-18 2023-11-23 Google Llc Adaptive color mapping based on behind-display content measured by world-view camera
CN116993796B (zh) * 2023-09-26 2023-12-22 埃洛克航空科技（北京）有限公司 深度图估计中的多级空间传播方法和装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9773155B2 (en) * 2014-10-14 2017-09-26 Microsoft Technology Licensing, Llc Depth from time of flight camera
KR102472156B1 (ko) * 2018-04-19 2022-11-30 삼성전자주식회사 전자 장치 및 그 깊이 정보 생성 방법
CN110174056A (zh) * 2019-06-18 2019-08-27 上海商米科技集团股份有限公司 一种物体体积测量方法、装置及移动终端

Also Published As

Publication number Publication date
EP4367874A1 (en) 2024-05-15
TW202303522A (zh) 2023-01-16
WO2023279289A1 (en) 2023-01-12
KR20240029003A (ko) 2024-03-05

Similar Documents

Publication Publication Date Title
US10044926B2 (en) Optimized phase detection autofocus (PDAF) processing
US20210390747A1 (en) Image fusion for image capture and processing systems
WO2023279289A1 (en) Processing image data using multi-point depth sensing system information
US11863729B2 (en) Systems and methods for generating synthetic depth of field effects
WO2023086694A1 (en) Image modification techniques
WO2024091783A1 (en) Image enhancement for image regions of interest
WO2023192706A1 (en) Image capture using dynamic lens positions
US20220414847A1 (en) High dynamic range image processing
US20230262322A1 (en) Mechanism for improving image capture operations
US20230021016A1 (en) Hybrid object detector and tracker
US11792505B2 (en) Enhanced object detection
US11982527B2 (en) Systems and methods of imaging with multi-domain image sensor
US20240209843A1 (en) Scalable voxel block selection
US11115600B1 (en) Dynamic field of view compensation for autofocus
US20240187712A1 (en) Systems and methods of imaging with multi-domain image sensor
US11363209B1 (en) Systems and methods for camera zoom
US20240070886A1 (en) Mixed-mode depth imaging
WO2023279275A1 (en) Local motion detection for improving image capture and/or processing operations
US20240089596A1 (en) Autofocusing techniques for image sensors
WO2023282963A1 (en) Enhanced object detection
CN117769840A (zh) 多相机系统
TW202410685A (zh) 使用可變光圈成像設備擷取影像
WO2023140979A1 (en) Motion based exposure control for high dynamic range imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination