CN107852447B - 基于设备运动和场景距离使电子设备处的曝光和增益平衡 - Google Patents

基于设备运动和场景距离使电子设备处的曝光和增益平衡 Download PDF

Info

Publication number
CN107852447B
CN107852447B CN201680041185.8A CN201680041185A CN107852447B CN 107852447 B CN107852447 B CN 107852447B CN 201680041185 A CN201680041185 A CN 201680041185A CN 107852447 B CN107852447 B CN 107852447B
Authority
CN
China
Prior art keywords
electronic device
gain
exposure
feature
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680041185.8A
Other languages
English (en)
Other versions
CN107852447A (zh
Inventor
乔尔·黑施
詹姆斯·方
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN107852447A publication Critical patent/CN107852447A/zh
Application granted granted Critical
Publication of CN107852447B publication Critical patent/CN107852447B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control

Abstract

一种电子设备[100]基于检测到的图像捕获条件使所述设备的成像传感器[104]处的增益和曝光平衡，所述图像捕获条件诸如所述电子设备的运动[704]、场景离所述电子设备的距离[710]以及所述电子设备的预测照度条件[706]。通过使所述增益和曝光平衡，由所述成像传感器捕获的图像的质量被增强，这进而提供对基于定位的功能性的改进的支持。

Description

基于设备运动和场景距离使电子设备处的曝光和增益平衡
技术领域
本公开一般地涉及影像(imagery)捕获和处理，并且更具体地涉及配置捕获影像的设置。
背景技术
在电子设备处实现机器视觉可通过使得能够通过分析由设备捕获的局部环境的影像而识别设备的局部环境内的对象来支持各种应用，诸如同步定位和映射(SLAM)、增强现实(AR)和虚拟现实(VR)。当所捕获的影像具有高质量时，机器视觉的对象识别和其它方面被增强。可通过采用在图像捕获设备处适于正在捕获影像的条件的捕获设置(诸如增益和曝光)来增强所捕获的影像的质量。然而，因为可以在各式各样的条件下使用电子设备，所以可能难以为图像捕获设备识别和实现正确的捕获设置。
附图说明
本领域的技术人员通过参考附图可以更好地理解本公开，并且其许多特征和优点对于本领域的技术人员而言变得显而易见。在不同的附图中使用相同的附图标记指示类似或相同的项。
图1是图示根据本公开的至少一个实施例的被配置成基于诸如设备运动和场景距离的捕获条件使至少一个成像传感器的增益和曝光平衡的电子设备的图。
图2是图示根据本公开的至少一个实施例的基于非视觉传感器数据和根据在电子设备处捕获的影像所识别的特征轨迹的组合来使至少一个成像传感器的增益和曝光平衡的图1的电子设备的一部分的图。
图3是图示根据本公开的至少一个实施例的基于图1的电子设备的旋转速度使至少一个成像传感器的增益和曝光平衡的图。
图4是图示根据本公开的至少一个实施例的基于场景离图1的电子设备的距离使至少一个成像传感器的增益和曝光平衡的图。
图5是图示根据本公开的至少一个实施例的基于图1的电子设备的预测照度条件使至少一个成像传感器的增益和曝光平衡的图。
图6是图示根据本公开的至少一个实施例的用于使电子设备的至少一个成像传感器的增益和曝光平衡的电子设备的处理系统的框图。
图7是图示根据本公开的至少一个实施例的电子设备基于诸如设备运动和场景距离的捕获条件使至少一个成像传感器的增益和曝光平衡的操作的流程图。
具体实施方式
以下描述旨在通过提供许多特定实施例和细节来传达对本公开的彻底理解，所述特定实施例和细节涉及基于对电子设备的局部环境中的对象的基于图像的识别来确定电子设备的相对位置或相对定向。然而，应理解的是，本公开不限于仅为示例的这些特定实施例和细节，并且本公开的范围因此旨在仅由以下权利要求及其等同物来限定。应进一步理解的是，鉴于已知系统和方法，本领域的普通技术人员将领会本公开由于其预定目的和好处在任何数目的替代实施例中的使用取决于特定设计和其它需要。
图1-7图示用于基于由电子设备检测到的图像捕获条件(诸如电子设备的运动、场景离电子设备的距离以及电子设备的预测照度条件)使电子设备的成像传感器处的增益和曝光平衡的各种技术。通过使增益和曝光平衡，增强了由成像传感器捕获的图像的质量，这进而提供对诸如增强现实(AR)功能性、虚拟现实(VR)功能性、视觉定位/测距或其它同时定位和映射(SLAM)功能性等的基于定位的功能性的改进的支持。
如本文中所使用的术语“捕获条件”指代移动设备的环境的各方面以及设备它本身的影响由移动设备正在捕获的图像的质量的特性。捕获条件的示例包括移动设备的运动、正被捕获的场景的照度、离正在图像中捕获的特征的距离等。如本文中所使用的术语“曝光”指代成像传感器或其它图像捕获设备的快门保持打开以允许将如通过成像传感器的透镜接收到的光施加于图像传感器集合的时间量。如本文中所使用的术语“增益”指代由该图像传感器集合在快门打开时响应于光的施加而记录的值或信号的放大量。照惯例，图像捕获设备相对可交换地使用增益和曝光，因为在一些捕获条件下，这些方面中的一个方面的变化不能与另一方面的变化区分开。然而，在其它捕获条件(包括移动设备经常遇到的条件)下，改变增益或曝光中的一个而不是另一个可导致捕获较高质量的图像。例如，在电子设备的旋转速度相对较高的捕获条件下，高曝光可导致模糊图像的捕获。
因此，在此类捕获条件下可通过使用相对较高的增益和相对较低的曝光来改进所捕获的图像的质量。相比之下，当电子设备的旋转速度相对较低时，高增益可导致有噪声的图像。因此，在此类捕获条件下可通过使用相对较低的增益和相对较高的曝光来改进所捕获的图像的质量。使用本文中所描述的技术，电子设备可使用用于指示旋转速度的非视觉传感器(诸如陀螺仪)以及对先前捕获的影像的分析(诸如根据影像识别的特征的特征轨迹)的组合来识别捕获条件。基于经识别的捕获条件，电子设备可使成像传感器的增益和曝光平衡以增强由成像传感器捕获的图像的质量。所捕获的图像的增强质量进而提供对电子设备的局部环境中的特征的改进识别并且因此改进对基于定位的功能性的支持。
图1图示根据本公开的至少一个实施例的被配置成使用图像和非视觉传感器数据来支持基于定位的功能性(诸如SLAM、VR或AR)的电子设备100。电子设备100可包括用户便携式移动设备，诸如平板计算机、支持计算的蜂窝电话(例如，“智能电话”)、笔记本计算机、个人数字助理(PDA)、游戏系统遥控器、电视遥控器等。在其它实施例中，电子设备100可包括另一类型的移动设备，诸如汽车、遥控无人机或其它机载设备等。为了便于图示，一般地在本文中在移动设备(诸如平板计算机或智能电话)的示例场境中对电子设备100进行描述；然而，电子设备100不限于这些示例实施方式。
在所描绘的示例中，电子设备100包括具有与另一表面106相对的表面104的外壳102。在所描绘的示例薄矩形块形状因数方面，表面104和106基本上平行并且外壳102还包括位于表面104与表面106之间的四个侧表面(顶部、底部、左部和右部)。可以以许多其它形状因数实现外壳102，并且表面104和106可以具有非平行定向。对于所图示的平板实施方式，电子设备100包括设置在表面106处以用于向用户110呈现视觉信息的显示器108。因此，为了便于参考，表面106在本文中被称为“面向前方”表面并且表面104在本文中被称为“面向用户”表面作为电子设备100相对于用户110的此示例定向的反映，但是这些表面的定向不受这些关系指定限制。
电子设备100包括多个传感器以获得有关电子设备100的局部环境112的信息。电子设备100经由设置在面向前方表面106处的成像传感器114和116及深度传感器120以及设置在面向用户表面104处的成像传感器118来获得局部环境112的视觉信息(影像)。在一个实施例中，成像传感器114作为具有鱼眼透镜或其它宽角透镜的宽角成像传感器被实现来提供面向表面106的局部环境112的较宽角视图。成像传感器116作为具有典型视角透镜的窄角成像传感器被实现来提供面向表面106的局部环境112的较窄角视图。因此，成像传感器114和成像传感器116分别在本文中被称为“宽角成像传感器114”和“窄角成像传感器116”。如在下面更详细地描述的，宽角成像传感器114和窄角成像传感器116可被定位和定向在面向前方表面106上，使得它们的视场在离电子设备100的指定距离处开始重叠，从而使得能够经由图像分析实现对局部环境112中的被定位在重叠视场的区域中的对象的深度感测。成像传感器118可用于捕获面向表面104的局部环境112的图像数据。另外，在一些实施例中，成像传感器118被配置用于跟踪头部122的移动或者用于面部辨识，并且因此提供可以用于调整经由显示器108呈现的影像的视图透视的头部跟踪信息。
在一个实施例中，深度传感器120使用调制光投影器119来将调制光图案从面向前方表面106投影到局部环境中，并且使用成像传感器114和116中的一个或两个来捕获调制光图案的反射，因为它们从局部环境112中的对象反射回来。这些调制光图案可以是空间调制光图案或时间调制光图案。所捕获到的调制光图案的反射在本文中被称为“深度影像”。深度传感器120然后可以基于对深度影像的分析来计算对象的深度，即，对象离电子设备100的距离。从深度传感器120获得的作为结果的深度数据可以用于校准或者以其它方式扩增根据对由成像传感器114和116捕获的图像数据的图像分析(例如，立体分析)所获得的深度信息。可替选地，可以使用来自深度传感器120的深度数据代替从图像分析所获得的深度信息。为了图示，多视图分析通常更适合于明亮的照度条件且当对象相对较远时，然而基于调制光的深度感测更加适合于较低的光条件或当被观察对象相对较近(例如，在4-5米内)时。因此，当电子设备100感测到它在户外或者另外在相对较好的照度条件下时，电子设备100可以选择使用多视图分析来确定对象深度。相反地，当电子设备100感测到它在室内或者另外在相对较差的照度条件下时，电子设备100可以切换到使用经由深度传感器120的基于调制光的深度感测。
电子设备100也可以依靠非视觉姿态信息以用于姿态检测。此非视觉姿态信息可由电子设备100经由一个或多个非视觉传感器(图1中未示出)(诸如包括一个或多个陀螺仪、磁强计和加速计的IMU)来获得。在至少一个实施例中，可采用IMU来生成沿着多条运动轴线(包括平移轴线，被表达为电子设备100的参考系的X、Y和Z轴线)和旋转轴线(被表达为电子设备100的参考系的横摇、俯仰和偏航轴线)的姿态信息。非视觉传感器也可包括环境光传感器和定位传感器(诸如GPS传感器)或可用于识别电子设备100的姿态的其它传感器，诸如一个或多个无线无线电、蜂窝无线电等。
在操作中，电子设备100使用图像传感器数据和非视觉传感器数据来估计电子设备100的姿态。在至少一个实施例中，在复位之后电子设备100基于地理定位数据、其它非视觉传感器数据、如在下面进一步描述的视觉传感器数据或其组合来确定初始姿态。随着电子设备100的姿态改变，非视觉传感器以相对较高的速率生成反映设备姿态变化的非视觉姿态信息。同时，视觉传感器捕获也反映设备姿态变化的图像。基于此非视觉和视觉姿态信息，电子设备100更新初始姿态以反映设备的当前姿态。
电子设备100基于对由成像传感器114、116和118中的一个或多个捕获的图像数据中的空间特征的检测来生成视觉姿态信息。为了图示，在所描绘的图1的示例中，局部环境112包括包括有三个拐角124、126和128、底板130及电源插座132的办公大楼的走廊。用户110已定位和定向了电子设备100，使得面向前方成像传感器114和116捕获分别包括走廊的这些空间特征的宽角成像传感器图像数据134和窄角成像传感器图像数据136。在此示例中，深度传感器120也捕获反映这些空间特征相对于电子设备100的当前姿态的相对距离的深度数据138。另外，面向用户成像传感器118捕获表示用户110的头部122的当前姿态的头部跟踪数据140的图像数据。非视觉传感器数据142(诸如来自IMU的读数)也由电子设备100在其当前姿态下收集。
根据此输入数据，电子设备100可在没有来自外部源的显式绝对定位信息的情况下确定其相对姿态的估计。为了图示，电子设备100可执行对宽角成像传感器图像数据134和窄角成像传感器图像数据136的分析以确定电子设备100与拐角124、126、128之间的距离。可替选地，从深度传感器120获得的深度数据138可用于确定空间特征的距离。根据这些距离，电子设备100可对它在由局部环境112表示的办公室中的相对位置进行三角测量或者以其它方式推测。作为另一示例，电子设备100可识别存在于图像数据134和136的捕获的图像集合中的空间特征，确定到这些空间特征的初始距离，然后在后续捕获的影像中跟踪这些空间特征的位置和距离变化以在自由参考系中确定电子设备100的姿态变化。在此方法中，可使用某些非视觉传感器数据(诸如陀螺仪数据或加速计数据)来使在一个图像中观察到的空间特征与在后续图像中观察到的空间特征相关联。
电子设备100为所捕获的影像中识别的空间特征生成特征描述符。所生成的特征描述符中的每一个描述经识别的空间特征中的一个或多个的定向、重力方向、尺度和其它方面。所生成的特征描述符与所存储的描述符(出于描述的目的被称为“已知特征描述符”)的集合相比较，所存储的描述符各自识别先前识别的空间特征及其对应的姿态。在至少一个实施例中，已知特征描述符中的每一个是先前已经由电子设备100或另一电子设备生成的描述符，并且其姿态由电子设备100或另一电子设备最后建立。已知特征描述符可被存储在电子设备100处、在远程服务器处或其它存储设备处，或在其组合处。因此，可在电子设备100处、在远程服务器或其它设备处或者在其组合处执行所生成的特征描述符的比较。
在至少一个实施例中，通过将所生成的特征描述符的每个方面(例如，对应特征的定向、对应特征的尺度等)与已知特征描述符的对应方面相比较并且确定指示被比较特征之间的不同的误差值来将所生成的特征描述符与已知特征描述符相比较的。因此，例如，如果通过矢量A来识别所生成的特征描述符中的特征的定向，并且通过矢量B来识别已知特征描述符中的特征的定向，则电子设备100可通过计算向量A和B之间的差异来识别特征描述符的定向方面的误差值。可根据指定的统计技术(诸如最小平方技术)来组合误差值，以识别被比较的每个已知特征描述符的组合误差值，并且匹配已知特征描述符识别为具有最小组合误差值的已知特征描述符。
已知特征描述符中的每一个包括识别对应空间特征的姿态(例如，定向或视点)的一个或多个字段。因此，已知特征描述符可包括在指定的分辨率(例如1cm)内指示空间特征在指定的坐标系统(例如，表示地球的地理坐标系统)内的定位的姿态信息、空间特征的视点的定向、视点离特征的距离等。所生成的特征描述符与已知特征描述符相比较以识别一个或多个匹配的已知特征描述符。经匹配的已知特征描述符然后用于识别电子设备100的姿态。
在一些场景中，匹配过程将识别与对应生成的特征描述符匹配的多个已知特征描述符，从而指示在电子设备100的局部环境中存在先前已被识别的多个特征。匹配已知特征描述符的对应姿态可以变化，指示电子设备100不在通过匹配已知特征描述符指示的姿态中的特定姿态中。因此，电子设备100可以通过使用常规的插值技术在通过匹配已知特征描述符指示的姿态之间对其姿态进行插值来细化其估计姿态。
在至少一个实施例中，电子设备100可使用所生成的特征描述符和来自非视觉传感器的信息来识别成像传感器114、116、118的捕获条件。此类捕获条件的示例包括电子设备100的运动、感兴趣对象离成像传感器114、116、118的距离(场景距离)、电子设备100的环境中的照度等。基于捕获条件，电子设备100可使针对成像传感器114、116和118中的一个或多个的增益和曝光设置平衡。出于描述的目的，电子设备100被描述为使针对成像传感器114的增益和曝光设置平衡。然而，应理解的是在其它实施例中，电子设备100可单独地使针对成像传感器114、116和118中的任一个或全部的增益和曝光设置平衡。
如上面所指示的，可在电子设备100处识别的捕获条件的一个示例是设备运动。特别地，电子设备100可基于非视觉传感器数据、基于在捕获的影像中识别的特征或其组合来识别其运动。为了经由示例图示，在至少一个实施例中电子设备100可基于由电子设备100的一个或多个陀螺仪提供的信息来识别其旋转速度。在另一实施例中，电子设备100可通过跨越由成像传感器114,、116和118捕获的不同图像跟踪一个或多个特征的定位中的差异来识别其运动。给定特征的定位随着时间的推移的差异被称为该特征的“特征轨迹”。由电子设备100识别的特征轨迹指示电子设备100相对于被跟踪特征的运动。例如，电子设备100可通过跨越不同捕获的图像识别拐角124、126和128的相对位置中的差异来识别拐角124、126、128的特征轨迹。电子设备100使用特征轨迹来识别其姿态变化，并且基于姿态的这些变化得到指示其运动的信息，诸如距离、旋转和线速度等。在至少一个实施例中，电子设备100不使用所有可用的特征轨迹来识别其姿态变化，而是选择识别的特征的子集。例如，在一些场景中电子设备100可以采用被识别为离电子设备100的阈值距离的特征的特征轨迹，因为那些特征轨迹可以提供电子设备100的姿态变化的更稳定或可靠的指示，并且因此提供设备运动的更好指示。
基于由一个或多个陀螺仪指示的运动、特征轨迹或其组合，电子设备100使针对成像传感器114的增益和曝光设置平衡。例如，在至少一个实施例中成像传感器114包括图像传感器阵列以记录当相机的快门打开时通过相机的透镜的光。传感器阵列具有指示可由该阵列的不同传感器记录的光强度中的最大差异的曝光范围。电子设备100可包括用于检测电子设备100的环境中的环境光的一个或多个光传感器(未示出)，并且基于该环境光、由用户指示的手动设置或其组合来识别正被捕获的图像的亮度值的范围。基于亮度值的此范围，电子设备100识别正被捕获的场景的中间色调值，并且识别将导致所捕获的图像的中间色调与场景的中间色调匹配的强度值。电子设备100然后设置针对成像传感器114的曝光和增益以实现此强度。出于描述的目的，曝光和增益的组合被称为针对成像传感器114的强度设置。成像传感器的每个强度设置与传感器阵列的不同的期望的中间色调输出相关联。
对于特定强度设置，取决于电子设备100的捕获条件，可使用针对成像传感器114的曝光和增益的不同组合来实现该强度设置，其中不同组合导致作为结果的图像的不同质量。例如，相对于电子设备100的快速运动，相对较低的曝光和相对较高的增益将通常导致成像传感器114捕获较高质量的图像。因此，响应于识别其运动的旋转速度或其它方面的增加，电子设备100可增加增益并相应地减少成像传感器114的曝光以实现强度设置，从而改进捕获的图像的质量。在电子设备100正在经历相对较少的运动的情况下，成像传感器114的高增益可导致有噪声的图像的捕获。因此，响应于识别其旋转速度的降低电子设备100可降低增益并相应地增加成像传感器的曝光以实现强度设置，从而减少所捕获的图像中的噪声。
在至少一个实施例中，不是识别其运动或者除了识别其运动之外，电子设备100还可识别其离一个或多个感兴趣特征的距离。此距离在本文中被称为电子设备100的“场景距离”。可以各种方式中的任一种来识别场景距离所基于的感兴趣特征。例如，感兴趣特征可基于它们跨越由成像传感器114、116、118捕获的一系列图像的位置、质量或其它方面的一致性来识别。作为另一示例，电子设备100可将感兴趣特征识别为按已经在由成像传感器114、116和118捕获的一个或多个图像中识别了大多数特征的距离范围而识别的那些特征。在许多情况下，与高场景距离相关联的图像受益于较高的曝光。因此，响应于识别高场景距离，电子设备100可降低增益并相应地增加成像传感器的曝光以实现强度设置，由此减少所捕获的图像中的噪声。
电子设备100也可基于电子设备100的预测照度条件来设置强度设置或者使与强度设置相关联的增益和曝光平衡。例如，在至少一个实施例中电子设备100可基于其当前姿态和其当前运动或最近运动历史的组合来预测其将来姿态(定位和定向)。另外，电子设备100可访问与将来姿态相关联的一个或多个存储的特征描述符以识别将来姿态的照度特征，从而预测电子设备100的将来照度条件。基于这些预测的条件，电子设备100可调整强度设置或增益与曝光之间的平衡以确保电子设备100捕获的图像具有较高质量。这些较高质量图像可由电子设备100用于改进的特征检测和其它图像分析，从而改进通过图像分析所支持的基于定位的服务的质量。
图2是根据本公开的至少一个实施例的基于非视觉传感器数据和根据在电子设备100处捕获的影像所识别的特征轨迹的组合来使成像传感器114的增益和曝光平衡的电子设备100的一部分的框图。在所图示的示例中，成像传感器114包括传感器阵列221和快门222。传感器阵列221是诸如有源像素传感器、电荷耦合器件(CCD)传感器等的图像传感器的阵列，其中阵列中的每个传感器一般地被配置成将施加于传感器的光转换为指示施加于传感器的光的强度的一个或多个电信号。传感器阵列221包括一个或多个放大器和其它电路以控制电信号的幅度与所施加的光的强度的比率。此比率被称为成像传感器114的增益，并且是如在本文中进一步描述的可调整量。快门222是可经由电信令控制以打开或者关闭的设备。当快门222被打开时，通过成像传感器114的光圈(未示出)的光被施加到传感器阵列221。相反，当快门222被关闭时，通过光圈的光未被施加到传感器阵列221。快门222被打开以捕获图像的时间量被称为针对该图像的曝光。
为了控制成像传感器114的增益和曝光，电子设备包括增益控制模块230、曝光控制模块235以及运动和场景距离估计器232。增益控制模块230被配置成基于从估计器232接收到的控制信令来设置成像传感器114的增益。类似地，曝光控制模块235被配置成基于从估计器232接收到的其它控制信令来设置成像传感器114的曝光。估计器232被配置成接收指示电子设备100的运动和场景距离的信息，包括陀螺仪数据、特征轨迹信息和深度相机信息。此外，估计器232可接收基于检测到的环境光、用户设置和其它因素指示针对成像传感器114的期望强度设置的信息。基于此信息，估计器232估计电子设备100的运动和场景距离。另外，基于所估计的运动和场景距离，估计器232使针对成像传感器114的增益和曝光平衡以实现所指示的强度设置。
估计器232的示例操作通过图3来图示，图3描绘了包括表示时间的x轴线、表示电子设备100的旋转速度的y轴线以及条305、306和307的图。条305、306和307中的每一个包括指示成像传感器114的增益的交叉阴影部分和指示成像传感器114的对应曝光的未填充部分。条305至307中的每一个与针对成像传感器114的相同的强度设置相关联，并且因此各自表示用于实现相同强度设置的增益和曝光的不同的相对水平。在所图示的示例中，在时间320处估计器232基于所接收到的陀螺仪信息和特征轨迹来确定电子设备100的旋转速度是在水平310下。作为响应，估计器232像通过条305所图示的那样设置成像传感器114的增益和曝光。在时间321处，估计器232识别电子设备100的旋转速度已增加至水平310以上。作为响应，如通过条306所图示的，估计器232增加增益并减少成像传感器114的曝光。在时间322处，估计器232识别电子设备100的旋转速度已降低到低于水平310的水平。作为响应，如通过条307所图示的，估计器232降低增益并增加成像传感器114的曝光水平。因此，估计器232调整成像传感器114的增益和曝光之间的平衡以考虑到电子设备100的旋转速度的变化。
估计器232的另一示例操作通过图4来图示，图4描绘了包括表示时间的x轴线、表示电子设备100的场景深度的y轴线以及条405、406和407的图。与图3的条类似，条405至407中的每一个包括指示成像传感器114的增益的交叉阴影部分和指示成像传感器114的对应曝光的未填充部分。条405至407中的每一个与针对成像传感器114的相同强度设置相关联。在所图示的示例中，在时间420处估计器232基于所接收到的特征轨迹和来自深度相机的信息来确定电子设备100的场景距离是在距离410处。作为响应，估计器232像通过条405所图示的那样设置成像传感器114的增益和曝光。在时间421处，估计器232识别电子设备100的场景距离已增加并且因此大于距离410。作为响应，如通过条406所图示的，估计器232增加曝光并降低成像传感器114的增益。在时间422处，估计器232识别电子设备100的场景距离已减小至距离410以下的距离。作为响应，如通过条307所图示的，估计器232增加增益并降低成像传感器114的曝光水平。因此，估计器232响应于电子设备100的场景距离的变化而调整成像传感器114的增益和曝光之间的平衡。应理解的是，尽管图3和图4的示例描绘了基于单个捕获条件(分别为旋转速度和场景距离)使成像传感器114的增益和曝光平衡，然而在至少一个实施例中估计器232基于不同捕获条件的组合来调整增益与曝光之间的平衡。例如，估计器232可基于旋转速度和场景距离两者来调整成像传感器114的增益和曝光之间的平衡。
图5图示根据本公开的至少一个实施例的估计器232基于电子设备100的预测照度条件使增益和曝光平衡的示例。在所描绘的示例中，电子设备100最初处于离光源510相对较远的姿态501中，然后移动到更靠近光源510的姿态502，并且随后移动到仍然更靠近光源510的姿态503。图5也图示包括表示时间的x轴线、表示电子设备100的预测照度条件的y轴线以及条515和516的图500，所述条515和516各自具有指示成像传感器114的增益的交叉阴影部分和指示成像传感器114的对应曝光的未填充部分。在所图示的示例中，在与姿态501相对应的时间520处，估计器232基于电子设备100的旋转速度、电子设备100的场景距离或其组合来确定要像通过条515所图示的那样设置成像传感器114的增益和曝光。在与姿态502相对应的时间521处，估计器232识别电子设备100的姿态已改变。基于此位置变化，估计器232识别电子设备100的预测运动路径以及通过该预测运动路径所指示的电子设备100的预测将来位置。估计器232因此预测电子设备100在不久的将来将处于或接近姿态503。基于此预测，电子设备100访问姿态503的一个或多个存储的特征描述符，所述特征描述符指示与姿态503相关联的照度量。因此，例如，特征描述符可以指示姿态503相对地更靠近光源510并且因此通常对应于比姿态502更高的照度量。响应于电子设备100的照度的这种预测增加，估计器232增加增益并减少成像传感器114的曝光。在至少一个实施例中，电子设备100可响应于预测照度的变化来改变针对成像传感器114的强度设置，而不是改变增益和曝光的平衡或者除了改变增益和曝光的平衡之外。因此，电子设备100可基于预测的照度变化来改变针对成像传感器114的增益、曝光或强度设置。这确保当电子设备到达预测位置(姿态503)时，针对成像传感器114的设置已经被设置为适于与该姿态相关联的照度的水平。进而，这增加成像传感器114将在姿态503下捕获相对较高质量的图像的似然率。
图6图示根据本公开的至少一个实施例的由电子设备100实现的示例处理系统600。处理系统600包括宽角成像传感器114、窄角成像传感器116、面向用户成像传感器118和深度传感器120。处理系统600进一步包括2D处理器602、应用处理器604、显示控制器606、非视觉传感器集合610和用户接口612。
用户接口612包括由用户操纵来向电子设备100提供用户输入的一个或多个组件，诸如触摸屏614、鼠标、键盘、麦克风616、各种按钮或开关以及各种触觉致动器618。非视觉传感器集合610可包括用于提供电子设备100的非视觉场境或状态的各种传感器中的任一个。此类传感器的示例包括IMU 621和环境光传感器626，所述IMU 621包括陀螺仪620、磁强计622和加速计624。非视觉传感器进一步可包括各种基于无线接收或传输的传感器，诸如GPS接收器628、无线局域网(WLAN)接口630、蜂窝接口632、对等(P2P)无线接口634和近场通信(NFC)接口636。非视觉传感器也可包括用户接口612的用户输入组件，诸如触摸屏614或麦克风616。
电子设备100进一步能够访问存储与其图像处理、定位映射和定位利用过程相结合地使用的信息或元数据的各种数据储存器(datastores)。这些数据储存器可包括用于存储从由电子设备100的成像传感器捕获的影像所识别的2D空间特征的元数据的2D特征数据储存器638以及用于存储使用分析或基于调制光的深度感测来从针对2D空间特征的深度感测所识别的3D特征的元数据的3D空间特征数据储存器640。为2D和3D特征而存储的元数据可包括例如用于同步目的的时间戳、空间特征被识别了的图像的图像识别符、所使用的捕获设备的识别符、校准信息等。此元数据进一步可包括同时与包含经识别的空间特征的图像一起的非视觉传感器数据，诸如GPS、Wi-Fi或其它无线电信息、时刻信息、天气状况信息(其影响照度)等。数据储存器进一步可包括存储基于SLAM的信息或AR信息的SLAM/AR数据储存器642，所述基于SLAM的信息诸如已经由电子设备100探索的局部环境112(图1)的区域的映射信息，所述AR信息诸如感兴趣对象在局部环境112中的相对定位的基于CAD的表示。数据储存器638和640也可存储已知特征描述符和基于在电子设备100处捕获的影像而生成的特征描述符。数据储存器可以在电子设备100本地，诸如在硬盘驱动器、固态存储器或可移动存储介质(未图示)上，数据储存器可以位于远处并且可以经由例如电子设备100的无线接口中的一个或多个访问，或者数据储存器可以作为本地和远程数据存储部的组合被实现。
在所描绘的实施方式中，处理系统600采用两个处理器：被配置成从由电子设备100的成像传感器捕获的可见光影像和深度传感器影像中高效地识别2D空间特征的2D处理器602；以及被配置成从2D空间特征中高效地识别3D空间特征并且高效地提供基于定位的功能性(诸如视觉测距或其它SLAM功能性、AR功能性等)的应用处理器604。然而，在其它实施例中，可以在单个处理器中实现所描述的2D处理器602和应用处理器604的功能性，或者多于两个处理器一起可以实现所描述的功能性。2D处理器602可作为例如单核或多核图形处理单元(GPU)被实现，并且应用处理器604可作为例如GPU或者单核或多核中央处理单元(CPU)被实现。
2D处理器602耦合到宽角成像传感器114、窄角成像传感器116和面向用户成像传感器118，以便在一个或多个像素行缓冲器644中接收由成像传感器捕获的图像数据。在一个实施例中，2D处理器602包括用于每个成像传感器的接口和像素行缓冲器644以便能够并行地从每个成像传感器接收图像数据。在另一实施例中，2D处理器602包括单个接口和像素行缓冲器644，并且因此2D处理器602在成像传感器之间多路复用。
2D处理器602被配置成处理来自成像传感器的所捕获的图像数据以识别存在于图像数据中的2D空间特征。在一些实施例中，2D处理器602实现为此任务专门地设计的硬件配置。在其它实施例中，2D处理器602包括通过执行被配置成实现2D空间特征检测过程的软件程序来提供2D空间特征检测的更通用的处理器架构。2D处理器602也可以实现用于此目的的专门硬件和专门软件的组合。如上所述，各种众所周知的2D空间特征检测或提取算法中的任一种均可以由2D处理器602来实现。2D处理器602将和经识别的2D空间特征有关的元数据和其它信息存储到2D特征数据储存器638。
在一个实施例中，2D处理器602被配置成实现基于图像的姿态估计器232以使用各种众所周知的头部跟踪算法中的任一种来分析由面向用户成像传感器118捕获的影像以跟踪用户的头部的当前姿态(例如，当前定位)。在所描绘的示例中，2D处理器602将头部跟踪信息提供给显示控制器606，所述显示控制器606进而被配置成调整所显示的影像以对用户的如在用户的头部的姿态变化中所反映的视图透视的变化起反应。在另一实施例中，2D处理器602将头部跟踪信息提供给应用处理器604，所述应用处理器604进而在显示数据被提供给显示控制器606之前修改显示数据以反映更新的视图透视。
2D处理器602也作为控制器，所述控制器在其在确定在所捕获的局部环境112的影像中识别的空间特征的深度数据时的使用中操作调制光投影仪119。在某些条件(诸如相对明亮设置(如使用环境光传感器626感测的))下，2D处理器602可以使用对由宽角成像传感器114和窄角成像传感器116同时捕获的影像的图像分析来确定存在于所捕获的影像中的空间特征的深度数据。在诸如相对较低照度条件的其它条件下，2D处理器602可以切换到使用深度传感器120(图1)来确定此深度数据。在其它实施例中，处理系统600实现与2D处理器602分开的控制器(未图示)以控制调制光投影仪119的操作。
如上所述，深度传感器120依靠由调制光投影仪119将调制光图案投影到局部环境中并且依靠由成像传感器中的一个或多个从其捕获调制光图案的反射。因此，2D处理器602可以使用面向前方成像传感器114和116中的一个或两个来捕获调制光图案的投影的反射并且处理所反射的调制光图案的作为结果的影像以确定所反射的调制光图案中表示的对应空间特征的深度。为了使深度读数与对应的2D空间特征匹配，2D处理器602可对深度影像执行2D空间特征分析以确定2D空间特征及其相对深度，然后试图使2D空间特征与在所反射的调制光影像被捕获的相同同时或附近捕获的可见光影像中识别的对应空间特征相匹配。在另一实施例中，2D处理器602可捕获可见光图像，并且此后快速地控制调制光投影仪119以投影调制光图案并捕获反射的调制光图像。2D处理器602然后可从所反射的调制光图像开发可见光图像的深度图，因为它们由于可见光图像和所反射的调制光图像的同时捕获而有效地表示在相同坐标处具有相同空间特征的相同场景。
应用处理器604被配置成使用在2D特征数据储存器638中表示的2D空间特征并且使用来自非视觉传感器集合610的非视觉传感器信息来识别在所捕获的影像中表示的空间特征。与2D处理器602一样，应用处理器604可以被配置成通过专门硬件配置、通过执行为此过程而配置的软件或专门硬件和软件的组合来执行此过程。经识别的3D空间特征的元数据和其它信息被存储在3D特征数据储存器640中。在至少一个实施例中，应用处理器604实现运动和场景距离估计器232(图2)的操作(例如，执行当被执行时操纵应用处理器604以执行运动和场景距离估计器232(图2)的操作的指令)。因此，应用处理器604可识别电子设备100的运动的方面，诸如旋转速度，可识别电子设备100的场景距离，可识别电子设备100的预测照度和其它捕获条件。基于这些条件，应用处理器604可设置针对成像传感器114的强度设置，并且像上面所描述的那样针对该强度设置使增益和曝光平衡。
应用处理器604进一步被配置成使用在3D特征数据储存器640中表示的3D空间特征并且使用如通过非视觉传感器数据所表示的电子设备100的当前场境来提供SLAM、AR、VR和其它基于定位的功能性。当前场境可包括从例如用户接口612或经由对用户交互的分析而获得的显式或隐式用户输入。此功能性可包括确定电子设备100的当前相对姿态。类似地，应用处理器604可使用电子设备100的位置/定向的历史以及在那些位置/定向中观察到的空间特征的历史来创建局部环境112的地图。
由应用处理器604提供的基于定位的功能性进一步可包括AR相关或VR相关功能性，所述AR相关或VR相关功能性包括基于由应用处理器604确定的当前姿态来识别并从SLAM/AR数据储存器642访问要作为显示器108上的图形覆盖图提供的图形信息。可与由成像传感器在当前姿态下捕获的影像相关联地提供此图形覆盖图以用于经由显示控制器606在显示器108处显示。显示控制器606操作来控制显示器108(图1)以显示通过从应用处理器604接收到的显示数据所表示的影像。此外，在一些实施例中，显示控制器606可从2D处理器602接收头部跟踪信息并且基于在所接收到的头部追踪信息中表示的用户头部位置或眼睛位置来调整被显示的影像的视图透视。
图7图示根据本公开的至少一个实施例的使电子设备100处的成像传感器的增益和曝光平衡的方法700的流程图。方法700在块702处发起，其中电子设备100基于由陀螺仪620和其它非视觉传感器提供的信息、基于根据由电子设备100捕获的影像而识别的特征轨迹或其组合来识别其运动。在块704处，电子设备100基于如上所述的图像和非视觉数据来识别其当前姿态(定位和定向)，然后使用其识别的运动来预测设备的将来定位。例如，如果经识别的动作指示电子设备100正在以给定速度量在给定方向上移动，则所预测的将来姿态是如通过给定速度量所指示的电子设备100沿着给定方向的位置。在块706处，电子设备100识别与所预测的姿态相关联的一个或多个存储的描述符，其中一个或多个描述符的至少一子集指示与所预测的姿态相关联的照度量。基于这些描述符，电子设备100预测与所预测的姿态相关联的照度量。在块708处，电子设备100基于所预测的照度来调整针对成像传感器114的传感器的强度设置，从而为电子设备100正移动向的照度条件而准备传感器。
在块710处，电子设备100识别成像传感器114的场景距离。例如，电子设备100可识别由成像传感器114最近捕获的图像集合上的特征并且选择在该图像集合上一致的特征。一致性的方面可以是位置的一致性、与特征的识别相关联的置信水平的一致性等或其组合。电子设备100然后通过基于与特征相关联的描述符和电子设备100的当前姿态而识别相机离所选择的特征的距离来识别成像传感器114的场景距离。在块712处电子设备100基于设备运动、场景距离或其组合来调整成像传感器114的增益和曝光设置以使增益和曝光平衡。电子设备100由此增强由成像传感器114随后捕获的图像的质量，从而提供通过所捕获的图像支持的基于定位的功能性的改进的质量。
上面所描述的大部分发明功能性和许多发明原理非常适于利用或者用软件程序或指令和集成电路(IC)(诸如专用IC(ASIC))加以实现。预期不管通过例如可用时间、当前技术和经济考虑事项所推动的可能显著的努力和许多设计选择，普通技术人员当通过本文中所公开的构思和原理引导时，将容易地能够以最小试验生成此类软件指令和程序及IC。因此，为了简洁以及使根据本公开的原理和构思混淆的任何风险的最小化，对此类软件和IC的进一步讨论(若有的话)将限于关于优选实施例内的原理和构思的基本要素。
在此文档中，可以单独使用诸如第一和第二等的关系术语来区分一个实体或动作和另一实体或动作，而不必在此类实体或动作之间要求或者暗示任何实际的这种关系或顺序。术语“包括”、“包括有”或其任何其它变化旨在涵盖非排他性包含，使得包括元件的列表的过程、方法、物品或装置不仅包括那些元件，而且可以包括未明确地列举或者为这种过程、方法、物品或装置所固有的其它元件。在没有更多约束的情况下，继之以“包括……一”的元件不排除在包括该元件的过程、方法、物品或装置中存在附加的相同元件。如本文中所使用的术语“另一”被定义为至少第二或更多。如本文中所使用的术语“包含”和/或“具有”被定义为包括。如本文中参考电光技术所使用的术语“耦合”被定义为连接，但是不一定直接地连接，且不一定机械地连接。如本文中所使用的术语“程序”被定义被设计用于在计算机系统上执行的指令的序列。“程序”或“计算机程序”可以包括子例行程序、函数、过程、对象方法、对象实施方式、可执行应用、小程序、小服务程序、源代码、目标代码、共享库/动态加载库和/或被设计用于在计算机系统上执行的指令的其它序列。
本说明书和附图仅应该被认为是示例，并且本公开的范围因此旨在仅由以下权利要求及其等同物来限定。注意的是，并非上面在一般描述中描述的所有的活动或元件都是必需的，特定活动或设备的一部分可以不是必需的，并且可以执行一个或多个另外的活动，或者包括除所描述的那些元件之外的元件。更进一步地，活动被列举的顺序不一定是它们被执行的顺序。除非另外指定否则上面所描绘的流程图的步骤可以是按照任何顺序，并且可以取决于实施方式消除、重复和/或添加步骤。另外，已经参考特定实施例对构思进行了描述。然而，本领域的普通技术人员应理解的是，可在不脱离如下面的权利要求中所阐述的本公开的范围的情况下作出各种修改和改变。因此，本说明书和附图将在说明性而不是限制性意义上考虑，并且所有此类修改旨在被包括在本公开的范围内。
已经在上面关于特定实施例描述了有益效果、其它优点和对问题的解决方案。然而，有益效果、优点、对问题的解决方案以及可以使任何有益效果、优点或对问题的解决方案发生或者变得更明显的任何特征将不被解释为任一或所有权利要求的关键的、必需的或必要的特征。

Claims (20)

1.一种用于使曝光和增益平衡的方法，包括：
在电子设备处针对在所述电子设备的一个或多个成像传感器处捕获的影像中识别的一个或多个空间特征来生成一个或多个特征描述符，其中，所生成的特征描述符中的每个特征描述符描述所识别的空间特征中的一个或多个空间特征的定向、重力方向和尺度中的一个或多个，其中，所生成的一个或多个特征描述符与已知特征描述符的集合相比较以识别一个或多个匹配的已知特征描述符，以识别所述电子设备的姿态；
在所述电子设备处基于所生成的特征描述符并且基于从一个或多个非视觉传感器获得的所接收到的非视觉姿态信息来识别所述电子设备的运动；以及
基于所识别的运动使与所述一个或多个成像设备相关联的增益和曝光平衡。
2.根据权利要求1所述的方法，其中，所述一个或多个非视觉传感器包括所述电子设备的陀螺仪。
3.根据权利要求1所述的方法，其中，基于所生成的特征描述符来识别运动包括：
基于在所述电子设备处捕获的第一图像来识别第一空间特征；以及
基于所述第一空间特征在所述第一图像中的第一位置与所述第一空间特征在所述电子设备处捕获的第二图像中的第二位置之间的差异来识别所述运动。
4.根据权利要求3所述的方法，其中，基于所生成的特征描述符来识别运动包括：
基于所述第一空间特征离所述电子设备的距离来选择所述第一空间特征。
5.根据权利要求1所述的方法，其中，使所述增益和所述曝光平衡包括：
基于通过所述影像所指示的场景的深度进一步使所述增益和所述曝光平衡。
6.根据权利要求5所述的方法，进一步包括：
基于由所述电子设备的深度相机捕获的信息来识别所述场景的所述深度。
7.根据权利要求1所述的方法，其中，使所述增益和所述曝光平衡包括：
基于所识别的所述电子设备的运动来预测照度；以及
基于所预测的照度进一步使所述增益和所述曝光平衡。
8.根据权利要求7所述的方法，其中，预测所述照度包括：
基于所生成的特征描述符并且基于从所述一个或多个非视觉传感器接收到的数据来识别所述电子设备的当前姿态；
基于经识别的所述电子设备的运动来预测所述电子设备的将来姿态；以及
基于所预测的所述电子设备的将来姿态来预测所述照度。
9.根据权利要求1所述的方法，使所述增益和所述曝光平衡包括：
响应于所述电子设备的运动的增加而增加所述增益并减少所述曝光；以及
响应于所述电子设备的运动的减小而减少所述增益并增加所述曝光。
10.一种用于使曝光和增益平衡的方法，包括：
在电子设备处针对在所述电子设备的一个或多个成像传感器处捕获的影像中识别的一个或多个空间特征来生成一个或多个特征描述符，其中，所生成的特征描述符中的每个特征描述符描述所识别的空间特征中的一个或多个空间特征的定向、重力方向和尺度中的一个或多个，其中，所生成的一个或多个特征描述符与已知特征描述符的集合相比较以识别一个或多个匹配的已知特征描述符，以识别所述电子设备的姿态；
在所述电子设备处基于所生成的一个或多个特征描述符并且基于所述电子设备的深度传感器来识别场景的距离；以及
基于所识别的距离使与所述一个或多个成像传感器相关联的增益和与所述一个或多个成像传感器相关联的曝光平衡。
11.根据权利要求10所述的方法，其中，识别所述一个或多个空间特征的所述距离包括：
基于在所述电子设备处捕获的第一图像来识别第一特征；以及
基于与所述第一特征相关联的匹配的已知特征描述符来识别所述距离。
12.根据权利要求10或权利要求11所述的方法，其中，使所述增益和所述曝光平衡包括：
基于检测到的所述电子设备的运动进一步使所述增益和所述曝光平衡。
13.根据权利要求12所述的方法，其中，所述检测到的运动包括所述电子设备的旋转速度。
14.一种电子设备，包括：
成像传感器，所述成像传感器用于捕获影像；
增益控制模块，所述增益控制模块用于控制所述成像传感器的增益；
曝光控制模块，所述曝光控制模块用于控制所述成像传感器的曝光；
非视觉传感器，所述非视觉传感器用于捕获所述电子设备的非视觉姿态信息；以及
处理器，所述处理器用于：
针对在所捕获的影像中识别的一个或多个空间特征来生成一个或多个特征描述符，其中，所生成的特征描述符中的每个特征描述符描述所识别的空间特征中的一个或多个空间特征的定向、重力方向和尺度中的一个或多个；
将所生成的一个或多个特征描述符与一个或多个已知特征描述符相比较以识别匹配的已知特征描述符，以识别所述电子设备的姿态；
基于所生成的特征描述符并且基于所述非视觉姿态信息来识别所述电子设备的运动；以及
基于所识别的运动使所述增益和所述曝光平衡。
15.根据权利要求14所述的电子设备，其中，所述处理器通过以下步骤基于影像来识别运动：
基于在所述电子设备处捕获的第一图像来识别第一特征；以及
基于所述第一特征在所述第一图像中的第一位置与所述第一特征在所述电子设备处捕获的第二图像中的第二位置之间的差异来识别所述运动。
16.根据权利要求15所述的电子设备，其中，所述处理器通过以下步骤基于影像来识别运动：
基于所述第一特征离所述电子设备的距离来选择所述第一特征。
17.根据权利要求14所述的电子设备，其中，所述处理器通过以下步骤来使所述增益和所述曝光平衡：
基于通过所述影像所指示的场景的深度进一步使所述增益和所述曝光平衡。
18.根据权利要求17所述的电子设备，其中，所述处理器：
基于由所述电子设备的深度相机捕获的信息来识别所述场景的所述深度。
19.根据权利要求14所述的电子设备，其中，所述处理器通过以下步骤来使所述增益和所述曝光平衡：
基于所述电子设备的所述运动来预测照度；以及
基于所预测的照度进一步使所述增益和所述曝光平衡。
20.根据权利要求19所述的电子设备，其中，所述处理器通过以下步骤来预测所述照度：
基于在所述电子设备处捕获的所述影像并且基于所接收到的非视觉姿态信息来识别所述电子设备的当前姿态；
基于经识别的所述电子设备的运动来预测所述电子设备的将来姿态；以及
基于所预测的所述电子设备的将来姿态来预测所述照度。
CN201680041185.8A 2015-10-21 2016-09-22 基于设备运动和场景距离使电子设备处的曝光和增益平衡 Active CN107852447B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/918,730 US9819855B2 (en) 2015-10-21 2015-10-21 Balancing exposure and gain at an electronic device based on device motion and scene distance
US14/918,730 2015-10-21
PCT/US2016/053087 WO2017069908A1 (en) 2015-10-21 2016-09-22 Balancing exposure and gain at an electronic device based on device motion and scene distance

Publications (2)

Publication Number Publication Date
CN107852447A CN107852447A (zh) 2018-03-27
CN107852447B true CN107852447B (zh) 2021-03-30

Family

ID=57218976

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680041185.8A Active CN107852447B (zh) 2015-10-21 2016-09-22 基于设备运动和场景距离使电子设备处的曝光和增益平衡

Country Status (4)

Country Link
US (2) US9819855B2 (zh)
EP (2) EP3366031B1 (zh)
CN (1) CN107852447B (zh)
WO (1) WO2017069908A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017149441A1 (en) * 2016-02-29 2017-09-08 Nokia Technologies Oy Adaptive control of image capture parameters in virtual reality cameras
JP6762806B2 (ja) * 2016-08-26 2020-09-30 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
GB2570448B (en) * 2018-01-23 2021-12-22 Canon Kk Method and system for improving auto-setting of cameras
US10536646B2 (en) * 2017-07-28 2020-01-14 Panasonic Intellectual Property Corporation Of America Imaging control device and imaging control method
JP7091073B2 (ja) * 2018-01-05 2022-06-27 キヤノン株式会社 電子機器及びその制御方法
WO2020006078A1 (en) 2018-06-26 2020-01-02 Gopro, Inc. Entropy maximization based auto-exposure
CN109146966B (zh) * 2018-06-26 2021-02-23 广州视源电子科技股份有限公司 视觉slam前端处理方法、系统、存储介质及计算机设备
WO2021109885A1 (en) * 2019-12-06 2021-06-10 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Light source detection for extended reality technologies
CN111698427B (zh) * 2020-06-23 2021-12-24 联想(北京)有限公司 一种图像处理方法、装置及电子设备
US11631196B2 (en) * 2020-07-31 2023-04-18 Zebra Technologies Corporation Systems and methods to optimize imaging settings for a machine vision job
US11812146B2 (en) * 2021-12-02 2023-11-07 Fotonation Limited Method and system for camera motion blur reduction
US20240096049A1 (en) * 2022-09-19 2024-03-21 Qualcomm Incorporated Exposure control based on scene depth

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101322153A (zh) * 2005-11-30 2008-12-10 伊斯曼柯达公司 调节数字图像的曝光和色标
CN101390010A (zh) * 2006-02-21 2009-03-18 诺基亚公司 具有闪光单元的色彩平衡照相机
CN101552873A (zh) * 2008-04-04 2009-10-07 索尼株式会社 成像设备、图像处理设备以及曝光控制方法
CN102300055A (zh) * 2010-06-24 2011-12-28 索尼公司 图像处理装置、图像拍摄装置、图像处理方法和程序
CN102300050A (zh) * 2010-06-24 2011-12-28 索尼公司 图像处理装置、图像拾取装置、图像处理方法和程序
CN102396215A (zh) * 2009-04-20 2012-03-28 高通股份有限公司 运动信息辅助型3a技术
KR20140077071A (ko) * 2012-12-13 2014-06-23 엘지이노텍 주식회사 영상처리장치 및 방법

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8045009B2 (en) * 2004-05-10 2011-10-25 Hewlett-Packard Development Company, L.P. Image-exposure systems and methods using detecting motion of a camera to terminate exposure
US8260008B2 (en) 2005-11-11 2012-09-04 Eyelock, Inc. Methods for performing biometric recognition of a human eye and corroboration of same
US7697836B2 (en) * 2006-10-25 2010-04-13 Zoran Corporation Control of artificial lighting of a scene to reduce effects of motion in the scene on an image being acquired
US7995097B2 (en) * 2007-05-25 2011-08-09 Zoran Corporation Techniques of motion estimation when acquiring an image of a scene that may be illuminated with a time varying luminance
JP5308792B2 (ja) 2008-11-28 2013-10-09 オリンパス株式会社 ホワイトバランス調整装置、ホワイトバランス調整方法、ホワイトバランス調整プログラム、および、撮像装置
JP5383366B2 (ja) * 2009-07-28 2014-01-08 キヤノン株式会社 画像処理装置、画像処理方法、および、そのプログラム
US8233789B2 (en) 2010-04-07 2012-07-31 Apple Inc. Dynamic exposure metering based on face detection
US20120130284A1 (en) * 2010-11-24 2012-05-24 Honeywell International Inc. System and method for constructing distance estimate models for personal navigation
US8593565B2 (en) * 2011-03-25 2013-11-26 Gary S. Shuster Simulated large aperture lens
JP2014534659A (ja) 2011-09-23 2014-12-18 クリエイツ インコーポレイテッドＣｒｅａｔｚ Ｉｎｃ． 周辺の明るさに応じてカメラを制御して良好なボールのイメージを取得するための仮想スポーツシステム
US9007368B2 (en) * 2012-05-07 2015-04-14 Intermec Ip Corp. Dimensioning system calibration systems and methods
KR101937708B1 (ko) 2012-07-09 2019-04-11 삼성전자 주식회사 카메라 제어 시스템과 이를 포함하는 단말기 및 카메라 제어 방법
US20150022687A1 (en) 2013-07-19 2015-01-22 Qualcomm Technologies, Inc. System and method for automatic exposure and dynamic range compression
WO2015104236A1 (en) * 2014-01-07 2015-07-16 Dacuda Ag Adaptive camera control for reducing motion blur during real-time image capture

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101322153A (zh) * 2005-11-30 2008-12-10 伊斯曼柯达公司 调节数字图像的曝光和色标
CN101390010A (zh) * 2006-02-21 2009-03-18 诺基亚公司 具有闪光单元的色彩平衡照相机
CN101552873A (zh) * 2008-04-04 2009-10-07 索尼株式会社 成像设备、图像处理设备以及曝光控制方法
CN102396215A (zh) * 2009-04-20 2012-03-28 高通股份有限公司 运动信息辅助型3a技术
CN102300055A (zh) * 2010-06-24 2011-12-28 索尼公司 图像处理装置、图像拍摄装置、图像处理方法和程序
CN102300050A (zh) * 2010-06-24 2011-12-28 索尼公司 图像处理装置、图像拾取装置、图像处理方法和程序
KR20140077071A (ko) * 2012-12-13 2014-06-23 엘지이노텍 주식회사 영상처리장치 및 방법

Also Published As

Publication number Publication date
US9819855B2 (en) 2017-11-14
EP3366031A1 (en) 2018-08-29
EP3366031B1 (en) 2021-11-10
US10154190B2 (en) 2018-12-11
CN107852447A (zh) 2018-03-27
US20170118400A1 (en) 2017-04-27
EP3975549A1 (en) 2022-03-30
WO2017069908A1 (en) 2017-04-27
US20180035043A1 (en) 2018-02-01

Similar Documents

Publication Publication Date Title
CN107852447B (zh) 基于设备运动和场景距离使电子设备处的曝光和增益平衡
CN108283018B (zh) 电子设备和用于电子设备的姿态识别的方法
US10242454B2 (en) System for depth data filtering based on amplitude energy values
US9646384B2 (en) 3D feature descriptors with camera pose information
US9953243B2 (en) Electronic device localization based on imagery
JP6228320B2 (ja) 制約なしｓｌａｍ用のセンサベースのカメラ運動検出
US9142019B2 (en) System for 2D/3D spatial feature processing
KR102398478B1 (ko) 전자 디바이스 상에서의 환경 맵핑을 위한 피쳐 데이터 관리
US11935286B2 (en) Method and device for detecting a vertical planar surface

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant