CN107771391A - 图像帧的曝光时间的确定 - Google Patents

图像帧的曝光时间的确定 Download PDF

Info

Publication number
CN107771391A
CN107771391A CN201680034022.7A CN201680034022A CN107771391A CN 107771391 A CN107771391 A CN 107771391A CN 201680034022 A CN201680034022 A CN 201680034022A CN 107771391 A CN107771391 A CN 107771391A
Authority
CN
China
Prior art keywords
motion
cluster
picture frame
region
region interested
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680034022.7A
Other languages
English (en)
Other versions
CN107771391B (zh
Inventor
S·森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN107771391A publication Critical patent/CN107771391A/zh
Application granted granted Critical
Publication of CN107771391B publication Critical patent/CN107771391B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/215Motion-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time

Abstract

提供了一种用于调整图像帧的曝光时间的装置。该装置包括至少一个处理单元以及至少一个存储器。所述至少一个存储器存储程序指令,所述程序指令在由所述至少一个处理器单元执行时致使所述装置处理至少一个图像帧,从所述至少一个图像帧中选择至少一个感兴趣的区域,处理至少两个连续图像帧以确定运动场,将所述运动场分割成至少一个运动聚类,基于所述至少一个感兴趣的区域以及所述至少一个运动聚类来选择最相关的运动聚类,以及基于所选择的最相关的运动聚类的运动信息来调整曝光时间。

Description

图像帧的曝光时间的确定
背景
当用相机拍摄图像时,在图像曝光期间移动的物体或移动的相机的存在可导致图像中的运动模糊。为了避免运动模糊,曝光时间可被自动或手动调整。
概述
提供本概述是为了以简化的形式介绍将在以下详细描述中进一步描述的一些概念。本概述并不旨在标识出所要求保护的主题的关键特征或必要特征,也不旨在用于限定所要求保护的主题的范围。
在一个实施例中,提供了一种装置。装置包括至少一个处理单元,以及至少一个存储器。所述至少一个存储器存储程序指令,所述程序指令在由所述至少一个处理器单元执行时致使所述装置处理至少一个图像帧,从所述至少一个图像帧中选择至少一个感兴趣的区域,处理至少两个连续图像帧以确定运动场,将所述运动场分割成至少一个运动聚类,基于所述至少一个感兴趣的区域以及所述至少一个运动聚类来选择最相关的运动聚类,以及基于所选择的最相关的运动聚类的运动信息来调整曝光时间。
在另一实施例中,提供了一种方法。方法包括处理至少一个图像帧,从所述至少一个图像帧中选择至少一个感兴趣的区域,处理至少两个连续图像帧以确定运动场,将所述运动场分割成至少一个运动聚类,基于所述至少一个感兴趣的区域以及所述至少一个运动聚类来选择最相关的运动聚类,以及基于所选择的最相关的运动聚类的运动信息来调整曝光时间。
在另一实施例中,提供了一种装置。装置包括至少一个处理单元,以及至少一个存储器。所述至少一个存储器存储程序指令,所述程序指令在由所述至少一个处理器单元执行时致使所述装置处理至少两个连续图像帧以确定运动场,基于所述运动场的运动值将所述运动场分割成不同运动聚类,基于运动的相关性对所述运动聚类进行排名,基于所述排名选择最相关的运动聚类,以及基于所述最相关的运动聚类的运动信息来调整曝光时间。
许多附带特征将随着参考下面的详细描述并结合附图进行理解而得到更好的认识。
附图简述
根据附图阅读以下详细描述将更好地理解本说明书,在附图中:
图1是描绘装置的系统示意图,该装置包括各种任选的硬件和软件组件。
图2A是例示出用于确定图像帧的曝光时间的方法的一个实施例的流程图。
图2B是例示出用于确定图像帧的曝光时间的方法的另一实施例的流程图。
图3例示出用于确定图像帧的曝光时间的另一实施例。
图4例示出用于确定图像帧的曝光时间的另一实施例。
图5例示出用于确定图像帧的曝光时间的另一实施例。
图6例示出用于确定图像帧的曝光时间的另一实施例。
图7A例示出用于确定图像帧的曝光时间的另一实施例。
图7B例示出用于确定图像帧的曝光时间的另一实施例。
图7C例示出用于确定图像帧的曝光时间的另一实施例。
图7D例示出用于确定图像帧的曝光时间的另一实施例。
图8A例示出用于确定图像帧的曝光时间的另一实施例。
图8B例示出用于确定图像帧的曝光时间的另一实施例。
图9是例示出用于确定图像帧的曝光时间的方法的一个实施例的流程图。
在各个附图中使用相同的附图标记来指代相同的部件。
详细描述
下面结合附图提供的详细描述旨在作为本发明示例的描述,并不旨在表示可以构建或使用本发明示例的唯一形式。然而,可以通过不同的示例来实现相同或等效功能和序列。此外,如在本申请和权利要求书中使用的,单数形式“一”、“一个”、以及“该”包括复数形式,除非上下文清楚地另外指明。另外,术语“包括”意味着“开放性包含”。此外,术语“耦合”包含机械的、电气的、磁的、光学的、以及其它可行形式的将物体耦合或链接到一起,并且不排除耦合的物体之间的中间元件的存在。
图1是描绘装置100的系统示意图,该装置100包括在138概括示出的各种任选的硬件和软件组件。装置100中的任何组件138可与任何其他组件通信,但出于容易例示的目的而未示出所有连接。装置100可以是各种包括相机(例如,数字相机、蜂窝电话、智能电话、手持式计算机、平板计算机、个人数字助理(PDA)等)的计算设备中的任意一种。
图示的装置100可以包括用于执行任务的控制器或处理器102(例如,信号处理器、微处理器、ASIC或者其他控制和处理逻辑电路),所述任务诸如信号编码、数据处理、输入/输出处理、功率控制、和/或其他功能。操作系统104可以控制各组件138的分配和使用,并且支持一个或多个应用程序140。应用程序可以包括常见的移动计算应用(例如,电子邮件应用、日历、联系人管理器、web浏览器、消息收发应用)、或者任何其他计算应用。
图示的装置100可以包括存储器106。存储器106可以包括不可移动存储器108和/或可移动存储器110。不可移动存储器108可以包括RAM、ROM、闪存、硬盘或者其他公知的存储器存储技术。可移动存储器110可包括闪存或订户身份模块(SIM)卡,SIM卡是GSM通信系统中众所周知的,或者其他众所周知的存储器存储技术,诸如智能卡摂。存储器106可用于存储运行操作系统104和应用140的数据和/或代码。如果装置100是移动电话或智能电话,则存储器106可被用于存储订户标识符和设备标识符,所述订户标识符诸如国际移动订户身份(IMSI),所述设备标识符诸如国际移动设备标识符(IMEI)。这种标识符可以被发射至网络服务器以标识用户和设备。
装置100可以支持一个或多个输入设备112以及一个或多个输出设备122,所述输入设备诸如触摸屏114、话筒116、相机118、和/或物理键或键盘120,所述输出设备诸如扬声器124和显示器126。一些设备可以用于多于一个输入/输出功能。例如,触摸屏114和显示器126可被组合在单个输入/输出设备中。输入设备112可以包括自然用户界面(NUI)。NUI是使得用户能够以“自然”方式与设备交互而无需由诸如鼠标、键盘、遥控等强加的人为约束的任何接口技术。NUI方法的示例包括依赖于语音识别、触摸和触笔识别、屏上及邻近屏的姿势识别、空中姿势、头部和眼部跟踪、说话和语音、视觉、触摸、姿势以及机器智能的那些方法。NUI的其它示例包括运动姿势检测,运动姿势检测使用加速计/陀螺仪、脸部识别、3D显示器、头、眼以及凝视跟踪、沉浸式增强现实和虚拟现实系统(所有这些都提供更为自然的界面),以及用于通过使用电场感测电极(EEG和相关方法)感测脑部活动的技术。因此,在一个具体示例中,操作系统104或应用140可以包括语音识别软件作为语音用户界面的一部分,该语音用户界面允许用户经由语音命令来操作装置100。此外,装置100可包括允许经由用户的空间姿势进行用户交互(诸如检测和解释姿势以向游戏应用提供输入)的输入设备和软件。
无线调制解调器128可被耦合到天线(未示出),并可支持处理器102和外部设备之间的双向通信,如本领域中清楚理解的。调制解调器128被一般性地示出,并且可以包括用于与移动通信网的蜂窝调制解调器和/或其它基于无线电的调制解调器(例如蓝牙或Wi-Fi)。无线调制解调器128被典型地配置用于与一个或多个蜂窝网络通信、蜂窝网络之间的通信、或者在移动装置和公共交换电话网络(PSTN)之间的通信等,蜂窝网络诸如用于在单个蜂窝网络内的数据和语音通信的GSM网络、WCDMA(宽频码分多址)网络、LTE(长期演进)网络、4G LTE网络。
装置100还可包括至少一个输入/输出端口130、诸如全球定位系统(GPS)接收机之类的卫星导航系统接收机132、一个或多个硬件运动传感器(例如,加速度计、陀螺仪等)134、和/或物理连接器136,物理连接器可以是USB端口、IEEE 1394(火线)端口、和/或RS-232端口。图示的组件138不是必须的或全包含的,因为任何组件可以被删除且其他组件可以被添加。
处理器102或处理器102与存储器106可工作为用于处理至少一个图像帧的装置,用于从所述至少一个图像帧中选择至少一个感兴趣的区域的装置,用于处理至少两个连续图像帧以确定运动场的装置,用于将所述运动场分割成至少一个运动聚类的装置,用于基于所述至少一个感兴趣的区域以及所述至少一个运动聚类来选择最相关的运动聚类的装置,以及用于基于所选择的最相关的运动聚类的运动信息来调整曝光时间的装置。
处理器102或处理器102与存储器106可工作为用于处理至少两个连续图像帧以确定运动场的装置,用于基于所述运动场的运动值将所述运动场分割成不同运动聚类的装置,用于基于运动的相关性对所述运动聚类进行排名的装置,用于基于所述排名选择最相关的运动聚类的装置,以及用于基于最相关的运动聚类的运动信息来调整曝光时间的装置。
图2A是例示出用于在捕捉数字图像时确定图像帧的曝光时间的方法的一个实施例的流程图。当用户操作数字相机或包括数字相机的装置时,用户可使用自动曝光设置,数字相机决定各个拍摄参数(例如,曝光时间、光圈以及ISO值)。另一种可能是手动设置这些拍摄参数中的至少一个。在下文中,提供了一种用于确定图像帧的曝光时间的方法。
在200,处理至少一个图像帧。当用户想要拍摄数字图像时,即便用户还没有按下快门释放按钮,图像帧也可被自动记录到图像帧缓冲器。装置随后能够基于存储在图像帧缓冲器中的一个图像帧或多个图像帧来执行一些分析。
在202,从至少一个图像帧中选择感兴趣的区域。在另一实施例中,从至少两个连续图像帧中选择感兴趣的区域。图像帧可以指的是包括所有捕捉到的图像像素(例如在相机的取景器中所显示的)的正常的全尺寸图像帧,或者包括所有捕捉到的图像像素的子集的较小尺寸的图像帧。感兴趣的区域可以是图像帧的任意一部分,并且该区域可由数字相机自动确定或由用户手动确定。感兴趣的区域可包括图像帧的全部区域而不仅仅是图像帧的子区域。感兴趣的区域可因为其是最靠近图像帧的中心的区域而被选择。也可以对图像数据帧中的各个区域进行排名,并选择具有最高排名的区域作为感兴趣的区域。排名可至少部分基于以下参数中的至少一个:区域的大小、区域的位置、以及区域在各图像帧中出现的频率。还可以预定义至少一个感兴趣的区域并且为预定义的区域分配权重。用户还可仅仅通过与装置的屏幕的交互来预定义至少一个感兴趣的区域。用户可触摸屏幕的不同区域并且指示它们的权重。用户可在屏幕上自由绘制来指示感兴趣的区域并且随后为其分配权重。
在204,所选定的位于至少两个连续图像帧中的感兴趣的区域被处理以确定运动场。运动场定义所选定的感兴趣的区域中的运动。运动场中的每一个点被表示为二维向量,该二维向量表示该点在三维世界中的相对位移。
在206,从运动场中标识至少一个运动聚类。运动聚类可指的是感兴趣的区域中的一个子区域,在该子区域中,运动场值是相同的或者基本相同或类似。作为一个示例,移动的单个物体可形成一个运动聚类。单个物体还可形成多个运动聚类。例如,如果移动的物体是一个行走中的人,则四肢可能沿不同方向移动,因此四肢可被归类为不同的运动聚类。单个运动聚类还可完全填充所选定的感兴趣的区域。在一个示例中,整个感兴趣的区域可被归类为单个运动聚类。有可能在单个运动聚类中不存在运动,例如,当单个运动聚类包括静态物体时。在这种情况下,运动场指示没有这一运动聚类的运动。
在208,选择至少一个运动聚类中的最相关的运动聚类。最相关的运动聚类可以例如基于运动聚类的大小、运动聚类的位置、运动聚类在各图像帧中出现的频率、运动聚类中的移动的方向、以及跨至少两个连续图像帧的运动传播来确定。所选定的最相关的运动聚类也可以是具有零运动的运动聚类。
在210,基于所选定的最相关的运动聚类的运动信息来调整曝光时间。所选定的最相关的运动聚类可以是具有零运动的运动聚类,并且曝光时间可基于这一运动聚类来计算。最相关的运动聚类可包括移动的物体,并且曝光时间可基于该移动的物体来计算。如果最相关的运动聚类指示该物体是静态的,则曝光时间可比通过自动曝光控制(AEC)所计算的默认曝光时间更长。由于多个图像帧被处理,因此有可能计算该最相关运动聚类中的移动的速度,并且基于此来确定所需要的曝光时间。
通过在确定曝光时间时将最相关的运动聚类的运动纳入考虑,有可能将曝光时间设置成避免图像的最相关的部分中的运动模糊的水平。对场景曝光不足来补偿对用户不重要的物体的运动将导致差的图像质量。所公开的技术方案允许在缩短曝光时间之前理解移动的物体的重要性。更进一步,该技术方案还使得用户能够在用户被允许选择感兴趣的区域时对曝光时间施加影响。
在另一实施例中,在200,只有一个图像帧被处理,并且在202,感兴趣的区域基于这一个图像帧来选择。例如,可基于唯一的一个图像帧来确定显著性。因此,在204处理所选定的感兴趣的区域以确定运动场之前,至少一个其它图像帧可被获取并处理以便能够确定运动场。此外,如果感兴趣的区域是基于预定义的感兴趣的区域而选择的,则在不需要任何图像帧的情况下选择感兴趣的区域是有可能的。
图2B是例示出用于在捕捉数字图像时确定图像帧的曝光时间的方法的另一实施例的流程图。当用户操作数字相机或包括数字相机的装置时,用户可使用自动曝光设置,数字相机决定各个拍摄参数(例如,曝光时间、光圈以及ISO值)。另一种可能是手动设置这些拍摄参数中的至少一个。在下文中,提供了一种用于确定图像帧的曝光时间的方法。
在220,处理至少一个图像帧。当用户想要拍摄数字图像时,即便用户还没有按下快门释放按钮,图像帧也可被自动记录在图像帧缓冲器中。装置随后能够基于存储在图像帧缓冲器中的一个图像帧或多个图像帧来执行一些分析。
在222,从至少一个图像帧中选择至少一个感兴趣的区域。图像帧可以指的是包括所有捕捉到的图像像素(例如在相机的取景器中所显示的)的正常的全尺寸图像帧,或者包括所有捕捉到的图像像素的子集的较小尺寸的图像帧。该至少一个感兴趣的区域可以是图像帧的任意一部分,并且该区域可由数字相机自动确定或由用户手动确定。该至少一个感兴趣的区域可包括图像帧的全部区域,或者是图像帧的一个或多个子区域。还可以预定义至少一个感兴趣的区域并且为预定义的区域分配权重。用户还可仅仅通过与装置的屏幕的交互来预定义至少一个感兴趣的区域。用户可触摸屏幕的不同区域并且指示它们的权重。用户可在屏幕上自由绘制来指示感兴趣的区域并且随后为其分配权重。
在204,至少两个连续图像帧被处理以确定运动场。运动场定义该至少两个图像帧中的运动。运动场中的每一个点被表示为二维向量,该二维向量表示该点在三维世界中的相对位移。
在226,运动场被分割成至少一个运动聚类。运动聚类可指的是其中运动场值是相同或基本相同的区域。作为一个示例,移动的单个物体可形成一个运动聚类。单个物体还可形成多个运动聚类。例如,如果移动的物体是一个行走中的人,则四肢可能沿不同方向移动,因此四肢可被归类为不同的运动聚类。单个运动聚类还可完全填充所选定的感兴趣的区域。在一个示例中,整个感兴趣的区域可被归类为单个运动聚类。有可能在单个运动聚类中不存在运动,例如,当单个运动聚类包括静态物体时。在这种情况下,运动场指示没有这一运动聚类的运动。
在228,最相关的运动聚类基于该至少一个感兴趣的区域以及该至少一个运动聚类来被选择。最相关的运动聚类可例如基于该至少一个感兴趣的区域的权重以及该至少一个运动聚类的权重来被选择。感兴趣的区域的权重可基于以下的至少一个:感兴趣的区域的大小、以及感兴趣的区域的位置。感兴趣的区域的权重还可取决于在对场景进行构图时用户会将感兴趣的物体放在该感兴趣的区域中的概率。运动聚类的权重可以基于以下的至少一个:运动聚类中的运动的幅度、运动聚类的大小、运动聚类的位置、运动聚类在各图像帧中出现的频率、运动聚类中的运动的方向、以及跨至少两个连续图像帧的运动传播。
在230,基于所选定的最相关的运动聚类的运动信息来调整曝光时间。所选定的最相关的运动聚类可以是具有零运动的运动聚类,并且曝光时间可基于这一运动聚类来计算。最相关的运动聚类可包括运动,并且曝光时间可基于该运动来计算。如果最相关的运动聚类指示该物体是静态的,则曝光时间可比通过自动曝光控制(AEC)所计算的默认曝光时间更长。由于多个图像帧被处理,因此有可能计算该最相关运动聚类中的移动的速度,并且基于此来确定所需要的曝光时间。让静态物体位于场景中心而一个或多个运动聚类位于例如背景中也是可能的。即使不存在运动也将静态物体视为重要而忽略背景中的运动聚类的运动、并且基于该静态物体来调整曝光时间是可能的。
通过在确定曝光时间时将最相关的运动聚类的运动纳入考虑,有可能将曝光时间设置成避免图像的最相关的部分中的运动模糊的水平。对场景曝光不足来补偿对用户不重要的物体的运动将导致差的图像质量。所公开的技术方案允许在缩短曝光时间之前理解移动的物体的重要性。更进一步,该技术方案还使得用户能够在用户被允许选择感兴趣的区域时对曝光时间施加影响。
图3例示出用于确定一个或多个图像帧300中的图像帧的曝光时间的实施例。图像帧中出现的物体的显著性可被用于选择感兴趣的区域。物体的显著性一般指的是例如其相对于其邻居突出的状态或品质。颜色、对比度等可被用于确定物体是显著物体。此外,人的脸部也可代表显著物体。图3中的矩形302表示显著物体,并且该显著物体可以是移动的物体或者静态的物体。包括该显著物体的感兴趣的区域可不完全等同于对应于该显著物体的图像像素,一个更粗略的区域(例如包括该显著物体的多边形)可被用作为感兴趣的区域。感兴趣的区域也可仅基于一个图像帧来选择。还可以预定义一组感兴趣的区域并且为预定义的区域分配不同权重。例如,位于图像帧的中心的区域可被视为是重要的。
一旦确定了感兴趣的区域,则所选定的感兴趣的区域被处理以确定运动场。如果只有一个图像帧在之前被获取并处理,则至少一个其它图像帧被获取并被处理以确定运动场。运动场定义所选定的感兴趣的区域中的运动。运动场可被表示为将图像坐标映射成二维向量的函数。基于该运动场,可以标识感兴趣的区域中的至少一个运动聚类。运动聚类指的是感兴趣的区域中的一个子区域,在该子区域中,运动场值是相同的或者基本相同或类似。
感兴趣的区域可包括单个物体。如果该物体是静态的,则运动场不指示任何移动。下一图像帧的曝光时间可随后基于该静态物体来调整。
感兴趣的区域可覆盖比仅仅该被确定为显著的物体更大的区域。感兴趣的区域还可包括图像帧的全部区域而不仅仅是图像帧的子区域。当至少一个运动聚类被标识时,可以是感兴趣的区域包括两个或更多个运动聚类,并且该显著物体的运动可不同于其它运动聚类的运动。然而,可能是在该感兴趣的区域内存在构成感兴趣的区域的主要部分的运动聚类,该主要部分对应于该显著物体。下一图像帧的曝光时间可随后基于这一运动聚类来被调整。
假设图3表示在一个具有大量背景运动的拥挤的旅游景点拍摄的肖像。在用相机拍摄照片时,有可能相机会选取具有最高运动值的运动聚类,即便它是发生在背景中的某处。这可能导致曝光不足的前景物体或者整个场景被曝光不足以补偿对用户来说不是非常主要的某个东西。现在,有可能自动地或者通过用户使用触摸得到的反馈来确定静态的显著物体,或者用户可将肖像放置在预定义的感兴趣的区域上。因而,有可能使用更长的曝光时间而不是由于背景中的运动而缩短曝光时间。
图4例示出用于确定一个或多个图像帧400中的图像帧的曝光时间的另一实施例。图像帧中出现的物体的显著性可被用于选择感兴趣的区域。物体的显著性一般指的是例如其相对于其邻居突出的状态或品质。颜色、对比度等可被用于确定物体是显著物体。感兴趣的区域也可仅基于一个图像帧来选择。
在图4的示例中,在图像帧400中存在三个包括显著物体的分开的区域402、404、406。在这一示例中,区域406被选定为感兴趣的区域,因为它最靠近图像帧400的中心。替代地,也可以对这三个区域402、404、406排名,并选择具有最高权重的区域作为感兴趣的区域。权重分配可至少部分基于以下参数中的至少一个:区域的大小、区域的位置、以及区域在各图像帧中出现的频率。感兴趣的区域的权重还可取决于在对场景进行构图时用户会将感兴趣的物体放在该感兴趣的区域中的概率。
显著性可使用任何已知的用于标识显著区域的方法从图像帧中确定。例如,通过分析输入图像的对数频谱,可以提取图像在频域中的谱残差并且在空间域中构造对应的显著性图。显著性还可基于对比度来估计。以此方法,给定图像被分解为紧凑的、感知上同质的元素,这些元素对不必要的细节进行抽象。基于这一抽象,计算出对这些元素的唯一性和空间分布进行评分的对比度的两种度量。从元素对比度中,可以推导出显著性度量,该显著性度量生成像素级精度的显著性图,其均匀地覆盖感兴趣的物体并且始终如一地分离前景和背景。完整的对比度和显著性估计可以一种使用高维高斯滤波器的统一方式来用公式表述。
一旦感兴趣的区域406被确定,从感兴趣的区域406的运动场中标识至少一个运动分类。如果只有一个图像帧在之前被获取并处理,则至少一个其它图像帧被获取并处理以确定运动场。感兴趣的区域可包括单个物体。如果该物体是静态的,则所标识的运动聚类可不指示任何移动。下一图像帧的曝光时间可随后基于所标识的运动聚类来调整。
在另一实施例中,感兴趣的区域406可覆盖比仅仅该被确定为显著的物体更大的区域。当至少一个运动聚类被标识时,可以是感兴趣的区域406包括两个或更多个运动聚类,并且该显著物体的运动可不同于其它运动聚类的运动。然而,可以是在该感兴趣的区域内存在构成感兴趣的区域的主要部分的运动聚类,该主要部分对应于该显著物体。曝光时间可随后基于这一运动聚类来调整。
图5例示出用于确定至少两个连续图像帧500中的图像帧的曝光时间的另一实施例。图像帧500被处理以寻找运动场。运动场提供对图像帧中的元素在两个或个多个随后的图像帧中如何移动的指示。该运动场随后基于运动场的运动值被分割成多个运动聚类。在图5中,两个运动聚类502、504可被找到。运动聚类502表示朝着图像帧500的中心移动的移动物体。运动聚类504表示沿朝外方向移动的移动物体。运动聚类502、504可随后基于它们的运动的相关性而被排名。对于运动聚类504,物体正从图像帧500向外移动。对于运动聚类502,运动聚类502正朝图像帧500的中心移动,并且其相对靠近图像帧500的中心部分。在这一实施例中,由于相对于中心的靠近程度以及运动聚类504的移动方向,运动聚类502具有比运动聚类504高的权重。曝光时间可随后基于这一运动聚类来调整。在另一实施例中,权重分配可被不同地执行,并且权重分配可基于以下参数中的至少一个:运动聚类的大小、运动聚类的位置、运动聚类在各图像帧中出现的频率、运动聚类中的运动的方向、以及跨至少两个连续图像帧的运动传播。还可以预定义一组感兴趣的区域并且为预定义的区域分配不同权重。当运动聚类已被标识时,最相关的运动聚类可基于预定义的区域的权重和各运动聚类的权重来选择。
图6例示出用于确定至少两个连续图像帧600中的图像帧的曝光时间的另一实施例。图像帧600被处理以寻找运动场。运动场提供对图像帧中的元素在两个或个多个随后的图像帧中如何移动的指示。该运动场随后基于运动场的运动值被分割成不同运动聚类。在图6的示例中,三个运动聚类602、604、606可被找到。运动聚类602表示朝着图像帧600的中心移动的移动物体。运动聚类604表示沿朝外方向移动的移动物体。运动聚类606表示朝着图像帧600的中心移动且位于图像帧600的背景中的移动物体。
运动聚类602、604、606可随后基于它们的运动的相关性而被分配权重。传播通过图像帧600的中心的运动可被赋予比未传播通过图像帧600的中心的运动更高的权重。此外,出现在背景中的运动可具有比出现在前景中的运动更低的权重。
对于运动聚类604,物体正从图像帧600向外移动。对于运动聚类606,运动聚类606正朝着图像帧600的中心移动。对于运动聚类602,物体正朝着图像帧600的中心移动。由于相对于中心的靠近程度、运动的方向以及运动的幅度,运动聚类602被确定为具有最高权重。曝光时间可随后基于这一运动聚类来调整。
在图6中,存在多个运动聚类,并且在开始时,并不知道哪一个是最重要的或者与场景最相关。然而,由于曝光时间是唯一的,不可能对场景中所有的运动进行补偿,并且运动中的一个需要被选取。图6中描述的技术使得可能在计算曝光时间时对要使用哪一个运动值进行最好的猜测。
图7A-7D例示出用于确定至少两个连续图像帧中的图像帧的曝光时间的另一实施例。
视图700表示基于该至少两个连续图像帧确定的运动场图。出现在运动场中的值可表示图像帧中的运动幅度。在这一示例中,最高运动场值可被发现位于左上角。虽然图7A仅使用幅度值来表示运动场,但是运动场可以被聚类成各运动聚类并且与各运动聚类有关的值可反映各运动聚类的整体相关性。以下参数中的一个或多个可被用于确定相关性:运动聚类中的运动的幅度、运动聚类的大小、运动聚类的位置、运动聚类在各图像帧中出现的频率、运动聚类中的运动的方向、以及跨至少两个连续图像帧的运动传播。各运动聚类的权重还可被归一化使得最大的值为1。
视图702例示出图像帧的显著性值图。显著性一般指的是例如图像像素相对于其邻居有多突出的状态或品质。颜色、对比度等可被用于确定出现在图像帧中的某个物体是否是显著的。在显著性图中,存在针对每一个图像像素的一个显著性分数。视图702将显著性图表示为经归一化的显著性图,使得所有的显著性值在0和1之间,其中1是最大显著性值。
显著性可使用任何已知的用于标识显著区域的方法从图像帧中确定。例如,通过分析输入图像的对数频谱,可以提取图像在频域中的谱残差并且在空间域中构造对应的显著性图。显著性还可基于对比度来估计。以此方法,给定图像被分解为紧凑的、感知上同质的元素,这些元素对不必要的细节进行抽象。基于这一抽象,计算出对这些元素的唯一性和空间分布进行评分的对比度的两种度量。从元素对比度中,可以推导出显著性度量,该显著性度量生成像素级精度的显著性图,其均匀地覆盖感兴趣的物体并且始终如一地分离前景和背景。完整的对比度和显著性估计可以一种使用高维高斯滤波器的统一方式来用公式表述。
运动值逐像素地乘以经归一化的显著性值。视图704例示出视图702的显著性值已被用作为视图700的运动值的权重。例如,在左上角,在显著性值0.1的情况下,幅度100的运动变得不重要(在加权运动值中具有值10)。在图像帧的中部,存在幅度20的运动,而这一运动的显著性值是0.8,因此指示高显著性。
视图706例示出了当加权运动场图被基于加权运动值而分割成运动聚类706-718时的结果。运动聚类706-718可被排名以确定最相关的运动聚类。排名可仅基于加权运动值。基于加权运动值,运动聚类716具有最高排名。
当最相关的运动聚类被选择时,曝光时间可基于该最相关的运动聚类的运动值来调整。
图8A例示出用于确定图像帧的曝光时间的另一实施例。
至少一个图像帧800被处理并且从图像帧800标识多个感兴趣的区域。矩形A、B、C和D表示从图像帧800中标识的感兴趣的区域。在这一实施例中,脸部识别规程可被用于从图像帧800中标识一个或多个脸部,并且感兴趣的区域A、B、C和D可表示所标识的脸部。可为每一个感兴趣的区域计算权重。A的权重是0.6,B的权重是0.2,C的权重是0.1,而D的权重是0.1。权重可被归一化,使得所有感兴趣的区域的权重的总和为1。这一权重分配可基于例如每一个感兴趣的区域距离图像帧的中心有多近。此处,A最接近于图像帧的中心,因此具有最高权重。权重分配还可考虑感兴趣的区域的大小。
至少两个连续图像帧随后被处理以确定运动场。运动场定义图像帧中的运动。运动场中的每一个点被表示为二维向量,该二维向量表示该点在三维世界中的相对位移。运动场被分割成至少一个运动聚类。每一个运动距离包括运动场的一段,在该段中,运动被标识为类似的,例如运动的幅度和发现是类似的或相同的。任何已知的方法可被用于执行运动聚类。从运动场中标识出了运动聚类X、Y、Z和W。可为每一个运动聚类计算权重。在这一实施例中,X的权重是0.1,Y的权重是0.1,Z的权重是0.03,而W的权重是0.7。权重可被归一化,使得所有运动聚类的权重的总和为1。权重分配可以基于各种因素,例如以下的至少一个:运动聚类中的运动的幅度、运动聚类的大小、运动聚类的位置、运动聚类在各图像帧中出现的频率、运动聚类中的运动的方向、以及跨至少两个连续图像帧的运动传播。运动聚类W中的运动涉及图像帧800的中心并且运动聚类的大小是显著的。其也位于靠近图像帧800的中心。基于这些因素,可以确定,运动聚类W需要被分配最高权重。
最相关的运动聚类基于该至少一个感兴趣的区域以及该至少一个运动聚类来选择,作为调整曝光时间的基础。在这一实施例中,各感兴趣的区域和各运动聚类的权重相乘以形成总权重。此处,运动聚类W的总权重是0.7,对于运动聚类X,总权重是0.06,对于运动聚类Y,总权重是0.02,而对于运动聚类Z,总权重是0.003。基于总权重,运动聚类W被视为是最相关的运动聚类,则曝光时间基于这一运动聚类中的运动的运动信息(例如,幅度)来被调整。在另一实施例中,替代将运动聚类的权重与重叠的感兴趣的区域的权重相乘,取决于重叠的感兴趣的区域的权重来修改运动聚类的权重的任何其它操作可被使用。
在图8A的另一实施例中,在调整曝光时间时,仅考虑与感兴趣的区域重叠的运动聚类。在这种情况下,仅运动聚类X、Y和Z将被考虑,因为它们与感兴趣的区域A、B和C重叠。基于上文已讨论过的总权重,与感兴趣的区域A重叠的运动聚类W被选定为最相关的运动聚类,则曝光时间基于这一运动聚类中的运动信息来调整。
图8B例示出用于确定图像帧802的曝光时间的另一实施例。图8B的示例与图8A的实施例的区别在于感兴趣的区域A被分配绝对优先级并且其权重为1.0。其余的感兴趣的区域B、C和D不被考虑,它们的权重是0.0。只有当运动聚类是重叠的(图8B中的运动聚类X),感兴趣的区域(图8B中的感兴趣的区域A)才会被赋予最大权重。例如,如果用户使用包括相机的装置的触摸屏从取景器图像中选择某个点或区域,则感兴趣的区域A可被分配最大优先级。
在图8B中,运动聚类W的总权重是0.7,并且运动聚类A的总权重是0.6(1.0x 0.6)。这意味着,即使用户选择了感兴趣的区域A具有最大权重,但是曝光时间基于运动聚类W中的运动的一个或多个运动信息(例如,幅度)来被调整。
在图8B的另一实施例中,在选择最相关的运动聚类时,仅考虑与选定的感兴趣的区域重叠的运动聚类。如果感兴趣的区域A被分配最大权重并且其随后是唯一的感兴趣的区域,则与感兴趣的区域A重叠的聚类将被考虑。在这种情况下,运动聚类X是与感兴趣的区域A重叠的唯一的运动聚类,则曝光时间基于运动聚类W的运动的运动信息(例如,幅度)来被调整。
图9是例示出用于在捕捉数字图像时确定图像帧的曝光时间的方法的一个实施例的流程图。当用户操作数字相机或包括数字相机的装置时,用户可使用自动曝光设置,数字相机决定各个拍摄参数(例如,曝光时间、光圈以及ISO值)。另一种可能是手动设置这些拍摄参数中的至少一个。在下文中,提供了一种用于确定图像帧的曝光时间的方法。
在900,至少两个连续图像帧被处理以确定运动场。当用户想要用装置拍摄数字图像时,即便用户没有按下快门释放按钮,图像帧也可被自动记录在图像帧缓冲器中。装置随后能够基于存储在图像帧缓冲器中的图像帧来执行一些分析。图像帧可以指的是包括所有捕捉到的图像像素(例如在装置的取景器中所显示的)的正常尺寸图像帧,或者包括所有捕捉到的图像像素的子集的较小尺寸的图像帧。运动场定义图像点或一组图像点的运动。运动场可被表示为将图像坐标映射成二维向量的函数。
在902,该运动场基于运动场的运动值被分割成多个运动聚类。每一个运动聚类表示图像帧中的移动的或不移动的物体或区域。具有相同方向和幅度的特定运动聚类的运动值是相同的或基本相同的。
在904,基于运动的相关性对运动聚类进行排名。以下参数中的一个或多个可对运动的相关性产生影响:运动聚类的大小、运动聚类的位置、运动聚类在各图像帧中出现的频率、运动聚类中的运动的方向、以及跨至少两个连续图像帧的运动传播。在要确定运动聚类的运动的相关性时,这些参数中的每一个可具有不同权重。
在906,基于排名选择最相关的运动聚类,并且在908,基于最相关的运动聚类的运动信息来调整曝光时间。由于多个图像帧被处理,因此有可能计算该最相关运动聚类中的移动的速度,并且基于此来确定所需要的曝光时间。
通过在确定曝光时间时仅将最相关的运动聚类的运动纳入考虑,有可能将曝光时间设置成避免图像的最相关的部分中的运动模糊的水平。
装置的一个实施例包括至少一个处理单元以及至少一个存储器。所述至少一个存储器存储程序指令,所述程序指令在由所述至少一个处理器单元执行时致使所述装置处理至少一个图像帧,从所述至少一个图像帧中选择至少一个感兴趣的区域,处理至少两个连续图像帧以确定运动场,将所述运动场分割成至少一个运动聚类,基于所述至少一个感兴趣的区域以及所述至少一个运动聚类来选择最相关的运动聚类,以及基于所选择的最相关的运动聚类的运动信息来调整曝光时间。
在一个实施例中,所述至少一个存储器存储程序指令,所述程序指令在由所述至少一个处理器单元执行时致使所述装置处理所述至少两个图像帧以仅在所述至少一个感兴趣的区域内确定运动场。
在一个实施例中,替代地或附加地,所述至少一个存储器存储程序指令,所述程序指令在由所述至少一个处理器单元执行时致使所述装置从所述至少一个图像帧中确定至少一个显著区域,以及选择所述至少一个显著区域作为所述至少一个感兴趣的区域。
在一个实施例中,替代地或附加地,所述至少一个存储器存储程序指令,所述程序指令在由所述至少一个处理器单元执行时致使所述装置从所述至少一个图像帧中确定至少两个感兴趣的显著区域,以及选择最接近所述至少一个图像帧的中心的显著区域作为感兴趣的区域。
在一个实施例中,替代地或附加地,所述至少一个存储器存储程序指令,所述程序指令在由所述至少一个处理器单元执行时致使所述装置处理所述至少一个感兴趣的区域以确定显著性图,用所述显著性图的值来为所述运动场分配权重,以及选择具有最高权重的运动聚类作为最相关的运动聚类。
在一个实施例中,替代地或附加地,所述至少一个存储器存储程序指令,所述程序指令在由所述至少一个处理器单元执行时致使所述装置为每一个感兴趣的区域确定权重。
在一个实施例中,替代地或附加地,感兴趣的区域的权重基于以下的至少一个:感兴趣的区域的大小、以及感兴趣的区域的位置。
在一个实施例中,替代地或附加地,所述至少一个存储器存储程序指令,所述程序指令在由所述至少一个处理器单元执行时致使所述装置为每一个运动聚类确定权重。
在一个实施例中,替代地或附加地,运动聚类的权重基于以下中的至少一个:所述运动聚类中的运动的幅度;所述运动聚类的大小,所述运动聚类的位置,所述运动聚类在所述图像帧中出现的频率,所述运动聚类中的运动的方向,以及跨所述至少两个连续图像帧的运动传播。
在一个实施例中,替代地或附加地,所述至少一个存储器存储程序指令,所述程序指令在由所述至少一个处理器单元执行时致使所述装置为每一个感兴趣的区域确定权重,为每一个运动聚类确定权重,取决于与运动聚类重叠的感兴趣的区域的权重来修改该运动聚类的权重,以及选择具有最高经修改的权重的运动聚类作为最相关的运动聚类。
在一个实施例中,替代地或附加地,所述至少一个存储器存储程序指令,所述程序指令在由所述至少一个处理器单元执行时致使所述装置从所述至少一个图像帧中标识至少一个脸部,以及选择包括所述至少一个脸部的至少一个区域作为所述至少一个感兴趣的区域。
在一个实施例中,替代地或附加地,所述至少一个存储器存储程序指令,所述程序指令在由所述至少一个处理器单元执行时致使所述装置响应于来自用户的指示来选择所述感兴趣的区域。
在一个实施例中,替代地或附加地,所述至少一个存储器存储程序指令,所述程序指令在由所述至少一个处理器单元执行时致使所述装置预定义至少一个区域,每一个区域具有权重,以及选择所述至少一个区域作为所述至少一个感兴趣的区域。
在一个实施例中,替代地或附加地,所述至少一个存储器存储程序指令,所述程序指令在由所述至少一个处理器单元执行时致使所述装置确定所述一个或多个运动聚类与所述至少一个感兴趣的区域重叠,以及从与所述至少一个感兴趣的区域重叠的一个或多个运动聚类中选择最相关的运动聚类。
一种设备的实施例包括用于处理至少一个图像帧的装置,用于从所述至少一个图像帧中选择至少一个感兴趣的区域的装置,用于处理至少两个连续图像帧以确定运动场的装置,用于将所述运动场分割成至少一个运动聚类的装置,用于基于所述至少一个感兴趣的区域以及所述至少一个运动聚类来选择最相关的运动聚类的装置,以及用于基于所选择的最相关的运动聚类的运动信息来调整曝光时间的装置。
一种方法的实施例包括处理至少一个图像帧,从所述至少一个图像帧中选择至少一个感兴趣的区域,处理至少两个连续图像帧以确定运动场,将所述运动场分割成至少一个运动聚类,基于所述至少一个感兴趣的区域以及所述至少一个运动聚类来选择最相关的运动聚类,以及基于所选择的最相关的运动聚类的运动信息来调整曝光时间。
在一个实施例中,所述方法包括处理所述至少两个图像帧以仅在所述至少一个感兴趣的区域内确定运动场。
在一个实施例中,替代地或附加地,所述方法包括从所述至少一个图像帧中确定至少一个显著区域,以及选择所述至少一个显著区域作为所述至少一个感兴趣的区域。
在一个实施例中,替代地或附加地,所述方法包括从所述至少一个图像帧中确定至少两个感兴趣的显著区域,以及选择最接近所述至少一个图像帧的中心的显著区域作为感兴趣的区域。
在一个实施例中,替代地或附加地,所述方法包括处理所述至少一个感兴趣的区域以确定显著性图,用所述显著性图的值来为所述运动场分配权重,以及选择具有最高权重的运动聚类作为最相关的运动聚类。
在一个实施例中,替代地或附加地,所述方法包括为每一个感兴趣的区域确定权重。
在一个实施例中,替代地或附加地,感兴趣的区域的权重基于以下的至少一个:感兴趣的区域的大小、以及感兴趣的区域的位置。
在一个实施例中,替代地或附加地,所述方法包括为每一个运动聚类确定权重。
在一个实施例中,替代地或附加地,运动聚类的权重基于以下中的至少一个:所述运动聚类中的运动的幅度;所述运动聚类的大小,所述运动聚类的位置,所述运动聚类在所述图像帧中出现的频率,所述运动聚类中的运动的方向,以及跨所述至少两个连续图像帧的运动传播。
在一个实施例中,替代地或附加地,所述方法包括为每一个感兴趣的区域确定权重,为每一个运动聚类确定权重,取决于与运动聚类重叠的感兴趣的区域的权重来修改该运动聚类的权重,以及选择具有最高经修改的权重的运动聚类作为最相关的运动聚类。
在一个实施例中,替代地或附加地,所述方法包括从所述至少一个图像帧中标识至少一个脸部,以及选择包括所述至少一个脸部的至少一个区域作为所述至少一个感兴趣的区域。
在一个实施例中,替代地或附加地,所述方法包括响应于来自用户的指示来选择所述感兴趣的区域。
在一个实施例中,替代地或附加地,所述方法包括预定义至少一个区域,每一个区域具有权重,以及选择所述至少一个区域作为所述至少一个感兴趣的区域。
在一个实施例中,替代地或附加地,所述方法包括确定所述一个或多个运动聚类与所述至少一个感兴趣的区域重叠,以及从与所述至少一个感兴趣的区域重叠的一个或多个运动聚类中选择最相关的运动聚类。
一种计算机程序的实施例,包括用于使得计算装置的至少一个处理器执行操作的可执行指令,所述操作包括:处理至少一个图像帧,从所述至少一个图像帧中选择至少一个感兴趣的区域,处理至少两个连续图像帧以确定运动场,将所述运动场分割成至少一个运动聚类,基于所述至少一个感兴趣的区域以及所述至少一个运动聚类来选择最相关的运动聚类,以及基于所选择的最相关的运动聚类的运动信息来调整曝光时间。
一种计算机可读存储介质的实施例,包括用于使得计算装置的至少一个处理器执行操作的可执行指令,所述操作包括:处理至少一个图像帧,从所述至少一个图像帧中选择至少一个感兴趣的区域,处理至少两个连续图像帧以确定运动场,将所述运动场分割成至少一个运动聚类,基于所述至少一个感兴趣的区域以及所述至少一个运动聚类来选择最相关的运动聚类,以及基于所选择的最相关的运动聚类的运动信息来调整曝光时间。
装置的一个实施例包括至少一个处理单元以及至少一个存储器。所述至少一个存储器存储程序指令,所述程序指令在由所述至少一个处理器单元执行时致使所述装置处理至少两个连续图像帧以确定运动场,基于所述运动场的运动值将所述运动场分割成不同运动聚类,基于运动的相关性对所述运动聚类进行排名;基于所述排名选择最相关的运动聚类,以及基于所述最相关的运动聚类的运动信息来调整曝光时间。
一种设备的实施例包括用于处理至少两个连续图像帧以确定运动场的装置,用于基于所述运动场的运动值将所述运动场分割成不同运动聚类的装置,用于基于运动的相关性对所述运动聚类进行排名的装置,用于基于所述排名选择最相关的运动聚类的装置,以及用于基于最相关的运动聚类的运动信息来调整曝光时间的装置。
一种方法的实施例包括处理至少两个连续图像帧以确定运动场,基于所述运动场的运动值将所述运动场分割成不同运动聚类,基于运动的相关性对所述运动聚类进行排名;基于所述排名选择最相关的运动聚类,以及基于最相关的运动聚类的运动信息来调整曝光时间。
一种计算机程序的实施例,包括用于使得计算装置的至少一个处理器执行操作的可执行指令,所述操作包括:处理至少两个连续图像帧以确定运动场,基于所述运动场的运动值将所述运动场分割成不同运动聚类,基于运动的相关性对所述运动聚类进行排名;基于所述排名选择最相关的运动聚类,以及基于最相关的运动聚类的运动信息来调整曝光时间。
一种计算机可读存储介质的实施例,包括用于使得计算装置的至少一个处理器执行操作的可执行指令,所述操作包括:处理至少两个连续图像帧以确定运动场,基于所述运动场的运动值将所述运动场分割成不同运动聚类,基于运动的相关性对所述运动聚类进行排名;基于所述排名选择最相关的运动聚类,以及基于最相关的运动聚类的运动信息来调整曝光时间。
替换地或另选地,此处描述的功能可以至少部分由一个或多个硬件逻辑组件来执行。例如,但非限制,可被使用的硬件逻辑组件的说明性类型包括现场可编程门阵列(FPGA)、程序专用的集成电路(ASIC)、程序专用的标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD),图形处理单元(GPU)。
本文描述的功能可由有形存储介质上的机器可读形式的软件来执行,例如计算机程序的形式,该计算机程序包括在该程序在计算机上运行时适用于执行本文描述的任何方法的所有步骤的计算机程序代码装备并且其中该计算机程序可被实现在计算机可读介质上。有形存储介质的示例包括计算机存储设备,计算机存储设备包括计算机可读介质,诸如盘、拇指型驱动器、存储器等而不包括所传播的信号。传播的信号可存在于有形存储介质中,但是传播的信号本身不是有形存储介质的示例。软件可适于在并行处理器或串行处理器上执行以使得各方法步骤可以按任何合适的次序或同时执行。
尽管用结构特征和/或动作专用的语言描述了本主题,但可以理解,所附权利要求书中定义的主题不必限于上述具体特征或动作。相反,上述特定特征和动作是作为实现权利要求书的示例而公开的,并且其他等价特征和动作旨在处于权利要求书的范围内。
可以理解,上文所描述的优点可以涉及一个实施例或可以涉及多个实施例。各实施例不仅限于解决任何或全部所陈述的问题的那些实施例或具有任何或全部所陈述的优点那些实施例。
上文所描述的任何示例的各方面可以与所描述的其他示例中的任何示例的各方面相结合,以构成进一步的示例,而不会丢失寻求的效果。
本文使用了术语“包括”以旨在包括已标识的方法的框或元件,但是这样的框或元件不包括排它性的列表,并且方法或装置可以包含附加的框或元件。
可以理解,上面的描述只是作为示例给出并且本领域的技术人员可以做出各种修改。以上说明、示例和数据提供了对各示例性实施例的结构和使用的全面描述。虽然上文以一定的详细度或参考一个或多个单独实施例描述了各实施例,但是,在不偏离本说明书的精神或范围的情况下,本领域的技术人员可以对所公开的实施例作出很多更改。具体而言,在一个示例的上下文中描述的各个个体特征、元素或部分也可以以任何组合被连接到任何其他示例。

Claims (15)

1.一种装置,包括:
至少一个处理单元;
至少一个存储器;
其中所述至少一个存储器存储程序指令,所述程序指令在由所述至少一个处理器单元执行时致使所述装置:
处理至少一个图像帧;
从所述至少一个图像帧中选择至少一个感兴趣的区域;
处理至少两个连续图像帧以确定运动场;
将所述运动场分割成至少一个运动聚类;
基于所述至少一个感兴趣的区域以及所述至少一个运动聚类来选择最相关的运动聚类;以及
基于所选择的最相关的运动聚类的运动信息来调整曝光时间。
2.如权利要求1所述的装置,其特征在于,所述至少一个存储器存储程序指令,所述程序指令在被所述至少一个处理单元执行时致使所述装置:
处理所述至少两个图像帧以仅在所述至少一个感兴趣的区域内确定所述运动场。
3.如权利要求1或2所述的装置,其特征在于,所述至少一个存储器存储程序指令,所述程序指令在被所述至少一个处理单元执行时致使所述装置:
从所述至少一个图像帧中确定至少一个显著区域;以及
选择所述至少一个显著区域作为所述至少一个感兴趣的区域。
4.如权利要求1或2所述的装置,其特征在于,所述至少一个存储器存储程序指令,所述程序指令在被所述至少一个处理单元执行时,在选择所述感兴趣的区域时,致使所述装置:
从所述至少一个图像帧中确定至少两个感兴趣的显著区域;以及
选择最接近所述至少一个图像帧的中心的显著区域作为感兴趣的区域。
5.如权利要求1-4中任意一项所述的装置,其特征在于,所述至少一个存储器存储程序指令,所述程序指令在被所述至少一个处理单元执行时,在选择所述感兴趣的区域时,致使所述装置:
处理所述至少一个感兴趣的区域以确定显著性图;
用所述显著性图的值来为所述运动场分配权重;以及
选择具有最高权重的运动聚类作为最相关的运动聚类。
6.如权利要求1-5中任意一项所述的装置,其特征在于,所述至少一个存储器存储程序指令,所述程序指令在被所述至少一个处理单元执行时,在选择所述感兴趣的区域时,致使所述装置:
为每一个感兴趣的区域确定权重。
7.如权利要求6所述的方法,其特征在于,感兴趣的区域的权重基于以下中的至少一个:
所述感兴趣的区域的大小;以及
所述感兴趣的区域的位置。
8.如权利要求1-7中任意一项所述的装置,其特征在于,所述至少一个存储器存储程序指令,所述程序指令在被所述至少一个处理单元执行时致使所述装置:
为每一个运动聚类确定权重。
9.如权利要求8所述的方法,其特征在于,运动聚类的权重基于以下中的至少一个:
所述运动聚类中的运动的幅度;
所述运动聚类的大小;
所述运动聚类的位置;
所述运动聚类在所述图像帧中出现的频率;
所述运动聚类中的运动的方向;以及
跨所述至少两个连续图像帧的运动传播。
10.如权利要求1-9中任意一项所述的装置,其特征在于,所述至少一个存储器存储程序指令,所述程序指令在被所述至少一个处理单元执行时致使所述装置:
为每一个感兴趣的区域确定权重;
为每一个运动聚类确定权重;
取决于与运动聚类重叠的感兴趣的区域的权重来修改该运动聚类的权重;以及
选择具有最高经修改的权重的运动聚类作为最相关的运动聚类。
11.如权利要求1-10中任意一项所述的装置,其特征在于,所述至少一个存储器存储程序指令,所述程序指令在被所述至少一个处理单元执行时致使所述装置:
从所述至少一个图像帧中标识至少一个脸部;以及
选择包括所述至少一个脸部的至少一个区域作为所述至少一个感兴趣的区域。
12.如权利要求1-11中任意一项所述的装置,其特征在于,所述至少一个存储器存储程序指令,所述程序指令在被所述至少一个处理单元执行时致使所述装置:
响应于来自用户的指示来选择所述感兴趣的区域。
13.如权利要求1-12中任意一项所述的装置,其特征在于,所述至少一个存储器存储程序指令,所述程序指令在被所述至少一个处理单元执行时致使所述装置:
确定所述一个或多个运动聚类与所述至少一个感兴趣的区域重叠;以及
从与所述至少一个感兴趣的区域重叠的一个或多个运动聚类中选择最相关的运动聚类。
14.一种方法,包括:
处理至少一个图像帧;
从所述至少一个图像帧中选择至少一个感兴趣的区域;
处理至少两个连续图像帧以确定运动场;
将所述运动场分割成至少一个运动聚类;
基于所述至少一个感兴趣的区域以及所述至少一个运动聚类来选择最相关的运动聚类;以及
基于最相关的运动聚类的运动信息来调整曝光时间。
15.一种包括计算机程序的计算机可读介质,所述计算机程序包括程序指令,所述程序指令在由处理器执行时指示装置执行如权利要求14所述的方法。
CN201680034022.7A 2015-06-10 2016-06-06 用于确定图像帧的曝光时间的方法和装置 Active CN107771391B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/735,682 US9635276B2 (en) 2015-06-10 2015-06-10 Determination of exposure time for an image frame
US14/735,682 2015-06-10
PCT/US2016/035948 WO2016200711A1 (en) 2015-06-10 2016-06-06 Determination of exposure time for an image frame

Publications (2)

Publication Number Publication Date
CN107771391A true CN107771391A (zh) 2018-03-06
CN107771391B CN107771391B (zh) 2020-06-05

Family

ID=56148689

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680034022.7A Active CN107771391B (zh) 2015-06-10 2016-06-06 用于确定图像帧的曝光时间的方法和装置

Country Status (4)

Country Link
US (3) US9635276B2 (zh)
EP (1) EP3308536B1 (zh)
CN (1) CN107771391B (zh)
WO (1) WO2016200711A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111314611A (zh) * 2020-02-26 2020-06-19 浙江大华技术股份有限公司 一种多个运动对象的拍摄方法及装置

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3038482B1 (fr) * 2015-06-30 2017-08-11 Parrot Bloc camera apte a etre embarque dans un drone pour cartographier un terrain et procede de gestion de capture d'images par un bloc camera
FR3041135B1 (fr) * 2015-09-10 2017-09-29 Parrot Drone avec camera a visee frontale avec segmentation de l'image du ciel pour le controle de l'autoexposition
US9961261B2 (en) 2016-06-20 2018-05-01 Gopro, Inc. Image alignment using a virtual gyroscope model
US10437878B2 (en) * 2016-12-28 2019-10-08 Shutterstock, Inc. Identification of a salient portion of an image
US10503775B1 (en) * 2016-12-28 2019-12-10 Shutterstock, Inc. Composition aware image querying
JP6529686B2 (ja) * 2017-04-11 2019-06-12 楽天株式会社 画像処理装置、画像処理方法、及びプログラム
JP7187154B2 (ja) * 2018-02-05 2022-12-12 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US11127140B2 (en) * 2019-04-30 2021-09-21 Samsung Electronics Co., Ltd. Background identification for videos with large foreground objects
SE2030252A1 (en) * 2020-08-13 2022-02-14 Nagoon AB Method performed by a computer system for creation of augmented reality experiences and connection of these to the real world

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090231449A1 (en) * 2008-03-11 2009-09-17 Zoran Corporation Image enhancement based on multiple frames and motion estimation
CN101855651A (zh) * 2007-10-19 2010-10-06 高通股份有限公司 运动辅助的图像传感器配置
US20120201426A1 (en) * 2011-02-04 2012-08-09 David Wayne Jasinski Estimating subject motion for capture setting determination
CN103888680A (zh) * 2014-03-28 2014-06-25 中国科学技术大学 一种摄像头曝光时间的调节方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020180876A1 (en) 2001-06-01 2002-12-05 Sobol Robert E. Intelligent motion blur minimization
AU2003220595A1 (en) 2002-03-27 2003-10-13 The Trustees Of Columbia University In The City Of New York Imaging method and system
EP1377040A1 (en) * 2002-06-19 2004-01-02 STMicroelectronics S.r.l. Method of stabilizing an image sequence
US7639889B2 (en) 2004-11-10 2009-12-29 Fotonation Ireland Ltd. Method of notifying users regarding motion artifacts based on image analysis
WO2006068292A1 (ja) 2004-12-21 2006-06-29 Sony Corporation 画像処理装置と画像処理方法および画像処理プログラム
CN101095078B (zh) 2004-12-29 2010-04-28 诺基亚公司 数字成像的曝光
US7346222B2 (en) 2005-02-07 2008-03-18 Motorola, Inc. Object-of-interest image de-blurring
US8482618B2 (en) 2005-02-22 2013-07-09 Hewlett-Packard Development Company, L.P. Reduction of motion-induced blur in images
US7509038B2 (en) * 2005-09-29 2009-03-24 Seiko Epson Corporation Determining maximum exposure time to limit motion blur during image capture
US7546026B2 (en) 2005-10-25 2009-06-09 Zoran Corporation Camera exposure optimization techniques that take camera and scene motion into account
US20070121094A1 (en) 2005-11-30 2007-05-31 Eastman Kodak Company Detecting objects of interest in digital images
US7602418B2 (en) 2006-10-11 2009-10-13 Eastman Kodak Company Digital image with reduced object motion blur
CN201937736U (zh) 2007-04-23 2011-08-17 德萨拉技术爱尔兰有限公司 数字照相机
US8396321B1 (en) * 2007-04-25 2013-03-12 Marvell International Ltd. Method and apparatus for processing image data from a primary sensor and a secondary sensor
JP5065060B2 (ja) 2008-01-16 2012-10-31 キヤノン株式会社 撮像装置及びその制御方法
US8179466B2 (en) 2009-03-11 2012-05-15 Eastman Kodak Company Capture of video with motion-speed determination and variable capture rate
US8498486B2 (en) 2009-03-12 2013-07-30 Qualcomm Incorporated Response to detection of blur in an image
US8045024B2 (en) 2009-04-15 2011-10-25 Omnivision Technologies, Inc. Producing full-color image with reduced motion blur
US8224056B2 (en) 2009-12-15 2012-07-17 General Electronic Company Method for computed tomography motion estimation and compensation
JP5457606B2 (ja) 2011-04-07 2014-04-02 富士フイルム株式会社 画像処理方法及び装置
US20130272504A1 (en) 2012-04-16 2013-10-17 Meir Deutsch X-Ray Dose Reduction by Controlled Shutter Speed
US9426020B2 (en) 2013-03-15 2016-08-23 Cisco Technology, Inc. Dynamically enabling selective routing capability

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101855651A (zh) * 2007-10-19 2010-10-06 高通股份有限公司 运动辅助的图像传感器配置
US20090231449A1 (en) * 2008-03-11 2009-09-17 Zoran Corporation Image enhancement based on multiple frames and motion estimation
US20120201426A1 (en) * 2011-02-04 2012-08-09 David Wayne Jasinski Estimating subject motion for capture setting determination
CN103888680A (zh) * 2014-03-28 2014-06-25 中国科学技术大学 一种摄像头曝光时间的调节方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111314611A (zh) * 2020-02-26 2020-06-19 浙江大华技术股份有限公司 一种多个运动对象的拍摄方法及装置

Also Published As

Publication number Publication date
CN107771391B (zh) 2020-06-05
WO2016200711A1 (en) 2016-12-15
US20180160023A1 (en) 2018-06-07
EP3308536B1 (en) 2020-04-15
EP3308536A1 (en) 2018-04-18
US20160366326A1 (en) 2016-12-15
US10440284B2 (en) 2019-10-08
US9924107B2 (en) 2018-03-20
US20170150026A1 (en) 2017-05-25
US9635276B2 (en) 2017-04-25

Similar Documents

Publication Publication Date Title
CN107771391A (zh) 图像帧的曝光时间的确定
US11431896B2 (en) Augmented reality for three-dimensional model reconstruction
EP3274916B1 (en) Automated three dimensional model generation
CN105830062B (zh) 用于编码对象阵型的系统、方法及设备
US11386699B2 (en) Image processing method, apparatus, storage medium, and electronic device
CN103514432B (zh) 人脸特征提取方法、设备和计算机程序产品
CN111344644B (zh) 用于基于运动的自动图像捕获的技术
CN108603749A (zh) 信息处理装置、信息处理方法和记录介质
CN106165386A (zh) 用于照片上传和选择的自动化技术
CN108885799A (zh) 信息处理设备,信息处理系统以及信息处理方法
CN106210538A (zh) 在用户设备上显示基于光场的图像的方法和装置及程序
CN106575365A (zh) 对象识别特点分析系统和方法
US10650234B2 (en) Eyeball movement capturing method and device, and storage medium
CN103020885A (zh) 深度图像压缩
CN110135336A (zh) 行人生成模型的训练方法、装置及存储介质
CN107852458A (zh) 视频帧处理
CN113050860B (zh) 一种控件识别方法和相关装置
JP2005310101A (ja) 視線誘導度算出システム、視線誘導度算出プログラムおよび記憶媒体、並びに視線誘導度算出方法
CN107479715A (zh) 利用手势控制实现虚拟现实交互的方法和装置
WO2022033306A1 (zh) 目标跟踪方法和装置
CN109360277A (zh) 虚拟仿真显示控制方法和装置,存储介质及电子装置
KR20210084444A (ko) 제스처 인식 방법 및 장치, 전자 디바이스 및 기록 매체
CN115623313A (zh) 图像处理方法、图像处理装置、电子设备、存储介质
CN107255812A (zh) 基于3d技术的测速方法、移动终端、及存储介质
CN110620877B (zh) 位置信息生成方法、装置、终端及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant