CN101682695B - 可配置用于自主自学操作的照相机 - Google Patents

Abstract

本公开涉及用于捕捉图像的图像捕捉设备和技术。所述技术包括将图像捕捉设备配置处于学习模式中以用于感测设备的周围环境中的至少一个变量并定义所述至少一个变量的正常状态。此外，所述技术包括在检测到所述至少一个变量从所述正常状态到新条件的转换时发起图像捕捉，其中，所述转换超过预定阈值水平；以及将所述正常状态重新定义为所述新条件。

Description

可配置用于自主自学操作的照相机

技术领域

本发明总体上涉及图像捕捉，更具体而言涉及在没有直接的操作员干预的情况下响应一组环境提示的照相机装置。

背景技术

虽然目前的数字照相机已取得易于使用且相对不麻烦的进步，但仍存在可能妨碍享受拍照体验的缺陷。即使用最直观的“对准即拍”式数字照相机，摄影师也常常较多地参与拍照的任务，而不是作为参加者享受该事件。在很大程度上，这已经是公认的准则；拍照者有工作要做，并因此比其它参加者略少地参与行动。这种布置的另一缺点涉及事件时参加者的响应，参加者知道正在给他们拍照，并可能在拍照期间反应不自然。

为了解放拍照者、允许摄影师从照相机后面走出并成为场景的一部分，已经提出了许多解决方案。最熟悉的解决方案包括从使得摄影师能够在进行了所有设定和调整之后立即从照相机后面赶快走出的延迟器到遥控快门及其它设备。虽然诸如此类的解决方案能够向摄影师提供一定程度的自由，但为了获取事件时的图像，仍需要大量的注意力和设置。

远程照相机激活已被用于诸如工业监视、侦察以及建筑物安全的应用。用于图像捕捉的声音或运动致动系统使得能够记录各种类型的事件，诸如：人员的进入或离开，人、动物或物体的运动等。用于远程监控的Webcam设备还可以在诸如从红外(IR)运动检测器感测到噪声、光、声音或运动时捕捉图像。用于此类系统的照相机通常被放置在固定位置并以已知的格式获得图像内容。例如在Norris等人的题为“Smart Camera System”的美国专利申请公开No.2004/0080618中描述了事件检测照相机设备。

虽然用于事件拍照的远程照相机激活可以利用为了安全和监视而开发的解决方案，但是，在用于消费者成像、捕捉与家人和朋友的瞬间的拍照环境与监视远程位置处的事件的更寻常的工作之间存在许多重大差别。当然，图像质量、主体(subject)选择以及定时对于消费者事件摄影来说是关键关注而对于远程监视而言相对不重要。例如，仅仅用运动或声音的检测实现照相机激活虽然足以用于远程工业成像，但不太可能在诸如生日宴会或与朋友的假日聚会的家庭事件时获得合意的图像。

提供更自然的拍照体验的努力包括在Pilu的题为“AutonomousCamera Having Exchangeable Behaviors”的美国专利申请公开No.2005/0012830中所概述的那些。′830 Pilu公开描述了具有行为存储器的可佩戴照相机，其中所述照相机能够通过分析来自对象场的数据来检测关注的事件或情况。同样地，惠普公司(Hewlett-Packard Corp.)的团队已经提出一种“总是打开的照相机”，其连续地进行记录并用算法进行补充以将获得的巨量图像分类以便帮助选择可能值得保存的少数好图像。例如，一种版本固定到一对眼镜的侧边，这使其可用于至少某一部分人。虽然使照相机从一个人的头部侧面突出可能感觉自然，但可以质疑的是，人是否可能由正在被连续摄像的对象场中的那些人引发自然且自发的行为。此外，可佩戴解决方案没有将摄影师带入照片中，而是仅仅改变用户瞄准照相机的方式。当然，对于许多类型的消费者成像情况，将照相机附着于摄影师的想法看起来几乎不符合“解放”摄影师的想法。

因此，虽然以更自然和自发的方式自动地获得图像的价值得到认可，但现有的解决方案不满足一方面将摄影师从图像捕捉功能中解放出来的需要和另一方面将主体从“在拍照片”的心理约束中解放出来的需要。用于具有后续挑选过程的连续“批量”成像的现有解决方案错失了表征人们想要捕捉和保存的时刻的激动、自发和社会互动的元素。

现有解决方案在捕捉关键时刻时包括静止图像或视频图像的捕捉。捕捉包括一个时刻前后的视频以及静止图像的整个时刻的能力将大大地增加该时刻的上下文并增加摄影师的体验。然而，在国际专利申请WO2004/111971 A2“Automatic Traffic Violation Monitoring andReporting System with Combined Video and Still-Image Data”中已经描述了视频和静止图像的组合捕捉，其局限于用作交通违例中的证据，此外还需要使用多个视频和静止图像捕捉设备和多个所捕捉的图像。需要一种消费者可用的能够捕捉整个关键时刻的单个设备来将摄影师从图像捕捉功能中解放出来。

现有解决方案中未提出或解决的问题是需要提供改善的其中涉及运动的成像。例如，消费者摄影师难以捕捉运动中的足球刚好在被守门员接住或漏掉之前的图像。对于快速移动的动作，消费者照片趋向于由于照相机操作员的延迟和图像捕捉定时本身的固有延迟两者而被延迟(有时延迟零点几秒)，从而可能错过更关注的图像。对视频流的后续编辑是传统上用来解决此问题的一种解决方案。然而，具有一种允许高速事件成像并允许摄影师有更大的自由度且易于用于获得图像的方法将是有利的。

因此，可以看到需要创新的方法以便提供可能在不使摄影师束缚于拍照任务且不使摄影师置身于照片之外的情况下获得良好照片的更令人满意的拍照体验。对于某些情况来说，可用的自主照相机解决方案甚至应能够在群体事件时为专门的摄影师提供可用的替代者。提供非常适合于拍照消费者的需要的、用于自动或“自主”的照相机操作的装置和方法将是有利的。

发明内容

一般而言，本公开涉及改善数字式成像设备的多用性以包括自主自学操作。为了达到此目的，本发明提供一种图像捕捉方法，包括：将图像捕捉设备配置为处于学习模式中以用于感测设备周围环境中的至少一个变量并定义所述至少一个变量的正常状态；在检测到所述至少一个变量从所述正常状态到新条件的转换时发起图像捕捉，其中，所述转换超过预定阈值水平；以及将所述正常状态重新定义为所述新条件。

本发明的另一方面是一种用于捕捉图像的装置。该装置包括：图像捕捉设备，其提供可配置的学习模式以用于感测所述设备周围环境中的至少一个变量并定义所述至少一个变量的正常状态；至少一个传感器，其用于检测所述至少一个变量从所述正常状态到新条件的转换，其中，所述转换超过预定阈值水平；以及处理器，其用于在检测到所述至少一个变量的转换时发起图像捕捉并将所述正常状态重新定义为所述新条件。

附图说明

虽然本说明书以特别指出并明确主张本发明的主题的权利要求书结束，但应该相信，通过结合附图进行的以下说明，将更好地理解本发明，在附图中：

图1是根据本发明的实施例的数字图像捕捉设备的示意性框图；

图2是举例说明根据本发明的在事件时使用的数字图像捕捉设备的框图；

图3是根据本发明的用于获取的图像捕捉组的定时图；

图4举例说明根据本发明的一个实施例的用于设置成像系统的界面屏幕的一个示例；

图5是用于图像触发设置的用户界面屏幕的平面图；

图6是示出用于图像捕捉的自动触发的步骤的逻辑流程图；

图7举例说明根据本发明的一个实施例的自动响应模式如何工作；以及

图8举例说明操作员将遵循以便训练照相机以使用各种图像主体作为图像捕捉触发器的过程。

具体实施方式

将参照附图来详细描述本发明的各种实施例，在附图中相同的附图标记在多个视图中自始至终表示相同的部分或组件。对各种实施例的参考不限制本发明的范围，本发明的范围仅仅由随附的权利要求的范围来限制。另外，本说明书中所阐述的任何示例并不意图是限制性的，而是仅仅阐述所主张的发明的许多可能实施例中的某些。

本发明提供一种诸如照相机的自主图像捕捉设备，其提供非常适合于消费者对给家人、朋友和群体事件拍照的需要的解决方案。所述自主图像捕捉设备根据用户输入的指令、用户提供的培训或被设备检测为合适的图像触发条件的环境事件而响应于设备所感测的提示来自动地捕捉数字图像。所述设备是灵活的，允许除通过用户按下图像捕捉按钮之外还通过许多可编程事件中的任何一个来触发图像捕捉。对于本发明的实施例，应注意的是使用图像捕捉设备捕捉的图像可以是视频图像或静止图像或视频与静止图像的某组合。

随后描述的实施例的图像捕捉设备可以是数字静止照相机、视频照相机或能够捕捉静止和视频图像两者的照相机。由图像捕捉设备来获取图像捕捉组且该图像捕捉组可以包含由设备基于设备的能力和由操作员或由设备控制逻辑指定的设定参数而捕捉的静止和视频中的任何一者或两者中的一个或多个。在一个实施例中，所述图像捕捉组由包括：静止图像与检测到图像触发条件之前的预定秒数的视频的组合、静止图像与检测到图像触发条件之后的预定秒数的视频的组合、和/或上述两者的组合。

图1是根据本发明的实施例的数字图像捕捉设备10的示意性框图。至少包含透镜13和图像传感器15的图像捕捉模块12连接到执行用于自动地获取照片的逻辑程序的中央处理单元14。至少一个传感器18与中央处理单元14通信，使得中央处理单元14能够通过激活图像捕捉模块12以捕捉图像来响应所感测的条件。所捕捉的图像的图像数据可以被本地地存储在可选存储器16处或者可以通过诸如以太网或其它网络类型的网络22被发送到远程存储器。用户接口20使得操作员指令能够被输入并在中央处理单元14上被执行，从而允许图像捕捉设备10的灵活操作和响应。

如对于本领域技术人员来说显而易见的那样，图1的基本布置允许有许多不同的实施例。例如，数字图像捕捉设备10可以具有整体地内置的传感器18以及中央处理单元14、用户接口20或存储器16中的任何一个。如随后将描述的，可以提供一个或多个环境传感器18，包括检测声音、光(可见光、紫外线或红外线)、振动、热量、电场、磁场、辐射及能够充当暗示或提示的其它环境变量的传感器。或者，中央处理单元14例如可以是机载微处理器或单独的个人计算机，诸如膝上型计算机或工作站。用户接口20可以是内置的或者可以是与装置10可分离的。中央处理单元14和存储器16部件可以远程地位于沿着网络22的某些其它位置。根据所需的灵活性，部件之间的连接可以是无线或有线的。因此，出于后续说明的目的，图1的布置可以充当有用的模型，遭受任意数目的变体。

图2是举例说明根据本发明的在事件时使用的数字图像捕捉设备10的框图。数字图像捕捉设备10位于便于图像捕捉的位置，例如，诸如在架子或高桌上以用于室内事件。或者，数字图像捕捉设备10可以被手持或附着于人体或数字图像捕捉设备10模糊地指向期望进行图像捕捉的方向的其它方法。可以将一个或多个传感器18嵌入数字图像捕捉设备10中或根据其与数字图像捕捉设备10之间的互连通信信道的许可布置在与数字图像捕捉设备10的任何适当距离处。此互连通信信道可以是有线或无线的。可以将传感器18中的一个或多个隐藏、伪装成场景中的对象或伪装在场景中的对象中，或者可以由在数字图像捕捉设备10的场景附近的某个人佩戴。

传感器类型和布置

传感器18可以是许多类型的传感器设备中的任何一个并特别地使用中央处理单元14的处理能力来检测许多条件中的任何一个。可以使用多个传感器18。传感器18可以是例如音频传感器。在一个实施例中，预定阈值水平以上的噪声可以指示用于图像捕捉的适当时间。然而，可能存在适合于图像捕捉的细微提示。声音的类型也可以指示有利于图像捕捉的时间。这可以包括来自一个或多个参加者的提示，诸如关键字、从一种提示设备获得的无论是否可被人耳听见的声音、笑声、从高到低或从低到高的音量突然转换、喝彩、到沉默的转换等等。还可以获取一个或多个参加者的语音分布(profile)且中央处理单元14被编程为对任何特定人的语音或来自一个或多个人的声音中的语调做出响应。而且，诸如铃声的来自动物或对象的声音可以触发图像捕捉。

或者，传感器18可以是任何类型的环境传感器，诸如一种热传感器或红外传感器。可以使用从事件参加者检测到的热来触发图像捕捉。还可以使用所检测的图像场的热分布的变化，诸如指示运动的变化。传感器18还可以感测光的变化，包括亮度或光谱变化。传感器18可以越过可见光谱而到紫外区或红外区中感测光谱变化。这种类型的变化可以用来例如指示适合于触发图像捕捉的运动。或者可以由传感器18或多个传感器18来感测振动或气流。还可以由传感器18来感测电场、磁场或辐射以感测触发图像捕捉的图像场变化。例如，这些因素可以指示一个或多个参加者的接近。

在其它实施例中，可以由对由图像捕捉模块12连续获得的图像数据执行图像处理的图像处理软件来扮演传感器18的角色。通过连续地监视由图像捕捉模块12获得的视频信号，此软件能够检测诸如突然运动、运动开始或运动停止、亮度变化及能够充当用以触发图像捕捉的图像触发条件的其它条件的事件。

捕捉内容

在数字图像捕捉设备10的另一操作模式下，获取图像捕捉组。该图像捕捉组由包括：静止图像与检测到图像触发条件之前的预定秒数的视频的组合、静止图像与检测到图像触发条件之后的预定秒数的视频的组合、及其以上两者的组合。在本实施例中，图像捕捉模块12可以捕捉静止图像及如在视频中一样的一系列图像两者，或者可以从提供给显示器的预览流中捕捉视频。

先前所述的一个问题涉及照相机操作员的响应时间。在此工作模式下，使用临时缓冲器17作为用以存储由图像捕捉模块12连续地获得的视频图像的最近部分的临时缓冲器。视频的分辨率低于静止图像的分辨率以实现快帧速视频、降低视频流的数据速率并且还减小所需的临时缓冲器17的大小。这提供一种用于从检测到图像触发条件之前的几秒开始获取视频图像以显示导致静止图像捕捉的事件的方法。另外，当在图像捕捉组中时，这几秒的视频可以为静止图像捕捉提供上下文。

图3是示出根据本发明的如何能够获得图像捕捉组的简化定时图。在图3中，窗口32举例说明时间窗口32。在时间窗口32中，时间t1是比能够将视频数据存储在临时缓冲器17中的t2早的预定时间段。例如，时间t1可以是时间t2之前的10秒。时间t3是在可以将视频数据存储在临时缓冲器17中的t2之后的预定时间段。例如，时间t3可以是t2之后的5秒。如图3的图所示，触发事件在时间t2发生。由于时间t3是t2之后的时间段，所以从t2至t3的时间段的视频数据可以直接存储在存储器16中。如下文更详细地讨论的那样，所述图像捕捉组可以由从时间t1至t2的视频图像、在t2捕捉的静止图像以及从t2至t3的视频图像的任何组合组成。在捕捉图像捕捉组之后，可以将图像捕捉组移动到存储器16中。

在一个实施例中，在静止图像捕捉之前的预定时间段获取的视频可以被包括在图像捕捉组中。此时间段在图3中由窗口32示出为t1与t2之间的时间。对于此时间段，视频被连续地存储在临时缓冲器17中(图1)。另外，静止图像捕捉之后的预定时间段(在图3中被示出为时间t2至时间t3)的视频也可以被包括在图像捕捉组中。t1与t2之间的时间以及t2与t3之间的时间由用户偏好、临时缓冲器17大小、默认设置或它们的组合而确定。当设备准备好捕捉时，诸如当数字捕捉设备10被置于以下模式中时视频被连续地存储在临时缓冲器17中：在该模式中，在用户拿起数字捕捉设备10时或者在用户接触图像捕捉按钮时捕捉图像组被使能。

用户界面示例

图4举例说明根据本发明的一个实施例的用于成像系统的设置的界面屏幕30的一个示例。在一个实施例中，所述图像捕捉系统被编程为对事件环境中的细微提示作出响应。例如，笑声可能具有可以被量化并用来发起图像捕捉的特定音频信号特性。还可以使用一定量的训练，由此将中央处理单元14编程为实现越来越好的结果以便将一种类型的声音与另一种(或者，更一般地，是一种类型的感测的条件与另一种)区别开

在图4中，界面屏幕30出现在照相机显示器上并使用触摸屏菜单选择。提供可扩展菜单选择34以使得能够选择用于自主图像捕捉的基本暗示或提示。在图5的示例中，选择音量变化条件作为发起图像捕捉的提示。照相机操作员进行将导致图像或图像捕捉组被获得的音量变化阈值的设定36。可以重新映射照相机上的控制按钮以便设置设定级别。可选地，可以使用触摸屏或其它类型的操作员输入机构来获得优选的设定级别。

可以有效地使用转换作为图像捕捉触发器且其比静态条件更有用。例如，可以将数字图像捕捉设备10设置为在感测到某阈值以上的噪声时获取图像。然而，在相对嘈杂的环境中，这将导致数字图像捕捉设备10比所期望的更频繁地激活并捕捉图像。作为替代，例如给定时间间隔内的若干分贝的噪声水平之间的转换将更可能在照相机用户关注的事件期间发起图像捕捉。

其它提示选择可能比图5的简单示例中所示的更加复杂。例如，提示选择可以指定一种语音(例如成年人或儿童)或者可以指定特定人的语音。如随后在更详细的示例中描述的那样，将使用在中央处理单元14(图1)上运行的语音识别软件来检测一个或多个个体的语音作为提示。

可以用作图像捕捉触发器的其它可选事件包括但不限于：颜色、亮度、或其它图像特性的变化。可以通过许多特性来检测运动，包括突然运动、停止的运动、指定阈值速度以上或以下的运动或具有可以可编程地选择的其它特性的运动。还可以使用内容作为图像捕捉触发器，以便各种图像主体可以被检测到并充当图像捕捉触发器。例如，诸如图像场中的脸部数目的变量可以充当图像捕捉触发器；面色和脸色(诸如可能指示吃力或羞愧的面色和脸色)的变化也可以由数字图像捕捉设备10来感测，并且用作用于图像捕捉的图像触发条件。

其它定义的内容条件可以包括人、动物、脸部或其它可识别主体或对象的检测。数字图像捕捉设备10可以设置有用于周期性地分析图像并确定该图像是否是人、宠物或其它动物、或关注的对象的图像的逻辑工具。如随后所述，数字图像捕捉设备10还可以具有“学习”特定人或对象的能力。

可以采用许多可选的传感器来检测除通常与光或声音相关联的条件之外的条件。可以选择红外检测器来识别某些人、宠物或视场中的人体热量或所测量的热分布的其它变化是适当的图像捕捉触发器的情况。可以使用用于体温、EKG、振动或其它可检测参数的传感器。

如前所述，可以获取静止和视频图像两者作为图像捕捉组的一部分。用于数字图像捕捉设备10的操作员界面能够向操作员提供用以设置具体地用于图像捕捉的类型或以某种组合形式用于两种类型的捕捉的图像触发条件的选项。

使用指定语音或其它音频信号的示例

图6是举例说明根据本发明的语音和/或音频检测逻辑的流程图。对于语音或其它音频检测，可以使用图6的逻辑流程或类似逻辑。对于语音示例，给出以下示例和步骤。应注意的是，诸如特定宠物、乐器、开门、电话、铃等的声音或其它声音的任何类型的声音可以是用于利用处于自主图像捕捉模式中的数字图像捕捉设备10进行图像捕捉的类似激励。

在选择步骤100中，操作员使用界面屏幕30命令来指定用于一种或多种语音(或其它声音)的语音或声音识别。在样本获取步骤110中，操作员使经识别的人向扩音器中说话。所述扩音器可以在照相机本身上，或者附着于照相机或中央处理单元14。根据所需的技巧，语音采样可以相对简单，仅仅需要说话者发音几秒的时间段，长到足以生成基本的音频分布。在更复杂的设定中，可能需要经识别的人说出有助于表征特定人的音调或语音模式的特定字句，以便能将其与其他人的音调或语音模式区别开。

一旦照相机被激活用于自主操作，则执行监视步骤120。在监视步骤120期间，数字图像捕捉设备10上的中央处理单元14连续地监视从扩音器输入信号检测到的音频流。根据控制逻辑确定是否已检测到指定人的语音，事件检测循环步骤130周期性地发生。如果已检测到，则执行图像捕捉步骤140。然后可以停止成像，直至接收到下一个操作员命令为止。可选地，可以用指示特定人或参加者已说话的所检测到的每个音频“事件”来发起连续的图像捕捉。

对环境变量的自动响应

图7举例说明根据本发明的一个实施例的自动响应模式如何工作。可以将数字图像捕捉设备10置于自动响应模式中，在该模式下其响应“预期”或“正常”设定的变化。在此模式下，数字图像捕捉设备10可以适应于其视场中的变化并在其检测到其环境中的足够量的变化时捕捉图像。这样，例如，可以将数字图像捕捉设备10单独留在最初空闲的房间中。当人进入时，所检测的活动可能具有足以激活数字图像捕捉设备10进行图像捕捉的能量。

在图7中，首先执行模式初始化步骤200，在此期间数字图像捕捉设备10被置于用于适合于其特定视场的模式下。可以提供一组或多组预置阈值设定202以帮助设置用于数字图像捕捉设备10执行图像捕捉的“能量水平”的灵敏度阈值。然后是用于训练数字图像捕捉设备10了解场景以便制订图像触发条件阈值的自学步骤210。在步骤210期间，数字图像捕捉设备10从其环境中感测一个或多个变量。这些变量可以包括例如其视场中的活动、环境噪声水平、相对亮度、颜色及其它可检测提示。处于此模式时，数字图像捕捉设备10将随着时间的推移所感测到的该活动综合，以便其获取其“世界”看来像的特性“分布”。然后，数字图像捕捉设备10将能够在其已随着时间的推移感测到场景中的相对活动或能量水平时立即响应场景中的转换。在一定的学习时间段之后，数字图像捕捉设备10随后准备好进行自主操作步骤220。例如，这可能是在预置时间段之后。或者，可以使用来自操作员的某些指示来结束自学步骤210并开始自主操作步骤220。

作为自主操作步骤220的一部分执行监视步骤230。在监视步骤230期间，数字图像捕捉设备10监视其视场及其所选的一组环境变量。当某些被测变量超过给定阈值时，发生事件检测步骤240。例如，外面经过的汽车的噪声可能是可检测的，但在数字图像捕捉设备10已经“学习”的阈值以下。这可能在数字图像捕捉设备10已被置于相对噪杂的环境中时发生，从而来自预期环境噪声的假触发未被用于触发图像捕捉。当已感测到某种类型的激励时执行判定步骤250。如果所感测的信号超过给定阈值或满足可能受预置设定202和在自学步骤210中获得的所学特性这两者的影响的其它必要条件，则可以发起图像捕捉步骤260。如所示，这可以终止自主操作，或者可以简单地导致控制逻辑返回到监视步骤230。

作为自主操作步骤220的另一部分，数字图像捕捉设备10还可以基于在操作中所感测到的内容连续地“重新学习”其环境。例如，会议室最初在自学步骤210期间可能是空的。随着参加者开始进入该房间，数字图像捕捉设备10将开始获取图像，如刚刚所述的那样前进到图像捕捉步骤260。例如，将对进入房间的每个人或周期性地捕捉图像。然而，一旦房间满了或将再没有其他人进入，则照相机的响应应因此改变。在另一实施例中，通过继续综合所感测的数据，数字图像捕捉设备10因此能够获得被更新的历史，以便其灵敏度阈值在会议已开始时立即改变。然后将使用一种重新定义、重新计算或“滚动”的正常状态，从而允许数字图像捕捉设备10使用所感测的条件的最近“历史”响应于变化的环境或新的条件来调整其阈值灵敏度。对于图7所示的逻辑，因此能够周期性地调用自学步骤210以便调整在判定步骤250中使用的阈值设定。通过获得此历史，则只有音量或运动的急剧变化可能触发后续的图像捕捉。可以有效地防止假触发以使不关注或重复的图像的捕捉最小化。

还应注意到，数字图像捕捉设备10能够自动地进入自动响应模式，从而在上电后立即执行或根据定时器执行模式初始化步骤200。另外，监视步骤230可以具有随时间而变的不同水平的灵敏度。此特征将允许数字图像捕捉设备10进入“节能”模式，从而如果在预定时间段内未检测到事件，则减少电池或其它功率消耗。例如，在用户忘记关闭数字图像捕捉设备10且该设备在周末一直留在会议室中的情况下，较低水平的监视灵敏度可能最适合于节能特征。

总而言之，在自动响应模式下使用的数字图像捕捉设备10的操作员可使用各种配置。在一个实施例中，不需要照相机的配置。除非操作员另外指示，否则只要被施加功率，照相机就自动地进入自动响应模式。或者，可以提供配置工具以便从各种感测条件之中进行选择或提供初始化阈值。

如前所述，在自动响应模式下获得的图像捕捉组可以是静止图像或视频图像或两种图像类型的某些组合。在某些条件下，诸如对于某些类型的事件或对于不同的阈值设定，可以在图像捕捉步骤260中获得短视频序列。

对主体或事件的所学习的响应

图8举例说明用于教授数字图像捕捉设备10使用图像的各种可识别部分作为充当图像捕捉触发器的关注的主体的过程。在一个实施例中，数字图像捕捉设备10连续地分析视场并在检测到关注主体时发起图像捕捉。同样地，所述关注主体表示要检测的变量且视场内的关注主体的存在指示图像触发条件阈值水平已经被超过。或者，图像触发条件可以是关注主体的存在变化，其中当关注主体离开视场时所述阈值被超过。

数字图像捕捉设备10学习或被训练响应特定的关注主体或在其视场内能够感测或发生的特定类型的事件。在一个实施例中，如图8的示例所示，操作员允许用于教导或训练照相机的过程使用各种关注主体作为图像捕捉触发器。更具体地说，在设置步骤300中，操作员指示数字图像捕捉设备10进入教授模式，此指令可以使用照相机上的控制机构42或通过诸如下拉菜单或指定控制序列的、为此目的而提供的一些其它命令输入设备来输入。

在显示步骤310中，包含关注主体或事件的图像出现在照相机显示器30上。其可以是新捕捉的图像或先前存储的可被照相机访问的图像。利用所显示的图像，接下来执行识别步骤320。在识别步骤320中，操作员明确地指示应被用作图像捕捉触发器的关注主体。在图8的示例中，操作员想要在数字图像捕捉设备10在其视场中具有足球时所捕捉的图像。操作员显示具有该关注主体的适当图像并随后以某种方式(诸如利用触摸屏)突出显示该关注主体。然而，本发明不限于突出显示，可以使用任何适当技术来选择主体，诸如在授予Manico等人的美国专利No.7,164,490“Custom Cut Image Products”中所述的那些技术。所显示的图像可以是先前捕捉并存储在数字图像捕捉设备10中的图像，或数字图像捕捉设备10诸如通过网络22可访问的图像。可选地，所显示的图像可以仅仅是在数字图像捕捉设备10操作期间连续地获取的现场图像显示。

在图8中，绘出在照相机显示器30中所示的足球周围的轮廓44。可以在触摸屏显示器上勾画或者可以以其它方式生成轮廓44。可选地，触摸屏上的手指按压可以识别关注主体。然后，中央处理单元14(图1)上的图像分析软件将能够被绑定并识别离手指按压最近的对象。

可以根据需要将图8所示的用于教授数字图像捕捉设备10的设置步骤重复许多次以便生成关注主体的“库”。例如，可以使用此相同序列来将人物作为关注主体引到数字图像捕捉设备10。这将允许数字图像捕捉设备10识别其“关注的”人或致力于获得该组人的图像。因此关注主体的库将既包括诸如图8的示例的足球的对象，又包括任何数目的人者。

可以使用类似序列来识别特定的颜色或声音并将其同样地存储在所学习的响应主体和事件的库中。这样，例如，可以将足球队制服或球队欢呼存储为图像触发条件。

教授序列的一部分可能需要反馈并修正获取相似的人或对象的图像时的照相机误差，但并不是优选选择。例如，母亲可以有效地教授数字图像捕捉设备10将其孩子与团队或学校比赛中的其它孩子区别开。

通过将多个关注主体组合，用户可以教授数字图像捕捉设备10在关注主体全部一起存在于图像中时捕捉图像。使用多个关注的主体的示例是教授数字图像捕捉设备10在具有特定运动衫号码的足球运动员连同足球和球门一起在视场中时发起图像捕捉。在这种情况下，运动衫号码、足球和球门每个均将被识别为关注主体且图像触发条件阈值将是全部3个关注主体在视场中的同时存在。

在另一实施例中，数字图像捕捉设备10可以被配置为使用图像库来基于库的内容确定特定用户趋向于具有的优选关注主体。此图像库可以位于数字图像捕捉设备10上或位于经由网络22访问的远程地点。例如，某个儿童、宠物或其它主体的重复图像将指示此特定主体对于用户来说特别有价值。可以使用图像分析软件来跟踪各种主体的获得的图像的数目并使用此数据作为到学习过程的输入以确定优选的关注主体。同样地，数字图像捕捉设备10能够根据其对用户的认知价值来对图像库中的每个图像赋予图像值。这称为图像值索引(IVI)。例如，可以获得关于用户查看某些图像多长时间和那些图像的内容的数据。可以以多种方式来检测图像中的重要区域，诸如授予Miller等人的题为“Method and Computer Program Product forDetermining an Area of Importance in an Image using Eye MonitoringInformation”的共同转让的美国专利No.7,046,924中所述的方式。各种图像内容的有效值的其它有用指示符可以包括使用图像的电子邮件事务的数目和从此设备捕捉的图像的可识别内容。还可以扫描由数字图像捕捉设备10传输和检测的提供给图像的元数据并用来指示看起来用户特别关注的主体。

一旦已存储一个或多个关注主体，数字图像捕捉设备10就可以采用这些关注主体作为每当其处于自动响应模式时的图像捕捉触发器。这些图像捕捉触发器随后可以被感测为使数字图像捕捉设备10在视场中存在关注主体(一个或多个)且已满足相应的阈值时捕捉图像(或捕捉图像捕捉组)的“指令”。提供附加用户程序，以用于管理关注主体库及所学的其它图像捕捉触发器、消除对于用户来说不再有价值的图像捕捉触发器、将图像捕捉触发器按优先次序排列或者以组合方式协调多个图像捕捉触发器的使用。

图像处理

传统摄影方法常常需要相当小心和注意照相机设备的精确设置并支撑照明部件，以便尽可能多地使图像质量最优化。相反，本发明利用数字成像的各种好处来使所需的图像处理自动化以便在使用数字图像捕捉设备10时获得合意的图像。

在一个实施例中，使用广角照相机来获得原始数字图像。然后，使用用于从图像中识别重要图像内容并进行裁切以便为了形成经调节的数字图像而去除较不关注内容的许多众所周知的技术中的任何一种来确定此原始图像的中心并进行裁切，以便。可以观察到成像分辨率方面的正在进行和未来预期的进步将使得经裁切的图像能够具有合意的外观和非常好的图像质量。

可以使用关键帧提取方法以便检测并辨别对用户来说最可能有价值的关键图像帧。在Luo等人的题为“Extracting Key FrameCandidates from Video Clip”的于2006年2月3日提交的共同转让的待决美国专利申请序列号11/346,708和Luo等人的题为“AnalyzingCamera Captured Video for Key Frames”的于2006年2月3日提交的待决的美国专利申请序列号11/347,679中描述了关键帧提取方法。在Zhang的题为“Intelligent Key Frame Extraction From a Video”的美国专利申请No.2005/0228849中描述了其它关键帧提取方法。

自动变焦和裁切技术对于选择广角图像的特别关注的那部分来说很有价值。描述可以使用的自动变焦和裁切技术的专利的示例包括授予Luo的题为“Automatically Producing an Image of a Portion of aPhotographic Image”的共同转让的美国专利No.6,654,507和授予Luo等人的题为“Method for Automatically Creating Cropped and ZoomedVersions of Photographic Images”的共同转让的美国专利No.6,654,506。可以使用图像捕捉组中的视频来进一步改善应用于图像捕捉组的静止图像的内容的自动变焦和裁切过程。而且，可以通过向自动变焦和裁切过程提供输入而使用图像捕捉触发信息来进一步改善自动变焦和裁切的图像的图像内容。

已特别参考本发明的某些优选实施例详细描述了本发明，但应理解的是，在不脱离本发明的范围的情况下本领域技术人员可以在如随附权利要求所述的如上所述的本发明的范围内实现修改和变更。例如，通过实现部件之间的适当连接及使用在标准工作站或膝上型计算机平台上执行的控制程序逻辑，本发明可以与许多类型的数字照相机一起使用。或者，可以将本发明的装置封装为产品，将传感器、控制逻辑、接口及其它功能件集成到所述设备。根据应用，可以采用各种类型的图像处理。在不同的位置处，可以使用多个照相机，并基于相同的感测条件来获取图像。利用基于所感测的条件的各种组合而编程的不同性能，可以使用传感器的不同布置。

因此，提供的是用于提供一种响应一组环境提示而在没有直接的操作员干预的情况下获得图像捕捉组的照相机装置的装置和方法。

部件表

10    数字图像捕捉设备

12    图像捕捉模块

13    透镜

14    处理单元

15    图像传感器

16    存储器

17    临时缓冲器

18    传感器

20    用户接口

22    网络

30    屏幕

32    窗口

34    菜单选择

36    设定

42    控制机构

44    轮廓

100   选择步骤

110   样本获取步骤

120   监视步骤

130   事件检测循环步骤

140   图像捕捉步骤

200   模式初始化步骤

202   阈值设定

210   自学步骤

220   自主操作步骤

230   监视步骤

240   事件检测步骤

250   判定步骤

260   图像捕捉步骤

300   设置步骤

310   显示步骤

320   识别步骤

Claims (17)

1.一种图像捕捉方法，包括：

将图像捕捉设备配置为处于学习模式中以用于感测所述设备周围区域中的至少一个变量并定义所述至少一个变量的正常状态；

为所述至少一个变量设置预定的初始灵敏度阈值；

在预定的一段时间内感测所述设备周围的区域中的所述至少一个变量；

制订所述设备周围的区域中的所述至少一个变量的随时间变化的分布；

根据所述随时间变化的分布设置所述至少一个变量在所述正常状态下的新的灵敏度阈值；

在检测到所述至少一个变量从所述正常状态到新条件的转换时发起图像捕捉，其中，所述转换超过所述新的灵敏度阈值水平。

2.权利要求1的方法，其中，将所述图像捕捉设备配置为处于学习模式中还包括在上电时进入所述学习模式。

3.权利要求1的方法，其中，检测所述至少一个变量的转换还包括检测照相机的视场中的所述至少一个变量。

4.权利要求3的方法，还包括检测来自包括视场中的活动、环境噪声水平、紫外线强度、红外线强度、电场水平、磁场水平、辐射水平、相对亮度和颜色的组的至少一个变量。

5.权利要求3的方法，其中，配置所述图像捕捉设备还包括将视场中的图像中的关注主体识别为所述至少一个变量且所述关注主体的存在的变化组成超过所述阈值水平的转换。

6.权利要求5的方法，其中，识别视场中的关注主体还包括显示包括所述关注主体的图像并通过使用触摸屏来指示具有所述关注主体的图像的部分。

7.权利要求5的方法，其中，识别视场中的关注主体还包括勾画来自显示在图像捕捉设备上的图像的一部分的、来自包括对象、动物和人的组的至少一个关注主体。

8.权利要求5的方法，其中，识别关注主体包括分析图像集合。

9.权利要求8的方法，其中，分析图像集合以确定关注主体还包括分析图像元数据。

10.权利要求8的方法，其中，分析图像集合以确定关注主体还包括使用图像值索引。

11.权利要求8的方法，其中，分析图像集合以确定关注主体还包括分析图像内容。

12.权利要求1的方法，还包括随着时间的推移继续感测所述至少一个变量并基于所感测的变量的行为来重新定义所述正常状态。

13.权利要求1的方法，其中，重新定义所述正常状态还包括通过响应于变化的环境或新条件而调整所述阈值水平来重新定义所述正常状态。

14.权利要求13的方法，其中，调整所述阈值水平还包括基于所感测的所述至少一个变量的最近历史来将所述正常状态重新定义为所述新条件。

15.权利要求13的方法，其中，调整所述阈值水平还包括周期性地将所述正常状态重新定义为所述新条件。

16.权利要求1的方法，还包括在一段时间的非激活状态之后降低照相机功率消耗。

17.权利要求1的方法，其中，将所述正常状态重新定义为所述新条件还包括在每次随后的图像捕捉之后将所述正常状态重新定义为所述新条件。

Images