CN104094590B - 用于无人值守图像俘获的方法及设备 - Google Patents

用于无人值守图像俘获的方法及设备 Download PDF

Info

Publication number
CN104094590B
CN104094590B CN201380007992.4A CN201380007992A CN104094590B CN 104094590 B CN104094590 B CN 104094590B CN 201380007992 A CN201380007992 A CN 201380007992A CN 104094590 B CN104094590 B CN 104094590B
Authority
CN
China
Prior art keywords
score
image
face
main body
described image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201380007992.4A
Other languages
English (en)
Other versions
CN104094590A (zh
Inventor
吴黄新
卡蒂科扬·尚姆加瓦迪韦卢
刘石忠
菀·顺·文森特·马
阿达许·阿沛·戈利克利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN104094590A publication Critical patent/CN104094590A/zh
Application granted granted Critical
Publication of CN104094590B publication Critical patent/CN104094590B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Abstract

本发明描述一种用于无人值守图像俘获的方法及设备,其可识别用图像传感器俘获的图像内的主体或面部。所述方法及设备可接着至少部分地基于所述图像中的所检测主体或面部的分数、面部表情分数、聚焦分数、曝光分数、稳定性分数或音频分数而对所述图像进行计分。如果所述图像的所述分数高于阈值,则可将快照图像存储到所述成像装置上的数据存储装置。如果所述图像的所述分数低于阈值,则可产生指示所述主体在图像俘获过程期间应改变位置、微笑或保持更静止的一或多个可听提示。

Description

用于无人值守图像俘获的方法及设备
技术领域
本发明的实施例涉及成像装置,且明确地说,涉及用于用成像装置进行无人值守图像俘获的方法及设备。
背景技术
数字成像装置的一个常见用途是无人值守图像俘获。当群组的所有成员都希望包含在图像中时,可使用无人值守图像俘获模式。在此情况下,在俘获图像时,没有人可以值守成像装置。在使用位于成像装置上的传统“快门释放”按钮俘获图像时,情况尤其如此。为解决此使用情况,“自拍计时器(self-timer)”作为数字成像装置的特征已变得普遍。自拍计时器在按压快门释放的时间与俘获图像之间提供延迟。此延迟为拍摄者提供按压快门释放按钮且接着快速前去正拍摄的场景中的机会。当计时器到期时,俘获图像,而不管拍摄者是否能够成功地使其自身处于图像中,且不管在计时器到期时图像的任何其他主体是否准备好。
除自拍计时器之外,一些成像装置还提供远程控制能力以辅助无人值守图像俘获。通过远程控制能力,可能不太需要使用自拍计时器。确切地说,具有远程控件的“拍摄者”可使其自身处于正由成像装置俘获的场景内。在远程控件上启动“快门释放”按钮将远程地命令成像装置俘获图像。如果拍摄者可定位远程控件而使得其在照片中不可见,则远程控件可提供无人值守图像俘获的良好解决方案。
遗憾的是,存在当试图在没有拍摄者存在于相机后方的情况下俘获图像时可能发生的许多问题。这可能至少部分归因于拍摄者在俘获图像之前不能够预览场景。场景常常是动态的,且可能随着场景的主体准备被拍摄而改变。举例来说,当拍摄者首先经由取景器观看或最初经由电子显示器预览场景时,一些主体可能并不恰当地定位在图像帧中。此外,一些主体可能并不正在观看相机,或可能不具有恰当表情来获得合意的照片。然而,通过等待合适的片刻,主体的位置可改进,且主体可向相机微笑以使得拍摄者可获得合意的图像。拍摄者可接着俘获快照图像。
一些拍摄者可能不但要等待正确片刻,而且还要向正拍摄的主体提供指导。举例来说,拍摄者可让一个主体移近另一主体,或移动地更靠近图像中心。拍摄者还可例如通过让主体微笑并看向相机而在表情上指导主体。接着,当拍摄者已指导主体进入所成像的场景将产生合意快照的位置时,拍摄者可俘获快照图像。
然而,自拍计时器不会等待主体恰当地使其自身处于场景中,而是在特定时间量已过去之后俘获图像。俘获快照,而不管所有主体是否都恰当地定位。使用远程控件俘获快照图像可允许具有远程控件的“拍摄者”在指导主体中起到一定作用,然而,拍摄者在场景内的位置可能不会向其给予图像在被俘获时将看似如何的视角。这可限制其提供的任何方向的有用性。举例来说,其可能不能够看出是否所有主体都已恰当地定位或是否照片的所有主体都具有合意表情。
发明内容
本发明的实施例中的一些可包含一种用数字成像装置俘获图像的方法。所述方法包含:用图像传感器俘获场景的图像;确定所述图像中的多个主体;确定所述图像中的两个或两个以上主体中的每一者的主体分数;至少部分地基于所述主体分数确定图像分数;在所述图像分数高于阈值的情况下用所述图像传感器俘获所述场景的快照图像并将所述快照图像存储到数据存储装置;以及在所述图像分数低于阈值的情况下基于主体的所述分数输出提示。在一些实施例中,所述方法还包含检测所述所俘获图像中的面部。在一些实施例中,所述方法还包含对所述所检测面部执行面部辨识以使名称与所述所检测面部相关联。在一些实施例中,提示的所述输出是基于所述名称。
在一些其它实施例中,对图像进行计分是至少部分地基于面部位置分数、面部遮挡分数、面部眨眼分数、面部微笑分数,或面部注视分数。在一些实施例中,对图像进行计分是至少部分地基于图像稳定性分数、图像聚焦分数、图像曝光分数,或图像音频分数。
在一些实施例中,所述方法包含基于所述图像分数俘获快照图像,及将所述快照图像存储到存储装置。在一些实施例中,所述方法还包含从麦克风接收音频信号,检测所述音频信号中的关键字或关键声音,及基于所述所检测的关键字或关键声音对所述所俘获图像进行计分。
另一方面为一种用于俘获图像的设备。所述设备包含:图像传感器;以及处理器,其操作性地耦合到所述图像传感器。所述设备还包含:图像传感器控制模块,且经配置以用所述图像传感器俘获场景的图像;主体检测模块,其经配置以检测所述所俘获图像中的多个主体;主体计分模块,其经配置以确定所述所俘获图像中检测到的所述多个主体中的两者或两者以上中的每一者的分数;图像计分模块,其经配置以至少部分地基于所述主体分数确定图像分数;快照俘获模块,其经配置以在所述图像分数高于预定图像分数阈值的情况下用所述图像传感器俘获快照图像;提示确定模块,其经配置以至少部分地基于所述图像分数确定提示;以及用户交互模块,其经配置以输出所述提示。
在一些实施例中,所述设备还包含面部辨识模块,所述面部辨识模块经配置以使名称与所述所检测主体中的一者相关联,其中所述提示的所述输出还基于所述名称。在一些实施例中,对图像进行计分是至少部分地基于面部位置分数、面部遮挡分数、面部眨眼分数、面部微笑分数,或面部注视分数。在一些实施例中,对图像进行计分是至少部分地基于图像稳定性分数、图像聚焦分数、图像曝光分数,或图像音频分数。
在一些实施例中,所述设备还包含:麦克风;以及音频俘获模块,其经配置以使用所述麦克风俘获与所述图像相关联的音频信号,其中所述图像分数还基于所述所俘获的音频信号。
所揭示的另一方面为一种图像俘获装置。所述图像俘获装置包含:用于用图像传感器俘获场景的图像的装置;用于确定所述图像中的多个主体的装置;用于对所述多个主体中的两者或两者以上中的每一者进行计分的装置;用于至少部分地基于所述主体的所述分数对所述图像进行计分的装置;用于在所述图像分数高于阈值的情况下用所述图像传感器俘获所述场景的图像并将所述图像存储到数据存储装置的装置;以及用于在所述图像分数低于阈值的情况下基于主体的所述分数输出提示的装置。
在一些实施例中,所述图像俘获装置进一步包含用于俘获与所述图像相关联的音频的装置。所述图像分数进一步基于所述所俘获音频。在一些实施例中,所述用于对所述多个主体中的每一者进行计分的装置包含用于确定面部位置分数的装置、用于确定面部遮挡分数的装置、用于确定面部眨眼分数的装置、用于确定面部微笑分数的装置,或用于确定面部注视分数的装置。在一些实施例中,所述用于对所述图像进行计分的装置包含用于确定图像稳定性分数的装置、用于确定图像聚焦分数的装置、用于确定图像曝光分数的装置,或用于确定图像音频分数的装置。
所揭示的另一方面为一种存储指令的非暂时性计算机可读媒体,所述指令在由处理器执行时致使所述处理器执行以下方法:用图像传感器俘获场景的图像;确定所述图像中的多个主体;对所述多个主体中的两者或两者以上进行计分;至少部分地基于所述主体的所述分数对所述图像进行计分;在所述图像分数高于阈值的情况下用所述图像传感器俘获所述场景的图像并将所述图像存储到数据存储装置;以及在所述图像分数低于阈值的情况下基于主体的所述分数输出提示。
在一些实施例中,对图像进行计分是至少部分地基于面部位置分数、面部遮挡分数、面部眨眼分数、面部微笑分数、面部注视分数、图像稳定性分数、图像聚焦分数、图像曝光分数,或图像音频分数。在一些实施例中,所述计算机可读媒体进一步包含在执行时扩展所述方法以包含以下操作的指令:检测所述所俘获图像中的面部;以及对所述所检测面部执行面部辨识以使名称与所述所检测面部相关联,其中提示的所述输出是基于所述名称。
附图说明
下文将结合附图描述所揭示的方面,提供附图以说明而非限制所揭示的方面,其中相同名称表示相同元件。
图1展示包含包括多个主体的场景的图像的成像环境。
图2是实施所揭示的方法及设备的至少一个实例的成像装置的功能框图。
图3是俘获图像的方法的一个实施方案的流程图。
图4是说明用于对一或多个所识别面部进行计分的方法的一个实施方案的流程图。
图5是用于对图像进行计分的方法的一个实施方案的流程图。
图6是用于为可提示图像分数分量进行优先级排序的方法的一个实施方案的流程图。
图7展示包含包括多个主体的场景的图像的成像环境。
具体实施方式
本发明的实施例涉及用于在成像装置无人值守时用所述成像装置俘获图像的方法及设备。在一个实施例中,所述成像装置包含经由提示而向被拍摄的主体给出指导的软件及硬件。提示可为视觉或听觉提示,或在一些情况下,为视觉及听觉提示两者。所述系统可测量所述场景中的主体的位置或表情,且接着让场景中所辨识的主体改变其位置或面部表情。举例来说,在一个实施例中,下方描述的方法及设备可指导主体改变位置以使其更好地在图像帧中居中。在一些实施例中,所述方法及设备可测量主体的位置且确保其整个形体或面部为所俘获图像的部分。所述方法及设备还可指导主体改变其表情,例如,鼓励他们微笑或看向相机以提供更合意的照片。
在一个实施例中,使用面部计分及图像计分过程完成成像装置对个别主体的提示。在一些实施方案中,俘获包含多个主体的场景的预览图像。所述成像系统接着例如经由面部检测过程检测所述预览图像所俘获的场景中的一或多个主体。在一个实施方案中,所述方法及设备接着试图辨识所述场景中所检测的每一面部。可维持已知面部的数据库以促进面部辨识。一旦已辨识出面部,则可依据多种性质(包含面部是否正眨眼、微笑或注视)对每一检测或辨识出的面部进行计分。每一主体的个别分量面部分数可与和总体预览图像有关的其它分数组合以产生总体图像分数。
总体图像的分数可基于从每一主体搜集的多个分量分数,包含上文论述的面部分数以及与总体图像的性质有关的分数。这些可包含与图像的曝光、图像的稳定性、总体图像的聚焦或与图像相关联的音频有关的分数。
在一些实施方案中,可建立图像质量准则以确定何时可俘获快照图像。快照图像可不同于预览图像。尽管在一些实施方案中可连续地俘获预览图像,但预览图像通常至多存储到存储器达短的短暂周期。可对预览图像执行图像处理方法以促进调谐成像参数,例如曝光、光圈或传感器灵敏度。其还可在显示器上显示给用户以促进快照图像的俘获。在一些实施方案中,快照图像的分辨率可高于预览图像。快照图像还可存储到稳定存储装置,例如内部存储器、闪存驱动器、压缩闪存卡、安全数字多媒体卡、xD图片卡、存储棒、微型驱动器、智能媒体卡或其它稳定存储装置,而预览图像通常不存储到稳定存储装置。
在一些实施方案中,快照俘获质量准则可包含总体图像分数的阈值。在利用较高分数指示图像的改进特性的实施方案中,如果总体图像分数高于阈值,则确定预览图像的质量足以产生合意的快照图像。在这些实施方案中,当总体图像分数高于阈值时,可由成像装置自动地俘获快照图像。在利用较低分数指示图像的改进特性的一些其它实施方案中,如果总体图像分数低于阈值,则可确定先前图像的质量足以产生合意的快照图像。在这些实施方案中,当总体图像分数低于阈值时,可由成像装置自动地俘获快照图像。
其它实施方案可具有更广泛的快照俘获质量准则。举例来说,一些实施方案可包含用于图像分数的个别分量的预定准则及/或阈值,包含使用一或多个预定准则或阈值用于面部分数的个别分量。准则可包含确定一或多个分数是否大于、小于、大于或等于,或小于或等于一或多个阈值。在一些实施例中,每一个别分数可具有对应阈值。在其他实施例中,多个分数可利用相同阈值以确定是否满足质量准则。在一些实施方案中,如果分量分数中的任一者低于其阈值,则可能不俘获快照图像。其它实施方案可在确定是否自动地俘获快照图像时测量满足其质量准则的图像分数分量的百分比。举例来说,如果满足其质量准则的图像分数分量的百分比大于70%、75%、80%、85%、90%、95%或99%,则可俘获图像。
如果预览图像的分数不满足快照图像质量准则,则不可由成像装置俘获快照图像。替代地,可对照一或多个提示准则评估图像的分量分数。举例来说,可基于预览图像中的每一所检测面部对总体图像分数的消极影响而对其进行优先级排序。可接着选择面部具有最高优先级分数的主体用于提示。
可基于先前确定的辨识信息针对所选主体定制提示。举例来说,通过辨识预览图像中的主体的面部,成像系统可使名称与选择用于提示的主体相关联。因此,系统可执行面部辨识以基于关于鲍勃的面部所存储的先前数据将主体中的一者辨识为“鲍勃”。如果发现鲍勃为主体中的一者,且确定其面部分量分数的至少一部分为最高优先级分数,则音频提示可例如通过经由与成像装置集成或附接到成像装置的扬声器可听到地陈述“鲍勃,微笑!”来直接指向他们。
图1展示包含包括多个主体的场景100的图像的成像环境。如所说明,一些人可能认为此场景的照片不合意。举例来说,例如主体102及104等许多主体不在看相机。此外,主体106未恰当地定位在场景中,程度之甚以至于其头部在场景100外部。此外,若干主体的表情使得可能不能产生合意的照片。举例来说,主体108看起来正注视远方。主体110可能正眨眼或眯眼。主体112及114不在看相机。此外,主体112部分地遮挡主体116的面部。
相机150说明为对场景进行成像。还展示相机150使用听觉提示155及156提示场景内的主体。举例来说,提示156指向当前不在看相机的主体104卡乐比(Kaleb)。提示155指向面部部分地被主体112林奈尔(Lynelle)挡住的主体116弗雷德(Fred)。如下文将更详细地论述,相机150的实施例包含对场景的主体执行面部辨识的模块,且接着比较所辨识面部与存储在相机150内的面部的表或数据库。从所述表或数据库,相机可确定每一所辨识主体的名称,且接着使用所述信息来与每一主体可听到地通信。
图2是实施在成像装置150内使用的方法的至少一个实例的所述成像装置的功能框图。成像装置150包含处理器220。处理器220可操作地连接到成像传感器215、加速度计280、工作存储器205、麦克风208、存储装置210、输出装置290,及存储器230。
存储器230存储包含配置处理器220以执行成像装置150的功能的指令的模块。传感器控制模块235包含配置处理器220以控制成像传感器215的指令。举例来说,传感器控制模块235中的指令可配置处理器220以调整成像传感器215的一或多个参数,例如成像传感器的光圈、快门速度或灵敏度。传感器控制模块235还可包含致使处理器220命令成像传感器215俘获一或多个图像的指令。因此,传感器控制模块235中的指令可表示一个用于用图像传感器俘获场景的图像的装置。
主体检测模块250包含配置处理器220以检测由成像传感器215俘获的图像中的一或多个主体的指令。在一些实施方案中,主体检测模块可检测图像中的对象。主体检测模块250中的指令可因此表示一个用于确定图像中的多个主体的装置。主体可包含多种对象。举例来说,主体可为建筑物、汽车、人或例如马、狗、猫或牛等动物。
面部检测模块251包含配置处理器220以检测由成像传感器215俘获的图像中的一或多个面部的指令。在一些实施方案中,面部检测模块250可检测由主体检测模块250检测到的主体或对象中的面部。在其它实施方案中,面部检测模块251可独立于主体检测模块250操作,且直接检测由成像传感器215俘获的图像中的面部。
面部辨识模块252包含配置处理器220以辨识及识别由主体检测模块250检测到的或存在于由成像传感器215俘获的图像中的至少一些主体中的面部的指令。面部辨识模块252可搜索已知面部的数据库以执行辨识功能。已知面部的数据库可存储于例如存储装置210中。面部辨识模块252还可使用此项技术中已知的面部辨识方法中的任一者来执行面部辨识。
面部计分模块255包含配置处理器220以对由面部检测模块250检测到或由面部辨识模块252辨识出的每一面部进行计分的指令。面部计分模块255可基于例如面部是否正眨眼、微笑或瞪眼而对一或多个面部进行计分。在一实施方案中,面部检测模块251可提供眼角的位置、眼睛的位置、鼻孔的位置,及唇角的位置。这些位置可处理为“关键点”。基于这些关键点之间的空间关系,面部计分模块255可确定微笑程度、眨眼程度,或注视方向。举例来说,可通过测量在眼睛顶部与底部处的关键点之间的垂直距离来确定眼睛眨眼。
面部计分模块255还可基于面部是否正看相机或面部是否被图像内的其它对象部分或完全遮挡而对一或多个面部进行计分。在一实施例中,面部计分模块255可通过计数在面部上检测到多少关键点而确定面部是否被部分遮挡。举例来说,如果仅在面部上检测到左眼的关键点,则面部的右眼可能被遮挡。在另一实施方案中,面部计分模块可利用多个图像帧来对面部进行计分。在这些实施方案中,如果第二面部在第一帧中的第一面部的位置的阈值接近度内,则在第一帧中检测到但未在第二后续帧中检测到的第一面部可能被遮挡。在一个实施方案中,可基于面部在图像内或相对于其它主体或面部的位置而对所述面部进行计分。
在一个实施方案中,可向用户给出关于其更希望面部位于图像帧内何处的选择。在这些实施方案中,可基于所检测面部距所选位置的距离确定位置分数。由于在一些实施方案中,可在由主体检测模块250检测到的主体中检测面部,因此面部计分模块255中的指令可表示一个用于对多个主体进行计分的的装置。面部计分模块255中的指令还可表示用于一个确定面部位置分数的装置、一个用于确定面部遮挡分数的装置、一个用于确定面部眨眼分数的装置、一个用于确定面部微笑分数的装置,或一个用于确定面部注视分数的装置。
图像计分模块256包含配置处理器220以对由成像传感器215俘获的图像进行计分的指令。可由图像计分模块240中的指令基于图像聚焦、稳定性、曝光或图像中所检测到的一或多个面部的分数确定图像分数。图像分数还可基于由装置150俘获且与图像相关联的音频。举例来说,图像计分模块中的指令可分析与图像相关联的音频数据以确定关键字或关键声音。举例来说,关键声音可包含某些可听到的词语或短语,例如“等一等”或“拍照片了”。关键声音还可包含例如哄笑者的声音或拖着脚走或移动的声音等声音。关键声音还可为相对静止的周期。这些关键字或关键声音的存在或不存在可接着用以确定图像音频分数。举例来说,一些实施方案可定义一或多个关键声音,所述关键声音在被检测到时致使与所述所检测声音同时俘获的图像被计分而使得图像的快照由快照俘获模块260(下文论述)俘获。举例来说,哄笑者的声音或命令(例如“拍照片了”)的检测可触发快照图像被俘获。类似地,一些实施方案可定义一或多个致使同时俘获的图像被计分而使得快照被禁止的关键声音。举例来说,例如“等一等”等声音可禁止俘获快照图像。
在一些实施方案中,图像中所检测到的面部还可为主体。因此,在一些实施方案中,图像计分模块256中的指令可为一个用于至少部分地基于至少两个所确定主体的分数对图像进行计分的装置。图像计分模块256中的指令还可表示一个用于确定图像稳定性分数的装置、一个用于确定图像聚焦分数的装置、一个用于确定图像曝光分数的装置,或用于确定音频分数的装置。
快照俘获模块260可包含配置处理器220以基于快照俘获质量准则俘获场景的快照的指令。举例来说,在一些实施方案中,快照俘获质量准则可包含一或多个分数阈值。在一些实施方案中,图像俘获模块可比较预览图像的总体图像分数与分数阈值以确定是否应俘获快照图像。如果预览图像的总体图像分数超过阈值,则图像俘获模块可俘获快照图像。因此,传快照俘获模块260中的指令可为一个用于用图像传感器俘获场景的快照图像的装置。
在一些实施方案中,快照俘获质量准则可包含若干分量分数阈值。举例来说,快照俘获质量准则可包含面部微笑分数阈值、面部位置分数阈值、面部眨眼分数阈值、面部注视分数阈值或面部遮挡分数阈值中的一或多者。下文参考图7呈现可如何应用这些分数及阈值的实例。快照俘获模块260可接着比较这些分量分数阈值中的一或多者与预览图像的分量分数。在一些实施方案中,如果分量分数中的任一者指示比对应分量分数阈值低的质量水平,则快照俘获模块260可能不俘获快照图像。在一些其它实施方案中,如果指示较低质量水平的分量分数的百分比超过百分比阈值,则快照俘获模块260可能不俘获快照图像。在一些其它实施方案中,如果指示较低质量水平的分量分数的数目超过数量阈值,则快照俘获模块260可能不俘获快照图像。
一些其它实施方案可将分量分数分组成至少两个群组。在这些实施方案中,第一群组中的一群分量分数必须超过其对应分量分数阈值(上文论述)快照俘获模块260才会俘获快照图像。快照俘获模块260还可能需要第二群组中的分量分数的数目或百分比超过其对应分量分数阈值才俘获快照图像。
提示确定模块265包含配置处理器220以确定应由成像装置150产生或输出哪些提示的指令。提示确定模块265可例如对面部计分模块255及图像计分模块256所产生的分数进行优先级排序。在一些实施方案中,可基于分数对图像计分模块256所确定的总体图像分数的影响而对分数进行优先级排序。
用户交互模块270可基于上文论述的提示确定模块265的输出而产生或输出一或多个提示。举例来说,在一个实施方案中,用户交互模块270可识别如由提示确定模块265确定的具有最高优先级分数的一或多个主体。用户交互模块270可接着基于面部辨识模块252所执行的面部辨识而确定这些主体的名称。主体的名称可接着包含在由用户交互模块270产生或输出的视觉或音频提示中。提示可经设计以便指导主体改变其位置或面部表情。如果主体遵循提示的指导,则与上文论述的用以确定图像分数及面部分数的预览图像相比时,新预览图像的总体图像分数可改进。
举例来说,用户交互模块270可通过配置处理器220以将信号发送到输出装置290而产生或输出提示。在一些实施方案中,输出装置290可为扬声器,且用户交互模块270可使用输出装置290产生或输出音频提示。在一些其它实施方案中,输出装置290可为显示器,且用户交互模块270可使用输出装置290产生或输出视觉提示。
在一些实施方案中,用户交互模块可评估图像分数以确定其是否应产生提示。因此,用户交互模块270中的指令可表示一个用于在图像分数低于阈值的情况下基于主体的分数输出提示的装置。
音频俘获模块272包含配置处理器220以用麦克风208俘获音频的指令。在一些实施方案中,可使由包含在音频俘获模块272中的指令俘获的音频与由成像传感器215俘获的图像相关联。举例来说,在一些实施方案中,可由图像传感器215在与音频俘获模块272俘获音频大致相同的时间俘获图像。因此,音频俘获模块272中的指令可表示一个用于俘获与图像相关联的音频的装置。
图3是俘获图像的过程300的一个实施方案的流程图。在一个实施例中,过程300可由图2中所说明的成像装置150实施。过程300在开始框305处开始,且接着移到处理框310,在处理框310处,用成像传感器俘获场景的图像。在一些实施方案中,处理框310可由包含在图2中所说明的图像传感器控制模块235中的指令实施。过程300接着移到处理框312,在处理框312处,俘获与图像相关联的音频。在一些实施方案中,可俘获来自麦克风的音频信号达一时间周期,随后在处理框310中俘获图像。举例来说,可俘获音频达0.5秒与10秒之间,随后在处理框310中俘获图像。一些实施方案可能不包含处理框312。
过程300接着移到处理框315,在处理框315处,检测图像中的多个主体。处理框315可由包含于皆在图2中说明的主体检测模块250或面部检测模块251中的指令实施。过程300接着移到处理框318,在处理框318处,在图像中检测多个面部。框318可由包含在图2中所说明的面部检测模块251中的指令实施。在一些实施方案中,可组合处理框250与处理框251的功能。
过程300接着移到处理框320,在处理框320处,对所检测到的面部进行计分。处理框320可由包含在面部计分模块255中的指令实施。在一些实施方案中,所检测到的主体可包含面部及非面部两者。
可在处理框320中针对每一所检测面部确定若干分量面部分数。这些分量分数可与例如面部是否正眨眼、瞪眼或微笑有关。所述面部分数还可至少部分地基于面部是否正在看相机或面部是否被部分遮挡。过程300接着移到框325,在框325处,对处理框310中俘获的图像进行计分。至少部分地基于至少两个所识别主体的分数对图像进行计分。过程300接着移到决策框330,在决策框330处,确定图像分数是否高于阈值。决策框330可由包含在图2中所说明的快照俘获模块260中的指令实施。在一些实施方案中,决策框330可由包含在图2中所说明的用户交互模块270中的指令实施。
如果分数高于阈值,则过程300移到处理框345,在处理框345处,用图像传感器俘获场景的快照图像。处理框345可由包含在图2中所说明的图像俘获模块260中的指令实施。在一些实施方案中,处理框310中俘获的图像可具有第一分辨率,且处理框345中俘获的图像可具有高于第一分辨率的第二分辨率。举例来说,在一些实施方案中,处理框310中俘获的图像可视为预览图像,且处理框345中俘获的图像可视为快照图像。在于框345中俘获图像之后,过程300移到处理框350,在处理框350处,将图像存储到数据存储装置。过程300接着移到结束框355。
尽管决策框330说明为比较在框325中确定的图像分数与阈值,但其它实施方案在确定移到处理框345还是处理框335时在其评估分数方面可不同。举例来说,一些实施方案可比较在框320或325中确定的分量分数与针对每一分量分数定义且对应于每一分量分数的一或多个阈值。如果任何分数低于其对应阈值,则在这些实施方案中,过程300可从决策框330移到框335。
在所说明的实施方案中,如果在处理框325中确定的图像分数不高于阈值,则过程300移到处理框335,在处理框335处,确定可提示图像分数分量。可提示图像分数分量可为总体图像分数所基于的所有分量分数的子集。在一些实施方案中,一些分量分数可能不能经由产生提示而加以改进。举例来说,如果图像分数至少部分地基于图像聚焦分数,则产生提示可能并不改进图像的聚焦。在这些实施方案中,分量图像聚焦分数可能不被视为可提示图像分数分量。
处理框335可由包含在图2中所说明的提示确定模块265中的指令实施。处理框335还可例如基于可提示图像分数分量对框325中所确定的图像分数的影响而对所述可提示图像分数分量进行优先级排序。举例来说,在一些实施方案中,可提示图像分数分量对图像分数的影响可随分数以及指派给图像分数分量的一或多个权重而变。
过程300接着移到处理框340,在处理框340处,针对具有最高优先级分量分数的主体产生或输出一或多个提示。处理框340可由包含于用户交互模块270中的指令实施。在处理框340中产生的提示可为例如由扬声器或电子显示器产生的音频或视觉提示。在于处理框340中产生或输出提示之后,过程300返回到处理框310,且俘获另一图像。过程接着如上所述而重复。
图4是说明用于对一或多个所识别面部进行计分的方法的一个实施方案的流程图。过程320可由包含在图2中所说明的面部计分模块255中的指令实施。过程320在开始框405处开始,且接着移到决策框415,在决策框415处,确定是否需要对更多面部进行计分。如果不需要对面部进行计分,则过程320移到结束框410。如果需要对更多面部进行计分,则过程320移到框418,在框418处,获得待计分的下一面部。在决策框419中,评估所述面部以确定其是否被遮挡。如果所述面部被遮挡,则其可能不能够在眨眼、微笑、注视或注视方向方面被恰当地评估。如果所述面部被遮挡,则过程320返回到决策框415。如果所述面部未被遮挡,则过程320接着移到处理框420,在处理框420处,确定面部眨眼分数。举例来说,如果面部看起来正眨眼,则在框420中确定的分数可为负分数。如果面部看起来并未眨眼,例如,眼睛大大地睁开,则在框420中确定的分数可为正分数。可在处理框420中实施此项技术中已知的眨眼检测方法中的任一者。举例来说,就像可基于表示所检测面部中的四个嘴角的关键点之间的距离来计算微笑程度一样,眨眼分数也可基于表示所检测面部的眼睛的上部与下部的关键点的距离的类似测量。
在于框420中确定面部眨眼分数之后,过程320移到处理框425,在处理框425处,确定面部微笑分数。在一些实施方案中,正皱眉的面部可被指派负微笑分数,且正微笑的面部可被指派正微笑分数。此项技术中已知的微笑检测方法中的任一者可用以实施处理框425。在确定面部微笑分数之后,过程320移到处理框430,在处理框430处,确定面部注视分数。确定为正在注视的面部可在处理框430中接收负分数,而具有非注视表情的面部可接收正注视分数。此项技术中已知的面部注视检测方法中的任一者可用以实施处理框430。
过程320接着移到框435,在框435处,确定面部位置分数。举例来说,面部位置分数可例如基于面部到其它面部的接近程度。基于到其它面部的接近度的面部位置分数可由用户交互模块用以确保图像中的主体在所述图像中被分组在一起。在一些实施方案中,面部位置分数还可基于面部到正俘获的场景的图像的边缘的接近程度。在距图像帧的边缘阈值距离内的面部可接收负面部位置分数,而较接近于图像中心的面部可接收正面部位置分数。
过程320接着移到处理框437,在处理框437处,确定面部方向分数。面部方向分数可基于确定面部正看向俘获图像的成像传感器的方向的直接程度。被确定正直接看向成像传感器的面部可接收高面部方向分数,而被确定从相机转移目光的面部可接收较低或负面部方向分数。
在一实施方案中,可基于眼睛的关键点(包含位于下眼角、上眼角、左眼角、右眼角处的关键点)之间的分布而计算注视方向。基于眼球或瞳孔与四个眼角之间的距离,可确定注视方向。
过程320接着移到处理框440以试图辨识面部。在一些实施方案中,面部辨识可基于将所俘获图像内的面部性质或识别符映射到存储在成像装置中的个人的名称的面部辨识数据库。名称可为如键入到成像装置上的配置接口中的个人的正式或非正式名称。面部辨识数据库可由用户预先配置且存储在例如图2中所说明的存储装置210等存储装置中。处理框440的面部辨识还可使用此项技术中已知的面部辨识方法中的任一者。
过程320接着移到框445,在框445处,对面部进行计分。在所说明的实施方案中,基于一或多个“分量”面部分数对面部进行计分。在过程320中,分量面部分数是面部眨眼分数、面部注视分数、面部位置分数、面部遮挡分数,及面部方向分数。在一些实施方案中,这些分量分数的加权平均值可用以确定面部分数。或者,可针对上文描述的每一分量分数由用户建立或在装置中预设某些阈值。低于其对应“可接受”阈值的任何分量分数可被指派比其它分数成比例地高的权重。此可导致分量分数比其对应“可接受”阈值低的任何面部的负的或不可接受面部分数。在处理框450中,将面部分数及例如面部的身份等辨识数据存储到存储器。存储器可为例如图2中所说明的存储装置210等存储装置或例如图2中所说明的工作存储器205等存储器。在处理框450中存储的辨识数据可包含在处理框440中辨识出的面部的名称或其它识别信息。过程320接着返回到决策框415。
并非在所有实施方案中都可能存在图4中所说明的所有处理框。举例来说,一些实施方案可能不包含处理框420、425、430、435、436、437、440或445中的一或多者。此外,尽管图4的所说明实施方案展示例如处理框420在处理框425之前的处理次序,但其它实施方案可以不同于所说明次序的次序执行图4的处理框的功能。
图5是用于对图像进行计分的方法的一个实施方案的流程图。过程325可由包含在图2中所说明的图像计分模块256中的指令实施。过程325在开始框505处开始,且接着移到框510,在框510处,确定图像的聚焦分数。在一些实施方案中,聚焦分数可基于图像的清晰度。在一些其它实施方案中,可检测图像中的所关心区,且聚焦分数是基于所述所关心区中的一或多者中的清晰度。此项技术中已知的评估图像的聚焦的其它方法可用以实施处理框510。过程325接着移到框515,在框515处,确定图像的稳定性分数。在一些实施方案中,图像的稳定性分数可基于图像中存在的遮挡量。过程325接着移到处理框520,在处理框520处,确定图像的曝光分数。在一些实施方案中,曝光分数可基于高于第一阈值的像素值的数目及低于第二阈值的像素值的数目。
过程325接着移到处理框525,在处理框525处,确定图像的音频分数。处理框525可分析与图像相关联的音频数据。举例来说,可在与俘获图像大致相同的时间俘获音频信号。处理框525中对音频的分析可检测或辨识音频信号的一或多个特性、关键字,或关键声音。举例来说,哄笑、讲话、寂静、跑动或走动的存在或不存在可用以在处理框525中确定图像的音频分数。注意,一些实施方案可能在确定图像的总体分数中不包含确定音频分数。
在处理框530中,对图像进行计分。在一些实施方案中,图像分数可为在处理框510到525中确定的分数的加权平均分数。在其它实施方案中,图像分数还可基于由图4中所说明的过程320确定的面部分数。过程325接着移到结束框540。
并非在所有实施方案中都可存在图5中所说明的所有处理框。举例来说,一些实施方案可能不包含处理框510、515、520或525中的一或多者。此外,尽管以特定次序在图5中展示且在上文论述图5的处理框,但所述处理框的次序在其它实施方案中可不同。举例来说,尽管图5展示处理框510在处理框515之前,但其它实施方案可在处理框510之前执行处理框515。其它处理框的次序在其它实施方案中也可不同。
图6是用于为可提示图像分数分量进行优先级排序的方法的一个实施方案的流程图。过程335可由包含在图2中所说明的分数优先级排序模块265中的指令实施。过程335在开始框605处开始,且移动到框610,在框610处,识别图像分数分量。在框610中识别的图像分数分量可为图5的过程325或图4的过程320中确定的图像分数分量中的任一者。过程335接着移到处理框612,在处理框612处,确定可提示图像分数分量。在一些实施方案中,并非所有图像分数分量都可通过产生或输出视觉或音频提示而得到改进。举例来说,在一些实施方案中,图像聚焦分数可能并不因产生提示而改进。
在处理框615中,确定每一可提示图像分数分量的权重。在一些实施方案中,可基于分数分量对满意照片的相对重要性而确定每一可提示图像分数的权重。举例来说,一些实施方案可经设计而使得从相机转移目光的图像主体被视为比正眨眼的图像主体更重要。在这些实施方案中,指派给在图4的过程320的处理框437中确定的面部方向分数的权重可大于指派给在过程320的处理框420中确定的眨眼分数的权重。类似地,一些实施方案可经设计而假定眨眼主体表示暂态条件,且因此眨眼分数可被指派比可经判断以表示更稳定条件的其它分数(例如面部遮挡分数或面部位置分数)低的权重。
在处理框620中,基于在处理框615中确定的其对应权重调整每一可提示图像分数。在框625中,对经加权分数排序。过程335接着移到结束框630且终止。
并非在所有实施方案中都可存在图6中所说明的所有处理框。举例来说,一些实施方案可能不包含处理框612、615或620中的一或多者。此外,尽管以特定次序在图6中展示且在上文论述图6的处理框,但所述处理框的次序在其它实施方案中可不同。举例来说,尽管图6展示处理框612在处理框615之前,但其它实施方案可在处理框612之前执行处理框615。其它处理框的次序在其它实施方案中也可不同。
图7展示包含多个主体的场景的图像。以下表1说明一个实施方案的用于图7的图像100中的所检测主体的分量分数。
表1
(1) (2) (3) (4) (5) (6) (7)
项目编号 名称 微笑分数 注视分数 位置分数 方向分数
主体1 116 弗雷德 10 0 40 -20
主体2 112 林奈尔 15 0 40 -30
主体3 104 卡乐比 15 0 50 -20
主体4 114 卡琳 0 0 40 -50
主体5 106 维卡斯 0 0 0 0
主体6 108 未知 25 -50 20 20
主体7 118 40
主体8 110 未知 -10 0 0 0
表1说明已由成像装置检测到若干主体。作为一个实例,这些主体可能已由包含在图2中所说明的主体检测模块250中的指令检测到。这些主体在列1中列出。表1的列2通过列出图7中的其识别编号而识别主体。列3列出主体的名称(如果实施方案已知)。举例来说,列1中列出的主体可能已由图2的面部辨识模块252识别。结果,主体中的至少一些的名称是已知的。在一些实施方案中,可由实施方案产生名称。举例来说,一些实施方案可基于主体在图像中的位置产生名称。举例来说,在包含四个主体的图像中,实施方案可产生例如“左上方的主体”、“左下方的主体”、“右上方的主体”及“右下方的主体”等名称。
表1中展示的其它主体不具有名称,例如,主体6及7。主体6(项目108)具有所检测面部,且因此具有与面部相关联的分量分数。主体7不具有所检测面部,且因此不包含与所检测面部相关的分量分数,例如列4到6及8。列4到7表示用于所检测主体中的每一者的微笑、注视、位置及方向的分量分数。所说明实施方案中的分数与列1中识别的主体的至少一个性质的相对合意性有关。在所说明实施方案中,高于零(0)的分量分数视为可接受的。在此实施方案中,如果所有分量分数都高于零,则可例如通过图2中所说明的快照俘获模块260自动地俘获快照图像。在一些实施方案中,俘获快照图像可包括将图像保存到存储器缓冲器。负分数可防止自动地俘获快照图像。
因为分量分数中的一些低于零,因此可能不会通过所说明实施方案自动地俘获快照图像。替代地,可对表1的分量分数进行优先级排序以确定可提示分量图像分数。在一些实施方案中,可使用类似于以下表2的数据执行此种优先级排序。
表2
主体 参考编号 分数类型 分数 权重 加权分数
(1) 主体2 112 方向 -30 2 -60
(2) 主体3 104 方向 -20 2 -40
(3) 主体8 110 微笑 -10 1 -10
表2说明来自表1的在其进行优先级排序之后的一部分分量分数。所述优先级排序可基于从分量分数及所指派权重导出的加权分数。优先级排序在所述表中按次序展示,其中所述表的行从行1中的最高优先级主体及分数到较低优先级主体及分数排序。在一些实施方案中,权重可基于分数类型加以指派。其它实施方案可具有将权重指派给分量分数的其它方法。
在所说明实施方案中,林奈尔(主体2,参考项112)的方向分数已被优先级排序为最高。如图7的预览图像100中所展示,林奈尔的面部112正向下看使得其在预览图像100中几乎不可辨认。下一优先级为主体2(参考项104,卡乐比),其也在向下看而使得其面部不能很好地在图像中观察到。注意,此实施方案将卡乐比进行优先级排序是因为他的方向分数低,如由“分数类型”列所展示,而主体8(参考项110)优先级比卡乐比低。尽管主体8具有低微笑分数,但其权重比方向分数权重低,从而导致比林奈尔或卡乐比低的优先级。
一些实施方案可接着基于经优先级排序的分数产生一或多个提示。这些实施方案可以最高优先级分数开始产生提示。举例来说,利用以上表2的实施方案可基于行1中维卡斯的遮挡分数产生第一提示。一些实施方案可由于以上描述的分析而产生一个以上提示。举例来说,利用以上表2的实施方案可基于行2中卡乐比的方向分数而产生第二提示。一些实施方案可由于所述分析而产生额外提示,例如3个、4个或5个提示。一些实施方案可接着在再次执行分析之前等待一时间周期以允许主体对所提供提示作出反应的时间。
为选择提示,一实施方案可利用类似于以下表3的数据结构:
表3:
分数类型 提示
方向 “%s,请看相机”
微笑 “%s,对相机微笑!”
注视 “%s,请看这里并微笑!”
提供表3以仅作为可如何基于表2中提供的分数类型确定提示的简单说明。一旦使用表2选择最高优先级分数用于提示,则可通过匹配表2中的所选分数的分数类型与表3中的分数类型而产生提示。提示展示为字符串,包含字符串替换“%s”以识别主体。一些实施方案可用表3的提示字段中展示的字符串替换来替换表1的名称字段。如此项技术中所已知的文本到语音能力可接着基于表3的提示列产生音频提示。或者,一些实施方案可在内部存储音频文件,且在产生一或多个提示时播放所述音频文件。
可用众多其它通用或专用计算系统、环境或配置来操作所述技术。可适合供本发明使用的熟知计算系统、环境及/或配置的实例包含但不限于个人计算机、服务器计算机、手持型或膝上型装置、多处理器系统、基于处理器的系统、可编程消费型电子器件、网络PC、小型计算机、大型计算机、包含以上系统或装置中的任一者的分布式计算环境,等等。
用于本文中时,指令是指计算机实施的用于处理系统中的信息的步骤。指令可实施于软件、固件或硬件中,且包含由系统的组件承担的任何类型的经编程步骤。
处理器可为任何常规通用单芯片或多芯片处理器,例如处理器、Pro处理器、8051处理器、处理器、Power处理器,或处理器。此外,处理器可为任何常规专用处理器,例如数字信号处理器或图形处理器。处理器通常具有常规地址线、常规数据线,及一或多个常规控制线。
系统包括如详细论述的各种模块。如所属领域的技术人员可了解,模块中的每一者包括各种子例程、程序、定义性陈述及宏。模块中的每一者通常单独地编译且链接到单个可执行程序中。因此,模块中的每一者的描述用于方便地描述优选系统的功能性。因此,模块中的每一者所经历的过程可任意地重新分布到其它模块中的一者、与单个模块组合在一起,或使得可用于例如可共享动态链路库中。
所述系统可结合例如或Microsoft等各种操作系统使用。
系统可用例如C、C++、BASIC、Pascal或Java等任何常规编程语言来撰写,且在常规操作系统下运行。C、C++、BASIC、Pascal、Java及FORTRAN是工业标准编程语言,许多商业编译器可用以针对其创建可执行代码。系统还可使用例如Perl、Python或Ruby等解译语言加以撰写。
所属领域的技术人员将进一步了解,可将结合本文中所揭示的实施例而描述的各种说明性逻辑块、模块、电路及算法步骤实施为电子硬件、计算机软件或两者的组合。为清楚说明硬件与软件的此互换性,上文已大致关于其功能性而描述了各种说明性组件、块、模块、电路及步骤。所述功能性是实施为硬件还是软件取决于特定应用及施加于整个系统的设计约束。所属领域的技术人员可针对每一特定应用以不同方式实施所描述功能性,但所述实施决策不应被解释为导致偏离本发明的范围。
可使用经设计以执行本文所描述的功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其任何组合来实施或执行结合本文中所揭示的实施例而描述的各种说明性逻辑块、模块及电路。通用处理器可为微处理器,但在替代例中,处理器可为任何常规的处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合,例如,DSP与微处理器的组合、多个微处理器的组合、结合DSP核心的一或多个微处理器,或任何其它此配置。
在一或多个实例实施例中,所描述的功能及方法可实施于硬件、软件或在处理器上执行的固件或其任何组合中。如果实施于软件中,则可将功能作为计算机可读媒体上的一或多个指令或码而加以存储或传输。计算机可读媒体包含计算机存储媒体与包含促进计算机程序从一处传递到另一处的任何媒体的通信媒体两者。存储媒体可为可由计算机存取的任何可用媒体。以实例方式(且并非限制),此种计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置,或可用于载送或存储呈指令或数据结构的形式的所要程序码且可由计算机存取的任何其它媒体。而且,可恰当地将任何连接称作计算机可读媒体。举例来说,如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波的无线技术从网站、服务器或其它远程源传输软件,则同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电及微波的无线技术包含于媒体的定义中。在本文中使用时,磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘及蓝光光盘,其中磁盘通常以磁性方式再现数据,而光盘使用激光以光学方式再现数据。上文各者的组合也应包含在计算机可读媒体的范围内。
先前描述详述本文中揭示的系统、装置及方法的某些实施例。然而,将了解,不管前文在文本上看起来如何详细,可以许多方式实践所述系统、装置及方法。还如上所述,应注意,描述本发明的某些特征或方面时特定术语的使用不应认为暗示所述术语在本文中经重新定义而限于包含本发明的特征或方面的与所述术语相关联的任何特定特性。
所属领域的技术人员将了解,可在不脱离所描述技术的范围的情况下进行各种修改及改变。此些修改及改变既定属于实施例的范围内。所属领域的技术人员还将了解,包含在一个实施例中的部分可与其它实施例互换;来自所描绘实施例的一或多个部分可与其它所描绘实施例以任何组合包含在一起。举例来说,本文中描述及/或图中描绘的各种组件可经组合、互换或从其它实施例排除。
关于本文中的实质上任何复数及/或单数术语的使用,所属领域的技术人员可在上下文及/或应用合适的情况下从复数转变到单数及/或从单数转变到复数。在本文中可出于清晰目的而明确地阐述各种单数/复数排列。
所属领域的技术人员将理解,一般来说,本文中使用的术语通常既定作为“开放”术语(例如,术语“包含”应解释为“包含但不限于”,术语“具有”应解释为“具有至少”,术语“包含”应解释为“包含但不限于”,等)。所属领域的技术人员将进一步理解,如果特定数目的所介绍的权利要求陈述是既定的,那么此意图将在权利要求书中明确陈述,且在无此类陈述的情况下不存在此类意图。举例来说,为辅助理解,以下随附权利要求书可能含有介绍性短语“至少一个”及“一或多个”的使用以介绍权利要求陈述。然而,此些短语的使用不应解释为暗示由不定冠词“一”介绍的权利要求陈述将含有此些所介绍权利要求陈述的任何特定权利要求限制于仅含有一个此种陈述的实施例,甚至在同一权利要求包含介绍性短语“一或多个”或“至少一个”及不定冠词“一”(例如,“一”应通常解释以意指“至少一个”或“一或多个”)时也是这样;对于用以介绍权利要求陈述的定冠词也是如此。另外,即使明确引述了特定数目的经介绍的权利要求陈述,所属领域的技术人员也将认识到,此类陈述通常应解释为指至少所引述的数目(例如,无修饰的陈述“两项陈述”在没有其它修饰成分的情况下通常指至少两项陈述,或两项或两项以上陈述)。此外,在其中使用类似于“A、B及C等中的至少一者”的惯用语的那些情况中,一般来说,此构造既定为所属领域的技术人员将理解所述惯用语的意义(例如,“具有A、B及C中的至少一者的系统”将包含但不限于单独具有A、单独具有B、单独具有C、一起具有A及B、一起具有A及C、一起具有B及C,及/或一起具有A、B及C等的系统)。在其中使用类似于“A、B及C等中的至少一者”的惯用语的那些情况中,一般来说,此构造既定为所属领域的技术人员将理解所述惯用语的意义(例如,“具有A、B及C中的至少一者的系统”将包含但不限于单独具有A、单独具有B、单独具有C、一起具有A及B、一起具有A及C、一起具有B及C,及/或一起具有A、B及C等的系统)。所属领域的技术人员将进一步理解,呈现两个或两个以上替代术语(不管在描述、权利要求书还是图式中)的实质上任何形容词及/或短语应理解为涵盖包含所述术语中的一者、所述术语中的任一者或两个术语的可能性。举例来说,短语“A或B”将理解为包含“A”或“B”或“A及B”的可能性。
尽管本文中已揭示各种方面及实施例,但所属领域的技术人员将显而易见其它方面及实施例。本文中所揭示的各种方面及实施例用于说明目的而非既定为限制性的。

Claims (17)

1.一种俘获图像的方法,其包括:
用图像传感器俘获场景的图像;
确定所述图像中的多个主体;
确定与所述图像相关联的音频分数以及所述图像中的两个或更多个主体中的每一者的主体分数,其中每一主体分数是基于多个面部分量分数的;
至少部分地基于所述主体分数以及所述音频分数确定图像分数;
检测所俘获的所述图像中的面部;
对所检测的所述面部执行面部辨识以使名称与所述所检测的所述面部相关联;
在所述图像分数高于阈值的情况下用所述图像传感器俘获所述场景的快照图像并将所述快照图像存储到数据存储装置;以及
如果所述图像分数低于阈值,则对每一可提示图像分量分数进行加权以确定经加权的可提示图像分量分数并且基于所确定的所述经加权的可提示图像分量分数为具有最高优先级分数的主体输出提示,其中输出所述提示包括以包括所述名称的音频提示的方式输出所述提示以提示与所述面部相关联的所述主体去调整其位置或表情。
2.根据权利要求1所述的方法,其中对所述图像进行计分是进一步至少部分地基于面部注视分数的。
3.根据权利要求1所述的方法,其中对所述图像进行计分是进一步至少部分地基于面部眨眼分数的。
4.根据权利要求1所述的方法,其中对所述图像进行计分是进一步至少部分地基于面部遮挡分数的。
5.根据权利要求1所述的方法,其中对所述图像进行计分是进一步至少部分地基于面部位置分数的。
6.根据权利要求5所述的方法,其中所述面部位置分数是基于所述主体的面部与所述图像的中心的接近度的。
7.根据权利要求5所述的方法,其中所述面部位置分数是基于所述主体的面部与第二检测到的面部的接近度的。
8.根据权利要求1所述的方法,其进一步包括:
确定所述图像中至少两个主体的可提示图像分数分量;
对所述至少两个主体的所述可提示图像分数分量进行优先级排序;及
基于经优先级排序的可提示图像分数分量输出所述提示。
9.一种用于俘获图像的设备,其包括:
图像传感器;
处理器,其操作性地耦合到所述图像传感器;
图像传感器控制模块,其经配置以用所述图像传感器俘获场景的图像;
主体检测模块,其经配置以检测所俘获图像中的多个主体;
主体计分模块,其经配置以确定所述所俘获图像中检测到的所述多个主体中的两者或更多者中的每一者的分数,其中每一主体分数是基于多个面部分量分数的;
图像计分模块,其经配置以至少部分地基于所述主体分数以及与所述图像相关联的音频分数确定图像分数;
面部辨识模块,其经配置以使名称与所检测的所述主体中的一者相关联;
快照俘获模块,其经配置以在所述图像分数高于预定图像分数阈值的情况下用所述图像传感器俘获快照图像;
提示确定模块,其经配置以在所述图像分数低于所述预定图像分数阈值的情况下基于所确定的经加权的可提示图像分量分数为具有最高优先级分数的主体确定提示;以及
用户交互模块,其经配置以输出所述提示,其中所述提示是包括所述名称的音频提示以提示与所述面部相关联的所述主体去调整其位置或表情。
10.根据权利要求9所述的设备,其中对所述图像进行计分是至少部分地基于面部方向分数的,所述面部方向分数基于所述主体的眼睛的关键点分布。
11.根据权利要求9所述的设备,其中对所述图像进行计分是至少部分地基于面部位置分数的,且其中所述面部位置分数是基于所述主体的面部与第二检测到的面部的接近度的。
12.根据权利要求10所述的设备,其中所述面部方向是进一步基于眼睛的瞳孔与所述眼睛的四个眼角之间的距离的。
13.一种图像俘获装置,其包括:
用于用图像传感器俘获场景的图像的装置;
用于确定所述图像中的多个主体的装置;
用于俘获与所述图像相关联的音频的装置;
用于对所述多个主体中的两者或更多者中的每一者进行计分的装置,其中每一主体分数是基于多个面部分量分数的;
用于至少部分地基于所述主体的所述分数以及所俘获的音频的音频分数对所述图像进行计分的装置;
用于检测所俘获的所述图像中的面部的装置;
用于对所检测的所述面部执行面部辨识以使名称与所述所检测的所述面部相关联的装置;
用于在所述图像分数高于阈值的情况下用所述图像传感器俘获所述场景的图像并将所述图像存储到数据存储装置的装置;以及
用于在所述图像分数低于所述阈值的情况下对每一可提示图像分量分数进行加权以确定经加权的可提示图像分量分数并且基于所确定的所述经加权的可提示图像分量分数为具有最高优先级分数的主体输出提示的装置,其中所述提示是包括所述名称的音频提示以提示与所述面部相关联的所述主体去调整其位置或表情。
14.根据权利要求13所述的图像俘获装置,其中所述用于对所述多个主体中的每一者进行计分的装置包含用于确定面部位置分数的装置、用于确定面部遮挡分数的装置、用于确定面部眨眼分数的装置,或用于确定面部注视分数的装置。
15.根据权利要求13所述的图像俘获装置,其中所述用于对所述图像进行计分的装置包含用于确定图像稳定性分数的装置、用于确定图像聚焦分数的装置、用于确定图像曝光分数的装置,或用于确定图像音频分数的装置。
16.一种存储指令的非暂时性计算机可读媒体,所述指令在由处理器执行时致使所述处理器执行以下方法
用图像传感器俘获场景的图像;
确定所述图像中的多个主体;
俘获与所述图像相关联的音频;
对所述多个主体中的两者或更多者进行计分,其中每一主体分数是基于多个面部分量分数的;
至少部分地基于所述主体的所述分数以及所俘获的音频的音频分数对所述图像进行计分;
检测所俘获的所述图像中的面部;
对所检测的所述面部执行面部辨识以使名称与所述所检测的所述面部相关联;
在所述图像分数高于阈值的情况下用所述图像传感器俘获所述场景的图像并将所述图像存储到数据存储装置;以及
如果所述图像分数低于所述阈值,则对每一可提示图像分量分数进行加权以确定经加权的可提示图像分量分数并且基于所确定的所述经加权的可提示图像分量分数为具有最高优先级分数的主体输出提示,其中输出所述提示包括以包括所述名称的音频提示的方式输出所述提示以提示与所述面部相关联的所述主体去调整其位置或表情。
17.根据权利要求16所述的计算机可读媒体,其中对所述图像进行计分是至少部分地基于面部遮挡分数的,其中所述面部遮挡分数是基于所述面部上检测到的关键点的。
CN201380007992.4A 2012-02-06 2013-01-29 用于无人值守图像俘获的方法及设备 Expired - Fee Related CN104094590B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261595423P 2012-02-06 2012-02-06
US61/595,423 2012-02-06
US13/612,215 US9036069B2 (en) 2012-02-06 2012-09-12 Method and apparatus for unattended image capture
US13/612,215 2012-09-12
PCT/US2013/023654 WO2013119420A1 (en) 2012-02-06 2013-01-29 Method and apparatus for unattended image capture

Publications (2)

Publication Number Publication Date
CN104094590A CN104094590A (zh) 2014-10-08
CN104094590B true CN104094590B (zh) 2019-08-23

Family

ID=48902567

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380007992.4A Expired - Fee Related CN104094590B (zh) 2012-02-06 2013-01-29 用于无人值守图像俘获的方法及设备

Country Status (6)

Country Link
US (2) US9036069B2 (zh)
EP (1) EP2813064A1 (zh)
JP (1) JP5864783B2 (zh)
KR (2) KR101632819B1 (zh)
CN (1) CN104094590B (zh)
WO (1) WO2013119420A1 (zh)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9036069B2 (en) 2012-02-06 2015-05-19 Qualcomm Incorporated Method and apparatus for unattended image capture
CN103945046A (zh) * 2013-01-21 2014-07-23 目酷实验室有限公司 拍照控制方法及控制装置
KR102065362B1 (ko) * 2013-05-14 2020-01-13 삼성전자주식회사 연속 촬영 이미지에서의 고조점 이미지 추출 장치 및 방법
US9552374B2 (en) * 2013-08-19 2017-01-24 Kodak Alaris, Inc. Imaging workflow using facial and non-facial features
KR102126868B1 (ko) * 2013-11-15 2020-06-25 한화테크윈 주식회사 영상 처리 장치 및 방법
JP6049608B2 (ja) * 2013-12-27 2016-12-21 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム、記録媒体
US20150189166A1 (en) * 2013-12-30 2015-07-02 Telefonica Digital España, S.L.U. Method, device and system for improving the quality of photographs
KR102227284B1 (ko) 2014-01-16 2021-03-12 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US9344673B1 (en) * 2014-03-14 2016-05-17 Brian K. Buchheit Enhancing a camera oriented user interface via an eye focus guide
US9473687B2 (en) 2014-12-23 2016-10-18 Ebay Inc. Modifying image parameters using wearable device input
US9519827B2 (en) 2014-12-24 2016-12-13 International Business Machines Corporation Personalized, automated receptionist
US9430673B1 (en) * 2014-12-30 2016-08-30 Emc Corporation Subject notification and consent for captured images
TWI658315B (zh) * 2015-01-26 2019-05-01 鴻海精密工業股份有限公司 拍照系統及方法
US10038836B2 (en) * 2015-03-17 2018-07-31 Mediatek Inc. Automatic image capture during preview and image recommendation
GB201507210D0 (en) * 2015-04-28 2015-06-10 Microsoft Technology Licensing Llc Eye gaze correction
GB201507224D0 (en) 2015-04-28 2015-06-10 Microsoft Technology Licensing Llc Eye gaze correction
WO2017018012A1 (ja) * 2015-07-28 2017-02-02 ソニー株式会社 情報処理システム、情報処理方法、および記録媒体
US9769367B2 (en) 2015-08-07 2017-09-19 Google Inc. Speech and computer vision-based control
US20170126966A1 (en) * 2015-10-29 2017-05-04 Mediatek Inc. Photography method using gaze detection
WO2017090833A1 (en) * 2015-11-24 2017-06-01 Samsung Electronics Co., Ltd. Photographing device and method of controlling the same
US9836819B1 (en) 2015-12-30 2017-12-05 Google Llc Systems and methods for selective retention and editing of images captured by mobile image capture device
US10732809B2 (en) 2015-12-30 2020-08-04 Google Llc Systems and methods for selective retention and editing of images captured by mobile image capture device
US9836484B1 (en) 2015-12-30 2017-12-05 Google Llc Systems and methods that leverage deep learning to selectively store images at a mobile image capture device
US9838641B1 (en) 2015-12-30 2017-12-05 Google Llc Low power framework for processing, compressing, and transmitting images at a mobile image capture device
US10225511B1 (en) 2015-12-30 2019-03-05 Google Llc Low power framework for controlling image sensor mode in a mobile image capture device
CN106131393A (zh) * 2016-06-15 2016-11-16 北京小米移动软件有限公司 拍照提示方法及装置
MX2019001246A (es) 2016-07-29 2019-08-16 Acf Tech Inc Sistema de cola de medio social automatizado.
MX2019001240A (es) 2016-07-29 2019-09-23 Acf Tech Inc Sistema de cola automatizado.
WO2018023123A1 (en) 2016-07-29 2018-02-01 ACF Technologies, Inc. Queue management system utilizing virtual service providers
KR102581802B1 (ko) 2016-11-21 2023-09-25 삼성전자주식회사 디스플레이장치, 시스템 및 기록매체
US10176616B2 (en) * 2017-01-19 2019-01-08 Adobe Inc. Automatic capture and refinement of a digital image of a group of people without user intervention
US20180336045A1 (en) * 2017-05-17 2018-11-22 Google Inc. Determining agents for performing actions based at least in part on image data
US10565696B2 (en) 2017-06-05 2020-02-18 Qualcomm Incorporated Systems and methods for producing image feedback
US10623694B2 (en) * 2018-03-16 2020-04-14 Lenovo (Singapore) Pte Ltd Appropriate modification of video call images
WO2019216593A1 (en) 2018-05-11 2019-11-14 Samsung Electronics Co., Ltd. Method and apparatus for pose processing
US10853459B2 (en) 2018-06-26 2020-12-01 Callsign Inc. Verification request authentication machine
US10740448B2 (en) * 2018-06-26 2020-08-11 Callsign Inc. Verification request authentication machine
EP3606033A1 (en) * 2018-07-31 2020-02-05 Honda Research Institute Europe GmbH Method and system for assisting a user in producing and selecting images
KR102598109B1 (ko) 2018-08-08 2023-11-06 삼성전자주식회사 이미지 분석에 기반하여, 디스플레이를 통해 표시된 영상과 메모리에 저장된 영상과 관련하여 알림을 제공하는 전자 장치 및 방법
JP7401968B2 (ja) * 2018-12-07 2023-12-20 ルネサスエレクトロニクス株式会社 撮影制御装置、撮影システム及び撮影制御方法
US11265462B2 (en) 2020-07-06 2022-03-01 Qualcomm Incorporated Automatic camera selection capturing intended subjects in an image
CN112261301A (zh) * 2020-10-23 2021-01-22 江苏云从曦和人工智能有限公司 一种拍照方法、系统、设备及介质
CN113177917B (zh) * 2021-04-25 2023-10-13 重庆紫光华山智安科技有限公司 一种抓拍图像优选方法、系统、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101453569A (zh) * 2007-09-10 2009-06-10 卡西欧计算机株式会社 摄像装置、摄像方法及记录其程序的计算机可读存储介质
CN101867712A (zh) * 2006-08-02 2010-10-20 索尼株式会社 图像拍摄设备和方法、及表情评价设备
CN102158649A (zh) * 2010-02-01 2011-08-17 奥林巴斯映像株式会社 摄影设备和该摄影设备的摄影方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040017998A (ko) 2002-08-23 2004-03-02 김수엽 화상인식시스템의 얼굴위치 보정지시장치 및 그 방법
JP2004328083A (ja) 2003-04-21 2004-11-18 Nikon Corp 撮像装置
JP4333223B2 (ja) * 2003-06-11 2009-09-16 株式会社ニコン 自動撮影装置
US20050030388A1 (en) 2003-08-06 2005-02-10 Stavely Donald J. System and method for improving image capture ability
JP4314567B2 (ja) * 2003-12-04 2009-08-19 カシオ計算機株式会社 撮影装置および撮影プログラム
JP2006140695A (ja) * 2004-11-11 2006-06-01 Konica Minolta Photo Imaging Inc 撮像装置
US7668454B2 (en) 2006-08-29 2010-02-23 Hewlett-Packard Development Company, L.P. Photography advice based on captured image attributes and camera settings
JP2008277903A (ja) * 2007-04-25 2008-11-13 Sony Corp 撮像装置及びフォーカス対象決定方法
JP4720810B2 (ja) * 2007-09-28 2011-07-13 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP5137622B2 (ja) * 2008-03-03 2013-02-06 キヤノン株式会社 撮影装置及びその制御方法、並びに画像処理装置及びその制御方法
KR101444103B1 (ko) 2008-03-14 2014-09-26 삼성전자주식회사 상태 정보를 이용하여 미디어 신호를 생성하는 방법 및장치
US8265474B2 (en) * 2008-03-19 2012-09-11 Fujinon Corporation Autofocus system
JP5493284B2 (ja) 2008-03-31 2014-05-14 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
JP5251547B2 (ja) * 2008-06-06 2013-07-31 ソニー株式会社 画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラム
JP5073602B2 (ja) * 2008-07-23 2012-11-14 オリンパスイメージング株式会社 撮像装置および撮像装置の制御方法
JP5182507B2 (ja) 2008-09-26 2013-04-17 カシオ計算機株式会社 撮影装置、撮影案内方法、及びプログラム
JP4816717B2 (ja) * 2008-12-09 2011-11-16 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
ATE538592T1 (de) 2009-02-16 2012-01-15 Research In Motion Ltd Verwendung von schwerkraft zur ausrichtung einer drehbaren kamera in einem mobilgerät
JP2010226558A (ja) * 2009-03-25 2010-10-07 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
JP2011107997A (ja) * 2009-11-18 2011-06-02 Sony Corp 情報処理装置、情報処理方法、およびプログラム
KR101634247B1 (ko) 2009-12-04 2016-07-08 삼성전자주식회사 피사체 인식을 알리는 디지털 촬영 장치, 상기 디지털 촬영 장치의 제어 방법
JP4968346B2 (ja) * 2010-01-20 2012-07-04 カシオ計算機株式会社 撮像装置、画像検出装置及びプログラム
US9036069B2 (en) * 2012-02-06 2015-05-19 Qualcomm Incorporated Method and apparatus for unattended image capture

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101867712A (zh) * 2006-08-02 2010-10-20 索尼株式会社 图像拍摄设备和方法、及表情评价设备
CN101453569A (zh) * 2007-09-10 2009-06-10 卡西欧计算机株式会社 摄像装置、摄像方法及记录其程序的计算机可读存储介质
CN102158649A (zh) * 2010-02-01 2011-08-17 奥林巴斯映像株式会社 摄影设备和该摄影设备的摄影方法

Also Published As

Publication number Publication date
US9392163B2 (en) 2016-07-12
KR102014578B1 (ko) 2019-08-26
KR20150099880A (ko) 2015-09-01
KR20140119814A (ko) 2014-10-10
US20130201359A1 (en) 2013-08-08
CN104094590A (zh) 2014-10-08
US20150215528A1 (en) 2015-07-30
JP2015512190A (ja) 2015-04-23
EP2813064A1 (en) 2014-12-17
US9036069B2 (en) 2015-05-19
KR101632819B1 (ko) 2016-06-22
JP5864783B2 (ja) 2016-02-17
WO2013119420A1 (en) 2013-08-15

Similar Documents

Publication Publication Date Title
CN104094590B (zh) 用于无人值守图像俘获的方法及设备
US11561621B2 (en) Multi media computing or entertainment system for responding to user presence and activity
KR101803081B1 (ko) 매장 관리 로봇
KR102387495B1 (ko) 이미지 처리 방법 및 장치, 전자 기기 및 기억 매체
CN105659200B (zh) 用于显示图形用户界面的方法、设备和系统
US20210249012A1 (en) Systems and methods for operating an output device
US11210376B2 (en) Systems and methods for biometric user authentication
JP2019522300A (ja) 精神障害の療法のためのモバイルおよびウェアラブルビデオ捕捉およびフィードバックプラットフォーム
JP2005202653A (ja) 動作認識装置及び方法、動物体認識装置及び方法、機器制御装置及び方法、並びにプログラム
CN107924392A (zh) 基于姿势的注释
CN109886080A (zh) 人脸活体检测方法、装置、电子设备及可读存储介质
CN110096251B (zh) 交互方法及装置
CN110326300A (zh) 信息处理设备、信息处理方法及程序
JP2013031009A (ja) 情報処理装置、ダイジェスト生成方法、及びダイジェスト生成プログラム
US11076091B1 (en) Image capturing assistant
KR20180075875A (ko) 전자 장치 및 그의 메시지 전달 방법
CN105874424A (zh) 协同的语音和姿态输入
US11256909B2 (en) Electronic device and method for pushing information based on user emotion
JP2011223369A (ja) 認知症患者用会話システム
EP3686755B1 (en) Automatic reference finding in audiovisual scenes
Kwiatkowska et al. Eye Tracking as a Method of Controlling Applications on Mobile Devices.
US20240087345A1 (en) System and method for smart recipe generation
CN106339304A (zh) 智能电子设备使用时间控制系统及方法
Cheng Compilation Photos Generated from High-Quality Faces in a Photo Burst
CN111382612A (zh) 动物面部检测方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190823

Termination date: 20220129

CF01 Termination of patent right due to non-payment of annual fee