CN105580051A - 图像捕捉反馈 - Google Patents

图像捕捉反馈 Download PDF

Info

Publication number
CN105580051A
CN105580051A CN201380079945.0A CN201380079945A CN105580051A CN 105580051 A CN105580051 A CN 105580051A CN 201380079945 A CN201380079945 A CN 201380079945A CN 105580051 A CN105580051 A CN 105580051A
Authority
CN
China
Prior art keywords
image
logic
action
mark
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380079945.0A
Other languages
English (en)
Other versions
CN105580051B (zh
Inventor
J.J.拉特克利夫
R.T.阿祖马
许彦
G.斯佩吉纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN105580051A publication Critical patent/CN105580051A/zh
Application granted granted Critical
Publication of CN105580051B publication Critical patent/CN105580051B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/66Analysis of geometric attributes of image moments or centre of gravity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Abstract

公开了用于图像捕捉反馈的实施例。在某些实施例中,计算系统可从图像捕捉设备接收第一图像并生成用于第一图像的分数。计算系统可生成用于动作的推荐,使得如果图像捕捉设备在执行动作之后捕捉到第二图像,则用于第二图像的分数将好于用于第一图像的分数。计算系统可在输出设备上向用户指示推荐动作。可公开和/或要求保护其它实施例。

Description

图像捕捉反馈
技术领域
本公开一般地涉及图像捕捉领域,并且更特别地涉及图像捕捉反馈。
背景技术
熟练的摄影师将大量训练和专业知识用于其如何选择、组成以及捕捉图像。诸如静止和视频照相机之类的图像捕捉设备(ICD)的大多数所有者并不是熟练的摄影师。为了补偿,某些现有设备允许用户在捕捉图像之后对图像进行编辑(例如,通过调整亮度或色彩性质、裁剪图像、对图像的各部分进行磨皮等)。然而,此类编辑技术的成功使用要求训练和技巧,并且可能与开发好的摄影技术几乎一样或者更加难。因此,尽管有ICD的发展,但高质量的图像仍然很少。
附图说明
通过结合附图的以下详细描述,将容易理解实施例。为了促进本描述,相同的附图标记指示相同的结构元件。在附图的各图中,实施例是以示例的方式而不是以限制的方式来图示的。
图1是根据各种实施例的针对图像捕捉反馈配置的说明性计算系统的框图。
图2是根据各种实施例的可由图1的计算系统实现的说明性图像捕捉反馈系统的框图。
图3描绘了根据各种实施例的可以用图2的图像捕捉反馈系统来处理以提供图像捕捉反馈的场景的说明性图像。
图4图示出根据各种实施例的由图2的图像捕捉反馈系统产生的图3的图像中的各种区域。
图5图示出根据各种实施例的包括在由图2的图像捕捉反馈系统产生的图3的图像的模型中的特征。
图6图示出根据各种实施例的由图2的图像捕捉反馈系统产生的三维坐标系中的图3的图像的模型。
图7图示出根据各种实施例的被图2的图像捕捉反馈系统用来执行局部背景显著度分析的图3的图像的区域和面积。
图8图示出根据各种实施例的被图2的图像捕捉反馈系统用来执行色彩互补性分析的图3的图像的区域和面积。
图9描绘了根据各种实施例的图2的图像捕捉反馈系统可针对其比较图像的各种组成模板。
图10图示出根据各种实施例的由图2的图像捕捉反馈系统在与图3的图像相关联的模型和选择组成模板之间执行的比较。
图11图示出根据各种实施例的由图2的图像捕捉反馈系统确定的两个替换照明情形下的图3的图像中的对象。
图12-13描绘了根据各种实施例的由图2的图像捕捉反馈系统产生的图3的场景的说明性目标模型和相应目标图像。
图14-19描绘了根据各种实施例的可由图2的图像捕捉反馈系统产生以指示可执行以改善图3的图像的动作的各种视觉显示。
图20描绘了根据各种实施例的可由图2的图像捕捉反馈系统产生以指示当图像捕捉设备的性质被调整时图3的场景可能看起来如何的视觉显示。
图21是根据各种实施例的用于图像捕捉反馈的说明性过程的流程图。
具体实施方式
公开了用于图像捕捉反馈的实施例。在某些实施例中,计算系统可从图像捕捉设备(ICD)接收第一图像并生成用于第一图像的分数。该计算系统可生成用于动作的推荐,使得如果ICD在执行动作之后捕捉到第二图像,则用于第二图像的分数将好于用于第一图像的分数。计算系统可在输出设备上向用户指示推荐动作。
最多,某些现有ICD向用户提供静态指导,通常是叠加在视场上的固定网格,用户可选择将场景中的各种对象对准到该固定网格。然而,不熟悉的用户可能不知道此类静态指导是用于什么,也不知道如何将其用来改善图像。此外,此类静态指导仅可帮助有经验的用户将场景中的各种对象对准,但是并未提供关于可影响图像质量的数百个其它变量中的任何一个的辅助,所述变量诸如ICD设置、照明、色彩、焦点、场深、简洁等。
在本文中公开的各种实施例中的实施例可通过在用户尝试捕捉场景的同时提供关于改善图像的方式的动态指导来改进现有图像捕捉技术和系统。特别地,本文所述的图像捕捉反馈技术和系统可分析来自ICD的图像,并生成用于改善图像的动作的推荐。推荐动作可以是用户的动作(例如,将ICD移动至另一位置或改变ICD上的设置)或图像中的一个或多个对象的动作(例如,让图像中的人向左或右移动)。该技术和系统然后可分析新图像(例如,在推荐动作或另一动作已被执行之后)并在适当时提供进一步推荐。
某些此类实施例可向用户提供近即时反馈,使得用户可以改善图像而不会将其眼睛和注意力从场景移开或者必须放下ICD以便查阅手册或其它文件或者具有共享取景器的专业摄影师。某些此类实施例可基于用户的摄影专业水平而自定义。例如,在某些实施例中,可向已经指示其为初学者的用户提供更加自动化的指导(例如,组成模板的自动选择)。在某些实施例中,可向已经指示其仅要求此类明确选择的指导的用户仅提供明确选择的指导(例如,用户选择的组成模板的应用)。在本文中公开了图像捕捉反馈系统的许多其它实施例以及可与此类实施例相关联的优点。
在以下详细描述中,对构成其一部分的附图进行参考,其中相同的附图标记自始至终表示相同部分,并且其中以图示的方式示出了可实施实施例。应理解的是,在不脱离本公开的范围的情况下,可利用其它实施例并且可以进行结构或逻辑改变。因此,不应在限制性意义上理解以下详细描述。
可以以对理解请求保护的主题最有帮助的方式依次描述各种操作作为多个离散动作或操作。然而,不应将描述的顺序理解为暗示这些操作必须是顺序相关的。特别地,这些操作可不按照呈现的顺序执行。所述的操作可按照与所述实施例不同的顺序执行。可执行各种附加操作和/或在附加实施例中可省略所述操作。
出于本公开的目的,短语“A和/或B”意指(A)、(B)、或(A和B)。出于本公开的目的,短语“A、B和/或C”意指(A)、(B)、(C)、(A和B)、(A和C)、(B和C)或(A、B和C)。
本描述使用短语“在实施例中”或“在多个实施例中”,其可每个指代相同或不同实施例中的一个或多个。此外,如相对于本公开的实施例所使用的术语“包括”、“包含”、“具有”等是同义词。如本文所使用的短语“耦合”可意指两个或更多元件进行直接的物理或电接触,或者两个或更多元件并未进行相互的直接接触,但是仍相互合作或相干扰(例如,经由一个或多个中间元件,其可执行其自己的变换或者具有其自己的效果)。例如,当两个元件与公共元件(例如,存储器设备)通信时,可将两个元件相互耦合。如本文所使用的术语“逻辑”可指代、包括专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的处理器(共享、专用或群组)和/或存储器(共享、专用或群组)、组合逻辑电路和/或提供所述功能的其它适当组件,或者是其一部分。
图1描绘了根据各种实施例的针对图像捕捉反馈而配置的说明性计算系统100。在某些实施例中,计算系统100可被配置成从ICD接收图像;生成用于该图像的分数;生成用于动作的推荐,使得如果ICD在执行动作之后捕捉到第二图像,则用于第二图像的分数将好于用于所述图像的分数,例如用于第二图像的分数更高;并在输出设备上向用户指示推荐的动作。在本文中讨论了计算系统100的各组件之间的操作分布的多个示例,但是可使用更多或更少组件和操作分布的任何其它组合。在某些实施例中,可将计算系统100配置为下面参考图2所讨论的图像捕捉反馈系统200。
计算系统100可包括个人计算设备102、ICD104以及远程计算设备106。个人计算设备102、ICD104以及远程计算设备106中的每一个可包括图像捕捉反馈组件(在图1中分别地示为图像捕捉反馈组件118、116和114)。可将图像捕捉反馈及其它操作适当地分布在计算系统100的图像捕捉反馈组件114、116和118之间。在本文中讨论了个人计算设备102、ICD104和远程计算设备106之间的图像捕捉反馈操作的分布的多个示例,但是可使用更多或更少组件的任何其它组合以及操作的任何其它分布。例如,在某些实施例中,可省略图像捕捉反馈组件114、116和118中的一个或多个,并且所有适当的图像捕捉反馈操作(例如,本文所述的那些中的任何一个)可由其余图像捕捉反馈组件执行。除结合在其中的本公开的图像捕捉反馈讲授内容之外,个人计算设备102、ICD104和远程计算设备106可以是在本领域中已知的大量此类设备。在本文中描述了特定但非限制性示例。
可用通信路径108、110和112来启用计算系统100的各组件之间的通信。通信路径108、110和112每个可包括有线通信路径和/或无线通信路径、通过直接耦合和/或通过个域网、局域网和/或广域网。个人计算设备102、ICD104和远程计算设备106中的每一个可包括用于支持通信路径108、110和112的适当硬件,诸如网络接口卡、调制解调器、WiFi设备、蓝牙设备等。在某些实施例中,通信路径108、110和112可以是如图1中所示的组件之间的直接通信路径。如本文所使用的,对图1的计算系统100(或在本文中公开的任何系统或设备)的两个组件之间的“直接”通信路径的参考可指代并不路由通过另一所示组件但可路由通过其它未示出设备(例如,路由器和/或开关)的通信路径。
包括在计算系统100中的每个设备可包括处理设备和存储设备(未示出)。处理设备可包括一个或多个处理设备,诸如一个或多个处理核、ASIC、电子电路、处理器(共享、专用或群组)、组合逻辑电路和/或可被配置成处理电子数据的其它适当组件。该存储设备可包括任何适当存储器或大容量存储设备(诸如固态驱动、磁盘、硬驱、紧凑式磁盘只读存储器(CD-ROM)等)。包括在计算系统100中的每个计算设备可包括用以将包括在各计算设备中的处理设备、存储设备以及任何其它设备通信耦合的一个或多个总线(以及总线桥,如果适当的话)。存储设备可包括一组计算逻辑,其可包括具有存储在其中的指令的计算机可读介质的一个或多个拷贝,该指令在被计算设备的处理设备执行时可促使计算设备实现本文公开的任何技术或其任何部分。在某些实施例中,计算逻辑可包括下面参考图2所讨论的任何逻辑。
个人计算设备102可以是被集成到被配置成穿戴在用户(或“穿戴者”)的身体上的衣服、附件或其它支撑结构中的计算设备。用于可穿戴个人计算设备102的适当支撑结构的示例可包括眼镜、头戴式听筒、头发附件(例如,发带或发夹)、耳机、首饰(例如,胸针、耳环或项链)、腕带(例如,手表)、颈带(例如,领带或围巾)、衣服(例如,衬衫、裤子、裙子或夹克)、鞋子、勋带或名牌、接触透镜或可植入式支撑结构等。在某些实施例中,个人计算设备102可以是具有照相机(其可充当图像捕捉设备104)和扩音器的腕装式计算设备。在某些实施例中,个人计算设备102可以是具有照相机(其可充当图像捕捉设备104)和扩音器的眼镜安装式计算设备。
个人计算设备102可以是台式计算机或独立式计算设备或者被配置成用于在口袋、背包或其它携带箱中携带并用于与用户的一只或两只手操作的计算设备。可充当个人计算设备102的计算设备的示例包括蜂窝式电话、智能电话、其它手持式移动通信设备、平板电脑、电子书阅读器、个人数字助理、膝上型计算机或其它此类计算设备。尽管可以以单数形式提及个人计算设备102(和本文所述的其它组件),但可在个人计算设备102中包括任何数目的个人计算设备(并且同样地,任何组件可以包括多个此类组件)。
可以由例如个人计算设备102上的应用程序或插件来控制由个人计算设备102执行的图像捕捉反馈及其它操作。在某些实施例中,个人计算设备102可包括两个或更多计算设备,其中的一个具有比另一个更多的计算资源(例如,处理能力、存储器和/或通信带宽)。例如,个人计算设备102可包括较大平板计算设备和较小手腕或眼镜安装计算设备。在此类实施例中,由较小计算设备捕捉并预先处理的数据(例如,图像、音频或其它传感器数据)可被从较小计算设备发射到较大计算设备以用于进一步处理。
计算系统100可包括ICD104。在某些实施例中,ICD104可包括一个或多个照相机。如本文所使用的术语“照相机”可包括静止图像照相机和视频照相机。照相机可以是模拟的或数字的。在某些实施例中,ICD104可以捕捉高清晰度视频。在某些实施例中,ICD104可被配置成将图像数据(例如,视频数据)经由有线或无线通信路径(例如,分别地为路径108和112)流式传输到个人计算设备102和/或远程计算设备106。在某些实施例中,ICD104可被本地地连接到个人计算设备102(或与之集成),而在其它实施例中,ICD104可远离个人计算设备102(并且例如可与跟与个人计算设备102的所有者或用户不同的所有者或用户相关联的个人计算设备集成)。
ICD104可使用任何成像波长(例如,可见光或红外光)。在某些实施例中,ICD104可包括可见光照相机和红外照相机,并且可将由这些设备捕捉的图像组合或者将其单独地处理。在某些实施例中,ICD104可被配置成连续地捕捉固定数目的静止图像,并且可在捕捉每个图像之前用声音或其它指示符向用户报警。
ICD104可包括多个ICD,每个与计算系统100的不同用户相关联。例如,社交联网服务(在计算系统100上运行)的每个用户可具有被集成到用户的智能电话或平板电脑(例如,与个人计算设备102类似地配置)中的图像捕捉设备(例如,与ICD104类似地配置),并且可将捕捉的图像提供给远程计算设备106以用于处理,如下面所讨论的。在另一示例中,ICD104可包括阵列照相机,其中多个透镜使得能够实现同一主题的多个图像的同时捕捉。由阵列照相机捕捉的每个图像可按照曝光时间、焦距、白平衡等而改变。ICD104可包括处理设备,其被配置成执行用于将图像组合的任何已知技术或者提供各种图像浏览体验(例如,与计算系统100的其它组件相结合)。
在某些实施例中,ICD104可包括深度照相机。深度照相机可包括照相机的异构阵列(例如,具有不同的分辨率、光学性质和/或其它特性),并且可提供关于所捕捉场景中的对象的深度的信息。在某些实施例中,深度照相机可包括被布置成提供立体照片或多基线立体照片的两个或更多照相机。在某些此类实施例中,可在每个照相机中识别特征(例如,所捕捉场景中的元件),并且可分析所识别特征之间的对应关系以确定特征的深度。在某些实施例中,深度照相机可包括照相机和向场景中照射特定图案的结构光或条纹光的投影仪。结构光的已知几何结构与照相机在场景中对该图案的观察相组合可使得深度照相机能够确定深度信息。在某些实施例中,深度照相机可包括多个照相机和向场景中投射随机纹理图案的投影仪。所捕捉场景中的纹理点可变成可被多个照相机分析以识别使得能够估计深度的对应关系的特征。在某些实施例中,深度照相机可利用飞行时间方法,其中发射信号并测量信号要返回所花费的时间。此类深度照相机可使用超声波、激光及其它传感器。在某些实施例中,深度照相机可被配置成识别场景中的已知物理尺寸的对象,并且可通过观察所捕捉图像中的那些对象的尺寸来估计用于那些对象的深度。
计算系统100可被配置成基于由深度照相机生成的数据生成具有在场景内的各种深度处的一个或多个特征的场景模型。可使用来自深度照相机的数据生成的特征的示例包括在特定深度处的对象的“质量”和在特定深度处的所有对象的“质量中心”,如下面所讨论的。
远程计算设备106可包括一个或多个服务器(例如,以“云”计算配置布置)或远离个人计算设备102和/或ICD104的其它计算设备。可根据任何远程有线或无线通信协议来配置个人计算设备102与远程计算设备106之间的通信路径110以及图像捕捉设备104与远程计算设备106之间的通信路径112。在某些实施例中,远程计算设备106可具有比个人计算设备102或ICD104更多的计算资源(例如,处理能力、存储器和/或通信带宽)。因此,在某些实施例中,可将由个人计算设备102和/或图像捕捉设备104捕捉并预先处理的数据(例如,图像数据,诸如用于图像的模型)通过通信路径110和/或112发射到远程计算设备106以用于进一步处理。在某些实施例中,远程计算设备106可执行下面参考图2所讨论的大部分图像捕捉反馈操作。在某些实施例中,远程计算设备106可包括用于存储由ICD104捕捉的图像的存储设备。
如上文所指示的,在某些实施例中,远程计算设备106可与多个个人计算设备(与个人计算设备102同样地配置)和/或多个ICD(与ICD104同样地配置)通信。远程计算设备106可针对每个个人计算设备或ICD执行类似的处理和存储操作。例如,远程计算设备106可接收由多个图像捕捉设备(与图像捕捉设备104同样地配置)捕捉的图像,并且可相对于这些图像执行图像捕捉反馈(例如,生成用于要向不同ICD的每个不同用户指示的不同动作的推荐)。远程计算设备106可向与远程计算设备106通信的所述多个个人计算设备或ICD中的不同的个人计算设备或ICD贡献不同的资源(例如,用于每个设备的不同存储器分区或数据库)。
在本文中公开的图像捕捉反馈系统的某些实施例中,可不包括计算系统100的组件之间的通信路径中的一个或多个。例如,在某些实施例中,ICD104可并不经由通信路径112而直接地与远程计算设备106通信,但是可经由个人计算设备102和通信路径108和110与远程计算设备106通信。
如上所述,可将下面描述的各种图像捕捉反馈操作以任何期望布置分布在计算系统100的组件之间。例如,在某些实施例中,本文所述的所有图像捕捉反馈操作可由ICD104执行。在某些实施例中,本文所述的许多图像捕捉反馈操作可由ICD104执行,而其它图像捕捉反馈操作可由远程计算设备106(其可以是例如云计算设备)执行。在某些实施例中,本文所述的某些或所有图像捕捉反馈操作可由个人计算设备102(其可以是例如可穿戴计算设备)执行。根据期望,可采用任何其它布置。
图2是根据各种实施例的说明性图像捕捉反馈系统200的框图。图像捕捉反馈系统200可包括输入/输出(I/O)设备228、处理逻辑202以及存储设备226。图像捕捉反馈系统200可被配置成执行许多图像捕捉反馈操作中的任何一个。例如,图像捕捉反馈系统200可被配置成从ICD接收图像;生成用于该图像的分数;生成用于动作的推荐,使得如果ICD在执行动作之后捕捉到第二图像,用于第二图像的分数将好于用于图像的分数;并且在输出设备上向用户指示所推荐动作。
根据各种实施例,图像捕捉反馈系统200可由图1的计算系统100实现。特别地,可将图像捕捉反馈系统200的组件以任何适当方式分布在计算系统100的组件中的一个或多个之间。虽然在图2中图示出图像捕捉反馈系统200的许多组件,但各种实施例可适当地省略组件以便执行图像捕捉反馈操作。例如,图像捕捉反馈系统200的某些实施例可不被配置成用于照明分析,并且因此可不包括照明逻辑236。
图像处理系统200的I/O设备228可包括ICD104。ICD104可采取上文参考图1所讨论的任何形式。例如,可将ICD104包括在个人计算设备102(图1)中,个人计算设备102可将图像数据(例如,图像和/或与图像相关联的模型)经由通信路径110以无线方式流式传输到远程计算设备106。
I/O设备228可包括输入设备210。虽然可以以单数形式提及输入设备210,但输入设备210可包括多个输入设备,每个根据一个或多个输入模式进行操作。输入设备210可被配置成接收例如触摸输入、语音输入或手势输入,并将该输入转换成可被传送到图像捕捉反馈系统200的其它组件的一个或多个电信号。输入设备210可包括音频捕捉设备(例如,以各种取向布置的一个或多个扩音器)、键盘、诸如鼠标之类的光标控制设备、触针、触控板、条形码读取器、快速响应(QR)代码读取器、射频识别(RFID)读取器、全球定位系统(GPS)接收机、近程无线接收机(例如,蓝牙接收机)、一个或多个传感器(例如,加速度计或运动检测器)或任何其它适当输入设备。
图像捕捉反馈系统200可包括输出设备218。如上文参考输入设备210所讨论的,虽然可以以单数形式提及输出设备218,但在输出设备218中可包括任何数目的输出设备。在某些实施例中,输出设备218可包括图像输出设备,诸如视觉显示器或投影仪。输出设备218可包括例如一个或多个平视显示器(即,包括以光学准直仪配置而布置的投影仪和将在不要求用户从他或她的典型视点转移目光的情况下提供数据的组合器的显示器)、计算机监视器、投影仪、触摸屏显示器、液晶显示器(LCD)、发光二极管显示器或平板显示器。在某些实施例中,输出设备218可以是包括在ICD104中的显示器。包括在ICD104中的显示器可显示当前或先前由ICD104捕捉的场景和/或其它信息。在某些实施例中,输出设备218可以是包括在也包括ICD104的个人计算设备102(例如,智能电话)中的触摸屏。在某些实施例中,输出设备218可包括音频输出设备,诸如一个或多个扬声器或其它音频换能器,其可以例如被安装在一个或多个听筒或耳机中。可包括在输出设备218中的其它设备包括2D或3D打印机、用于向其它设备提供信息的有线或无线发射机、附加存储设备、诸如振动设备之类的触觉设备或任何适当的输出设备。
图像捕捉反馈系统200可包括存储设备226。在某些实施例中,存储设备226可包括用于存储本文所述的任何数据以供图像捕捉反馈系统200的任何组件访问(例如,图像数据、模型数据、评分度量、中间和/或最后计算的结果、图像分数等)的一个或多个数据库或其它数据存储结构。存储设备226例如可包括任何存储器设备,诸如一个或多个硬驱、固态逻辑或便携式存储介质。存储设备226可在处理逻辑202和/或I/O设备228的组件中的任何一个或多个本地,或者远离任何组件。存储设备226可包括本地和远程组件两者。存储设备226可包括多个不同的存储设备,其可以是不同存储类型(例如,硬驱和便携式存储设备)。
I/O设备228和存储设备226可被耦合到处理逻辑202。处理逻辑202可包括被配置成向和/或从I/O设备228中的一个或多个接收数据并在I/O设备228与处理逻辑202的组件中的一个或多个之间路由此数据的输入设备接口(未示出)。
处理逻辑202可包括被配置成向和/或从存储设备226接收数据并在存储设备226与处理逻辑202的组件中的一个或多个之间路由此数据的存储设备接口(未示出)。虽然单独地图示出处理逻辑202的组件,但可适当地将各组件组合或划分,并且每个可在执行其自己的分析时使用由其它生成的结果中的一个或多个。可通过物理总线、远程有线通信路径、进程或远程无线通信路径或通信路径的任何组合在处理逻辑202的组件之间传送数据。
处理逻辑202可包括接收机逻辑206。在某些实施例中,接收机逻辑206可被配置成从ICD104接收图像。这些图像可直接地从ICD104接收,或者可从存储器(例如,包括在存储设备226中)访问。如果图像尚未被存储,则接收机逻辑226可提供图像以便存储在存储设备226中。可用以周期性或非周期性间隔(例如,响应于由加速度计或包括在输入设备210中的其它传感器检测到ICD104的运动)捕捉的新图像来重复接收图像(并基于图像来指示推荐动作)的操作。
由接收机逻辑206接收到的图像可捕捉对图像捕捉反馈系统200的用户感兴趣的场景。例如,图3描绘了可被接收机逻辑206接收到并被图像捕捉反馈系统200中的一个或多个其它组件处理的场景316的说明性图像300,如下面所讨论的。图像300可捕捉场景316中的许多对象,诸如人302(具有头314、衬衫310以及裤子312)、多个礼品304、树306以及房间308。
返回图2,处理逻辑202可包括评估逻辑216。评估逻辑216可被耦合到接收机逻辑206,并且可被配置成生成用于图像的分数。评估逻辑216可生成随着图像被接收机逻辑206捕捉到而自动地或者响应于用于指导的用户请求(例如,通过在未示出的用户接口中按下帮助按钮)而生成用于图像的分数。在某些实施例中,评估逻辑216可通过根据一个或多个审美准则应用表示图像质量的评分度量而生成分数。在本文中描述了评分度量的许多示例,并且可由评估逻辑216来实现任何适当的评分度量。例如,在某些实施例中,评估逻辑216可通过应用以下评分度量来生成分数:
其中,hist(image,a:b)指示色调值a与b之间的图像的色调值的直方图,其中,1的色调值指示白色像素,且0的色调值指示黑色像素;argmax(h)是向提供h的最大值的h返回自变量的函数,并且thresh表示接近于1的预定阈值,其可针对各种应用以任何适当方式选择。等式1的评分度量可通过在图像未被曝光过度(例如,当时)或曝光不足(例如,当时)对图像给定1的分数来“奖励”图像,并通过否则对其给定0的分数来“惩罚”图像。等式1的评分度量简单地说明可由评估逻辑216实现的分数生成技术。在本文中描述了分数生成技术的许多附加和替换示例。
在某些实施例中,评估逻辑216可包括模型逻辑208和评分逻辑222。模型逻辑208可被耦合到接收机逻辑206,并且可被配置成处理由接收机逻辑206接收到的图像以生成表示该图像的模型。评估逻辑216还可被耦合到推荐逻辑208,并且可被配置成生成用于候选或目标图像的分数(例如,经由候选或目标模型),如下面所讨论的。评分逻辑222可与模型逻辑208耦合,并且可被配置成对由模型逻辑208生成的模型应用评分度量以生成用于图像的分数。在某些实施例中,模型逻辑208可执行生成表示图像内容的数据的任何处理任务,并且评分逻辑222可使用由模型逻辑208生成的数据来生成用于图像的分数。例如,在其中评估逻辑216使用等式1的评分度量来生成用于图像的分数的实施例中,模型逻辑208可处理图像以生成图像(模型)的色调值的直方图,并且评分逻辑可通过对直方图应用等式1的评分度量来生成用于图像的分数。
模型逻辑208可以用任何适当的维数生成图像的模型,并且可在关于场景中的对象和被用来捕捉场景的ICD104的模型中包括任何适当水平的细节。在某些实施例中,模型可以是二维、三维或四维的。例如,如果图像是不具有空间深度信息的视频流,则模型逻辑208可生成具有两个空间维度和一个时间维度的三维模型。如果图像是由深度照相机捕捉的静止图像,则模型逻辑208可生成具有三个空间维度的三维模型。即使在其中图像不包括深度信息的实施例中,ICD104也可具有变焦能力,因此由模型逻辑208生成的模型可包括第三空间(深度)维度以虑及变焦能力;替换地,模型逻辑208可将变焦能力视为ICD104的设置,并且因此在模型中可不包括第三空间维度。模型的维度可基于许多因素,诸如从由接收机逻辑206接收到的图像可分辨的空间和/或时间维度的数目和可用于评估模型的处理资源(其中,更多维度要求更多资源以在适当的时间量中执行本文所述的图像捕捉反馈技术)。
模型逻辑208可从图像生成许多不同种类的信息中的任何一个。例如,模型逻辑208可生成图像的一个或多个区域。区域可与图像中的特定深度范围相关联,并且可包括落在或近似落在该深度范围内的所捕捉场景中的对象。在某些实施例中,图像可由深度照相机捕捉,并且可通过将图像分段成对应于不同深度的区来生成一个或多个区。例如,图4描绘了由用于图像300(图3)的模型逻辑208生成的四个区402、404、406和408。每个区与场景316中的一个或多个对象相关联。在图4中,区402包括人302,区404包括礼品304(位于图像中的比人302更大的深度处),区406包括树306(位于图像中的比礼品304更大的深度处),并且区408包括房间308(位于图像中的比树306更大的深度处)。区域可以以许多方式中的任何一个与位置相关联,该方式包括使用例如区域的中心或区域的边界。
在某些实施例中,由模型逻辑208生成的模型可包括图像的一个或多个特征。如本文所使用的图像的“特征”可包括图像的任何相干点、面积或者点或面积的集合,并且可与图像中的一个或多个相应位置相关联。特别地,特征可对应于由图像捕捉的场景中的对象,并且可与相应对象的位置相关联。可使用被键入到图像的坐标系(例如,原点在图像的一个拐角处并以像素来测量距离)和/或某个其它坐标和/或距离系(例如,原点位于场景中的一点处并在场景内以米来测量距离)来表示特征的位置。模型逻辑208可生成模型中的许多不同特征中的任何一个。在某些实施例中,可将特征包括在特定区域或其它特征中,或者与之相关联。此类实施例在图5中示出,图5描绘了由模型逻辑208针对图4的区域402、404、406和408(为了方便起见,在图5的左手边再现)中的每一个生成的附加特征。现在参考图5来讨论特征的许多实施例。
在某些实施例中,模型逻辑208可生成与图像中的特定面积相关联的质量中心特征。质量中心特征可指示面积(诸如区域)的质量中心的位置。在由像素构成的数字图像中,可将关联面积中的每个像素视为具有相等的“质量”或者可对像素加权(例如,用红色、绿色、蓝色或通道的组合的像素的强度)。在某些实施例中,可使用图像矩来计算用于区域的质量中心位置。在某些实施例中,可根据下式来计算图像的面积的质量中心{x,y}:
其中
并且l(x,y)是(x,y)位置处的像素的强度值(如果像素在该区域中,则强度等于1,并且如果其不在该区域中则等于0)。如果该区域是简单几何形式(例如,界定图像中的人脸的矩形),则可以使用已知几何关系来对区域的质量中心进行定位。
在某些实施例中,可用图像中的单个位置(例如,质量中心的位置)或用图像中的面积来表示质量中心特征。例如,质量中心特征可以以质量中心位置为中心,并且可占用图像的一部分,其尺寸与面积的“质量”成比例(例如,与面积中的像素的加权或未加权数目成比例)。在图5中,图示出质量中心特征508、510、512和514,其分别地对应于区域402、404、406和408。图5中所示的质量中心特征被示为具有与关联区域中的像素数目成比例的半径,但是其它实施例可将质量中心特征与仅质量中心的位置相关联。
在某些实施例中,模型逻辑208可生成表示在图像中捕捉的场景中的对象的一个或多个对象特征。模型逻辑208可被配置成识别各种类型的对象,并在识别到对象时生成相应对象特征。可使用诸如级联特征分类之类的任何适当机器学习技术来识别图像中的对象。可被模型逻辑208识别的对象包括例如人脸、身体(例如,躯干、手臂、大腿、手)、车辆、动物、树木和植物。当模型逻辑208识别到对象时,模型逻辑208可在图像中的相应位置处(例如,在所识别对象的质量中心或任何其它表示点或面积处)生成用于该对象的对象特征。图5图示出由模型逻辑208生成的头特征504(对应于区域402中的人302的头314)和三个身体特征506(对应于区域402中的人302的身体)。因此,可将一个或多个不同类型的特征与区域相关联。例如,质量中心特征508及对象特征504和506可形成与区域402相关联的特征集502。为了方便起见,可将特征集502简单地称为特征502。在某些实施例中,可用一个或多个特征点在模型中表示在本文中讨论的任何特征,所述一个或多个特征点可跨特征分布和/或标记特征的边界或兴趣点。
在某些实施例中,用户可使用输入设备210来指示图像中的特征的存在、位置和/或类型。例如,用户可使用包括在输入设备210中的触摸屏来描绘图像中的对象的轮廓或指向该对象,并且模型逻辑208可通过创建与用户输入相关联的特征进行响应。
图6图示出由名逻辑208生成的图3的图像300的示例性三维模型600。特别地,模型逻辑208可在具有x轴604、y轴606以及z轴608的三维坐标系602中定义模型600。可将模型600的特征(例如,特征和特征集502、510、512和514)与图像300中的不同深度相关联,该深度可在模型600中反映为不同的z坐标。在本文中可使用术语“场景特征”,并且其可包括与所捕捉场景中的对象相关联的模型中的特征。在图6中,用附图标记620来标记与模型600相关联的所有场景特征的集合。
模型逻辑208可向不同的场景特征分配不同的权值。这些不同的权值可影响当由评分逻辑222生成用于图像的分数时如何处理特征。在某些实施例中,更大视觉兴趣的特征(例如,人脸、占用大部分所捕捉场景的对象、最接近于ICD104的对象)可被分配相对较高的权值,并且因此这些特征的审美方面与较少视觉兴趣的特征相比(例如,当计算加权平均时)对图像的分数具有更强的影响。模型逻辑208还可根据正在评估的审美准则(例如,局部背景显著度、色彩互补性或下面所讨论的其它审美准则中的任何一个)而向各种场景特征分配不同的权值。在某些实施例中,用户可指示(例如,经由上文参考用户指示特征所讨论的触摸屏)特定特征是“喜爱”或“焦点”特征且该特征可被给定高权值。可使用权值来以线性或非线性组合或者以任何其它适当方式调整作为系数的来自关联特征的贡献。
模型可包括不表示在图像中捕捉的场景中的特定对象而是表示涉及在图像中捕捉的场景的其它元素的场景特征。例如,在某些实施例中,可将模型逻辑208配置成生成一个或多个光源特征并在模型中包括该光源特征。该光源特征可表示光撞击在所捕捉场景中的对象上的方式,并且可具有关联位置及其它性质(例如,暖度或扩散性)。模型逻辑208可特别地通过识别图像中的阴影的角并识别具有最大或最小对比度的图像部分来估计光源特征的位置及其它性质。图6图示出位于作为模型600的一部分的三维坐标系602内的光源特征612。光源特征的附加性质可包括日间时和天气(其可表示总体照明条件)。
模型可包括表示ICD104的特征,在本文中称为ICD特征。ICD特征可表示相对于所捕捉场景的ICD104的许多性质中的任何一个,诸如位置(例如,x、y和/或z坐标)、取向(例如,围绕图像捕捉的轴或ICD104的任何其它轴的旋转)以及ICD设置(例如,变焦、光圈、快门速度、ISO/胶片速度、闪光、场深、用于视频的帧速率、分辨率、高动态范围(HID)设置(例如,与多次曝光有关)等)。模型逻辑208可在具有与ICD104的那些相对应的性质的模型中包括ICD特征。在某些实施例中,ICD104的性质可至少部分地由包括在输入设备210中的传感器(诸如GPS或加速度计传感器)提供或者被存储在包含ICD104的设置的存储器(例如,存储设备226)中。图6图示出位于作为模型600的一部分的三维坐标系602内的ICD特征614。ICD特征614可具有位置(在坐标系602中)、取向以及一个或多个附加设置,使得具有与ICD特征614相同性质的ICD将捕捉到图像300。
在某些实施例中,由模型逻辑208生成的模型可尝试是所捕捉场景和ICD104中的对象的尽可能完整的表示。例如,模型逻辑208可生成重新创建场景中的所有对象的所捕捉场景的三维模型。在其它实施例中,由模型逻辑208产生的模型可采取场景的各种抽象的形式。例如,模型可包括用于一个或多个特征的球体、圆形、矩形、平面或其它二维或三维形状作为对场景中的相应对象的实际形状(例如,用于头部特征的球体)的近似。通过生成由图像捕捉的场景的模型,模型逻辑208可与评分逻辑222和推荐逻辑238相结合地工作以确定ICD104的设置及其它性质的变化(用ICE特征在模型中表示)或场景中的对象的位置或其它性质的变化(例如,在模型中用场景特征表示)可如何改变所捕捉图像,并从而生成用于为了改善图像可采取的动作的推荐。
为了确定哪个动作将改善图像,评估逻辑216可生成用于图像的分数。该分数可根据一个或多个审美准则而指示图像的审美值。特别地,评估逻辑216可包括评分逻辑222,其可被配置成对模型应用评分度量以生成用于图像的分数。在某些实施例中,评分逻辑222可使用许多不同的细评分度量(每个对应于特定审美准则)来评估模型,然后将这些不同的细评分度量聚合在最终评分度量中。现在相对于可包括在评分逻辑222中的各种组件来讨论许多此类不同的细评分度量,并参考图3的示例性图像300来举例说明。
在某些实施例中,评分逻辑222可包括显著度逻辑230。显著度逻辑230可被配置成生成图像的各种部分的显著度。一般地,图像的一部分的显著度可表示图像的该部分将引起人类观看者的注意的可能性。图像的最显著部分可以是具有例如异常强度、色彩和/或取向的那些。显著度逻辑230可实现用于生成用于图像中的一个或多个位置的显著度值的许多已知技术中的任何一个,诸如由Koch等人在于2012年5月3日公开并通过引用结合到本文中的美国专利申请公开号2012/0106850中描述的那些。特别地,显著度逻辑230可生成显著度映射表salience(k),其返回用于图像中的每个位置k的显著度值。
显著度逻辑230可被配置成用许多方式中的任何一个来进一步处理显著度值。在某些实施例中,显著度逻辑可被配置成生成用于由模型逻辑208生成的每个特征的局部背景显著度。如本文所使用的术语“背景”可指代除特定特征之外的图像部分,无论那些部分是否表示比对应于特定特征的对象更加远离ICD104的对象。用于特征的局部背景显著度可以是在该特征的局部但不包括该特征的图像的一部分的显著度的最大、平均或其它表示。可将此部分称为局部背景面积。局部背景显著度可与图像的审美质量有关,因为常常期望针对并不转移注意力的背景构成感兴趣对象(例如,人脸)。如果特征在图像的显著部分附近,则该特征可能在视觉上不那么清楚,并且因此设法强调该特征的图像可具有相对低的质量。因此,用于特定特征的低局部背景显著度可指示更好的审美质量。
在某些实施例中,特征的局部背景面积可包括到特征的不同深度处的图像的一部分。例如,图7图示出根据各种实施例的可被显著度逻辑230用来执行局部背景显著度分析的图像300的区域和面积。在图7的左侧,分别地针对质量中心特征508、510、512和514图示出背景面积702、704、706和708。在图7的实施例中,背景面积702、704、706和708分别地对应于区域402、404、406和408的补充。在某些实施例中,显著度逻辑230可使用整个背景面积作为局部背景面积,确定整个局部背景面积的显著度,并将此显著度聚合以确定局部背景显著度。
在某些实施例中,特征的局部背景面积可包括在特征的半径内的图像的一部分。该半径可根据例如特征的尺寸或类型而改变。例如,图7的右侧图示出背景面积702、704、706和708以及质量中心特征508、510、512和514以供参考。在某些实施例中,与质量中心特征508、510、512和514中的每一个相关联的局部背景面积可以分别地是分别地在质量中心特征508、510、512和514的特定半径内的背景面积702、704、706和708的部分。用于区域508、510、512和514中的每一个的局部背景面积分别地图示为712、714、716和718。
显著度逻辑230可以用任何适当方式生成局部背景显著度。例如,可使用用于确定图像的一部分的可压缩性的已知技术来计算局部背景显著度。在另一示例中,针对图像的模型中的每个特征i,显著度逻辑230可根据下式生成局部背景显著度background_salience(i):
其中salience(k)是位置k处的显著度值,LBA(i)是特征i的局部背景面积。显著度逻辑230可将用于每个特征的局部背景显著度聚合成显著度子分数。在某些实施例中,可根据下式来生成显著度子分数:
其中,N是模型中的特征的总数。在某些实施例中,由评分逻辑222针对图像生成的分数可至少部分地基于由显著度逻辑230生成的至少一个局部背景显著度。例如,由评分逻辑222针对图像生成的分数可基于用于多个特征的聚合局部背景显著度。
在某些实施例中,评分逻辑222可包括色彩互补性逻辑232。色彩互补性逻辑232可被配置成执行每个特征的局部面积(由模型逻辑208生成)与每个特征的局部背景面积之间的色彩互补性分析。色彩互补分析可指示特定特征(例如,图像300的衬衫310)的色彩类似于或不同于在特定特征的背景附近或其中的对象的色彩。更大的相异性可使得特定特征在视觉上更加清楚,从而指示更好的审美质量。
在某些实施例中,当特定特征与区域相关联时,色彩互补性逻辑232所使用的局部面积可以是该区域。在某些实施例中,特定特征的局部背景面积可以是并不对应于特定特征(例如,特定特征的补充)或者并不对应于包括特定特征的区域的图像的所有部分。模型逻辑208可被配置成生成用于每个特征的局部背景面积以供色彩互补性逻辑232使用。在某些实施例中,特征的局部背景面积可以是图像中的特征的补充。在某些实施例中,特定特征的局部背景面积可以是特定特征与之相关联的区域的补充(例如,如上文参考显著度逻辑230所讨论的)。在某些实施例中,可以与上文参考显著度逻辑230所讨论的局部背景面积相同的方式来定义用于特征的局部背景。
例如,图8图示出根据各种实施例的可被图像捕捉反馈系统200用来执行色彩互补性分析的图像300的区域和面积。在图8的左侧,分别地连同关联质量中心特征508、510、512和514一起图示出区域402、404、406和408。在某些实施例中,色彩互补性逻辑232可出于色彩互补性目的使用整个关联区域作为局部面积。在某些实施例中,与质量中心特征508、510、512和514中的每一个相关联的局部面积可以分别地是分别地在质量中心特征508、510、512和514的特定半径内的关联区域402、404、406和408的部分。用于质量中心特征508、510、512和514中的每一个的局部面积分别地示为802、804、806和808。在图8的右侧,图示出质量中心特征508、510、512和514中的每一个的背景面积702、704、706和708(如上文参考图7所讨论的)。在某些实施例中,色彩互补性逻辑232可出于色彩互补性目的使用整个关联背景面积作为局部背景面积。在某些实施例中,与质量中心特征508、510、512和514中的每一个相关联的局部背景面积可以分别地是分别地在质量中心特征508、510、512和514的特定半径内的关联背景702、704、706和708的部分。用于质量中心特征508、510、512和514中的每一个的局部背景面积分别地示为812、814、816和818。色彩互补性逻辑232可以用任何适当方式执行色彩互补性分析。例如,在某些实施例中,针对图像的模型中的每个特征i,色彩互补性逻辑223可根据下式生成色彩互补性值colorcomp(i):
其中,background(i)是对应于特征i的局部背景面积的图像部分,hist(image,j)是处于色调值j的图像的直方图的值,localarea(i)是对应于出于色彩互补性目的与特征i相关联的局部面积的图像部分,并且C是直方图中的色调值的总数。色彩互补性逻辑232可将用于每个特征的色彩互补性聚合成色彩互补性子分数。在某些实施例中,可根据下式生成色彩互补性子分数:
其中,N是模型中的特征的总数。在某些实施例中,由评分逻辑222针对图像生成的分数可至少部分地基于由色彩互补性逻辑232生成的至少一个色彩互补性。例如,由评分逻辑222针对图像生成的分数可基于用于多个特征的聚合色彩互补性。
在某些实施例中,评分逻辑222可包括组成逻辑234。组成逻辑234可被配置成将图像与一个或多个组成模板相比较。组合模板可被存储在存储设备226或组成逻辑234可访问的另一存储设备中。组成模板可表示可针对其比较对象在图像场景中的实际布置或分布的预定布置或分布。组成逻辑234可将组成模板与图像相比较(例如,经由某些或全部模型),并确定图像中的场景特征的布置与期望布置或分布有多好地对准。例如,缩略图的众所周知的组成规则被称为“三分规则”。三分规则体现人的视觉注意力趋向于被吸引到图像的黄金比例划分且摄影师因此应将场景中的重要对象与这些黄金比例点和线对准的认知理论。因此,组成模板可通过奖励其中对象在场景中与这些黄金比例点和线对准的图像来反映此规则。
在某些实施例中,组成模板可具有与图像相同的维度,或者可以是可缩放的,以与图像的尺寸匹配,并且可根据预定审美准则来指示用于图像的特征的期望位置。在某些实施例中,例如,组成模板可将区间[0,1]中的模板值与图像中的每个像素相关联。可用关联模板值来缩放对应于图像模型中的场景特征的像素。以这种方式,与其中模板值高(例如,接近于1)的面积中的场景特征相对应的像素将比与其中模板值低(例如,接近于0)的面积中的特征相对应的像素更少地衰减。将缩放像素值求和或者另外聚合可反映模型中的特征(例如,场景特征)有多好地与具有高值的模板的面积对准。
例如,图9描绘了根据各种实施例的图像捕捉反馈系统200可针对其比较图像的各种组成模板902-946。组成模板902-946的白色部分可指示高模板值(例如,接近于1的模板值),而组成模板902-946的黑色部分可指示低模板值(例如,接近于0的模板)。如上文所讨论的,用于特定像素的模板值可表示可应用于图像模型中的相应像素以确定图像模型中的场景特征有多好地与组成模板所表示的“期望”组成对准的权值。图10图示出模型600的场景特征620(图6,为了方便起见在图10的顶部处以二维再现)与组成模板926、932和942(在图10的左侧再现)之间的比较。如在图10的右侧的比较1002、1004和1006所示,场景特征620可与组成模板926和932的白色区域对准不良,但是可更好地与组成模板942的白色区域对准。
在某些实施例中,组成逻辑234可识别与图像最相似的组成模板。由评分逻辑222针对图像生成的分数然后可至少部分地基于图像与被识别为与图像最相似的组成模板之间的比较。在某些实施例中,用户可选择组成模板,并且由评分逻辑222针对图像生成的分数可至少部分地基于图像与用户选择组成模板之间的比较。在某些实施例中,用户可具有选择期望组成模板(例如,针对更加高级的用户)的选项,或者可允许图像捕捉反馈系统200自动地评估一个或多个组成模板。
组成逻辑234可以用任何适当方式将图像与一个或多个组成模板相比较。例如,在某些实施例中,组成逻辑234可根据下式来计算组成子分数composition_subscore(image):
其中,template(i,j)在区间[0,1]中并表示像素j处的组成模板i的值,featurepix(j)是二进制函数,其如果图像中的像素j对应于模型中的特征则具有1的值,并且否则为0,sum(template(i,:))是模板i的所有模板值的和,P是图像中的像素的总数,并且Q是组成模板的总数。以这种方式,组成逻辑234可识别将等式8中的和最大化的组成模板,并且因此与图像中的特征最佳地对准,并且可基于图像与此“最佳”组成模板之间的对准生成组成子分数。由评分逻辑222针对图像生成的分数可至少部分地基于一个或多个组成模板与图像(例如,模型)(由组成逻辑234生成)之间的比较。
在某些实施例中,评分逻辑222可包括照明逻辑236。照明逻辑可被配置成根据一个或多个预定照明准则来评估图像中的照明条件的审美质量。在某些实施例中,图像中的照明条件可由模型逻辑208生成作为模型生成的一部分(例如,如上文参考光源特征、诸如图6的光源特征612所讨论的)。照明逻辑236可被配置成分析图像中的照明条件以估计捕捉到图像的日间时、所捕捉场景中的各种图像上的照明梯度或者涉及图像的审美质量的任何其它照明条件。例如,在某些实施例中,照明逻辑236可向其中在人脸上存在强的背面或前面照明角的图像分配低审美质量。
图11图示出由模型逻辑208生成的两个替换照明情形下的人302(来自图3的图像300)的图像。模型逻辑208可通过将模型600中的光源特征612的性质移动、重新定向或者另外改变或者通过添加例如一个或多个附加光源特征来生成人的这些说明性图像。在情形1102中,人302可位于ICD104与光源之间。在情形1104中,光源可位于人302和ICE104两者的侧面。通过使用所捕捉场景中的对象的模型,模型逻辑208可确定照明的改变对所捕捉场景中的对象被照亮的方式的影响。照明逻辑236然后可评估初始和/或已改变照明条件。
照明逻辑236可以用任何适当方式来评估图像中的照明条件。例如,在某些实施例中,照明逻辑236可根据下式来计算照明子分数lighting_subscore(image):
其中,lighting_condition(i,j)是用于相对于图像模型中的特定特征j的特定照明条件j的分数的值,LC是由照明逻辑236评估的照明条件的总数,并且N是模型中的特征的总数。并非模型中的所有特征都可以与照明条件有关,并且因此这些特征对照明子分数的贡献可以是零或者很小。下面用等式10-12给出用于生成用于特定照明条件的分数的三个不同技术的示例:
其中,opt_angle(i)是入射在特征i上的照明的最佳或期望角,
identified_angle(i)是图像中的特征i上的照明入射角(由模型逻辑208识别),opt_diffuse(i)是入射在特征i上的照明的最佳或期望扩散率,identified_diffuse(i)是入射在图像中的特征i上的光的扩散率(由模型逻辑208识别),opt_warmth(i)是入射在特征i上的照明的最佳或期望暖度,并且identified_warmth(i)是入射在图像中的特征i上的光的暖度(由模型逻辑208识别)。由评分逻辑222针对图像生成的分数可至少部分地基于由照明逻辑236生成的图像中的照明条件的评估。
可以用许多附加方式中的任何一个来评估照明条件。例如,如果场景中的对象的表面几何结构和材料性质是已知的,则照明逻辑236可使用关于ICD104与一个或多个光源之间的角的信息来估计镜面高光,并惩罚包括此类高光或者不期望类型或量的此类高光的图像。
如上所述,评分逻辑222可被配置成将一个或多个子分数聚合成总评分度量,并使用该总评分度量来生成用于图像的分数。可使用子分数的许多组合中的任何一个来生成用于图像的分数。例如,在某些实施例中,评分逻辑222可根据下式生成用于图像的分数:
其中,subscore(i)包括被聚合成等式13的评分度量的第i子分数(例如,本文所述的任何子分数),并且w(i)是与subscore(i)相关联的权值,该权值允许评分逻辑222在将子分数聚合成用于图像的分数时向各种子分数分配或多或少的重要性。
处理逻辑202可使用用于图像的分数来生成用于将改善图像的动作的推荐。特别地,处理逻辑202可包括推荐逻辑238。推荐逻辑238可与评估逻辑216耦合,并且可被配置成基于由评估逻辑216生成的针对图像的分数而生成用于动作的推荐。推荐逻辑238可生成推荐,使得如果ICD104在执行动作之后捕捉到第二图像,则由评估逻辑216针对第二图像生成的分数将好于由评估逻辑216针对图像生成的分数。换言之,基于被嵌入由评估逻辑216应用的评分度量中的审美准则,由推荐逻辑238生成的推荐是将提供比图像“更好”的图像的推荐。在以下讨论中,可将最初处理的图像称为“初始”图像以将图像与可在初始图像之后捕捉到的第二图像区别开(例如,基于来自推荐逻辑238的推荐)。可将初始图像的模型称为“初始”模型,并且可将初始模型的特征称为“初始”特征。
在某些实施例中,推荐逻辑238可包括候选逻辑212和动作逻辑214。候选逻辑212可被耦合到评估逻辑216,并且可被配置成生成目标模型,其具有比用于由评估逻辑216生成(例如,基于初始模型)的初始图像的分数更好的分数。在某些实施例中,候选逻辑212可通过在初始模型中将ICD特征(例如,位置、取向或设置)和/或任何场景特征(例如,对应于对象或光源的特征的位置)从其值进行调整并确定使用已调整性质捕捉的图像是否将具有比用于初始图像的分数更好的分数来生成此目标模型。这些已调整特征可称为“候选”特征,并且可一起形成“候选”模型。
候选逻辑212可包括可被候选逻辑212用来确定由候选场景特征的候选ICD特征捕捉的图像将看起来像什么的一个或多个物理和/或光学规则。此图像可称为“候选”图像。例如,候选逻辑212可将模型的候选场景特征投射到垂直于候选ICD特征的成像轴的平面(位于例如与候选ICD特征的场深有关的距离处的平面)上,并使用候选ICD特征的其它设置(例如,滤色器和光圈设置)适当地对该投影进行过滤以生成候选图像。候选逻辑212可被配置成将此候选图像提供给评估逻辑216,其可处理该候选图像并使用上文所述的技术生成用于候选图像的分数。评估逻辑可将此分数提供给候选逻辑212,其可确定候选图像是否具有比初始图像更高的分数,并且因此应使用候选模型来生成用于动作的推荐。推荐逻辑238可基于其生成推荐的候选模型可称为“目标”模型,并且与目标模型相关联的图像称为“目标”图像。
在某些实施例中,候选逻辑212(与评估逻辑216相结合)可执行优化技术,其设法通过允许场景和ICD104两者中的对象的调整来生成优化图像分数的目标模型。例如,候选逻辑212可根据下式来执行此优化:
如在等式14(和下面的等式15和16)中所指示的,候选逻辑212可被配置成识别服从物理约束的目标模型。例如,由于大多数用户可能小于七英尺高,所以要求ICD104位于地面之上八英尺的目标模型将是不可行的,并且因此不应考虑。可用此类附加约束来配置候选逻辑212,所述附加约束诸如用于用户接近于地面或者以不舒服的角度操作ICD104的有限能力、关于ICD104的设置的限制(例如,有限的焦距和快门速度)、关于场景中的对象的可移动性的限制(例如,建筑物或其它大型对象可能不容易移动)和/或关于在场景中包括附加对象或支撑元素的能力的限制(例如,附加照明源的不可用性),并且可在识别适当的目标模型时遵守此类约束。这些约束可被存储在存储设备226中,并且可由用户在图像捕捉反馈系统200的“高级”模式下明确地枚举或者例如在没有用户干预的情况下作为默认施加。
在某些实施例中,候选逻辑212(与评估逻辑216相结合)可执行优化技术,其设法通过允许仅ICD104的调整而不允许场景中的对象的调整来生成优化图像分数的目标模型。此类实施例在自然摄影背景(例如其中ICD104可容易地移动但场景中的对象可能不是)下可能是适当的。例如,候选逻辑212可根据下式来执行此优化:
在某些实施例中,候选逻辑212(与评估逻辑216相结合)可执行优化技术,其设法通过允许仅场景中的对象的调整而不允许ICD104的调整来生成优化图像分数的目标模型。此类实施例在肖像摄影室背景(其中ICD104是固定照相机且场景可被更容易地重新布置)下可能是适当的。例如,候选逻辑212可根据下式来执行此优化:
在某些实施例中,候选逻辑212可尝试生成具有候选场景和ICD特征的候选模型,其根据等式14、15和16中的任何一个实现在本文中讨论的任何评分度量的全局或局部最大值。满足任何期望最优性准则且推荐将基于的候选模型可称为“目标”模型,并且关联的候选图像可称为“目标”图像。在某些实施例中,目标模型不需要满足局部或全局最优性准则;替代地,目标模型可以是具有不同于初始模型的至少一个特征的任何模型,只要目标模型与好于初始模型的分数相关联即可。在某些实施例中,更好的分数可意指更高的分数。
候选逻辑212例如可将任何适当的数值或其它计算技术用于识别目标模型(例如,以实现等式14、15和16中的任何一个),诸如模拟退火、梯度下降或遗传算法等。在某些实施例中,候选逻辑212可通过扰乱初始模型的一个或多个特征来生成候选模型,评估相应候选图像以确定候选图像是否具有好于初始图像的分数,并且如果满足期望的最优性准则,则将候选模型识别为目标模型。
图12-13描绘了由图2的图像捕捉反馈系统生成的图3的场景316的说明性目标模型和相应目标图像。在目标模型1200中,ICD特征614相对于其在模型600中的位置已朝着y-z平面移动。
结果得到的目标图像1202(对应于目标模型1200)图示出图像1202中的对象302、304和306相对于其在图像300中的位置向右移动。目标图像1202相对于图像300可具有一个或多个改善的审美质量(例如,与组成模板更好对准)。
在目标模型1300中,ICD特征614已从y-z平面移开并相对于其在模型600中的位置朝着x-y平面移动。由于ICD特征614的位置的变化,结果得到的目标图像1302(对应于目标模型1300)图示出目标图像1302中的对象302、304和306被与其出现在图像300中不同地布置。目标图像1302可具有相对于图像300的一个或多个改善的审美质量(例如,更好的色彩互补性,如果衬衫310近似与树木306是相同色彩的话)。在其它实施例中,作为改变ICD特征614的性质的替代或除此之外,使场景符合目标模型可要求移动场景中的对象中的一个或多个。
一旦候选逻辑22识别到适当的目标模型,动作逻辑214(其可被耦合到候选逻辑212)可使用初始和目标模型之间的差异来生成用于动作的推荐。在某些实施例中,动作逻辑214可将目标ICD特征的性质与ICD特征的性质相比较,并且可使用性质之间的差异来生成动作推荐。特别地,推荐可指挥用户执行将使得ICD104的性质更接近于目标ICD特征的性质的动作。在某些实施例中,动作逻辑214可将一个或多个目标场景特征的性质与相应初始场景特征的性质相比较,并且可使用性质之间的差异来生成动作推荐。特别地,推荐可指挥用户或图像的受试者(subject)执行将使得场景中的对象的性质更接近于目标场景特征的性质的动作。
动作逻辑214可生成许多动作推荐中的任何一个或多个。例如,动作推荐可包括ICD调整。在某些实施例中,目标ICD特征和ICD特征可在水平、垂直和/或深度坐标方面不同;在此类实施例中,动作逻辑214可适当地生成用于“移动”或“变焦”动作的推荐。在某些实施例中,目标ICD特征和ICD特征可在取向方面不同;在此类实施例中,动作逻辑214可适当地生成用于“旋转”动作的推荐(例如,建议用户将ICD104定向于“肖像”取向而不是“风景”取向)。在某些实施例中,目标ICD特征和ICD特征可在一个或多个色彩设置方面不同;在此类实施例中,动作逻辑214可生成用于“滤色器”动作的推荐(例如,应用棕褐色或其它滤色器)。在某些实施例中,除ICD调整推荐(例如,指挥对象移动、受试者站立或坐下或者用于改变光源位置)之外或者作为其替代,由动作逻辑214生成的动作推荐可包括场景调整推荐。
图像捕捉反馈系统200可向用户或其它个体或设备指示推荐动作。特别地,处理逻辑202可包括指示符逻辑220。指示符逻辑220可被耦合到推荐逻辑238和输出设备218,并且可被配置成经由输出设备218向用户指示由推荐逻辑238生成的动作推荐。在某些实施例中,输出设备218可包括另一设备或设备接口,并且动作推荐将根据推荐动作来命令设备调整其性质。例如,输出设备218可包括光源接口,推荐动作可以是被耦合到光源接口的光源的移动,并且光源可在光源接口从指示符逻辑220接收到推荐并进行处理时执行推荐动作。
在某些实施例中,可将指示符逻辑220配置成向用户生成可听、可见、触觉或其它指示。例如,在某些实施例中,输出设备218可包括音频设备,并且指示符逻辑220可配置成在左或右扬声器中产生音调以指示用户应分别地将ICD104向左或向右移动。在某些实施例中,输出设备218例如可生成对应于推荐动作(诸如“向左移动”、“拉远”或“增加曝光”)的可听语音指令。
在某些实施例中,输出设备218可包括显示设备,并且指示符逻辑220可通过向用户提供视觉指示来指示动作。可使用任何适当的视觉指示符,诸如文本(例如,“将照相机转成肖像取向”、“拉远”、“将受试者向左移动”)、符号、图示或其它视觉指示符。图14-18描绘了下面讨论的可由指示符逻辑220产生以指示可执行以改善图像300的动作的各种视觉显示。这些显示可包括当前由ICD104观看(例如,通过取景器观看或在ICD104的数字显示器上显示的,在本文中称为“当前图像”)的图像,并且可对应于由处理逻辑202分析的初始图像。
在某些实施例中,指示符逻辑220可通过在如果要执行动作的话对象将占用的位置上在图像的显示器中显示对象的轮廓来指示动作。此类实施例在图14中示出,其中,指示符逻辑220提供显示1400,其指示人302应向其右侧移动,使得人302将与轮廓1402对准。
在某些实施例中,指示符逻辑220可通过在图像显示器中显示接近于对象的运动轨迹来指示动作,该运动轨迹指示朝向如果要执行动作的话对象将占用的位置的移动。此类实施例在图15中示出,其中,指示符逻辑220提供显示1500,其具有指示人302应向其右侧(在运动轨迹1502的方向上)移动的运动轨迹1502。
在某些实施例中,指示符逻辑220可通过在显示器的边缘处显示指示符来指示动作,该边缘被选择成与如果用户将执行动作的话用户将移动ICD104的方向相对应。此类实施例在图16中示出,其中,指示符逻辑220提供显示1600,其具有在显示1600的右侧的波纹效果1602,指示用户应将ICD104向右移动。在图17中示出另一此类实施例,其中,指示符逻辑220提供显示1700,其具有在显示1700的右侧的箭头1702,指示用户应将ICD104向右移动。
在某些实施例中,指示符逻辑可覆盖或者另外指示组成模板,用户应将其与图像中的特征对准以改善图像组成。在某些实施例中,此组成模板可动态地选择(例如,利用上文参考组成逻辑234所述的用于找到使组成子分数最大化的组成模板的技术)。该组成模板可提供为当前图像上的半透明覆盖,并且可随着要捕捉的场景改变而改变。此类实施例在图18中示出,其中,可在显示1800中的当前图像上显示指示组成模板946的白色部分的覆盖1802。如图18中所示,可在显示1800中将组成模板932的白色部分显示为较暗覆盖;在其它实施例中,可在显示1800中将组成模板的黑色部分显示为较暗覆盖。
在某些实施例中,可在当前图像的显示上提供各种其它覆盖。例如,在某些实施例中,该显示可在每个黄金比例点(对应于在图像上的3×3网格的交叉点,如图9的组成模板946的白色部分所指示的)处包括圆。可与当前图像中的显著特征与关联交叉点的重叠的量成比例地调整这些圆的尺寸。随着当前图像改变,这些圆的尺寸可随着特征移入和移出与这些黄金比例点的对准而增加或缩小。
图19描绘了包括静态和动态组成指导二者的显示1900。显示1900可包括网格1902,其在显示中保持固定。网格1902的交叉点可对应于用户可能希望与场景中的感兴趣对象对准的点。显示1900还可包括指示符1904,其可看起来是在三个维度上提供的,并且可由图像捕捉反馈系统200来动态地调整以向用户指示她应向前或向后走以调整图像捕捉帧内的场景的尺寸。显示1900还可包括指示符1906,其可被图像捕捉反馈系统200动态地调整以向用户指示她应向上、下、左和/或右移动ICD104以重新构成场景。
图20描绘了根据各种实施例的可由图像捕捉反馈系统200生成以指示当调整ICD104的性质时场景316可看起来如何的视觉显示2000。特别地,显示2000可包括当前图像2002和一个或多个替换图像2004,该替换图像2004可描绘ICD104的一个或多个性质改变(例如,ICD104移动至不同位置,或者调整设置)时的场景316。可在如所示的垂直条、在水平条或者以任何其它取向显示替换图像。替换图像可由评估逻辑216生成(例如,当生成并评估潜在目标图像时),并且可包括对应于具有比当前图像(其可以是由处理逻辑202处理的初始图像)更好的分数的目标模型的一个或多个目标图像。在某些实施例中,这些替换图像(例如,替换图像2004)可以可由用户选择;响应于用户选择,图像捕捉反馈系统200可推荐对应于所选图像的动作,使得如果用户在采取动作之后捕捉到附加图像,则该附加图像将类似于所选替换图像。图像捕捉反馈系统200可根据任何上文所述技术提供此推荐。在某些实施例中,可不基于在当前图像中捕捉的场景的模型而生成在显示2000中提供的替换图像,但是可从数据库(例如,在存储器设备226中)或者相似内容的图像或在相似地理位置上捕捉的图像的其它源(例如,在在线数据库中用“埃菲尔铁塔”标记的所有照片)获得。在显示200中包括这些图像作为替换图像可向用户提供灵感,该用户然后可在未接收到表达动作推荐的情况下执行其自己的动作以调整ICD104。
图21是根据各种实施例的用于图像捕捉反馈的说明性过程2100的流程图。过程2100的操作虽然为了举例说明的缘故而被示为在特定序列中执行,但可适当地并行地执行。
出于说明性目的,可将过程2100的操作描述为由如在计算系统100中体现的图像捕捉反馈系统200执行,但过程2100的操作(包括过程500的单独操作)可由任何适当配置的计算设备或计算设备的集合执行。可根据本文所述的系统100和200的任何实施例来执行过程21000的任何操作。
过程2100可在操作2102处开始,在该处,图像捕捉反馈系统200(例如,接收机逻辑206)可从ICD104接收图像。在操作2104处,图像捕捉反馈系统200(例如,评估逻辑216)可生成用于在操作2102处接收到的图像的分数。可根据本文所述的评分和/细评分技术的任何组合或任何适当的附加或替换评分技术来执行操作2104。在操作2106处,图像捕捉反馈系统200(例如,推荐逻辑238)可产生用于动作的推荐,使得如果图像捕捉设备在执行动作之后捕捉到第二图像,则用于第二图像的分数将好于用于图像的分数。可根据本文所述的动作推荐技术的任何组合或任何适当的附加或替换动作推荐技术执行操作2106。在操作2108处,图像捕捉反馈系统200(例如,指示符逻辑220)可经由输出设备218向用户指示动作。可根据本文所述的任何动作指示技术(例如,上文参考图14-19所讨论的那些)或任何适当的附加或替换动作指示技术来执行操作2108。过程可通过返回到操作2102并接收另一图像(例如,在接收到前一图像之后以预定间隔,或者响应于检测到用户运动或ICD104中的其它变化,或响应于用于进一步指导的用户请求)且将此新接收图像作为下一图像处理而继续。过程2100可重复,只要用户使用图像捕捉应用程序或者指示她希望图像捕捉反馈系统200提供指导即可。因此,在本公开的某些实施例中,图像捕捉反馈系统200可自动地评估由ICD104捕捉到的每个图像,并可为用户提供关于要采取以改善捕捉图像的动作的实时反馈。
下面列出了本公开的实施例的许多示例。
示例1是一种用于图像捕捉反馈的系统,包括:接收机逻辑,其用于从图像捕捉设备接收图像;评估逻辑,其被耦合到接收机逻辑,用于生成用于图像的分数;推荐逻辑,其被耦合到评估逻辑,用于生成用于动作的推荐,使得如果图像捕捉设备在执行动作之后捕捉到第二图像,则用于第二图像的分数将好于用于图像的分数;以及指示符逻辑,其被耦合到推荐逻辑和输出设备,以在输出设备上指示用于动作的推荐。
示例2可包括示例1的主题,并且可进一步指定评估逻辑还包括:模型逻辑,其被耦合到接收机逻辑,用于处理图像以生成表示图像的模型,该模型包括在图像中的多个位置处的多个特征;以及评分逻辑,其用于对模型应用评分度量以生成用于图像的分数。
示例3可包括示例2的主题,并且可进一步指定图像捕捉设备是深度照相机,并且多个位置处的所述多个特征包括位于图像中的不同深度处的特征。
示例4可包括示例3的主题,并且可进一步指定深度照相机包括异构照相机阵列。
示例5可包括示例3的主题,并且可进一步指定评估逻辑将生成用于每个特征的局部背景显著度,并且用于图像的分数至少部分地基于至少一个局部背景显著度。
示例6可包括示例3-5中的任一项的主题,并且可进一步指定评估逻辑将执行每个特征的局部面积与每个特征的局部背景面积之间的色彩互补性分析,并且用于图像的分数至少部分地基于至少一个色彩互补性。
示例7可包括示例2-6中的任一项的主题,并且可进一步指定所述多个特征包括在图像中识别的人脸或身体。
示例8可包括示例2-7中的任一项的主题,并且可进一步指定图像捕捉设备是深度照相机,并且所述多个特征包括在图像的多个深度处的区域的质量中心。
示例9可包括示例1-8中的任一项的主题,并且可进一步指定评估逻辑将把图像与一个或多个组成模板相比较,并且用于图像的分数至少部分地基于该比较。
示例10可包括示例9的主题,并且可进一步指定用于图像的分数至少部分地基于图像与跟图像最相似的组成模板之间的比较。
示例11可包括示例9-10中的任一项的主题,并且可进一步指定一个或多个组成模板包括用户选择的组成模板。
示例12可包括示例2-11中的任一项的主题,并且可进一步指定推荐逻辑包括:候选逻辑,其被耦合到评估逻辑,用于生成具有比用于图像的分数更好的分数的目标模型;以及动作逻辑,其被耦合到候选逻辑,用于基于模型与目标模型之间的差异来生成动作。
示例13可包括示例1-12中的任一项的主题,并且可进一步指定输出设备是显示设备,并且指示符逻辑将通过在如果执行动作的话对象将占用的位置上在图像的显示器中显示对象的轮廓来指示用于动作的推荐。
示例14可包括示例1-13中的任一项的主题,并且可进一步指定输出设备是显示设备,并且指示符逻辑将通过在图像显示器中显示接近于对象的运动轨迹来指示用于动作的推荐,该运动轨迹指示朝向如果执行动作的话对象将占用的位置的移动。
示例15可包括示例1-14中的任一项的主题,并且可进一步指定输出设备是显示设备,并且指示符逻辑将通过在显示器的边缘处显示指示符来指示用于动作的推荐,该边缘被选择成与如果执行动作的话图像捕捉设备将移动的方向相对应。
图16是一种用于由计算设备实现的图像捕捉反馈的方法,包括:从图像捕捉设备接收图像;生成用于图像的分数;生成用于动作的推荐,使得如果图像捕捉设备在执行动作之后捕捉到第二图像,则用于第二图像的分数将好于用于图像的分数;以及在输出设备上指示用于动作的推荐。
示例17可包括示例16的主题,并且可进一步指定生成用于图像的分数包括处理图像以生成表示图像的模型,该模型包括在图像中的多个位置处的多个特征,并对模型应用评分度量以生成用于图像的分数。
示例18可包括示例17的主题,并且可进一步指定图像捕捉设备是深度照相机,并且多个位置处的所述多个特征包括位于图像中的不同深度处的特征。
示例19可包括示例18的主题,并且可进一步指定深度照相机包括异构照相机阵列。
示例20可包括示例18的主题,并且可进一步指定生成用于图像的分数包括生成用于每个特征的局部背景显著度,并且用于图像的分数至少部分地基于至少一个局部背景显著度。
示例21可包括示例18的主题,并且可进一步指定生成用于图像的分数包括生成每个特征的局部面积与每个特征的局部背景面积之间的色彩互补性,并且用于图像的分数至少部分地基于至少一个色彩互补性。
示例22可包括示例17的主题,并且可进一步指定所述多个特征包括在图像中识别的人脸或身体。
示例23可包括示例17的主题,并且可进一步指定图像捕捉设备是深度照相机,并且所述多个特征包括在图像中的多个深度处的区域的质量中心。
示例24可包括示例16的主题,并且可进一步指定生成用于图像的分数包括将图像与一个或多个组成模板相比较,并且用于图像的分数至少部分地基于该比较。
示例25可包括示例24的主题,并且可进一步指定用于图像的分数至少部分地基于图像与跟图像最相似的组成模板之间的比较。
示例26可包括示例24的主题,并且可进一步指定一个或多个组成模板包括用户选择的组成模板。
示例27可包括示例17的主题,并且可进一步指定生成用于动作的推荐包括:识别具有比用于图像的分数更好的分数的目标模型;识别模型与目标模型之间的差异;以及基于模型与目标模型之间的所识别差异来生成动作。
示例28可包括示例16的主题,并且可进一步指定输出设备是显示设备,并且指示用于动作的推荐包括在如果执行动作的话对象将占用的位置上在图像的显示器中显示对象的轮廓。
示例29可包括示例16的主题,并且可进一步指定输出设备是显示设备,并且指示用于动作的推荐包括在图像显示器中显示接近于对象的运动轨迹,该运动轨迹指示朝向如果执行动作的话对象将占用的位置的移动。
示例30可包括示例16的主题,并且可进一步指定输出设备是显示设备,并且指示动作包括在显示器的边缘处显示指示符,该边缘被选择成与如果执行动作的话图像捕捉设备将移动的方向相对应。
示例31是在其上面具有指令的一个或多个计算机可读介质,所述指令在被计算设备的一个或多个处理设备执行时促使计算设备执行示例16-30中的任一项的方法。
示例32是包括一个或多个处理设备和在其上面具有指令的一个或多个计算机可读介质的系统,所述指令在被一个或多个处理设备执行时促使装置执行示例16-30中的任一项的方法。
示例33是一种用于图像捕捉反馈的系统,包括:用于从图像捕捉设备接收图像的部件;用于生成用于图像的分数的部件;用于生成用于动作的推荐部件,使得如果图像捕捉设备在执行动作之后捕捉到第二图像,则用于第二图像的分数将好于用于图像的分数;以及用于在输出设备上指示用于动作的推荐的部件。
示例34可包括示例33的主题,并且可进一步指定用于生成用于图像的分数的部件包括:用于处理图像以生成表示图像的模型的部件,该模型包括在图像中的多个位置处的多个特征;以及用于对模型应用评分度量以生成用于图像的分数的部件。
示例35是一种用于图像捕捉反馈的系统,包括用于执行示例16-30中的任一项的方法的部件。
虽然在本文中已图示出并描述了某些实施例,但本领域的技术人员将认识到的是,在不脱离范围的情况下可以用被计算以实现相同目的的多种多样的替换和/或等价实施例或实施方式来代替示出并描述的实施例。本领域的技术人员将很容易认识到可用非常多种多样的方式来实现实施例。本申请意图涵盖在本文中讨论的实施例的任何修改或变化。

Claims (25)

1.一种用于图像捕捉反馈的系统,包括:
接收机逻辑,其用于从图像捕捉设备接收图像;
评估逻辑,其被耦合到接收机逻辑,用于生成用于图像的分数;
推荐逻辑,其被耦合到评估逻辑,用于生成用于动作的推荐,使得如果图像捕捉设备在执行动作之后捕捉到第二图像,则用于第二图像的分数将好于用于图像的分数;以及
指示符逻辑,其被耦合到推荐逻辑和输出设备,以在输出设备上指示用于动作的推荐。
2.权利要求1的系统,其中,所述评估逻辑还包括:
模型逻辑,其被耦合到接收机逻辑,用于处理图像以生成表示图像的模型,该模型包括在图像中的多个位置处的多个特征;以及
评分逻辑,其用于对模型应用评分度量以生成用于图像的分数。
3.权利要求2的系统,其中,所述图像捕捉设备是深度照相机,并且其中,多个位置处的所述多个特征包括位于图像中的不同深度处的特征。
4.权利要求3的系统,其中,所述深度照相机包括异构照相机阵列。
5.权利要求3的系统,其中,所述评估逻辑将生成用于每个特征的局部背景显著度,并且其中,用于图像的分数至少部分地基于至少一个局部背景显著度。
6.权利要求3的系统,其中,所述评估逻辑将执行每个特征的局部面积与每个特征的局部背景面积之间的色彩互补性分析,并且其中,用于图像的分数至少部分地基于至少一个色彩互补性。
7.权利要求3的系统,其中,所述多个特征包括在图像中识别的人脸或身体。
8.权利要求3的系统,其中,所述图像捕捉设备是深度照相机,并且其中,所述多个特征包括在图像中的多个深度处的区域的质量中心。
9.权利要求3的系统,其中,所述评估逻辑将把图像与一个或多个组成模板相比较,并且其中,用于图像的分数至少部分地基于该比较。
10.权利要求9的系统,其中,用于图像的分数至少部分地基于图像与跟图像最相似的组成模板之间的比较。
11.权利要求9的系统,其中,所述一个或多个组成模板包括用户选择的组成模板。
12.权利要求2的系统,其中,所述推荐逻辑包括:
候选逻辑,其被耦合到评估逻辑,用于生成具有比用于图像的分数更好的分数的目标模型;以及
动作逻辑,其被耦合到候选逻辑,用于基于模型与目标模型之间的差异来生成动作。
13.权利要求1-12中的任一项的系统,其中,所述输出设备是显示设备,并且其中,指示符逻辑将通过在如果执行动作的话对象将占用的位置上在图像的显示器中显示对象的轮廓来指示用于动作的推荐。
14.权利要求1-12中的任一项的系统,其中,所述输出设备是显示设备,并且其中,指示符逻辑将通过在图像显示器中显示接近于对象的运动轨迹来指示用于动作的推荐,该运动轨迹指示朝向如果执行动作的话对象将占用的位置的移动。
15.权利要求1-12中的任一项的系统,其中,所述输出设备是显示设备,并且其中,指示符逻辑将通过在显示器的边缘处显示指示符来指示用于动作的推荐,该边缘被选择成与如果执行动作的话图像捕捉设备将移动的方向相对应。
16.一种用于由计算设备实现的图像捕捉反馈的方法,包括:
从图像捕捉设备接收图像;
生成用于图像的分数;
生成用于动作的推荐,使得如果图像捕捉设备在执行动作之后捕捉到第二图像,则用于第二图像的分数将好于用于图像的分数;以及
在输出设备上指示用于动作的推荐。
17.权利要求16的方法,其中,生成用于图像的分数包括:
处理图像以生成表示图像的模型,该模型包括在图像中的多个位置处的多个特征;以及
对模型应用评分度量以生成用于图像的分数。
18.权利要求17的方法,其中,生成用于动作的推荐包括:
识别具有比用于图像的分数更好的分数的目标模型;
识别模型与目标模型之间的差异;以及
基于模型与目标模型之间的所识别差异来生成用于动作的推荐。
19.权利要求16的方法,其中,所述输出设备是显示设备,并且指示用于动作的推荐包括:
在如果执行动作的话对象将占用的位置上在图像的显示器中显示对象的轮廓。
20.权利要求16的方法,其中,所述输出设备是显示设备,并且指示用于动作的推荐包括:
在图像显示器中显示接近于对象的运动轨迹,该运动轨迹指示朝向如果执行动作的话对象将占用的位置的移动。
21.权利要求16的方法,其中,所述输出设备是显示设备,并且指示用于动作的推荐包括:
在显示器的边缘处显示指示符,该边缘被选择成对应于如果执行动作的话图像捕捉设备将移动的方向。
22.在其上面具有指令的一个或多个计算机可读介质,
在指令被计算设备的一个或多个处理设备执行时促使计算设备执行权利要求16-21中的任一项的方法。
23.一种用于图像捕捉反馈的系统,包括:
用于从图像捕捉设备接收图像的部件;
用于生成用于图像的分数的部件;
用于生成用于动作的推荐的部件,使得如果图像捕捉设备在执行动作之后捕捉到第二图像,则用于第二图像的分数将好于用于图像的分数;以及
用于在输出设备上指示用于动作的推荐的部件。
24.权利要求23的系统,其中,用于生成用于图像的分数的部件包括:
用于处理图像以生成表示图像的模型的部件,该模型包括在图像中的多个位置处的多个特征;以及
用于对模型应用评分度量以生成用于图像的分数的部件。
25.权利要求24的系统,其中,所述图像捕捉设备是深度照相机,并且其中,多个位置处的所述多个特征包括位于图像中的不同深度处的特征。
CN201380079945.0A 2013-10-30 2013-10-30 图像捕捉反馈 Active CN105580051B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2013/067548 WO2015065386A1 (en) 2013-10-30 2013-10-30 Image capture feedback

Publications (2)

Publication Number Publication Date
CN105580051A true CN105580051A (zh) 2016-05-11
CN105580051B CN105580051B (zh) 2019-05-14

Family

ID=53004801

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380079945.0A Active CN105580051B (zh) 2013-10-30 2013-10-30 图像捕捉反馈

Country Status (5)

Country Link
US (1) US9262696B2 (zh)
EP (1) EP3063733A4 (zh)
JP (1) JP6250819B2 (zh)
CN (1) CN105580051B (zh)
WO (1) WO2015065386A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111639557A (zh) * 2020-05-15 2020-09-08 圣点世纪科技股份有限公司 一种指静脉图像智能注册反馈方法
CN112272945A (zh) * 2018-06-11 2021-01-26 松下知识产权经营株式会社 摄像控制装置、摄像控制方法以及程序

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015026874A1 (en) * 2013-08-19 2015-02-26 Nant Holdings Ip, Llc Metric based recognition, systems and methods
US9552374B2 (en) * 2013-08-19 2017-01-24 Kodak Alaris, Inc. Imaging workflow using facial and non-facial features
US10073863B2 (en) * 2013-12-03 2018-09-11 Futurewei Technologies, Inc. Photographic picture quality improvement recommendation system using objects
US9667860B2 (en) * 2014-02-13 2017-05-30 Google Inc. Photo composition and position guidance in a camera or augmented reality system
WO2015134939A2 (en) * 2014-03-07 2015-09-11 North Main Group, Inc. Providing a frame of reference for images
TWI543117B (zh) * 2014-06-18 2016-07-21 台達電子工業股份有限公司 物件辨識與定位方法
US10134064B2 (en) * 2014-06-27 2018-11-20 Ledvance Llc Lighting audit and LED lamp retrofit
CN104967790B (zh) * 2014-08-06 2018-09-11 腾讯科技(北京)有限公司 照片拍摄方法、装置及移动终端
US20160050372A1 (en) * 2014-08-15 2016-02-18 Qualcomm Incorporated Systems and methods for depth enhanced and content aware video stabilization
US9948920B2 (en) 2015-02-27 2018-04-17 Qualcomm Incorporated Systems and methods for error correction in structured light
US10068338B2 (en) 2015-03-12 2018-09-04 Qualcomm Incorporated Active sensing spatial resolution improvement through multiple receivers and code reuse
US9706111B2 (en) * 2015-07-08 2017-07-11 Santa Clara No-reference image and video quality evaluation
US9635339B2 (en) 2015-08-14 2017-04-25 Qualcomm Incorporated Memory-efficient coded light error correction
US9846943B2 (en) 2015-08-31 2017-12-19 Qualcomm Incorporated Code domain power control for structured light
TWI640199B (zh) * 2016-06-24 2018-11-01 聚晶半導體股份有限公司 影像擷取裝置及其攝影構圖的方法
CN106384071A (zh) * 2016-09-28 2017-02-08 乐视控股(北京)有限公司 一种二维码扫描识别处理方法及装置
US10623723B2 (en) * 2016-09-29 2020-04-14 Intel Corporation Hybrid stereo rendering for depth extension in dynamic light field displays
US10565780B2 (en) * 2016-11-28 2020-02-18 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
US10110868B2 (en) 2016-12-22 2018-10-23 Aestatix LLC Image processing to determine center of balance in a digital image
US10298837B2 (en) * 2016-12-28 2019-05-21 Facebook, Inc. Systems and methods for presenting content based on unstructured visual data
WO2018142771A1 (ja) * 2017-01-31 2018-08-09 ソニー株式会社 制御装置、制御方法及び照明システム
US20180263519A1 (en) * 2017-03-16 2018-09-20 Pixart Imaging Inc. Heart rate detecting module and method
US10810773B2 (en) * 2017-06-14 2020-10-20 Dell Products, L.P. Headset display control based upon a user's pupil state
US10574876B2 (en) * 2017-10-17 2020-02-25 Motorola Mobility Llc Photography environment control
US20190124313A1 (en) 2017-10-19 2019-04-25 Intel Corporation Three dimensional glasses free light field display using eye location
KR102438201B1 (ko) * 2017-12-01 2022-08-30 삼성전자주식회사 사진 촬영과 관련된 추천 정보를 제공하는 방법 및 시스템
FI127990B (en) * 2018-06-01 2019-07-15 Crf Box Oy Digitization of handwritten signatures
US10848664B2 (en) 2018-07-26 2020-11-24 Sony Corporation Image capture device and method for image score-based video quality enhancement
US20210097731A1 (en) * 2019-09-26 2021-04-01 Apple Inc. Presenting environment based on physical dimension
US20230421888A1 (en) * 2020-11-16 2023-12-28 Google Llc Systems, Apparatus, and Methods for Improving Composition of Images

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101179659A (zh) * 2006-11-07 2008-05-14 富士胶片株式会社 用于拍摄的装置、方法和程序
US20090162042A1 (en) * 2007-12-24 2009-06-25 Microsoft Corporation Guided photography based on image capturing device rendered user recommendations
US20100110266A1 (en) * 2008-10-31 2010-05-06 Samsung Electronics Co., Ltd. Image photography apparatus and method for proposing composition based person
US20110013039A1 (en) * 2009-07-17 2011-01-20 Kazuki Aisaka Image processing apparatus, image processing method, and program
CN102184009A (zh) * 2010-04-26 2011-09-14 微软公司 跟踪系统中的手位置后处理精炼

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020154833A1 (en) 2001-03-08 2002-10-24 Christof Koch Computation of intrinsic perceptual saliency in visual environments, and applications
US6539177B2 (en) * 2001-07-17 2003-03-25 Eastman Kodak Company Warning message camera and method
JP3971240B2 (ja) * 2002-05-21 2007-09-05 オリンパス株式会社 アドバイス機能付きカメラ
JP4586709B2 (ja) 2005-11-02 2010-11-24 オムロン株式会社 撮像装置
JP2007158868A (ja) 2005-12-07 2007-06-21 Sony Corp 画像処理装置および方法
JP5164327B2 (ja) * 2005-12-26 2013-03-21 カシオ計算機株式会社 撮影装置及びプログラム
JP4864502B2 (ja) 2006-03-23 2012-02-01 富士フイルム株式会社 撮像装置および撮像条件案内方法
JP2008278408A (ja) * 2007-05-07 2008-11-13 Sony Corp 撮像装置、画像処理装置、画像処理方法、プログラムおよび当該プログラムを記憶する記憶媒体
KR20090067915A (ko) 2007-12-21 2009-06-25 삼성디지털이미징 주식회사 구도 추천에 의한 영상 촬영 장치 및 방법
JP5200776B2 (ja) * 2008-09-04 2013-06-05 株式会社ニコン デジタルカメラ
JP4844657B2 (ja) * 2009-07-31 2011-12-28 カシオ計算機株式会社 画像処理装置及び方法
CN102122390B (zh) * 2011-01-25 2012-11-14 于仕琪 基于深度图像进行人体检测的方法
CN103026380B (zh) * 2011-04-08 2016-04-13 松下电器(美国)知识产权公司 图像处理装置及图像处理方法
JP5962674B2 (ja) * 2012-02-06 2016-08-03 ソニー株式会社 撮像制御装置、画像処理装置、撮像制御方法及び画像処理方法
US8483450B1 (en) * 2012-08-10 2013-07-09 EyeVerify LLC Quality metrics for biometric authentication
KR101821284B1 (ko) * 2013-08-22 2018-01-23 비스포크, 인코포레이티드 커스텀 제품을 생성하기 위한 방법 및 시스템

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101179659A (zh) * 2006-11-07 2008-05-14 富士胶片株式会社 用于拍摄的装置、方法和程序
US20080122944A1 (en) * 2006-11-07 2008-05-29 Fujifilm Corporation Apparatus, method and program for photography
US20090162042A1 (en) * 2007-12-24 2009-06-25 Microsoft Corporation Guided photography based on image capturing device rendered user recommendations
US20100110266A1 (en) * 2008-10-31 2010-05-06 Samsung Electronics Co., Ltd. Image photography apparatus and method for proposing composition based person
US20110013039A1 (en) * 2009-07-17 2011-01-20 Kazuki Aisaka Image processing apparatus, image processing method, and program
CN101959018A (zh) * 2009-07-17 2011-01-26 索尼公司 图像处理设备、图像处理方法和程序
EP2285097A1 (en) * 2009-07-17 2011-02-16 Sony Corporation Image processing apparatus, image processing method, and program
CN102184009A (zh) * 2010-04-26 2011-09-14 微软公司 跟踪系统中的手位置后处理精炼

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112272945A (zh) * 2018-06-11 2021-01-26 松下知识产权经营株式会社 摄像控制装置、摄像控制方法以及程序
CN111639557A (zh) * 2020-05-15 2020-09-08 圣点世纪科技股份有限公司 一种指静脉图像智能注册反馈方法

Also Published As

Publication number Publication date
JP6250819B2 (ja) 2017-12-20
EP3063733A4 (en) 2017-04-05
US20150178592A1 (en) 2015-06-25
JP2016537912A (ja) 2016-12-01
CN105580051B (zh) 2019-05-14
US9262696B2 (en) 2016-02-16
EP3063733A1 (en) 2016-09-07
WO2015065386A1 (en) 2015-05-07

Similar Documents

Publication Publication Date Title
CN105580051A (zh) 图像捕捉反馈
US20200380594A1 (en) Virtual try-on system, virtual try-on method, computer program product, and information processing device
KR102510194B1 (ko) 가상 애완동물의 정보 디스플레이 방법, 장치, 단말기, 서버, 기록 매체, 및 시스템
US20190026954A1 (en) Virtually trying cloths on realistic body model of user
CN114236837A (zh) 用于显示交互式增强现实展示的系统、方法和介质
CN110022470A (zh) 使用合成图像训练对象检测算法的方法和系统和存储介质
KR20140127345A (ko) 환경을 생성하고 환경내 위치기반 경험을 공유하는 시스템 및 방법
CN114127837A (zh) 内容提供系统和方法
US20200257121A1 (en) Information processing method, information processing terminal, and computer-readable non-transitory storage medium storing program
CN117157667A (zh) 服装分割
WO2021039856A1 (ja) 情報処理装置、表示制御方法および表示制御プログラム
US20160320833A1 (en) Location-based system for sharing augmented reality content
US20190272658A1 (en) Image processing device, image processing method, and program
WO2018216602A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN109074680A (zh) 基于通信的增强现实中实时图像和信号处理方法和系统
Parsa et al. Current and future photography techniques in aesthetic surgery
US11830129B2 (en) Object relighting using neural networks
CN117083641A (zh) 实时体验真实尺寸眼戴装置
KR102136137B1 (ko) 맞춤형 led 마스크 팩의 제조 장치
CN107787507A (zh) 获得表示图像的锐度级别的配准误差图的装置和方法
JP2007102478A (ja) 画像処理装置、画像処理方法、及び半導体集積回路
CN102984447A (zh) 摄影系统及相片产生方法
JP2019133276A (ja) 画像処理システム、端末
CN115623313A (zh) 图像处理方法、图像处理装置、电子设备、存储介质
CN117043829A (zh) 实时的真实尺寸眼戴装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant