CN106664360B - 具有照相机和屏幕的设备 - Google Patents

具有照相机和屏幕的设备 Download PDF

Info

Publication number
CN106664360B
CN106664360B CN201580023279.8A CN201580023279A CN106664360B CN 106664360 B CN106664360 B CN 106664360B CN 201580023279 A CN201580023279 A CN 201580023279A CN 106664360 B CN106664360 B CN 106664360B
Authority
CN
China
Prior art keywords
image
modification
equipment
light output
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580023279.8A
Other languages
English (en)
Other versions
CN106664360A (zh
Inventor
陈娅文
彭盛
汤晓丹
蒯曙光
刘康俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Signify Holding BV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=53059055&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN106664360(B) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN106664360A publication Critical patent/CN106664360A/zh
Application granted granted Critical
Publication of CN106664360B publication Critical patent/CN106664360B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)
  • Studio Devices (AREA)
  • Stroboscope Apparatuses (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Color Television Image Signal Generators (AREA)
  • Telephone Function (AREA)

Abstract

设备具有照相机和用于显示由照相机所捕获的图像的屏幕。用户规定对于在屏幕上显示的图像的所期望的修改,以便产生所期望的修改的图像。这例如可以使得用户看起来更有吸引力。然后,导出照明设备的所要求的光输出特性,使得通过使用更改照明的,随后捕获的图像更接近于所期望的修改的图像。

Description

具有照相机和屏幕的设备
发明领域
本发明涉及具有照相机和屏幕的设备。
背景技术
人们为他们自己拍照并通过使用媒体共享平台把这些照片与其朋友分享变得越来越普通。在共享照片之前,某些用户常常通过使用诸如Photoshop那样的应用来处理照片,使其看起来更好。这例如可能涉及添加如美白、暖色调等那样的某些效果。通过以这种方式改进照片,人们对于自己的感觉更好,并且可能在社交上更活跃。
照片的这种处理是耗时的,并且不可能实时地共享照片或视频。例如,在进行视频聊天或视频会议时,所述处理不能实时地进行。
因此,存在一种能够以简化或避免图像处理和/或可以实时地进行处理的方式来增强图像的需要。
发明内容
本发明由权利要求限定。
按照本发明的示例实施例,提供了一种设备,其包括:
照相机;
屏幕,其用于显示由照相机捕获的图像;
用户输入接口;以及
处理器,其中处理器适配于:
接收代表对于在示出某个情景的屏幕上显示的图像的所期望的修改的用户输入;以及
导出照明设备的所要求的光输出特性,以便改变对情景的照亮,使得随后捕获的图像反映所期望的修改。
这个设备使得用户能够规定所期望的图像外观(例如,根据可能受到诸如颜色或亮度那样的照明条件影响的参数),并且然后,设备计算用来照亮情景的光输出,使得随后的图像具有所期望的外观—甚至不需要任何图像处理。用户例如可以选择给出最有吸引力的图像的图像修改(例如,根据皮肤色调、在面部上皱纹的外观等等),以及随后的图像然后将趋向于给出那些所期望的图像属性。以这种方式,通过更改照明条件,避免了对于图像编辑的需要。这对于实况共享图像(诸如照片共享或使用便携式设备的视频会议应用)是特别有好处的。
代表所期望的修改的用户输入可以是各种各样的,例如,如上面和下面描述的,1)根据可能受到诸如颜色或亮度那样的照明条件影响的参数,2)从替换的修改的图像的集合中选择所期望的图像,3)口头地或文本地描述所期望的图像效果,如“我想要光使得我看起来更温和”、“我想有浪漫的氛围”、以及“请消除我脸上的皱纹”等等。
处理器可以基于用户输入产生所期望的修改的图像(并且可选地在屏幕上显示所期望的修改的图像),以及基于在捕获的图像与所期望的修改的图像之间的差,导出对于照明设备所要求的光输出特性,以改变对于情景的照亮,使得随后的捕获的图像更接近于所期望的修改的图像。
然而,产生所期望的修改的图像的步骤对于处理器来说并不是必要的步骤。处理器可以简单地基于用户输入,直接导出照明设备的所要求的光输出特性。例如,处理器具有预先存储的表或列表,其持有两个相关联的信息段:图像效果和相关联的光输出特性。
本发明因此提供智能照明系统,它可以自动复制处理的图像的用户规定的效果,并且然后,调整环境照明,以实时地重现所述效果。修改例如可以涉及到图像属性,诸如,色度、饱和度与亮度。
为了带来所期望的修改的图像,所要求的光输出特性可以被转换成LED驱动信号,诸如LED驱动电流。
用来提供光输出以照亮情景的照明设备可以是形成其中正使用该设备的区域的一部分的固定照明。在这种情形下,设备可以与固定照明进行通信,以实施照明条件的所期望的改变。
设备还可以包括照明设备。在这种情形下,设备本身提供所要求的照明。其因此可以在任何环境下被使用,以及该设备不需要控制外部照明单元。
处理器可以适配于接收标识修改的图像的集合中的所选图像的用户输入。
以这种方式,用户可以从某个集合中作出对于优选图像的简单选择,并且然后,照明条件可被修改,使得由照相机捕获的将来的图像近似于所期望的图像外观,或甚至可以与该所期望的图像外观相同。
处理器可以适配成导出在代表所选的修改的图像的度量与代表原始图像的度量之间的差,并且从所述差导出所要求的光输出。这个度量例如可以是形成修改的图像的所选面部区域的像素的平均RGB值。
通过处理差信号,所要求的照明条件可以通过简单的处理而导出。度量是提供照明条件的指示的测量。它例如可以从原始图像和所期望的修改的图像的RGB像素值导出。
例如,首先可以确定,从修改的图像的所选面部区域中被采样的像素的数目(Np)。为了导出所要求的照明参数,可以使用来自这些像素的RGB值。所导出的照明参数将取决于被分析的像素集合的大小Np。例如,在修改的图像与原始图像的每个像素的RGB值之间将存在偏移量。红、绿和蓝色偏移量的平均值然后可以被输出到照明系统,并且调整照明系统的那些颜色分量,以便发出带来所期望的照明效果的照明。
设备可包括便携式设备,诸如移动电话或平板装置,以及照明设备然后可包括便携式设备的照相机闪光灯。这提供了完全集成的和便携式的解决方案,使得实时图像共享可以在任何位置处实行。随后捕获的图像可以是静态的,或它们可以形成视频序列。这些图像例如可以是要在媒体共享平台上共享的照片或被用于在两个或更多个参加者之间的实况视频链路或会议的视频图像。
捕获的图像和随后捕获的图像优选地包括用户的面部。用户可能对于创建他们面部的所期望的面容是特别敏感的。
在这种情形下,处理器可被适配成:
执行面部识别功能;
导出代表对于图像的面部区域和对于所期望的修改的图像的面部区域的像素属性的度量;以及
从度量之间的差,导出光输出特性。
以这种方式,照明被定制成创建对于用户面部的图像的所期望的修改。
本发明还提供一种通过使用具有照相机和屏幕的设备而控制照明的方法,该方法包括:
通过使用设备的照相机捕获情景的图像;
把图像显示在设备的屏幕上;
接收代表对于所显示的图像的所期望的修改的用户输入;
导出照明设备的所要求的光输出特性,以改变对于情景的照亮,使得随后捕获的图像反映所期望的修改;以及
控制照明设备以输出所要求的光输出特性。
本发明还提供可从通信网下载的和/或存储在计算机可读的和/或微处理器可执行介质上的计算机程序产品,其特征在于,其包括程序代码指令,以用于当程序在计算机上运行时实施通过使用如以上定义的具有照相机和屏幕的设备而控制照明的方法。
本发明还提供了一种用于存储和包括如上定义的计算机程序产品的介质。介质可以是范围从易失性存储器到非易失性存储器的任何介质,诸如RAM、PROM、EPROM、存储棒或快闪驱动、或另一种非易失性存储装置,诸如硬盘或光学介质等等。
附图说明
现在将参照附图更详细地描述本发明的示例,在图中:
图1示出了按照一个实施例的设备;
图2用来解释第一操作方法;
图3用来解释第二操作方法;
图4更详细地示出了设备的第一示例;以及
图5更详细地示出了设备的第二示例。
具体实施方式
本发明提供了具有照相机和用于显示由照相机捕获的图像的屏幕的设备。用户规定对于在屏幕上显示的图像的所期望的修改,以便产生所期望的修改的图像。这可以例如使得用户看起来更有吸引力。照明设备然后被控制成使得通过使用新更改的照明而随后捕获的图像更接近于所期望的修改的图像。
照明可以由设备本身被提供,或其可以与设备分开。
图1示出了按照一个实施例的设备,其中照明由设备本身被提供,以及其中设备是便携式设备,诸如平板装置或移动电话。
便携式设备10包括照相机12(其透镜被示出)以及用于显示被照相机捕获的图像的屏幕14。提供具有照相机闪光灯16形式的照明设备,并且在本例中,其兼作为一般的恒定照亮源。设备具有用户输入接口,其可包括屏幕、按钮(其中之一被示为18)或其组合。
设备具有处理器,其接收代表对于示出情景的屏幕14上显示的图像所期望的修改的用户输入,以便产生所期望的修改的图像。导出照明设备16的光输出特性,以便改变对于情景的照亮,使得随后捕获的图像更接近于所期望的修改的图像。
图2用来解释第一操作方法。顶部示出了由用户拍摄的并且被显示在屏幕上的原始图像19。为了使得用户能够选择修改的版本,呈现了可替换的修改的图像20的集合,如在下方示出的。
这些修改的图像具有改变的参数,这些参数受诸如颜色或亮度那样的照明条件影响。这样的图像修改在图像处理应用中是众所周知的,以用于使得图像表现得更温暖、或更冰冷、或更明亮、或更暗、或具有不太饱和的颜色、或具有更饱和的颜色等等。
在这种情形下,修改的图像的集合对应于可通过控制环境光而获取的视觉效果的改变。例如,图像修改可以对应于从不同颜色的环境照明和/或不同的强度的环境照明导致的外观的改变。
这意味着,有可能通过改变环境照明而复制所期望的图像修改,使得不要求对随后的图像进行图像处理,以便于接近于所期望的图像修改。
用户选择修改的图像20中的所期望的一个修改的图像。设备然后计算与图像的像素属性有关的度量。在一个示例中,度量是来自图像的面部的像素的平均RGB值(即,平均R值、平均G值和平均B值)。这个面部区域可以被自动标识,或其可以由用户定义。
通过比较这个度量如何在原始图像19与由用户选择的图像20之间进行改变,所述度量就可以用来确定然后用来照明情景的光输出,使得随后的图像具有所期望的外观—甚至不需要任何图像处理。光输出是通过选择例如对于LED光源的适当电流驱动值而被控制的。
R、G、B值的改变将可从用来为用户生成多个选项20的图像变换功能容易地得到。
对于每种类型的LED灯或灯具,可以使用查找表,其存储驱动电流值与光输出特性之间的关系。这些光输出特性可被呈现为:
RGB值;
色度、饱和、与亮度值;或
色坐标。
查找表可被存储在照明控制器中。在驱动电流值与光输出特性之间的这个关系例如可以在照明系统运行之前被测量。
这个关系可被用作为用于调整照明设备的开始点。然而,如将在下面解释的,虽然如此,可能存在几次随后的迭代,在这些迭代后,所捕获的图像将具有与所期望的修改的图像的可接受地少量差。
闪光灯16然后被控制成发出所要求的环境照明。图像21是在更改的照明条件下拍摄的图像。
用户例如可以选择给出最有吸引力的图像(例如,根据皮肤色调、面部上皱纹的外观等等)的图像修改,以及随后的图像将然后趋向于给出那些所期望的图像特性而不要求进行图像处理。
图3示出了替换的方法。在这种情形下,设备为用户提供控制输入,在本例中,其被示为滑块30、32,其使得能够调整图像属性,而代替呈现预先定义的修改的图像。一个滑块可以对应于要应用的照明的颜色,而另一个滑块可以对应于强度。
照明单元例如可以具有可控制的RGB分量和总的亮度。在某个颜色的RGB与色调与饱和度之间存在直接映射,使得照明控制可以等价地包括这些参数的控制。
例如,可以存在三种控制—用于色度的控制、用于饱和度的控制、和用于亮度的控制。可替换地,可存在三种控制—一种用于红色、一种用于绿色和一种用于蓝色。可以存在总共六种控制,所以用户可以选择调节哪一个,以及在RGB与色度/亮度/饱和度之间的映射将由控制器保持。
图4更详细地示出了设备的第一示例。
设备包括照相机12、显示器14和光源16,如上所解释的。控制器40实施以上解释的控制方法,并且因此,控制来自显示器14的输出图像,以及接收来自用户输入接口42的用户输入,该用户输入接口42可包括具有触摸屏输入的显示器本身。
发射机44例如通过移动电话网输出控制照明后的图像。图像例如被发布到媒体共享平台,或其可被用于实况视频通信。
图5更详细地示出了设备的第二示例。
设备再次包括照相机12、显示器14、控制器40和输入接口42。
在本示例中,照明系统50不是设备的一部分。设备具有短距离发射机52,以用于与光源50通信,以更改其设置。这例如可以是WiFi、蓝牙或Zigbee接口、或任何其它短距离标准。也提供了移动电话发射机44。
在这种情形下,提供光来照亮情景的照明系统50可以是形成正在其中使用该设备的区域的一部分的固定照明。在这种情形下,设备与固定照明通信,以实施照明条件的所期望的改变。
设备和方法可被用于实时地上载照片,或用于使用便携式设备的在线视频聊天。然而,其不仅仅是对于实时应用有好处的,而且可被用作为以自然的方式提供增强的图像的方式。特别地,图像是未被操控的直接的图像—仅仅是照明条件被改变。因此,设备和方法可以被简单地用来通过使用照相机设备控制照明(诸如固定的室内照明)而改进图像的质量。
为了导出所要求的光输出,捕获的图像的RGB值和修改的图像的RGB值可以逐个像素地分析。
然后可以获取度量,例如,对于整个图像的平均的红、绿、和蓝色值。因此度量可包括值(即,向量)的集合。一个度量然后代表原始图像,而另一个度量代表所选的修改的图像。然后可以从在这些度量之间的差导出所要求的光输出。
应当指出,差可以以除了度量之外的其它形式的参数来测量。例如,其可以是在原始图像与所选修改的图像的所有像素的R、G、B或H、S、L值的平均值之间的差。替换地,其可以是在原始图像与所选的修改的图像的单个像素的R、G、B或H、S、L值之间的差。优选地,单个像素位于图片中用户的面部中。
作为示例,控制器可以实施面部识别算法,以标识包含面部(或多个面部)的图像的区域。照明条件典型地被选择为改进面部的外观,所以照明控制可以是基于面部区域的分析的。
在这种情形下,然后将确定(一个或者多个)面部区域的平均红、绿和蓝色像素值。然后获取在原始的捕获的图像与所选的修改的图像之间的红、绿和蓝色值的差。
照明控制的目的在于使得这些差变为零。
当面部区域被使用时,面部识别可以首先涉及确定将从所选的面部区域进行采样的像素的数目(Np),并且然后,将计算来自这些像素的RGB数值,以便对于对照明参数进行偏移。在原始图像与所选的修改的图像中的平均颜色值之间的偏移量的平均值被用作为控制信号,以用于输出到照明系统和调整照明,以便发出预期的照明效果。
照明单元可包括具有可控制的彩色点的任何照明安排。一个示例是具有红、绿、蓝色LED的LED照明安排。至少三个颜色的LED需要进行选择,以及由这三个颜色确定的三角形是色域。所选择的LED越多,则色域越大。
红、绿和蓝色LED是所选的三种典型颜色。可以通过使用蓝色LED与适当的荧光层的组合而被生成颜色。在这种情形下,色域由蓝色LED颜色点和荧光特性确定。通过上述的方法,可控制的颜色点被确定。
颜色可以用RGB坐标、或HSL(色度、饱和度、亮度)或HSV(色度、饱和度、数值)定义,其可以通过可提供的转换公式在互相之间进行转换。对于照明单元的控制信号然后包括对于不同LED颜色的PWM(脉冲宽度调制)信号,以独立地控制颜色。
如果光源是设备外部的,如图5的示例那样,则其具有通信模块(例如,Zigbee),该通信模块可以接收指示从设备发送的照明参数的信号,以及把信号解码成用于照明控制的所要求的PWM信号。
用于实现在捕获的图像中的所期望的改变的所要求的光输出将取决于光源相对于用户的位置以及光源的性质和取向。当光源是便携式设备的闪光灯时,其属性是已知的。相对于用户的可能的位置也是已知的。因此,有可能提前对于光源改变用户的照亮的方式进行建模。以这种方式,在照明条件的所期望的改变(即,RGB差)与所要求的光控制信号之间可以存在简单的映射。
在最简单的实施方案中,简单地对感兴趣的图像的一部分(即,整个图像或面部部分)的平均红色含量的差进行缩放,以导出照亮源的所期望的红色含量。相似地,对平均蓝色含量的差进行缩放(缩放相同的或不同的量)来导出照亮源的所期望的蓝色含量。相似地,对平均绿色含量的差缩放(缩放相同的或不同的量)来导出照明源的所期望的绿色含量。
代替于RGB值,可以处理两个图像的色度、亮度和饱和度值来导出照明控制信号。如上所述,在不同的色坐标系统之间存在直接的映射关系,使得所要求的处理基本上是相同的。基本上,在原始图像与所期望的修改的图像之间的照明属性的差(或差的集合)被标识。这个差然后被用来控制照明。图像的RGB含量可以被分析,但照明可以通过使用HSL或HSV控制命令而被控制。相似地,图像的HSL或HSV含量可以被分析,并且照明可以通过其它参数(诸如RGB值)而被控制。
当然,所期望的光输出可以通过比用来导出照明的所要求的R、G和B分量的对R、G和B简单求平均值方法更复杂的算法而被导出。
例如,可以使用在颜色分量之间的比率,而代替于绝对的像素值。而且,最大值和/或最小值颜色分量值可以从被用来导出照明条件的处理中删除。因此,度量可以比对单个像素特性的简单求平均值更复杂。
对于不是设备的一部分的光源, 照明效果将不是提前已知的。例如,在光输出与用户之间的角度将不是已知的,以及光源到用户的距离将不是已知的。在这种情形下,可以利用反馈方法。例如,在选择修改的图像后,照明条件可以基于假设的集合和捕获的新图像被改变。修改的图像的选择可以重复(一次或多次),使得经由用户通过重复选择修改的图像而提供反馈,照明收敛到适当的光输出条件。
系统可以从每次迭代进行学习。例如,如果对于光输出的第一次调整没有实现对于图像的所期望的修改,则这个假设的集合可被改变,以使得下一次迭代可以给出更好的结果。这将所要求的迭代次数保持为最小。
反馈可以是自动的,而代替于人工的。在这种情形下,照明可被控制成在不用用户输入的情况下改变若干次,但其中系统目标在于使得在所产生的图像与由用户初始地选择的修改的图像之间的差最小化。
现在将描述可能的自动迭代过程的示例。如果目标图像属性是(Rt,Gt,Bt),则这个目标信息作为输入被发送到灯具,并且导出照明控制信号。正如上面解释的,这些照明控制信号是从在目标图像属性与实际的图像属性之间的差导出的,其然后被转换成从存储的查找表获取的R、G、B LED的对应的驱动电流值。该查找表被用来控制灯具。
在照明修改之后实际上在面部区域产生的所实现的RGB照明值将给出所实现的图像属性,例如值(Rr,Gr,Br)。由于皮肤反射和环境反射,在目标与所实现的颜色值之间很可能存在差。
如上所述,照明控制方法的目标是使得这些差趋于零或可接受的误差。可接受的误差量可以由用户选择,使得如果最终用户不期望非常高的精确度,则较大的误差是可容忍的。迭代的数目将取决于所期望的精度。
如果目标图像属性被设置为(Rt,Gt,Bt),则调整值(Ra,Ga,Ba)可被考虑为新的目标值,并且它们被设置为:
Ra=2Rt-Rr,
Ga=2Gt-Gr,
Ba=2Bt-Br。
在每次迭代时,值Ra,Ga,Ba被处理以导出照明设置。处理将收敛到其中Rt=Rr、Gt=Gr和Bt=Br的点。因此,通过每次迭代,将使得(在所期望的修改的图像属性与所实现的图像属性之间的)误差更接近于零。当误差已经降低到低于目标时,迭代将停止。当然,也可以存在最大迭代次数。例如,可以存在这样的情形:其中由于未控制的环境照明的主导地位,所以照明单元不能提供所期望的图像修改。
在具有集成光源的以上的示例中,其包括照相机闪光灯。然而,可以提供分开的光源,其中之一对于闪光功能进行优化(即,高强度短持续时间突发),而另一个对于具有颜色控制的较低的强度的连续照明进行优化。
以上的示例示出了便携式设备,但本发明不限于此。例如,设备可以是摄影系统的一部分,例如,用于在线聊天的隔间(booth)。在隔间内的照明然后可以由用户选择最佳地增强他们的外观的照明来控制。
以上的示例利用了面部识别(这意味着识别图像的哪个部分是面部,而非其是谁的面部)。替换例是使用用于皮肤色调的滤色器,使得可以标识包括皮肤色调的图像的部分,而不需要面部识别软件。
用户修改的图像可被认为是照明系统试图通过修改照明条件而进行模仿的参考图像。照明条件被修改,直至参考图像与捕获的图像的差别的量低于阈值为止。被比较的图像数据可包括RGB信息、CMYK信息、色度与饱和度信息、或色温信息(或这些项的组合)。
设备利用了用于实施用于控制照明的算法的控制器。可被用于控制器的部件包括,但不限于,传统的微处理器、专用集成电路(ASIC)、和现场可编程门阵列(FPGA)。
在各种实施方案中,处理器或控制器可以与一个或多个存储介质,(诸如易失性和非易失性计算机存储器,诸如RAM、PROM、EPROM、和EEPROM)相关联。存储介质可以用一个或多个程序编码,当这些程序在一个或多个处理器和/或控制器上被执行时,其执行所要求的功能。各种存储介质可被固定在处理器或控制器内,或可以是可传输的,使得被存储在其上的一个或多个程序可被加载到处理器或控制器中。
本领域技术人员在实践所要求保护的发明时,从对于所述附图、公开内容、和所附权利要求的学习中将理解和实现所公开的实施例的其它变例。在权利要求中,单词“包括”不排除其它元件或步骤,以及不定冠词“一”或“一个”不排除多个。某些措施在互相不同的从属权利要求中被阐述的单纯事实并不指示这些措施的组合不能被加以利用。在权利要求中的任何参考符号不应当被解读为限制范围。

Claims (10)

1.一种用于控制照明的设备,包括:
照相机(12);
屏幕(14),其用于显示由所述照相机捕获的图像以及修改的图像(20)的集合,每个修改的图像代表对所述捕获的图像的修改并且具有改变的参数,所述改变的参数受照明条件影响;
用户输入接口(42);以及
处理器(40),其中所述处理器适配于:
从用户输入接口接收代表对于在示出情景的屏幕上显示的图像的所期望的修改的用户输入,所述用户输入涉及对所述修改的图像(20)中的一个的选择;以及
导出照明设备的所要求的光输出特性,以便改变对情景的照亮,使得随后捕获的图像反映所期望的修改;
其中处理器(40)被适配于导出在代表所选择的修改的图像(20)的像素属性的度量与代表所捕获的图像(19)的像素属性的度量之间的差,以及基于所述差导出所要求的光输出。
2.如在权利要求1中要求保护的设备,其中所述处理器还被配置成:
基于所述差,导出照明设备的所要求的光输出特性,以便改变对情景的照亮,使得随后捕获的图像更接近于所期望的修改的图像。
3.如在权利要求1中要求保护的设备,其中所述修改涉及到图像属性,诸如色度、饱和度与亮度。
4.如权利要求1-3中的任一权利要求要求保护的设备,包括诸如移动电话或平板装置那样的便携式设备,其中所述照明设备(16)包括所述便携式设备的照相机闪光灯。
5.如权利要求1-3中的任一权利要求保护的设备,其中所述随后捕获的图像是静态的或形成视频序列。
6.如在权利要求5中要求保护的设备,其中所述捕获的图像和所述随后捕获的图像包括用户的面部,以及所述处理器还适配于:
执行面部识别功能;
导出代表对于图像的面部区域和对于所期望的修改的图像的面部区域的像素属性的度量;以及
从度量之间的差导出光输出特性。
7.一种使用具有照相机(12)和屏幕(14)的设备控制照明的方法,所述方法包括:
使用设备的照相机(12)捕获情景的图像;
将所述图像显示在设备的屏幕(14)上;
显示修改的图像(20)的集合,每个修改的图像代表对所述捕获的图像的修改并且具有改变的参数,所述改变的参数受照明条件影响;
接收代表对于所显示的图像的所期望的修改的用户输入,以便产生所期望的修改的图像,所述用户输入涉及对所述修改的图像(20)中的一个的选择;
导出照明设备(16)的所要求的光输出特性,以便改变对情景的照亮,使得随后捕获的图像更接近于所期望的修改的图像;以及
控制照明设备(16),以输出所要求的光输出特性;
其中导出所要求的光输出包括导出在代表所选择的修改的图像(20)的像素属性的度量与代表所捕获的图像的像素属性的度量之间的差,以及基于所述差导出所要求的光输出。
8.如在权利要求7中要求保护的方法,包括:
执行面部识别功能;
导出代表对于图像的面部区域和对于所期望的修改的图像的面部区域的像素属性的度量;以及
从度量之间的差导出光输出特性。
9.如在权利要求7或8中要求保护的方法,其中所述设备包括诸如移动电话或平板装置那样的便携式设备,以及控制照明设备包括控制所述便携式设备的照相机闪光灯。
10.一种存储计算机可用指令的计算机可读存储介质,当所述计算机可用指令被一个或多个计算设备使用时,使所述一个或多个计算设备执行权利要求7-9中的任一项所述的方法。
CN201580023279.8A 2014-05-05 2015-04-24 具有照相机和屏幕的设备 Active CN106664360B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
CNPCT/CN2014/076818 2014-05-05
CN2014076818 2014-05-05
EP14173099 2014-06-19
EP14173099.4 2014-06-19
PCT/EP2015/058866 WO2015169619A1 (en) 2014-05-05 2015-04-24 Device with a camera and a screen

Publications (2)

Publication Number Publication Date
CN106664360A CN106664360A (zh) 2017-05-10
CN106664360B true CN106664360B (zh) 2019-11-26

Family

ID=53059055

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580023279.8A Active CN106664360B (zh) 2014-05-05 2015-04-24 具有照相机和屏幕的设备

Country Status (7)

Country Link
US (1) US11172119B2 (zh)
EP (1) EP3140982B1 (zh)
JP (1) JP6626841B2 (zh)
CN (1) CN106664360B (zh)
ES (1) ES2692412T3 (zh)
RU (1) RU2689124C2 (zh)
WO (1) WO2015169619A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102495763B1 (ko) * 2018-02-23 2023-02-06 삼성전자주식회사 제1 이미지 처리 방식으로 보정된 이미지를 제2 이미지 처리 방식을 이용하여 외부 전자 장치에서 보정하기 위한 전자 장치 및 방법
WO2023214927A1 (en) * 2022-05-04 2023-11-09 Pd Group Ab Improved user appearance in workstation applications

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1126323A (zh) * 1994-06-15 1996-07-10 三星航空产业株式会社 以不同景深记录同一物体的连续图像的系统和方法
CN101296320A (zh) * 2007-04-25 2008-10-29 三星电子株式会社 容易改变设置信息的摄影装置及其控制方法
CN103246132A (zh) * 2012-02-01 2013-08-14 佳能株式会社 发光系统、发光控制装置及其控制方法、通信系统及其控制方法
CN103583038A (zh) * 2012-04-16 2014-02-12 奥林巴斯医疗株式会社 摄像系统、摄像方法

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3139028B2 (ja) 1991-02-04 2001-02-26 株式会社ニコン 撮影装置
US6542180B1 (en) 2000-01-07 2003-04-01 Mitutoyo Corporation Systems and methods for adjusting lighting of a part based on a plurality of selected regions of an image of the part
JP4277452B2 (ja) * 2000-02-25 2009-06-10 ソニー株式会社 記録装置、再生装置
AU2002238449A1 (en) * 2000-12-20 2002-07-01 Altana Pharma Ag Process for the production and purification of secreted proteins ans the production of arrays of proteins
US20020180973A1 (en) * 2001-04-04 2002-12-05 Mackinnon Nicholas B. Apparatus and methods for measuring and controlling illumination for imaging objects, performances and the like
US7889275B2 (en) 2003-01-28 2011-02-15 Microsoft Corp. System and method for continuous flash
US20040207743A1 (en) 2003-04-15 2004-10-21 Nikon Corporation Digital camera system
JP4127521B2 (ja) * 2003-05-20 2008-07-30 富士フイルム株式会社 ディジタル・カメラおよびその制御方法
US8363951B2 (en) 2007-03-05 2013-01-29 DigitalOptics Corporation Europe Limited Face recognition training method and apparatus
JP2005225025A (ja) * 2004-02-12 2005-08-25 Konica Minolta Holdings Inc 顔画像処理システム
US7247056B2 (en) * 2004-09-27 2007-07-24 Lockheed Martin Corporation Rugged, removable, electronic device
JP4519708B2 (ja) 2005-05-11 2010-08-04 富士フイルム株式会社 撮影装置および方法並びにプログラム
US7663691B2 (en) * 2005-10-11 2010-02-16 Apple Inc. Image capture using display device as light source
WO2007072376A2 (en) 2005-12-23 2007-06-28 Koninklijke Philips Electronics N.V. Color matching for display system for shops
JP4533860B2 (ja) 2006-03-09 2010-09-01 富士フイルム株式会社 撮影装置及び露出制御方法
JP4432054B2 (ja) 2006-06-20 2010-03-17 富士フイルム株式会社 撮像装置及び方法
US8285006B2 (en) 2007-04-13 2012-10-09 Mira Electronics Co., Ltd. Human face recognition and user interface system for digital camera and video camera
EP2208397B1 (en) * 2007-11-06 2018-10-03 Philips Lighting Holding B.V. Light control system and method for automatically rendering a lighting scene
KR101411318B1 (ko) 2007-12-12 2014-06-25 삼성전자주식회사 디지털 영상 처리장치 및 그 제어방법
TWI401522B (zh) * 2008-12-31 2013-07-11 Altek Corp Flash intensity adjustment method
FR2942404B1 (fr) 2009-02-23 2011-08-26 Oreal Procede de photomaquillage utilisant une composition photochromique a l'etat deja revele
US8081216B2 (en) 2009-03-26 2011-12-20 Hong Kong Science and Technology Research Institute Co., Ltd. Lighting control system and method
US20100317398A1 (en) * 2009-06-10 2010-12-16 Ola Thorn Camera system and method for flash-based photography
HUP1000183D0 (en) 2010-04-07 2010-06-28 Naturen Kft Controlling multicolor lighting based on image colors
WO2011158143A1 (en) * 2010-06-17 2011-12-22 Koninklijke Philips Electronics N.V. Display and lighting arrangement for a fitting room
US9041731B2 (en) 2010-10-05 2015-05-26 Koninklijkle Philips N.V. Method and a user interaction system for controlling a lighting system, a portable electronic device and a computer program product
EP2515526A3 (en) 2011-04-08 2014-12-24 FotoNation Limited Display device with image capture and analysis module
US8848029B2 (en) 2011-05-27 2014-09-30 Microsoft Corporation Optimizing room lighting based on image sensor feedback
US9513724B2 (en) * 2011-08-30 2016-12-06 Blackberry Limited Device and method for adjusting object illumination
US8953094B2 (en) 2011-11-10 2015-02-10 Apple Inc. Illumination system
KR20130051576A (ko) 2011-11-10 2013-05-21 삼성전자주식회사 시인성 최적화 방법 및 시스템과, 이를 기반으로 운용되는 단말기
US8922673B2 (en) * 2011-12-21 2014-12-30 Xerox Corporation Color correction of digital color image

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1126323A (zh) * 1994-06-15 1996-07-10 三星航空产业株式会社 以不同景深记录同一物体的连续图像的系统和方法
CN101296320A (zh) * 2007-04-25 2008-10-29 三星电子株式会社 容易改变设置信息的摄影装置及其控制方法
CN103246132A (zh) * 2012-02-01 2013-08-14 佳能株式会社 发光系统、发光控制装置及其控制方法、通信系统及其控制方法
CN103583038A (zh) * 2012-04-16 2014-02-12 奥林巴斯医疗株式会社 摄像系统、摄像方法

Also Published As

Publication number Publication date
JP2017520144A (ja) 2017-07-20
EP3140982B1 (en) 2018-08-29
US11172119B2 (en) 2021-11-09
ES2692412T3 (es) 2018-12-03
RU2016147374A (ru) 2018-06-05
RU2016147374A3 (zh) 2018-12-11
WO2015169619A1 (en) 2015-11-12
JP6626841B2 (ja) 2019-12-25
CN106664360A (zh) 2017-05-10
EP3140982A1 (en) 2017-03-15
RU2689124C2 (ru) 2019-05-24
US20170078562A1 (en) 2017-03-16

Similar Documents

Publication Publication Date Title
JP6979052B2 (ja) スマートデバイスを使用する毛髪着色システム
EP2039226B1 (en) Method of controlling a lighting system based on a target light distribution
TWI551150B (zh) 電子照相機之自動白平衡之自動化自我訓練之裝置及方法
JP6766066B2 (ja) カラーピッカー
US9538602B2 (en) Lighting control device and lighting control method
TW200931154A (en) Camera illumination device
TW201502685A (zh) 相機裝置以及閃光燈控制方法
CN111164563B (zh) 一种智能终端的图像色彩调节系统及色彩调节方法
CN103108469A (zh) 控制照明装置输出光的方法及装置、照明系统
CN108604046A (zh) 摄影支持装置及其工作方法、以及工作程序
CN106664360B (zh) 具有照相机和屏幕的设备
US20230332764A1 (en) Method and apparatus, electronic device and storage medium for controlling flashing color lamps
US20190268516A1 (en) Miniature led array and electronic device using the same
CN106028015B (zh) 颜色处理装置和方法以及颜色处理系统
JP2010521098A (ja) トゥルーカラー通信
CN108886608A (zh) 白平衡调整装置及其工作方法和工作程序
CN112188694A (zh) 一种灯光色温校正方法、系统、装置和存储介质
JP6523908B2 (ja) コード読取装置、コード読取方法、およびプログラム
US20210378076A1 (en) Creating a combined image by sequentially turning on light sources
CN117424970B (zh) 灯光控制方法、装置、移动终端及存储介质
US20240282020A1 (en) Light Compensations for Virtual Backgrounds
US20240255833A1 (en) Backdrop rear-illumination apparatus, an active green screen and a method for dynamic backdrop rear-illumination
CN109074503A (zh) 基于图像显示环境照明的打印机调整
Law et al. Spatial augmented reality for environmentally-lit real-world objects
CN110149483A (zh) 智能摄影调控终端、系统及其拍摄调控方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: Eindhoven

Patentee after: Signify Holdings Ltd.

Address before: Eindhoven

Patentee before: Philips Lighting Holdings

CP01 Change in the name or title of a patent holder