CN106716305A - 照明的控制 - Google Patents

照明的控制 Download PDF

Info

Publication number
CN106716305A
CN106716305A CN201580052133.6A CN201580052133A CN106716305A CN 106716305 A CN106716305 A CN 106716305A CN 201580052133 A CN201580052133 A CN 201580052133A CN 106716305 A CN106716305 A CN 106716305A
Authority
CN
China
Prior art keywords
lighting apparatus
user
cornea
cornea image
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580052133.6A
Other languages
English (en)
Inventor
J.C.诺兰
M.J.劳伦森
H.范登维恩加尔特
A.H.W.范伊尤维克
H.U.O.N.范德拉斯乔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN106716305A publication Critical patent/CN106716305A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10Controlling the light source
    • H05B47/105Controlling the light source in response to determined parameters
    • H05B47/115Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
    • H05B47/125Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings by using cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02BCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40Control techniques providing energy savings, e.g. smart controller or presence detection

Abstract

一种用于控制多个照明设备各自根据至少一个相应设置而发射光的控制器,该控制器配置成执行下述操作:获得表示角膜图像的图像数据,该角膜图像由照相机捕获,由从用户的至少一个角膜的至少一部分反射到照相机内的光形成;基于该角膜图像,自动确定对一个或多个该照明设备的相应设置的更新;根据该更新控制所述一个或多个照明设备;以及重复这些获得、确定和控制步骤,以便当用户移动时动态地调适照明设备的设置。

Description

照明的控制
技术领域
本公开涉及用于自动和动态地控制一个或多个照明设备的技术。
背景技术
存在许多技术用于控制一个或多个照明设备(诸如照亮房间或其它环境的照明器),例如从而接通和断开灯、调亮和调暗光水平或者设置所发射的光的颜色设置。
一种技术是使用在诸如智能电话、平板电脑或者膝上型或台式计算机之类的用户终端上运行的应用。在用户终端和(多个)照明设备的控制器之间提供有线或无线的通信信道,在移动用户终端的情况下,该通信信道典型地为RF信道,诸如Wi-Fi、ZigBee或蓝牙信道。该应用配置成,基于输入到在该用户终端上运行的应用中的手动用户输入,使用此信道以向控制器发送照明控制请求。然而,这不是非常用户友好的。
用于控制照明设备的另一种技术是手势控制。在采用手势控制的系统中,系统被提供有合适的传感器装置,诸如2D摄像机、立体摄像机、深度感知(测距)摄像机(例如飞行时间照相机)、基于红外或超声的感测设备、或可穿戴传感器设备(例如合并了一个或多个加速计和/或陀螺仪传感器的服装或配件)。在控制器上运行的手势识别算法从传感器装置接收输入,并且基于此作出动作以识别由用户执行的预确定手势并将这些手势映射到照明控制请求。这对于用户而言或多或少更自然,但仍然需要明确的、手动的用户输入。
确实存在一些技术用于自动控制建筑物或房间中的灯光或其类似物。这些涉及借助存在检测器(诸如被动红外传感器或主动超声传感器)来检测用户的存在。然而,这些技术倾向于是相当简陋的,因为它们只检测用户是否存在于建筑物或房间的某预定义区域中,并且根据是否存在而仅仅接通或断开灯或者调亮或调暗它们。
发明内容
将期望找到用于自动控制待被用户控制的一个或多个照明设备的替代技术。
角膜成像是一种新兴技术,其中人的高分辨率图片由照相机捕获,并且在此人的一只或两只眼睛中看到的反射被提取,以便确定视场中的内容。发明人已经认识到,此(已知)技术具有用于照明控制、并且特别地用于照明的自动动态控制的应用。因此,下文公开一种控制器、系统、方法和计算机程序产品,其在用户移动使得所反射的角膜图像改变时,基于在用户角膜中反射的该照明系统或被照明环境的全部或部分的图像来控制照明系统。这样的功能通过下述获得:使用高分辨率照相机对用户的角膜成像,使得所反射的场景被获得。该控制是动态的,因为在经反射的场景改变时采集新图像,使得可以为每个场景确定照明。于是可以计算新照明设置。
因此,根据此处公开的一个方面,提供了一种用于控制多个照明设备各自根据至少一个相应设置而发射光的控制器,该控制器配置成执行下述操作:获得表示由照相机捕获的角膜图像的图像数据,该角膜图像由从用户的至少一个角膜的至少一部分反射到照相机中的光形成;基于该角膜图像,自动确定对该照明设备中的一个或多个照明设备的相应设置的更新;根据该更新控制所述一个或多个照明设备;以及重复所述获得、确定和控制,以便在用户移动时动态地调适该照明设备的设置。根据此处公开的另外方面,提供了对应的系统、方法和计算机程序产品。
在这方面,可以使用眼睛追踪或注视追踪以确定用户正在看哪个方向。在眼睛追踪和注视追踪的领域中,眼睛的图像用于确定眼睛例如对于用户头部的相对位置,以确定某人正向左看还是向右看;或用于确定相对于用户周围环境的相对位置,以确定该用户正在看用户周围环境中的什么区域。人将需要用户周围环境的地图以使用这些技术确定用户正在看什么对象。另外,确定用户的注视的是:用户眼睛的中心(即,瞳孔)的位置的检测。这不同于角膜成像,在角膜成像中基于照明设备中的哪些照明设备出现在角膜图像内和/或影响角膜图像,自动确定对一个或多个该照明设备的相应设置的更新。
在实施例中,控制器可以配置成使得所述确定包含:基于该一个或多个照明设备相对于角膜图像的位置,自动确定对相应设置的更新。
例如,控制器可以配置成使得根据位置的所述确定包含:根据是否直接出现在角膜图像中,自动确定对该一个或多个照明设备的相应设置的更新。替代地或另外地,控制器可以配置成使得根据位置的所述确定包含:根据是否对形成角膜图像的光间接地有贡献,自动确定对该一个或多个照明设备的相应设置的更新。
另外,不但可能仅仅捕获角膜图像,而且在实施例中,还可估计角膜图像内的用户的视场(FoV),或甚至用户的视觉的中心区域和/或外围视觉。基于用户的注视,在他或她的FoV、视觉的中心区域或外围视觉中出现或有贡献的照明因此可以被估计和处理,使得这些的影响可被考虑在内。
因此,在实施例中,控制器可以配置成确定角膜图像内的用户的视场,并且可以配置成使得根据位置的所述确定包含:根据是否出现在视场内部,和/或根据是否对视场内部的光有贡献,自动确定对该一个或多个照明设备的相应设置的更新。在一些实施例中,控制器可以配置成使得根据位置的所述确定包含:根据是否出现在中心区域内部和/或根据是否对中心区域内部的光有贡献,自动确定对该一个或多个照明设备的相应设置的更新。替代地或另外地,控制器可以配置成使得根据位置的所述确定包含:根据是否出现在外围区域中和/或根据是否对外围区域内部的光有贡献,自动确定对该一个或多个照明设备的相应设置的更新。
例如,更新可以包含:分别将角膜图像、视场或中心区域内部的任何照明设备设置为接通(ON)或第一光输出水平;以及将角膜图像、视场或中心区域外部的任何照明设备设置为断开(OFF)或比第一水平低的第二光输出水平。
在一个示例中,更新可以包含当用户移动时,将当前出现在角膜图像、视场或中心区域中的任何照明设备的设置保持恒定值,和/或,当用户移动时,将当前对角膜图像、视场或中心区域中的光有贡献的任何照明设备的设置保持恒定值。
在另外的实施例中,例如根据用户偏好、与用户角膜图像或FoV中的对象相关联的光设置、在用户的角膜图像中已经观察到的当前和/或之前的光设置、和/或其它的用户的光设置,可以计算(多个)新照明设置。
例如,控制器可以配置成使得所述确定包含下述中的一个或多个:(a)响应于检测到预确定对象出现在角膜图像、视场或中心区域中,自动确定更新;(b)基于在角膜图像、视场或中心区域中测量的对比度的测量,自动确定更新;和/或(c)响应于检测到角膜图像、视场或中心区域中的一个或多个照明设备的强度高于阈值,自动降低该强度。
在实施例中,控制器可以布置成从数据库读取由用户预配置的一个或多个预配置的照明控制规则;并且待被应用的更新可以根据该一个或多个预配置的照明控制规则来确定。
附图说明
通过示例的方式参考附图,以帮助理解本公开以及示出实施例可以如何实施,在附图中:
图1是包括照明系统和用户的环境的示意图,
图2是包括照明设备的角膜反射的用户眼睛的示意图,
图3是自动和动态地控制照明设备的方法的流程图,
图4A和4B示意性地图示一种当用户在环境内移动时自动和动态地更新照明设备的设置的方案。
具体实施方式
随着越来越高分辨率的传感器变得可用,成像在过去几十年中已经演变。例如,一些现代智能电话现在提供超过4000万像素的分辨率以及复杂的透镜系统。增加像素分辨率帮助使得角膜成像能够实现,因为目标图像仅从角膜的小区域(通常从远处)反射,角膜成像需要高的像素分辨率。角膜成像已由哥伦比亚大学等记录。例如参见:
“Corneal Imaging System: Environment from Eyes”;KO NISHINO,德雷塞尔大学计算机科学系,宾夕法尼亚州费城栗树街3141号,邮编19104;和SHREE K.NAYAR,哥伦比亚大学计算机科学系,纽约州纽约市阿姆斯特丹大道MC 0401,1214号,邮编10027;2006年4月出版;Springer Science + Business Media,Inc.;International Journal of ComputerVision 70(1),23-40,2006;DOI 10.1007/s11263-006-6274-9。例如,此引文的图1、15、17、18和19给出了使用现代技术现在可以从角膜捕获的水平细节的想法。
也参见:“Eyes for Relighting”,Ko Nishino和Shree K Nayer,哥伦比亚大学计算机科学系,2004,ACM 0730-0301/04/0800-0704。
角膜成像进而使得跨不同的市场领域(包括如本文认识到的照明控制)的许多产品机会能够实现。
因此,下文公开了一种控制器、系统、计算机程序和方法,其基于下述的迭代过程控制照明设备:
捕获角膜图像(即角膜中的反射的图像,其示出用户看到的事物);
基于角膜图像确定(该确定例如基于编码光或所发射的光的颜色)所述照明设备中的哪些照明设备在用户的视场(FoV)中,或者确定哪些照明设备对用户的FoV有影响(注意,在实施例中,照明设备自身不一定必须在用户的视场中,而是只有所发射的光必须在用户的FOV中);
(例如基于用户简档)确定待被应用于所识别的照明设备的光设置;以及
根据(例如由用户预先配置的)规则控制照明设备。
这些规则的示例是:
照明效果随着用户看的位置移动,例如,用户看向房间的右侧,作为响应,该房间的右侧之后以诸如紫色的某特定颜色照亮,并且当用户随后开始看该房间的左侧时,该房间的左侧现在以紫色色调照亮;
切断不在用户的FoV中的照明设备(或者不对用户的FoV有贡献的照明设备 - 一些照明设备可能没有被用户看到,而它们创造的光效果仍然在用户的FoV内,例如从墙反射)。
注意,通常用户实际上没有看到整个角膜图像,即,相比于穿过瞳孔投射到用户的视网膜上,角膜反射更多。因此在实施例中,处理角膜图像以估计角膜图像内的用户的视场。然而,虽然本文描述的实施例可以关于FoV而举例说明,更一般地,本文描述的过程可以基于下述被应用:确定所述照明设备中的哪些照明设备出现于和/或影响完整的角膜图像(例如作为用户的视觉的近似),或者具体确定所述照明设备中的哪些照明设备出现于和/或影响FoV内的更小子区域(诸如用户的FoV的中心区域(例如对应于中央凹或黄斑)和/或外围视觉(例如在中央凹或黄斑外部)),或者这些考虑的任何组合。
图1图示根据本公开的实施例的示例照明系统。该系统安装或安置于环境2,例如包含一个或多个房间和/或走廊的建筑物的内部空间,或者诸如花园或公园的室外空间,或者诸如凉亭的部分覆盖的空间,或者实际上其它任何其它空间(诸如车辆内部)。该系统包含控制器9和经由无线和/或有线的连接耦合到控制器9的一个或多个可控照明设备4,控制器9经由该连接可以控制照明设备4。图1中以示例的方式图示三个照明设备4a、4b和4c,但是将领会,在其它实施例中该系统可以包含受控制器9控制的其它数量的照明设备4,从单个照明设备直到几十、几百或甚至几千个。在实施例中,每个照明设备4表示用于照亮环境2的不同照明器,或照明器的不同的独立可控光源(灯),每个光源包含诸如LED的一个或多个照明元件(照明器是包括(多个)光源和任何相关联的外壳和/或插座的灯具 - 在许多情况下,每个照明器具有一个光源,但是不排除给定的照明器可以包含多个独立可控光源)。例如,每个照明器或光源4可以包含LED阵列、白炽灯或气体放电灯。
控制器9表示可以以在一个或多个物理位置处的一个或多个物理控制器单元的形式实现的功能元件。例如,控制器9可以实现为经由照明网络连接到光源4的单个中央控制器,或者可以实现为例如形式为集成到每个照明设备4中的分开的控制器单元的分布式控制器。控制器9可以在环境2中本地地实现,或者例如从经由诸如互联网的网络与照明设备4通信的服务器远程地实现,或者通过这些的任何组合而实现。另外,控制器9可以在软件、专用硬件电路、或者可配置或可重新配置电路(诸如PGA或FPGA)或这些装置的任何组合中实现。在软件的情况下,这采取储存在一个或多个计算机可读储存介质上并且布置成在控制器9的一个或多个处理器上运行的代码的形式。例如,计算机可读储存器可采取下述形式:例如,磁性介质(诸如硬盘)、或电子介质(诸如EEPROM或“闪速”存储器)、或光学介质(诸如CD-ROM)、或者这些介质的任何组合。
该系统还包含经由本地或远程的有线和/或无线的连接耦合到控制器9的高分辨率照相机10。此照相机10可以是独立式设备,或者集成到诸如移动设备或电视的另一产品中。无论哪种方式,它被定位在合适的位置和取向以捕获环境2的至少一个图片,使得当存在(人类)用户6时,用户6的至少一只眼睛12的至少一部分在该图片中可见;并且特别地,使得该图片包括用户6的至少一个角膜18的至少一部分的图像。在实施例中,多个这样的照相机可用于覆盖更广的环境,但是作为示例,下文将关于一个照相机10来描述。
图2给出人类眼睛12的简化图示。眼睛12包含巩膜(眼睛的白色)16、虹膜20、瞳孔22和角膜18。眼睛12可以由眼睑15部分覆盖。角膜18是覆盖虹膜20和瞳孔22(以及未示出的前房,其位于虹膜20和瞳孔22前面但是位于角膜18后面)的眼睛的透明部分。角膜18是眼睛12的光学组件,其部分地负责折射穿过瞳孔22的光,以便在眼睛的视网膜(未示出)上形成图像。角膜18还是高反射性的。注意,角膜18没有在巩膜16上方延伸,巩膜的反射性不如角膜。巩膜16通过角巩缘与巩膜16分离(并且附接到巩膜16)。
如稍后将更详细地举例说明,控制器9使用照相机10以执行角膜18的成像,使得从角膜18反射的场景被获得。利用对于情况(例如,给定从照相机10到用户6的距离以及用户的角膜18相对于照相机10的角度)而言足够高分辨率的照相机10,可以分辨场景中单个对象的细节 - 例如再次参见上面引用的Nishino和Nayer的出版物。因此,如果一个或多个该照明设备4处于由角膜18反射的立体角内,这些照明设备将在角膜图像中可见。通过示例的方式,图2示出分别从角膜18反射的两个照明设备4b和4c的反射4b'和4c'。
因此,控制器9能够从角膜图像估计哪些照明设备4(如果有的话)存在于角膜图像中,和/或哪些照明设备4存在于角膜图像内的用户的视场、用户的视觉的中心区域和/或用户的外围视觉中。
现在关于图3的流程图以及图4A和4B的图更详细地讨论控制器9的操作。
在步骤T10,用户6(或者实际上不同的用户,例如系统管理员)定义光图11,光图11定义不同视场(FoV)中的灯设置之间的关系。光图是从小的查找表向上的任何大小的数据库,并且可以在任何一种或多种合适储存介质中实现,该储存介质例如为控制器9的本地储存器,或者控制器9经由网络访问的本地或远程服务器。另外,光图11可以或者在单个物理储存单元处实现,或者在多个物理储存单元上分布。
光图11定义:当用户6改变他或她的FoV时,他或她希望怎样变化他或她的环境2内的照明设备4(或者诸如管理员的另一用户希望照明设备4怎样随着用户6的FoV而变化)。光图11可以包含许多模板,每个模板包含一个或多个指令或者详细的指令集,其将控制信息与照明设备4以及基于角膜图像可检测的一个或多个可能情况关联。
例如,光图11可以针对系统中的每个照明设备4列出:如果某特定照明设备落入FoV内,则哪一个或多个设置将被应用于该特定照明设备;和/或如果某特定照明设备落在FoV外部,则哪一个或多个设置将被应用于该特定照明设备(和/或如果某照明设备落入完整的角膜图像、视觉的中心区域和/或外围视觉内和/或外部,则哪一个或多个设置将被应用于该照明设备)。或者,光图11可以定义待应用于系统中所有照明设备4的规则,该规则定义哪一个或多个设置将被应用于落入FoV内的任何照明设备,和/或哪一个或多个设置将被应用于任何照明设备(如果其落在FoV之外)(和/或哪一个或多个设置将被应用于任何照明设备(如果其落入完整的角膜图像、视觉的中心区域和/或外围视觉中))。
作为示例,用户6可以选择一模板,该模板定义:当他或她改变他或她的FoV时,照明设置发生变化,以便允许在FoV中维持相同的照明设置,而不考虑用户的取向 - 即,因此特定照明效果跟随用户的注视,例如因此用户的FoV中的任何灯光总是接通、调亮到某一水平或发射某一颜色。可选地,用户6后面(并且因此不在该用户的FoV中)的照明设备也被控制,例如因此用户的FoV外部的照明设备总是断开、调暗到某一水平或发射某一其它颜色。
作为另一示例,光图11中的模板可以描述每一个照明设备4处于用户6的FoV的中心区域中时的属性,和每一个照明设备4处于用户6的外围视觉中时的属性。
在步骤T20,控制器9使用高分辨率照相机10对来自用户6的角膜18的角膜反射进行成像。控制器9追踪角膜18,并且例如使用由Nishino和Nayer公开的技术计算在角膜18的图像中反射的场景。
在步骤T30,控制器9确定一个或多个照明设备4中的哪些存在于由用户的角膜18成像的场景中。存在于经反射的场景中的照明设备通过(使用例如场景各处的强度的相对改变)处理图像来确定,并且被识别,因此它们可以被单独地寻址。这可以以许多种方式实现。
例如,在实施例中,照明设备4可以基于编码光来识别。在此情况下,每个照明设备4配置成发射利用不同相应嵌入式ID调制(在实施例中在超越人类感知的频率)的它的相应光,该ID在系统中和其它相比是独一无二的,例如各自利用不同调制频率或不同数字代码来调制。此频率或代码之后可以从存在于角膜图像(在实施例中,在多个帧上)中的每个照明设备4b、4c的反射4b'、4c'检测。编码光信号可以由控制器9解调,或者由照相机10中的嵌入式编码光功能解调。
在另一示例中,角膜图像中的照明设备4b、4c可以通过照明设备4在角膜图像中的位置来识别。例如,给定人类角膜18的已知几何形状,控制器9可以计算在角膜图像中出现的照明设备4b、4c相对于用户6和/或相对于(可能也在角膜图像中反射的)照相机10的位置或取向。给定用户6和/或照相机10的“绝对”位置或取向(即,相对于环境2或某一其它已知参考系)的知识,控制器9然后可以计算照明设备4的绝对位置或取向。给定将照明设备4的ID映射到它们绝对位置的数据库或表,控制器9然后可以确定所反射的设备4b、4c的身份。
在另外示例中,角膜图像中的照明设备4b、4c可以通过照明设备4的区别特征(例如独一无二的颜色谱、强度等)来识别,或者,或者通过使用控制器9轮询个体灯(也许是察觉不到地)来识别。
注意,根据Nishino和Nayar,“角膜视场”(即,由被角膜18反射的所有事物组成的完整的角膜图像)总是大于用户的视场(投射到视网膜上的角膜图像的那部分)。即,不是由角膜18反射的所有事物都折射穿过瞳孔22。因此Nishino和Nayar提供用于从角膜图像计算用户的视场(FoV)的算法。
因此,在本公开的实施例中,控制器9可以配置成处理角膜图像,以便替代识别哪些照明设备更一般地出现在角膜图像中或者除此之外,识别哪些照明设备4(如果有的话)具体地出现在用户的FoV中。例如,被识别以控制的条件可以具体是照明设备4在FoV内部,而不仅仅在角膜图像内部;或者替代地,所识别的设备被控制的方式可以取决于被识别为在FoV中,还是仅仅在角膜图像中而在FoV外部(例如,相比于仅仅在角膜图像中而不在FoV中的那些设备,用户输入更强烈地影响在FoV中的设备)。
另外注意,人类的视场由中心区域和外围视觉组成,区别在于它们在视网膜的对应区域中具有不同密度的光感受器。不同的生物学定义是可能的,例如,中心区域可对应于黄斑或中央凹 - 视网膜的黄斑或中央凹区域 - 而外围区域可对应于视网膜的其余部分。因此,在本公开的实施例中,控制器9可以配置成处理角膜图像以识别哪个照明设备4(如果有的话)具体出现在用户的中心视觉区域中,和/或哪些照明设备具体出现在外围视觉区域中。例如,被识别以控制的条件可以具体是照明设备4在用户的FoV的中心区域内部,而不仅仅在用户的外围视觉中;或者替代地,所识别的设备4被控制的方式可以取决于被识别为在FoV的中心区域中还是仅仅在FoV的外围区域中(例如,相比于仅仅在外围区域中的那些设备,用户输入更强烈地影响在中心区域中的设备)。
本文的实施例可以就FoV来描述,但是将理解,在本说明书中描述识别哪些照明设备4存在或出现在FoV等的任何地方,这可以替代地或另外地应用于确定是否存在或出现于完整的角膜图像、用户的FoV的中心区域和/或用户的FoV的外围视觉区域。例如,完整的角膜图像可以用作用户的视觉的近似,以避免在计算FoV中涉及的复杂处理操作。
另外,在实施例中,控制器9可以使用角膜图像,从而不仅识别哪些所述照明设备4直接出现在角膜图像、FoV、中心区域和/或外围视觉中;而且识别哪些所述照明设备4对从角膜18反射到照相机10中的光间接地有贡献。“间接”在这里意味着照明设备4自身在用户6后面并且在角膜18覆盖的立体角外部,但是来自该设备4的一些光在从角膜18反射之前,经由从一些其它附加表面(诸如白色墙壁)的反射(例如漫反射)仍然到达。例如,在照明设备4通过它们发射的编码光被识别或通过诸如光谱的特征被识别的情况中,此信息仍然会从间接光可检测。
在本说明书中描述识别哪些照明设备4存在或出现(即直接出现)于角膜图像、FoV、中心视觉区域或外围视觉区域等的任何地方,这可以替代地或另外地应用于识别哪些照明设备4对进入角膜图像、FoV、中心视觉区域和/或外围视觉区域中的光有贡献。
注意,识别处于角膜图像中的那些照明设备4的动作包含识别那些一个或多个照明设备4处于角膜图像中的事实,以及确定它们的身份两者。类似地,识别处于诸如FoV、中心视觉区域或外围视觉区域的某一区域中的那些照明设备4的动作包含识别那些一个或多个照明设备4处于在所讨论的特定区域中的事实,以及确定它们的身份两者。
还注意,照明设备4被识别为在角膜图像、FoV、中心区域或外围区域中或内部的条件可以是:它完全出现在角膜图像、FoV、中心区域或外围区域内部(在这种情况下,如果设备4的任何部分在外部,则其被认为是在外部);或者替代地,被识别为在角膜图像、FoV、中心区域或外围区域中或内部的条件可以是:照明设备4的至少一部分分别出现在角膜图像、FoV、中心区域或外围区域内部(在这种情况下,只有当完全在外部时,它才被认为是在外部)。作为另一替代方案,可以为照明设备4定义不同规则,其覆盖被识别为完全在角膜图像、FoV或区域内部,完全在外部,或重叠的不同可能情况。
无论用于被识别的一个或多个标准是什么,角膜图像、FoV、中心区域和/或外围视觉区中的每个所识别的照明设备4之后利用其相应的关联设置(该设置可以从照明控制器9确定,或通过包括照明设备4的场景的图像估计)来标记。
在步骤T40,控制器9检测用户6的FoV中的改变。FoV中的改变可以以许多种方式检测,诸如检测在角膜图像中捕获的场景(包括光源)中的改变,或者借助一些其它手段(诸如应用于由照相机10捕获的更宽图片的图像识别算法)或单独的运动传感器,检测用户取向的改变。
作为响应,在步骤T50,控制器9检测哪些所述照明设备4存在于随后的FoV中,包括确定它们的身份。类似于步骤T30,在角膜18中反射的场景的图像被捕获,并且FoV例如如由Nishino和Nayer所描述的被计算。存在于场景中的照明设备4(使用例如场景各处的强度的相对改变)被检测,并且场景中每个照明设备的独一无二的标识符被查明,因此它们可以被单独寻址。再次,这可以以许多种方式实现,诸如:基于编码光;通过用户(并且因此FOV)和照明设备4的已知位置和/或取向;通过灯的区别特征(颜色、强度等);或者通过使用灯控制系统(也许是察觉不到地)轮询个体的灯。FoV中的每个照明设备4然后利用其相应的关联的设置来标记。
在步骤S60,控制器9基于光图11以及FoV中的改变或新FoV计算一个或多个照明设备4的设置的改变。这可以通过下述实现:确定最初在用户的FoV中的照明设备4的设置、确定用户的新FoV中的照明设备4的当前设置和身份、以及确定用户的新FoV中所识别的照明设备4的所需要的新设置。这使用光图11,并且使用由此描述的功能来执行,以计算用户的新FoV中的照明设备的新绝对设置。
在实施例中,可以应用类似过程用于确定现在在用户的FoV外部的照明设备,以及用于基于由光图11描述的另一功能确定应该如何设置它们的设置。或者在替代的或另外的实施例中,可以应用相似过程用于控制被检测为处于用户的视觉中心区域中的照明设备和被检测为处于用户的外围视觉中的那些照明设备的设置。
在计算了(多个)新绝对水平之后,控制器9然后计算灯现存设置和它们所需要的新设置之间必要的改变。替代地,没有必要就相对于之前设置的改变而言计算新设置,控制器9而是可以(基于新FoV和光图11中的(多个)规则)简单地直接确定新绝对设置。
还注意,步骤T40并不是在所有可能实施例中都必需的。例如,不是检测用户的FoV中的改变,控制器9可以周期性地(即以规则的间隔)执行FoV中的照明设备的识别(步骤T50)。
图4A和4B图示可由光图11定义并且根据上述过程应用的规则的示例。在此示例中,在系统中存在三个照明设备4a、4b、4c,每个照明设备在用户周围在水平面中处于不同位置。光图11中的规则定义:在用户的FoV 26(或相对于用户的角膜图像18的其它光学定义区域,例如视觉的中心区域或整个角膜图像)中检测到的任何照明设备4应该被接通或设置为第一调光水平;而在此区域外部检测到的任何照明设备4应该被断开,或者调光到低于第一水平的第二水平。想象用户6当前这样取向:他或她的注视24的方向定向为使得FoV 26涵盖照明设备4b和4c,而不涵盖4a。控制器9从角膜图像中检测到这点,并且基于其在光图11中查找到的规则,相应地控制照明设备4b和4c为接通(或调光到第一水平)并且控制照明设备4a为断开(或调光到第二水平)。想象用户之后将他或她的注视24的方向转到不同取向,使得FoV 26现在涵盖照明设备4a和4b,而不涵盖4c。控制器9检测到这点,并且基于该规则,相应地控制照明设备4a和4b为接通(或调光到第一水平)并且控制照明设备4c为断开(或调光到第二水平)。
类似的过程可以用于控制灯光的颜色,例如,FoV 26中的任何照明设备4被设置为某一颜色,而外部的任何照明设备被断开或设置为某一其它颜色。
以上已经描述了照明设备r4基于它们相对于角膜图像的位置(例如,是否落入和/或影响角膜图像内的FoV)而被控制的过程。然而,在其它替代或另外的实施例中,控制器9可以配置成基于从在角膜图像中反射的场景检测到的一个或多个其它属性来控制照明设备。
例如,在一个实施例中,角膜图像可以用于确定是否有任何灯是炫目的,并且因此应该被调光。例如,可设置阈值强度,高于该阈值强度的光对于一般或代表性用户而言将是不舒适或有害的,并且控制器9可以配置成使得如果其在所反射的场景中(或该场景中的任何点)检测到任何照明设备4,则其将采取行动以调暗令人不快的照明设备4,直到该阈值不再被超出。
在另一示例中,新光设置可以基于存在于从角膜18反射的场景中的对比度而自动导出。在这种情况下,控制器9可以配置成调适照明设备,直到对比度(并且因此眩光)下降低于某一特征水平。例如,当自动调适场景中的对比度时,可以计算场景中图像的对比度,并且可以识别落在定义的最大对比率外部的照明设备4。然后可以为位于外部的照明设备计算新照明设置,使得场景的总对比率降低。因此,自动计算照明设备的新设置以限制在用户6的角膜18中可见的最大对比度。
在又一示例中,可以根据与在用户的角膜图像或FoV中检测到的对象相关联的光设置,计算新照明设置。例如,用户6可以在光图11中指定他或她感兴趣的某一对象或对象类型,并且控制器9配置成,当(基于图像识别算法)在从用户角膜18的反射中检测到该对象时,接通或调亮或者断开或调暗一个或多个该照明设备4。例如,此技术可以用于自动照亮用户6正在寻找的丢失物品,或者用于当用户6正在观看电视时自动调暗房间照明。
对于多个用户,裁决算法可用于调适每个灯的设置,使得每个用户的偏好在(多个)照明设备4的设置中被考虑。因此在实施例中,控制器9可以配置成基于多个用户的角膜图像识别一个或多个可控照明设备4,并且执行裁决以自动控制基于多个用户的角膜图像而识别的那些可控照明设备。
例如,这样的裁决算法可配置成基于下述规则中的任何一个或多个来执行裁决。在实施例中,裁决算法可以确定是否存在针对不同用户的匹配偏好。例如存在两个用户,它们中的每一个都偏好40%的调光水平,并且因此这是被设置的调光水平。在实施例中,裁决算法可以确定是否存在针对不同用户的重叠的偏好范围。例如存在三个用户,第一用户偏好在30%和60%之间的调光水平,第二用户偏好在40%和80%之间的调光水平,并且第三用户偏好在50%和100%之间的调光水平,并且因此在50%至60%的重叠范围内选择调光水平 - 例如,此范围内的调光水平的选择可以基于所有三个用户的平均调光水平偏好。在另外实施例中,该算法可以在分歧的用户偏好之间调解。例如,第一用户偏好20%-50%之间的调光水平并且第二用户偏好70%和100%之间的调光水平,并且被设置的调光水平为在第一用户的上界和第二用户的下界之间的取中值。在另外实施例中,该算法可以请求用户反馈以解决偏好之间的差异,例如,请求用户调适他们的偏好。在再另外实施例中,该算法可以基于排名将用户偏好按优先顺序排列,例如,处于他的家庭位置中的用户的偏好优先于在该位置处是客人的用户的偏好。这些仅仅是一些示例。用户偏好可以涉及调光水平、光色、待照亮区域等。
将领会,上面的实施例仅通过示例的方式描述。通过研究附图、公开内容和所附权利要求,本领域技术人员在实践所要求保护的发明时,可以理解和达成对所公开实施例的其它变型。权利要求中,词语“包含”不排除其它元素或步骤,并且不定冠词“一(a或an)”不排除复数。单个处理器或其它单元可以实现权利要求中列举的若干项目的功能。在互不相同的从属权利要求中列举某些措施的纯粹事实并不表示不能有利地使用这些措施的组合。计算机程序可以储存/分布于合适介质,诸如与其它硬件一起提供或作为其它硬件的部分提供的光学储存介质或固态介质,但是还可以以其它形式分布,诸如经由互联网或其它有线或无线的电信系统。权利要求中的任何附图标记不应解释为限制范围。

Claims (15)

1.一种用于控制多个照明设备(4a、4b、4c)各自根据至少一个相应设置而发射光的控制器(9),所述控制器配置成执行下述操作:
获得由照相机(10)捕获的角膜图像,所述角膜图像由从用户(6)的至少一个角膜(18)的至少一部分反射到所述照相机中的光形成;
基于哪些所述照明设备出现在所述角膜图像内和/或影响所述角膜图像,自动确定对一个或多个照明设备的相应设置的更新;
根据所述更新控制所述一个或多个照明设备;以及
当所述用户移动使得所述角膜图像改变时,重复所述获得、确定和控制,以便动态地调适所述照明设备的设置。
2.根据权利要求1所述的控制器,其中所述确定包含:
基于所述一个或多个照明设备相对于角膜图像的位置,自动确定对相应设置的更新。
3.根据权利要求2所述的控制器,其中根据位置的所述确定包含:
根据所述一个或多个照明设备是否直接出现在所述角膜图像中,自动确定对所述一个或多个照明设备的相应设置的更新。
4.根据权利要求2或3所述的控制器,其中根据位置的所述确定包含:
根据所述一个或多个照明设备是否对形成所述角膜图像的光间接地有贡献,自动确定对所述一个或多个照明设备的相应设置的更新。
5.根据权利要求2至4中任意一项所述的控制器,其中所述控制器(9)配置成确定所述角膜图像内的所述用户的视场,并且根据位置的所述确定包含:
根据是否出现在所述视场内部,和/或根据所述一个或多个照明设备是否对所述视场内部的光有贡献,自动确定对所述一个或多个照明设备的相应设置的更新。
6.根据权利要求5所述的控制器,其中所述用户的视场包含中心区域和外围区域,并且根据位置的所述确定包含:
根据是否出现在所述中心区域内部,和/或根据所述一个或多个照明设备是否对所述中心区域内部的光有贡献,自动确定对所述一个或多个照明设备的相应设置的更新。
7.根据权利要求5所述的控制器,其中所述用户的视场包含中心区域和外围区域,并且根据位置的所述确定包含:
根据是否出现在所述外围区域中,和/或根据所述一个或多个照明设备是否对所述外围区域内部的光有贡献,自动确定对所述一个或多个照明设备的相应设置的更新。
8.根据权利要求3至7中任意一项所述的控制器,其中所述更新包含:
分别将所述角膜图像、视场或中心区域内部的任何所述照明设备设置为接通或第一光输出水平;以及将所述角膜图像、视场或中心区域外部的任何所述照明设备设置为断开或低于第一水平的第二光输出水平。
9.根据权利要求3至8中任意一项所述的控制器,其中所述更新包含,当所述用户(6)移动时,将当前出现在所述角膜图像、视场或中心区域中的任何所述照明设备的设置保持恒定值,和/或当所述用户移动时,将当前对所述角膜图像、视场或中心区域中的光有贡献的任何所述照明设备的设置保持恒定值。
10.根据前述权利要求中任意一项所述的控制器,其中所述确定包含下述中的一个或多个:
响应于检测到预确定对象出现在所述角膜图像、视场或中心区域中,自动确定所述更新;
基于在所述角膜图像、视场或中心区域中测量的对比度的测量,自动确定所述更新;和/或
响应于检测到所述角膜图像、视场或中心区域中的一个或多个所述照明设备的强度高于阈值,自动降低所述强度。
11.根据前述权利要求中任意一项所述的控制器,其中:
所述控制器(9)布置成从数据库(11)读取一个或多个预配置的照明控制规则,所述照明控制规则由用户预配置;并且
待被应用的更新根据所述一个或多个预配置的照明控制规则来确定。
12.根据前述权利要求中任意一项所述的控制器,其中所述控制器配置成,基于下述中的一个或多个,识别所述一个或多个光源中的每个相应的光源:
由相应的光源发射的编码光信号,
所述相应的光源的光谱,和/或
所述相应的光源的位置。
13.一种包含根据前述权利要求中任意一项所述的控制器(9)、所述照相机(10)以及一个或多个可控照明设备(4a、4b、4c)的装置的系统。
14.一种控制多个照明设备(4a、4b、4c)各自根据至少一个相应设置而发射光的方法,所述控制器配置成执行下述操作:
获得由照相机(10)捕获的角膜图像,所述角膜图像由从用户(6)的至少一个角膜(18)的至少一部分反射到所述照相机中的光形成;
基于哪些所述照明设备出现在所述角膜图像内和/或影响所述角膜图像,自动确定对一个或多个照明设备的相应设置的更新;
根据所述更新,控制所述一个或多个照明设备;以及
当所述用户移动使得所述角膜图像改变时,重复所述获得、确定和控制,以便在所述用户移动时动态地调适所述照明设备的设置。
15.一种用于控制多个照明设备(4a、4b、4c)各自根据至少一个相应设置而发射光的计算机程序,所述计算机程序产品包含代码,所述代码收录于一个或多个计算机可读储存介质,并且所述代码配置成当在一个或多个处理器上运行时执行下述操作:
接收由照相机(10)捕获的角膜图像,所述角膜图像由从用户(6)的至少一个角膜(18)的至少一部分反射到所述照相机中的光形成;
基于哪些所述照明设备出现在所述角膜图像内和/或影响所述角膜图像,自动确定对一个或多个照明设备的相应设置的更新;
根据所述更新,控制所述一个或多个照明设备;以及
当所述用户移动使得所述角膜图像改变时,重复所述接收、确定和控制,以便动态地调适所述照明设备的设置。
CN201580052133.6A 2014-09-25 2015-08-31 照明的控制 Pending CN106716305A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14186322 2014-09-25
EP14186322.5 2014-09-25
PCT/EP2015/069847 WO2016045911A1 (en) 2014-09-25 2015-08-31 Control of lighting.

Publications (1)

Publication Number Publication Date
CN106716305A true CN106716305A (zh) 2017-05-24

Family

ID=51589204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580052133.6A Pending CN106716305A (zh) 2014-09-25 2015-08-31 照明的控制

Country Status (5)

Country Link
US (1) US9942966B2 (zh)
EP (1) EP3198992B8 (zh)
JP (1) JP2017528888A (zh)
CN (1) CN106716305A (zh)
WO (1) WO2016045911A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108762511A (zh) * 2018-06-14 2018-11-06 北京七鑫易维信息技术有限公司 一种光源控制方法及装置
CN111052865A (zh) * 2017-06-01 2020-04-21 欧司朗有限责任公司 通过星座图标识和定位照明器

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6406088B2 (ja) * 2015-03-25 2018-10-17 株式会社デンソー 操作システム
JP6655810B2 (ja) * 2015-08-21 2020-02-26 パナソニックIpマネジメント株式会社 照明制御システム、およびこれに用いられる照明制御装置
CN105934028B (zh) * 2016-05-25 2017-11-10 北京易迈医疗科技有限公司 一种自适应照明调节系统以及医用头盔
FI20175960A1 (en) * 2017-10-30 2019-05-01 Univ Of Eastern Finland Procedure and apparatus for gaze detection
US20220132641A1 (en) * 2019-02-14 2022-04-28 Signify Holding B.V. Improving automation rules by determining a relationship between events and control commands

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3203951B2 (ja) * 1993-08-04 2001-09-04 日産自動車株式会社 車両用インタフェース
US20060110008A1 (en) * 2003-11-14 2006-05-25 Roel Vertegaal Method and apparatus for calibration-free eye tracking
CN102422719A (zh) * 2009-05-14 2012-04-18 皇家飞利浦电子股份有限公司 用于控制照明的方法和系统
CN102918834A (zh) * 2010-03-01 2013-02-06 艾肯姆有限公司 用于空间控制的景物照明的系统和方法
CN103503575A (zh) * 2011-03-07 2014-01-08 齐德公司 一种具有安全装置的led灯
CN103917150A (zh) * 2011-10-22 2014-07-09 爱尔康制药有限公司 用于监测眼睛的一个或多个参数的设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0865637A4 (en) 1995-12-04 1999-08-18 Sarnoff David Res Center DETECTION SYSTEM WITH A WIDE AND NARROW FIELD OF VIEW AND METHOD
US9398848B2 (en) * 2008-07-08 2016-07-26 It-University Of Copenhagen Eye gaze tracking
EP2238889B1 (en) * 2009-04-01 2011-10-12 Tobii Technology AB Adaptive camera and illuminator eyetracker
US8300036B2 (en) 2010-06-29 2012-10-30 Bank Of America Corporation Method and apparatus for reducing glare and/or increasing privacy of a self-service device
JP6303297B2 (ja) * 2013-06-14 2018-04-04 富士通株式会社 端末装置、視線検出プログラムおよび視線検出方法
US9781360B2 (en) * 2013-09-24 2017-10-03 Sony Interactive Entertainment Inc. Gaze tracking variations using selective illumination
US9736373B2 (en) * 2013-10-25 2017-08-15 Intel Corporation Dynamic optimization of light source power

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3203951B2 (ja) * 1993-08-04 2001-09-04 日産自動車株式会社 車両用インタフェース
US20060110008A1 (en) * 2003-11-14 2006-05-25 Roel Vertegaal Method and apparatus for calibration-free eye tracking
CN102422719A (zh) * 2009-05-14 2012-04-18 皇家飞利浦电子股份有限公司 用于控制照明的方法和系统
CN102918834A (zh) * 2010-03-01 2013-02-06 艾肯姆有限公司 用于空间控制的景物照明的系统和方法
CN103503575A (zh) * 2011-03-07 2014-01-08 齐德公司 一种具有安全装置的led灯
CN103917150A (zh) * 2011-10-22 2014-07-09 爱尔康制药有限公司 用于监测眼睛的一个或多个参数的设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111052865A (zh) * 2017-06-01 2020-04-21 欧司朗有限责任公司 通过星座图标识和定位照明器
CN108762511A (zh) * 2018-06-14 2018-11-06 北京七鑫易维信息技术有限公司 一种光源控制方法及装置

Also Published As

Publication number Publication date
US20170231063A1 (en) 2017-08-10
EP3198992B1 (en) 2019-02-27
EP3198992A1 (en) 2017-08-02
US9942966B2 (en) 2018-04-10
JP2017528888A (ja) 2017-09-28
WO2016045911A1 (en) 2016-03-31
EP3198992B8 (en) 2019-04-10

Similar Documents

Publication Publication Date Title
CN106716305A (zh) 照明的控制
CN109076680B (zh) 控制照明系统
CN107077203B (zh) 用于控制一个或多个照明器的安排的控制器和方法
WO2018177311A1 (zh) 视线追踪装置及头戴式显示设备
CN109076679B (zh) 控制照明系统
CN106797692A (zh) 照明偏好裁决
CN104470128B (zh) 一种亮度调节方法及电子设备
KR101543374B1 (ko) 감성 조명제어장치 및 방법
CN108370632A (zh) 产生照明场景
CN113932388B (zh) 用于控制空调的方法及装置、空调、存储介质
US10667366B2 (en) Lighting devices with automatic lighting adjustment
CN106664785A (zh) 确定用于活动的适当照明的方法
CN109791602A (zh) 在一组移动设备中定位移动设备的方法
CN103793045B (zh) 瞳孔追踪装置
CN109417843A (zh) 照明控制
KR102442594B1 (ko) 조명기를 구비한 스테레오 매칭 시스템에서의 코스트 볼륨 연산장치 및 그 방법
KR20170081519A (ko) 얼굴 표정을 이용한 조명 제어 장치 및 그 방법
WO2015170720A1 (ja) 画像認識装置および画像認識方法
JP2019121608A (ja) 端末機器および灯具制御システム
JP2021197214A (ja) 照明システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170524