CN107077203A - 照明控制 - Google Patents
照明控制 Download PDFInfo
- Publication number
- CN107077203A CN107077203A CN201580051869.1A CN201580051869A CN107077203A CN 107077203 A CN107077203 A CN 107077203A CN 201580051869 A CN201580051869 A CN 201580051869A CN 107077203 A CN107077203 A CN 107077203A
- Authority
- CN
- China
- Prior art keywords
- user
- light
- identified
- controllable
- cornea
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
- H05B47/10—Controlling the light source
- H05B47/105—Controlling the light source in response to determined parameters
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
- H05B47/10—Controlling the light source
- H05B47/105—Controlling the light source in response to determined parameters
- H05B47/115—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
- H05B47/125—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings by using cameras
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
- Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
- Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Multimedia (AREA)
- Circuit Arrangement For Electric Light Sources In General (AREA)
Abstract
一种用于控制诸如照明装置那样的一个或多个可控制装置的安排的控制器。所述控制器被配置成执行以下操作:接收由用户执行的人工用户输入的指示;接收表示由照相机捕获的角膜图像的图像数据,所述角膜图像通过从用户的至少一个角膜的至少一部分反射到照相机中的光形成;基于角膜图像,标识可控制装置中的一个或者多个可控制装置;以及响应于人工用户输入,控制一个或者多个所标识的设备。
Description
技术领域
本公开内容涉及用于控制诸如照明装置那样的一个或多个可控制的装置的技术,具体地,涉及标识哪些装置是要被控制的。
背景技术
现在存在许多这样的技术,即:用户通过它们可以控制一个或多个照明装置,诸如照亮房间或其他环境的照明器,例如,为了接通和关断电灯、调高或调低光水平、建立所发射的光的颜色设置或请求来自照明装置的状态信息。
一种技术是使用在诸如智能电话、平板机、或膝上型或台式计算机那样的用户终端上运行的应用。在用户终端与(一个或者多个)照明装置的控制器之间提供有线或无线通信信道,其典型地在移动用户终端的情形下是诸如Wi-Fi、ZigBee或蓝牙信道那样的RF信道。应用被配置成,基于键入到用户终端上运行的应用中的用户输入,使用该信道来发送照明控制请求到控制器。然而,为了做到这一点,还必须确定用户要控制哪个或者哪些照明装置。一种可能性是,用户简单地从由应用呈现的列表中选择想要的(一个或者多个)照明装置,但这并不是非常用户友好的。在另一个示例中,应用能够使用用户终端的内建的照相机(例如,后置的智能电话照相机),以检测被嵌入在由照明装置发射的光中的编码光信号(即,以足够高以使得人类基本上不可感知的频率被调制到光中)。基于这个技术,在所讨论的系统中的照明装置中的每个照明装置被安排成发射以系统内唯一的不同的相应ID(例如,不同的代码和调制频率)被嵌入的光。然后,用户可以把照相机指向他或她希望控制的(一个或者多个)照明装置,以及应用基于由照相机捕获的光中检测的嵌入的ID,自动确定相关的照明装置的身份。这比起从列表中进行选择可能更用户友好,但无论如何,这对于用户来说仍旧是笨拙的、混乱的、不自然的,因为它仍旧要求用户执行明显的动作(握住照相机),他或她除此以外将不会执行这样的动作。另外,在某些情境下,可能合期望的是,在不需要用户终端的情况下控制或至少选择照明装置。
用于控制照明装置的另一种技术是手势控制。在采用手势控制的系统中,系统被提供有适当的传感器装备,诸如2D 视频照相机、立体视频照相机、深度感知(距离)的视频照相机(例如,飞行时间照相机)、基于红外线或超声的传感装置、或可穿戴的传感器装置(例如,与一个或多个加速度计和/或陀螺仪合并的衣服或配饰)。在照明控制器上运行的手势识别算法接收来自传感器装备的输入,并且基于此进行识别由用户执行的预定的手势,把这些手势映射成照明控制请求。这对于用户是更自然的,但它仍旧存在该问题:要确定用户要控制哪个或哪些照明装置。一个建议的想法是使用图像识别来尝试确定用户的面部或身体相对于照明装置面向哪个方向。在这方面可以使用眼睛跟踪或凝视跟踪来确定用户正看着哪个方向。然而,这可能无法总是给出用户意图的最佳指示。
发明内容
将合期望的是,找到一种用于标识要由用户控制的一个或多个照明装置的替换的技术。
角膜成像是一种新出现的技术,其中人的高分辨率图片被照相机捕获,并且在人的一只或者两只眼睛中看到的反射被提取,以便确定什么处于视场中。发明人已经标识出,这种(已知的)技术已经应用到照明控制,特别是当用户执行用户输入(例如,接通或关断电灯、或调亮或调暗电灯的手势)时,用于标识应当被控制的照明装置或者设计。
因此,按照本文公开的一个方面,提供了一种用于控制一个或多个可控制照明装置的安排的控制器,控制器被配置成执行以下操作:接收由用户执行的人工用户输入的指示;接收由照相机捕获的表示角膜图像的图像数据,其由从用户的至少一个角膜的至少一部分反射到照相机中的光形成;基于角膜图像,标识可控制照明装置中的一个或多个可控制照明装置;以及响应于人工用户输入,控制所述一个或多个所标识的照明装置。按照本文公开的另外的方面,提供了对应的系统、方法、和计算机程序产品。
角膜成像可用来确定哪个或者哪些照明装置(如果存在的话)是在完整的角膜图像内的,哪些照明装置(如果存在的话)是在角膜图像内的用户的视场(FOV)中的,和/或哪些照明装置(如果存在的话)是用户正在看的(角膜图像的中心)。可选地,角膜图像也可以揭示,哪些照明装置(如果存在的话)正在提供从物体(例如,在用户的视场中的墙壁)反射的间接光,并且因此,间接到达这个人的眼睛。在眼睛跟踪和凝视跟踪的领域中,眼睛的图像被使用来确定眼睛例如与用户头部的相对位置,以确定某个人是正在看左面还是右面;或相对于用户的周围环境,以确定用户正在看用户周围环境中的什么区域。将需要用户的周围环境的的地图,以使用这些技术确定用户正在看什么对象,此外,检测用户眼睛的中心的位置(即,瞳孔)确定用户的凝视。这不同于角膜成像,其中标识一个或多个可控制装置是基于这些装置在角膜图像中的直接出现或它们对于形成角膜图像的光的间接贡献的。
因此,在实施例中,控制器可被配置成使得所述标识包括标识可控制照明装置中的、直接出现在角膜图像中的一个或多个可控制照明装置;以及所述控制包括,响应于人工用户输入,控制可控制照明装置中的、被标识为直接出现在所述角膜图像中的那些可控制照明装置。替换地或另外,控制器可被配置成使得所述标识包括标识可控制照明装置中的、间接地贡献于形成角膜图像的光的一个或多个可控制照明装置;以及所述控制包括响应于人工用户输入,控制被标识为间接贡献于所述光的那些可控制照明装置。
在实施例中,控制器可被配置成确定在角膜图像内的用户视场;所述标识可包括标识可控制照明装置中的、出现在用户的视场内部和/或贡献于视场内的光的一个或多个可控制照明装置;以及所述控制可包括,响应于人工用户输入,控制被标识为出现在视场内部和/或贡献于在视场内部的光的那些可控制照明装置。在某些实施例中,控制器可被配置成使得所述标识包括标识可控制照明装置中的、出现在中心区域内部和/或贡献于在中心区域内部的光的一个或多个可控制照明装置;以及所述控制包括,响应于人工用户输入,控制被可控制照明装置中的、标识为出现在中心区域内部和/或贡献于在中心区域内部的光的那些可控制照明装置。替换地或另外,控制器可被配置成使得所述标识包括标识可控制照明装置中的、出现在外围区域中和/或贡献于外围区域中的光的一个或多个可控制照明装置;以及所述控制包括,响应于人工用户输入,控制照明装置中的、被标识为出现在外围区域中和/或贡献于外围区域内部的光的那些照明装置。
在实施例中,控制器可被配置成使得所述控制包括根据以下的一项或多项适配一个或多个所标识的照明装置的控制:(a)被标识为直接出现在角膜图像中还是间接贡献于形成角膜图像的光;(b) 被标识为出现在用户的视场内部还是外部;(c) 被标识为贡献于在用户的视场内部的光还是外部的光;(d)被标识为出现在用户的视场的中心区域中还是在外围区域中;和/或(e)被标识为贡献于在用户的视场的中心区域中的光还是外围区域中的光。
在实施例中,所述控制可包括把所述一个或多个所标识的照明装置的光发射设置为更新的设置,其中新设置是基于人工用户输入被确定的。替换地,控制器可被配置成自动地确定更新的设置,但响应于人工用户输入而被触发。例如,所述确定可以是基于在角膜图像中的对比度的测量的。
在角膜图像中的照明装置可以基于发射的光(例如,使用编码光或光的颜色)或照明装置的位置(例如,相对于捕获在角膜图像中同样可见的图像的照相机)而被标识。基于该标识步骤,控制器允许用户控制相关的(一个或者多个)照明装置。
照明装置的控制可以通过使用任何装置(诸如传统的用户接口(例如,在智能电话上)、手势控制(其可以使用相同的成像系统;使用人的图像或角膜图像)等等)实施。
此外,把人工用户输入与从角膜图像标识的装置相关联的技术,以及本文公开的其任何实施例可被扩展成标识和控制其他种类的可控制装置,而不仅仅是照明装置。例如,本文公开的技术可以替换地或另外,相对于一个或多个其他种类的器具(诸如一个或多个空调单元、加热器、电视机、机顶盒、游戏控制台、DVD播放器、炉灶、微波炉、冰箱、冰柜、和/或烤面包机等等)被应用。
附图说明
为了帮助理解本公开内容和示出实施例可以如何被付诸实施,作为示例,参考附图,图中:
图1是包括照明系统和用户的环境的示意图;
图2是包括灯的角膜反射的用户眼睛的示意图;以及
图3是人工控制照明装置的方法的流程图。
具体实施方式
最近几十年,成像逐渐演进,并且越来越高的分辨率的传感器成为可提供的。例如,某些现代的智能手机,连同复杂的透镜系统一起,现提供超过40兆像素的分辨率。提高像素分辨率有助于使得能够实现角膜成像,这要求高像素分辨率,因为目标图像只从角膜的小区域(常常相距一段距离)被反射。角膜成像已由哥伦比亚大学和其他人记录。例如,参见:
“角膜成像系统:来自眼睛的环境(Corneal Imaging System: Environment fromEyes)”; 位于3141 Chestnut Street, Philadelphia, PA 19104的德雷塞尔大学的计算机院的KO NISHINO; 以及位于1214 Amsterdam Avenue MC 0401, New York, NY 10027的哥伦比亚大学的计算机院的SHREE K. NAYAR; 发表于2006年4月; Springer Science +Business Media, Inc.; International Journal of Computer Vision 70(1), 23-40,2006; DOI 10.1007//s1 1263-006-6274-9。 例如,这篇引文的图1、15、17、18和19给出了现在可以通过使用现代技术从角膜捕获的水平细节的想法。
还参见: “用于重新照明的眼睛(Eyes for Relighting)”, 哥伦比亚大学的计算机院的Ko Nishino和Shree K Nayer,2004年,ACM 0730-0301/04/0800-0704。
角膜成像进而又使得能够实现在不同的市场部门提供许多产品机会,包括本文中认可的照明控制。
因此,以下将公开用于基于在一个或多个用户的单个角膜或者多个角膜中反射的情景的全部的或一部分的图像,控制照明系统的控制器、系统、计算机程序和方法。这样的功能是通过使用高分辨率照相机来成像用户的角膜以使得获取反射的情景而获取的。
然后,标识在反射的情景中的照明装置(例如,照明器或单独的灯),包括确认这些照明装置的每个照明装置的唯一标识符,以使得其可以随后被寻址以及其控制设置被改变。
在反射的情景中的新照明设置可以是由用户请求的新设置的结果。这样的设置可以是例如通过(i)使用手势(例如,这些手势是通过独立的手势识别系统或通过确定在用户角膜中的手势的反射图像的成像系统而被获取的)或(ii)使用在智能电话或其他装置上的图形用户接口(GUI)而被请求的。替换地,新的照明设置可以例如基于在情景中存在的对比度被自动导出,其然后可以适配照明装置,直至对比度(并且因此强光)降低到表征的水平以下为止。
对于多个用户,可以使用仲裁算法来适配每个灯的设置,以使得在照明设置中考虑每个用户的偏好。
通常,整个角膜图像并非是实际上用户看到的,即,角膜反射比通过瞳孔投射到用户的视网膜上的更多。因此,在实施例中,可以计算对于一个或多个用户的视场,以使得照明装置当在视场中时可以不同于在视场外部时被控制。在某些实施例中,可以计算落在用户的视场的中心区域中的图像(用来确定用户正在看什么),以及照明装置当在中心区域内部时可以不同于当在用户视觉外部时被控制。
当自动适配情景中的对比度时,计算情景中的图像的对比度,以及标识落在所定义的最大对比度比值以外的照明装置。然后可以对在外的照明装置计算新的照亮设置,以使得情景的总对比度比值被减小。
图1图示了按照本公开内容的实施例的示例照明系统。所述系统被安装或被布置在环境2中,环境2例如是包括一个或多个房间和/或走道的建筑物的内部空间、或诸如花园或公园那样的室外空间、或诸如露台那样的部分覆盖的空间、或实际上诸如汽车内部那样的任何其他空间。系统包括控制器9和经由无线或有线连接而耦合到控制器9的一个或多个可控制照明装置4,经由所述无线或有线连接,控制器9可以控制照明装置4。三个照明装置4a、4b和4c作为示例图示在图1中,但将领会,在其他实施例中,系统可包括在控制器9的控制下的其他数目(从单个照明装置到几十个、几百个、甚至几千个)的照明装置4。在实施例中,照明装置4中的每个照明装置4表示用于照亮环境2的不同的照明器、或一个照明器的不同的单个可控制光源(灯),每个光源包括一个或多个发光元件,诸如LED(照明器是包括(一个或者多个)光源和任何关联的外壳和/或灯座的灯具—在许多情形下,每个照明器存在一个光源,但不排除,给定的照明器可以包括多个可独立控制的光源)。例如,每个照明器或光源4可包括LED的阵列、白炽灯泡、或气体放电灯。
控制器9表示可以在一个或多个物理位置处以一个或多个物理控制器单元的形式被实施的功能元件。例如,控制器9可被实施为经由照明网络被连接到光源4的单个中心控制器,或可被实施为分布式控制器,例如,具有被集成到照明装置4中的每个照明装置的分开的控制器单元的形式。控制器9可以在环境2中被本地实施、或例如从经由诸如互联网那样的网络与照明装置4通信的服务器远程地实施、或这些的任何组合。此外,控制器9可以以软件、专用硬件电路、或诸如PGA或FPGA那样的可配置的或可重新配置的电路、或这样的装置的任何组合被实施。在软件的情形下,这采取被存储在一个或多个计算机可读介质上并且被安排成在控制器9的一个或多个处理器上执行的代码的形式。例如,计算机可读介质可以采取例如诸如磁盘那样的磁介质、或诸如EEPROM或“闪速”存储器那样的电子介质、或诸如CD-ROM那样的光介质、或这样的介质的任何组合的形式。
系统进一步包括经由本地或远程有线和/或无线连接而被耦合到控制器9的高分辨率照相机10。照相机10可以是独立的装置,或集成到诸如移动装置或电视机那样的另外的产品中。不管哪种方式,它被放置在适当的位置和取向,以捕获环境2的至少一个图片,以使得当(人类)用户6存在时,用户6的至少一只眼睛的至少一部分是在图片中可见的;以及具体地,以使得图片包括用户6的至少一个角膜18的至少一部分。在实施例中,多个这样的照相机可用来覆盖更宽的环境,但是,作为示例,以下将相对于一个照相机10进行描述。
图2给出人类眼睛12的简化的图示。眼睛12包括巩膜(眼睛的白色部分)16,虹膜20、瞳孔22和角膜18。眼睛12可以部分地被眼睑15覆盖。角膜18是覆盖虹膜20和瞳孔22(以及未示出的前房,其位于虹膜20和瞳孔22的前面,但在角膜18的后面)的眼睛的透明部分。角膜18是眼睛12的光学部件,它部分上负责把光折射到瞳孔22,以便在眼睛的视网膜上(未示出)形成图像。角膜18也是高度反射性的。应当指出,角膜18不延伸到巩膜16,巩膜不是反射性的。巩膜16通过结构边缘(limbus)而与巩膜16分隔开(和附着到巩膜16)。
正如不久将更详细地解释的,照相机10被控制器9用来执行角膜18的成像,以使得获取从角膜18反射的情景。使用对于环境而言足够高分辨率的照相机(例如,考虑到从照相机10到用户6的距离,和用户的角膜18相对于照相机10的角度),可以决定在情景中单个对象的细节,例如,再次参见以上引用的Nishino和Nayer的出版物。因此,如果照明装置4中的一个或多个照明装置4处在由角膜18反射的立体角内,这些照明装置将是在角膜图像中可见的。作为示例,图2示出了分别从角膜18反射的两个照明装置4b和4c的反射4b'和4c'。
因此,从角膜图像中,控制器9能够估计照明装置4中的哪个照明装置4(如果存在的话)存在于角膜图像中,和/或照明装置4中的哪个照明装置4存在于角膜图像内的用户视场中,用户的中心视觉区域中,和/或用户的外围视觉中。在实施例中,计算图像的对比度,以及标识和表征落在情景内的照明装置4。这将在下面更详细地被讨论。
再次参照图1,系统进一步包括至少一个用于接收来自用户6的人工输入的用户接口。人工输入是由用户明显地执行的输入,即故意地执行的,以便请求选择的操作。此外,如本文提到的人工输入是指由用户通过由除了角膜成像以外的装置检测的、除了仅角膜的方向的以外的机能(faculty)而执行的输入。
例如,在实施例中,用户6拥有用户终端8,诸如智能电话、平板机或膝上型或台式计算机,其被安装有照明控制应用,以及其具有可用于与控制器9通信的适用的有线或无线信道,诸如RF信道(例如,Wi-Fi,ZigBee或蓝牙)。应用使得用户6能够响应于哪些请求被传送到控制器9,通过用户装置8的人工用户接口(例如,GUI,诸如触摸屏接口)而键入一个或多个照明控制请求。
作为另一个示例,用户接口可以利用手势控制。在这种情形下,用户能够通过用他或她的身体部位14中的一个或多个身体部位14做手势而提交一个或多个照明控制请求。手势可以经由与用于角膜成像10的相同照相机10(从角膜图像或更广泛地,环境2的移动图像)或经由分开的传感器装置(例如,分开的飞行时间照相机、立体照相机、红外或超声传感器、或可穿戴的装置)而被检测。
无论用户接口通过哪种装置被实施,其可用于在静态或动态图像中的角膜反射中的全部或部分的角膜反射上使用绝对或相对测量来控制所标识的照明装置4的设置。在实施例中,由用户作出的照明控制请求可以明显地规定由用户期望的新设置或设置的改变。替换地,诸如在反射的情景内的对比度那样的自动测量可用来在静态或者动态图像中的角膜反射中的全部或部分的角膜反射上使用绝对的或相对的测量,而自动确定对于所标识的灯的设置。在这种情形下,由用户作出的照明控制请求触发新设置或改变,但新设置的值或改变的程度由控制器9自动确定。
现在相关于图3的流程图更详细地讨论控制器9的操作。
在步骤S10,控制器9通过使用高分辨率照相机10对来自用户6的角膜18的角膜反射进行成像。控制器9跟踪角膜18,以及例如,通过使用由Nishino和Nayer公开的技术计算在角膜18的图像中反射的情景。
在步骤S20,控制器9确定一个或多个照明装置4中的哪个照明装置存在于由用户的角膜18成像的情景中。在系统仅包括一个照明装置4的实施例中,这意味着确定该照明装置是否存在。在系统包括多个照明装置4的实施例中,这意味着标识在多个照明装置4中的哪个照明装置4存在。照明装置存在于反射的情景中是通过处理图像(例如,使用在情景中强度的相对改变)被确定,并且被标识的,因此它们可以单个地寻址。这可以以许多方式实现。
例如,在实施例中,照明装置4可以基于编码光而被标识。在这种情形下,照明装置4中的每个照明装置4被配置成发射其使用不同的相应嵌入ID而调制的相应的光(在实施例中是超过人类感知的频率),所述嵌入ID在系统中的其他项之中是唯一的,例如,每个光使用不同的调制频率或不同的数字码被调制。这个频率或代码然后可以从角膜图像中存在的每个照明装置4b、4c的反射4b'、4c'中被检测(在实施例中,在多个帧上)。编码光信号可以由控制器9或由照相机10中的嵌入的编码光功能进行解调。
在另一个示例中,在角膜图像中的照明装置4b、4c可以通过在角膜图像中的照明装置4的位置而被标识。例如,考虑到人类角膜18的已知的几何关系,控制器9可以计算在角膜图像中出现的照明装置4b、4c相对于用户和/或相对于也可能在角膜图像中出现的照相机10的位置或取向。考虑到知道了用户6和/或照相机10的“绝对的”位置或取向(即,相对于环境2或某些其他已知的参考帧),控制器9然后可以计算照明装置4的绝对位置或取向。考虑到照明装置4对于其绝对位置的数据库或表格映射ID,控制器9然后可以确定反射的装置4b、4c的身份。
在另外的示例中,在角膜图像中的照明装置4b、4c可以通过照明装置4的不同特性(例如,唯一色谱、强度等等)或通过使用控制器9(可能是不可感知地)轮询单个灯而被标识。
应当指出,按照Nishino和Nayer,“角膜视场”(即,由通过角膜18反射的各种事物组成的完整的角膜图像)总是大于用户的视场(被投射到视网膜上的角膜图像的部分)。即,不是被角膜18反射的各种事物都通过瞳孔22折射。Nishino和Nayer因此提供用于从角膜图像计算用户的视场(FoV)的算法。
因此,在本公开内容的实施例中,代替或除了更一般地标识哪个照明装置出现在角膜图像中,控制器9可被配置成处理角膜图像来标识照明装置4中的哪个照明装置4(如果存在的话)具体地出现在用户的FoV中。例如,对于被标识以用于控制的条件可以是,具体地,照明装置4是在FoV内部,而不是仅仅在角膜图像内部;或替换地,所标识的装置被控制的方式可以取决于被标识为在FoV中还是仅仅在角膜图像中但在FoV外部(例如,相比于仅仅在角膜图像中但不在FoV中的那些照明装置,用户输入更强地影响在FoV中的那些照明装置)。
此外,应当指出,人类的视场由中心区域和外围区域组成,其差别在于,它们具有在视网膜的对应区域中的不同的光感受器的密度。不同的生物定义是可能的,例如,中心区域可以对应于斑点或者小凹——视网膜的有斑点的区域或小凹的区域—而外围区域可以对应于视网膜的其余部分。因此,在本公开内容的实施例中,控制器9可被配置成处理角膜图像,以标识照明装置4中的哪个照明装置4(如果存在的话)具体地出现在用户的中心视觉区域中,和/或哪个照明装置4具体地出现在外围视觉区域中。例如,对于被标识以用于控制的条件可以是,具体地,照明装置4是在用户的FoV的中心区域内部,而不是仅仅在用户的外围视觉中;或替换地,所标识的装置4被控制的方式可以取决于被标识为在FoV的中心区域中还是仅在FoV的外围区域中(例如,相比于仅仅在外围区域中的那些照明装置,用户输入更强地影响在中心区域中的那些照明装置)。
在描述标识哪个照明装置4存在于或出现在角膜图像中等等的本说明书中的任何地方,这可以替换地或另外应用于确定是否存在于或出现在对应于用户的视场(FoV)、用户的FoV的中心区域、和/或用户的FoV的外围视觉区域的角膜图像的部分中。
此外,在实施例中,控制器9可以使用角膜图像来不仅标识照明装置4中的哪个照明装置4直接出现在角膜图像、FOV、中心区域和/或外围视觉中;而且也标识照明装置4中的哪个照明装置4间接地贡献于从角膜18反射到照相机10的光。此处的间接是指照明装置4本身在用户6的后面和处在由角膜18覆盖的立体角外部,但来自该装置4的某些光在从角膜18反射以前仍旧经由从某个其他的另外的表面(诸如白墙)的反射(例如,漫反射)而到达。例如,在照明装置4通过其发射的编码光,或通过诸如光谱那样的特性而被标识的情形下,该信息仍旧可以是可从间接光检测的。
在描述标识哪些照明装置4存在于或出现(即,直接出现)在角膜图像、FoV、中心视觉区域或外围视觉区域中等等的本说明书中的任何地方,这可以替换地或另外应用于标识哪些照明装置4将光贡献到角膜图像、FOV、中心区域、和/或外围视觉区域。
应当指出,标识处在角膜图像中的照明装置4的动作包括标识那些一个或多个照明装置4处在角膜图像中的事实,以及确定它们的身份。类似地,标识处在中心区域(诸如FoV、中心视觉区域或外围视觉区域)的照明装置4的动作包括标识那些一个或多个照明装置4处在所谈及的特定区域中的事实,以及确定它们的身份。
还应当指出,对于照明装置4被标识为处在FoV、中心区域、或外围区域中或内部的条件可以是,其整个地出现在FoV、中心区域、或外围区域内部(在这种情形下,如果装置4的任何部分是在外部,则该装置4被认为是在外部);或替换地,对于被标识为处在FoV、中心区域、或外围区域中或内部的条件可以是,照明装置4的至少一部分分别出现在FoV、中心区域、或外围区域内部(在这种情形下,其只有全部在外部才被认为是在外部)。作为另一个替换例,所标识的装置被控制的方式可以取决于被标识为全部在FoV或区域内部,还是全部在外部,还是重叠的。
无论哪个或者哪种准则用于标识,在角膜图像、FoV、中心区域和/或外围视觉区域中的所标识的照明装置4的每个照明装置4然后被打上其相关联的设置的标签(这些设置可以从照明控制器9被确定,或通过包括照明装置4的情景的图像而被估计)。
在步骤S30,控制器9检测人工输入。如讨论的,人工输入可以来自用户装置8,诸如智能电话(在某些实施例中,这甚至可以是包括用来对用户角膜成像的照相机的相同的装置)。用户接口可以使用基于触摸屏的GUI、手势识别接口或其他接口类型。例如,人工输入可以具有用于(例如)亮度的滑块控件、用于自动对比度控制的接通/关断开关的形式,以及可以涉及到在角膜图像或其子集内的一个或多个灯。
在步骤S40,控制器9直接通过从存储器检索设置或从照明装置4读取设置或者间接地通过从所获取的图像估计设置而确定在反射的情景中标识的照明装置4中的每个照明装置4的当前设置。
在步骤S50,控制器9计算在反射情景中的照明装置4标识的照明所要求的改变。在实施例中,这取决于人工输入的状态,以及规定人工改变还是自动改变。如果规定人工改变,则在该实例中,用户与其交互的人工输入控制用来确定照明设置的绝对或相对改变。如果规定自动改变,则在该实例中,人工控制用来定义将发生自动改变,以及用于灯的新设置被自动计算—例如,以限制在用户角膜中可见的最大对比度。
在步骤S60,控制器9通过把新照明设置上传到相关的照明装置4而应用设置。
应当指出,在实施例中,步骤S40和S50不一定是要求的。替换地,代替于规定(一个或者多个)设置的改变,用户输入或控制器9可以代替地规定绝对设置。例如,代替于用户请求照明水平的特定增加或减小(例如,X%的增加或减小),用户可以请求:照明水平被设置成特定的绝对水平(最大值的Y%)。
还还应当指出,如前所提及的,控制可以取决于一个或多个照明装置在哪里被标识。例如,用户输入的效果或自动确定的改变程度可以取决于照明装置4被标识为在角膜图像的外部还是内部而不同,和/或可以取决于被标识为在用户的FoV的内部还是外部而不同,和/或可以取决于被标识为在用户的中心视觉区域的内部还是外部(例如,落在小凹或斑点内)而不同。例如,如果用户请求照明水平的20%的增加,则控制器9可以将来自角膜图像中的任何装置4的光增加所请求的20%,而将任何其他的间接贡献装置4的光增加较小的量,比如说10%。或者控制器9可以将来自在FoV内部的任何装置4的光增加所请求的20%,而将来自在角膜图像内部但在FoV外部的任何其他装置4的任何光增加较小的量,比如说10%,并且完全不影响任何其他装置,或者可能仅将增加来自任何间接贡献的装置4的光增加甚至更小的量,比如说5%。作为另一个示例,控制器9可以将来自在用户的视觉的中心区域内的任何装置的光增加所请求的20%,而将来自在外围区域中的任何装置的光增加较小的量,比如说10%,以及完全不影响任何其他装置,或者可能将将在外围区域外部但在角膜图像内部的和/或间接贡献于光的那些设备增加还要更小的量,比如说,分别为5%、或5%和2.5%。
对于多个用户,仲裁算法可用来适配每个灯的设置,以使得每个用户的偏好在(一个或者多个)照明装置4的设置中被考虑。因此,在实施例中,控制器9可被配置成基于多个用户的角膜图像来标识可控制照明装置4中的一项或者多项,以便接收来自所述多个用户中的每个用户的人工用户输入的指示,以及以便取决于来自多个用户的人工用户输入,执行仲裁,以控制可控制照明装置中的、基于多个用户的角膜图像所标识的那些可控制照明装置。
例如,这样的仲裁算法可被配置成基于以下规则中的任何一项或多项,执行仲裁。在实施例中,仲裁算法可以确定是否存在对于不同永福的匹配的偏好。例如,存在两个用户,他们每人偏好40%的调光水平,并且因此,这是所设置的调光水平。在实施例中,仲裁算法可以确定对于不同的用户是否存在重叠的偏好范围。例如,存在三个用户,第一用户偏好在30%与60%之间的调光水平,第二用户偏好在40%与80%之间的调光水平,以及第三用户偏好在50%与100%之间的调光水平,并且因此,调光水平被选择为在50%到60%的重叠范围内—例如,在该范围内的调光水平的选择可以是基于全部三个用户的平均调光水平偏好。在另外的实施例中,算法可以在有分歧的用户偏好之间调解。例如,第一用户偏好在20%-50%之间的调光水平,以及第二用户偏好在70%与100%之间的调光水平,以及所设置的调光水平是在第一用户的上限与第二用户的下限之间的中间。在另外的实施例中,算法可以请求用于解决在偏好之间的不同的用户反馈,例如,请求用户适配其偏好。在再一个另外的实施例中,算法可以基于排名来对用户偏好按优先级排序,例如,在其家里的位置的用户比起作为在该位置处的客人的用户具有更高的偏好。这些仅仅是某些示例。用户偏好可以是涉及调光水平、光颜色、要被照明的区域等等。
将领会,以上的实施例仅仅作为示例描述的。
例如,虽然就诸如用于照亮房间或者其他环节的照明器那样的照明设备描述了以上内容,但本文公开的技术可被扩展到标识和控制来自角膜图像的其他类型的装置。例如,基于角膜图像被标识和控制的一个或多个可控制装置可以是其他类型的用户器具,诸如:HVAC器具(加热、通风和/或空调);媒体器具(例如,TV、机顶盒、游戏控制台、DVD播放器和/或立体声);和/或厨房器具或“白色物品”(例如,炉灶、微波炉和冰箱)。在这样的情形下,装置可以以不同的方式被标识。例如,装置可以在角膜图像中通过标识它的外表或外壳、或来自屏幕的光或装置的指示器的光而被标识;或者装置可以从其间接地贡献于角膜图像的光(例如,来自其屏幕的光或被反射的指示器的光)被标识。例如,DVD播放器可以具有发射编码光的LED,或TV可以通过图像分析而被标识等等。如果在角膜图像中存在多个装置,则在图像中的装置的位置可用来(或凝视跟踪等等)确定用户正在看哪一个装置(即,该装置是要被控制的)。
本领域技术人员在实践所要求保护的发明时,从对于附图、公开内容和所附权利要求的学习中,可以了解和实现所公开的实施例的其他变例。在权利要求中,单词“包括”不排除其他元件或步骤,并且不定冠词 “一”或 “一个”不排除多个。单个处理器或其他单元可以完成在权利要求中阐述的几项的功能。某些措施在互相不同的从属权利要求中被阐述的单纯事实不指示这些措施的组合不能被加以利用。计算机程序可被存储和/或分布在适当的介质上,诸如光存储介质或与其他硬件一起提供的或作为其他硬件的一部分的固态介质,但是也可以使用其他形式被分布,诸如经由互联网或其他有线或无线电信系统。在权利要求中的任何参考标号不应当被看作为限制范围。
Claims (15)
1.一种用于控制一个或多个可控制装置(4a,4b,4c)的安排的控制器(9),所述控制器被配置成执行以下操作:
接收由用户(6)执行的人工用户输入的指示;
接收由照相机(10)捕获的角膜图像,其通过从用户的至少一个角膜(18)的至少一部分反射到照相机中的光形成;
标识可控制装置(4a,4b,4c)中的一个或者多个可控制装置中的、直接出现在角膜图像中或间接贡献于形成角膜图像的光的那些可控制装置;以及
响应于人工用户输入,控制一个或多个所标识的可控制装置。
2.按照权利要求1所述的控制器,其中:
所述标识包括标识可控制装置(4a,4b,4c)中的一个或者多个可控制装置中的、直接出现在角膜图像中的那些可控制装置;以及
所述控制包括,响应于人工用户输入,控制可控制装置中的、被标识为直接出现在所述角膜图像中的那些可控制装置。
3.按照权利要求1或2所述的控制器,其中:
所述标识包括标识可控制装置(4a,4b,4c)中的一个或者多个可控制装置中的、间接贡献于形成角膜图像的光的那些可控制装置;以及
所述控制包括,响应于人工用户输入,控制可控制装置中的、被标识为间接贡献于所述光的那些可控制装置。
4.按照任何前述权利要求所述的控制器,其中:
所述控制器(9)被配置成确定在角膜图像内的用户的视场;
所述标识包括标识可控制装置(4a,4b,4c)中的一个或者多个可控制装置中的、出现在用户的视场内部和/或贡献于所述视场内的光的那些可控制装置;以及
所述控制包括,响应于人工用户输入,控制可控制装置中的、被标识为出现在所述视场内部和/或贡献于所述视场内部的光的那些可控制装置。
5.按照权利要求4所述的控制器,其中;
用户的视场包括中心区域和外围区域;
所述标识包括标识可控制装置(4a,4b,4c)中的一个或者多个可控制装置中的、出现在所述中心区域内部和/或贡献于所述中心区域内部的光的那些可控制装置;以及
所述控制包括,响应于人工用户输入,控制装置中的、被标识为出现在所述中心区域内部和/或贡献于所述中心区域内部的光的那些装置。
6.按照权利要求4所述的控制器,其中;
用户的视场包括中心区域和外围区域;
所述标识包括标识可控制装置(4a,4b,4c)中的一个或者多个可控制装置中的、出现在所述外围区域中和/或贡献于所述外围区域中的光的那些可控制装置;以及
所述控制包括,响应于人工用户输入,控制装置中的、被标识为出现在所述外围区域中和/或贡献于所述外围区域内部的光的那些装置。
7.按照权利要求2到6的任一项所述的控制器,其中,所述控制包括取决于以下的一项或多项,适配一个或者多个所标识的装置中的那些装置的控制:
被标识为直接出现在角膜图像中还是间接贡献于形成角膜图像的光;
被标识为出现在用户视场内部还是外部;
被标识为贡献于用户视场内部的光还是用户视场外部的光;
被标识为出现在用户视场的中心区域中还是外围区域中;和/或
被标识为贡献于在用户视场的中心区域中的光还是外围区域中的光。
8.按照任何前述权利要求所述的控制器,其中,所述人工输入包括以下的一项或多项:
经由用户终端键入的输入,和/或
由用户执行的身体手势。
9.按照任何前述权利要求所述的控制器,其中,所述可控制装置(4a,4b,4c)是照明装置。
10.按照权利要求9所述的控制器,其中,所述控制器被配置成基于以下的一项或多项.标识一个或多个所标识的照明装置的每个相应照明装置:
由相应照明装置发射的编码光信号,
相应照明装置的光谱,和/或
如在角膜图像中出现的相应照明装置的位置。
11.按照权利要求9所述的控制器,其中,所述控制包括将一个或多个所标识的装置的光发射设置成更新的设置,以及新设置基于人工用户输入而被确定。
12.按照权利要求9所述的控制器,其中,所述控制包括将一个或多个所标识的装置的光发射设置成更新的设置,以及所述控制器被配置成自动确定更新的设置,但响应于人工用户输入而被触发。
13.权利要求12所述的控制器,其中,所述确定是基于角膜图像中的对比度的测量的。
14.一种控制一个或多个可控制装置(4a,4b,4c)的安排的方法,所述方法包括:
接收由用户(6)执行的人工用户输入的指示;
接收由照相机(10)捕获的角膜图像,其通过从用户的至少一个角膜(18)的至少一部分反射到照相机中的光形成;
标识可控制装置中的一个或者多个可控制装置中的、直接出现在角膜图像中或间接贡献于形成角膜图像的光的那些可控制装置;以及
响应于人工用户输入,控制一个或多个所标识的可控制装置。
15.一种用于控制一个或多个可控制装置(4a,4b,4c)的安排的计算机程序产品,所述计算机程序产品包括一个或多个计算机可读存储介质体现的代码,以及被配置成当在一个或多个处理器上执行时,执行以下的操作:
接收由用户(6)执行的人工用户输入的指示;
接收由照相机(10)捕获的角膜图像,其通过从用户的至少一个角膜(18)的至少一部分反射到照相机中的光形成;
标识可控制装置中的一个或者多个可控制装置中的、直接出现在角膜图像中或间接贡献于形成角膜图像的光的那些可控制装置;以及
响应于人工用户输入,控制一个或多个所标识的可控制装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP14186316 | 2014-09-25 | ||
EP14186316.7 | 2014-09-25 | ||
PCT/EP2015/071624 WO2016046139A1 (en) | 2014-09-25 | 2015-09-22 | Control of lighting |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107077203A true CN107077203A (zh) | 2017-08-18 |
CN107077203B CN107077203B (zh) | 2020-05-05 |
Family
ID=51589203
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580051869.1A Expired - Fee Related CN107077203B (zh) | 2014-09-25 | 2015-09-22 | 用于控制一个或多个照明器的安排的控制器和方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20170231064A1 (zh) |
EP (1) | EP3198372B8 (zh) |
JP (1) | JP6692799B2 (zh) |
CN (1) | CN107077203B (zh) |
WO (1) | WO2016046139A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105929961A (zh) * | 2016-04-29 | 2016-09-07 | 广东美的制冷设备有限公司 | 红外手势检测装置、红外手势检测方法和家用电器 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10015864B2 (en) * | 2014-09-08 | 2018-07-03 | Philips Lighting Holding B.V. | Lighting preference arbitration |
WO2017182512A1 (en) * | 2016-04-22 | 2017-10-26 | Philips Lighting Holding B.V. | A retail lighting system |
EP3607806B1 (en) | 2017-04-06 | 2020-08-26 | Signify Holding B.V. | Controller and method for a lighting system |
EP3656094B1 (en) * | 2018-09-24 | 2021-05-19 | Google LLC | Controlling a device based on processing of image data that captures the device and/or an installation environment of the device |
CN109753948B (zh) * | 2019-01-28 | 2021-06-04 | 珠海格力电器股份有限公司 | 基于微波雷达的空调控制方法和装置、存储介质和处理器 |
EP3987891B1 (en) | 2019-06-18 | 2023-02-01 | Signify Holding B.V. | System and methods to provide group lighting interaction |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101699510A (zh) * | 2009-09-02 | 2010-04-28 | 北京科技大学 | 视线追踪系统中的基于粒子滤波的瞳孔跟踪方法 |
CN102711315A (zh) * | 2012-04-16 | 2012-10-03 | 东莞光阵显示器制品有限公司 | 基于视频动态识别的智能室内照明控制方法及系统 |
CN102749991A (zh) * | 2012-04-12 | 2012-10-24 | 广东百泰科技有限公司 | 一种适用于人机交互的非接触式自由空间视线跟踪方法 |
CN102833485A (zh) * | 2011-06-17 | 2012-12-19 | 三星电子株式会社 | 用于控制光源以捕捉图像的设备、系统和方法 |
US20130076885A1 (en) * | 2009-03-30 | 2013-03-28 | Tobii Technology Ab | Eye closure detection using structured illumination |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06323832A (ja) * | 1993-05-13 | 1994-11-25 | Nissan Motor Co Ltd | 車両用インターフェイス |
WO2010146519A1 (en) * | 2009-06-19 | 2010-12-23 | Koninklijke Philips Electronics N.V. | Illumination system and method with improved snr |
JP5743416B2 (ja) * | 2010-03-29 | 2015-07-01 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
-
2015
- 2015-09-22 CN CN201580051869.1A patent/CN107077203B/zh not_active Expired - Fee Related
- 2015-09-22 US US15/514,624 patent/US20170231064A1/en not_active Abandoned
- 2015-09-22 JP JP2017515883A patent/JP6692799B2/ja not_active Expired - Fee Related
- 2015-09-22 EP EP15766503.5A patent/EP3198372B8/en not_active Not-in-force
- 2015-09-22 WO PCT/EP2015/071624 patent/WO2016046139A1/en active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130076885A1 (en) * | 2009-03-30 | 2013-03-28 | Tobii Technology Ab | Eye closure detection using structured illumination |
CN101699510A (zh) * | 2009-09-02 | 2010-04-28 | 北京科技大学 | 视线追踪系统中的基于粒子滤波的瞳孔跟踪方法 |
CN102833485A (zh) * | 2011-06-17 | 2012-12-19 | 三星电子株式会社 | 用于控制光源以捕捉图像的设备、系统和方法 |
CN102749991A (zh) * | 2012-04-12 | 2012-10-24 | 广东百泰科技有限公司 | 一种适用于人机交互的非接触式自由空间视线跟踪方法 |
CN102711315A (zh) * | 2012-04-16 | 2012-10-03 | 东莞光阵显示器制品有限公司 | 基于视频动态识别的智能室内照明控制方法及系统 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105929961A (zh) * | 2016-04-29 | 2016-09-07 | 广东美的制冷设备有限公司 | 红外手势检测装置、红外手势检测方法和家用电器 |
CN105929961B (zh) * | 2016-04-29 | 2018-11-13 | 广东美的制冷设备有限公司 | 红外手势检测装置、红外手势检测方法和家用电器 |
Also Published As
Publication number | Publication date |
---|---|
EP3198372A1 (en) | 2017-08-02 |
JP6692799B2 (ja) | 2020-05-13 |
EP3198372B8 (en) | 2019-04-10 |
JP2017528889A (ja) | 2017-09-28 |
CN107077203B (zh) | 2020-05-05 |
WO2016046139A1 (en) | 2016-03-31 |
EP3198372B1 (en) | 2019-02-27 |
US20170231064A1 (en) | 2017-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107077203A (zh) | 照明控制 | |
JP6736543B2 (ja) | 照明選好調停 | |
US9942966B2 (en) | Control of lighting | |
US10375800B2 (en) | Controlling a lighting system | |
JP6139017B2 (ja) | 光源の特性を決定する方法及びモバイルデバイス | |
US10244600B2 (en) | Color picker | |
US20190124749A1 (en) | Controlling a lighting system | |
CN103168505A (zh) | 用于控制照明系统的方法及用户交互系统、便携式电子设备和计算机程序产品 | |
CN108370632A (zh) | 产生照明场景 | |
US10667366B2 (en) | Lighting devices with automatic lighting adjustment | |
TW200838357A (en) | Method and system for detecting effect of lighting device | |
WO2016206991A1 (en) | Gesture based lighting control | |
JP2022113138A (ja) | 情報処理装置及びプログラム | |
US20220151039A1 (en) | A controller for controlling light sources and a method thereof | |
JP2016162124A (ja) | 調理法決定方法及び調理法決定装置 | |
JP2019121608A (ja) | 端末機器および灯具制御システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200505 Termination date: 20210922 |
|
CF01 | Termination of patent right due to non-payment of annual fee |