CN108650455A - 一种智能家居照明数据采集终端 - Google Patents

一种智能家居照明数据采集终端 Download PDF

Info

Publication number
CN108650455A
CN108650455A CN201810383305.3A CN201810383305A CN108650455A CN 108650455 A CN108650455 A CN 108650455A CN 201810383305 A CN201810383305 A CN 201810383305A CN 108650455 A CN108650455 A CN 108650455A
Authority
CN
China
Prior art keywords
image
ambient brightness
gray
brightness
ground
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810383305.3A
Other languages
English (en)
Other versions
CN108650455B (zh
Inventor
林锑杭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Putian City Fire Information Technology Co Ltd
Original Assignee
Putian City Fire Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Putian City Fire Information Technology Co Ltd filed Critical Putian City Fire Information Technology Co Ltd
Priority to CN201810383305.3A priority Critical patent/CN108650455B/zh
Publication of CN108650455A publication Critical patent/CN108650455A/zh
Application granted granted Critical
Publication of CN108650455B publication Critical patent/CN108650455B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种智能家居照明数据采集终端，涉及智能家居照明领域，所述终端包括：图像采集模块，用于采集包含第一照明装置的第一房间的第一图像；拍摄参数采集模块，用于采集与所述第一图像相对应的拍摄参数；以及环境亮度生成模块，用于根据所述第一图像上的像素的灰阶值和/或所述第一图像的所述拍摄参数，生成所述第一房间的环境亮度。本发明通过采集房间中的图像以及与图像相对应的拍摄参数，并根据拍摄的图像和拍摄参数生成房间中的环境亮度，为房间照明系统提供量化的评价标准，使得用户有效定性地获知房间中的照明水平。

Description

一种智能家居照明数据采集终端
技术领域
本发明涉及智能家居照明领域，特别涉及一种智能家居照明数据采集终端。
背景技术
智能家居照明，是指利用计算机、无线通讯数据传输、扩频电力载波通讯技术、计算机智能化信息处理及节能型电器控制等技术组成的分布式无线遥测、遥控、遥讯控制系统，来实现对家居照明设备甚至家居生活设备的智能化控制。具有灯光亮度的强弱调节、灯光软启动、定时控制、场景设置等功能，并达到安全、节能、舒适、高效的特点。
在现有技术中，智能家居照明能够进行灯光亮度调整，但是，灯光亮度调整包括两种：一是基于程序预设的若干种模式进行切换，另一是根据用户感觉进行亮度调整。这两种方式均没有对房间照明效果进行量化的指标，其中，在第一种中，若干种模式智能控制灯光的发光效率，而实际并不知道灯光在房间中的实际效果；而在第二种中，用户的感觉只能定性，定量能力较差，且不同用户之间可能存在差异。
发明内容
有鉴于在现有智能家居照明技术中，智能家居照明的实际效果不能定性获得，即现有技术不能很好地表征一个房间的照明亮度，本发明所要解决的技术问题是提供一种智能家居照明数据采集终端，旨在通过对房间内的图像采集处理，获得量化的照明亮度。
为实现上述目的，本发明提供一种智能家居照明数据采集终端，所述终端包括：
图像采集模块，用于采集包含第一照明装置的第一房间的第一图像；
拍摄参数采集模块，用于采集与所述第一图像相对应的拍摄参数；
环境亮度生成模块，用于根据所述第一图像上的像素的灰阶值和/或所述第一图像的所述拍摄参数，生成所述第一房间的环境亮度。
进一步而言，所述终端还包括：
后处理参数采集模块，用于采集与所述第一图像相对应的图像后处理参数；所述图像后处理参数是采集所述第一房间的室内场景形成所述第一图像，而所经历的图像处理操作的处理参数；
亮度后处理修正模块，用于根据所述图像后处理参数对所述环境亮度进行修正。
在一具体实施方式中，所述环境亮度生成模块，还包括：
第一灰阶设定单元，用于根据所述拍摄参数，设定第一灰度阈值；所述拍摄参数包括曝光光圈参数、曝光快门时长参数；
低通像素筛选单元，用于根据所述第一图像以及所述第一灰度阈值，筛选出灰度值低于所述第一灰度值的低通像素点；
低通像素亮度生成单元，用于根据所述低通像素点，生成环境亮度。
在一具体实施方式中，所述环境亮度生成模块，还包括：直方图获取单元，用于获取所述第一图像的灰度图像的直方图信息；
所述低通像素筛选单元，还用于根据所述直方图信息以及所述第一灰度阈值，筛选出灰度值低于所述第一灰度值的低通像素点。
在一具体实施方式中，所述环境亮度生成模块，还包括：
墙面地面识别单元，用于识别在所述第一图像中的所述第一房间的墙面和/地面；
基于墙地面亮度生成单元，用于根据所述墙面和/或所述地面的像素点的灰度值，获取所述环境亮度。
在一具体实施方式中，所述环境亮度生成模块，还包括：
墙地面区域获取单元，用于根据墙面和/或地面对应的灰度上下限值，获取所述第一图像上的墙面和/或地面的对应区域；
基于墙地面亮度生成单元，用于根据所述对应区域的像素点灰度值，获取所述环境亮度。
在一具体实施方式中，所述环境亮度生成模块，还包括：
直方图获取单元，用于获取所述第一图像的直方图信息；
第二墙地面灰度阈值设定单元，用于根据所述直方图信息，获取所述第一图像内的墙面和/或地面对应的灰度上下限值。
在一具体实施方式中，所述环境亮度生成模块，还包括：
直方图获取单元，获取所述第一图像的直方图；
高频灰阶区间获取单元，用于获取所述第一图像直方图中灰度值频数最高的高频区间的高频灰阶像素点；
基于高频灰阶区间环境亮度生成单元，用于根据所述高频灰阶像素点，获取所述环境亮度。
在一具体实施方式中，所述环境亮度生成模块，还包括：
直方图获取单元，用于获取所述第一图像的直方图；
高频灰阶区间获取单元，用于获取所述第一图像直方图中灰度值频数最高的高频区间的高频灰阶像素点；
高频灰阶区间筛选单元，用于在所述第一图像中，筛选出若干个满足所述灰度区间的连续像素点区域；所述单个所述连续像素点区域面积大于S；
基于高频灰阶区间环境亮度生成单元，用于根据所述第一图像的至少一个所述连续像素点区域，获取所述环境亮度。
在一具体实施方式中，所述终端还配置为：
根据所述第一图像，获取墙面和/或地面的平均灰度值；
根据所述墙面灰度值，求解第一图像的基准环境亮度；
根据所述拍摄参数，求解第一图像的拍摄照明校正比例系数；
根据所述图像后处理参数，求解第一图像的后处理校正比例系数；
根据所述第一图像的所述基准环境亮度、所述拍摄照明校正比例系数以及所述后处理校正比例系数，求解所述第一图像的环境亮度。
本发明的有益效果是：在本发明中，通过采集房间中的图像以及与图像相对应的拍摄参数，并根据拍摄的图像和拍摄参数生成房间中的环境亮度，为房间照明系统提供量化的评价标准，使得用户有效定性地获知房间中的照明水平。
附图说明
图1是本发明一具体实施方式的提供一种智能家居照明数据采集方法的流程图；
图2是本发明另一具体实施方式提供的一种智能家居照明数据采集方法的流程图；
图3是本发明再一具体实施方式提供的一种智能家居照明数据采集方法的流程图；
图4是本发明又一具体实施方式提供的一种智能家居照明数据采集方法的流程图；
图5是本发明一可选实施例提供的一种智能家居照明数据采集方法的流程图；
图6是本发明一具体实施方式的一种智能家居照明数据采集终端的系统框图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明：
智能家居照明系统的一个重要指标是房间的亮度，当房间亮度不够的时候，一方面不能为人类作业活动提供足够多的光亮度，另一方面较暗或较亮的环境本身会给人造成不适应。现在智能家装的照明系统很多还没进行照明规划，很多是笼统的选取一定的功率的照明装置，另一方面即使有规划，也容易由于照明装置的老化造成亮度变弱。
为了智能家居照明系统的铺设与维护以保证照明亮度适宜，则需要通过专用设备对房间照明亮度进行检测，然后，普通用户家里没必要去准备价格较高检测设备，本发明通过图像传感器对房间内的环境图像进行采集，并经过图像处理获得房间内的照明亮度，而这些功能能够通过用户普遍具备的手机、IPAD等即可实现，无需专用设备。当然，采用本发明的技术方案的智能家居照明检测专用设备也应被认为是落入本发明的保护范围。
为了能够衡量房间的环境亮度，本发明提供一种智能家居照明数据采集方法。
如图1-6所示，在本发明第一实施例中，提供一种智能家居照明数据采集方法，所述方法包括：
采集包含第一照明装置的第一房间的第一图像，采集与所述第一图像相对应的拍摄参数；
根据所述第一图像上的像素的灰阶值和/或所述第一图像的所述拍摄参数，生成所述第一房间的环境亮度。
可选的，根据所述第一图像，获取房间内的平均灰度值；可选的，根据所述第一图像的直方图，获取房间内的平均灰度值；可选的，根据平均灰度值获取第一房间的环境亮度；
可选的，第一图像包括但不限于一张图像；
可选的，第一图像由拍摄或录像获得；
在一实施例中，通过对第一图像进行图像处理，获得用户房间的环境亮度；该图像处理包括但不限于去除噪声、增强、复原、分割、提取特征、图像变换、灰度提取。
在一场景中图像传感器系统并非专用于照明数据采集，而是将照明采集功能赋予在现有的图像传感器系统。例如，在现有手机上搭载照明数据采集功能，由于手机本身会对曝光时长、光圈等拍摄参数进行自适应调整以便拍摄获得的图像均衡、美观或亮度适宜，故而，在一实施例中，需要根据拍摄参数对由第一图像获得的环境亮度进行调整，以便更符合实际情况。所述拍摄参数包括但不限于光圈、曝光时长。
进一步而言，在一场景中，图像传感器系统的具有曝光自动调节功能，每一次所拍摄或获取的第一图像之间的平均灰度值相近，此时，仅通过拍摄参数即可获得房间的环境亮度。
可选的，在本实施例中，所述方法还包括：
采集与所述第一图像相对应的图像后处理参数；所述图像后处理参数是采集所述第一房间的室内场景形成所述第一图像，而所经历的图像处理操作的处理参数；
根据所述图像后处理参数对所述环境亮度进行修正。
值得一提的是，在本实施例中，图像后处理是指图像传感器在拍摄图像后，图像拍摄设备会自发地对图像进行处理形成第一图像；例如，在环境整体亮度较高的场景，手机会将画面整体亮度进行软件化降低，使得第一图像相对于原实际拍摄图像要暗，此时需要将手机对图像的软件处理后的第一图像进行亮度校正，以便更接近真实的照明情况。
可选的，将所述图像后处理参数换算为对环境亮度的比例系数，将前序根据所述第一图像上的像素的灰阶值和/或所述第一图像的所述拍摄参数而生成所述第一房间的环境亮度进行校正。
在一实施例中，图像传感器的软件对第一图像有图像后处理操作，例如滤镜、曝光度增强等图像后处理操作，此时，则需要考虑图像后处理操作对环境亮度数据的影响。在一案例中，采用同一的拍摄参数，通过软件后处理后使得不同房间的第一图像之间的灰度平均值相接近，此时只需根据图像后处理参数，即可获得环境亮度数据。
可选的，所述根据所述第一图像上的像素的灰阶值和/或所述第一图像的所述拍摄参数，生成所述第一房间的环境亮度，还包括：
根据所述第一图像上的像素的所述灰阶值，获取所述第一图像的像素灰度平均值；
根据所述第一图像的所述拍摄参数以及所述灰度平均值，获得所述环境亮度。
值得一提的是，同一个拍摄设备，在拍摄参数固定时，环境亮度越高，其图像的灰度值也越高；故而，图像灰度值能够很好地表征环境亮度；可选的，通过对获取第一图像的图像传感器进行实验测试获得其图像灰度值与环境亮度之间的关系。可选的，同一类产品的图像灰度值与环境亮度关系趋于稳定，例如手机之间拍照获得灰阶与亮度关系趋于稳定，也可以根据各个型号的智能终端的实验数据，获得该型号的灰阶-亮度关系曲线。
可选的，对第一图像的求解整体灰度平均值，继而获得环境亮度；可选的，将第一图像中的照明灯具或镜面反光剔除后求解第一图像的灰度平均值，继而获得环境亮度。
由于图像拍摄过程中会存在噪声，并且房间内的照明设备或镜面反光会造成局部较亮，这些噪点会造成会给环境亮度造成干扰，需要进行过滤。
在一可选的实例中，为了消除房间照明设备直接发出或经镜面反射的光在第一图像中而造成影响。可选的，所述根据所述第一图像上的像素的灰阶值和/或所述第一图像的所述拍摄参数，生成所述第一房间的环境亮度，还包括：
根据所述拍摄参数，设定第一灰度阈值；所述拍摄参数包括曝光光圈参数、曝光快门时长参数；可选的，所述拍摄参数还包括闪光灯信息；
根据所述第一图像以及所述第一灰度阈值，筛选出灰度值低于所述第一灰度值的低通像素点；
根据所述低通像素点，生成环境亮度。
由于拍摄参数影响第一图像的亮暗，例如较高的曝光时长以及较大的光圈会使第一图像整体变亮，即较高的曝光时长以及较大的光圈会使得原先环境亮度较小的房间的第一图像变亮。故而，需要实际拍摄参数对第一灰度阈值进行调整。
可选的，通过实验数据进行拟合二者的关系；可选的，通过光学公式进行求解；可选的，拍摄参数和第一灰度阈值的对应关系为预设值；可选的，所述第一灰度阈值GTH满足：GTH＝KgTgAV，所述K为比例系数，所述K为正数，所述T为曝光时长，所述AV为光圈值，所述K满足：所述G0为在曝光时长为T0、光圈值为AV0情况下，根据处于环境中的照明灯具所对应的灰度值进行设定的基准灰度阈值；可选的，通过对处于环境中的照明灯具所对应的灰度值设定容限，继而设定的基准灰度阈值，即，基准灰度阈值应该比处于环境中的照明灯具所对应的灰度值低。
可选的，
值得一提的是，在图像传感器中，通常用光圈数值(F)来表征光圈值(AV)，光圈值(AV)与光圈数值(F)的对应关系呈反比。
可选的，根据所述第一图像的灰度图像以及所述第一灰度阈值，筛选出灰度值低于所述第一灰度值的低通像素点；
可选的，根据所述低通像素点的像素点亮度平均值和/或灰阶平均值，生成环境亮度。可选的，采用像素点的亮度平均值作为环境亮度；可选的，采用像素点的灰阶平均值作为环境亮度；可选的，将照度作为环境亮度，通过实验获得环境亮度与灰阶之间的对应关系或曲线关系。
在上述方案的一种变型中，通过直方图来将剔除高亮像素点实现低通。可选的，所述根据所述第一图像上的像素的灰阶值和/或所述第一图像的所述拍摄参数，生成所述第一房间的环境亮度，还包括：
获取所述第一图像的灰度图像的直方图信息；
根据所述拍摄参数，设定第一灰度阈值；所述拍摄参数包括曝光光圈参数、曝光快门时长参数；
根据所述直方图信息以及所述第一灰度阈值，筛选出灰度值低于所述第一灰度值的低通像素点；
根据所述低通像素点，生成环境亮度。
由于直方图统计了各个灰阶的数量，便于对灰阶平均值进行求解，同时也便于件高亮的像素点剔除。
为了更好地表征环境亮度，可选的，通过获取墙面或地面的亮度信息来获取环境亮度，以便减少房间内的物品对环境亮度的求解造成影响。可选的，所述根据所述第一图像上的像素的灰阶值和/或所述第一图像的所述拍摄参数，生成所述第一房间的环境亮度，还包括：
识别在所述第一图像中的所述第一房间的墙面和/地面；
根据所述墙面和/或所述地面的像素点的灰度值，获取所述环境亮度。
可选的，通过轮廓识别墙面和/或地面；可选的，通过横梁识别墙面；可选的，通过识别墙面之间的相交线轮廓来识别墙面；可选的，通过三个墙面之间的相交线来识别墙面；可选的，通过地面与墙面的相交线来识别地面；可选的，通过对第一图像进行多值化处理，识别出面积最大的区域为墙面或地面；
可选的，对墙面或地面的灰度值进行设置上下限，以便识别墙面或地面。可选的，所述根据所述第一图像上的像素的灰阶值和/或所述第一图像的所述拍摄参数，生成所述第一房间的环境亮度，还包括：
根据墙面和/或地面对应的灰度上下限值，获取所述第一图像上的墙面和/或地面的对应区域；
根据所述对应区域的像素点灰度值，获取所述环境亮度。
可选的，所述方法还包括：根据所述拍摄参数，设定所述墙面和/或所述地面对应的所述灰度上下限值。
在可选的方案中，通过直方图分析墙面或地面的灰度上下阈值，可选的，所述根据所述第一图像上的像素的灰阶值和/或所述第一图像的所述拍摄参数，生成所述第一房间的环境亮度，还包括：
获取所述第一图像的直方图信息；
根据所述直方图信息，获取所述第一图像内的墙面和/或地面对应的灰度上下限值。
可选的，将所述第一图像的所述直方图信息的频数最高的区间设定为墙面和/或地面的墙地面灰阶，根据所述墙地面灰阶设定所述墙面和/或地面对应的灰度上下限值。例如，直方图信息的频数最高区间为[100,110],可选的，将所述墙面和/或地面对应的灰度上下限值分别设置为110和100，可选的，将所述墙面和/或地面对应的灰度上下限值分别设置为120和90，可选的，将所述墙面和/或地面对应的灰度上下限值分别设置为108和102。
在本实施例中，所述根据所述第一图像上的像素的灰阶值和/或所述第一图像的所述拍摄参数，生成所述第一房间的环境亮度，还包括：
获取所述第一图像的直方图；
获取所述第一图像直方图中灰度值频数最高的高频区间的高频灰阶像素点；所述区间的大小为预设值；可选的区间大小为10个灰度差；
根据所述高频灰阶像素点，获取所述环境亮度。
在可选的实例中，墙面或地面的灰阶频数应该较高并且能够连接成一定面积的区域。可选的，所述根据所述第一图像上的像素的灰阶值和/或所述第一图像的所述拍摄参数，生成所述第一房间的环境亮度，还包括：
获取所述第一图像的直方图；
获取所述第一图像直方图中灰度值频数最高的高频区间的高频灰阶像素点；所述灰度区间的大小为预设值；可选的灰度区间大小为10个灰度差；
在所述第一图像中，筛选出若干个满足所述灰度区间的连续像素点区域；所述单个所述连续像素点区域面积大于S；
根据所述第一图像的至少一个所述连续像素点区域，获取所述环境亮度。
在另一可选的实施例中，所述方法还包括：
根据所述第一图像，获取墙面和/或地面的平均灰度值；
根据所述墙面灰度值，求解第一图像的基准环境亮度；
根据所述拍摄参数，求解第一图像的拍摄照明校正比例系数；
根据所述图像后处理参数，求解第一图像的后处理校正比例系数；
根据所述第一图像的所述基准环境亮度、所述拍摄照明校正比例系数以及所述后处理校正比例系数，求解所述第一图像的环境亮度。
本发明并不限定通过获取墙面和/或地面的平均灰度值，以便求解房间的环境亮度数据。
在可选的案例中，通过直方图来获取环境亮度数据，应该认为是平均灰度值的一种等同替换。
可选的，照明环境检测数据可以通过传统的光学检测设备进行测量，也可以通过带有拍摄功能的移动智能终端进行测量，如手机、平板电脑等。
在本实施例中，环境亮度数据可以是指向照明灯具进行测量，也可以是背对照明灯具而对房间内的场景进行测量。值得一提的是，当指向照明灯具进行采集第一图像，应将拍摄照明灯具形成的像素进行剔除。
可选的，在电流型照明装置上，可以通过控制照明灯的电流来实现照明亮度控制。可选的，在电压型照明装置上，可以通过控制照明灯的电压来实现照明亮度控制。可选的，通过PWM控制LED照明灯。
可选的，照明装置为照明灯具；
值得一提的是，在同一房间中，同一类型不同功率的灯具之间，功率越大，环境亮度也越大；而对于同一灯具，在大小不同的两个房间中，房间越大，环境亮度则越小。原则上，不同房间应该采用同一测量方式，不同房间照明数据之间存在换算途径的除外。
在一可选的场景中，用户居所的照明控制中心与各个房间的照明设备有线或无线连接，在各个房间的照明设备均开启的情况下，工作人员手持智能终端(例如手机)或光照强度采集装置，采集各个房间环境照明情况。
如图1-6所示，在本发明第二实施例中，提供一种智能家居照明数据采集终端，所述终端包括：
图像采集模块101，用于采集包含第一照明装置的第一房间的第一图像；
拍摄参数采集模块102，用于采集与所述第一图像相对应的拍摄参数；
环境亮度生成模块103，用于根据所述第一图像上的像素的灰阶值和/或所述第一图像的所述拍摄参数，生成所述第一房间的环境亮度。
可选的，根据所述第一图像，获取房间内的平均灰度值；可选的，根据所述第一图像的直方图，获取房间内的平均灰度值；可选的，根据平均灰度值获取第一房间的环境亮度；
可选的，第一图像包括但不限于一张图像；
可选的，第一图像由拍摄或录像获得；
在一实施例中，通过对第一图像进行图像处理，获得用户房间的环境亮度；该图像处理包括但不限于去除噪声、增强、复原、分割、提取特征、图像变换、灰度提取。
在一场景中图像传感器系统并非专用于照明数据采集，而是将照明采集功能赋予在现有的图像传感器系统。例如，在现有手机上搭载照明数据采集功能，由于手机本身会对曝光时长、光圈等拍摄参数进行自适应调整以便拍摄获得的图像均衡、美观或亮度适宜，故而，在一实施例中，需要根据拍摄参数对由第一图像获得的环境亮度进行调整，以便更符合实际情况。所述拍摄参数包括但不限于光圈、曝光时长。
进一步而言，在一场景中，图像传感器系统的具有曝光自动调节功能，每一次所拍摄或获取的第一图像之间的平均灰度值相近，此时，仅通过拍摄参数即可获得房间的环境亮度。
可选的，在本实施例中，所述终端还包括：
后处理参数采集模块104，用于采集与所述第一图像相对应的图像后处理参数；所述图像后处理参数是采集所述第一房间的室内场景形成所述第一图像，而所经历的图像处理操作的处理参数；
亮度后处理修正模块105，用于根据所述图像后处理参数对所述环境亮度进行修正。
值得一提的是，在本实施例中，图像后处理是指图像传感器在拍摄图像后，图像拍摄设备会自发地对图像进行处理形成第一图像；例如，在环境整体亮度较高的场景，手机会将画面整体亮度进行软件化降低，使得第一图像相对于原实际拍摄图像要暗，此时需要将手机对图像的软件处理后的第一图像进行亮度校正，以便更接近真实的照明情况。
可选的，将所述图像后处理参数换算为对环境亮度的比例系数，将前序根据所述第一图像上的像素的灰阶值和/或所述第一图像的所述拍摄参数而生成所述第一房间的环境亮度进行校正。
在一实施例中，图像传感器的软件对第一图像有图像后处理操作，例如滤镜、曝光度增强等图像后处理操作，此时，则需要考虑图像后处理操作对环境亮度数据的影响。在一案例中，采用同一的拍摄参数，通过软件后处理后使得不同房间的第一图像之间的灰度平均值相接近，此时只需根据图像后处理参数，即可获得环境亮度数据。
可选的，所述环境亮度生成模块103，还包括：
根据所述第一图像上的像素的所述灰阶值，获取所述第一图像的像素灰度平均值；
根据所述第一图像的所述拍摄参数以及所述灰度平均值，获得所述环境亮度。
值得一提的是，同一个拍摄设备，在拍摄参数固定时，环境亮度越高，其图像的灰度值也越高；故而，图像灰度值能够很好地表征环境亮度；可选的，通过对获取第一图像的图像传感器进行实验测试获得其图像灰度值与环境亮度之间的关系。可选的，同一类产品的图像灰度值与环境亮度关系趋于稳定，例如手机之间拍照获得灰阶与亮度关系趋于稳定，也可以根据各个型号的智能终端的实验数据，获得该型号的灰阶-亮度关系曲线。
可选的，对第一图像的求解整体灰度平均值，继而获得环境亮度；可选的，将第一图像中的照明灯具或镜面反光剔除后求解第一图像的灰度平均值，继而获得环境亮度。
由于图像拍摄过程中会存在噪声，并且房间内的照明设备或镜面反光会造成局部较亮，这些噪点会造成会给环境亮度造成干扰，需要进行过滤。
在一可选的实例中，为了消除房间照明设备直接发出或经镜面反射的光在第一图像中而造成影响。可选的，所述环境亮度生成模块103，还包括：
第一灰阶设定单元，用于根据所述拍摄参数，设定第一灰度阈值；所述拍摄参数包括曝光光圈参数、曝光快门时长参数；可选的，所述拍摄参数还包括闪光灯信息；
低通像素筛选单元，用于根据所述第一图像以及所述第一灰度阈值，筛选出灰度值低于所述第一灰度值的低通像素点；
低通像素亮度生成单元，用于根据所述低通像素点，生成环境亮度。
由于拍摄参数影响第一图像的亮暗，例如较高的曝光时长以及较大的光圈会使第一图像整体变亮，即较高的曝光时长以及较大的光圈会使得原先环境亮度较小的房间的第一图像变亮。故而，需要实际拍摄参数对第一灰度阈值进行调整。
可选的，通过实验数据进行拟合二者的关系；可选的，通过光学公式进行求解；可选的，拍摄参数和第一灰度阈值的对应关系为预设值；可选的，所述第一灰度阈值GTH满足：GTH＝KgTgAV，所述K为比例系数，所述K为正数，所述T为曝光时长，所述AV为光圈值，所述K满足：所述G0为在曝光时长为T0、光圈值为AV0情况下，根据处于环境中的照明灯具所对应的灰度值进行设定的基准灰度阈值；可选的，通过对处于环境中的照明灯具所对应的灰度值设定容限，继而设定的基准灰度阈值，即，基准灰度阈值应该比处于环境中的照明灯具所对应的灰度值低。
可选的，
值得一提的是，在图像传感器中，通常用光圈数值(F)来表征光圈值(AV)，光圈值(AV)与光圈数值(F)的对应关系呈反比。
可选的，根据所述第一图像的灰度图像以及所述第一灰度阈值，筛选出灰度值低于所述第一灰度值的低通像素点；
可选的，根据所述低通像素点的像素点亮度平均值和/或灰阶平均值，生成环境亮度。可选的，采用像素点的亮度平均值作为环境亮度；可选的，采用像素点的灰阶平均值作为环境亮度；可选的，将照度作为环境亮度，通过实验获得环境亮度与灰阶之间的对应关系或曲线关系。
在上述方案的一种变型中，通过直方图来将剔除高亮像素点实现低通。可选的，所述环境亮度生成模块103，还包括：直方图获取单元，用于获取所述第一图像的灰度图像的直方图信息；
所述低通像素筛选单元，还用于根据所述直方图信息以及所述第一灰度阈值，筛选出灰度值低于所述第一灰度值的低通像素点。
由于直方图统计了各个灰阶的数量，便于对灰阶平均值进行求解，同时也便于件高亮的像素点剔除。
为了更好地表征环境亮度，可选的，通过获取墙面或地面的亮度信息来获取环境亮度，以便减少房间内的物品对环境亮度的求解造成影响。可选的，所述环境亮度生成模块103，还包括：
墙面地面识别单元，用于识别在所述第一图像中的所述第一房间的墙面和/地面；
基于墙地面亮度生成单元，用于根据所述墙面和/或所述地面的像素点的灰度值，获取所述环境亮度。
可选的，通过轮廓识别墙面和/或地面；可选的，通过横梁识别墙面；可选的，通过识别墙面之间的相交线轮廓来识别墙面；可选的，通过三个墙面之间的相交线来识别墙面；可选的，通过地面与墙面的相交线来识别地面；可选的，通过对第一图像进行多值化处理，识别出面积最大的区域为墙面或地面；
可选的，对墙面或地面的灰度值进行设置上下限，以便识别墙面或地面。可选的，所述环境亮度生成模块103，还包括：
墙地面区域获取单元，用于根据墙面和/或地面对应的灰度上下限值，获取所述第一图像上的墙面和/或地面的对应区域；
基于墙地面亮度生成单元，用于根据所述对应区域的像素点灰度值，获取所述环境亮度。
所述终端还包括第一墙地面灰度阈值设定单元，用于根据所述拍摄参数，设定所述墙面和/或所述地面对应的所述灰度上下限值。
在可选的方案中，通过直方图分析墙面或地面的灰度上下阈值，可选的，所述环境亮度生成模块103，还包括：
直方图获取单元，用于获取所述第一图像的直方图信息；
第二墙地面灰度阈值设定单元，用于根据所述直方图信息，获取所述第一图像内的墙面和/或地面对应的灰度上下限值。
可选的，将所述第一图像的所述直方图信息的频数最高的区间设定为墙面和/或地面的墙地面灰阶，根据所述墙地面灰阶设定所述墙面和/或地面对应的灰度上下限值。例如，直方图信息的频数最高区间为[100,110],可选的，将所述墙面和/或地面对应的灰度上下限值分别设置为110和100，可选的，将所述墙面和/或地面对应的灰度上下限值分别设置为120和90，可选的，将所述墙面和/或地面对应的灰度上下限值分别设置为108和102。
在本实施例中，所述环境亮度生成模块103，还包括：
直方图获取单元，获取所述第一图像的直方图；
高频灰阶区间获取单元，用于获取所述第一图像直方图中灰度值频数最高的高频区间的高频灰阶像素点；所述区间的大小为预设值；可选的区间大小为10个灰度差；
基于高频灰阶区间环境亮度生成单元，用于根据所述高频灰阶像素点，获取所述环境亮度。
在可选的实例中，墙面或地面的灰阶频数应该较高并且能够连接成一定面积的区域。可选的，所述环境亮度生成模块103，还包括：
直方图获取单元，用于获取所述第一图像的直方图；
高频灰阶区间获取单元，用于获取所述第一图像直方图中灰度值频数最高的高频区间的高频灰阶像素点；所述灰度区间的大小为预设值；可选的灰度区间大小为10个灰度差；
高频灰阶区间筛选单元，用于在所述第一图像中，筛选出若干个满足所述灰度区间的连续像素点区域；所述单个所述连续像素点区域面积大于S；
基于高频灰阶区间环境亮度生成单元，用于根据所述第一图像的至少一个所述连续像素点区域，获取所述环境亮度。
在另一个可选的实例中，所述终端还配置为：
根据所述第一图像，获取墙面和/或地面的平均灰度值；
根据所述墙面灰度值，求解第一图像的基准环境亮度；
根据所述拍摄参数，求解第一图像的拍摄照明校正比例系数；
根据所述图像后处理参数，求解第一图像的后处理校正比例系数；
根据所述第一图像的所述基准环境亮度、所述拍摄照明校正比例系数以及所述后处理校正比例系数，求解所述第一图像的环境亮度。
本发明并不限定通过获取墙面和/或地面的平均灰度值，以便求解房间的环境亮度数据。
在可选的案例中，通过直方图来获取环境亮度数据，应该认为是平均灰度值的一种等同替换。
可选的，照明环境检测数据可以通过传统的光学检测设备进行测量，也可以通过带有拍摄功能的移动智能终端进行测量，如手机、平板电脑等。
在本实施例中，环境亮度数据可以是指向照明灯具进行测量，也可以是背对照明灯具而对房间内的场景进行测量。值得一提的是，当指向照明灯具进行采集第一图像，应将拍摄照明灯具形成的像素进行剔除。
可选的，在电流型照明装置上，可以通过控制照明灯的电流来实现照明亮度控制。可选的，在电压型照明装置上，可以通过控制照明灯的电压来实现照明亮度控制。可选的，通过PWM控制LED照明灯。
可选的，照明装置为照明灯具；
值得一提的是，在同一房间中，同一类型不同功率的灯具之间，功率越大，环境亮度也越大；而对于同一灯具，在大小不同的两个房间中，房间越大，环境亮度则越小。原则上，不同房间应该采用同一测量方式，不同房间照明数据之间存在换算途径的除外。
在一可选的场景中，用户居所的照明控制中心与各个房间的照明设备有线或无线连接，在各个房间的照明设备均开启的情况下，工作人员手持智能终端(例如手机)或光照强度采集装置，采集各个房间环境照明情况。
所属领域的技术人员，可以清楚了解到，为了描述方便及简洁，上述的终端、模块的具体工作过程可以参考前述方法实施例的对应过程，功能及技术效果亦可参考前述方法实施例，这里不再赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本领域普通技术人员可以意识到，将本文中的方法进行步骤拆分、合并，依然不应认为超出本申请的范围，将本文中的装置、设备的各个模块进行拆分成子模块或者合并为一个大的模块，依然不应认为超出本申请的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
而前述的存储介质包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种智能家居照明数据采集终端，其特征在于，所述终端包括：
图像采集模块，用于采集包含第一照明装置的第一房间的第一图像；
拍摄参数采集模块，用于采集与所述第一图像相对应的拍摄参数；
环境亮度生成模块，用于根据所述第一图像上的像素的灰阶值和/或所述第一图像的所述拍摄参数，生成所述第一房间的环境亮度。
2.如权利要求1所述的一种智能家居照明数据采集终端，其特征在于，所述终端还包括：
后处理参数采集模块，用于采集与所述第一图像相对应的图像后处理参数；所述图像后处理参数是采集所述第一房间的室内场景形成所述第一图像，而所经历的图像处理操作的处理参数；
亮度后处理修正模块，用于根据所述图像后处理参数对所述环境亮度进行修正。
3.如权利要求1所述的一种智能家居照明数据采集终端，其特征在于，所述环境亮度生成模块，还包括：
第一灰阶设定单元，用于根据所述拍摄参数，设定第一灰度阈值；所述拍摄参数包括曝光光圈参数、曝光快门时长参数；
低通像素筛选单元，用于根据所述第一图像以及所述第一灰度阈值，筛选出灰度值低于所述第一灰度值的低通像素点；
低通像素亮度生成单元，用于根据所述低通像素点，生成环境亮度。
4.如权利要求3所述的一种智能家居照明数据采集终端，其特征在于，所述环境亮度生成模块，还包括：直方图获取单元，用于获取所述第一图像的灰度图像的直方图信息；
所述低通像素筛选单元，还用于根据所述直方图信息以及所述第一灰度阈值，筛选出灰度值低于所述第一灰度值的低通像素点。
5.如权利要求1所述的一种智能家居照明数据采集终端，其特征在于，所述环境亮度生成模块，还包括：
墙面地面识别单元，用于识别在所述第一图像中的所述第一房间的墙面和/地面；
基于墙地面亮度生成单元，用于根据所述墙面和/或所述地面的像素点的灰度值，获取所述环境亮度。
6.如权利要求1所述的一种智能家居照明数据采集终端，其特征在于，所述环境亮度生成模块，还包括：
墙地面区域获取单元，用于根据墙面和/或地面对应的灰度上下限值，获取所述第一图像上的墙面和/或地面的对应区域；
基于墙地面亮度生成单元，用于根据所述对应区域的像素点灰度值，获取所述环境亮度。
7.如权利要求6所述的一种智能家居照明数据采集终端，其特征在于，所述环境亮度生成模块，还包括：
直方图获取单元，用于获取所述第一图像的直方图信息；
第二墙地面灰度阈值设定单元，用于根据所述直方图信息，获取所述第一图像内的墙面和/或地面对应的灰度上下限值。
8.如权利要求1所述的一种智能家居照明数据采集终端，其特征在于，所述环境亮度生成模块，还包括：
直方图获取单元，获取所述第一图像的直方图；
高频灰阶区间获取单元，用于获取所述第一图像直方图中灰度值频数最高的高频区间的高频灰阶像素点；
基于高频灰阶区间环境亮度生成单元，用于根据所述高频灰阶像素点，获取所述环境亮度。
9.如权利要求1所述的一种智能家居照明数据采集终端，其特征在于，所述环境亮度生成模块，还包括：
直方图获取单元，用于获取所述第一图像的直方图；
高频灰阶区间获取单元，用于获取所述第一图像直方图中灰度值频数最高的高频区间的高频灰阶像素点；
高频灰阶区间筛选单元，用于在所述第一图像中，筛选出若干个满足所述灰度区间的连续像素点区域；所述单个所述连续像素点区域面积大于S；
基于高频灰阶区间环境亮度生成单元，用于根据所述第一图像的至少一个所述连续像素点区域，获取所述环境亮度。
10.如权利要求1所述的一种智能家居照明数据采集终端，其特征在于，所述终端还配置为：
根据所述第一图像，获取墙面和/或地面的平均灰度值；
根据所述墙面灰度值，求解第一图像的基准环境亮度；
根据所述拍摄参数，求解第一图像的拍摄照明校正比例系数；
根据所述图像后处理参数，求解第一图像的后处理校正比例系数；
根据所述第一图像的所述基准环境亮度、所述拍摄照明校正比例系数以及所述后处理校正比例系数，求解所述第一图像的环境亮度。
CN201810383305.3A 2018-04-26 2018-04-26 一种智能家居照明数据采集终端 Active CN108650455B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810383305.3A CN108650455B (zh) 2018-04-26 2018-04-26 一种智能家居照明数据采集终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810383305.3A CN108650455B (zh) 2018-04-26 2018-04-26 一种智能家居照明数据采集终端

Publications (2)

Publication Number Publication Date
CN108650455A true CN108650455A (zh) 2018-10-12
CN108650455B CN108650455B (zh) 2020-11-06

Family

ID=63747443

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810383305.3A Active CN108650455B (zh) 2018-04-26 2018-04-26 一种智能家居照明数据采集终端

Country Status (1)

Country Link
CN (1) CN108650455B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110769164A (zh) * 2019-11-21 2020-02-07 天津九安医疗电子股份有限公司 一种自动调节目标场景照明水平的方法及智能照明控制系统
CN116255583A (zh) * 2023-03-29 2023-06-13 苏州荣文库柏照明系统股份有限公司 一种亮度自适应宽动态范围的视频监控led照明灯具

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003030764A (ja) * 2001-07-12 2003-01-31 Noritz Corp 人体検出装置
JP2013085204A (ja) * 2011-10-11 2013-05-09 Next Core Co Ltd 空気循環手段による温度調節可能なパンチルト機構雲台装置及び前記装置の汚れ除去装置。
JP2013120239A (ja) * 2011-12-06 2013-06-17 Sony Corp 撮影画像のリニアリティ評価方法、画像取得方法及び画像取得装置
CN103517512A (zh) * 2012-06-14 2014-01-15 索尼公司 控制装置、显示装置、控制方法、照明控制方法和程序
CN104267607A (zh) * 2014-09-10 2015-01-07 京东方科技集团股份有限公司 调节室内光亮度的方法、装置和智能家居控制系统
CN104994311A (zh) * 2015-06-16 2015-10-21 青岛海信网络科技股份有限公司 电子警察装置自动调整补光方法
CN105227858A (zh) * 2015-10-30 2016-01-06 维沃移动通信有限公司 一种图像处理方法及移动终端
CN105898246A (zh) * 2016-06-27 2016-08-24 石飞 智能家居系统
CN106455210A (zh) * 2016-10-09 2017-02-22 浙江凯耀照明股份有限公司 室内照度智能调节装置及控制方法
CN107682958A (zh) * 2017-10-13 2018-02-09 勤上光电股份有限公司 一种计算机可读存储介质和应用该介质的led台灯

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003030764A (ja) * 2001-07-12 2003-01-31 Noritz Corp 人体検出装置
JP2013085204A (ja) * 2011-10-11 2013-05-09 Next Core Co Ltd 空気循環手段による温度調節可能なパンチルト機構雲台装置及び前記装置の汚れ除去装置。
JP2013120239A (ja) * 2011-12-06 2013-06-17 Sony Corp 撮影画像のリニアリティ評価方法、画像取得方法及び画像取得装置
CN103517512A (zh) * 2012-06-14 2014-01-15 索尼公司 控制装置、显示装置、控制方法、照明控制方法和程序
CN104267607A (zh) * 2014-09-10 2015-01-07 京东方科技集团股份有限公司 调节室内光亮度的方法、装置和智能家居控制系统
CN104994311A (zh) * 2015-06-16 2015-10-21 青岛海信网络科技股份有限公司 电子警察装置自动调整补光方法
CN105227858A (zh) * 2015-10-30 2016-01-06 维沃移动通信有限公司 一种图像处理方法及移动终端
CN105898246A (zh) * 2016-06-27 2016-08-24 石飞 智能家居系统
CN106455210A (zh) * 2016-10-09 2017-02-22 浙江凯耀照明股份有限公司 室内照度智能调节装置及控制方法
CN107682958A (zh) * 2017-10-13 2018-02-09 勤上光电股份有限公司 一种计算机可读存储介质和应用该介质的led台灯

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110769164A (zh) * 2019-11-21 2020-02-07 天津九安医疗电子股份有限公司 一种自动调节目标场景照明水平的方法及智能照明控制系统
WO2021098191A1 (zh) * 2019-11-21 2021-05-27 天津九安医疗电子股份有限公司 一种自动调节目标场景照明水平的方法及智能照明控制系统
US11997393B2 (en) 2019-11-21 2024-05-28 Andon Health Co., Ltd. Method for automatically adjusting illumination level of target scene and smart illumination control system
CN116255583A (zh) * 2023-03-29 2023-06-13 苏州荣文库柏照明系统股份有限公司 一种亮度自适应宽动态范围的视频监控led照明灯具
CN116255583B (zh) * 2023-03-29 2023-10-24 苏州荣文库柏照明系统股份有限公司 一种亮度自适应宽动态范围的视频监控led照明灯具

Also Published As

Publication number Publication date
CN108650455B (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
CN108600649A (zh) 一种智能家居照明亮度采集与控制方法
CN105187810B (zh) 一种基于人脸色彩特征的自动白平衡方法及电子媒体装置
CN110890078B (zh) 一种基于瞳孔大小自动调节显示屏亮度的方法
CN110033418A (zh) 图像处理方法、装置、存储介质及电子设备
US9460521B2 (en) Digital image analysis
CN111027489B (zh) 图像处理方法、终端及存储介质
WO2005109344A1 (ja) 虹彩登録方法、虹彩登録装置および虹彩登録プログラム
CN108604040B (zh) 通过曝光管理的有效使用来捕获在面部识别中使用的图像
CN102014207A (zh) 一种通信终端及可视电话处理方法
CN111654643B (zh) 曝光参数确定方法、装置、无人机和计算机可读存储介质
CN109743500A (zh) 一种红外摄像机日夜模式的校准、切换方法及装置
CN113411507B (zh) 测肤图像的获取方法、装置、设备及存储介质
CN108391356B (zh) 一种智能家居照明控制系统
CN115775321B (zh) 一种照明灯具亮度调节方法、装置、电子设备及存储介质
CN108650455A (zh) 一种智能家居照明数据采集终端
CN111880309A (zh) 一种基于瞳孔大小自动调节ar虚像亮度的方法
CN107302654A (zh) 一种拍摄方法及装置
CN108881708A (zh) 一种智能图像处理装置
CN109697422B (zh) 光学动作捕捉方法及光学动作捕捉相机
CN110321378A (zh) 一种移动监控图像识别系统及方法
CN108601139A (zh) 一种智能家居照明数据采集方法
CN106803920A (zh) 一种图像处理的方法、装置及智能会议终端
CN108811269A (zh) 一种智能家居照明亮度采集与控制系统
CN111583843A (zh) 一种单摄像头屏幕亮度的调节系统及方法
CN108391357B (zh) 一种智能家居照明控制方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant