CN105430243A - 摄像系统、照明装置及控制方法 - Google Patents
摄像系统、照明装置及控制方法 Download PDFInfo
- Publication number
- CN105430243A CN105430243A CN201510578862.7A CN201510578862A CN105430243A CN 105430243 A CN105430243 A CN 105430243A CN 201510578862 A CN201510578862 A CN 201510578862A CN 105430243 A CN105430243 A CN 105430243A
- Authority
- CN
- China
- Prior art keywords
- distance
- unit
- subject
- correcting
- range information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 35
- 238000003384 imaging method Methods 0.000 title abstract description 7
- 238000005286 illumination Methods 0.000 claims description 45
- 238000004020 luminiscence type Methods 0.000 claims description 35
- 238000012937 correction Methods 0.000 claims description 18
- 238000005259 measurement Methods 0.000 abstract description 21
- 230000001678 irradiating effect Effects 0.000 abstract description 5
- 210000003128 head Anatomy 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000004913 activation Effects 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
- G03B15/02—Illuminating scene
- G03B15/03—Combinations of cameras with lighting apparatus; Flash units
- G03B15/05—Combinations of cameras with electronic flash apparatus; Electronic flash units
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/42—Simultaneous measurement of distance and other co-ordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B2206/00—Systems for exchange of information between different pieces of apparatus, e.g. for exchanging trimming information, for photo finishing
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B2215/00—Special procedures for taking photographs; Apparatus therefor
- G03B2215/05—Combinations of cameras with electronic flash units
- G03B2215/0514—Separate unit
- G03B2215/0517—Housing
- G03B2215/0525—Reflector
- G03B2215/0528—Reflector movable reflector, e.g. change of illumination angle or illumination direction
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Stroboscope Apparatuses (AREA)
- Studio Devices (AREA)
- General Engineering & Computer Science (AREA)
Abstract
一种摄像系统、照明装置及控制方法。所述摄像系统包括能够自动驱动配置有发光单元的可移动单元来改变该发光单元的照射方向的闪光装置，以及摄像装置。该摄像系统包括第一距离测量单元，其测量至被摄体的距离，校正单元，其校正利用第一距离测量单元进行测量所获得的第一距离信息，以及计算单元，其基于校正的第一距离信息计算发光单元的照射方向，其中，该校正单元在该计算单元所计算的照射方向远离被摄体的方向上校正第一距离信息。
Description
技术领域
本发明涉及能够自动改变照射方向的照明装置的控制方法。
背景技术
传统地，在诸如闪光装置(以下，简单地称为闪光灯)的照明装置发出光并且进行拍摄的情况下，将闪光灯控制成面向顶部或者墙发光，以及对闪关灯的光进行漫反射。利用光的漫反射可以获得比利用闪光灯的光对被摄体的直接照射更自然的光分布。通常将这种通过使闪关灯的光发生漫反射来进行拍摄的技术称为反射拍摄。
日本专利特开2009-163179讨论了一种基于拍摄镜头聚焦到被摄体上时聚焦镜头的镜头位置来获取与聚焦的被摄体的距离和与反射面的距离，以根据所获取的距离获得使用反射光照射被摄体的反射角的技术。
然而，在日本专利特开2009-163179说明的技术中，在获取至被摄体的距离和与反射面的距离时引起了误差。因此，可能获得不适于反射拍摄的反射角。例如，在景深为深的情况下，相对于聚焦镜头位置的被摄体距离的聚焦范围为几米。也就是说，基于聚焦镜头的镜头位置所获取的聚焦的被摄体的距离包括了几米的误差。因此，在所获取的至被摄体的距离和实际的至被摄体的距离相差几米的情况下，在获取的反射角下使用发射光无法对被摄体进行自然地照射。
发明内容
本发明涉及即使在自动确定照明装置的照射方向的情况下，也能够降低使用反射光对被摄体的不自然的照射。
根据本发明的方面，一种摄像系统，包括：闪光装置，其能够自动驱动配置有发光单元的可移动单元来改变所述发光单元的照射方向；以及摄像装置，所述摄像系统的特征在于包括：第一距离测量单元，其用于测量至被摄体的距离；校正单元，其用于校正通过所述第一距离测量单元进行测量所获得的第一距离信息；以及计算单元，其用于基于所校正后的第一距离信息计算所述发光单元的照射方向，其中，所述校正单元在所述计算单元所计算的照射方向远离所述被摄体的方向上校正所述第一距离信息。
根据本发明的方面，一种照明装置，包括：主体单元，其可拆卸地安装到摄像装置上；可移动单元，其相对于所述主体单元能够旋转；发光单元，其配置在所述可移动单元内；驱动单元，其用于使所述可移动单元旋转；第一距离测量单元，其用于测量所连接的摄像装置至被摄体的距离；校正单元，其用于校正通过所述第一距离测量单元进行测量所获得的第一距离信息；以及计算单元，其用于基于所校正后的第一距离信息计算所述发光单元的照射方向，其中，所述校正单元在所述计算单元所计算的照射方向远离所述被摄体的方向上校正所述第一距离信息。
根据本发明的方面，一种照明装置的控制方法，所述照明装置包括：主体单元，其可拆卸地安装到摄像装置上，可移动单元，其相对于所述主体单元能够旋转，发光单元，其配置在所述可移动单元内，驱动单元，其用于使所述可移动单元旋转，第一距离测量单元，其用于测量所连接的摄像装置至被摄体的距离，所述控制方法的特征在于包括：校正步骤，校正通过所述第一距离测量单元进行测量所获得的第一距离信息；以及基于所校正后的第一距离信息计算所述发光单元的照射方向，其中，所述校正步骤在所计算的照射方向远离所述被摄体的方向上校正所述第一距离信息。
通过参考附图对典型实施例进行以下说明，本发明的其它特征将变得明显。
附图说明
图1是说明根据本发明的典型实施例的摄像装置的示例的截面图。
图2是用于说明理想的照射方向控制的图。
图3是用于说明在通过测量所获取的反射面距离比实际距离短的情况下照射方向控制的图。
图4是用于说明在通过测量所获取的反射面距离比实际距离长的情况下照射方向控制的图。
图5是用于说明在通过测量所获取的被摄体距离比实际距离短的情况下照射方向控制的图。
图6是用于说明在通过测量所获取的被摄体距离比实际距离长的情况下照射方向控制的图。
图7是用于说明在如图1所示的相机中进行的自动反射拍摄处理的流程图。
图8是用于说明在如图1所示的闪光装置中所进行的自动反射驱动处理的流程图。
图9是说明理想的入射角θ2、被摄体距离和反射距离之间关系的图。
图10是用于说明利用校正被摄体距离和校正反射面距离来计算旋转角的方法的图。
具体实施方式
以下，将参考附图说明本发明的典型实施例。图1是说明根据本发明的典型实施例的摄像装置的示例的截面图。所示摄像装置是具有可更换的拍摄镜头单元(以下，简称为镜头单元)的单镜头反射型数码相机(以下，简称为相机)。所示相机包括相机主体1。透镜单元2(也称为可更换的透镜)安装在相机主体1上。另外，照明装置3(也称为闪光装置或闪光灯)可拆卸地安装在相机主体1上。如上所述，在本实施例中，将说明包括了相机主体1、镜头单元2和闪光装置3的摄像系统。
首先，将说明相机主体1的内部结构。微型计算机中央控制处理单元(CCPU)15(以下，称为相机微计算机)控制该相机主体1的各单元。相机微计算机15具有包括中央处理单元(CPU)、只读存储器(ROM)、随机存取存储器(RAM)、输入/输出控制电路(I/O控制电路、多路复用器、计时器电路、电可擦除可编程只读存储器(EEPROM)以及模拟/数字(A/D)转换器与数字/模拟(D/A)转换器的内置的单片集成电路(IC)电路结构。相机微计算机15可以使用软件控制该摄像系统，并且判断各种条件。
在相机主体1中，包括诸如互补型金属氧化物半导体(CMOS)或者电荷耦合装置(CCD)等的区域存储型光电转换元件的摄像元件11配置在镜头单元2的拍摄光轴上。摄像元件11根据入射到镜头单元2上的光学图像生成图像信号。
焦点检测单元14配置在相机主体1上，并且透过主镜12并在第一反射镜13上反射的反射光输入到焦点检测单元14。焦点检测单元14利用图像偏移方法在拍摄屏幕上的任意位置进行焦点检测。
在相机主体1的上表面提供快门开关16。轻轻地按下快门开关16的操作(即，半按操作)称为快门S1，在执行快门S1的情况下(开启快门S1)，相机微计算机15开始测光和被摄体的焦点检测。深深地按下快门开关16的操作(即，全按操作)称为快门S2，在执行快门S2的情况下(开启快门S2)，相机微计算机15开始曝光。
接着，将说明镜头单元2的内部结构和操作。微计算机局部处理单元(LPU)(以下称为镜头微计算机)21控制镜头单元2的各单元。该镜头微计算机21具有包括CPU、ROM、RAM、输入/输出控制电路(I/O控制电路)、多路复用器、计时器电路、EEPROM以及A/D转换器与D/A转换器的内置的单片IC电路结构。
透镜组22具有包括聚焦透镜和变焦透镜的多个透镜。变焦透镜可以不包括在透镜组22中。透镜驱动单元23是移动透镜组22内所包括的透镜的驱动系统。在相机微计算机15中，基于相机主体1内的焦点检测单元14的输出来计算透镜组22的驱动量。从相机微计算机15将所计算出的驱动量发送至镜头微计算机21。编码器24是检测透镜组22的位置并且输出驱动信息的编码器。透镜驱动单元23基于来自编码器24的驱动信息将透镜组22移动驱动量来进行焦点调节。
接着，将说明闪光装置3的结构。
闪光装置3包括控制整个闪光装置3的闪光主体单元(以下，简称为主体单元)30以及可移动单元31。用作闪光灯控制单元的微处理单元(MPU)38包括在主体单元30内。
主体单元30和可移动单元31通过连接部32连接，并且在主体单元30固定至相机主体1的情况下，可以在上下和左右方向上转动可移动单元31。在可移动单元31相对主体单元30在上下和左右方向上转动的情况下，能够在不改变相机主体1的姿势的情况下改变发光单元34的照射方向。这里，通过将配置连接部32的主体单元30设置为上面来定义左右方向和上下方向。
可移动单元31包括具有马达的驱动单元33、具有作为光源的氙气管或者发光二极管(LED)的发光单元34、测距传感器35和具有编码器的角检测单元37。该驱动单元33在MPU(以下，称为闪光灯微计算机)38的控制下驱动可移动单元31来自动改变发光单元34的照射方向。
如图所示，自动反射开关36配置在主体单元30的侧面。该自动反射开关36用于选择是否在拍摄时进行用于自动确定发光单元34的照射方向的处理。
以下将说明使自动反射开关36开启并且自动确定发光单元34的照射方向的情形。
作为获取上述位置关系所使用的测距技术，使用所谓的脉冲传播技术。在脉冲传播技术中，将光发出和光接收间的时间差转化为距离。也就是说，在这种情况下，根据发光单元34照射的光在被摄体处被反射的时间与测距传感器35收到反射光的时间的时间差来测量至被摄体的距离。
例如，在从闪光装置3向被摄体发出光的情况下，测量被摄体与闪光装置3之间的距离。另一方面，在向诸如墙等被摄体以外的对象(也称为反射面)发出光的情况下，可以测量该对象与闪光装置3之间的距离。在这种情况下，可以利用脉冲传播技术测量与该对象之间的距离。然而，可以利用其它技术测量与该对象之间的距离。
然而，在使用测距传感器35的测距方法中，可移动单元31需要转向向着所测量的对象的具有理想距离的方向。因此，为了分别测量至被摄体的距离和至反射面的距离，需要额外的时间来驱动该可移动单元31。
作为缩短测量距离所需时间的技术，存在使用与镜头单元2的被摄体距离有关的信息来获取至被摄体的距离的方法。如果存在进行焦点调整之后从编码器输出的驱动信息和镜头单元2的焦点距离信息，则可以获取进行焦点调节的对象的被摄体距离。因此，通过相机微计算机15从镜头微计算机21将诸如从编码器输出的驱动信息和焦距信息等的与被摄体距离有关的信息发送至闪光灯微计算机38，以缩短测量至被摄体距离的时间。
尽管测量的精度根据测距方法的类型而不同，但是在距离的测量中总是会引起误差。以下将说明所测量的误差对照射方向控制和图像的影响。在以下将参考图2-6说明的五个示例中，将说明没有进行测量距离的校正的情况下对照射方向控制和图像的影响。
首先，将参考图2说明在没有距离的测量误差的情况下进行理想的照射方向控制的情形。
在图2中，闪光装置3与被摄体40之间的距离为被摄体距离X，闪光装置3与反射面41之间的距离为反射面距离Y。入射角θ1为可以获取针对被摄体40的理想的光分布的反射光的角度，并且利用相机主体1相对于拍摄光学光轴的倾斜角来表示。入射角θ2是整个被摄体40上可以获取自然光的分布的角度，存在较少的反射阴影，并且可以将闪光装置3的发光量最小化，以下将该入射角θ2视为理想的入射角。另外，在来自反射面的反射光显示理想的入射角的情况下，将该反射面视为理想的反射面42。
角θ1是与发光单元34的照射方向相对应的可移动单元31的旋转角，并且通过相机主体1相对于拍摄光学光轴的倾斜角来表示。根据如下说明的被摄体距离X和反射面距离Y计算该角θ1，并且将角θ1计算为使得在被摄体距离X和反射面距离Y中不存在测量误差时，来自反射面的反射光变为理想的入射角。也就是说，如果被摄体距离X和反射面距离Y中不存在测量误差，则发光单元34的照射方向面向理想的反射面42。
如上所述，如果被摄体距离X和反射面距离Y中不存在测量误差，自反射面向被摄体40的反射光的入射角成为理想的入射角，并且可以获取更自然的光分布和良好的图像。
接着，将参考图3说明通过测量所获取的反射面距离比实际距离短的情形。
假设通过测量所获取的是比反射面距离Y短的反射面距离Ym，而实际反射面距离为反射面距离Y。在反射面距离Ym为实际反射面距离的前提下，使得自反射面向被摄体40的反射光的入射角成为理想的入射角所计算的旋转角为角θ1m。
然而，反射面距离Ym比实际反射面距离Y短，因而发光单元34所照射的反射面成为反射面43。此时，角θ1m变得比角θ1小。如图3所示，反射面43比理想的反射面42更靠近被摄体，自反射面43向被摄体40的反射光的入射角成为入射角θ3m，并且相对被摄体40的倾斜度比作为理想的入射角的入射角θ2更陡。在这种情况下，被摄体40的眼睛和鼻子有强烈的阴影并且图像变得不自然(被摄体被反射光不自然地照射)的可能性高。
接着，将参考图4说明通过测量所获取的反射面距离比实际距离长的情形。
假设通过测量所获取的是比反射面距离Y长的反射面距离Yp，而实际反射面距离为反射面距离Y。在反射面距离Yp为实际反射面距离的前提下，使得自反射面向被摄体40的反射光的入射角成为理想的入射角所计算的旋转角为角θ1p。
然而，反射面距离Yp比实际反射面距离Y长，因而发光单元34所照射的反射面成为反射面44。此时，角θ1p比角θ1大。如图4所示，反射面44比理想的反射面42更远离被摄体，自反射面44向被摄体40的发射光的入射角变为入射角θ3p，并且相对被摄体40的倾斜度比作为理想的入射角的入射角θ2更缓。在这种情况下，反射面44远离被摄体，并且需要闪光装置3的大的发光量，因而能量损失变大。然而，在光分布方面，被摄体被反射光均匀地照射，并且可以获取自然的光分布和良好的图像。
接着，将参考图5说明通过测量所获取的被摄体距离比实际距离短的情形。
假设通过测量所获取的是比被摄体距离X短的被摄体距离Xm，而实际被摄体距离为被摄体距离X。在被摄体距离Xm为实际被摄体距离的前提下，使得自反射面向被摄体40的反射光的入射角成为理想的入射角所计算的旋转角为角θ1m’。
然而，被摄体距离Xm比实际被摄体距离X短，因而发光单元34所照射的反射面变为反射面45。此时，角θ1m’比角θ1大。如图5所示，反射面45比理想的反射面42更远离被摄体，自反射面45向被摄体40的反射光的入射角变为入射角θ3m’，并且相对被摄体40的倾斜度比作为理想的入射角的入射角θ2更平缓。
在这种情况下，反射面45远离被摄体，因而需要闪光装置3的大的发光量并且能量损失变大。然而，在光分布方面，被摄体被反射光均匀地照射，并且可以获取自然的光分布，从而可以获得良好的图像。
最后，将参考图6说明通过测量所获取的被摄体距离比实际距离长的情形。
假设通过测量所获取的是比被摄体距离X长的被摄体距离Xp，而实际被摄体距离为被摄体距离X。在被摄体距离Xp为实际被摄体距离的前提下，使得自反射面向被摄体40的反射光的入射角成为理想的入射角所计算的旋转角为角θ1p’。
然而，被摄体距离Xp比实际被摄体距离X长，因而发光单元34所照射的反射面变为反射面46。此时，角θ1p’比角θ1小。如图6所示，反射面46比理想的反射面42更靠近被摄体，自反射面46向被摄体40的反射光的入射角成为入射角θ3p’，并且相对被摄体40的倾斜度比作为理想的入射角的入射角θ2更陡。
这样，被摄体40的眼睛和鼻子有强烈的阴影，并且图像变得不自然(被摄体被反射光不自然地照射)的可能性高。
如图3-6所示，在反射面距离在短方向(-方向)上包括误差以及被摄体距离在长方向(+方向)上包括误差的情况下，被摄体被反射光不自然地照射并且获取不自然的图像的可能性高。另一方面，在反射面距离在长方向(+方向)上包括误差和被摄体距离在短方向(-方向)上包括误差的情况下，尽管发光量变大并且能量损失增加，但是在光分布方面照射不会变得不自然。根据这些结果，通过预先掌握测距方法引起的测距误差的值以及从光分布的角度对相对确定照射方向时所使用的距离信息的测距误差进行校正以采用良好的方向，可以减少不自然的光分布。
如上所述，从光分布方面，良好的测距误差的校正方向为长反射面距离(+方向)的方向和短被摄体距离(-方向)的方向。通过以这种方式进行校正，可移动单元31的旋转角变为与没有校正距离信息的情形相比更宽的角(面向远离被摄体的方向)。同时，从被摄体观察的反射光的入射角变为与没有校正的距离信息的情形相比更窄。
图7是用于说明图1所示的相机进行自动反射拍摄处理的流程图。根据所示流程图的处理是在相机微计算机15的控制下进行的。根据所示流程图处理是在自动反射开关36开启的情况下进行的。
首先在步骤S100，相机微计算机15判断快门15是否开启。在快门15为OFF(关闭)的情况下(步骤S100为否)，相机微计算机15待机。在快门15为ON(开启)的情况下(步骤S100为是)，相机微计算机进行被摄体的测光和焦点检测。也就是说，在步骤S101，相机微计算机15进行自动曝光(AE)和自动调焦(AF)来检测被摄体。
之后，在步骤102，相机微计算机15发出自动反射驱动指令至闪光灯微计算机38。随后，该闪光灯微计算机38按如下说明进行自动反射驱动。
图8是用于说明如图所示1的闪光装置3中进行的自动反射驱动控制的图。所示流程图在闪光灯微计算机38的控制下进行。
在接收到来自相机微计算机15的反射驱动指令的情况下，在步骤200，闪光灯微计算机38首先进行被摄体距离测量控制以获取被摄体距离。在这种情况下，如上所述，通过测距传感器35接收利用发光单元34向被摄体所照射的反射光，并且闪光灯微计算机38根据测光值计算测量被摄体距离Xa。
接着，在步骤S201，闪光灯微计算机38对步骤S200所获取的测量被摄体距离Xa中的测量误差进行校正。测量误差系数可以预先存储在闪光灯微计算机38内置的存储器中，并且这里针对测量被摄体距离所读取的测量误差系数为Kx。经该测量误差校正的校正被摄体距离Xt用如下表达式来表示：
校正被摄体距离Xt＝测量被摄体距离Xa/(1+测量误差系数Kx)。
之后，闪光灯微计算机38控制驱动单元33以使得可移动单元31的旋转角在向上的方向变为90度(相对于水平面的角度变为垂直的)。也就是说，闪光灯微计算机38设置发光单元34的照射方向为垂直方向(相对于水平面的角度变为垂直的)。之后，在步骤S202，闪光灯微计算机38进行反射面距离测量控制以使得发光单元34发出的光照射反射面(这里，顶面)，从而获取与反射面的距离，并且获取测量反射面距离Ya。闪光灯微计算机38根据测距传感器35输出的测光值计算与反射面的距离。
接着，在步骤S203，闪光灯微计算机38对步骤S202所获取的测量反射面距离Ya的测量误差进行校正。测量误差系数可以预先存储在闪光灯微计算机38所内置的存储器中，并且这里针对测量反射面距离所读取的测量误差系数为Ky。经该测量误差校正的校正反射面距离Yt用如下表达式来表示：
校正反射面距离Yt＝测量反射面距离Ya/(1-测量误差系数Ky)。
接着，在步骤204，闪光灯微计算机38对预先以表的形式存储在闪光灯微计算机38内置的存储器中的理想的入射角θ2进行读取。在存储器所存储的表中，被摄体距离、反射面距离和理想的入射角θ2是彼此相互联系的，并且被摄体距离越长，则理想的入射角θ2变得更宽，以及反射面距离越长，则理想的入射角θ2变得更宽。
图9说明校正被摄体距离Xt、校正反射面距离Yt和理想的入射角θ2彼此相互联系的表的示例。图9中的θ代表校正被摄体距离Xt＝1m且校正反射面距离Yt＝1m的情况下的理想入射角。然而，只要表具有与图9所示的相对关系相同的趋势(被摄体距离越长，则角越宽以及反射面距离越长，则角越宽)，可以采用任何角。这里提到的宽的角意味着反射光从更近的位置入射到被摄体上。另外，校正被摄体距离Xt和校正反射面距离Yt的分割的数量也不限于图9所说明的数量。
接着，在步骤S205，闪光灯微计算机38基于在步骤S201、S203和S204所获取的校正被摄体距离Xt、校正反射面距离Yt和理想的入射角θ2来计算可移动单元31的旋转角θ1。
将以图10为例说明用于计算旋转角的方法。图10中的Ya和Xa分别代表校正前的测量反射面距离和测量被摄体距离，并且图10说明了没有测量误差的情形。因此，实际被摄体距离X＝Xa，实际反射面距离Y＝Ya。
另外，在该计算中，图10中的X1是在从发光单元34在角θ1的方向发出光的情况下，在校正反射面距离为Yt时，反射面与闪光装置3在水平方向上的距离。另外，以闪光装置3为基准，被摄体40侧位于+方向并且对侧位于-方向。从图10所示的关系，可以确定以下表达式：
tanθ2＝Yt/(Xt-X1)
tanθ1＝180-(Yt/X1)
并且，可以从以下表达式来获取角θ1：
θ1＝180-arctan*(Yt*tanθ2/(Yt-Xt*tanθ2))
即，将照射方向计算为使得在使用来自发光单元34的光对校正反射面距离中存在的反射面进行照射的情况下，来自反射面的反射光相对于校正被摄体距离中存在的被摄体的入射角变成预定的角度(θ2)。
因为图10说明了所测量的距离中没有误差的实例，因此利用预先假定的测量误差Kx和Ky，根据实际的距离对校正距离进行移位。然而，作为结果，基于校正距离所计算出的入射角θ3与理想的入射角θ2相比变得更窄，并且能量损失变大。然而，光分布没有变得不自然。
之后，在步骤S206，闪光灯微计算机38根据所计算的θ1参考角检测单元37的角检测结果来控制驱动单元33以进行使可移动单元31的旋转角为角θ1的反射角驱动控制。
接着，在步骤S207，闪光灯微计算机38判断可移动单元31是否正在被驱动，并且如果驱动被终止，闪光灯微计算机38继续至步骤S208。
接着，在步骤S208，闪光灯微计算机38发送表示可移动单元31驱动终止的反射驱动终止通知至相机微计算机15。
重新参考图7，在发出反射驱动指令至闪光灯微计算机38之后，则在步骤S103，相机微计算机15判断利用该反射驱动指令所进行的自动反射驱动控制是否终止。在自动反射驱动控制没有终止的情况下，即在没有接收到来自闪光灯微计算机38的反射驱动终止通知的情况下(步骤S103为否)，相机微计算机15待机。
另一方面，在接收到来自闪光灯微计算机38的反射驱动终止通知的情况下，则在步骤104，相机微计算机15判断快门S2是否开启。
在快门S2关闭的情况下(步骤S104为否)，在步骤105，相机微计算机15判断快门开关S1是否开启。然后，在快门S1关闭的情况下(步骤S105为否)，相机微计算机15终止自动反射拍摄处理。另一方面，在快门S1开启的情况下(步骤S105为是)，在步骤S106，相机微计算机15再次进行测光和焦点检测(AE/AF)，并且返回至步骤S104的处理。
在快门S2开启的情况下(步骤S104为是)，相机微计算机15控制闪光灯微计算机38以使发光单元34发光并执行曝光。然后，在步骤S107，相机微计算机15获取与从摄像元件11所获取的输出相对应的图像数据。之后，相机微计算机15终止自动反射拍摄处理。
如上所述，在本典型实施例中，预先存储与为确定发光单元34的照射方向而进行距离测量时所假定的测量误差的最大值相对应的校正量。然后，利用所存储的与测量误差的最大值相对应的校正量来对测量的距离进行校正，并且基于校正的距离来确定照射方向。此时，对于被摄体距离，所测量的距离被校正为变得更短，对于反射面距离，所测量的距离被校正为变得更长。基于校正的距离所确定的照射方向与基于所测量的距离所确定的照射方向相比远离被摄体。也就是说，对照射方向进行校正以使得光分布没有变得不自然。因此，即使自动确定照射方向，也可以减少发射光对被摄体的不自然的照射。
在上述的典型实施例中，作为示例已经说明了对利用照明装置所测量的距离进行校正来确定照射方向。然而，同样可以对利用摄像装置所测量的距离进行校正来确定照射方向。此时，测量的误差根据测量距离的方法而不同，因此可以仅预先存储与各种测量方法对应的测量误差系数。
另外，在上述典型实施例中，作为示例已经说明了对被摄体距离和反射面距离这两者进行校正。然而，可以仅对这两个距离中的一个进行校正。在仅对这两个距离中的一个进行校正的情况下，与对被摄体距离和反射面距离这两者进行校正的情形相比在减少反射光对被摄体的不自然的照射的效果更小。然而，与不对被摄体距离和反射面距离中的任何一个进行校正的情形相比，可以减少反射光对被摄体不自然的照射。
另外，在上述典型实施例中，已经说明了使用与测量误差的最大值相对应的校正量来进行校正的示例。然而，要使用的校正量可以不是与最大值相对应的校正量。在校正量不是与最大值相对应的量的情况下，尽管与通过使用与最大值相对应的校正量来进行校正的情形相比可以获取的效果更小，但是与没有进行校正的情况相比，可以减少反射光对被摄体不自然的发射。
另外，在上述典型实施例中，作为示例已经说明了对被摄体距离和反射面距离进行校正。然而，要校正的对象可以不是距离本身。替代地，可以对用于计算被摄体距离的信息和用于计算反射面距离的信息进行校正。例如，可以对脉冲传播技术中发光单元34所照射的光在被摄体处反射的时间与测距传感器35接收到反射光的时间的时间差、或者从编码器输出的驱动信息和镜头单元2的焦距信息进行校正。也就是说，在将距离信息用作要校正对象的情况下，该距离信息包括距离的值本身和用于计算距离的信息。
另外，闪光灯微计算机38可以执行上述典型实施例中的相机微计算机15所执行的处理的一部分，或者相机微计算机15可以执行上述典型实施例中的闪光灯微计算机38所执行的处理的一部分。例如，可以利用相机微计算机15或闪光灯微计算机38对被摄体距离和反射面距离进行校正，并且可以基于相机微计算机15或闪光灯微计算机38所校正的被摄体距离和反射面距离来确定反射方向。
另外，可以通过不同的测量方法来测量被摄体距离和反射面距离，或者即使使用相同的测量方法，也可以在不同的测量单元中测量被摄体距离和反射面距离。
另外，只要结构可以自动地改变照明装置的照射方向，代替发光装置连接到摄像装置或者从摄像装置中可拆卸的结构，本发明可以适用于将发光装置内置到摄像装置中的结构。
如上所述，已经基于典型实施例对本发明进行了说明。然而，本发明不限于这些典型实施例，没有脱离本发明的主旨的各种形式也包括在本发明中。
例如，上述典型实施例的功能可以视为一种控制方法，并且可以通过摄像装置来执行该控制方法。另外，上述典型实施例的功能可以视为一种控制程序，并且可以通过摄像装置所包括的计算机来执行该控制程序。该控制程序记录在计算机可读的记录介质中。
可以通过以下处理的执行来实现本发明。也就是说，利用通过网络或者各种记录媒介将实现上述典型实施例中的功能的软件(程序)提供给系统或者装置以及使系统或装置的计算机(或CPU或MPU)读取并执行该程序来执行处理。
根据本发明的实施例，即使在自动确定照明装置的照射方向的情况下，也可以减少反射光对被摄体的不自然的照射。
其它实施例
本发明的实施例还可以通过读出和执行记录在存储介质(更全面地称为’非瞬态计算机可读存储介质’)上的计算机可执行指令(例如，一个或多个程序)以进行一个或多个上述实施例的功能的系统或设备的计算机和/或进行一个或多个上述实施例的功能的一个或多个电路(例如，专用集成电路(ASIC))，以及以下方法来实现，其中系统或设备的计算机通过例如读出和执行来自存储介质的计算机可执行指令以进行一个或多个上述实施例的功能和/或控制一个或多个电路以进行一个或多个上述实施例的功能来进行该方法。计算机可以包括一个或者多个处理器(例如，中央处理器(CPU)、微处理器(MPU))，并且可以包括单独的计算机或者单独的处理器的网络来读取和执行计算机可执行指令。计算机可执行指令例如可以通过网络或者存储介质提供给计算机。存储介质可以例如包括硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算机系统的存储器、光盘(诸如致密盘(CD)、数字通用光盘(DVD)或蓝光盘(BD)TM等)、闪速存储装置和存储卡等中的一个或多个。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。
Claims (14)
1.一种摄像系统，包括：闪光装置，其能够自动驱动配置有发光单元的可移动单元来改变所述发光单元的照射方向；以及摄像装置，所述摄像系统的特征在于包括：
第一距离测量单元，其用于测量至被摄体的距离；
校正单元，其用于校正通过所述第一距离测量单元进行测量所获得的第一距离信息；以及
计算单元，其用于基于所校正后的第一距离信息计算所述发光单元的照射方向，
其中，所述校正单元在所述计算单元所计算的照射方向远离所述被摄体的方向上校正所述第一距离信息。
2.根据权利要求1所述的摄像系统，其中，所述校正单元以使所述第一距离信息所表示的距离更短的方式来校正所述第一距离信息。
3.根据权利要求1所述的摄像系统，其中，
还包括第二距离测量单元，其用于测量至不同于所述被摄体的方向上的对象的距离，
所述校正单元校正通过所述第二距离测量单元进行测量所获得的第二距离信息，以及
所述计算单元基于所校正后的第一距离信息和所校正后的第二距离信息计算所述照射方向。
4.根据权利要求3所述的摄像系统，其中，所述校正单元在所述计算单元所计算的照射方向远离所述被摄体的方向上校正所述第二距离信息。
5.根据权利要求4所述的摄像系统，其中，所述校正单元以使所述第二距离信息所表示的距离更长的方式来校正所述第二距离信息。
6.根据权利要求3所述的摄像系统，其中，所述计算单元计算所述照射方向，以使得在使用所述发光单元的光对所校正后的第二距离信息所表示的距离处存在的所述对象进行照射的情况下，来自所述对象的反射光对所校正后的第一距离信息所表示的距离处存在的所述被摄体的入射角变为预定角度。
7.根据权利要求6所述的摄像系统，其中，所述计算单元根据所述第一距离信息改变所述预定角度。
8.根据权利要求7所述的摄像系统，其中，所述计算单元改变所述预定角度，以使得随着所述第一距离信息所表示的距离变得更长，来自距离所述被摄体更近的位置的反射光入射到所述被摄体。
9.根据权利要求6所述的摄像系统，其中，所述计算单元根据所述第二距离信息改变所述预定角度。
10.根据权利要求9所述的摄像系统，其中，所述计算单元改变所述预定角度，以使得随着所述第二距离信息所表示的距离变得更长，来自距离所述被摄体更近的位置的反射光入射到所述被摄体上。
11.根据权利要求1所述的摄像系统，其中，还包括存储单元，
所述存储单元用于存储所述校正单元的校正量，以及
所述存储单元将与所述第一距离测量单元的测量误差的最大值相对应的校正量作为所述第一距离信息的校正量来存储。
12.根据权利要求3所述的摄像系统，其中，还包括存储单元，
所述存储单元用于存储所述校正单元进行的校正量，
所述存储单元将与所述第二距离测量单元的测量误差的最大值相对应的校正量作为所述第二距离信息的校正量来存储。
13.一种照明装置，包括：
主体单元，其可拆卸地安装到摄像装置上；
可移动单元，其相对于所述主体单元能够旋转；
发光单元，其配置在所述可移动单元内；
驱动单元，其用于使所述可移动单元旋转；
第一距离测量单元，其用于测量所连接的摄像装置至被摄体的距离；
校正单元，其用于校正通过所述第一距离测量单元进行测量所获得的第一距离信息；以及
计算单元，其用于基于所校正后的第一距离信息计算所述发光单元的照射方向，
其中，所述校正单元在所述计算单元所计算的照射方向远离所述被摄体的方向上校正所述第一距离信息。
14.一种照明装置的控制方法，所述照明装置包括：
主体单元，其可拆卸地安装到摄像装置上，
可移动单元，其相对于所述主体单元能够旋转，
发光单元，其配置在所述可移动单元内，
驱动单元，其用于使所述可移动单元旋转，
第一距离测量单元，其用于测量所连接的摄像装置至被摄体的距离，
所述控制方法的特征在于包括：
校正步骤，校正通过所述第一距离测量单元进行测量所获得的第一距离信息；以及
基于所校正后的第一距离信息计算所述发光单元的照射方向，
其中，所述校正步骤在所计算的照射方向远离所述被摄体的方向上校正所述第一距离信息。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014-186875 | 2014-09-12 | ||
| JP2014186875A JP6395534B2 (ja) | 2014-09-12 | 2014-09-12 | 撮像システム、照明装置及び制御方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105430243A true CN105430243A (zh) | 2016-03-23 |
| CN105430243B CN105430243B (zh) | 2018-09-25 |
Family
ID=55454639
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510578862.7A Expired - Fee Related CN105430243B (zh) | 2014-09-12 | 2015-09-11 | 摄像系统、照明装置及控制方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US9785036B2 (zh) |
| JP (1) | JP6395534B2 (zh) |
| CN (1) | CN105430243B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107295223A (zh) * | 2016-04-04 | 2017-10-24 | 佳能株式会社 | 摄像系统、发光装置、发光控制方法和存储介质 |
| CN107979719A (zh) * | 2016-10-25 | 2018-05-01 | 佳能株式会社 | 摄像设备、摄像系统、自动照射方向控制方法及存储介质 |
| CN108287347A (zh) * | 2018-02-09 | 2018-07-17 | 广东欧珀移动通信有限公司 | 测距方法、电子装置及计算机可读存储介质 |
| CN111630449A (zh) * | 2017-11-21 | 2020-09-04 | 亮锐有限责任公司 | 颜色误差校正的分段式led阵列 |
| US11204539B2 (en) | 2017-11-21 | 2021-12-21 | Lumileds Llc | Color error corrected segmented LED array |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9716818B2 (en) * | 2015-05-07 | 2017-07-25 | Canon Kabushiki Kaisha | Illumination apparatus having first case and second case rotatable relative to first case, and imaging apparatus having detachable illumination apparatus |
| US10091433B1 (en) * | 2017-05-24 | 2018-10-02 | Motorola Mobility Llc | Automated bounce flash |
| JP6961462B2 (ja) * | 2017-10-30 | 2021-11-05 | キヤノン株式会社 | 撮像装置およびその調光制御方法、並びにプログラム |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1456971A (zh) * | 2002-04-10 | 2003-11-19 | 奥林巴斯光学工业株式会社 | 照相机 |
| US20050168624A1 (en) * | 2004-02-04 | 2005-08-04 | Konica Minolta Photo Imaging, Inc. | Image capturing apparatus |
| WO2014030331A1 (ja) * | 2012-08-20 | 2014-02-27 | パナソニック株式会社 | ストロボ装置およびストロボ装置を備えた撮像装置 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS59140428A (ja) * | 1983-01-31 | 1984-08-11 | Canon Inc | 閃光装置 |
| JPH0342644A (ja) * | 1989-07-10 | 1991-02-22 | Olympus Optical Co Ltd | ストロボ装置 |
| JPH04337715A (ja) * | 1991-05-14 | 1992-11-25 | Olympus Optical Co Ltd | バウンスストロボ装置 |
| JPH11119289A (ja) * | 1997-10-17 | 1999-04-30 | Nikon Corp | 自動調光装置 |
| JP2009163179A (ja) * | 2008-01-10 | 2009-07-23 | Fujifilm Corp | 撮影装置及びその制御方法 |
| JP2009169055A (ja) * | 2008-01-16 | 2009-07-30 | Panasonic Corp | 撮像装置 |
| US7801438B2 (en) * | 2008-02-14 | 2010-09-21 | Alok Khuntia | Camera integrated with direct and indirect flash units |
| JP2011170014A (ja) * | 2010-02-17 | 2011-09-01 | Panasonic Corp | ストロボ装置 |
| JP2013178354A (ja) * | 2012-02-28 | 2013-09-09 | Panasonic Corp | ストロボ装置及びストロボ装置を備えた撮像装置 |
| US8736710B2 (en) * | 2012-05-24 | 2014-05-27 | International Business Machines Corporation | Automatic exposure control for flash photography |
-
2014
- 2014-09-12 JP JP2014186875A patent/JP6395534B2/ja not_active Expired - Fee Related
-
2015
- 2015-09-03 US US14/845,129 patent/US9785036B2/en not_active Expired - Fee Related
- 2015-09-11 CN CN201510578862.7A patent/CN105430243B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1456971A (zh) * | 2002-04-10 | 2003-11-19 | 奥林巴斯光学工业株式会社 | 照相机 |
| US20050168624A1 (en) * | 2004-02-04 | 2005-08-04 | Konica Minolta Photo Imaging, Inc. | Image capturing apparatus |
| WO2014030331A1 (ja) * | 2012-08-20 | 2014-02-27 | パナソニック株式会社 | ストロボ装置およびストロボ装置を備えた撮像装置 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107295223A (zh) * | 2016-04-04 | 2017-10-24 | 佳能株式会社 | 摄像系统、发光装置、发光控制方法和存储介质 |
| CN107979719A (zh) * | 2016-10-25 | 2018-05-01 | 佳能株式会社 | 摄像设备、摄像系统、自动照射方向控制方法及存储介质 |
| CN107979719B (zh) * | 2016-10-25 | 2021-01-08 | 佳能株式会社 | 摄像设备、摄像系统、自动照射方向控制方法及存储介质 |
| CN111630449A (zh) * | 2017-11-21 | 2020-09-04 | 亮锐有限责任公司 | 颜色误差校正的分段式led阵列 |
| US11204539B2 (en) | 2017-11-21 | 2021-12-21 | Lumileds Llc | Color error corrected segmented LED array |
| CN111630449B (zh) * | 2017-11-21 | 2022-03-29 | 亮锐有限责任公司 | 颜色误差校正的分段式led阵列 |
| CN108287347A (zh) * | 2018-02-09 | 2018-07-17 | 广东欧珀移动通信有限公司 | 测距方法、电子装置及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| US9785036B2 (en) | 2017-10-10 |
| JP2016061801A (ja) | 2016-04-25 |
| CN105430243B (zh) | 2018-09-25 |
| JP6395534B2 (ja) | 2018-09-26 |
| US20160077406A1 (en) | 2016-03-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105430243A (zh) | 摄像系统、照明装置及控制方法 | |
| JP5020651B2 (ja) | 撮像装置及び撮像システム | |
| US8743184B2 (en) | Photographing apparatus and focus position determining method | |
| TWI274952B (en) | Method and system for automatically adjusting the flash intensity of camera | |
| JP5424708B2 (ja) | 焦点検出装置 | |
| JP4931225B2 (ja) | 撮像装置 | |
| JP6719947B2 (ja) | 撮像システム、発光装置、発光制御方法、及びプログラム | |
| CN112147622B (zh) | 测距装置、测距方法、摄像头及电子设备 | |
| US20030043287A1 (en) | Three-dimensional image capturing device | |
| JP5818488B2 (ja) | 撮像装置及びカメラシステム | |
| JPS5880608A (ja) | 自動焦点調節装置 | |
| WO2019085260A1 (zh) | 自动调焦系统、方法以及投影设备 | |
| JP5794665B2 (ja) | 撮像装置 | |
| US11006027B2 (en) | Photographing system for setting light emission amount of strobe, illumination apparatus, and control method | |
| CN105407291A (zh) | 摄像系统、照明设备和控制方法 | |
| JP2009122523A (ja) | ストロボ装置 | |
| JP6598649B2 (ja) | 発光装置、その制御方法、および撮像装置 | |
| JP6584128B2 (ja) | 照明装置、撮像装置、撮像システム及びその制御方法 | |
| JP6685732B2 (ja) | 照明装置、撮像システムとその制御方法及びプログラム | |
| JP2019139031A (ja) | 撮像装置及びその制御方法 | |
| JP4289382B2 (ja) | 監視装置および撮像装置。 | |
| JP2568604B2 (ja) | 閃光装置の制御システム | |
| JP6489925B2 (ja) | 照明装置、撮像装置、撮像システム及びその制御方法 | |
| JP2019148636A (ja) | 照明装置、撮像装置、照明装置の制御方法、および、プログラム | |
| JP2568605B2 (ja) | 閃光装置の制御システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180925 Termination date: 20210911 |