CN111279675A - 状态检测装置 - Google Patents

状态检测装置 Download PDF

Info

Publication number
CN111279675A
CN111279675A CN201880069509.8A CN201880069509A CN111279675A CN 111279675 A CN111279675 A CN 111279675A CN 201880069509 A CN201880069509 A CN 201880069509A CN 111279675 A CN111279675 A CN 111279675A
Authority
CN
China
Prior art keywords
laser
light
detection device
laser module
irradiation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880069509.8A
Other languages
English (en)
Other versions
CN111279675B (zh
Inventor
酒井洋介
大见拓宽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Publication of CN111279675A publication Critical patent/CN111279675A/zh
Application granted granted Critical
Publication of CN111279675B publication Critical patent/CN111279675B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4233—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive element [DOE] contributing to a non-imaging application
    • G02B27/425—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive element [DOE] contributing to a non-imaging application in illumination systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/04—Systems determining the presence of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B1/00—Optical elements characterised by the material of which they are made; Optical coatings for optical elements
    • G02B1/10—Optical coatings produced by application to, or surface treatment of, optical elements
    • G02B1/11—Anti-reflection coatings
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/02—Diffusing elements; Afocal elements
    • G02B5/0273—Diffusing elements; Afocal elements characterized by the use
    • G02B5/0278—Diffusing elements; Afocal elements characterized by the use used in transmission
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/55—Details of cameras or camera bodies; Accessories therefor with provision for heating or cooling, e.g. in aircraft
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2215/00—Special procedures for taking photographs; Apparatus therefor
    • G03B2215/05—Combinations of cameras with electronic flash units
    • G03B2215/0564—Combinations of cameras with electronic flash units characterised by the type of light source
    • G03B2215/0567—Solid-state light source, e.g. LED, laser
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)
  • Cameras Adapted For Combination With Other Photographic Or Optical Apparatuses (AREA)
  • Stroboscope Apparatuses (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

状态检测装置具备：相机(3)，对驾驶员所存在的拍摄区域进行拍摄；激光器(4)，向上述拍摄区域照射光；以及光学部件(7、8、10)，使上述激光器的光扩展地照射到规定的照射区域。

Description

状态检测装置
相关申请的交叉引用
本申请基于2017年11月9日申请的日本申请号2017－216359号，并在此引用其记载内容。
技术领域
本发明涉及状态检测装置。
背景技术
存在对车辆的内部的状态进行拍摄或监视驾驶员的状态的状态检测装置。例如，作为检测驾驶员的状态的装置，例如是通过设置在车内的相机拍摄驾驶员并通过图像解析等检测状态的装置。该情况下，有时例如照明使用LED(发光二极管)，使得即使在夜间也能够拍摄驾驶员。作为使用这样的技术的装置，有驾驶员状态监视装置(DSM：Driver StatusMonitor)。
在车内，存在昼夜的亮度的差异、由于反射光等的入射而造成的干扰光的影响，所以为了可靠地拍摄驾驶员，要求更强的照明。因此，为了利用LED实现较强的照明，可以考虑增加LED的数量，或者增大电流来使发光强度增大。
然而，增加LED的数量存在要求在车辆上的搭载性的DSM设备的尺寸变大这个课题。另外，提升向LED输入的电流，即提升电能导致车辆的电源的消耗变大，在电动汽车中，存在由于电能的消耗，而可行驶的距离减少这个课题。
该情况下，将高效率的光源，例如有激光器照明等，但由于激光器是局部光强度较强，所以存在在用于向人体的照射的情况下，需要充分确保安全性，并较难在驾驶员的存在区域内进行高效的照明的问题。
专利文献1：日本专利第4888838号公报
发明内容
本发明提供能够使用激光安全地照射驾驶员的状态检测装置。
在本发明的第一方式中，状态检测装置具备：相机，对驾驶员所存在的拍摄区域进行拍摄；激光器，向所述拍摄区域照射光；以及光学部件，将所述激光器的光扩展地照射到规定的照射区域。
通过采用上述结构，使激光经由光学部件扩展到规定区域的范围而降低到对人体安全的光强度的状态下向驾驶员照射激光。其结果能够向驾驶员所存在的拍摄区域照射基于激光的比较强的光以通过相机拍摄驾驶员，由此能够减少由干扰光所造的影响的状态下识别驾驶员的状态识别。
附图说明
关于本发明的上述目的以及其它目的、特征及优点，参照附图并通过下述的详细描述会变得更加明确。在该附图中：
图1是表示第一实施方式的电结构框图。
图2是表示激光模块和投光区域的图。
图3是表示激光模块和扩散板的配置关系的图。
图4是表示被扩散的激光的二维区域的图。
图5是表示激光的二维区域的图。
图6是表示激光的光强度分布的图。
图7是激光照射控制的流程图。
图8是激光照射和相机拍摄的时间图。
图9是减光控制的流程图(其1)。
图10是减光控制的流程图(其2)。
图11是表示激光强度的变更控制的时间图(其1)。
图12是表示激光强度的变更控制的时间图(其2)。
图13是表示第二实施方式的激光模块和投光区域的图。
图14是表示来自拍摄区域的反射光的强度的图。
图15是表示从激光模块到拍摄区域的驾驶员的各部的距离的图。
图16是将均匀的光强度的光投光到拍摄区域的情况下的反射光的光强度的图。
图17是表示第三实施方式的激光芯片和投光区域的图。
图18是表示衍射光栅的散射系数的设定例的图。
图19是激光模块与扩散板以及衍射光栅的配置关系的图(其1)。
图20是激光模块与扩散板以及衍射光栅的配置关系的图(其2)。
图21是表示第四实施方式的激光模块与扩散板以及衍射光栅的配置关系的图(其1)。
图22是激光模块与扩散板以及衍射光栅的配置关系的图(其2)。
图23是表示第五实施方式的激光模块与扩散板以及衍射光栅的配置关系的图(其1)。
图24是激光模块与扩散板以及衍射光栅的配置关系的图(其2)。
图25是激光模块与扩散板以及衍射光栅的配置关系的图(其3)。
图26是表示第六实施方式的激光模块与扩散板以及衍射光栅的配置关系的图(其1)。
图27是激光模块与扩散板以及衍射光栅的配置关系的图(其2)。
图28是激光模块与扩散板以及衍射光栅的配置关系的图(其3)。
具体实施方式
(第一实施方式)
以下，参照图1～图12，对应用于设置在车辆中的驾驶员状态监视装置的情况下的第一实施方式进行说明。
作为状态检测装置的驾驶员状态监视装置1被设置在汽车的车厢内，并被配置为检测驾驶员D的面部的表情、动作等状态。状态检测装置1以控制部2为控制主体而构成，并具备相机3、激光模块4、测距传感器5以及温度传感器6。
控制部2具备CPU、存储器、输入输出电路等，并按照程序来执行状态监视处理。此外，在该实施方式中，对于基于相机3的拍摄信息的驾驶员的状态监视处理，由于与一般的驾驶员状态监视装置同等，所以省略说明。
相机3朝向驾驶席配置，对包括驾驶员D的面部的拍摄区域A的范围进行拍摄并将影像信息输出至控制部2。激光模块4例如由输出红外线激光的半导体激光器等构成，并按照来自控制部2的投光信号来输出激光。在激光模块4中，在射出激光的部分的表面部分配置作为光学部件的矩形状的扩散板7。
由于扩散板7的厚度比较薄，且形成为板状或膜状，所以在内部混合有用于使激光散射的材料。该扩散板7在从激光模块4射出的相干会聚的激光透过时扩散成矩形状的照射图案并作为有发散度的扩散光L向规定的照射区域亦即拍摄区域A照射。而且，扩散光L被设定为以几乎相同的形状且相同的大小照射到相机3的拍摄区域A的位置。
作为距离检测部的测距传感器5对到存在于拍摄区域A的驾驶员D的距离进行检测，距离检测信号被输出至控制部2。另外，作为温度检测部的温度传感器6对激光模块4的附近的温度进行检测，温度检测信号被输出至控制部2。如后述那样，控制部2控制相机3、激光模块4的动作，以检测拍摄区域A的驾驶员D的状态。另外，控制部2基于来自测距传感器5、温度传感器6的检测信号来进行激光模块4的动作控制。
图2以及图3示意性地示出激光模块4的配置状态。如图2所示，激光模块4通过来自控制部2的通电而从上面的中心部分朝向上方的扩散板7射出相干的红外线激光。激光本身作为集中于中心点位置的光被射出，但设置在上面位置的矩形状的扩散板7将激光作为被配光控制为扩散成矩形状的扩散光L并向上方射出。扩散光L以矩形状照射到与拍摄区域A几乎一致的区域ALa。
图4示出朝向拍摄区域A照射激光的扩散光L时的区域ALa。激光在通过扩散板7时被散射，如图4所示，而作为被扩散成与拍摄区域A几乎相等的矩形状的照射区域Ala的光输出。另外，在这种情况下，照射区域Ala被设定为x方向(水平方向)的坐标扩散到x1－x2之间、y方向(垂直方向)的坐标扩散到y1－y2之间。坐标(x3，y3)是照射区域ALa的中心位置。
该情况下，如图5所示，在未设置扩散板7的情况下，从激光模块4射出的激光向坐标(x3，y3)所示的中心位置照射较强的光。而且，在中心位置的周围呈同心圆状地出现光的强度较弱的区域。此时的激光的照射强度分布成为例如图6中虚线所示那样的图案。
即，激光的照射强度S在中心位置(x3，y3)最强，随着远离周边，呈同心圆状地急剧降低。如图6中所示，是包括最强的中心位置的区域AL1中的照射强度为SL1以上的区域，是其外周的区域AL2中的光强度为SL2以上的区域，是更外周的区域AL3中的照射强度为SL3以上的区域。
与此相对，通过配置扩散板7，从而向坐标(x3，y3)的中心位置入射的激光在通过扩散板7时被散射而作为扩散成矩形状的照射区域ALa的光被输出。另外，在这种情况下，照射区域ALa被设定为以坐标(x3，y3)为中心，x方向的坐标扩散到x1－x2间、y方向的坐标扩散到y1－y2间。而且，在该照射区域中，由于激光被扩散为照射强度平均地分布，所以在图6中，如实线所示，成为在区域ALa的范围中照射强度SLa平坦的照射强度分布状态。
其结果通过将照射区域ALa设定为与通过相机3进行拍摄的拍摄区域A一致，从而能够从激光模块4以在拍摄区域A内均匀的激光的照射强度将红外线激光作为扩散光L照射。
另一方面，从激光模块4输出的激光是红外光但光强度较强，所以被扩散板7扩散而降低为均匀且安全的程度的光强度而照射。然而，由于朝向驾驶员的面部照射扩散光L，所以为了特别是向眼睛入射的光的强度不高，而如后述那样实施安全对策。
接下来，也参照图7～图12，对控制部2控制下的拍摄区域A的驾驶员D的拍摄动作进行说明。控制部2以反复周期T反复执行图7所示的流程的控制来进行照射控制。控制部2在步骤A1中向激光模块4输出激光照射开始的信号以使激光模块4输出激光。由此，激光通过扩散板7而作为扩散光L朝向拍摄区域A照射。
之后，控制部2在步骤A2中对相机3输出拍摄开始的信号。相机3对被扩散光L照射到的拍摄区域A的驾驶员D的图像进行拍摄，并发送至控制部2。控制部2若获取到相机3的拍摄图像，则在步骤A3中，对相机3给予拍摄结束的信号。
接着，控制部2在步骤A4中对激光模块4给予激光的照射结束的信号。控制部2之后在步骤A5中在到下一帧开始为止的期间待机，再次返回到上述的步骤A1，反复执行激光照射以及相机3的拍摄的动作。
如图8(a)所示，上述的控制部2的动作仅在反复周期T中的占空比D的时间执行激光模块4对激光的照射。而且，如图8(b)所示，在照射激光的占空比D的期间中，在时间P的期间实施相机3的拍摄。由此，间歇地照射激光，在该期间中可以进行相机3的拍摄动作。通过间歇地照射激光，能够防止激光模块4的发热或由发热所造成的发光降低。
此外，在对拍摄区域A的激光的照射时，在需要增多光量的情况下，能够适当地将占空比D设定得较长，也能够占空比D为100％即连续地进行照射，而不是上述那样的间歇的照射动作。
在上述那样的拍摄动作中，控制部2能够使得激光不会对人体给予负面影响，并且通过抑制照射必要以上的光量来实现消耗电力的减少。即，如图9以及图10所示，控制部2在激光模块4照射激光时，进行减光控制1以及减光控制2。
作为减光控制1，如图9所示，控制部2基于测距传感器5的检测信号来进行减光控制。控制部2在步骤B1中通过来自测距传感器5的检测信号来获取从激光模块4到拍摄区域A内的拍摄对象亦即驾驶员D的距离。控制部2在步骤B2中判断检测到的距离的值是否是阈值以下。
检测距离超过阈值，在步骤B2中为“是”的情况下，控制部2在步骤B3中实施减光控制以减少激光模块4的光量。控制部2之后在步骤B4中若经过到下一帧为止的待机时间则再次返回到步骤B1，反复上述处理。另外，在步骤B2中为“否”的情况下，控制部2进入步骤B5，实施对激光模块4的通常的照射控制。
根据以上，在检测到驾驶员D的面部相对于激光模块4的位置比作为阈值的距离更靠近的状态的情况下，由控制部2实施以下所示的减少激光模块4的激光的光量的减光控制，能够抑制从最近距离向人体的面部等照射较强的扩散光L。
接下来，作为减光控制2，如图10所示，控制部2基于温度传感器6的检测信号来进行减光控制。控制部2在步骤C1中获取配置在激光模块4的附近的温度传感器6的检测温度作为激光模块4的温度。控制部2在步骤C2中判断检测温度是否是阈值以上。
在检测温度为阈值以上且在步骤C2中为“是”的情况下，控制部2在步骤CB3中实施减光控制，以减少激光模块4的光量。控制部2之后在步骤C4中若经过到下一帧为止的待机时间则再次返回到步骤C1，反复上述处理。另外，在步骤C2中为“否”的情况下，控制部2进入步骤C5，实施对激光模块4的通常的照射控制。
根据以上，在激光模块4的温度高到阈值以上的情况下，为了减少发热量而实施减光控制，使得激光模块4的激光的光量降低，以避免散热不足，温度上升。由此，通过减少输入功率来抑制发热量，并促进通过散热来使温度降低。
接下来，对于上述的激光模块4的减光控制的具体的方法，对如下的两个例子进行说明。图11是第一方法，其是通过控制部2使从激光模块4输出的激光的照射强度降低的控制。例如如果将减光前的激光的照射强度设为P1，则在减光控制中，控制部2使给予激光模块4的电流降低以减少输入功率，由此，将激光的照射强度变更为低于P1的P2。
另外，图12是第二方法，其是通过控制部2使从激光模块4输出的激光的照射时间变短的控制。例如如果将减光前的激光的占空比设为D1，则在减光控制中，通过控制部2使激光模块4的占空比缩短为D2(＜D1)以缩短发光期间，由此进行变更以减光。
根据这样的第一实施方式，由于构成为使从激光模块4输出的红外线激光通过扩散板7而作为矩形状的扩散光L向相机3的拍摄区域A照射，所以能够对激光进行配光控制并照射以使激光均匀地扩散到拍摄区域A且不会照射到额外的区域，并能够用作高效的照明。
另外，由于使用板状或膜状的扩散板，所以能够使作为光学部件的扩散板7整体成为紧凑的结构。
而且，根据上述实施方式，由于通过控制部2使从激光模块4输出的激光间歇地点亮，在该点亮期间中通过相机3进行拍摄，所以与一直照射激光的情况相比，能够实现省电力以及发热抑制。
并且，使用测距传感器5，若到照射区域的驾驶员D的距离为设定距离以下，则由控制部2对从激光模块4照射的激光的光量进行减光，即使是被扩散的激光，也能够使得在安全的距离以内照射的情况下不会对人体带来负面影响。
同样地，使用温度传感器6来检测激光模块4的附近的温度，若为一定以上的温度，则由控制部2对从激光模块4照射的激光的光量进行减光，所以激光模块4的温度不会过度上升，能够实现寿命降低等的防止劣化。
此外，在上述实施方式中，在使用扩散板7作为光学部件的情况下进行表示，但作为光学部件，也能够使用使激光衍射和扩散的衍射光栅等。
另外，在上述实施方式中，示出将扩散板7设置为与激光模块4的激光出射面部分接触的结构，但并不限于此，也能够设为在与激光出射面分离的位置设置扩散板7的结构。
并且，在上述实施方式中，使激光的扩散光L的照射区域ALa与相机3的拍摄区域A几乎一致，但也能够将照射区域ALa设定为比拍摄区域A稍大。
(第二实施方式)
图13～图16是表示第二实施方式的图，以下，对与第一实施方式不同的部分进行说明。在该实施方式中，代替作为光学部件的扩散板7而设为使用扩散板10的结构。以下，对扩散板10的特性进行说明。
扩散板10在使来自激光模块4的激光透过时，如图13所示，对激光进行配光控制，以使在每个区域中光量不同。在该实施方式中，例如在拍摄区域A中从中心部起假定同心圆状的区域A1～A5时，扩散板10如下那样进行配光：使区域A1的扩散光L的光量最小，随着朝向外周侧的区域A2～A5而使光量变大。此外，在图13中，用浓的颜色的涂抹图案示出光量被设定为较大的区域A5侧。
接下来，对如上述那样设定扩散板10的配光特性的理由进行说明。在该实施方式中，使从激光模块4照射的激光经由扩散板10朝向驾驶席座椅Se的驾驶员D投光。此时，如图15所示，在以驾驶员D的面部为中心的区域中，当距激光模块4的距离L1较近，且偏离面部的中心时，则稍微远离，成为距离L2。而且，在偏离面部的部分的位置处，成为距激光模块4较远的距离L3。
这样，当距激光模块4的距离如L1～L3那样变化时，从该位置反射的光的强度与距离的平方成反比例，所以较远的位置的反射光的光强度进一步降低。因此，如图16所示，在以均匀的光强度使激光模块4的光扩散的情况下，来自较近的距离L1的区域A1的反射光的强度X1较大，越往外周则远离到距离L2、L3时，区域A2、A3的反射光的强度X2、X3与距离的平方成反比例地变小。
因此，在通过相机3进行拍摄区域A的拍摄时，若从激光模块4以均匀的照射强度向拍摄区域A照射扩散光L，则较近的距离L1的区域A1的光变强，随着进入到周围的区域A2、A3而缓缓变弱的光入射。其结果在相机3的拍摄时，驾驶员D的面部区域A1的图像的光较强，周边A2、A3等光较弱，所以在进行图像识别的处理的情况下，明暗的差变大，因而也会产生分辨率降低的情况。
假定这样的状态，在该实施方式中，由扩散板10进行图13所示那样的配光控制。由此，如图14所示，能够使得距离不同的各区域A1～A5的反射光以几乎均匀的光强度F1、F2、F3入射至相机3，所以对于拍摄到的图像，能够基于拍摄区域A内几乎均等的光强度的反射光进行图像处理。
根据这样的第二实施方式，由于使用扩散板10，对于来自激光模块4的激光，使向距离较近的区域的扩散度下降，使向较远的区域的扩散度上升，所以能够从拍摄区域A在光强度平衡的状态下接受，并能够抑制用于图像解析的图像的信息的分辨率降低。
(第三实施方式)
图17至图20是表示第三实施方式的图，以下，对与第一实施方式不同的部分进行说明。在该实施方式中，构成为在激光的照射路径中，除了扩散板7之外，还设置作为光学部件的衍射光栅8。
该情况下，如图17所示，衍射光栅8配置在激光模块4与扩散板7之间，扩散板7设置在从激光模块4经由作为空气层的空间部S分离的位置。如图18所示，衍射光栅8被设定为散射系数Df在面内不同。
在该实施方式中，如图18所示，在被激光照射的中心位置的区域中，设定较大的散射系数Df1，并设定为随着从中心位置半径以同心圆状变大，如下式(1)的不等式所示，散射系数Df2、Df3、Df4依次成为小的值。此外，在图17中，用浓的颜色的涂抹图案示出散射系数较大的区域。
Df1＞Df2＞Df3＞Df4 …(1)
由此，从激光模块4入射的激光如下那样被散射：在中心部被较强地散射和扩散，在外周部的激光的光强度较弱的部分中，散射的程度变低。其结果激光作为在从衍射光栅8射出的部分中使中心部的光强度减弱并具有发散度的光入射至扩散板7。在扩散板7中，进一步使激光扩散，从而作为几乎均匀的照射强度的扩散光L向拍摄区域A照射。
图19是表示扩散板7以及衍射光栅8相对于激光模块4的配置状态的图，此时，衍射光栅8以与激光模块4的激光的出射面接触的状态配置。扩散板7被配置在存在空间部S的分离的位置。由此，能够以均匀的照射强度向相机3的拍摄区域A照射扩散光L。
通过在扩散板7与衍射光栅8之间设置空间部S，从而使通过衍射光栅8使激光衍射并扩散的光向扩散板7入射，所以能够使激光在进一步扩散的状态下向扩散板7入射。另外，通过设置空间部S，从而与将两者配置为与激光模块4的激光出射面接触的情况相比，能够提高从激光模块4传导到光学部件的热的散热效果。
另外，作为扩散板7的特性，在进行第二实施方式所示那样的配光控制的情况下，能够使得来自拍摄区域A的反射光以不取决于与相机3的距离的光强度入射。
图20是相同地示出扩散板7以及衍射光栅8相对于激光模块4的配置状态的图，此时，衍射光栅8也以与激光模块4的激光的出射面分离的状态配置。即，扩散板7与衍射光栅8之间被设为存在空间部S1而分离的配置状态，衍射光栅8与激光模块4的激光出射面之间被设为存在空间部S2而分离的配置状态。
根据这样的第三实施方式，由于除了扩散板7之外还设置使激光散射的衍射光栅8，所以能够使激光模块4的激光以更均匀的状态对拍摄区域A进行投光。另外，由于使扩散板7或衍射光栅8相对于激光模块4以分离的状态配置，所以在空间部S或S1、S2的部分中容易使激光模块4、扩散板7、衍射光栅8的热释放。
此外，也可以更换扩散板7和衍射光栅8的位置关系来进行配置。另外，并不限于扩散板7以及衍射光栅8各设置一个的情况，也能够组合适当的个数来使用，配置关系也能够应用适当的配置。
(第四实施方式)
图21以及图22是表示第四实施方式的图，以下，对与第三实施方式不同的部分进行说明。在该实施方式中，构成为在扩散板7以及衍射光栅8分别设置防反射膜7a、7b、8a、8b。图21以及图22是分别在第三实施方式中的图19以及图20的配置构成应用本实施方式的图。防反射膜7a、7b、8a、8b以针对激光模块4的激光的波长，反射率为最小的方式构成膜。
在图21中，在被设置为与激光模块4的激光的出射面接触的衍射光栅8中，在激光的入射侧的面设置防反射膜8a，在射出侧的面设置防反射膜8b。另外，在扩散板7中，在激光的入射侧的面设置防反射膜7a，在射出侧的面设置防反射膜7b。
另外，在图22中，同样地，在设置在与激光模块4的激光的出射面分离的位置的衍射光栅8中，在激光的入射侧的面设置防反射膜8a，在射出侧的面设置防反射膜8b。另外，在扩散板7中，在激光的入射侧的面设置防反射膜7a，在射出侧的面设置防反射膜7b。
根据这样的第四实施方式，能够抑制在扩散板7以及衍射光栅8中，入射的激光或射出的光由于被入射面或出射面反射的成分而光量降低，能够抑制向拍摄区域A的扩散光L的光量的降低，而高效地利用。
此外，防反射膜也能够为设置在入射侧的面或射出侧的面的任意一个面的结构。另外，也能够设为设置于扩散板7以及衍射光栅8的任意一方的结构。并且，防反射膜只要设置为至少覆盖激光通过的区域即可。
(第五实施方式)
图23～图25是表示第五实施方式的图，以下，对与第一实施方式或第四实施方式不同的部分进行说明。在该实施方式中，构成为设置冷却风扇9，作为用于对从激光模块4传导到光学部件的热进行散热的散热部。
在图23中，将第一实施方式中的扩散板7配置在与激光模块4的激光出射面存在空间部Sa而分离的位置。而且，冷却风扇9被配置为向激光模块4、扩散板7以及空间部Sa送风。由此，由激光模块4产生的热在空间部Sa的部分中被冷却风扇9冷却，所以扩散板7成为难以传导热，抑制温度上升的状态。另外，对于激光模块4，也提高散热特性。
在图24中，将第四实施方式中的衍射光栅8以与激光模块4的激光出射面接触的状态配置，将扩散板7配置在与衍射构成8存在空间部Sb而分离的位置。而且，冷却风扇9被配置为向激光模块4、扩散板7、衍射光栅8以及空间部Sb送风。
由此，由激光模块4产生的热经由衍射光栅8释放到空间部Sb中，被冷却风扇9冷却，所以扩散板7成为难以传导热，抑制温度上升的状态。另外，对于激光模块4以及衍射光栅8，也提高散热特性。
在图25中，将第四实施方式中的衍射光栅8配置在与激光模块4的激光出射面存在空间部Sa而分离的位置，将扩散板7配置在与衍射构成8存在空间部Sb而分离的位置。而且，冷却风扇9被配置为向激光模块4、扩散板7、衍射光栅8以及空间部Sa以及Sb送风。
由此，由激光模块4产生的热释放到空间部Sa中，被冷却风扇9冷却，衍射光栅8成为难以传导热，并抑制温度上升的状态。衍射光栅8在两侧的空间部Sa以及空间部Sb中被来自冷却风扇9的送风冷却，进而扩散板7也被来自冷却风扇9的送风冷却。由此，对于激光模块4、衍射光栅8以及扩散板7，也提高散热特性。
根据这样的第五实施方式，由于设置冷却风扇9作为散热部，并经由空间部Sa或Sb等对激光模块4、扩散板7、衍射光栅8进行冷却，所以能够抑制热从激光模块4向衍射光栅8或扩散板7传导。
(第六实施方式)
图26～图28是表示第六实施方式的图，以下，对与第五实施方式不同的部分进行说明。在该实施方式中，构成为代替冷却风扇9而在激光模块4设置散热片4a作为散热部。
图26～图28分别示出与第五实施方式所示的图23～图25的结构对应的结构。在任何一个结构中，都在激光模块4设置散热片4a来代替冷却风扇9。由此，从激光模块4产生的热经由散热片4a被释放到空气中，能够大幅度地减少向扩散板7或衍射构成8传导的热成分。
因此，根据这样的第六实施方式，能够获得与第五实施方式几乎同样的效果。
此外，第五实施方式和第六实施方式也能够设为组合两者的结构。并且，在第五实施方式或第六实施方式中，也能够构成为设置第四实施方式所示的防反射膜。
(其它实施方式)
此外，本发明并不仅限于上述的实施方式，在不脱离其要旨的范围中可以应用于各种实施方式，例如，能够如以下那样变形或者扩张。
在上述各实施方式中，示出应用于检测驾驶员的状态的状态检测装置1的例子，并不限于此，也能够应用于行车记录仪那样的拍摄车厢内的装置。
在上述各实施方式中，能够通过组合各个实施方式，则作为组合各个的效果的例子来实施。
根据实施例对本发明进行了叙述，但应理解为本发明并不限于该实施例、构造。本发明也包含各种变形例、等同范围内的变形。此外，各种组合、方式、进而在这些组合、方式中仅包含一个要素、更多或更少的其他组合、方式也落入本发明的范畴、思想范围中。

Claims (17)

1.一种状态检测装置，具备：
相机(3)，对驾驶员所存在的拍摄区域进行拍摄；
激光器(4)，向所述拍摄区域照射光；以及
光学部件(7、8、10)，将所述激光器的光扩展地照射到规定的照射区域。
2.根据权利要求1所述的状态检测装置，其中，
所述光学部件具有使所述激光器的光扩散的扩散功能。
3.根据权利要求1或者2所述的状态检测装置，其中，
所述光学部件形成为板状或膜状。
4.根据权利要求1～3中的任意一项所述的状态检测装置，其中，
所述光学部件对所述激光器的光进行配光控制。
5.根据权利要求1～4中的任意一项所述的状态检测装置，其中，
被照射所述激光器的光的所述照射区域与所述相机的拍摄区域一致。
6.根据权利要求4所述的状态检测装置，其中，
所述光学部件(10)被进行配光控制，以使从所述激光器的光的照射区域到所述相机的距离越长则所述激光器的光的照射强度越大。
7.根据权利要求1～6中的任意一项所述的状态检测装置，其中，
所述光学部件(8)通过衍射光栅使所述激光器的光扩散。
8.根据权利要求1～7中的任意一项所述的状态检测装置，其中，
在所述激光器的照射路径中设置多个所述光学部件。
9.根据权利要求8所述的状态检测装置，其中，
所述光学部件具备：衍射光栅、和具有所述激光器的光的扩散功能的扩散板或膜。
10.根据权利要求9所述的状态检测装置，其中，
在所述光学部件中，所述衍射光栅配置在所述激光器与所述扩散板或膜之间。
11.根据权利要求7～10中的任意一项所述的状态检测装置，其中，
构成所述光学部件的所述扩散板或膜被设定为：对所述激光器的光的散射系数在被照射所述激光器的光的中心位置和周边位置不同。
12.根据权利要求9～11中的任意一项所述的状态检测装置，其中，
在所述光学部件中，至少在所述激光器的光通过的部分形成防反射膜(7a、7b、8a、8b)。
13.根据权利要求1～12中的任意一项所述的状态检测装置，其中，
所述状态检测装置具备散热部(4a、9)，所述散热部使从所述激光器向所述光学部件侧传导的热释放。
14.根据权利要求1～13中的任意一项所述的状态检测装置，其中，
为了减少从所述激光器向所述光学部件侧传导的热，在所述激光器与所述光学部件之间设置空气层(Sa、Sb)、或在设置多个所述光学部件的情况下在多个光学部件之间设置空气层(Sa、Sb)。
15.根据权利要求1～14中的任意一项所述的状态检测装置，其中，
在所述状态检测装置设置了控制部(2)，所述控制部控制使对所述激光器进行间歇点亮控制，且在所述激光器的点亮期间进行所述相机的拍摄。
16.根据权利要求1～15中的任意一项所述的状态检测装置，其中，
所述状态检测装置具备：
距离检测部(5)，对所述激光器与所述照射区域的驾驶员之间的距离进行检测；以及
控制部(2)，当所述距离检测部的检测距离为设定距离以下时，进行减弱所述激光器的光的减光控制。
17.根据权利要求1～16中的任意一项所述的状态检测装置，其中，
所述状态检测装置具备：
温度检测部(6)，对所述激光器的温度进行检测；以及
控制部(2)，当所述温度检测部的检测温度为一定以上时，对所述激光器的光进行减光或间歇点亮控制。
CN201880069509.8A 2017-11-09 2018-09-18 状态检测装置 Active CN111279675B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017216359A JP6756326B2 (ja) 2017-11-09 2017-11-09 状態検出装置
JP2017-216359 2017-11-09
PCT/JP2018/034417 WO2019092986A1 (ja) 2017-11-09 2018-09-18 状態検出装置

Publications (2)

Publication Number Publication Date
CN111279675A true CN111279675A (zh) 2020-06-12
CN111279675B CN111279675B (zh) 2022-03-11

Family

ID=66439105

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880069509.8A Active CN111279675B (zh) 2017-11-09 2018-09-18 状态检测装置

Country Status (5)

Country Link
US (1) US11561408B2 (zh)
JP (1) JP6756326B2 (zh)
CN (1) CN111279675B (zh)
DE (1) DE112018005748T5 (zh)
WO (1) WO2019092986A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022109756A1 (de) 2022-04-22 2023-10-26 Valeo Schalter Und Sensoren Gmbh Verfahren zur bestimmung eines zustands einer fahrerüberwachungseinrichtung und fahrerüberwachungseinrichtung

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03110884A (ja) * 1989-09-26 1991-05-10 Nippon Telegr & Teleph Corp <Ntt> 分布帰還型半導体レーザーおよびその製造方法
CN1542787A (zh) * 2003-04-28 2004-11-03 株式会社三协精机制作所 透镜、光学头装置及光学头装置用物镜
CN101443689A (zh) * 2006-05-15 2009-05-27 松下电器产业株式会社 衍射摄像透镜和衍射摄像透镜光学系统及使用其的摄像装置
US20100165342A1 (en) * 2007-08-08 2010-07-01 Naoji Moriya Optical measurement apparatus and electrode pair thereof
CN201571139U (zh) * 2010-01-15 2010-09-01 常州宏本数码科技有限公司 安全型激光红外高速云台摄像机
CN102025106A (zh) * 2009-09-23 2011-04-20 中国计量科学研究院 光栅外腔半导体激光器
US20130229653A1 (en) * 2012-03-02 2013-09-05 Sony Corporation Spectrometric optical system and spectrometer
CN103309034A (zh) * 2012-03-07 2013-09-18 精工爱普生株式会社 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
US20140092620A1 (en) * 2011-04-28 2014-04-03 L.E.S.S. Ltd Waveguide apparatus for illumination systems
CN104488257A (zh) * 2012-07-25 2015-04-01 株式会社电装 状态监视装置
US20150226682A1 (en) * 2012-09-14 2015-08-13 Luoyang Landglass Technology Co., Ltd Detection System Based on Modulation of Line Structured Laser Image of Glass
CN105511086A (zh) * 2015-12-11 2016-04-20 杭州东尚光电科技有限公司 采用衍射光学元件与激光器结合的激光照明光学系统
CN105933662A (zh) * 2016-05-31 2016-09-07 南京邮电大学 基于光纤传能的主动红外监控系统
CN106134175A (zh) * 2014-07-30 2016-11-16 株式会社电装 驾驶员监视装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10960A (ja) * 1996-06-12 1998-01-06 Yazaki Corp 運転者監視装置
US6846098B2 (en) * 2002-05-16 2005-01-25 Eastman Kodak Company Light diffuser with variable diffusion
FR2864932B1 (fr) * 2004-01-09 2007-03-16 Valeo Vision Systeme et procede de detection de conditions de circulation pour vehicule automobile
JP2005235841A (ja) 2004-02-17 2005-09-02 Harison Toshiba Lighting Corp 発光装置
US7430365B2 (en) 2005-03-31 2008-09-30 Avago Technologies Ecbu (Singapore) Pte Ltd. Safe eye detection
DE102006004193A1 (de) * 2006-01-27 2007-08-16 Sick Ag Vorrichtung zur optoelektronischen Überwachung von Objekten
JP4656070B2 (ja) 2007-02-19 2011-03-23 株式会社デンソー 可視光レーザ照射装置
EP2107446A1 (en) 2008-04-04 2009-10-07 ETH Zurich System and a method for tracking input devices on LC-displays
JP4888838B2 (ja) 2008-05-12 2012-02-29 トヨタ自動車株式会社 運転者撮像装置および運転者撮像方法
JP2010164393A (ja) 2009-01-15 2010-07-29 Calsonic Kansei Corp 顔向き検出装置及び方法
JP5212927B2 (ja) 2011-01-25 2013-06-19 株式会社デンソー 顔撮影システム
JP6107153B2 (ja) * 2012-03-28 2017-04-05 日本精機株式会社 車両用表示装置
JP2016049262A (ja) * 2014-08-29 2016-04-11 アルプス電気株式会社 照明撮像装置
KR101619651B1 (ko) 2014-11-26 2016-05-10 현대자동차주식회사 운전자 감시장치 및 그의 조명제어방법
US10941915B2 (en) 2015-09-07 2021-03-09 Dai Nippon Printing Co., Ltd. Illumination device for illuminating a predetermined range with coherent light
DE102016200109A1 (de) * 2015-09-18 2017-03-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur Erfassung von Gegenständen in einem Erfassungsbereich
WO2017051868A1 (ja) 2015-09-25 2017-03-30 大日本印刷株式会社 照明装置
JP2017097153A (ja) * 2015-11-24 2017-06-01 船井電機株式会社 プロジェクタ
JP6977355B2 (ja) * 2017-07-20 2021-12-08 大日本印刷株式会社 検出装置

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03110884A (ja) * 1989-09-26 1991-05-10 Nippon Telegr & Teleph Corp <Ntt> 分布帰還型半導体レーザーおよびその製造方法
CN1542787A (zh) * 2003-04-28 2004-11-03 株式会社三协精机制作所 透镜、光学头装置及光学头装置用物镜
CN101443689A (zh) * 2006-05-15 2009-05-27 松下电器产业株式会社 衍射摄像透镜和衍射摄像透镜光学系统及使用其的摄像装置
US20100165342A1 (en) * 2007-08-08 2010-07-01 Naoji Moriya Optical measurement apparatus and electrode pair thereof
CN102025106A (zh) * 2009-09-23 2011-04-20 中国计量科学研究院 光栅外腔半导体激光器
CN201571139U (zh) * 2010-01-15 2010-09-01 常州宏本数码科技有限公司 安全型激光红外高速云台摄像机
US20140092620A1 (en) * 2011-04-28 2014-04-03 L.E.S.S. Ltd Waveguide apparatus for illumination systems
US20130229653A1 (en) * 2012-03-02 2013-09-05 Sony Corporation Spectrometric optical system and spectrometer
CN103309034A (zh) * 2012-03-07 2013-09-18 精工爱普生株式会社 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
CN104488257A (zh) * 2012-07-25 2015-04-01 株式会社电装 状态监视装置
US20150226682A1 (en) * 2012-09-14 2015-08-13 Luoyang Landglass Technology Co., Ltd Detection System Based on Modulation of Line Structured Laser Image of Glass
CN106134175A (zh) * 2014-07-30 2016-11-16 株式会社电装 驾驶员监视装置
CN105511086A (zh) * 2015-12-11 2016-04-20 杭州东尚光电科技有限公司 采用衍射光学元件与激光器结合的激光照明光学系统
CN105933662A (zh) * 2016-05-31 2016-09-07 南京邮电大学 基于光纤传能的主动红外监控系统

Also Published As

Publication number Publication date
JP6756326B2 (ja) 2020-09-16
US11561408B2 (en) 2023-01-24
JP2019087934A (ja) 2019-06-06
CN111279675B (zh) 2022-03-11
WO2019092986A1 (ja) 2019-05-16
US20200257128A1 (en) 2020-08-13
DE112018005748T5 (de) 2020-07-16

Similar Documents

Publication Publication Date Title
CN106170735B (zh) 光源装置和具有光源装置的图像投射设备
US8884521B2 (en) Motor vehicle headlight element
JP6785454B2 (ja) 光源装置および投光装置
US9261259B2 (en) Laser-beam utilization device and vehicle headlight
US10228106B2 (en) Luminaire with light source and spaced-apart luminescent body
US20170210280A1 (en) Vehicle headlight device
US10330273B2 (en) Lighting apparatus
US11024777B2 (en) Light source device
JP6979591B2 (ja) 照明装置および発光装置
US10436714B2 (en) Detecting damage to a converter device
WO2014087301A1 (en) Illumination array with adapted distribution of radiation
CN106568504B (zh) 光电开关
CN111279675B (zh) 状态检测装置
CN111156433B (zh) 照明装置及其用途以及用于调节照明装置的色坐标的方法
CN109076155A (zh) 用于对人的脸部进行照明的方法和光电子照明装置、相机和移动终端
JP5349940B2 (ja) 車両用赤外投光器
WO2016013208A1 (ja) 照明装置と、それを搭載した自動車
JP2018037205A (ja) 車両用灯具
CN107728433B (zh) 曝光照明装置
JP2015065008A (ja) 車両用灯具
JP2019087934A5 (zh)
CN109073167A (zh) 利用窄宽度辐射进行照射固化的方法和系统
JP2021028907A (ja) 光変換装置および照明装置
KR101951463B1 (ko) 차량용 램프
CN114258509A (zh) 投射光学系统以及雷达装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant