CN105979852A - 图像分析装置、图像分析方法、程序及照明装置 - Google Patents

图像分析装置、图像分析方法、程序及照明装置 Download PDF

Info

Publication number
CN105979852A
CN105979852A CN201480067086.8A CN201480067086A CN105979852A CN 105979852 A CN105979852 A CN 105979852A CN 201480067086 A CN201480067086 A CN 201480067086A CN 105979852 A CN105979852 A CN 105979852A
Authority
CN
China
Prior art keywords
light
image
lighting unit
unit
emitting component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480067086.8A
Other languages
English (en)
Inventor
中村宪郎
中村宪一郎
山崎贵之
国岛和仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN105979852A publication Critical patent/CN105979852A/zh
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/443Evaluating skin constituents, e.g. elastin, melanin, water
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/21Polarisation-affecting properties
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475User input or interface means, e.g. keyboard, pointing device, joystick
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1765Method using an image detector and processing of image signal
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1765Method using an image detector and processing of image signal
    • G01N2021/177Detector of the video camera type
    • G01N2021/1772Array detector
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/06Illumination; Optics
    • G01N2201/062LED's
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/12Circuits of general importance; Signal processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30088Skin; Dermal
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Mathematical Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Dermatology (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种用于有效的获取适合于分析皮肤的图像的图像分析装置、图像分析方法、程序及照明装置。包括图像获取单元,图像获取单元包括:包含有发光单元的照明单元,其中,至少包含有被配置为发射可见光的发光元件和被配置为发射不可见光的发光元件的多个发光元件被封装,和图像拾取单元,其被配置为捕捉通过使照明单元发出的照射光被分析目标反射而生成的反射光的图像。例如,本发明适用于一种分析人体皮肤的装置。

Description

图像分析装置、图像分析方法、程序及照明装置
技术领域
本发明涉及一种图像分析装置、图像分析方法、程序及照明装置,尤其涉及一种适合应用于分析如人体皮肤状态的图像分析装置、图像分析方法、程序及照明装置。
背景技术
按照惯例,已经有用于捕捉图像以分析人体皮肤状态的皮肤图像获取装置。该皮肤图像获取装置包括具有如LED等光源的照明单元和包含透镜和图像拾取元件的摄像机,被构造成使摄像机捕捉处在照明单元的光照射状态下的皮肤的图像。
例如,专利文献1公开了通过白光LED和紫外线LED照明来捕捉图像,并将获得的图像作为结果进行分析的发明。
引文列表
专利文献
专利文献1JP 2005-6725A
发明内容
技术问题
在如上文所述的用白光LED和紫外线LED照明的情况下,照射光在部分皮肤上呈镜面反射,这会导致照度不均匀,也就是说,这部分图像作为所谓的光泽被捕捉。因此,在某些情况下,不能获得适合用作分析皮肤的图像。
在常规的皮肤图像获取装置中,包含在照明单元中的光源只有几种类型的波长,因此可分析项是有限的。针对这一现状,人们认为仅仅在照明单元中设置多个LED用于分别产生具有不同波长的光。然而,在这种情况下,照明单元的尺寸会增加,从而使得用户不能够容易地使用该皮肤图像获取装置。
本发明是在考虑到上述情况而作出的,并旨在有效地获取适合用于分析皮肤的图像。
问题解决技术方案
根据本发明第一方面,一种图像分析装置,包括图像获取单元,图像获取单元包括:
照明单元,包括发光单元,其中,至少包含有被配置为发射可见光的发光元件和被配置为发射不可见光的发光元件的多个发光元件被封装,和
图像拾取单元,其被配置为捕捉通过使照明单元发出的照射光被分析目标反射而生成的反射光的图像。
在发光单元中,至少包含有被配置为发射可见红光的发光元件、被配置为发射可见绿光的发光元件和被配置为发射不可见红外线的发光元件的多个发光元件可以被封装。
图像获取单元可进一步包括,
偏振片,其被布置在从照明单元发射的照射光的光路上,和
分析器,其被布置在反射光入射至图像拾取单元的光路上。
图像获取单元可进一步包括,
导光元件,其被配置为把从照明单元发射的照射光引导至分析目标。
导光元件可以具有任意的光学表面形状。
照明单元可以包括多个发光单元。多个发光单元可以以相等的间隔被布置在图像拾取单元的光轴周围。
构成照明单元的多个发光单元可以以相等的间隔被平面地布置在图像拾取单元的光轴周围。
构成照明单元的多个发光单元可以以相等的间隔被三维地布置在图像拾取单元的光轴周围以便构成多层。
构成照明单元的多个发光单元可以以不同的角度被布置以便朝向分析目标。
照明单元可以通过改变发光元件来改变照射光的波长,以发射与分析项一致的光。
根据本发明第一方面的图像分析装置,可进一步包括,
操作输入单元,输入用户选择分析项的操作。
根据本发明第一方面的图像分析装置,可进一步包括,
图像分析单元,其被配置为分析由图像拾取单元捕捉的图像。
根据本发明第一方面,一种应用图像分析装置的图像分析方法,所述图像分析装置包括图像获取单元,所述图像获取单元包括:
照明单元,包括发光单元,其中,至少包含有被配置为发射可见光的发光元件和被配置为发射不可见光的发光元件的多个发光元件被封装,和
图像拾取单元,其被配置为捕捉通过使照明单元发出的照射光被分析目标反射而生成的反射光的图像,
所述方法包括:
照射步骤,使用照明单元发射照射光;和
图像获取步骤,通过图像拾取单元,获取通过使照明单元发出的照射光被分析目标反射而生成的反射光的图像。
根据本发明第一方面,一种控制图像分析装置的程序,图像分析装置包括图像获取单元,所述图像获取单元包括:
照明单元,包括发光单元,其中,至少包含有被配置为发射可见光的发光元件和被配置为发射不可见光的发光元件的多个发光元件被封装,和
图像拾取单元,其被配置为捕捉通过使照明单元发出的照射光被分析目标反射而生成的反射光的图像,
所述程序使图像分析装置的计算机执行处理,所述处理包括:
照射步骤,以一定的方式控制照明单元发射照射光,和
图像获取步骤,以一定的方式控制图像拾取单元获取通过使照明单元发出的照射光被分析目标反射而生成的反射光的图像。
根据本发明第一方面,具有发光单元的照明单元发射照射光,其中,至少包含有被配置为发射可见光的发光元件和被配置为发射不可见光的发光元件的多个发光元件被封装,并且捕捉通过使照明单元发出的照射光被分析目标反射而生成的反射光的图像。
根据本发明第二方面的照明装置包括多个发光单元,其中,至少包含有被配置为发射可见光的发光元件和被配置为发射不可见光的发光元件的多个发光元件被封装。
在本发明的第二方面中,多个发光单元发射照射光,其中,至少包含有被配置为发射可见光的发光元件和被配置为发射不可见光的发光元件的多个发光元件被封装。
本发明的有益效果如下:
根据本发明公开的第一方面,能够有效地获取适合应用于分析皮肤的图像。
根据本发明公开的第二方面,能够发出照射光以便有效地捕捉适合用于分析皮肤的图像。
附图说明
图1示出了从光源发出的光被分析目标反射的状态。
图2示出了偏光板被设置在照射光和反射光各自的光路上的状态。
图3示出了血红蛋白和黑色素的吸收光谱。
图4是表示应用于本发明的皮肤分析装置的结构示例的示意框图。
图5是表示图4中的图像获取单元的第一结构示例的剖面图。
图6是表示图4中的图像获取单元的第二结构示例的剖面图。
图7是表示图4中的图像获取单元的第三结构示例的剖面图。
图8示出了构成平面照明单元的光源的第一布置示例。
图9示出了在第一布置示例中测量项目与光源的开启之间的对应关系。
图10示出了构成平面照明单元的光源的第二布置示例。
图11示出了在第二布置示例中测量项目与光源的开启之间的对应关系。
图12示出了构成平面照明单元的光源的第三布置示例。
图13示出了在第三布置示例中测量项目与光源的开启之间的对应关系。
图14示出了构成平面照明单元的光源的第四布置示例。
图15示出了在第四布置示例中测量项目与光源的开启之间的对应关系。
图16示出了构成平面照明单元的光源的第五布置示例。
图17示出了在第五布置示例中测量项目与光源的开启之间的对应关系。
图18示出了构成平面照明单元的光源的第六布置示例。
图19示出了在第六布置示例中测量项目与光源的开启之间的对应关系。
图20示出了构成平面照明单元的光源的第七布置示例。
图21示出了在第七布置示例中测量项目与光源的开启之间的对应关系。
图22是表示图4中的图像获取单元的第四结构示例的剖面图。
图23示出了图22中构成照明单元的光源的第八布置示例。
图24示出了在第八布置示例中测量项目与光源的开启之间的对应关系。
图25是表示图4中的图像获取单元的第五结构示例的剖面图。
图26是表示图4中的图像获取单元的第六结构示例的剖面图。
图27是表示图4中的图像获取单元的第七结构示例的剖面图。
图28是表示图4中的图像获取单元的第八结构示例的剖面图。
图29示出了图28中构成照明单元的光源的第九布置示例。
图30是表示图4中的图像获取单元的第九结构示例的剖面图。
图31示出了图30中构成照明单元的光源的第十布置示例。
图32是表示图4中的图像获取单元的第十结构示例的剖面图。
图33是表示应用于本发明的计算机的结构示例的示意框图。
具体实施方式
在下文中,将阐述实施本发明的最佳方式(以下简称“实施例”)。然而,在此之前,将阐述也被应用在本实施例的皮肤分析装置中的照射光的特性。
图1说明了一种从光源发射的光被分析目标(本实施例中的皮肤)反射的状态。
如图1所示,通过利用来自光源的照射光照射分析目标从而使该照射光被分析目标反射而得到的光被分为两种类别:镜面反射光和漫反射光。镜面反射光是以与照射光的入射角度相同的角度被反射而得到的光,并且,在照射光偏振的情况下,该照射光被反射,而其偏振状态被保持。与此同时,漫反射光是在各个方向以任意角度入射的照射光被反射而得到的光,并且,在照射光偏振的情况下,该照射光被反射,而其偏振状态不被保持。
图2说明了在光源的前方(在照射光光路上)设置有偏光板(以下称为“偏振片”)和在捕捉分析目标图像的摄像机前方(在反射光光路上)设置有偏光板(以下称为“分析器”)的状态。在这种情况下,该分析目标被基于偏振片而处于偏振状态的来自光源的照射光照射,并且由偏振片引起的该偏振状态被保持在其镜面反射光中。因此,在摄像机上入射的镜面反射光的光量可以通过调整偏振片或分析器的偏振方向来控制。
具体的说,在偏振片和分析器的偏振方向相互平行的情况下,镜面反射光能够通过分析器传播至摄像机。同时,在偏振片和分析器的偏振方向相互垂直的情况下,镜面反射光会被分析器阻挡,从而镜面反射光不会到达摄像机。
因此,在光路上设置偏振片的偏振方向与位于摄像机前方的分析器的偏振方向平行的第一光源,在光路上设置偏振片的偏振方向与位于摄像机前方的分析器的偏振方向垂直的第二光源,并且,在通过切换第一光源和第二光源而发射光时,可切换如下两种模式:镜面反射光成分的图像按照原样被捕捉的模式和漫反射光成分的图像被捕捉而镜面反射光成分被阻挡的模式。
将阐述根据照射光的波长识别物质。
众所周知,物质通常有固有的吸收光谱。在已经建立的光谱学中,通过利用不断改变波长的光照射未知样本,测量其反射光的强度,然后将该反射光的强度与已知的光谱对比,可以识别物质。
要注意的是,在可以估计到样本中包含何种物质的情况下,在宽泛的波长范围内执行光谱测量是不必要的,可以通过选择能够传输该物质显示出特有的吸收光谱形状的某些波长,并利用具有那些波长的光照射该物质来检查该物质存在/不存在或者其含量比率。
图3示出了血红蛋白和黑色素的吸收光谱。如图3所示,血红蛋白具有吸收波长大约为550nm的绿色光多于波长大约为650nm的红色光的性质。鉴于此,当利用具有这两个波长范围的照射光来测量反射光的强度时,在含有大量血红蛋白的物质中,反射绿色光的减少比反射红色光的减少更多。利用这种属性,可测量血红蛋白的存在/不存在及其含量。就黑色素来说,可利用波长大约为950nm的近红外光和波长大约650nm的红色光执行相似的测量。
注意的是,下面阐述血红蛋白的测量被用于红斑狼疮(以下简称“红斑”)的测量。
将描述利用UV光激发的荧光作为照射光识别物质。向物质施加能量,如光和热,以光的形式从物质中发射出的现象被称为“发冷光”,那时发射的光称为“荧光”。发冷光的物质被称为“荧光物质”。
多数情况下,通过应用光能引起的以冷光形式发射的光(光致发光)是可见光范围外的紫外线或者X射线。要注意的是,UV光和X射线是肉眼不可见的,一般的摄像机不能捕捉其图像。然而,在被UV光或X射线激发的荧光的波长处在可见光的范围内的情况下,是可以通过用肉眼观察荧光或用摄像机捕捉其图像来测量荧光物质的存在/不存在和其含量的。
注意的是下面阐述测量荧光物质被用于卟啉病(引起丘疹的痤疮丙酸杆菌水物质)的检测。
<依据实施例的皮肤分析装置的结构示例>
图4示出了一个根据本发明的实施例的皮肤分析装置的结构示例。
皮肤分析装置10包括操作输入单元11,控制单元12,图像获取单元13,图像分析单元14和显示单元15。
操作输入单元11接收用户选择,例如,涉及皮肤测量项目(例如,皮肤的颜色,光泽,毛孔,肤质,黑色素指数,红斑指数和卟啉病)的操作,并将其操作信号输出至控制单元12。控制单元12根据来自操作输入单元11的操作信号控制图像获取单元13和图像分析单元14。
图像获取单元13至少包括用照射光照射分析目标(本实施例中的皮肤)的光源和捕捉用照射光照射的分析目标图像的摄像机,并将获取的分析目标的图像输出至图像分析单元14。图像分析单元14分析从图像获取单元13输入的图像,进而检测与皮肤相关的测量项目,并把测量结果输出至显示单元15。显示单元15显示图像分析单元14输出的测量结果。注意的是,图像分析可以通过应用所谓的云计算来完成,以代替设置图像分析单元14。而且,该测量结果不仅可以被显示在图像分析单元15上,也可以被显示在可连接到网络的另外的装置上(个人计算机、智能手机,诸如此类的)。
<皮肤分析装置的操作>
在皮肤分析装置10中,用照射光照射分析目标,图像获取单元13按照用户选择的测量项目捕捉其图像,图像分析单元14捕捉作为结果获取的图像,然后在显示单元15上显示分析结果。
<图像获取单元13的结构示例>
将描述图像获取单元13的详细的结构示例。
<图像获取单元13的第一结构示例>
图5说明了图像获取单元13的第一结构示例的剖面图。该第一结构示例安装了用于拍摄分析目标图像的摄像机21、包含偏光板的分析器22、包括含有多个光源(LED)的照明单元24、并且包括含有可控柔性印刷电路(FPC)的印刷电路板(PCB)23和由偏光板构成的偏振片25。
如图5所示,照明单元24的照射方向被设置为面向分析目标的方向,并且偏振片25被布置在照明单元24的前方(在照射光的光路上)。因此,从照明单元24发射的照射光经过偏振片25照射分析目标。
同时,分析器22被布置在摄像机21的前方(在来自分析目标的反射光的光路上)。因此,来自分析目标的反射光经过分析器22入射至摄像机21。
注意的是,下面将介绍分析器22和偏振片25的偏振方向以及构成照明单元24的光源。
<图像获取单元13的第二结构示例>
图6说明了图像获取单元13的第二结构示例的剖面图。第二结构示例包括摄像机21、分析器22、PCB 23、照明单元24、偏振片25和导光元件31。注意的是,与第一结构示例共同的组成元件用相同的数字表示,因此,省略了其描述。
例如,导光元件31由诸如透镜、光导管或光学纤维的光学元件构成,并且改变照明单元24发射的照射光的传播方向,从而照射皮肤的观察区。注意的是,照明单元24(包含有光源)的中心轴和导光元件31的中心轴不必彼此相互一致。相反,通过使两个中心轴偏离中心可以使斜向的照射光更有效的被发射。
对于第二结构示例,照明单元24的照射方向不是面向分析目标而是朝着机壳的侧表面。而且,导光元件31和偏振片25被布置在照明单元24的前方。因此,与第一结构示例相比,第二结构示例的图像获取单元13的整体尺寸可以减小。此外,照明单元24的照射方向不是朝着机壳较低的部分,因此,当从机壳的较低的部分看图像获取单元13时,可以抑制炫光。来自照明单元24的照射光经过导光元件31和偏振片25照射分析目标。
<图像获取单元13的第三结构示例>
图7说明了图像获取单元13的第三结构示例的剖面图。和第二结构示例一样,第三结构示例包括摄像机21、分析器22、PCB 23、照明单元24、偏振片25和导光元件31。注意的是,与第一结构示例共同的组成元件采用相同的数字表示,因此,省略了其描述。
对于第三结构示例,照明单元24的照射方向不面向分析目标,而是朝着机壳的上表面。导光元件31和偏振片25被布置在照明单元24的前方。因此,与第一结构示例相比,第三结构示例的图像获取单元13的整体尺寸也可以减小。此外,照明单元24的照射方向不是朝着机壳的较低的部分,因此,当从机壳的较低的部分看图像获取单元13时,可以抑制炫光。照明单元24发射的照射光经过导光元件31和偏振片25照射分析目标。
要注意的是,导光元件31的光学表面的形状不限于所示的形状。光学表面允许是任意形状如曲面、非球面,或自由曲面。
<构成照明单元24的光源>
将描述构成平面照明单元24的光源。要注意的是,在下文中将描述构成平面照明单元24的光源的第一至第七结构示例,这些结构示例可以结合上述的图像获取单元13的第一至第三结构示例中的任何一个。
<构成照明单元24的光源的第一布置示例>
图8说明了构成平面照明单元24的光源的第一布置示例。
在第一布置示例中,照明单元24包括四个LED 51-1至51-4,而且这些LED以相等的间隔被布置在作为中心的摄像机21的光轴周围。对于每个LED 51,分别采用一个包含产生具有不同波长的R(红)光、G(绿)光、B(蓝)光和IR(红外线)光的四个芯片的封装。在每个LED51中,可以单独地开启和关闭每一个芯片。
偏振方向与被布置在摄像机21前方的分析器22的偏振方向相平行的偏振片25p被布置在LED 51-1和51-3的前方(照射光的光路上)。偏振方向与分析器22的偏振方向垂直的偏振片25r被布置在LED 51-2和51-4的前方。
图9显示了测量项目和如图8所示的第一布置示例中光源的开启之间的对应关系。
要注意的是,在图9中,Rr指具有波长R并且经由偏振方向与分析器22的偏振方向垂直的偏振片25r被发射的光。Rp指具有波长R并且通过偏振方向与分析器22的偏振方向平行的偏振片25p被发射的光。上述情况也适用于具有其它波长的照射光。而且上述定义也适用于接下来的图示。
例如,为了测量作为分析目标的皮肤的颜色,通过同时开启Rr、Gr及Br,和Rp、Gp及Bp,发射等同于白光的光。在这种情况下,捕捉镜面反射光和漫反射光的图像,因此,在接近于人类肉眼的情况下获取图像是可能的。
为了测量光泽,通过开启偏振方向与分析器22的偏振方向平行的Rp、Gp和Bp,发射等同于白光的偏振光。在这种情况下,仅捕捉镜面反射光的图像,而不产生漫反射光。因此,可以获取皮肤表面反射的光泽的图像。
为了测量毛孔,仅仅开启偏振方向与分析器22的偏振方向相垂直的Gr。由此,仅捕捉被皮肤内部结构的毛孔反射的漫反射光的图像。要注意的是,在图9的示例中,与其它波长的情况相比,发射波长G的光的原因是摄像机21的灵敏度高。然而,可以开启Rr、Br、或者IRr代替Gr。
为了测量皮肤肤质,仅仅开启偏振方向与分析器22的偏振方向相平行的Gp。由此,仅捕捉表示皮肤表层结构的皮肤肤质状态的镜面反射光的图像。要注意的是,在图9的示例中,与其它波长的情况相比,发射波长G的光的原因是摄像机21的灵敏度高。然而,也可以开启Rp、Bp、或者IRp代替Gp。
为了测量内部黑色素指标,首先,仅仅在偏振方向与分析器22的偏振方向相垂直的Rr处于开启的状态下,捕捉反射程度基于内部黑色素的存在/不存在而变化的红光漫反射光的图像,从而获取红光图像。然后,仅仅在偏振方向与分析器22的偏振方向相垂直的IRr处于开启的状态下,捕捉基于内部黑色素的存在/不存在,反射程度几乎不改变的红光漫反射光的图像,从而获取红外图像。在图像分析单元14中,基于红光图像和红外图像之间的区别进行分析内部黑色素的含量及其分布。要注意的是,内部黑色素的测量未来将用于预测出现在角质层中的黑色素。
为了测量表层黑色素指标,首先,仅仅在偏振方向与分析器22的偏振方向相平行的Rp处于开启的状态下,捕捉反射程度基于表层(在角质层)黑色素的存在/不存在而改变的红光镜面反射光的图像,从而获取红光图像。然后,仅仅在偏振方向与分析器22的偏振方向相平行的IRp处于开启的状态下,捕捉基于表层黑色素的存在/不存在,反射程度几乎不改变的红外线照射的镜面反射光的图像,从而获取红外图像。在图像分析单元14中,基于红光图像和红外图像之间的区别进行分析表层黑色素的含量及其分布。
为了测量内部红斑指数,首先,仅仅在偏振方向与分析器22的偏振方向相垂直的Rr处于开启的状态下,捕捉红光漫反射光的图像,从而获取红光图像。然后,仅仅在偏振方向与分析器22的偏振方向相垂直的Gr处于开启的状态下,捕捉绿光漫反射光的图像,从而获取绿光图像。引起红斑的血红蛋白充分地吸收绿光,而几乎不吸收红光,因此,图像分析单元14基于绿光图像和红光图像之间的区别分析内部血红蛋白的含量及其分布。要注意的是,内部血红蛋白的测量也用于观察真皮层中毛细血管的状态。
为了测量表层红斑指数,首先,仅仅在偏振方向与分析器22的偏振方向相平行的Rp处于开启的状态下,捕捉红光镜面反射光的图像,从而获取红光图像。然后,仅仅在偏振方向与分析器22的偏振方向相平行的Gp处于开启的状态下,捕捉绿光镜面反射光的图像,从而获取绿光图像。图像分析单元14基于绿光图像和红光图像之间的区别分析表层血红蛋白的含量及其分布。注意的是,表层血红蛋白的测量也用于观察真皮层中毛细血管的状态。
<构成照明单元24的光源的第二布置示例>
图10说明了构成平面的照明单元24的光源的第二布置示例。
在第二布置示例中,照明单元24包括四个LED 61-1至61-4,而且这些LED以相等的间隔被布置在作为中心的摄像机21的光轴周围。对于每个LED 61,分别采用一个包含产生具有不同波长的R、G、B和UV(紫外线)光的四个芯片的封装。在每个LED 61中,可以单独地开启和关闭每一个芯片。
偏振方向与被布置在摄像机21前方的分析器22的偏振方向相平行的偏振片25p被布置在LED 61-1和61-3的前方。偏振方向与分析器22的偏振方向垂直的偏振片25r被布置在LED 61-2和61-4的前方。
也就是说,在第二布置示例中,UV芯片用来代替图8第一布置示例中的包含在LED51中的IR芯片。由此,尽管不能测量黑色素指数,但是通过使用UV光激发的荧光可以来测量卟啉。
图11显示了测量项目和如图10所示的第二布置示例中光源的开启之间的对应关系。
作为分析目标的皮肤的颜色、光泽、毛孔、肤质、内部红斑指数和表层红斑指数的测量与上述第一布置示例中的情况相似。
为了测量卟啉,所有LED 61-1至61-4的UV芯片,也就是,偏振方向与分析器22的偏振方向垂直的UVr以及偏振方向与分析器22的偏振方向平行的UVp被开启。由此,捕捉卟啉由于紫外线(UV)的发射而发射的具有600至650nm波长的可见光范围内的荧光图像。
<构成照明单元24的光源的第三布置示例>
图12说明了构成平面的照明单元24的光源的第三布置示例。
在第三布置示例中,照明单元24包括四个LED 71-1、71-3、72-2和72-4,而且这些LED以相等的间隔被布置在作为中心的摄像机21的光轴周围。对于71-1和71-3中的每个LED,分别采用一个包含产生具有不同波长的R、G、B和UV光的四个芯片的封装。偏振方向与分析器22的偏振方向平行的偏振片25p被布置在LED 71-1和71-3的前方(在照射光的光路上)。
对于每个LED 72-2和72-4,分别采用一个包含产生具有不同波长的R、G、B和IR光的四个芯片的封装。偏振方向与分析器22的偏振方向垂直的偏振片25r被布置在LED 72-2和72-4的前方。
注意的是,LED 71和72的每个内部芯片可以单独地开启和关闭。
也就是说,第三布置示例是图8中第一布置示例和图10中第二布置示例的结合,可以测量作为分析目标的皮肤的颜色、光泽、毛孔、肤质、内部黑色素、内部红斑指数、表层红斑指数和卟啉。
图13表示测量项目与如图12所说明的第三布置示例中的光源的开启之间的对应关系。
作为分析目标的皮肤的颜色、光泽、毛孔、肤质、内部黑色素指数、内部红斑指数和表层红斑指数的测量与上述第一布置示例的情况相似。卟啉的测量与上述第二布置示例的情况相似。
<构成照明单元24的光源的第四布置示例>
图14说明了构成平面的照明单元24的光源的第四布置示例。
在第四布置示例中,照明单元24包括四个LED 81-1,81-3,82-2和82-4,而且这些LED以相等的间隔被布置在作为中心的摄像机21的光轴周围。对于81-1和81-3中的每个LED,分别采用一个包含具有不同波长的R、G、B和UV光的四个芯片的封装。
对于每个LED 82-2和82-4,分别采用一个包含具有不同波长的R、G、B和IR光的四个芯片的封装。偏振方向与分析器22的偏振方向垂直的偏振片25r被布置在LED 81-2和82-4的前方。
要注意的是,LED 81和82的每个内部芯片可以单独地开启和关闭。
也就是说,通过省略图12中的第三布置示例中的偏振方向与分析器22的偏振方向平行的偏振片25p获得第四布置示例。在第四布置示例的情况下,偏振方向与分析器22的偏振方向相平行的照射光无法发射,因此,无法精细地测量皮肤表层的状态。因此,在第四布置示例中,尽管可以测量皮肤的光泽和肤质,但是其能力低于如图8中的第一布置示例的能力。
图15表示测量项目和图14中所说明的第四布置示例的光源的开启之间的对应关系。
作为分析目标的皮肤的颜色、光泽、毛孔、肤质、内部黑色素指数、内部红斑指数,红斑指数和卟啉的测量与上述第一至第三的布置示例的情况相似。
<构成照明单元24的光源的第五布置示例>
图16说明了构成平面照明单元24的光源的第五布置示例。
在第五布置示例中,照明单元24包括四个LED 91-1至91-4,而且这些LED以相等的间隔被布置在作为中心的摄像机21的光轴周围。对于91-1至91-4中的每个LED,分别采用一个包含产生具有不同波长的R、G、B、IR和UV光的五个芯片的封装。在每个LED 91中,每个内部芯片可以单独地开启和关闭。
偏振方向与分析器22的偏振方向相平行的偏振片25p被布置在LED 91-1和91-3的前方。偏振方向与分析器22的偏振方向垂直的偏振片25r被布置在LED 91-2和91-4的前方。
图17显示了测量项目和如图15所示的第五布置示例中光源的开启之间的对应关系。
作为分析目标的皮肤的颜色、光泽、毛孔、肤质、内部黑色素指数、表层黑色素指数、内部红斑指数、表层红斑指数和卟啉的测量与上述第一至第四布置示例中的情况相似。
<构成照明单元24的光源的第六布置示例>
图18说明了构成平面照明单元24的光源的第六布置示例。
在第六布置示例中,照明单元24包括八个LED 101-1至101-4和102-1至102-4,而且这些LED以相等的间隔被布置在作为中心的摄像机21的光轴周围。对于LED 101-1至101-4中的每一个,分别采用一个包含产生具有不同波长的R、G、IR和UV光的四个芯片的封装。在每个LED 101中,每个内部芯片可以单独地开启和关闭。对于LED 102-1至102-4中的每一个,采用了产生W光(白光)的LED。
偏振方向与分析器22的偏振方向相平行的偏振片25p被布置在LED 101-1、101-3、102-2和102-4的前方。偏振方向与分析器22的偏振方向垂直的偏振片25r被布置在LED101-2、101-4、102-1和102-3的前方。
图19显示了测量项目和如图18所示的第六布置示例中光源的开启之间的对应关系。
例如,为了测量作为分析目标的皮肤的颜色,开启Wr和Wp。由此,捕捉白光的镜面反射光和漫反射光的图像,因此,可以在接近于人类肉眼的情况下获取图像。
为了测量光泽,开启偏振光与分析器22相平行的Wp。由此,仅捕捉白光的镜面反射光的图像,而生成其漫反射光。因此,可以获取皮肤表面反射的光泽的图像。
其它项的测量与上述第一至第五布置示例中的任何一个的情况相似。
<构成照明单元24的光源的第七布置示例>
图20展示了构成平面照明单元24的光源的第七布置示例。
在第七布置示例中,照明单元24包括十六个LED 111-1至111-4,112-1至112-4,113-1至113-4,和114-1至114-4,而且这些LED以相等的间隔被布置在作为中心的摄像机21的光轴周围。
对于111-1至111-4中的每个LED,分别采用一个包含产生具有不同波长的R、G、G和IR光的四个芯片的封装。要注意的是,在一个封装包中设置了两个G芯片,是因为其光的发射输出比R和其它芯片的光的发射输出小。在每个LED 111中,R、G和IR芯片可以单独地开启和关闭。
对于LED 112-1至112-4,均采用产生UV光的LED。
对于LED 113-1至113-4,均采用产生W光的LED。偏振方向与分析器22的偏振方向垂直的偏振片25r被布置在各自的LED 113的前方。
对于LED 114-1至114-4,均采用产生W光的LED。
图21表示测量项目和图20中所说明的第七布置示例中的光源的开启之间的对应关系。
作为分析目标的皮肤的颜色、毛孔、肤质、黑色素指数、红斑指数和卟啉的测量与上述第一至第七布置示例中的任何一种情况相似。
可以将上文所述的构成照明单元24的光源的第一至第七布置示例与图像获取单元13的第一至第三结构示例中的任何一个相结合。
<图像获取单元13的第四结构示例>
图22说明了图像获取单元13的第四结构示例的剖面图。第四结构示例包括摄像机21、分析器22以及呈三维布置、被分为三层的PCB 23、照明单元24和偏振片25。
如图22所示,在第四结构示例中,PCB 23、照明单元24和偏振片25被分成三层并且呈三维布置。也就是说,第一层包括PCB 23-1、照明单元24-1和偏振片25-1。第二层包括PCB23-2、照明单元24-2和偏振片25-2。第三层包括PCB 23-3、照明单元24-2。
照明单元24-1至24-3以不同的角度被布置以便其照射方向面向分析目标。
偏振片25-1和25-2分别被布置在照明单元24-1和24-2的前方。要注意的是,可以省略偏振片25-1或25-2或者可以把偏振片布置在照明单元24-3的前方。
照明单元24-1至24-3呈三维布置,因此,与上述第一至第三结构示例相比,在第四结构示例中的图像获取单元13的尺寸可以减小。要注意的是,当照明单元24呈三维结构时,照明单元24可以是如图22所述的三层或者具有两层或者四层或者更多层。
<构成照明单元24-1至24-3的光源的第八布置示例>
图23说明了构成图22中三维的照明单元24-1至24-3的光源的布置示例(以下称为“第八布置示例”)。
如图23A所示,被布置在第一层的照明单元24-1包括四个LED 121-1至121-4,并且这些LED以相等的间隔被布置在作为中心的摄像机21的光轴周围。对于每个LED 121,采用了生成W光(白光)的LED。偏振方向与被布置在摄像机21前方的分析器22的偏振方向相垂直的偏振片25-1r被布置在LED 121-2和121-4的前方。
如图23B所示,被布置在第二层的照明单元24-2包括四个LED 122-1至122-4,并且这些LED以相等的间隔被布置在作为中心的摄像机21的光轴周围。对于每个LED 122,分别采用一个包含产生具有不同波长的R、G、B和IR光的四个芯片的封装。在每个LED 122中,每个芯片可以被单独地开启和关闭。偏振方向与被布置在摄像机21前方的分析器22的偏振方向平行的偏振片25-2p被布置在LED 122-1和122-3的前方。偏振方向与被布置在摄像机21前方的分析器22的偏振方向垂直的偏振片25-2r被布置在LED 122-2和122-4的前方。
如图23C所示,被布置在第三层的照明单元24-3包括四个LED 123-1至123-4,并且这些LED以相等的间隔被布置在作为中心的摄像机21的光轴周围。各LED 123均采用产生UV光的LED。
要注意的是,照明单元24-1至24-3可以围绕摄像机21的光轴转动,并且位于第二层的照明单元24-2被布置在从其发出的光不被位于第三层的照明单元24-3阻挡的位置。同样地,位于第一层的照明单元24-1被布置在从其发出的光不被位于第二层的照明单元24-2或第三层的照明单元24-3阻挡的位置。
要注意的是,在第八布置示例的情况下,具有相对较小的输出的LED被布置在更接近皮肤观察区的层(例如,具有相对较小的输出的UV LED被布置在第三层,具有相对较大的输出的W LED被布置在第一层)。然而,该布置是任意的,并不局限于图8所示的示例。
图24表示测量项目和图23中所表示的第八布置示例中的光源的开启之间的对应关系。
作为分析目标的皮肤的颜色、光泽、毛孔、肤质、内部黑色素指数、表层黑色素指数、内部红斑指数、表层红斑指数和卟啉的测量与上述第一至第七示例中的任何一个的情况相似。
<图像获取单元13的第五结构示例>
图25示出了图像获取单元13的第五结构示例的剖面图。在第五结构示例中,作为导光元件的透镜32被布置在图22所示的第四结构示例中位于第一层的照明单元24-1的前方。要注意的是,与第四布置示例共同的组成元件采用相同的数字表示,因此不再赘述。
关于构成照明单元24-1至24-3的光源的布置示例,不仅可以采用图23所示的第八布置示例,还可以使用任意布置方式。
透镜32在照明单元24-1发出的照射光的传播方向上弯曲,以照射皮肤观察区。因为布置了透镜32,能够用照明单元24-1发出的照射光有效地照射到皮肤观察区。
需要注意的是,照明单元24-1(包含有光源)的中心轴和透镜32的中心轴不必相互一致。相反,在某些情况下,通过使两轴偏离中心,照射光可以更有效地被射出。
需要注意的是,代替或除了被布置在照明单元24-1的前方的透镜,透镜32可以被布置在照明单元24-2和24-3中至少一个的前方。
<图像获取单元13的第六结构示例>
图26示出了图像获取单元13的第六结构示例的剖面图。在第六结构示例中,作为导光元件的光导管33被布置在图22所示的第四结构示例中位于第一层的照明单元24-1的前方。需要注意的是,与第四结构示例共同的组成元件采用相同的数字表示,在此不再赘述。
关于构成照明单元24-1至24-3的光源的布置示例,不仅可以采用图23所示的第八布置示例,还可以采用任意布置方式。
光导管33在照明单元24-1发出的照射光的传播方向上弯曲,以照射皮肤观察区。因为布置了光导管33,能够用照明单元24-1发出的照射光有效地照射皮肤观察区。
需要注意的是,照明单元24-1(包含有光源)的中心轴和光导管33的中心轴不一定相互一致。相反,在某些情况下,通过使两轴偏离中心,照射光可以更有效地被射出。
需要注意的是,代替或除了透镜被布置在照明单元24-1的前方,光导管33还可以被布置在照明单元24-2和24-3中至少一个的前方。
<图像获取单元13的第七结构示例>
图27示出了图像获取单元13的第七结构示例的剖面图。在第七结构示例中,作为导光元件的光导管33被布置在位于第一层的照明单元24-1的前方,作为导光元件的透镜32被布置在如图22所示的第四结构示例中位于第二层的照明单元24-2和位于第三层的照明单元24-3的前方。需要注意的是,与第四至第六结构示例共同的组成元件采用相同的数字表示,在此不再赘述。
关于构成照明单元24-1至24-3的光源的布置示例,不仅可以采用图23所示的第八布置示例,还可以采用任意布置方式。
透镜32在照明单元24-2和24-3发出的照射光的传播方向上弯曲,以照射皮肤观察区。光导管33在照明单元24-1发出的照射光的传播方向上弯曲,以照射皮肤观察区。因为布置了透镜32和光导管33,照明单元24-1至24-3发出的照射光能够有效地照射到皮肤观察区。
需要注意的是,透镜32或光导管33的中心轴与相应的照明单元24-1至24-3(包含有光源)中任何一个的中心轴不必相互一致。相反,在某些情况下,通过使两轴偏离中心,照射光可以更有效地被射出。
需要注意的是,光导管33可以被布置在透镜32所处的位置,或者透镜32可以被布置在光导管33所处的位置。
<图像获取单元13的第八结构示例>
图28示出了图像获取单元13的第八结构示例的剖面图。第八结构示例包括摄像机21、分析器22,和呈三维布置并分成两层的PCB 23、照明单元24和偏光片25。
如图28所示,在第八结构示例中,PCB 23、照明单元24和偏振片25被分成两层并呈三维布置。也就是说,第一层包括PCB 23-1、照明单元24-1和偏振片25-1,第二层包括PCB23-2、照明单元24-2和透镜32。
照明单元24-1和24-2以不同角度被布置,以使得其照射方向面向分析目标。
照明单元24-1和24-2呈三维布置,因此,与上述第一至第三结构示例相比,在第八结构示例中的图像获取单元13的尺寸可以减小。
<构成照明单元24-1至24-3的光源的第九布置示例>
图29示出了图28中构成三维的照明单元24-1和24-2的光源的布置示例(以下称为“第九布置示例”)。
如图29A所示,被布置在第一层的照明单元24-1包括八个LED 131-1至131-4和132-1至132-4,并且这些LED以相等的间隔被布置在作为中心的摄像机21的光轴周围。对于每个LED 131,均采用产生UV光的LED。对于每个LED 132,分别采用一个包含产生具有不同波长的R、G、B和IR光的四个芯片的封装。在每个LED 132中,每个芯片可以被单独地开启和关闭。偏振方向与被布置在摄像机21的前方的分析器22的偏振方向相平行的偏振片25-1p被布置在LED 132-1和132-3的前方。偏振方向与被布置在摄像机21前方的分析器22的偏振方向垂直的偏振片25-1r被布置在LED 132-2和132-4的前方。
如图29B所示,被布置在第二层的照明单元24-2包括四个LED 133-1至133-4,并且这些LED以相等的间隔被布置在作为中心的摄像机21的光轴周围。各LED 133均采用产生W光的LED。偏振方向与被布置在摄像机21前方的分析器22的偏振方向垂直的偏振片25-2r被布置在LED 133-2和133-4的前方。
需要注意的是,照明单元24-1和24-2可以围绕摄像机21的光轴转动,并且位于第一层的照明单元24-1被布置在从其发出的光不被位于第二层的照明单元24-2阻挡的位置。
需要注意的是,在第九布置示例的情况中,虽然多个LED被布置在远离皮肤观察区域的第一层,但这多个LED可以被布置在第二层。构成LED和封装的芯片结构并不限于图29所示的示例,可以是任意的。
在第九布置示例中测量项目和光源的开启的对应关系与图24所示的第八布置示例中测量项目和光源的开启的对应关系相似,因此不再赘述。
<图像获取单元13的第九结构示例>
图30示出了图像获取单元13的第九结构示例的剖面图。第九结构示例包括摄像机21、分析器22,和呈三维布置并被分成三层的PCB 23、照明单元24和偏光片25。
如图30所示,在第九布置示例中,PCB 23、照明单元24和偏振片25被分成三层并呈三维布置。也就是说,第一层包括PCB 23-1、照明单元24-1和偏振片25-1,第二层包括PCB23-2、照明单元24-2、偏振片25-2和透镜32,第三层包括PCB 23-3、照明单元24-3和透镜32。需要注意的是,位于第三层的透镜32被应用于照明单元24-3的部分。
照明单元24-1至24-3以不同角度被布置,以使得其照射方向面向分析目标。
照明单元24-1和24-3被三维地布置,因此,与上述第一至第三结构示例相比,在第九结构示例中的图像获取单元13的尺寸可以减小。
<构成照明单元24-1至24-3的光源的第十布置示例>
图31示出了图30中构成三维的照明单元24-1和24-3的光源的布置示例(以下称为“第十布置示例”)。
如图31A所示,被布置在第一层的照明单元24-1包括四个LED 141-1至141-4,并且这些LED以相等的间隔被布置在作为中心的摄像机21的光轴周围。各LED 141均采用产生W光的LED。
如图31B所示,被布置在第二层的照明单元24-2包括四个LED 142-1至142-4,并且这些LED以相等的间隔被布置在作为中心的摄像机21的光轴周围。每个LED 142均采用产生W光的LED。偏振方向与被布置在摄像机21的前方的分析器22的偏振方向相平行的偏振片25-2p被布置在LED 142-1和142-3的前方。偏振方向与被布置在摄像机21前方的分析器22的偏振方向垂直的偏振片25-2r被布置在LED 142-3和142-3的前方。
如图31C所示,被布置在第三层的照明单元24-2包括八个LED 143-1至143-4和144-1至144-4,并且这些LED以相等的间隔被布置在作为中心的摄像机21的光轴周围。每个LED 143均采用产生UV光的LED。对于每个LED 144,分别采用一个包含产生具有不同波长的R、G、B和IR光的四个芯片的封装。在每个LED 144中,每个芯片可以被单独地开启或关闭。偏振方向与被布置在摄像机21前方的分析器22的偏振方向相平行的偏振片25-3p被布置在LED 144-1和144-3的前方。偏振方向与被布置在摄像机21前方的分析器22的偏振方向垂直的偏振片25-3r被布置在LED 144-2和144-4的前方。
需要注意的是,照明单元24-1至24-3可以围绕摄像机21的光轴转动,并且位于第二层的照明单元24-2被布置在从其发出的光不被位于第三层的照明单元24-3阻挡的位置。同样地,位于第一层的照明单元24-1被布置在从其发出的光不被位于第二层的照明单元24-2或位于第三层的照明单元24-3阻挡的位置。
需要注意的是,在第十布置示例情况中,虽然多个LED被布置在更为靠近皮肤观察区的第三层,但这多个LED也可以被布置在第一层或第二层。构成LED和封装的芯片结构并不限于图31所示的示例,可以是任意的。
在第十布置示例中的测量项目和光源的开启的对应关系与图24所示的第八布置示例中测量项目和光源的开启的对应关系相似,因此不再赘述。
<图像获取单元13的第十结构示例>
图32示出了图像获取单元13的第十结构示例的剖面图。第十结构示例被配置为使得作为导光元件的透镜32被布置在图30所示的第九结构示例中的照明单元24-1至24-3各自的前方。需要注意的是,与第九结构示例共同的组成元件采用相同的数字表示,在此不再赘述。
关于构成照明单元24-1至24-3的光源的布置示例,不仅可以采用图31所示的第十布置示例,还可以采用任意布置方式。
透镜32在照明单元24-1至24-3发出的照射光的传播方向弯曲,以照射皮肤观察区。因为布置了透镜32,照明单元24-1至24-3发出的照射光能够有效地照射皮肤观察区。
需要注意的是,照明单元24-1至24-3(包含光源在内)的中心轴与相应其透镜32的中心轴不一定相互一致。相反,在某些情况下,通过使两轴偏离中心,照射光可以更有效地被射出。
可布置如光导管等任意导光元件代替透镜32。
<应用于本发明的计算机(或程序)>
上述的一系列过程可以通过硬件执行,但也可以通过软件执行。当通过软件执行这一系列过程时,构建这种软件的程序被安装到计算机中。此处,措词“计算机”包括含有专用硬件的计算机和通用的个人计算机等等,当其安装了各种各样的程序时,能够执行各种功能。
图33是表示按照程序执行前述的一系列过程的计算机的硬件结构示例的框图。
在计算机200中,CPU(中央处理器)201、ROM(只读存储器)202和RAM(随机存储存储器)203通过总线204相互连接。
输入/输出接口205也被连接到总线204。输入单元206、输出单元207、存储单元208、通信单元209和驱动器210连接到输入/输出接口205。
输入单元206由键盘、鼠标、麦克风等构成。输出单元207由显示器、扬声器等构成。存储单元208由硬盘、非易失性存储器等构成。通信单元209由网络接口等构成。驱动器210驱动可移动介质211,如磁盘、光盘、磁光盘、半导体存储器等。
在如上所述配置的计算机200中,作为一个示例,CPU 201经由输入/输出接口205和总线204把存储在存储单元208中的程序加载到RAM 203中,并执行该程序以实施如前面所述的一系列过程。
作为一个示例,由计算机200(CPU 201)执行的程序可以通过被记录在可移动介质211中作为封装的介质等来提供。该程序也可以经由有线或无线传输介质,诸如局域网、因特网或数字卫星广播等来提供。
在计算机200中,通过把可移动介质211加载到驱动器210中,该程序可以经由输入/输出接口205安装到存储单元208。也可以利用通信单元209接收来自有线或无线传输介质的程序并将该程序安装到存储单元208。作为另一种选择,该程序可以预先安装到ROM202或存储单元208。
需要注意的是,由计算机200执行的程序可以是本说明书中描述的按照时间序列顺序执行所述过程的程序,或者可以是并行或在必要的时间执行的所述过程的程序,例如当调用该过程时。
本发明的实施例不限于上述的实施例,并且在不脱离本发明范围的情况下可以进行各种变化和修改。
此外,本发明技术还可以配置如下:
(1)
一种图像分析装置,包括:
图像获取单元,其包括:
照明单元,包括发光单元,其中,至少包含有被配置为发射可见光的发光元件和被配置为发射不可见光的发光元件的多个发光元件被封装,和
图像拾取单元,其被配置为捕捉通过使照明单元发出的照射光被分析目标反射而生成的反射光的图像。
(2)
根据(1)的图像分析装置,
其中,在发光单元中,至少包含有被配置为发射可见红光的发光元件、被配置为发射可见绿光的发光元件和被配置为发射不可见红外线的发光元件的多个发光元件被封装。
(3)
根据(1)或(2)的图像分析装置,
其中,图像获取单元进一步地包括,
偏振片,其被布置在照明单元发射的照射光的光路上,和
分析器,其被布置在反射光入射至图像拾取单元的光路上。
(4)
根据(1)至(3)中任何一个的图像分析装置,
其中,图像获取单元进一步地包括,
导光元件,其被配置为把从照明单元发射的照射光引导至分析目标。
(5)
根据(4)的图像分析装置,
其中,导光元件具有任意的光学表面形状。
(6)
根据(1)至(5)中任何一个的图像分析装置,
其中,照明单元包括多个发光元件,并且
其中,多个发光元件以相等的间隔被布置在图像拾取单元的光轴周围。
(7)
根据(6)的图像分析装置,
其中,构成照明单元的多个发光元件以相等的间隔被平面地布置在图像拾取单元的光轴周围。
(8)
根据(6)的图像分析装置,
其中,构成照明单元的多个发光元件以相等的间隔被三维地布置在图像拾取单元的光轴周围以便构成多层。
(9)
根据(6)至(8)中任何一个的图像分析装置,
其中,构成照明单元的多个发光元件以不同的角度被布置以便朝向分析目标。
(10)
根据(1)至(9)中任何一个的图像分析装置,
其中,照明单元通过改变发光元件来改变照射光的波长,以发射与分析项一致的光。
(11)
根据(10)的图像分析装置,进一步地包括,
操作输入单元,输入用户选择分析项的操作。
(12)
根据(1)至(11)中任何一个的图像分析装置,进一步地包括,
图像分析单元,其被配置为分析由图像拾取单元捕捉的图像。
(13)
一种应用图像分析装置的图像分析方法,所述图像分析装置包括图像获取单元,所述图像获取单元包括:
照明单元,包括发光单元,其中,至少包含有被配置为发射可见光的发光元件和被配置为发射不可见光的发光元件的多个发光元件被封装,和
图像拾取单元,其被配置为捕捉通过使照明单元发出的照射光被分析目标反射而生成的反射光的图像,所述方法包括:
照射步骤,使用照明单元发射照射光;和
图像获取步骤,通过图像拾取单元,获取通过使照明单元发出的照射光被分析目标反射而生成的反射光的图像。
(14)
一种控制图像分析装置的程序,所述图像分析装置包括图像获取单元,所述图像获取单元包括:
照明单元,包括发光单元,其中,至少包含有被配置为发射可见光的发光元件和被配置为发射不可见光的发光元件的多个发光元件被封装,和
图像拾取单元,其被配置为捕捉通过使照明单元发出的照射光被分析目标反射而生成的反射光的图像,
所述程序使图像分析装置的计算机执行处理,所述处理包括:
照射步骤,以一定的方式控制照明单元发射照射光,和
图像获取步骤,以一定的方式控制图像拾取单元获取通过使照明单元发出的照射光被分析目标反射而生成的反射光的图像。
(15)
一种照明装置,包括
多个发光单元,其中,至少包含有被配置为发射可见光的发光元件和被配置为发射不可见光的发光元件的多个发光元件被封装。
参考符号列表
10 图像分析装置
11 操作输入单元
12 控制单元
13 图像获取单元
14 图像分析单元
15 显示单元
21 摄像机
22 分析器
23 PCB(印刷电路板)
24 照明单元
25 偏振片
31 导光元件
32 透镜
33 光导管
61,71,72,81,82,91,101,102,111to 114,121to 123,131to 133,141to 143 LED(发光二极管)
200 计算机
201 CPU(中央处理器)。

Claims (15)

1.一种图像分析装置,包括:
图像获取单元,其包括:
照明单元,包括发光单元,其中,至少包含有被配置为发射可见光的发光元件和被配置为发射不可见光的发光元件的多个发光元件被封装,和
图像拾取单元,其被配置为捕捉通过使照明单元发出的照射光被分析目标反射而生成的反射光的图像。
2.根据权利要求1所述的图像分析装置,
其中,在发光单元中,至少包含有被配置为发射可见红光的发光元件,被配置为发射可见绿光的发光元件和被配置为发射不可见红外线的发光元件的多个发光元件被封装。
3.根据权利要2所述的图像分析装置,
其中,图像获取单元进一步地包括,
偏振片,其被布置在所述照明单元发射的所述照射光的光路上,和
分析器,其被布置在所述反射光入射至所述图像拾取单元的光路上。
4.根据权利要求2所述的图像分析装置,
其中,所述图像获取单元进一步地包括,
导光元件,其被配置为把从所述照明单元发射的照射光引导至所述分析目标。
5.根据权利要求4所述的图像分析装置,
其中,所述导光元件具有任意的光学表面形状。
6.根据权利要求2所述的图像分析装置,
其中,所述照明单元包括所述多个发光元件,并且
其中,所述多个发光元件以相等的间隔被布置在图像拾取单元的光轴周围。
7.根据权利要求6所述的图像分析装置,
其中,构成所述照明单元的所述多个发光元件以相等的间隔被平面地布置在所述图像拾取单元的光轴周围。
8.根据权利要求6所述的图像分析装置,
其中,构成所述照明单元的所述多个发光元件以相等的间隔被三维地布置在所述图像拾取单元的光轴周围以便构成多层。
9.根据权利要求6所述的图像分析装置,
其中,构成所述照明单元的所述多个发光元件以不同的角度被布置以便朝向分析目标。
10.根据权利要求2所述的图像分析装置,
其中,所述照明单元通过改变所述发光元件来改变所述照射光的波长,以发射与分析项一致的光。
11.根据权利要求10所述的图像分析装置,进一步地包括,
操作输入单元,其输入用户选择所述分析项的操作。
12.根据权利要求2所述的图像分析装置,进一步地包括,
图像分析单元,其被配置为分析由所述图像拾取单元捕捉的图像。
13.一种应用图像分析装置的图像分析方法,所述图像分析装置包括图像获取单元,所述图像获取单元包括:
照明单元,其包括发光单元,其中,至少包含有被配置为发射可见光的发光元件和被配置为发射不可见光的发光元件的多个发光元件被封装,和
图像拾取单元,其被配置为捕捉通过使所述照明单元发出的照射光被分析目标反射而生成的反射光的图像,所述方法包括:
照射步骤,使用所述照明单元发射照射光;和
图像获取步骤,通过所述图像拾取单元,获取通过使所述照明单元发出的所述照射光被所述分析目标反射而生成的反射光的图像。
14.一种控制图像分析装置的程序,所述图像分析装置包括图像获取单元,所述图像获取单元包括:
照明单元,其包括发光单元,其中,至少包含有被配置为发射可见光的发光元件和被配置为发射不可见光的发光元件的多个发光元件被封装,和
图像拾取单元,其被配置为捕捉通过使所述照明单元发出的照射光被分析目标反射而生成的反射光的图像,
所述程序使图像分析装置的计算机执行处理,所述处理包括:
照射步骤,以一定的方式控制所述照明单元使得所述照明单元发射照射光,和
图像获取步骤,以一定的方式控制所述图像拾取单元使得所述图像拾取单元获取通过使所述照明单元发出的所述照射光被所述分析目标反射而生成的反射光的图像。
15.一种照明装置,包括
多个发光单元,其中,至少包含有被配置为发射可见光的发光元件和被配置为发射不可见光的发光元件的多个发光元件被封装。
CN201480067086.8A 2013-12-16 2014-12-05 图像分析装置、图像分析方法、程序及照明装置 Pending CN105979852A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2013258861 2013-12-16
JP2013-258861 2013-12-16
JP2014-147300 2014-07-18
JP2014147300A JP6323227B2 (ja) 2013-12-16 2014-07-18 画像解析装置、画像解析方法、およびプログラム、並びに照明装置
PCT/JP2014/082213 WO2015093314A1 (ja) 2013-12-16 2014-12-05 画像解析装置、画像解析方法、およびプログラム、並びに照明装置

Publications (1)

Publication Number Publication Date
CN105979852A true CN105979852A (zh) 2016-09-28

Family

ID=53402663

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480067086.8A Pending CN105979852A (zh) 2013-12-16 2014-12-05 图像分析装置、图像分析方法、程序及照明装置

Country Status (6)

Country Link
US (1) US10939823B2 (zh)
JP (1) JP6323227B2 (zh)
KR (1) KR102351735B1 (zh)
CN (1) CN105979852A (zh)
TW (1) TWI666000B (zh)
WO (1) WO2015093314A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110661775A (zh) * 2019-07-13 2020-01-07 中国矿业大学(北京) 基于特殊结构矿灯的井下人员识别定位及通信系统

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150094196A (ko) * 2014-02-11 2015-08-19 서울바이오시스 주식회사 피부 상태 진단 장치 및 이를 이용하는 피부 상태 진단 방법
JP6646528B2 (ja) * 2016-01-14 2020-02-14 日本メナード化粧品株式会社 角栓分解促進剤
KR102581945B1 (ko) * 2017-02-07 2023-09-25 삼성전자주식회사 스킨 정보 제공 방법 및 이를 지원하는 전자 장치
DE102017204365A1 (de) 2017-03-16 2018-09-20 Henkel Ag & Co. Kgaa Verfahren und Vorrichtung zum Ermitteln eines Besiedelungsgrads von Haut mit Aknebakterien
KR102374990B1 (ko) 2017-03-21 2022-03-16 삼성전자 주식회사 피부 관련 정보를 제공하는 방법 및 이를 사용하는 전자 장치
EP3384830A1 (en) 2017-04-05 2018-10-10 Koninklijke Philips N.V. Skin gloss measurement which is sensor angle rotation independent
EP3384829A1 (en) * 2017-04-05 2018-10-10 Koninklijke Philips N.V. Skin gloss measurement for quantitative estimation of skin gloss
EP3530179A1 (en) * 2018-02-27 2019-08-28 Koninklijke Philips N.V. Obtaining images for use in determining one or more properties of skin of a subject
US10872221B2 (en) 2018-06-21 2020-12-22 Amazon Technologies, Inc Non-contact biometric identification system
CN113167722B (zh) * 2018-11-06 2024-06-14 索尼集团公司 信息处理装置、信息处理方法和程序
EP3666175A1 (en) 2018-12-14 2020-06-17 Koninklijke Philips N.V. Device for use in determining a hydration level of skin
US20200302147A1 (en) * 2019-03-20 2020-09-24 Amazon Technologies, Inc. Biometric input device
JP6897712B2 (ja) * 2019-03-29 2021-07-07 カシオ計算機株式会社 照明装置、及び撮像装置
US20220167852A1 (en) 2019-03-29 2022-06-02 Casio Computer Co., Ltd. Illumination device and imaging device
US11473968B2 (en) * 2019-08-06 2022-10-18 Apple Inc. Electronic devices with light sensor system having polarized light source and light detector to detect reflected light used to determine reflectivity of an object
JP7382895B2 (ja) * 2020-04-28 2023-11-17 花王株式会社 肌状態の評価方法
BR112022017165A2 (pt) * 2020-05-13 2022-10-11 3M Innovative Properties Co Dispositivo de imageamento com componentes de iluminação
JP7510051B2 (ja) 2020-08-12 2024-07-03 花王株式会社 皮膚の画像形成方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11163414A (ja) * 1997-11-26 1999-06-18 Rohm Co Ltd 発光装置
JP2002200050A (ja) * 2000-12-28 2002-07-16 Kao Corp 肌色測定装置および肌色診断装置ならびに顔画像処理装置
JP2003333608A (ja) * 2002-05-08 2003-11-21 Makoto Dejima 肌撮影用面順次方式テレビカメラ装置
CN1485605A (zh) * 2002-09-29 2004-03-31 �Ϻ���ͨ��ѧ 可分离介质表层与深层信息的光学检测方法
CN1910431A (zh) * 2004-01-23 2007-02-07 奥林巴斯株式会社 图像处理系统以及照相机
JP4521587B2 (ja) * 2007-01-26 2010-08-11 コリア エレクトロテクノロジー リサーチ インスティチュート 照明の均一度を向上させた光学診断装置
CN102695976A (zh) * 2010-04-02 2012-09-26 株式会社茉莉特斯 肌肤观察装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3954533B2 (ja) 2003-06-17 2007-08-08 株式会社モリテックス 肌観察装置
TWM279352U (en) * 2005-05-06 2005-11-01 Lighthouse Technology Co Ltd Photo power supply device capable of being controlled by programs
JP2009000494A (ja) * 2007-05-23 2009-01-08 Noritsu Koki Co Ltd ポルフィリン検出方法、ポルフィリンの表示方法、およびポルフィリン検出装置
JP5966325B2 (ja) * 2011-11-11 2016-08-10 ソニー株式会社 測定装置、測定方法及びパラメータの設定方法
WO2013084919A1 (ja) * 2011-12-06 2013-06-13 株式会社ニコン 照明装置
JP6004235B2 (ja) * 2012-02-03 2016-10-05 パナソニックIpマネジメント株式会社 撮像装置および撮像システム
US20130207136A1 (en) * 2012-02-13 2013-08-15 Hsin-Hui Cheng Chip-on-board leds package with different wavelengths
JP2013212247A (ja) * 2012-04-02 2013-10-17 Sharp Corp 皮膚測定システム
WO2013160780A1 (en) * 2012-04-23 2013-10-31 I.R.Med Ltd. Short-wave infrared imaging and spectroscopy technique for inflammation classification and tumor and inflammation differentiation in human tissues inside the body
RU2616653C2 (ru) * 2012-06-05 2017-04-18 Хайпермед Имэджинг, Инк. Способы и устройство для соосного формирования изображения с множеством длин волн

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11163414A (ja) * 1997-11-26 1999-06-18 Rohm Co Ltd 発光装置
JP2002200050A (ja) * 2000-12-28 2002-07-16 Kao Corp 肌色測定装置および肌色診断装置ならびに顔画像処理装置
JP2003333608A (ja) * 2002-05-08 2003-11-21 Makoto Dejima 肌撮影用面順次方式テレビカメラ装置
CN1485605A (zh) * 2002-09-29 2004-03-31 �Ϻ���ͨ��ѧ 可分离介质表层与深层信息的光学检测方法
CN1910431A (zh) * 2004-01-23 2007-02-07 奥林巴斯株式会社 图像处理系统以及照相机
JP4521587B2 (ja) * 2007-01-26 2010-08-11 コリア エレクトロテクノロジー リサーチ インスティチュート 照明の均一度を向上させた光学診断装置
CN102695976A (zh) * 2010-04-02 2012-09-26 株式会社茉莉特斯 肌肤观察装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110661775A (zh) * 2019-07-13 2020-01-07 中国矿业大学(北京) 基于特殊结构矿灯的井下人员识别定位及通信系统

Also Published As

Publication number Publication date
KR102351735B1 (ko) 2022-01-17
WO2015093314A1 (ja) 2015-06-25
KR20160098222A (ko) 2016-08-18
US20160296119A1 (en) 2016-10-13
TWI666000B (zh) 2019-07-21
JP2015135659A (ja) 2015-07-27
JP6323227B2 (ja) 2018-05-16
US10939823B2 (en) 2021-03-09
TW201524460A (zh) 2015-07-01

Similar Documents

Publication Publication Date Title
CN105979852A (zh) 图像分析装置、图像分析方法、程序及照明装置
US10342432B2 (en) Efficient modulated imaging
US20220330857A1 (en) Apparatus and method for imaging blood in a target region of tissue
CN106461462B (zh) 紧凑型光传感器
CN105391919B (zh) 具有发光元件的照相机和皮肤拍摄方法
JP5652537B2 (ja) 観察装置
US20140064579A1 (en) Apparatus and method for generating three-dimensional face model for skin analysis
CN111565620A (zh) 缺光环境中的荧光成像
US7603031B1 (en) Programmable, multi-spectral, image-capture environment
CN107822592A (zh) 用于测量组织氧合的系统和方法
CN110178113A (zh) 量子随机数生成器
CN107883204A (zh) 光源模块以及分析样品的分析仪器
EP2967329B1 (en) Device for use in skin and scalp diagnosis, and method using said device
CN104779325B (zh) Led测试流程和为此的修正方法
CN107005642A (zh) 图像捕获设备与感测保护设备
CN110632001B (zh) 一种用于多光谱成像的led光漫射匀光系统及其使用方法
KR20020084974A (ko) 3차원 납땜검사장치 및 그 제어방법
KR20080084359A (ko) 생체광학 영상장치
JP2017211295A (ja) 検出装置、検出方法、及び検出プログラム
US12121216B2 (en) Miniature hyperspectral imaging
US20220257101A1 (en) Miniature hyperspectral imaging
US20210113148A1 (en) Method and system for multispectral imaging
WO2023228528A1 (ja) 撮影装置及び撮影方法
CN207923743U (zh) 检测装置
WO2017208840A1 (ja) 生体情報取得装置及び生体情報取得方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160928