CN114088644A - 感测装置、感测方法及感测操作组件 - Google Patents
感测装置、感测方法及感测操作组件 Download PDFInfo
- Publication number
- CN114088644A CN114088644A CN202110637897.9A CN202110637897A CN114088644A CN 114088644 A CN114088644 A CN 114088644A CN 202110637897 A CN202110637897 A CN 202110637897A CN 114088644 A CN114088644 A CN 114088644A
- Authority
- CN
- China
- Prior art keywords
- light
- detection signal
- sensor
- wavelength
- sensing device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000001514 detection method Methods 0.000 claims abstract description 154
- 238000004364 calculation method Methods 0.000 claims abstract description 89
- 239000000463 material Substances 0.000 claims description 73
- 230000015654 memory Effects 0.000 claims description 32
- 239000011358 absorbing material Substances 0.000 claims description 30
- 229910052710 silicon Inorganic materials 0.000 claims description 26
- 239000010703 silicon Substances 0.000 claims description 26
- 229910052732 germanium Inorganic materials 0.000 claims description 20
- GNPVGFCGXDBREM-UHFFFAOYSA-N germanium atom Chemical compound [Ge] GNPVGFCGXDBREM-UHFFFAOYSA-N 0.000 claims description 20
- 238000012937 correction Methods 0.000 claims description 10
- 238000007405 data analysis Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 6
- 238000010801 machine learning Methods 0.000 description 58
- 238000010586 diagram Methods 0.000 description 39
- 238000013473 artificial intelligence Methods 0.000 description 29
- 230000003287 optical effect Effects 0.000 description 28
- 239000000758 substrate Substances 0.000 description 23
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 22
- 238000012549 training Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 16
- 238000004458 analytical method Methods 0.000 description 14
- 238000013528 artificial neural network Methods 0.000 description 14
- 238000002310 reflectometry Methods 0.000 description 14
- 230000005540 biological transmission Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 12
- 229910000679 solder Inorganic materials 0.000 description 11
- 238000010191 image analysis Methods 0.000 description 8
- 230000003993 interaction Effects 0.000 description 7
- 238000004611 spectroscopical analysis Methods 0.000 description 7
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 6
- 239000008280 blood Substances 0.000 description 6
- 210000004369 blood Anatomy 0.000 description 6
- 239000008103 glucose Substances 0.000 description 6
- 230000036541 health Effects 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 6
- 239000012071 phase Substances 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 235000013399 edible fruits Nutrition 0.000 description 5
- 230000000737 periodic effect Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 210000001519 tissue Anatomy 0.000 description 5
- 239000002023 wood Substances 0.000 description 5
- 230000003190 augmentative effect Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 4
- 239000003990 capacitor Substances 0.000 description 4
- 238000005253 cladding Methods 0.000 description 4
- 235000013305 food Nutrition 0.000 description 4
- 229910052751 metal Inorganic materials 0.000 description 4
- 239000002184 metal Substances 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 239000002096 quantum dot Substances 0.000 description 4
- 230000000306 recurrent effect Effects 0.000 description 4
- 125000006850 spacer group Chemical group 0.000 description 4
- 101100238555 Haemophilus influenzae (strain ATCC 51907 / DSM 11121 / KW20 / Rd) msbA gene Proteins 0.000 description 3
- 230000000712 assembly Effects 0.000 description 3
- 238000000429 assembly Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 150000001720 carbohydrates Chemical class 0.000 description 3
- 235000014633 carbohydrates Nutrition 0.000 description 3
- 238000000576 coating method Methods 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000004806 packaging method and process Methods 0.000 description 3
- 238000010183 spectrum analysis Methods 0.000 description 3
- 101100024317 Caenorhabditis elegans mrt-2 gene Proteins 0.000 description 2
- 229910000530 Gallium indium arsenide Inorganic materials 0.000 description 2
- 238000004497 NIR spectroscopy Methods 0.000 description 2
- 101100257255 Rattus norvegicus Snx27 gene Proteins 0.000 description 2
- DFXZOVNXZVSTLY-UHFFFAOYSA-N [Si+4].[GeH3+]=O Chemical compound [Si+4].[GeH3+]=O DFXZOVNXZVSTLY-UHFFFAOYSA-N 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 230000000981 bystander Effects 0.000 description 2
- 239000011248 coating agent Substances 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000005293 physical law Methods 0.000 description 2
- 229920000642 polymer Polymers 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 229910000980 Aluminium gallium arsenide Inorganic materials 0.000 description 1
- JBRZTFJDHDCESZ-UHFFFAOYSA-N AsGa Chemical compound [As]#[Ga] JBRZTFJDHDCESZ-UHFFFAOYSA-N 0.000 description 1
- 101710178035 Chorismate synthase 2 Proteins 0.000 description 1
- 101710152694 Cysteine synthase 2 Proteins 0.000 description 1
- 101000800505 Drosophila melanogaster Muscle-specific homeobox protein tinman Proteins 0.000 description 1
- 239000004593 Epoxy Substances 0.000 description 1
- 101150033433 Msh2 gene Proteins 0.000 description 1
- KXNLCSXBJCPWGL-UHFFFAOYSA-N [Ga].[As].[In] Chemical compound [Ga].[As].[In] KXNLCSXBJCPWGL-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000010391 action planning Effects 0.000 description 1
- 238000004026 adhesive bonding Methods 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 238000010224 classification analysis Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000005496 eutectics Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 229920002457 flexible plastic Polymers 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000013532 laser treatment Methods 0.000 description 1
- 239000007791 liquid phase Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 231100000754 permissible exposure limit Toxicity 0.000 description 1
- 230000001185 psoriatic effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
- G01N21/3554—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for determining moisture content
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
- G01N21/3563—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing solids; Preparation of samples therefor
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
- G01N21/359—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/55—Specular reflectivity
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
- G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/484—Transmitters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4861—Circuits for detection, sampling, integration or read-out
- G01S7/4863—Detector arrays, e.g. charge-transfer gates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/491—Details of non-pulse systems
- G01S7/4911—Transmitters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/491—Details of non-pulse systems
- G01S7/4912—Receivers
- G01S7/4913—Circuits for detection, sampling, integration or read-out
- G01S7/4914—Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/06—Illumination; Optics
- G01N2201/069—Supply of sources
- G01N2201/0691—Modulated (not pulsed supply)
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/12—Circuits of general importance; Signal processing
- G01N2201/126—Microprocessor processing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/12—Circuits of general importance; Signal processing
- G01N2201/129—Using chemometrical methods
- G01N2201/1296—Using chemometrical methods using neural networks
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
- G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Chemical & Material Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Analytical Chemistry (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本申请是提供感测装置、感测方法及感测操作组件,用于感测物体。感测装置可包括一传感器,传感器包含一光侦测单元,用于吸收:(i)一具有一第一波长的第一入射光,以产生一第一侦测信号;及(ii)一具有一第二波长的第二入射光,以产生一第二侦测信号。感测装置可进一步包括一耦接于传感器的计算电路。计算电路可依据第一侦测信号及第二侦测信号而输出一计算结果。感测装置可进一步包括一耦接于计算电路的调整电路。调整电路可依据计算结果而对一或多种与感测装置关联的机能执行一调整。
Description
技术领域
本申请主要关于传感器装置。更详而言之,本申请是关于可吸收多种光线波长并调整其一或多项机能的感测装置。
背景技术
传感器为一种可用于侦测其所在环境中事件或变化并向其他电子装置发送信息的组件、模块、机器或子系统。在测量距离方面,飞时测距(ToF)传感器为得知影像的各点上传感器与三维目标间距离的解决方案之一,其凭借测量雷射或LED光信号的往返时间。随着科技发展,ToF传感器可用于许多移动式/穿戴式/可携式电信或娱乐电子装置,例如影像传感器、数据通信或医疗组件及其他许多适合的应用。
发明内容
通过以下说明或经由实施本申请实施例将可得知并理解本申请实施例的各种态样及优点。
本申请的一种范例态样为感测装置。所述感测装置可包括一传感器,其包含一光侦测单元配置为吸收(i)一具有一第一波长的第一入射光以产生一第一侦测信号及(ii)一具有一第二波长的第二入射光以产生一第二侦测信号。感测装置可进一步包括一耦接于传感器的计算电路。计算电路可依据第一侦测信号及第二侦测信号而输出一计算结果。感测装置可进一步包括耦接计算电路的一调整电路。调整电路可依据计算结果而对一或多种与感测装置关联的机能进行调整。
在某些实施样态中,传感器可进一步的包含一第一光源,配置为发射具有第一波长的一第一传送光;及一第二光源,配置为发射具有第二波长的一第二传送光。第一入射光为受一物体反射后的第一传送光的一部分;且第二入射光为受物体反射后的第二传送光的一部分。
在某些实施样态中,第一传送光在一第一时期中以一第一调制频率调制,且在一第二时期中以一第二调制频率调制。
在某些实施样态中,第一侦测信号具有一第一数值且第二侦测信号具有一第二数值,且其中第一数值与第二数值不同。
在某些实施样态中,计算电路可包含一预计算单元,配置为依据第一侦测信号及第二侦测信号而执行一积分计算或一微分计算,以输出一预计算结果。计算电路可进一步包含一AI建模单元,耦接于预计算单元,配置为执行一影像数据分析并输出一建模信号。计算电路可进一步包含一预测单元,耦接于AI建模单元,配置为依据建模信号而预测一状态为计算结果。
在某些实施样态中,光侦测单元包含一第一光侦测器及一第二光侦测器,其中第一光侦测器具有一第一光吸收材料,且第二光侦测器具有一第二光吸收材料,且其中第一光吸收材料与第二光吸收材料不同。
在某些实施样态中,第一光吸收材料包含硅,且第二光吸收材料包含锗或III-V族材料。
在某些实施样态中,感测装置进一步包含一二维光侦测单元,配置为侦测一物体并产生一二维影像。
在某些实施样态中,计算电路是配置为依据第一侦测信号、第二侦测信号及二维影像而输出计算结果。
在某些实施样态中,传感器是配置为依据第一侦测信号及第二侦测信号而输出一深度信息、一校正信息、一误差修正代码信息或一数值信息。
在某些实施样态中,传感器进一步可包含一发光单元,配置为发射具有第一波长的一第一传送光及具有第二波长的一第二传送光。传感器进一步可包含一控制器,配置为依据第一侦测信号及第二侦测信号而输出一传感器输出信号。传感器实施于一或多个芯片上。
在某些实施样态中,发光单元实施于至少一第一芯片上,光侦测单元实施于至少一第二芯片上,且控制器实施于一第三芯片上。
在某些实施样态中,第一芯片及第二芯片中的至少一者是打线接合于第三芯片。
在某些实施样态中,第一芯片及第二芯片中的至少一者是堆叠于第三芯片上。
在某些实施样态中,第一芯片及第二芯片中的至少一者是倒装接合于第三芯片。
在某些实施样态中,第一芯片及第二芯片中的至少一者是晶圆(wafer-bonded)接合于第三芯片。
在某些实施样态中,发光单元、光侦测单元及控制器是实施于一共享芯片上。
在某些实施样态中,控制器与发光单元及光侦测单元中的一者共同实施于一第一芯片上;且发光单元及光侦测单元中的另一者实施于一第二芯片上。
在某些实施样态中,发光单元可包含一第一芯片,包含一第一光源,配置为发射第一传送光。发光单元可包含一第二芯片,包含一第二光源,配置为发射第二传送光。
在某些实施样态中,光侦测单元可包含一第一芯片,包含一第一光侦测器,配置为吸收第一入射光。光侦测单元可包含一第二芯片,包含一第二光侦测器,配置为吸收第二入射光。
本申请的另一范例态样为感测方法。感测方法可包括由包含一三维光侦测单元的一传感器吸收具有一第一波长的第一入射光,以产生一第一侦测信号,并吸收具有第二波长的第二入射光,以产生一第二侦测信号。感测方法可进一步包括由一计算电路依据第一侦测信号及第二侦测信号而判定计算结果。感测方法可进一步包括由一调整电路依据计算结果而判定输出,以对与一感测装置关联的一或多项机能执行调整。
在某些实施样态中,感测方法更进一步可包含由一第一光源发射具有第一波长的一第一传送光。感测方法更进一步可包含由一第二光源发射具有第二波长的一第二传送光。第一入射光为受一物体反射后的第一传送光的一部分;且第二入射光为受物体反射后的第二传送光的一部分。
在某些实施样态中,第一传送光在一第一时期中以一第一调制频率调制,且在一第二时期中以一第二调制频率调制。
在某些实施样态中,第一侦测信号具有一第一数值且第二侦测信号具有一第二数值,且其中第一数值与第二数值不同。
在某些实施样态中,计算结果是依据一程序而判定,程序包含由一预计算单元依据第一侦测信号及第二侦测信号而执行一积分计算或一微分计算,以输出一预计算结果。程序可进一步包含由一AI建模单元执行一影像数据分析以输出一建模信号。程序可进一步包含由一预测单元依据建模信号而预测一状态为计算结果。
在某些实施样态中,光侦测单元包含一第一光侦测器及一第二光侦测器,其中第一光侦测器具有一第一光吸收材料且第二光侦测器具有一第二光吸收材料,且其中第一光吸收材料与第二光吸收材料不同。
在某些实施样态中,第一光吸收材料包含硅,且第二光吸收材料包含锗或III-V族材料。
本申请的另一范例态样为感测操作组件。感测操作组件可包括一传感器,其包含一光侦测单元,配置为吸收(i)具有一第一波长的一第一入射光以产生一第一侦测信号;及(ii)具有一第二波长的一第二入射光以产生一第二侦测信号。感测操作组件可进一步包括一或多个处理器及一内存,内存包含一或多个有形非瞬时计算机可读媒体。媒体可储存计算机可读指令,当指令受一或多个处理器执行时,可使一或多个处理器执行操作。操作可包括至少部分基于第一侦测信号及第二侦测信号而判定一计算结果。操作可进一步包括至少部分基于计算结果而判定对感测操作组件的一或多项机能的调整。操作可进一步包括对感测操作组件实施调整。传感器可包括一近红外线或短波红外线传感器。
在某些实施样态中,第一波长及第二波长中的一或多者具有一大于1050nm的波长。
在某些实施样态中,至少部分基于第一侦测信号及第二侦测信号而判定计算结果包含判定与第一侦测信号及第二侦测信号关联的物体的材料。
在某些实施样态中,判定与第一侦测信号及第二侦测信号关联的物体的材料包含将第一侦测信号及第二侦测信号输入至一机器学习模型中,以及接收一表示物体的材料的输出指示为机器学习模型的一输出。
本申请的另一范例态样为传感器。传感器可包括一发光单元,配置为发射具有一第一波长的一第一传送光及具有一第二波长的一第二传送光。传感器可进一步包括一光侦测单元,配置为吸收(i)具有第一波长的一第一入射光,以产生一第一侦测信号;及(ii)具有第二波长的一第二入射光,以产生一第二侦测信号。传感器可进一步包括一控制器,配置为依据第一侦测信号及第二侦测信号而输出一传感器输出信号。传感器可实施于于一或多个芯片上。
在某些实施样态中,发光单元实施于至少一第一芯片上,光侦测单元实施于至少一第二芯片上,且控制器实施于一第三芯片上。
在某些实施样态中,第一芯片及第二芯片中的至少一者是打线接合于第三芯片。
在某些实施样态中,第一芯片及第二芯片中的至少一者是堆叠于第三芯片上。
在某些实施样态中,第一芯片及第二芯片中的至少一者是倒装接合于第三芯片。
在某些实施样态中,第一芯片及第二芯片中的至少一者是晶圆接合于第三芯片。
在某些实施样态中,发光单元、光侦测单元及控制器是实施于一共享芯片上。
在某些实施样态中,控制器连同发光单元及光侦测单元中的一者实施于一第一芯片上,发光单元及光侦测单元中的另一者是实施于一第二芯片上。
在某些实施样态中,发光单元可进一步包含一第一芯片,其包含一第一光源,第一光源配置为发射第一传送光。发光单元可进一步包含一第二芯片,其包含一第二光源,第二光源配置为发射第二传送光。
在某些实施样态中,光侦测单元可进一步包含一第一芯片,包含一第一光侦测器,第一光侦测器配置为吸收第一入射光。光侦测单元可进一步包含一第二芯片,包含一第二光侦测器,第二光侦测器配置为吸收第二入射光。
本申请的另一范例态样为用于光学光谱分析的光学装置。光学装置可包括一使用至少硅制成的基板。光学装置可进一步包括多个至少以锗形成的传感器,其中多个传感器受基板支撑。光学装置可进一步包括多个波长过滤器,设置于多个传感器与一目标物体之间,其中多个波长过滤器配置为接收来自目标物体的反射光,并将反射光过滤为多个具有不同波长范围的光束,且其中每一多个传感器配置为接收多个光束中具有特定波长范围的个别光束。
在某些实施样态中,光学装置进一步包含电路系统,其耦接至多个传感器,电路系统配置为读出由多个传感器所产生的多个电信号。
在某些实施样态中,光学装置进一步包含一或多个处理器配置为基于电信号而判定目标物体的一特性。
在某些实施样态中,目标物体的特性包括目标物体的一水分含量、目标物体的一碳水化合物量、目标物体的一糖量、目标物体的一蛋白质含量或目标物体的一脂肪含量。
在某些实施样态中,一或多个处理器配置为基于目标物体的特性而判定目标物体是否为一伪造物。
在某些实施样态中,多个传感器形成于一第一晶粒上,且电路系统形成于一第二晶粒上,且其中多个传感器是经由第一晶粒与第二晶粒间的晶粒层级接合而耦接于电路系统。
在某些实施样态中,多个传感器形成于一第一晶圆上,且电路系统形成于一第二晶圆上,且其中多个传感器是经由第一晶圆与第二晶圆间的晶圆层级接合而耦接至电路系统。
在某些实施样态中,多个传感器及电路系统形成于基板上。
在某些实施样态中,多个传感器设置为一一维阵列。
在某些实施样态中,多个传感器设置为一二维阵列。
在某些实施样态中,多个波长过滤器包含一或多个吸收式材料、多层涂层、周期性光栅、非周期性光栅或其组合。
在某些实施样态中,反射光的范围为自700nm至1700nm。
在某些实施样态中,多个传感器设置于多个波长过滤器与基板之间。
在某些实施样态中,基板设置于多个波长过滤器与多个传感器之间。
在某些实施样态中,光学装置进一步包含一微透镜阵列,设置于多个波长过滤器与目标物体之间。
在某些实施样态中,光学装置进一步包含一形成于微透镜阵列与多个传感器间的分隔件。多个波长过滤器可形成于分隔件内。
本申请的另一范例态样为用于操作光学装置进行光学光谱分析的方法。方法可包括以多个波长过滤器接收自一目标物体反射的光线。方法可进一步包括以多个波长过滤器将接收到的光线过滤为多个具有不同波长范围的光束。方法可进一步包括以多个传感器中的一或多个个别传感器接收多个光束中每一具有特定波长范围的光束。方法可进一步包括基于多个光束而以多个传感器产生电信号。方法可进一步包括由读出电路系统对一或多个处理器提供电信号。方法可进一步包括由一或多个处理器基于电信号而判定目标物体的特性。
本申请的其他范例态样为系统、方法、装置、传感器、操作组件、有形非瞬时计算机可读媒体及内存组件。
以下将参照权利要求说明各种实施例的上述及其他特征、态样与优点。附图构成本说明书的一部分,其目的在于阐明本申请实施例,并配合描述解说相关原理。
附图说明
以下详细说明连同附图将使读者更轻易领会并理解以上态样及本申请的诸多优点,于附图中:
图1为依据本申请范例态样的感测装置范例结构的方块图。
图2为依据本申请范例态样的感测装置范例结构的方块图。
图3为依据本申请范例态样的感测装置范例结构的方块图。
图4为依据本申请范例态样的感测装置范例结构的方块图。
图5为依据本申请范例态样的感测装置范例结构的方块图。
图6为依据本申请范例态样的感测装置范例结构的方块图。
图7为依据本申请范例态样的具有计算机视觉技术的感测装置范例结构的方块图。
图8依据本申请范例态样描绘一感测装置的宽带应用范例的实施方式。
图9依据本申请范例态样描绘一感测装置的宽带应用范例的实施方式。
图10为依据本申请范例态样的范例宽带传感器的方块图。
图11为依据本申请范例态样的范例光侦测器的剖视图。
图12为依据本申请范例态样的范例方法的流程图。
图13为依据本申请范例态样的范例系统图。
图14为依据本申请范例态样的范例系统图。
图15为依据本申请范例态样的范例传感器的方块图。
图16为依据本申请范例态样的范例传感器的方块图。
图17为依据本申请范例态样的范例传感器的方块图。
图18为依据本申请范例态样的范例传感器的方块图。
图19为依据本申请范例态样的范例传感器的方块图。
图20为依据本申请范例态样的范例传感器的方块图。
图21为依据本申请范例态样的范例传感器的方块图。
图22为依据本申请范例态样的范例传感器的方块图。
图23为依据本申请范例态样的范例传感器的方块图。
图24为依据本申请范例态样的范例传感器的方块图。
图25为依据本申请范例态样的范例传感器的方块图。
图26为依据本申请范例态样的范例传感器的方块图。
图27为依据本申请范例态样的范例光侦测电路的方块图。
图28为依据本申请范例态样的范例光源的方块图。
图29A为依据本申请范例态样的范例光侦测器阵列方块图。
图29B为依据本申请范例态样的范例光侦测器阵列方块图。
图30为依据本申请范例态样所描绘的范例光侦测器阵列。
图31为依据本申请范例态样所描绘的范例光侦测器阵列。
图32为依据本申请范例态样所描绘的范例光侦测器阵列。
图33为依据本申请范例态样所描绘的范例光侦测器阵列。
图中符号说明
100:感测装置 102:宽带传感器、传感器
104:计算电路 106:调整电路
108:光侦测器、网络 110:光侦测器
112:第一光源、光源 114:第二光源、光源
140:物体 160:发光单元
180:光侦测单元 190:第二光侦测单元、光侦测单元
200:感测装置 202:光侦测电路、光侦测器
203:控制器 300:感测装置
400:感测装置 401:第一芯片、芯片
402:第二芯片、芯片 403:第三芯片、芯片
404:第四芯片、芯片 405:第五芯片、芯片
460:导孔 500:感测装置
502:太阳 600:感测装置
601:导孔 602:导孔
603:导孔 604:导孔
605:导孔 606:导孔
700:感测装置 800:感测装置、组件
900:感测装置 1000:宽带传感器
1005:稳压器 1010:温度传感器
1015:I2C控制器 1020:PPL
1025:时序产生器 1030:调制
1035:可编程延迟 1040:像素阵列
1041:预计算单元 1042:第一AI建模单元
1043:第二AI建模单元 1044:预测单元
1045:读出 1050:ADC
1055:信号处理器 1060:内存
1065:输出接口 1200:方法
1202:步骤 1204:步骤
1206:步骤 1208:步骤
1210:步骤 1212:步骤
1214:步骤 1216:步骤
1218:步骤 1220:步骤
1300:操作系统、范例系统 1302:发光单元
1304:光侦测单元 1306:计算单元
1308:预计算单元 1310:AI建模单元
1312:预测单元 1314:影像分析单元
1316:材料判定单元 1318:调整单元
1320:实施单元 1400:范例系统、范例操作系统
1402:操作系统 1404:操作组件
1406:处理器 1408:内存
1410:指令 1412:数据
1414:通信接口 1416:机器学习模型、模型
1420:网络 1430:机器学习操作系统
1432:处理器 1434:内存
1436:数据 1438:指令
1440:通信接口 1442:机器学习模型、模型
1444:模型训练器 1446:训练数据、训练数据集
2401:芯片 2501:第一芯片、芯片
2502:第二芯片 2601:第一芯片、芯片
2602:第二芯片 2701:共享基板、硅基板
2801:硅基板 2802:N+III-V材料接触层
2803:N-III-V材料包覆层 2804:量子点(QD)材料层
2805:P-III-V材料包覆层 2806:P+III-V材料接触层
2900A:一维光侦测器阵列 2900B:二维光侦测器阵列
2902:基板 2904:光侦测器
2904A:传感器 2904N:传感器
3000:FSI光侦测器阵列 3002:基板
3004:光侦测器 3004A:传感器
3004B:传感器 3000C:传感器
3004N:传感器 3006:光学过滤器
3006A:带通过滤器 3006B:带通过滤器
3006C:带通过滤器 3006N:带通过滤器
3100:FSI光侦测器阵列 3104:光侦测器
3104A:传感器 3104B:传感器
3104C:传感器 3104N:传感器
3106:过滤器 3106A:过滤器
3106B:过滤器 3106C:过滤器
3106N:过滤器 3108:微透镜阵列
3108A:微透镜阵列 3108B:微透镜阵列
3108C:微透镜阵列 3108N:微透镜阵列
3110:分隔件 3200:BSI光侦测器阵列
3202:基板 3204:光侦测器
3204A:传感器 3204B:传感器
3204C:传感器 3204N:传感器
3206:光学过滤器、过滤器 3206A:过滤器
3206B:过滤器 3206C:过滤器
3206N:过滤器 3208:微透镜阵列
3210:分隔件 3300:BSI光侦测器阵列
3304A:传感器 3304B:传感器
3304C:传感器 3304N:传感器
3306A:过滤器 3306B:过滤器
3306C:过滤器 3306N:过滤器
3308A:微透镜阵列 3308B:微透镜阵列
3308C:微透镜阵列 3308N:微透镜阵列
IL1:第一入射光 IL2:第二入射光
SO:传感器输出信号、传感器输出 ED:计算结果
TL1:第一传送光 TL2:第二传送光
P01:预计算结果 S01:第一建模信号
S02:第二建模信号 EN1:第一数值
EN2:第二数值 CS1:第一控制信号
CS2:第二控制信号 DS1:侦测信号
DS2:侦测信号 W1:接合线
W2:接合线 W3:接合线
W4:接合线 B1:焊块
B2:焊块 B3:焊块
B4:焊块 λ1:波长
λ2:波长 λ3:波长
λN:波长 FD1:读出区
FD2:读出区 DEMOD1:解调制区
DEMOD2:解调制区 CLKP:时钟信号
CLKN:时钟信号 SH:控制信号
Msh1:控制晶体管 Msh2:控制晶体管
RST:控制信号 Mrt1:重置晶体管
Mrt2:重置晶体管 BS:控制信号
Msf1:源极随耦器 Msf2:源极随耦器
Mbt1:列选择晶体管 Mbt2:列选择晶体管
C1:电容 C2:电容
MTL:金属 VIA:穿孔
具体实施方式
本申请主张申请日为2020年6月8日的第63/035,859号美国临时专利申请、申请日为2020年9月16日的第63/079,452号美国临时专利申请及申请日为2021年4月11日的第63/173,488号美国临时专利申请等三案的申请权益,等申请案的整体内容经参照而并入本文。
本申请范例态样的组件、系统及方法是使用宽带光波长感测物体及/或操作环境,并据以调整一或多项机能。例如,感测装置可包括一光侦测单元,配置为在第一波长吸收第一入射光以产生第一侦测信号,并在第二波长吸收第二入射光以产生一第二侦测信号。在某些实施方式中,光侦测单元可包括一近红外线或短波红外线传感器。在某些实施方式中,光侦测单元可包括锗。感测装置可进一步配置为依据第一侦测信号及第二侦测信号而判定一计算结果。感测装置可进一步配置为依据计算结果而对与感测装置关联的一或多项机能执行调整。例如,当侦测到皮肤(例如握持感测装置的手部身体组织)时,感测装置可自低功率操作模式调整为正常功率操作模式。
本申请的组件、系统及方法可提供多种技术效果与益处。例如,为开发更多宽带感测应用,本申请提供一种具有宽带传感器的感测装置,以达成新颖环境/情境感知(例如生物身分识别、三维重建、手势/骨骼侦测、目标特性分析或用户情境定义),并提供更多实际应用(例如解锁/支付确认、导航、用户接口(UI)/姿势监控及无线射频信号/电源优化)。
此外,本申请的组件、系统及方法利用各种波长的反射率数据执行材料分析,而有助于提升物体分类正确度。例如,在某些实施方式中,各种波长的反射率数据可用为一机器学习模型的输入,以判定一物体的材料类型(例如木材、皮肤等等)及/或一或多种与材料有关的特性(例如血糖值等等)。在某些实施方式中,也可对机器学习模型提供额外输入,例如影像数据、点云数据(point cloud data)或其他数据,以进一步改善物体分类分析。
此外,本申请的组件、系统及方法可在各种波长测量目标物体的反射率数据,由此实施光学光谱分析,以达成如同近红外线光谱分析的功能,从而判定目标物体的一或多种特性,包括目标物体的水分含量、目标物体的碳水化合物量、目标物体的糖含量、目标物体的蛋白质含量或目标物体的脂肪含量。光学光谱分析(例如近红外线光谱分析)在食品业可用于监控并评估食品项目。例如,此种光学光谱分析可用于判定目标物体(例如一片水果)是否为伪造物。利用具有整体式(monolithic)带通过滤器(bandpass filter)的GeSi影像传感器阵列即能够以整体方式实现低成本的影像传感器式近红外线光谱分析。
本申请的系统及方法也可达成更高沉浸度的扩增实境(AR)及虚拟现实(VR)体验。例如,识别物体的材料类型后,即可基于材料类型而在AR/VR体验中为使用者量身打造与物体的互动。如此可实现更真实(例如基于物理定律)且更精采的互动(例如基于软件定义规则而非物理定律)。
此外,本申请的系统及方法有助于改善感测装置的安全性。例如,通过改善物体分类的正确性,可连带改善下游分析,例如自动化组件(例如车辆、机器人等等)的任务表现,从而提升旁观者安全性(例如附近行人)。此外,若以依据本申请范例态样的锗系宽带传感器为实施时,可侦测近红外线(NIR,例如波长范围自780nm至1400nm,或如特定应用所定义的任何类似波长范围)及短波红外线(SWIR,例如波长范围自1400nm至3000nm,或如特定应用所定义的任何类似波长范围)光谱的光波长。如此可于利用较大功率光装置(例如雷射)时,通过最大许可暴露(Maximum Permissible Exposure,MPE)限制,在可见光谱内保护旁观者视力安全。
以下将参照附图详细说明本申请范例实施例。图1绘示一感测装置100,其包括一宽带传感器102、一计算电路104及一调整电路106。宽带传感器102可吸收具有第一波长的第一入射光IL1以产生第一侦测信号,并吸收具有第二波长的第二入射光IL2以产生第二侦测信号。第一侦测信号及第二侦测信号可为由宽带传感器102内的光侦测器所产生的电信号。范例宽带传感器102及其依据本申请范例态样的范例部分将参照图10及11详细说明。
再者,宽带传感器102可依据第一侦测信号及第二侦测信号而输出一传感器输出信号SO。在某些实施例中,传感器输出信号SO可为数字数据流(digital data stream),其可包括关于第一侦测信号及第二侦测信号的信息,例如深度信息、校正信息、误差修正代码(error correction code,ECC)信息、数值信息等等。
计算电路104耦接至宽带传感器102,可依据传感器输出信号SO而输出一计算结果ED。调整电路106耦接计算电路104,可依据计算结果ED执行调整。
在某些实施例中,第一波长与第二波长可为不同,其可为850nm/905nm/940nm/1050nm/1064nm/1310nm/1350nm/1400nm/1550nm及/或任何其他适合执行感测的波长。
在某些实施例中,宽带传感器102的实施方式可为直接ToF、间接ToF及/或结构式光感测技术。例如,可利用直接ToF传感器对一物体传送脉冲光(例如自雷射、二极管等等),并侦测反射脉冲的抵达时间。例如,光侦测器可侦测反射脉冲,再由辅助电子组件基于反射脉冲的抵达时间而判定与物体(或其一部分)相隔的距离。在某些实施方式中,可传送多个光脉冲,并由(多个)光侦测器侦测对应的多个反射脉冲。在某些实施方式中,辅助电子组件可对反射脉冲执行分析(例直方图分析),以判定物体的三维表示(例如点云)。
根据另一范例,可使用间接ToF传感器发射具有特定周期的调制光脉冲。光波周期可用于判定射出光波完成整个周期所需的距离。例如,可发射正弦光波或方波,并依据输出信号(例如发射光)与进入信号(例如由光侦测器所侦测到的反射光)间的相位差(例如相位偏移)而判定与物体相隔的距离。
在某些实施例中,计算电路104的实施可利用能够执行人工智能(AI)或深度学习计算(例如一或多个机器学习模型)的特定应用集成电路(ASIC)、数字信号处理(DSP)处理器或通用处理器而达成。
在某些实施例中,调整电路106可通过硬件、韧体或软件实施,用以调整感测装置100的一或多项机能(例如开/关无线射频/电源/显示单元)。在其他某些实施方式中,调整电路106可用于对感测装置100的另一电路系统产生一或多个输出信号,以调整感测装置100的一或多项机能。在其他某些实施方式中,调整电路106可对另一组件产生一或多个输出信号以调整组件的一或多项机能。
图2绘示一感测装置200,其包括宽带传感器102、计算电路104及调整电路106,其中宽带传感器102可发射具有第一波长的第一传送光TL1及具有第二波长的第二传送光TL2。宽带传感器102包括一发光单元160(也称为光源电路)及一光侦测单元180。发光单元160可包括多个光源(例如光源112及光源114)且光侦测单元180可包括一或多个光侦测器(例如光侦测器108及光侦测器110)。在某些实施例中,光侦测单元180的一或多个光侦测器可为用于三维(3D)深度感测(例如i-TOF或d-TOF光侦测器)、近接感测、光学光谱分析、二维(2D)感测(例如二维IR成像)或其组合的光侦测器。光侦测器108及光侦测器110可各利用单一光侦测器或光侦测器像素阵列而实施(例如图29A及29B的一维或二维光侦测器阵列)。
在某些实施例中,第一传送光TL1及第二传送光TL2分别由光源112及光源114发射,其中光源112及光源114可使用雷射(例如VCSEL)或发光二极管(LED)。
在某些实施例中,光侦测器108可吸收具有第一波长(例如940nm)的第一入射光IL1,且光侦测器110可吸收具有第二波长(例如1350nm)的第二入射光IL2。传感器输出信号SO可为数字数据流,其可包括深度信息、校正信息、误差修正代码(ECC)信息、数值信息等等。第一入射光IL1可为受物体140所反射的第一传送光TL1的一部分。第二入射光IL2可为受物体140所反射的第二传送光TL2的一部分。在某些实施例中,光侦测器108中所使用的光吸收材料可为硅,且光侦测器110中所使用的光吸收材料可为锗或III-V族材料。在其他某些实施例中,光侦测器108与光侦测器110可使用相同的光吸收材料(例如锗或III-V族材料)。
由于第一波长的反射率及第二波长的反射率取决于物体140,光侦测器108所侦测的第一侦测信号的数值与光侦测器110所侦测的第二侦测信号的数值可能不同。在某些实施方式中,计算电路104可计算第一数值与第二数值的比率,做为计算结果ED。在某些实施例中,计算电路104可计算第一数值与第二数值的差值。由计算电路104所算出的计算结果ED可提供至调整电路106以执行进一步调整。
图3绘示感测装置300的实施例。其可利用单一光侦测器108于不同时序吸收第一入射光IL1及第二入射光IL2。例如,在第一时期t1-t2中,光侦测器108可吸收具有第一波长(例如940nm)的第一入射光IL1,且在第二时期t3-t4中,光侦测器108可吸收具有第二波长(例如1350nm)的第二入射光IL2。如此,单一光侦测器108可被设置为同时侦测第一入射光IL1与第二入射光IL2。
图4绘示感测装置400的实施例,其包括一第二光侦测单元190(例如硅基RGB摄影机)以产生二维影像,用于提升物体140辨识效果。其中第二光侦测单元190可包括一或多个二维光侦测器。基于此一架构,计算电路104可依据光侦测单元180取得信息及依据光侦测单元190取得信息。因此,感测装置400可处理更多信息以提升物体140的辨识。例如,由光侦测单元190所侦测而得的二维影像以及由光侦测单元180所侦测而得的第一入射光IL1及第二入射光IL2的信息可以输出为SO信号并提供至计算电路104。计算电路104在某些实施方式中可使用一或多个机器学习模型(例如AI)以对物体140进行侦测与分类。
在某些实施例中,当光侦测单元180仅使用单一光侦测器108时,光侦测器108可在不同时期吸收第一入射光IL1及第二入射光IL2。
图5绘示感测装置500的实施例。在本实施例中是以太阳502所发出的日光为传送光。如图5所示,日光包括具有第一波长(例如940nm)的第一传送光TL1及具有第二波长(例如1050nm)的第二传送光TL2,其可受物体140反射的后再为光侦测单元180所吸收。相较于上述实施例,在以日光为传送光TL1及TL2时,可选择性地省略发光单元160。同理,光侦测单元180可包括一或多个光侦测器以侦测第一传送光TL1及第二传送光TL2。在某些实施例中,感测装置500也可使用周遭光线做为传送光,其也由物体140反射而成为第一入射光IL1及第二入射光IL2。在第一入射光IL1及第二入射光IL2并非调制信号的实施例中,可将光侦测单元180做为近红外线(NIR)传感器或短波红外线(SWIR)传感器,以感应第一入射光IL1及第二入射光IL2的数值,使得感测装置500能够判定物体140材质或继续进行其他应用。
图6绘示感测装置600的实施例。在本实施例中,可加入光侦测单元190以产生二维影像,由此提升辨识效果。其中光侦测单元190可包括一或多个二维光侦测器。基于此一架构,计算电路104可依据光侦测单元180取得信息,并依据光侦测单元190取得信息。因此,感测装置600可处理更多信息,因而提升对于物体140的辨识。在第一入射光IL1及第二入射光IL2并非调制信号的实施中,可将光侦测单元180用为近红外线(NIR)传感器或短波红外线(SWIR)传感器,以感应第一入射光IL1及第二入射光IL2的数值,使得感测装置600能够判定物体140材质或继续进行其他应用。
就在此所述的任何实施例而言,在某些实施例中,第一传送光TL1及第二传送光TL2的调制频率可动态改变。例如,在第一时期t1-t2中,第一传送光TL1及第二传送光TL2的调制频率可为300MHz,在第二时期t3-t4中,第一传送光TL1及第二传送光TL2的调制频率可为50MHz。
在某些实施例中,可使用具有动态调制频率的单一光源112(例如不使用光源114)以发射第一传送光TL1及第二传送光TL2。
图7绘示感测装置700的实施例。在本实施例中,计算电路104可执行一或多种计算机视觉技术(例如物体辨识/分类、物体追踪等等)。例如,在某些实施方式中,计算电路104可包括一预计算单元1041、一第一AI建模单元1042、一第二AI建模单元1043及一预测单元1044。在某些实施例中,预计算单元1041可对传感器输出信号SO执行积分或微分计算,并向第一AI建模单元1042(例如第一机器学习模型)输出一预计算结果P01。换言之,预计算单元1041可取得不同波长的积分或微分信息,使得第一AI建模单元1042能够执行影像数据分析并输出一第一建模信号S01。在某些实施例中,可将积分或微分信息转换为频域(例如小波转换,wavelet transform)。此信息可为带有AI训练数据标签的数据种子(data seed)。此外,也可将传感器输出信号SO提供至第二AI建模单元1043(例如第二机器学习模型),使得第二AI建模单元1042能够执行影像数据分析并输出一第二建模信号S02。预测单元1044可设置为依据第一建模信号S01及/或第二建模信号S02而预测某些状态。例如,预测单元1044可预测物体140分类、物体140材质、感测装置700的用户行为及/或健康数据。最后,由预测单元1044所产生的预测结果可用为计算结果ED,输出至调整电路106。也可使用其他类型的机器学习模型及网络架构以类似方式对在此所述的二维及/或三维宽带传感器所取得的侦测信号进行分析。
依据本申请范例态样感测装置700的优点在于能够更准确执行物体140的计算机视觉分析。例如,在传统计算机视觉实施中,一或多个机器学习模型可对二维影像运用各种分割技术(例如边界框)感知环境中的物体140。同理,可利用三维数据,例如以ToF传感器(例如光达传感器)所取得的数据,识别并追踪三维空间中的物体140。然而,此种计算机视觉技术是基于物体形状(例如二维或三维空间中的分割边界)而对物体140进行分类与追踪,因此与其他物体具有相似形状的物体在此种计算机视觉技术上容易遭到错误分类。如此可能导致后续分析中产生对于物体140预期行为的错误推论。例如,在物体140不是静止时(例如行人)将之归类为固定物体类型(例如雕像),可能导致下游分析对于物体未来移动做出错误预测。
但依据本申请范例态样的感测装置能够在机器学习模型的输入数据中加入额外信息,例如表示材料类型的数据,由此提高计算机视觉分析的正确度。例如,传感器输出SO可包括由物体140所反射的各种波长(例如IL1、IL2)入射光。各种波长(例如IL1、IL2)入射光的反射率可表示物体140的材料类型。
例如,图8为感测装置800的宽带应用实施例。就在此所述任何实施例而言,感测装置800可为手机或其他任何具有行动通信机能的组件,其中感测装置800可操作于多种环境,例如放置在一表面上(例如桌面)或握持于手中。根据一范例,当手机(或其他组件800)放置于桌面时(例如物体140),物体140的材料类型可为木料类型。在此一环境下,具有第一波长(例如940nm)的第一传送光TL1在物体140上可具有第一反射率(例如90%),具有第二波长(例如1550nm)的第二传送光TL2可具有第二反射率(例如85%)。在此情况下,第一反射率及第二反射率较为接近,且光侦测器108侦测而得的第一侦测信号的第一数值与光侦测器110侦测而得的第二侦测信号的第二数值也较为接近。计算电路104可取得第一数值与第二数值间的计算结果ED。在一种实施例中,计算结果ED可为第一数值与第二数值的比率。据此,调整电路106可基于计算结果ED而对感测装置800执行调整(例如开/关无线射频/电源/显示单元/软件应用程序)。例如,当物体140的材料类型经判定为木料时,感测装置800可进入低功率模式。与此同时,或以为替代,运行于相关组件上的一或多种应用程序可据以调整并/或关闭,例如停止及/或关闭播放音乐的应用程序或社群媒体应用程序等等,此也有助于节省电力资源。
于另一范例中,当手机(或其他组件800)握持于手中时,物体140的材料类型可为皮肤(例如身体组织)。在此一环境下,具有第一波长(例如940nm)的第一传送光TL1在物体140上可具有第一反射率(例如80%),具有第二波长(例如1550nm)的第二传送光TL2可具有一第二反射率(例如50%)。在此情况下,第一反射率与第二反射率并非相对接近(在另一者的一阈值百分比内),且第一数值EN1与第二数值EN2也非相对接近。计算电路104可取得第一数值EN1与第二数值EN2的计算结果ED(例如比率)。在一实施例中,计算结果ED可为第一数值EN1及第二数值EN2。在侦测到皮肤(或其他类型材料)时,调整电路106可基于计算结果ED而对感测装置800执行调整(例如开/关无线射频/电源/显示单元/软件应用程序)。例如可基于皮肤侦测而为用户开启用于取得影像数据(例如指纹侦测或验证)的软件应用程序。与此同时,或以为替代,可基于皮肤侦测开启或关闭一或多个其他应用程序(例如密码输入提示、音乐应用程序)。如此一来,即可利用感测装置800所侦测到的物体140材质类型判定调整电路106应执行何种调整。其他类型的调整可以类似方式执行。
因此,应知当感测装置800用于不同环境时(例如用于不同材料类型物体时),计算电路104所产生的计算结果ED也将不同。因此,调整电路106是用于执行感测装置800的调整(例如开/关无线射频/电源/显示单元)。例如,当感测装置800放置于桌面时,感测装置800可操作于低耗电模式、开启或关闭应用程序等等。反之,当感测装置800握在手中时,感测装置800可操作于一般电源模式、开启或关闭应用程序等等。利用此方案,可在例如因应侦测到不同材料类型的物体时,动态调整感测装置800的耗电量。
应知调整电路106配置为调整电源仅为一种范例。调整电路106可基于设计要求而继续进行其他操作(例如调整屏幕亮度、解锁屏幕及存取权限等等)。
根据另一范例,图9绘示感测装置900的宽带应用实施例。在此范例中,感测装置900可为健康/医疗组件,其中光源112及光源114分别对物体140发射具有第一波长(例如940nm)的第一传送光TL1及具有第二波长(例如1350nm)的第二传送光TL2。例如,物体140可为皮肤(例如身体组织)。由于多数第二传送光TL2会受含水材料所吸收,但多数第一传送光TL1会被反射,因此计算电路104可基于光侦测器108及光侦测器110所侦测的第一入射光IL1及第二入射光IL2而计算血糖值。以此方式可判定物体的一或多种特性(例如身体组织的血糖值)。再者,于判定此一特性后,例如在取得血糖值后,可经由调整电路106将数值出示(例如显示)于面板/屏幕上。
在另一范例中,可于侦测到特定材料时启动一或多项功能或启动医疗组件的输出。例如,可通过类似在此所述方式,基于光侦测器108及光侦测器110所侦测的第一入射光IL1及第二入射光IL2而判定物体的一或多种特性(例如皮肤瑕疵、人体的牛皮癣块)。随后可基于侦测而得的特性,启用医疗组件的功能(例如雷射、诊断工具),以处理物体的特定部分(例如对患病皮肤施以雷射治疗)。
除手机及健康/医疗组件之外,本申请的感测装置也可实施为其他组件,例如穿戴式手表、钥匙圈、耳机、携带型计算机、运动摄影机、无人机、车辆操作系统及/或其他任何包括一或多个宽带传感器的组件。例如,在自动驾驶车辆的实施情境中,宽带感测装置可通过例如车辆操作系统,达成更准确的物体分类及预测。例如,宽带传感器102的传感器输出信号SO可包括各种数据,例如来自二维光侦测器(例如摄影机)及/或三维光侦测器(例如ToF传感器、iToF传感器、结构式光传感器等等)的影像数据,其可包括各种波长的入射光(例如IL1、IL2)。在某些实施方式中,传感器输出信号SO可提供至一或多个机器学习模型,其可利用传感器输出信号SO中的数据而更准确分类物体140,并预测物体140轨迹。根据一范例,各种波长入射光的反射率可表示物体140的材料类型,此信息可用于判定物体140的分类。如在此所述,不同波长入射光的反射率可表示应将一人形物体140分类为雕像(例如由石材、金属、木料所构成的物体)或行人(例如由皮肤或其他身体组织、布料、衣物等等所构成的物体)。车辆操作系统可运用此一方式,判定物体140是否可能保持固定不动或在环境中移动,进而对物体140进行更准确的轨迹预测分析。再者,可利用轨迹预测分析判定车辆的动作规划,其可由车辆控制器(例如调整电路106)实施。
依据本申请范例态样的感测装置也可提供更高沉浸度的扩增实境(AR)及虚拟现实(VR)体验。例如,个人操作装置(例如手机)可包括一或多个宽带传感器102,用以侦测使用者环境中的各种物体140。如在此所述,宽带传感器102可向计算电路104提供一传感器输出SO,计算电路104在某些实施方式中可包括一或多个机器学习模型(例如AI建模单元)。传感器输出SO可包括各种波长的反射率数据,因而计算电路104可据此判定用户所在环境中物体140的个别材料类型。再者,计算电路104可至少部分基于AR/VR环境中物体140的材料类型而判定用户与物体140的一或多种可能互动方式。例如,因应使用者互动,由柔软材料(例如可挠性塑料、橡胶等等)构成的物体140可弯曲、伸长等等;由脆弱材料(例如玻璃、陶瓷等等)构成的物体140可能断裂或毁坏;且/或由坚硬材料(例如金属、木材等等)构成的物体可能变形、塌陷、裂开等等。例如,计算电路104可因应用户互动,至少部分基于物体140的材料类型而决定扩大与一物体140的AR/VR体验为计算结果ED,且调整电路106可基于此计算结果ED而对使用者呈现扩大的AR/VR体验。
依据本申请范例态样的装置(例如手机)也可提供光学光谱分析。例如,个人操作装置(例如手机)可包括一或多个宽带传感器102,用以侦测各种物体140,例如食物(例如水果)。如在此所述,宽带传感器102可向计算电路104提供传感器输出SO,而计算电路104在某些实施方式中可包括一或多个硬件或软件处理能力。传感器输出SO可包括各种波长的反射率数据,计算电路104可据此判定物体140的个别特性(例如一片水果的水分含量、碳水化合物及糖量、蛋白质含量及/或脂肪含量)。而后调整电路106可利用物体140特性以判定食物真伪。例如,调整电路106可将测得的水果糖量与参考值比对,若糖含量差异超过一阈值,则调整电路106可判定水果为伪造物。
现参照图15至图28,其显示一传感器102的数种封装实施方式及/或其组件。虽然图15至28的封装实施及/或其组件描绘特定实施方式,但可采用、重新安排、扩大、省略及/或结合各种封装实施态样而产生更多封装实施方式。图15-28的传感器102封装实施及/或其组件可用于如在此所述的感测装置100。
例如,图15为依据本申请范例态样的范例传感器102方块图。如图所示,传感器102可包括一发光单元160、一光侦测单元180(例如三维光侦测单元)及一控制器203。
发光单元160可包括一或多个光源。例如,发光单元160可包括一第一光源112及一第二光源114。在某些实施方式中,第一光源112及第二光源114可实施于分离芯片上,但在其他实施方式中,光源112与光源114可实施于于单一芯片上。在某些实施方式中,单一光源112可被包含于发光单元160中。光源112/114可为,例如,雷射(例如VCSEL)或发光二极管(LED),如在此所公开的。
在某些实施方式中,控制器203(例如模拟或数字电路系统,或一或多个处理器)可配置为产生一第一控制信号CS1及一第二控制信号CS2,用以控制(例如驱动)由光源112/114所发射的光线。在某些实施方式中,第一光源112可配置为于第一波长发射第一传送光,且第二光源114可于第二波长发射第二传送光。在某些实施方式中,单一光源112可配置为于第一波长发射第一传送光并于第二波长发射第二传送光。
在某些实施方式中,光侦测单元180可包括一第一光侦测器108及一第二光侦测器110。在某些实施方式中,第一光侦测器108及第二光侦测器110可实施于分离芯片上,但在其他实施方式中,光侦测器108/110可实施于单一芯片上。光侦测器108/110可配置为将侦测信号DS1及DS2提供至控制器203。例如,光侦测器108/110吸收入射光IL1及IL2(例如由物体140所反射的传送光TL1及TL2)后,即产生侦测信号DS1及DS2。在某些实施方式中,第一入射光IL1及第二入射光IL2都可由单一光侦测器108所吸收,如在此所公开的。在某些实施方式中,光侦测器108/110可包括,例如,硅、锗及/或III-V族材料。
控制器203可被配置于输出传感器输出信号SO。例如,在某些实施方式中,传感器输出SO可包括入射光IL1及IL2的个别数值EN1及EN2,如在此所公开的。
现参照图16,此为依据本申请范例态样一范例传感器102的方块图。传感器102可为例如本文任一附图中所描绘的传感器102。
如图所示,传感器102包括一用以实施发光单元(例如光源112/114)的第一芯片401、一用以实施光侦测单元(例如光侦测器108/110)的第二芯片402及一用以实施控制器203的第三芯片403。如图所示,每一芯片401、402及403为分离芯片,经耦接而成为传感器102。如图所示,光源112是经由接合线W1而耦接至控制器203,光源114是经由接合线W2而耦接至控制器203,光侦测器108是经由接合线W3而耦接至控制器203,且光侦测器110是经由接合线W4而耦接至控制器203。在某些实施方式中,各光源112/114及各光侦测器108/110可分别实施于分离芯片上。再者,如图所示,在某些实施方式中,每一芯片401、402及403可实施于一共同平面。
现参照图17,此为依据本申请范例态样一范例传感器102的方块图。传感器102可为例如本文任一附图中所描绘的传感器102。如图所示,第一光源112实施于第一芯片401,第一光侦测器108实施于第二芯片402,控制器203实施于第三芯片403,第二光源114实施于第四芯片404,且第二光侦测器110实施于第五芯片405。因此,如图所示,传感器102是实施于一五芯片架构,其中各光源112/114及各光侦测器108/110是各自实施于分离芯片上。在某些实施方式中,光源112/114可结合于单一芯片401中(例如如图16所示),且光侦测器108/110可结合于单一芯片402中(例如如图16所示)。再者,如图所示,光源112/114及光侦测器108/110是经由接合线W1、W2、W3及W4而分别打线接合于控制器203。图17进一步描绘一传感器102的堆叠架构实施,其中芯片401、402、404及405堆叠于芯片403上。芯片401、402、404及/或405可利用任何适合的方法而耦接至芯片403,例如环氧化物、机械式固定法等等。相较于图16所示的将所有芯片401、402、403(及/或404、405)设置于一共同平面,图17的堆叠架构可减少封装的空间要求(例如减少封装开销/整体面积)。
现参照图18,此为依据本申请范例态样一范例传感器102的方块图。传感器102可为例如本文任一附图中所描绘的传感器102。如图所示,传感器102可包括一用以实施发光单元160(例如光源112/114)的第一芯片401,一用以实施光侦测单元(例如光侦测器108/110)的第二芯片402,及一用以实施控制器203的第三芯片403。如图所示,每一芯片401、402及403为分离芯片,经相互耦接而形成传感器102。如图所示,第一芯片401及第二芯片402是使用倒装接合方式而耦接于第三芯片403。如图所示,焊块B1及B2使光源112/114能够分别耦接至控制器203,且焊块B3及B4使光侦测器108/110能够耦接至控制器203。在某些实施方式中,各光源112/114及各光侦测器108/110可分别实施于分离芯片上(例如401、402、404、405),其可分别经由焊块B1-B4而倒装接合于实施控制器203的芯片403。相较于图16所示的将所有芯片401、402、403(及/或404、405)设置于一共同平面,利用倒装接合实施传感器102也可减少封装的空间要求(例如减少封装开销/整体面积)。再者,由于倒装接合可省去图17的打线连接W1-W4,因与打线接合及堆叠架构相较的下,倒装接合实施的封装空间要求可更为降低。
现参照图19,此为依据本申请范例态样一范例传感器102的方块图。传感器102可为例如本文任一附图中所描绘的传感器102。如图所示,传感器102可包括一用以实施发光单元160(例如光源112/114)的第一芯片401,一用以实施光侦测单元(例如光侦测器108/110)的第二芯片402,及一用以实施控制器203的第三芯片403。如图所示,每一芯片401、402及403为分离芯片,经相互耦接而形成传感器102。如图所示,第一芯片401是使用接合线W1及/或W2而打线接合于第三芯片403,第二芯片402是堆叠于第三芯片403上并使用接合线W3及/或W4接合。在某些实施方式中,各光源112/114及各光侦测器108/110可分别实施于分离芯片上(例如401、402、404、405),其可各自堆叠并/或接合于实施控制器203的第三芯片403。相较于图16所示的将所有芯片401、402、403(及/或404、405)设置于一共同平面,采用图19的堆叠架构可减少封装的空间要求(例如减少封装开销/整体面积)。
现参照图20,此为依据本申请范例态样一范例传感器102的方块图。传感器102可为例如本文任一附图中所描绘的传感器102。如图所示,传感器102可包括一用以实施第一光源112的第一芯片401、一用以实施第一光侦测器108的第二芯片402、一用以实施控制器203的第三芯片403、一用以实施第二光源114的第四芯片404及一用以实施第二光侦测器110的第五芯片405。因此,如图所示,传感器102是实施于一五芯片架构,其中各光源112/114及各光侦测器108/110分别实施于分离芯片上。在某些实施方式中,光源112/114可结合于单一芯片401(例如如图16所示),且光侦测器108/110可结合于单一芯片402(例如如图16所示)。如图所示,用以实施第一光源112的第一芯片401是经由接合线W1而打线接合于第三芯片403,用以实施第二光源114的第四芯片404是经由接合线W2而打线接合于第三芯片403,用以实施光侦测器108的第二芯片402是经由焊球B3而倒装接合于第三芯片403,且用以实施光侦测器110的第五芯片405是经由焊球B4而倒装接合于第三芯片403。相较于图16所示的将所有芯片401、402、403(及/或404、405)设置于一共同平面,采用图20的堆叠架构可减少封装的空间要求(例如减少封装开销/整体面积)。
现参照图21,此为依据本申请范例态样的范例传感器102方块图。传感器102可为例如本文任一附图中所描绘的传感器102。如图所示,传感器102可包括一用以实施发光单元160(例如光源112/114)的第一芯片401、一用以实施光侦测单元(例如光侦测器108/110)的第二芯片402及一用以实施控制器203的第三芯片403。如图所示,每一芯片401、402及403为分离芯片,经相互耦接而形成传感器102。如图所示,第一芯片401是使用接合线W1及/或W2而打线接合于第三芯片403,第二芯片402则是使用导孔601、602、603及/或604而晶圆接合于第三芯片403。例如,导孔601-604可为第二芯片402与第三芯片403间的互连。再者,导孔460可使接合线W1及/或W2将第一芯片401连接至第三芯片403。在某些实施方式中,各光源112/114及各光侦测器108/110可分别实施于分离芯片上(例如401、402、404、405),其可分别堆叠及/或接合于用以实施控制器203的第三芯片403。于各种实施方式中,可使用不同的晶圆接合技术,例如直接接合、表面活化接合、电浆活化接合、阳极接合、共熔合金接合、玻璃熔块接合、黏贴接合、热压缩接合、反应性接合、瞬时液相扩散接合及/或其他晶圆接合技术。相较于图16所示的将所有芯片401、402、403(及/或404、405)设置于一共同平面,采用图21的晶圆接合架构可减少封装的空间要求(例如减少封装开销/整体面积)。
现参照图22,此为依据本申请范例态样一范例传感器102的方块图。传感器102可为例如本文任一附图中所描绘的传感器102。如图所示,传感器102可包括一用以实施发光单元160(例如光源112/114)的第一芯片401、一用以实施光侦测单元(例如光侦测器108/110)的第二芯片402及一用以实施控制器203的第三芯片403。如图所示,每一芯片401、402及403为分离芯片,经相互耦接而形成传感器102。如图所示,第一芯片401是利用导孔605及/或606而晶圆接合于第二芯片402。导孔460、导孔601及/或导孔602可使第一芯片401耦接至实施控制器203的第三芯片403。再者,第二芯片402可利用导孔603及/或604而晶圆接合于第三芯片403。在某些实施方式中,各光源112/114及各光侦测器108/110可分别实施于分离芯片上(例如401、402、404、405),其可分别堆叠并/或晶圆接合于用以实施控制器203的第三芯片403。相较于图16所示的将所有芯片401、402、403(及/或404、405)设置于一共同平面,采用图22的晶圆接合架构可减少封装的空间要求(例如减少封装开销/整体面积)。
现参照图23,此为依据本申请范例态样一范例传感器102的方块图。传感器102可为例如本文任一附图中所描绘的传感器102。如图所示,传感器102可包括一用以实施发光单元160(例如光源112/114)的第一芯片401、一用以实施光侦测单元(例如光侦测器108/110)的第二芯片402及一用以实施控制器203的第三芯片403。如图所示,每一芯片401、402及403为分离芯片,经相互耦接而形成传感器102。如图所示,第一芯片401是利用焊球B1及B2而倒装接合于第二芯片402。导孔460、导孔601及/或导孔602可使第一芯片401能够耦接至用以实施控制器203的第三芯片403。进一步,第二芯片402可利用导孔603及/或604而晶圆接合于第三芯片403。在某些实施方式中,各光源112/114及各光侦测器108/110可分别实施于分离芯片上(例如401、402、404、405),其可分别堆叠并/或晶圆接合于实施控制器203的第三芯片403。相较于图16所示的将所有芯片401、402、403(及/或404、405)设置于一共同平面,采用图23的倒装及晶圆接合架构可减少封装的空间要求(例如减少封装开销/整体面积)。
现参照图24,此为依据本申请范例态样一范例传感器102的方块图。传感器102可为例如本文任一附图中所描绘的传感器102。如图所示,传感器102可包括用以实施发光单元160(例如光源112/114)、光侦测单元(例如光侦测器108/110)及控制器203的单一芯片2401(例如共享芯片、整体式芯片等等)。例如,在制造过程中,每一发光单元(例如光源112/114)、光侦测单元(例如光侦测器108/110)及控制器203可制造于单一芯片上。相较于图16所示的将所有芯片401、402、403(及/或404、405)设置于一共同平面,采用图24的整体式架构可减少封装的空间要求(例如减少封装开销/整体面积)。
现参照图25,此为依据本申请范例态样一范例传感器102的方块图。传感器102可为例如本文任一附图中所描绘的传感器102。如图所示,传感器102可包括一用以实施光侦测单元(例如光侦测器108/110)及控制器203的第一芯片2501。例如,在制造过程中,光侦测单元(例如光侦测器108/110)及控制器203可制造于芯片2501上。再者,一第二芯片2502可用以实施发光单元(例如光源112/114)。如图所示,第二芯片2502可堆叠于第一芯片2501上,且第二芯片2502可使用接合线W1及/或W2耦接至第一芯片2501。相较于图16所示的将所有芯片401、402、403(及/或404、405)设置于一共同平面,采用图25的堆叠及整体式架构的组合可减少封装的空间要求(例如减少封装开销/整体面积)。在某些实施方式中,可采用类似架构,包括将光侦测器108/110实施于第二芯片2502,且将光源112/114实施于第一芯片2501。
现参照图26,此为依据本申请范例态样一范例传感器102的方块图。传感器102可为例如本文任一附图中所描绘的传感器102。如图所示,传感器102可包括实施光侦测单元(例如光侦测器108/110)及控制器203的一第一芯片2601。例如,在制造过程中,光侦测单元(例如光侦测器108/110)及控制器203可制造于芯片2601上。再者,一第二芯片2602可用以实施发光单元(例如光源112/114)。如图所示,第二芯片2602可通过焊球B1及/或B2而倒装接合于第一芯片2601。相较于图16所示的将所有芯片401、402、403(及/或404、405)设置于一共同平面,采用图26的倒装及整体式架构的组合可减少封装的空间要求(例如减少封装开销/整体面积)。在某些实施方式中,可采用类似架构,包括将光侦测器108/110实施于第二芯片2602,且将光源112/114实施于第一芯片2601。
现参照图27,其中所描绘者为范例光侦测电路202。如图所示,光侦测电路202可包括一第一光侦测器108及一第二光侦测器110。在某些实施方式中,单一光侦测器108/110可实施于一光侦测电路202中。
如图所示,第一光侦测器108可使用硅,且第二光侦测器110可使用锗,以分别吸收第一入射光IL1及第二入射光IL2。如在此所述,第一入射光IL1与第二入射光IL2可为不同波长。再者,如图所示,硅与锗光侦测器108/110可整合于并形成在一共享基板2701上,例如硅。于其他实施方式中,光侦测器108/110都可使用其他材料实施,例如光侦测器108/110都使用锗或其他III-V族材料。在某些实施方式中,用以实施光侦测器108/110的硅、锗及/或III-V族材料可为部分凹入、完全凹入并/或嵌入于硅基板2701。相较于分别制造光侦测器108/110,采用图27的光侦测器202可缩减光侦测电路202的整体面积并节省制造成本。
现参照图28,此为范例光源112/114的剖视图。光源112/114可为例如用本文任一图所示的光源112/114。如图所示,光源112/114可包括一硅基板2801、一N+III-V材料接触层2802(例如N+砷化镓(GaAs))、一N-III-V材料包覆层2803(例如N-砷化铝镓(AlGaAs))、一量子点(QD)材料层2804(例如InGaAs(砷化铟镓))、一P-III-V材料包覆层2805(例如P-AlGaAs)及一P+III-V材料接触层2806(例如P+AlGaAs)。
现参照图29A,图中所描绘者为一维光侦测器阵列2900A。一维光侦测器阵列2900A包括一基板2902(例如硅基板)及N个设置为一维阵列的光侦测器2904(例如锗光侦测器),其中N可为任何正整数。一维光侦测器阵列2900A可用于实施,例如,参照图2所描述的第一光侦测器108或第二光侦测器110。在其他某些实施方式中,一维光侦测器阵列2900A可分为多个部分以同时包含第一光侦测器108及第二光侦测器110。
图29B描绘一种二维光侦测器阵列2900B。二维光侦测器阵列2900B包括一基板2902(例如硅基板)及M×N个设置为二维阵列的光侦测器2904(例如锗光侦测器),其中M及N可为任何正整数。二维光侦测器阵列2900B可用于实施,例如,参照图2所描述的第一光侦测器108或第二光侦测器110。在其他某些实施方式中,二维光侦测器阵列2900B可分为多个部分以同时包含第一光侦测器108及第二光侦测器110。
图30描绘一种前侧入射(front-side-incident,FSI)光侦测器阵列3000。FSI光侦测器阵列3000可为一维阵列(如图29A所示)或二维阵列(如图29B所示)。FSI光侦测器阵列3000包括一基板3002(例如硅基板)及N个光侦测器3004(例如锗光侦测器)。FSI光侦测器阵列3000进一步包括N个光学过滤器3006,各对应于N个光侦测器3004中的一者。在某些实施方式中,N个光学过滤器3006各为一带通过滤器,可允许波长(例如λ1)在对应波长范围内的入射光通过,并阻挡波长(例如λ2)在对应波长范围外的光线。光学过滤器3006的实施可采用吸收材料,或多层涂层,或面内周期/非周期光栅。根据一范例,带通过滤器3006A、3006B、3006C、…及3006N可分别允许一波长为λ1、λ2、λ3,…及λN的光线通过。包括波长λ1至λN的宽带光入设至FSI光侦测器阵列3000,而后带通过滤器3006A、3006B、3006C、…及3006N可过滤此宽带光,使得每一传感器3004A、3004B、3004C及3004N分别接收波长为λ1、λ2、λ3及λN的光线。于不同波长所测得的信号可例如供光学光谱分析使用。
现参照图31,其中所描绘者为FSI光侦测器阵列3100。FSI光侦测器阵列3100类似于FSI光侦测器阵列3000,且进一步包括微透镜阵列3108,用于将入射光导向(例如聚焦至)光侦测器3104。微透镜阵列3108可使用硅、氧化物、聚合物或其他任何适合的材料制成。FSI光侦测器阵列3100可包括一分隔件3110,藉以在形成微透镜阵列3108之前,于过滤器3106上方先形成一平坦表面。
图32描绘一种背侧入射(BSI)光侦测器阵列3200。BSI光侦测器阵列3200可为一维阵列(如图29A所示)或二维阵列(如图29B所示)。BSI光侦测器阵列3200包括一基板3202(例如硅基板)及N个光侦测器3204(例如锗光侦测器)。BSI光侦测器阵列3200进一步包括N个光学过滤器3206,其形成于基板3202背侧以各自对应于N个光侦测器3204之一。在某些实施方式中,每一N光学过滤器3206是一带通过滤器,其可允许波长(例如λ1)在一对应波长范围内的入射光通过,并阻挡波长(例如λ2)在对应波长范围外的光线。光学过滤器3206的实施可采用吸收材料,或多层涂层,或面内周期/非周期光栅。根据一范例,带通过滤器3206A、3206B、3206C、…及3206N可允许波长分别为λ1、λ2、λ3、…及λN的光线通过。包括波长λ1至λN的宽带光可入设至BSI光侦测器阵列3200,而后带通过滤器3206A、3206B、3206C、…及3206N可过滤此宽带光,使得每一传感器3204A、3204B、3204C及3204N接收波长分别为λ1、λ2、λ3及λN的光线。于不同波长所测得的信号可例如供光学光谱分析使用。
图33描绘一BSI光侦测器阵列3300。BSI光侦测器阵列3300类似于BSI光侦测器阵列3200,并进一步包括微透镜阵列3308,用以将入射光导向(例如聚焦于)光侦测器3304。微透镜阵列3308可使用硅、氧化物、聚合物或其他任何适合的材料制成。BSI光侦测器阵列3300可包括一分隔件3210,藉以在形成微透镜阵列3308之前,于过滤器3206上方先形成一平坦表面。
现参照图10,此为一范例宽带传感器1000的方块图。宽带传感器1000可为,例如,一iToF传感器。如图所示,宽带传感器1000可包括一稳压器1005、一温度传感器1010、一I2C(Inter-Integrated Circuit)控制器1015、一PLL(Phase Locked Loop)1020、一时序产生器1025、调制1030、一可编程延迟1035、一像素阵列1040、一读出1045、一ADC1050、一信号处理器1055、一内存1060及一输出接口1065。
稳压器1005可调节宽带传感器1000的电压。例如,在某些实施方式中,宽带传感器1000可使用例如VDDH(例如>2.7V)及VDDL(例如约1.8V)两种电压域。温度传感器1010可用于宽带传感器1000的校正深度及电源控制。I2C(积体总线电路)控制器1015可实现宽带传感器1000组件间的信号通信。I2C控制信号可提供时钟同步等等。PLL(锁相回路)1020可接收参考时钟信号,并可产生一或多个与参考时钟相位有关的输出信号。例如,在某些实施方式中,PLL可产生四相系统时钟,供调制1030及解调制之用。在某些实施方式中,调制频率可在10与500MHz之间。时序产生器1025可因应预设整合时间及不同操作模式之需而管制并调节来自PLL的时钟信号。在某些实施方式中,可于照明驱动器路径添加可编程延迟1035。而后可由像素阵列1040接收反射光(例如IL1、IL2等等)。在某些实施方式中,像素阵列可为240x180像素阵列。于其他实施方式中,也可使用其他适合的像素分辨率。读出1045可桥接像素阵列1040与模拟到数字转换器(ADC)1050。在某些实施方式中,读出1045可包括多个取样保持电路及缓冲器。在某些实施方式中,像素阵列1040中的每一像素可读出两次以减少噪声。在某些实施方式中,ADC 1050可具有SAR架构。ADC的输出可经信号处理器1055及内存1060进一步处理后再提供至输出接口1065。而后输出接口1065可提供传感器输出(SO),例如经由一MIPI接口。
在某些实施方式中,像素阵列1040可实施于一硅上锗(Ge-on-Si)平台,以利改善吸收效率并提升调制速度。图11显示适合用于硅上锗平台中像素阵列1040的范例像素区域截面及范例时钟信号。图11的范例像素阵列采用硅上锗架构,以利吸收NIR及SWIR范围中的波长。如此可达成较佳的信噪比(SNR),同时保持在最大容许暴露限制(MPE)内,例如,通过启用增加功率的光源来实现。作为范例,如图11所示,顶部晶圆(例如硅上锗(Ge-on-Si)平台)可通过晶圆接合界面和/或穿孔VIA以及金属MTL与底部晶圆(例如硅)接合。时钟信号CLKP、CLKN可分别施加于解调制区DEMOD1、DEMOD2。读出(例如1045)与读出区FD1耦接,且包含控制晶体管Msh1、重置晶体管Mrt1、电容C1、源极随耦器Msf1以及列选择晶体管Mbt1。此外,控制信号SH操控控制晶体管Msh1、控制信号RST操控重置晶体管Mrt1、控制信号BS操控列选择晶体管Mbt1。类似地,读出(例如1045)与读出区FD2耦接,且包含控制晶体管Msh2、重置晶体管Mrt2、电容C2、源极随耦器Msf2以及列选择晶体管Mbt2。
现参照图12,其所描绘者为依据本申请范例态样的范例方法1200。方法1200的一或多个部分可通过一操作系统实现,操作系统包括其一或多个操作组件及/或组件,例如参照其他图面所述的操作系统(例如感测装置100-900;宽带传感器及其部分1000、1100;操作系统1300、1400等等)。方法1200的每一个别部分可由一或多个操作组件、感测装置及/或宽带传感器或其部分的任一者(或任何组合)加以执行。此外,方法1200的一或多个部分可实施为在此所述组件上硬件组件的算法。图12描绘以特定顺序执行的步骤,以供说明及讨论之用。本领域技术人员将可通过在此公开的内容理解,在此所讨论任一种方法的步骤均可以各种方式调整、重新安排、扩大、省略、结合并/或修改,而不脱离本申请的范畴。图12的解说参照关于其他系统及图式而描述的步骤/项目以供说明之用,非属限制性质。方法1200的一或多个部分可额外或改为由其他系统执行。
于步骤1202中,方法1200可包括发射具有第一波长的第一传送光。例如,在某些实施方式中,一光源(例如VCSEL雷射、LED等等)可传送第一传送光TL1。在某些实施方式中,第一波长可为,例如,小于一阈值波长(例如<1050nm)。
于步骤1204中,方法1200可包括发射具有第二波长的第二传送光。例如,在某些实施方式中,一光源(例如VCSEL雷射、LED等等)可传送第二传送光TL2。在某些实施方式中,第二波长可为,例如,大于一阈值波长(例如>1050nm)。在某些实施方式中,此光源可与发射第一传送光TL1的光源为同一者,但在其他实施方式中,两者可为分离光源。在某些实施方式中,第一波长与第二波长可为不同波长(例如850nm、905nm、940nm、1050nm、1064nm、1310nm、1350nm、1400nm、1550nm等等)。
于步骤1206中,方法1200可包括吸收具有第一波长的第一入射光以产生第一侦测信号。例如,在某些实施方式中,光侦测单元可在第一传送光TL1照射于物体时,吸收经物体反射的入射光IL1。在某些实施方式中,光侦测单元可为二维或三维光侦测单元。在某些实施方式中,入射光IL1可为由分离光源(例如日光、周遭光线等等)发出的反射光。
于步骤1208中,方法1200可包括吸收具有第二波长的第二入射光以产生第二侦测信号。例如,在某些实施方式中,光侦测单元可在第二传送光TL2照射于物体时,吸收经物体反射的入射光IL2。在某些实施方式中,光侦测单元可为二维或三维光侦测单元。在某些实施方式中,具有第二波长的第二入射光可与吸收第一入射光的光侦测单元相同,但于其他实施方式中,可利用分离光侦测单元侦测第二入射光。在某些实施方式中,入射光IL2可为由分离光源(例如日光、周遭光线等等)发出的反射光。
于步骤1210中,方法1200可包括依据第一侦测信号及第二侦测信号而判定一计算结果。例如,在某些实施方式中,一计算电路可计算第一侦测信号第一数值与第二侦测信号第二数值间的比率。
在某些实施方式中,依据第一侦测信号及第二侦测信号而判定计算结果可包括执行积分或微分计算以输出一预计算结果(例如步骤1212)。例如,在某些实施方式中,一预计算单元可取得不同波长的积分或微分信息,使得一或多个机器学习模型(例如AI建模单元)能够执行影像分析。在某些实施方式中,积分或微分信息可经转换为频域(例如小波转换)。在某些实施方式中,预计算结果可用为训练数据种子,如于本文中详述者。
于步骤1214中,方法1200可包括由一AI建模单元执行影像数据分析,以输出一建模信号。例如,在某些实施方式中,传感器输出信号SO可交由一或多个机器学习模型(例如一第二AI建模单元)据以执行影像数据分析,因而输出一建模信号。
于步骤1216中,方法1200可包括预测一物体的状态为计算结果。例如,在某些实施方式中,预测单元可预测物体分类、物体材质、感测装置的用户行为、健康数据及/或其他如在此所述的预测信息。
于步骤1218中,方法1200可包括依据计算结果而判定一输出,以对一组件的一或多项机能执行调整。例如,在各种实施中,调整可包括改变装置的操作模式(例如低功率模式、正常功率模式、显示器开/关等等)、显示信息(例如健康状态数据等等)、调处AR/VR环境(例如物体调处)、执行任务(例如实施动作规划、解锁支付确认、导航、工业制造、开启/关闭应用程序等等)及/或执行其他调整,如在此所述者。
于步骤1220中,方法1200可包括对一组件实施调整。例如,各种控制电路(例如控制器、显示器等等)可配置为对组件执行调整。
图13依据本申请范例实施方式,描绘一范例系统1300,其包含各种执行操作及功能的装置。所述各种装置可执行本申请的方法及程序。例如,一操作系统1300可包括发光单元1302、光侦测单元1304、计算单元1306、预计算单元1308、AI建模单元1310、预测单元1312、影像分析单元1314、材料判定单元1316、调整单元1318、实施单元1320及/或其他用以执行在此所述操作及功能的装置。在某些实施方式中,上述单元中的一或多者可分离实施。在某些实施方式中,一或多个单元可为一或多个其他单元的一部分或包含于其中。此等装置可包括处理器、微处理器、图形处理单元、逻辑电路、专属电路、应用特定集成电路、可编程阵列逻辑、现场可编程门阵列(field-programmable gate array)、控制器、微控制器及/或其他适合的硬件。装置也可,或改为,包括以处理器或逻辑电路系统而实现的软件控制装置,例如。装置可包括内存,或能够以其他方式存取内存,内存例如为一或多个非瞬时计算机可读储存媒体,例如随机存取内存、只读存储器、电子抹除式可编程只读存储器、抹除式可编程只读存储器、快闪/其他内存组件、数据缓存器、数据库及/或其他适合的硬件。
装置经编程以执行一或多种算法,用以实现在此所述的操作及功能。例如,装置(例如发光单元1302等等)可配置为发射光线,例如各种波长的光线。在某些实施方式中,发光单元1302可包括雷射(例如VCSEL)、发光二极管(LEDS)及/或其他类型的发光单元1302。在某些实施方式中,发光单元1302可发射(例如传送)一调制光、一延迟光及/或其他类型的光线,如在此所述者。
装置(例如光侦测单元1304)可配置为侦测光,例如各种波长入射光(例如反射光)。在某些实施方式中,光侦测单元1304可为二维及/或三维光侦测单元1304。在某些实施方式中,光侦测单元可为NIR或SWIR光侦测单元,能够吸收大于一阈值波长(例如1050nm)的光线。在某些实施方式中,光侦测单元可包括锗或一III-V族。在某些实施方式中,光侦测单元1304可配置为侦测一反射光,例如经反射的传送光、经反射的日光、经反射的周遭光线及/或其他类型的光线,如在此所述者。
装置(例如计算单元1306)可配置为基于一传感器输出SO判定一计算结果ED。例如,可由光侦测单元1304吸收入射光,而后将传感器输出SO提供至计算单元1306。
装置(例如预计算单元1308)可配置为依据第一侦测信号及第二侦测信号而判定一预计算结果P01。例如,在某些实施方式中,预计算单元1308可对传感器输出信号SO执行积分或微分计算,并向一或多个机器学习模型(例如AI建模单元)输出预计算结果P01。在某些实施方式中,所述积分或微分信息可转换为频域(例如小波转换)。
装置(例如AI建模单元1310)可执行影像数据分析并输出建模信号S01、S02等等。例如,在某些实施方式中,AI建模单元1310可执行一或多项计算机视觉分析,如在此所述者。
装置(例如预测单元1312)可基于来自其他装置(例如预计算单元1308及/或AI建模单元1310)的建模信号而预测一物体的特定状态。例如,在各种实施中,预测单元1312可预测物体分类及物体材料、用户行为、健康数据、物体轨迹、AR/VR互动及/或如在此所述的其他特性。
装置(例如影像分析单元1314)可分析影像数据,例如来自二维或三维光侦测单元1304的传感器输出数据。在某些实施方式中,影像分析单元1314可实施为计算单元1306、AI建模单元1310、预测单元1312、材料判定单元1316及/或其他装置中的一部分。在某些实施方式中,影像分析单元1314可为一或多个机器学习模型。
装置(例如材料判定单元1316)可配置为判定物体的材料类型。例如,在某些实施方式中,材料判定单元1316可接受训练,以基于各种波长入射光的反射数值而判定物体的材料类型。在某些实施方式中,材料判定单元1316可实施于为计算单元1306、AI建模单元1310、预测单元1312、影像分析单元1314及/或其他装置中的一部分。在某些实施方式中,材料判定单元1316可为一或多个机器学习模型。
装置(例如调整单元1318)可配置为基于一计算结果而判定一调整。例如,在各种实施中,调整可包括调整感测装置的一或多项机能,例如一操作模式、一显示模式或信息状态、一互动、一动作及/或如在此所述的其他机能。
装置(例如实施单元1320)可配置为实施调整单元1318所决定的一或多种调整。例如,各种控制器可配置为执行调整。
现参照图14,图中所描绘者为依据本申请范例态样的范例操作系统1400。范例系统1400可包括操作系统1402及机器学习操作系统1430,两者通过一或多个网络1420而与彼此通信耦接。如在此所述,操作系统1402可为一感测装置的板上系统,装置例如为个人操作装置(例如手机、平板计算机等等)、车辆操作系统、自动化/机器人操作系统及/或其他操作系统。
操作系统1402可包括一或多个操作组件1404。操作系统1402的操作组件1404可包括处理器1406及内存1408。一或多个处理器1406可为任何适合的处理组件(例如处理器核心、微处理器、ASIC、FPGA、控制器、微控制器等等),且可为单处理器或多个操作相连的处理器。内存1408可包括一或多个非瞬时计算机可读储存媒体,例如RAM、ROM、EEPROM、EPROM、一或多个内存组件、闪存组件等等,及其组合。
内存1408可储存由一或多个处理器1406取得的信息。例如,内存1408(例如一或多个非瞬时计算机可读储存媒体、内存装置)包括可由一或多个处理器1406执行的计算机可读指令1410。指令1410可为以任何适合的编程语言撰写的软件,或可实施于硬件中。与此同时,或以为替代,指令1410可执行于处理器1406上逻辑分离及/或虚拟分离的线程。
例如,当内存1408所储存的指令1410受一或多个处理器1406执行时,可使所述一或多个处理器1406(操作系统1402)执行操作,例如一感测装置的任何操作及功能,及/或感测装置设定的操作、物体感测操作及/或判定物体特性(例如方法1200的一或多个部分)及/或任何其他操作及功能,如在此所述者。
内存1408可储存取得的数据1412,其中取得方式可例如为接收、存取、写入、调处、产生、建立、储存等等。数据1412可包括,例如,宽带传感器输出数据、控制数据、反射率数据、深度数据、校正数据、误差修正代码数据、数值数据、电压数据、读出数据、调制数据、时序数据、预测数据、机器学习模型数据(例如AI模型、参数等等)、物体材料数据、计算结果数据、预计算结果数据、传输及入射光波长数据、建模信号数据、影像分析数据、材料判定数据、装置机能数据、调整数据、实施数据及/或其他在此所述数据/信息。在某些实施方式中,操作组件1404可自一或多个远离操作系统1402的内存取得数据。
操作组件1404也可包括一通信接口1414,用于与一或多个其他系统(例如操作系统1402的其他板上及/或远程系统/组件)通信。通信接口1414可包括任何电路、组件、软件等等,用于经由一或多个网络1420进行通信。在某些实施方式中,通信接口1414可包括,例如,通信控制器、接收器、收发器、传送器、端口、传导器、用于传递数据/信息的软件及/或硬件中的一或多者依据本申请的一种态样,操作系统1402可储存或包括一或多个机器学习模型1416(例如AI建模单元)。例如,机器学习模型1416可为或可以其他方式包括各种机器学习模型,例如网络模型、子网、神经网络(例如深度神经网络)、支持向量机、判定树、集成模型、k最近邻模型、贝氏网络或其他类型的模型(包括线性模型及/或非线性模型)。范例神经网络包括前馈控制神经网络(例如卷积神经网络、参数化连续卷积等等)、递归神经网络(例如长短期记忆递归神经网络等等)及/或其他形式的神经网络。机器学习模型1416可包括图7的机器学习模型及/或其他在此所述模型。
在某些实施方式中,操作系统1402可通过网络1420而自机器学习操作系统1430接收一或多个机器学习模型1416,并可将一或多个机器学习模型1416储存于操作系统1402的内存1408中。操作系统1402可使用一或多个机器学习模型1416或以其他方式实施(例如通过处理器1406)。具体而言,操作系统1402可利用机器学习模型1416以产生预计算数据、建模信号数据、物体分类数据、材料识别数据、影像分析数据、预测数据等等。
机器学习操作系统1430可包括一或多个处理器1432及一内存1434。一或多个处理器1432可为任何适合的处理组件(例如处理器核心、微处理器、ASIC、FPGA、控制器、微控制器等等),且可为一个处理器或多个操作上相连的处理器。内存1434可包括一或多个非瞬时计算机可读储存媒体,例如RAM、ROM、EEPROM、EPROM、一或多个内存组件、闪存组件等等及其组合。
内存1434储存可由一或多个处理器1432存取的信息。例如,内存1434(例如一或多个非瞬时计算机可读储存媒体、内存组件)可储存取得的数据1436,其中取得方式可例如为产生、撷取、接收、存取、写入、调处、建立、储存等等。在某些实施方式中,机器学习操作系统1430可自一或多个远离机器学习操作系统1430的内存取得数据。
内存1434也可储存由一或多个处理器1432执行的计算机可读指令1438。指令1438可为以任何适合的编程语言撰写的软件,或可实施于硬件中。与此同时,或以为替代,指令1438可执行于处理器1432上逻辑分离及/或虚拟分离的线程。当内存1434所储存的指令1438受一或多个处理器1432执行时,可使所述一或多个处理器1432执行操作。机器学习操作系统1430可包括一通信接口1440,其包括类似于前述的操作系统1402的组件及/或功能。
在某些实施方式中,机器学习操作系统1430可包括一或多个服务器操作组件。若机器学习操作系统1430包括多个服务器操作组件,则此等服务器操作组件可依据各种操作架构操作,包括,例如,顺序操作架构、平行操作架构或其某些组合。
除了前述在操作系统1402内的模型1416之外,机器学习操作系统1430可另包括或改为使用一或多个机器学习模型1442(例如AI建模单元)。例如,机器学习模型1442可为或可以其他方式包括各种机器学习模型,例如网络模型、子网、神经网络(例如深度神经网络)、支持向量机、判定树、集成模型、k最近邻模型、贝氏网络或其他类型的模型(包括线性模型及/或非线性模型)。范例神经网络包括前馈控制神经网络(例如卷积神经网络、参数化连续卷积等等)、递归神经网络(例如长短期记忆递归神经网络等等)及/或其他形式的神经网络。机器学习模型1442可与机器学习模型1416及/或在此所述的其他模型类似并/或相同。
根据一范例,机器学习操作系统1430可依据一主从关系而与操作系统1402通信。例如,机器学习操作系统1430可利用机器学习模型1442以对操作系统1402提供网络服务。因此,机器学习模型1442可位于并用于操作系统1402,且/或机器学习模型1442可位于并用于机器学习操作系统1430。
在某些实施方式中,机器学习操作系统1430及/或操作系统1402可利用模型训练器1444训练机器学习模型1416及/或1442。模型训练器1444可利用一或多种训练或学习算法训练机器学习模型1416及/或1442。一种范例训练技术为误差反向传播(backwardspropagation of error)。在某些实施方式中,模型训练器1444可利用一组含标签的训练数据而执行受监管的训练技术。于其他实施方式中,模型训练器1444可利用一组无卷标训练数据而执行不受监管的训练技术。模型训练器1444可执行数种泛化技术以提升所训练模型的泛化能力。泛化技术包括权重衰减、丢弃法或其他技术。
详言之,模型训练器1444可基于一组训练数据1446而训练机器学习模型1416及/或1442。训练数据1446可包括先前取得的传感器输出(SO)数据,例如来自二维及/或三维光侦测单元的数据。在某些实施方式中,训练数据1446可包括含卷标或无卷标物体分类训练数据。在某些实施方式中,训练数据1446可包括含卷标或无卷标材料类型数据。在某些实施方式中,训练数据1446可包括含卷标或无卷标健康数据(例如血糖值卷标)。在某些实施方式中,训练数据1446可包括含卷标或无卷标AR/VR互动数据(例如材料响应数据)。在某些实施方式中,训练数据1446可包括一数据,其包含一第一类型的含卷标数据,但不包括其他类型的含卷标数据。例如,训练数据1446可包括物体分类卷标,其中物体经标示,但物体的材料特性类型未经标示。即便不含材料类型卷标,模型训练器1444仍可使用训练数据1446训练模型1442/1416,以将表示材料类型(例如波长反射率数据)的数据纳入物体分类判断,如在此所述者。其他在此所述模型机能可利用适当训练数据1446以类似方式训练。模型训练器1444可实施于控制一或多个处理器的硬件、韧体及/或软件中。
网络1420可为任何类型的网络或网络组合,其可实现组件间的通信。在某些实施例中,网络1420可包括局域网络、广域网、因特网、安全网络、行动通信网络、网状网络、对等式通信链接及/或其某些组合中的一或多者,且可包括任何数量的有线或无线连结。在网络1420上的通信可通过例如使用任何类型的协议、防护方案、编码、格式、封装等等的网络接口而达成。
图14绘示一种可用于实施本申请的范例系统1400,但也可使用其他操作系统。例如,在某些实施方式中,操作系统1402可包括模型训练器1444及训练数据集1446。在此种实施方式中,机器学习模型1416/1442都可在操作系统1402本地进行训练及使用。
在本申请中,于远离机器学习操作系统1430的操作系统102所执行的操作任务可改为于机器学习操作系统1430执行,反之亦然。此等配置的实施也属本申请范畴。利用计算机式系统可实现组件间的多种可能配置、组合及任务与机能划分。由计算机实施的操作可执行于单一组件上或跨多个组件执行。由计算机实施的任务及/或操作可先后或同时执行。所述数据及指令可储存于单一内存组件中,或跨多个内存组件储存。
本申请提供的感测装置利用宽带传感器以达成新颖环境/情境感知(例如生物身分识别、三维重建、手势/骨骼侦测、目标特性分析、材料分析、血糖或使用者情境定义)并实施进一步应对(例如解锁/支付确认、导航、UI/姿势监控及无线射频信号/电源优化),由此为市场创造更多宽带应用,同时解决多重路径干扰问题。
除使用硅为光侦测器的光吸收材料之外,本申请也提供一种所用材料(例如锗或III-V族)能够吸收较长波长(例如波长大于1050nm)光线的光侦测器。
虽然以上通过范例说明本申请的较佳实施例,但应知本申请并不以此为限。反之,其意在涵盖各种修改及类似安排与程序,且因此权利要求的范围应采最广义解释,以将所有此等修改及类似安排与程序包含于其中。
Claims (20)
1.一种感测装置,其特征在于,所述感测装置包含:
一传感器,包含一光侦测单元,配置为吸收(i)一具有一第一波长的第一入射光以产生一第一侦测信号,及(ii)一具有一第二波长的第二入射光以产生一第二侦测信号;
一计算电路,耦接于所述传感器,配置为依据所述第一侦测信号及所述第二侦测信号而输出一计算结果;及
一调整电路,耦接于所述计算电路,配置为依据所述计算结果而对一或多种与所述感测装置关联的机能执行一调整。
2.如权利要求1所述的感测装置,其特征在于,进一步包含:
一第一光源,配置为发射具有所述第一波长的一第一传送光;及
一第二光源,配置为发射具有所述第二波长的一第二传送光,
其中所述第一入射光为受一物体反射后的所述第一传送光的一部分;且所述第二入射光为受所述物体反射后的所述第二传送光的一部分。
3.如权利要求2所述的感测装置,其特征在于,其中所述第一传送光在一第一时期中以一第一调制频率调制,且在一第二时期中以一第二调制频率调制。
4.如权利要求1所述的感测装置,其特征在于,其中所述第一侦测信号具有一第一数值且所述第二侦测信号具有一第二数值,且其中所述第一数值与所述第二数值不同。
5.如权利要求1所述的感测装置,其特征在于,其中所述计算电路包含:
一预计算单元,配置为依据所述第一侦测信号及所述第二侦测信号而执行一积分计算或一微分计算,以输出一预计算结果;
一AI建模单元,耦接于所述预计算单元,配置为执行一影像数据分析并输出一建模信号;及
一预测单元,耦接于所述AI建模单元,配置为依据所述建模信号而预测一状态为所述计算结果。
6.如权利要求1所述的感测装置,其特征在于,其中所述光侦测单元包含一第一光侦测器及一第二光侦测器,其中所述第一光侦测器具有一第一光吸收材料,且所述第二光侦测器具有一第二光吸收材料,且其中所述第一光吸收材料与所述第二光吸收材料不同。
7.如权利要求6所述的感测装置,其特征在于,其中所述第一光吸收材料包含硅,且所述第二光吸收材料包含锗或III-V族材料。
8.如权利要求1所述的感测装置,其特征在于,进一步包含:
一二维光侦测单元,配置为侦测一物体并产生一二维影像。
9.如权利要求8所述的感测装置,其特征在于,其中所述计算电路是配置为依据所述第一侦测信号、所述第二侦测信号及所述二维影像而输出所述计算结果。
10.如权利要求1所述的感测装置,其特征在于,其中所述传感器是配置为依据所述第一侦测信号及所述第二侦测信号而输出一深度信息、一校正信息、一误差修正代码信息或一数值信息。
11.一种感测方法,其特征在于,所述感测方法包含:
由包含一三维光侦测单元的一传感器,吸收具有一第一波长的一第一入射光以产生一第一侦测信号,并吸收具有一第二波长的一第二入射光以产生一第二侦测信号;
由一计算电路依据所述第一侦测信号及所述第二侦测信号而判定一计算结果;及
由一调整电路依据所述计算结果而决定一输出以对一或多种与一感测装置关联的机能执行一调整。
12.如权利要求11所述的感测方法,其特征在于,进一步包含:
由一第一光源发射具有所述第一波长的一第一传送光;
由一第二光源发射具有所述第二波长的一第二传送光;及
其中所述第一入射光为受一物体反射后的所述第一传送光的一部分;且所述第二入射光为受所述物体反射后的所述第二传送光的一部分。
13.如权利要求12所述的感测方法,其特征在于,其中所述第一传送光在一第一时期中以一第一调制频率调制,且在一第二时期中以一第二调制频率调制。
14.如权利要求11所述的感测方法,其特征在于,其中所述第一侦测信号具有一第一数值且所述第二侦测信号具有一第二数值,且其中所述第一数值与所述第二数值不同。
15.如权利要求11所述的感测方法,其特征在于,其中所述计算结果是依据一程序而判定,所述程序包含:
由一预计算单元依据所述第一侦测信号及所述第二侦测信号而执行一积分计算或一微分计算,以输出一预计算结果;
由一AI建模单元执行一影像数据分析以输出一建模信号;及
由一预测单元依据所述建模信号而预测一状态为所述计算结果。
16.如权利要求11所述的感测方法,其特征在于,其中所述光侦测单元包含一第一光侦测器及一第二光侦测器,其中所述第一光侦测器具有一第一光吸收材料且所述第二光侦测器具有一第二光吸收材料,且其中所述第一光吸收材料与所述第二光吸收材料不同。
17.如权利要求16所述的感测方法,其特征在于,其中所述第一光吸收材料包含硅,且所述第二光吸收材料包含锗或III-V族材料。
18.一种感测操作组件,其特征在于,所述感测操作组件包含:
一传感器,包含一光侦测单元,配置为吸收(i)具有一第一波长的一第一入射光以产生一第一侦测信号,及(ii)具有一第二波长的一第二入射光以产生一第二侦测信号;
一或多个处理器;及
一内存,包含一或多个有形非瞬时计算机可读媒体,所述媒体储存多个计算机可读指令,当所述等指令受所述一或多个处理器执行时,可使所述一或多个处理器执行以下操作:
至少部分基于所述第一侦测信号及所述第二侦测信号而判定一计算结果;及
至少部分基于所述计算结果而判定对一或多种与所述感测操作组件关联的机能的一调整;及
在所述感测操作组件上实施所述调整;
其中所述传感器包含一近红外线或短波红外线传感器。
19.如权利要求18所述的感测操作组件,其特征在于,其中所述第一波长及所述第二波长中的一或多者具有一大于1050nm的波长。
20.如权利要求18所述的感测操作组件,其特征在于,其中至少部分基于所述第一侦测信号及所述第二侦测信号而判定所述计算结果包含:
判定与所述第一侦测信号及所述第二侦测信号关联的物体的材料。
Applications Claiming Priority (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063035859P | 2020-06-08 | 2020-06-08 | |
US63/035,859 | 2020-06-08 | ||
US202063079452P | 2020-09-16 | 2020-09-16 | |
US63/079,452 | 2020-09-16 | ||
US202163173488P | 2021-04-11 | 2021-04-11 | |
US63/173,488 | 2021-04-11 | ||
US17/331,811 US20210381960A1 (en) | 2020-06-08 | 2021-05-27 | Wideband Sensing Apparatus and Method Thereof |
US17/331,811 | 2021-05-27 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114088644A true CN114088644A (zh) | 2022-02-25 |
Family
ID=76325367
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110637897.9A Pending CN114088644A (zh) | 2020-06-08 | 2021-06-08 | 感测装置、感测方法及感测操作组件 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20210381960A1 (zh) |
EP (1) | EP3933434A3 (zh) |
CN (1) | CN114088644A (zh) |
TW (1) | TW202219489A (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11681903B2 (en) | 2019-10-31 | 2023-06-20 | Micron Technology, Inc. | Spike detection in memristor crossbar array implementations of spiking neural networks |
US11668797B2 (en) | 2019-12-18 | 2023-06-06 | Micron Technology, Inc. | Intelligent radar electronic control units in autonomous vehicles |
US11947359B2 (en) * | 2020-02-14 | 2024-04-02 | Micron Technology, Inc. | Intelligent lidar sensors for autonomous vehicles |
US11395239B2 (en) * | 2020-12-11 | 2022-07-19 | Nvidia Corporation | Radio frequency power adaptation for handheld wireless devices |
US20230408699A1 (en) * | 2022-06-09 | 2023-12-21 | Infineon Technologies Ag | Time-of-flight image sensor with quantom dot photodetectors |
WO2024029255A1 (ja) * | 2022-08-02 | 2024-02-08 | ソニーセミコンダクタソリューションズ株式会社 | 電子機器 |
TWI827411B (zh) * | 2022-12-21 | 2023-12-21 | 新唐科技股份有限公司 | 微控制電路及處理方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008535540A (ja) * | 2005-03-01 | 2008-09-04 | マシモ・ラボラトリーズ・インコーポレーテッド | 非侵襲的マルチパラメータ患者モニタ |
US7446316B2 (en) * | 2005-10-31 | 2008-11-04 | Honeywell International Inc. | Skin detection sensor |
US8290730B2 (en) * | 2009-06-30 | 2012-10-16 | Nellcor Puritan Bennett Ireland | Systems and methods for assessing measurements in physiological monitoring devices |
US8541745B2 (en) * | 2011-11-16 | 2013-09-24 | Motorola Mobility Llc | Methods and devices for clothing detection about a wearable electronic device |
US9005129B2 (en) * | 2012-06-22 | 2015-04-14 | Fitbit, Inc. | Wearable heart rate monitor |
US9442523B2 (en) * | 2014-07-25 | 2016-09-13 | Salutron, Inc. | User-wearable devices with power conserving features |
US10345447B1 (en) * | 2018-06-27 | 2019-07-09 | Luminar Technologies, Inc. | Dynamic vision sensor to direct lidar scanning |
EP3814803A4 (en) * | 2018-08-16 | 2022-03-02 | Sense Photonics, Inc. | INTEGRATED LIDAR IMAGE SENSING DEVICES AND SYSTEMS AND RELATED METHODS OF OPERATION |
EP3839551A1 (en) * | 2019-12-16 | 2021-06-23 | Hexagon Technology Center GmbH | Object specific measuring with an opto-electronic measuring device |
-
2021
- 2021-05-27 US US17/331,811 patent/US20210381960A1/en active Pending
- 2021-06-04 TW TW110120443A patent/TW202219489A/zh unknown
- 2021-06-07 EP EP21178049.9A patent/EP3933434A3/en active Pending
- 2021-06-08 CN CN202110637897.9A patent/CN114088644A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
EP3933434A3 (en) | 2022-03-09 |
EP3933434A2 (en) | 2022-01-05 |
TW202219489A (zh) | 2022-05-16 |
US20210381960A1 (en) | 2021-12-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114088644A (zh) | 感测装置、感测方法及感测操作组件 | |
US10664716B2 (en) | Portable substance analysis based on computer vision, spectroscopy, and artificial intelligence | |
CN110998223B (zh) | 用于确定至少一个对像的位置的检测器 | |
Chen et al. | Data processing approaches on SPAD-based d-TOF LiDAR systems: A review | |
US9773155B2 (en) | Depth from time of flight camera | |
KR101709282B1 (ko) | 이미지 센서, 이의 동작 방법, 및 이를 포함하는 장치들 | |
JP2018507388A (ja) | 光学検出器 | |
KR20220058947A (ko) | 라이다 이미지의 처리 | |
WO2020081470A1 (en) | Deep learning inference systems and methods for imaging systems | |
KR20160019901A (ko) | 적어도 하나의 물체를 광학적으로 검출하기 위한 검출기 | |
WO2019236334A1 (en) | Object recognition using depth and multi-spectral camera | |
CN112232155B (zh) | 非接触指纹识别的方法、装置、终端及存储介质 | |
CN112232163B (zh) | 指纹采集方法及装置、指纹比对方法及装置、设备 | |
CN113286979B (zh) | 使用飞行时间(ToF)成像装置进行微振动数据提取的系统、装置和方法 | |
Li et al. | Emergent visual sensors for autonomous vehicles | |
US11262575B2 (en) | MEMS package with double-sided mirror | |
US20200271583A1 (en) | Multi-spectral fluorescent imaging | |
US11493609B2 (en) | MEMS device with integrated mirror position sensor | |
CN112232159B (zh) | 指纹识别的方法、装置、终端及存储介质 | |
US11530951B2 (en) | Optical sensor device | |
Cassis | Intelligent Sensing: Enabling the Next “Automation Age” | |
CN107430273A (zh) | 用于定制安装式感测设备的方法 | |
CN114076951A (zh) | 用于测量的装置及用以判定环境中两点间的距离的方法 | |
US20210181341A1 (en) | Object recognition apparatus, object recognition method, and non-transitory computer readable medium | |
US20240280407A1 (en) | Multi-Application Optical Sensing Apparatus and Method Thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |