JP2022538557A - ユーザ認可に基づいて操作を可能にするためのシステム、方法、およびコンピュータプログラム - Google Patents
ユーザ認可に基づいて操作を可能にするためのシステム、方法、およびコンピュータプログラム Download PDFInfo
- Publication number
- JP2022538557A JP2022538557A JP2021576343A JP2021576343A JP2022538557A JP 2022538557 A JP2022538557 A JP 2022538557A JP 2021576343 A JP2021576343 A JP 2021576343A JP 2021576343 A JP2021576343 A JP 2021576343A JP 2022538557 A JP2022538557 A JP 2022538557A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- focus
- user
- image
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 241
- 238000013475 authorization Methods 0.000 title claims abstract description 25
- 238000004590 computer program Methods 0.000 title claims abstract description 7
- 238000005070 sampling Methods 0.000 claims abstract description 48
- 230000004044 response Effects 0.000 claims abstract description 40
- 238000012795 verification Methods 0.000 claims abstract description 12
- 230000001815 facial effect Effects 0.000 claims description 64
- 238000004891 communication Methods 0.000 claims description 25
- 238000002156 mixing Methods 0.000 claims description 4
- 230000008451 emotion Effects 0.000 claims 1
- 240000007320 Pinus strobus Species 0.000 description 114
- 238000001514 detection method Methods 0.000 description 40
- 230000003287 optical effect Effects 0.000 description 35
- 230000000007 visual effect Effects 0.000 description 31
- 210000000887 face Anatomy 0.000 description 29
- 238000012545 processing Methods 0.000 description 27
- 238000003860 storage Methods 0.000 description 27
- 230000000875 corresponding effect Effects 0.000 description 26
- 230000009471 action Effects 0.000 description 25
- 230000006870 function Effects 0.000 description 24
- 230000033001 locomotion Effects 0.000 description 22
- 238000005286 illumination Methods 0.000 description 18
- 230000001537 neural effect Effects 0.000 description 18
- 230000008569 process Effects 0.000 description 17
- 239000000126 substance Substances 0.000 description 17
- 230000007704 transition Effects 0.000 description 16
- 230000005540 biological transmission Effects 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 13
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 12
- 238000013507 mapping Methods 0.000 description 12
- 238000005259 measurement Methods 0.000 description 11
- 230000001133 acceleration Effects 0.000 description 10
- 230000008859 change Effects 0.000 description 9
- 230000010339 dilation Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 9
- 238000011156 evaluation Methods 0.000 description 8
- 210000003739 neck Anatomy 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 7
- 230000007613 environmental effect Effects 0.000 description 7
- 239000000446 fuel Substances 0.000 description 7
- 210000004247 hand Anatomy 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 7
- 230000035945 sensitivity Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 239000000872 buffer Substances 0.000 description 6
- 229910002092 carbon dioxide Inorganic materials 0.000 description 6
- 230000001276 controlling effect Effects 0.000 description 6
- 238000012937 correction Methods 0.000 description 6
- 230000003205 diastolic effect Effects 0.000 description 6
- 238000012805 post-processing Methods 0.000 description 6
- 206010041349 Somnolence Diseases 0.000 description 5
- 239000001569 carbon dioxide Substances 0.000 description 5
- 230000001413 cellular effect Effects 0.000 description 5
- 239000003086 colorant Substances 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 210000000617 arm Anatomy 0.000 description 4
- 230000008602 contraction Effects 0.000 description 4
- 239000007789 gas Substances 0.000 description 4
- 239000003550 marker Substances 0.000 description 4
- UGFAIRIUMAVXCW-UHFFFAOYSA-N Carbon monoxide Chemical compound [O+]#[C-] UGFAIRIUMAVXCW-UHFFFAOYSA-N 0.000 description 3
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 229910002091 carbon monoxide Inorganic materials 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000006378 damage Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 229910052760 oxygen Inorganic materials 0.000 description 3
- 239000001301 oxygen Substances 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 230000002207 retinal effect Effects 0.000 description 3
- 238000013349 risk mitigation Methods 0.000 description 3
- 239000003053 toxin Substances 0.000 description 3
- 231100000765 toxin Toxicity 0.000 description 3
- 108700012359 toxins Proteins 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 208000032544 Cicatrix Diseases 0.000 description 2
- 206010014970 Ephelides Diseases 0.000 description 2
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 2
- 208000003351 Melanosis Diseases 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 210000000746 body region Anatomy 0.000 description 2
- 239000003990 capacitor Substances 0.000 description 2
- 230000000747 cardiac effect Effects 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 150000001875 compounds Chemical class 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 208000016339 iris pattern Diseases 0.000 description 2
- 210000002414 leg Anatomy 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000000116 mitigating effect Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000001454 recorded image Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 231100000241 scar Toxicity 0.000 description 2
- 230000037387 scars Effects 0.000 description 2
- 230000008054 signal transmission Effects 0.000 description 2
- 239000000779 smoke Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 229910052724 xenon Inorganic materials 0.000 description 2
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 2
- 241000473391 Archosargus rhomboidalis Species 0.000 description 1
- 241000288748 Chrysochloridae Species 0.000 description 1
- 206010013700 Drug hypersensitivity Diseases 0.000 description 1
- 206010020751 Hypersensitivity Diseases 0.000 description 1
- 240000004752 Laburnum anagyroides Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 206010037660 Pyrexia Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000007815 allergy Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006793 arrhythmia Effects 0.000 description 1
- 206010003119 arrhythmia Diseases 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000012742 biochemical analysis Methods 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000009850 completed effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000004146 energy storage Methods 0.000 description 1
- 238000003891 environmental analysis Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 230000002631 hypothermal effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000035987 intoxication Effects 0.000 description 1
- 231100000566 intoxication Toxicity 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000011326 mechanical measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 208000010125 myocardial infarction Diseases 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 239000002574 poison Substances 0.000 description 1
- 231100000614 poison Toxicity 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000001179 pupillary effect Effects 0.000 description 1
- 230000004461 rapid eye movement Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000036548 skin texture Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
- B60R25/20—Means to switch the anti-theft system on or off
- B60R25/25—Means to switch the anti-theft system on or off using biometry
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
- B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
- B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
- B60R25/305—Detection related to theft or to other events relevant to anti-theft systems using a camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/043—Identity of occupants
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Transportation (AREA)
- Automation & Control Theory (AREA)
- Mathematical Physics (AREA)
- Geometry (AREA)
- Traffic Control Systems (AREA)
- Collating Specific Patterns (AREA)
- Studio Devices (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
ユーザ認可に基づいて操作を可能にするためのシステム、方法、およびコンピュータプログラムが提供される。使用中、第１のユーザは、サンプリングパラメータの第１のセットに基づく少なくとも１つの第１の画像を受信すること、少なくとも１つの第１の画像に関連付けられた少なくとも１つの顔を識別すること、および少なくとも１つの顔が認可されたユーザであると判定すること、によって、認証される。認証に基づいて、第１のユーザは、第１の車両にアクセスすることを許可される。さらに、第１のユーザに関する第１の車両の使用が検証され、検証に応答して、第１のユーザによる第１の車両の操作が可能になる。【選択図】図１
Description
関連出願
本出願は、以下の米国特許出願に関するものであり、その開示全体は、あらゆる目的のために参照により本明細書に組み込まれる。２０１２年９月４日に出願された、“ＣＯＬＯＲ ＢＡＬＡＮＣＥ ＩＮ ＤＩＧＩＴＡＬ ＰＨＯＴＯＧＲＡＰＨＹ”と題された、現在は米国特許第８，９７６，２６４号である米国特許出願第１３／５７３，２５２号（ＤＵＥＬＰ００３／ＤＬ００１）、２０１４年１２月１１日に出願された、“ＣＯＬＯＲ ＢＡＬＡＮＣＥ ＩＮ ＤＩＧＩＴＡＬ ＰＨＯＴＯＧＲＡＰＨＹ”と題された、現在は米国特許第９，４０６，１４７号である米国特許出願第１４／５６８，０４５号（ＤＵＥＬＰ００３Ａ／ＤＬ００１Ａ）、２０１４年１１月５日に出願された、“ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＨＩＧＨ－ＤＹＮＡＭＩＣ ＲＡＮＧＥ ＩＭＡＧＥＳ”と題された、現在は米国特許第９，１６７，１７４号である米国特許出願第１４／５３４，０６８号（ＤＵＥＬＰ００５／ＤＬ０１１）、２０１６年１０月７日に出願された、“ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＧＥＮＥＲＡＴＩＮＧ Ａ ＤＩＧＩＴＡＬ ＩＭＡＧＥ”と題された、米国特許出願第１５／２８９，０３９号（ＤＵＥＬＰ００６Ａ／ＤＬ０１３Ａ）、２０１４年１１月５日に出願された、“ＩＭＡＧＥ ＳＥＮＳＯＲ ＡＰＰＡＲＡＴＵＳ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＯＢＴＡＩＮＩＮＧ ＭＵＬＴＩＰＬＥ ＥＸＰＯＳＵＲＥＳ ＷＩＴＨ ＺＥＲＯ ＩＮＴＥＲＦＲＡＭＥ ＴＩＭＥ”と題された、現在は米国特許第９，１３７，４５５号である米国特許出願第１４／５３４，０７９号（ＤＵＥＬＰ００７／ＤＬ０１４）、２０１４年１１月５日に出願された、“ＩＭＡＧＥ ＳＥＮＳＯＲ ＡＰＰＡＲＡＴＵＳ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＳＩＭＵＬＴＡＮＥＯＵＳＬＹ ＣＡＰＴＵＲＩＮＧ ＭＵＬＴＩＰＬＥ ＩＭＡＧＥＳ”と題された、現在は米国特許第９，１６７，１６９号である米国特許出願第１４／５３４，０８９号（ＤＵＥＬＰ００８／ＤＬ０１５）、２０１４年１１月６日に出願された、“ＩＭＡＧＥ ＳＥＮＳＯＲ ＡＰＰＡＲＡＴＵＳ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＳＩＭＵＬＴＡＮＥＯＵＳＬＹ ＣＡＰＴＵＲＩＮＧ ＦＬＡＳＨ ＡＮＤ ＡＭＢＩＥＮＴ ＩＬＬＵＭＩＮＡＴＥＤ ＩＭＡＧＥＳ”と題された、現在は米国特許第９，１５４，７０８号である米国特許出願第１４／５３５，２７４号（ＤＵＥＬＰ００９／ＤＬ０１６）、２０１４年１１月６日に出願された、“ＩＭＡＧＥ ＳＥＮＳＯＲ ＡＰＰＡＲＡＴＵＳ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＯＢＴＡＩＮＩＮＧ ＬＯＷ－ＮＯＩＳＥ， ＨＩＧＨ－ＳＰＥＥＤ ＣＡＰＴＵＲＥＳ ＯＦ Ａ ＰＨＯＴＯＧＲＡＰＨＩＣ ＳＣＥＮＥ”と題された、現在は米国特許第９，１７９，０８５号である米国特許出願第１４／５３５，２７９号（ＤＵＥＬＰ０１０／ＤＬ０１７）、２０１４年１１月７日に出願された、“ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＧＥＮＥＲＡＴＩＮＧ Ａ ＨＩＧＨ－ＤＹＮＡＭＩＣ ＲＡＮＧＥ （ＨＤＲ） ＰＩＸＥＬ ＳＴＲＥＡＭ”と題された、現在は米国特許第９，１６０，９３６号である米国特許出願第１４／５３６，５２４号（ＤＵＥＬＰ０１２／ＤＬ０１９）、２０１４年２月１１日に出願された、“ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＤＩＧＩＴＡＬ ＰＨＯＴＯＧＲＡＰＨＹ”と題された、現在は米国特許第９，２１５，４３３号である米国特許出願第１３／９９９，３４３号（ＤＵＥＬＰ０２１／ＤＬ００７）、２０１５年１０月１９日に出願された、“ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＤＩＧＩＴＡＬ ＰＨＯＴＯＧＲＡＰＨＹ”と題された、米国特許出願第１４／８８７，２１１号（ＤＵＥＬＰ０２１Ａ／ＤＬ００７Ａ）、２０１４年３月１４日に出願された、“ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ Ａ ＤＩＧＩＴＡＬ ＩＭＡＧＥ ＳＥＮＳＯＲ”と題された、米国特許出願第１３／９９９，６７８号（ＤＵＥＬＰ０２２／ＤＬ００８）、２０１６年１１月１７日に出願された、“ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ Ａ ＤＩＧＩＴＡＬ ＩＭＡＧＥ ＳＥＮＳＯＲ”と題された、米国特許出願第１５／３５４，９３５号（ＤＵＥＬＰ０２２Ａ／ＤＬ００８Ａ）、２０１６年７月１日に出願された、 “ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＣＡＰＴＵＲＩＮＧ ＤＩＧＩＴＡＬ ＩＭＡＧＥＳ”と題された、米国特許出願第１５／２０１，２８３号（ＤＵＥＬＰ０２４／ＤＬ０２７）、２０１６年９月１日に出願された、“ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＡＤＪＵＳＴＩＮＧ ＦＯＣＵＳ ＢＡＳＥＤ ＯＮ ＦＯＣＵＳ ＴＡＲＧＥＴ ＩＮＦＯＲＭＡＴＩＯＮ”と題された、米国特許出願第１５／２５４，９６４号（ＤＵＥＬＰ０２５／ＤＬ０２８）、２０１８年５月１０日に出願された、“ＳＹＳＴＥＭ， ＭＥＴＨＯＤ， ＡＮＤ ＣＯＭＰＵＴＥＲ ＰＲＯＧＲＡＭ ＦＯＲ ＣＡＰＴＵＲＩＮＧ ＡＮ ＩＭＡＧＥ ＷＩＴＨ ＣＯＲＲＥＣＴ ＳＫＩＮ ＴＯＮＥ ＥＸＰＯＳＵＲＥ”と題された、米国特許出願第１５／９７６，７５６号（ＤＵＥＬＰ０２９／ＤＬ０３１）、および２０１９年１月１０日に出願された、“ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＴＲＡＣＫＩＮＧ Ａ ＲＥＧＩＯＮ ＵＳＩＮＧ ＡＮ ＩＭＡＧＥ ＳＥＮＳＯＲ”と題された、米国特許出願第１６／２４４，９８２号（ＤＵＥＬＰ０３２／ＤＬ０３４）。
本出願は、以下の米国特許出願に関するものであり、その開示全体は、あらゆる目的のために参照により本明細書に組み込まれる。２０１２年９月４日に出願された、“ＣＯＬＯＲ ＢＡＬＡＮＣＥ ＩＮ ＤＩＧＩＴＡＬ ＰＨＯＴＯＧＲＡＰＨＹ”と題された、現在は米国特許第８，９７６，２６４号である米国特許出願第１３／５７３，２５２号（ＤＵＥＬＰ００３／ＤＬ００１）、２０１４年１２月１１日に出願された、“ＣＯＬＯＲ ＢＡＬＡＮＣＥ ＩＮ ＤＩＧＩＴＡＬ ＰＨＯＴＯＧＲＡＰＨＹ”と題された、現在は米国特許第９，４０６，１４７号である米国特許出願第１４／５６８，０４５号（ＤＵＥＬＰ００３Ａ／ＤＬ００１Ａ）、２０１４年１１月５日に出願された、“ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＨＩＧＨ－ＤＹＮＡＭＩＣ ＲＡＮＧＥ ＩＭＡＧＥＳ”と題された、現在は米国特許第９，１６７，１７４号である米国特許出願第１４／５３４，０６８号（ＤＵＥＬＰ００５／ＤＬ０１１）、２０１６年１０月７日に出願された、“ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＧＥＮＥＲＡＴＩＮＧ Ａ ＤＩＧＩＴＡＬ ＩＭＡＧＥ”と題された、米国特許出願第１５／２８９，０３９号（ＤＵＥＬＰ００６Ａ／ＤＬ０１３Ａ）、２０１４年１１月５日に出願された、“ＩＭＡＧＥ ＳＥＮＳＯＲ ＡＰＰＡＲＡＴＵＳ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＯＢＴＡＩＮＩＮＧ ＭＵＬＴＩＰＬＥ ＥＸＰＯＳＵＲＥＳ ＷＩＴＨ ＺＥＲＯ ＩＮＴＥＲＦＲＡＭＥ ＴＩＭＥ”と題された、現在は米国特許第９，１３７，４５５号である米国特許出願第１４／５３４，０７９号（ＤＵＥＬＰ００７／ＤＬ０１４）、２０１４年１１月５日に出願された、“ＩＭＡＧＥ ＳＥＮＳＯＲ ＡＰＰＡＲＡＴＵＳ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＳＩＭＵＬＴＡＮＥＯＵＳＬＹ ＣＡＰＴＵＲＩＮＧ ＭＵＬＴＩＰＬＥ ＩＭＡＧＥＳ”と題された、現在は米国特許第９，１６７，１６９号である米国特許出願第１４／５３４，０８９号（ＤＵＥＬＰ００８／ＤＬ０１５）、２０１４年１１月６日に出願された、“ＩＭＡＧＥ ＳＥＮＳＯＲ ＡＰＰＡＲＡＴＵＳ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＳＩＭＵＬＴＡＮＥＯＵＳＬＹ ＣＡＰＴＵＲＩＮＧ ＦＬＡＳＨ ＡＮＤ ＡＭＢＩＥＮＴ ＩＬＬＵＭＩＮＡＴＥＤ ＩＭＡＧＥＳ”と題された、現在は米国特許第９，１５４，７０８号である米国特許出願第１４／５３５，２７４号（ＤＵＥＬＰ００９／ＤＬ０１６）、２０１４年１１月６日に出願された、“ＩＭＡＧＥ ＳＥＮＳＯＲ ＡＰＰＡＲＡＴＵＳ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＯＢＴＡＩＮＩＮＧ ＬＯＷ－ＮＯＩＳＥ， ＨＩＧＨ－ＳＰＥＥＤ ＣＡＰＴＵＲＥＳ ＯＦ Ａ ＰＨＯＴＯＧＲＡＰＨＩＣ ＳＣＥＮＥ”と題された、現在は米国特許第９，１７９，０８５号である米国特許出願第１４／５３５，２７９号（ＤＵＥＬＰ０１０／ＤＬ０１７）、２０１４年１１月７日に出願された、“ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＧＥＮＥＲＡＴＩＮＧ Ａ ＨＩＧＨ－ＤＹＮＡＭＩＣ ＲＡＮＧＥ （ＨＤＲ） ＰＩＸＥＬ ＳＴＲＥＡＭ”と題された、現在は米国特許第９，１６０，９３６号である米国特許出願第１４／５３６，５２４号（ＤＵＥＬＰ０１２／ＤＬ０１９）、２０１４年２月１１日に出願された、“ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＤＩＧＩＴＡＬ ＰＨＯＴＯＧＲＡＰＨＹ”と題された、現在は米国特許第９，２１５，４３３号である米国特許出願第１３／９９９，３４３号（ＤＵＥＬＰ０２１／ＤＬ００７）、２０１５年１０月１９日に出願された、“ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＤＩＧＩＴＡＬ ＰＨＯＴＯＧＲＡＰＨＹ”と題された、米国特許出願第１４／８８７，２１１号（ＤＵＥＬＰ０２１Ａ／ＤＬ００７Ａ）、２０１４年３月１４日に出願された、“ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ Ａ ＤＩＧＩＴＡＬ ＩＭＡＧＥ ＳＥＮＳＯＲ”と題された、米国特許出願第１３／９９９，６７８号（ＤＵＥＬＰ０２２／ＤＬ００８）、２０１６年１１月１７日に出願された、“ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ Ａ ＤＩＧＩＴＡＬ ＩＭＡＧＥ ＳＥＮＳＯＲ”と題された、米国特許出願第１５／３５４，９３５号（ＤＵＥＬＰ０２２Ａ／ＤＬ００８Ａ）、２０１６年７月１日に出願された、 “ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＣＡＰＴＵＲＩＮＧ ＤＩＧＩＴＡＬ ＩＭＡＧＥＳ”と題された、米国特許出願第１５／２０１，２８３号（ＤＵＥＬＰ０２４／ＤＬ０２７）、２０１６年９月１日に出願された、“ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＡＤＪＵＳＴＩＮＧ ＦＯＣＵＳ ＢＡＳＥＤ ＯＮ ＦＯＣＵＳ ＴＡＲＧＥＴ ＩＮＦＯＲＭＡＴＩＯＮ”と題された、米国特許出願第１５／２５４，９６４号（ＤＵＥＬＰ０２５／ＤＬ０２８）、２０１８年５月１０日に出願された、“ＳＹＳＴＥＭ， ＭＥＴＨＯＤ， ＡＮＤ ＣＯＭＰＵＴＥＲ ＰＲＯＧＲＡＭ ＦＯＲ ＣＡＰＴＵＲＩＮＧ ＡＮ ＩＭＡＧＥ ＷＩＴＨ ＣＯＲＲＥＣＴ ＳＫＩＮ ＴＯＮＥ ＥＸＰＯＳＵＲＥ”と題された、米国特許出願第１５／９７６，７５６号（ＤＵＥＬＰ０２９／ＤＬ０３１）、および２０１９年１月１０日に出願された、“ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＴＲＡＣＫＩＮＧ Ａ ＲＥＧＩＯＮ ＵＳＩＮＧ ＡＮ ＩＭＡＧＥ ＳＥＮＳＯＲ”と題された、米国特許出願第１６／２４４，９８２号（ＤＵＥＬＰ０３２／ＤＬ０３４）。
本発明は、ユーザの認可に関し、より詳細には、ユーザの認可に基づいて操作を可能にすることに関する。
従来の認証システムは、典型的には、知識ベースのシステム（パスワード、二要素認証など）、セカンダリデバイス（スマートカード、キーフォブなど）、および／または生体認証特性（指紋、虹彩検出、顔スキャンなど）に依存する。現在、認証システムの文脈内での写真システムの使用は、複数の理由で問題となっている。例えば、画像の質もしくはキャプチャ精度の欠如、認証のための画像のキャプチャおよび処理に関連する遅延時間、必要な処理能力（例えば、顔を認証するための）、ならびに／または多種多様なキャプチャ条件（例えば、照明、天気など）の多さが、各々、結果として生じる画像のキャプチャおよび正確かつ／またはタイムリーな認証に寄与し、さらに困難を複雑にし得る。
したがって、従来技術に関するこれらおよび／または他の問題に対処する必要がある。
ユーザ認可に基づいた操作を可能にするためのシステム、方法、およびコンピュータプログラムが提供される。使用中、第１のユーザは、サンプリングパラメータの第１のセットに基づく少なくとも１つの第１の画像を受信すること、少なくとも１つの第１の画像に関連付けられた少なくとも１つの顔を識別すること、および少なくとも１つの顔が認可されたユーザであると判定すること、によって、認証される。認証に基づいて、第１のユーザは、第１の車両にアクセスすることを許可される。さらに、第１のユーザに関する第１の車両の使用が検証され、検証に応答して、第１のユーザによる第１の車両の操作が可能になる。
図１は、１つの可能な実施形態による、ユーザ認可に基づく動作を可能にするための例示的な方法１００を示す。
示されるように、第１のユーザ（例えば、人）は、サンプリングパラメータの第１のセットに基づく少なくとも１つの第１の画像を受信し、少なくとも１つの第１の画像に関連付けられた少なくとも１つの顔を識別し、少なくとも１つの顔が認可されたユーザ（潜在的な車両オペレータ、運転者、乗客、または乗員）であると判定することによって認証される。動作１０２を参照されたい。一実施形態では、少なくとも１つの顔は、顔モデルを作成すること、および顔モデルを認可された顔モデルのデータベースと比較することによって識別され得る。認可された顔モデルのデータベースは、ローカル（例えば、車両）に、またはリモート（例えば、リモートサーバ）に存在してもよい。さらに、少なくとも１つの顔は、少なくとも１つの深度マップ、少なくとも１つの画像のテクスチャマップ表現、またはそれらの組み合わせを使用することによって識別され得る。
一実施形態では、顔モデルは、画像深度マップ、画像表面テクスチャマップ、オーディオマップ、相関マップ、またはそれらの組み合わせを含み得る、および／またはそれらから導出し得る。相関マップは、オーディオ情報（例えば、音声学、イントネーション、および／または感情的な声の変化など）を、視覚情報（例えば、顔の表情、口の位置など）と関連付けることができる。
第１のユーザは、サンプリングパラメータの第２のセットに基づく少なくとも１つの第２の画像を受信すること、および少なくとも１つの第１の画像と少なくとも１つの第２の画像とをブレンド（混合）して、ブレンドされた画像を形成すること（例えば、高ダイナミックレンジ画像、融合されたマルチスペクトル画像、融合された画像のセット、またはフラッシュ画像と周囲画像とを組み合わせた融合された画像を生成すること）によって、さらに認証され得る。少なくとも１つの第１の画像は、少なくとも１つの第２の画像と位置合わせされ得る。
一実施形態では、サンプリングパラメータの第１のセットは、周囲露光に関連してもよく、サンプリングパラメータの第２のセットに基づく少なくとも１つの第２の画像が受信されてもよく、サンプリングパラメータの第２のセットは、ストロボ露光に関連してもよい。サンプリングパラメータの第１のセットは、露光座標を含んでもよい。一実施形態では、露光座標は、露光のサンプリングパラメータを計算するために計測され得る、１つ以上の関心のある露光ポイントを定義する。一実施形態では、露光座標のうちの１つ以上は、（例えば、第１のユーザの）少なくとも１つの顔を境界づける少なくとも１つの第１の画像の領域内に配置される。
さらに、第１のユーザは、オーディオ入力を受信し、このオーディオ入力を認可されたユーザのオーディオシグネチャと比較することによって、かつ／または虹彩スキャンを受信し、この虹彩スキャンを認可されたユーザの虹彩スキャンと比較することによって、さらに認証され得る。一実施形態では、ユーザは、オーディオ入力を提供するために１つ以上の単語を発話する。さらに、ユーザは、ビデオカメラが動いているユーザの顔をサンプリングしている間に、１つ以上の単語を発話することができ、次いで、動いているユーザの顔の分析は、部分的に（例えば、オーディオ入力と組み合わせて）使用してユーザを認証することができる。別の実施形態では、ユーザが１つ以上の単語を発話する間、虹彩（または網膜）スキャンが実施される。次いで、部分的に、虹彩／網膜スキャンを使用してユーザを認証してもよい。
さらにまた、第１のユーザは、近距離無線通信（ＮＦＣ）セキュリティデバイスなどのセカンダリデバイスを使用してさらに認証されてもよい。ＮＦＣセキュリティデバイスは、カードエミュレーションモードで動作するように構成されてもよい。一実施形態では、ＮＦＣセキュリティデバイスは、ＮＦＣ対応クレジットカードを含み得る。さらに別の実施形態では、ＮＦＣセキュリティデバイスは、スマートキーを含み得る。さらにまた別の実施形態では、セカンダリデバイスは、キーフォブデバイスを含み得る。第１のユーザは、セカンダリデバイスと組み合わせてオーディオシグネチャによってさらに認証され得る。
認証に基づいて、第１のユーザは、第１の車両にアクセスすることを許可される。動作１０４を参照されたい。さらに、第１のユーザに関する第１の車両の使用が検証される。動作１０６を参照されたい。一実施形態では、第１の車両の使用は、ジオフェンス、車両の状態、道路の状態、ユーザの状態、またはユーザ制限ルールのうちの少なくとも１つを使用して検証され得る。
さらに、検証に応答して、第１のユーザによる第１の車両の操作が可能になる。動作１０８を参照されたい。一実施形態では、第１の車両が非準拠な方式で操作されていると判定されてもよく、それに応じて、第２のユーザに報告が提供されてもよい。一実施形態では、非準拠な方式は、報告に応答した第２のユーザからのフィードバックに基づいて上書きされても（例えば、許可されても）よい。様々なシナリオでは、認証されていない個人は、車両へのアクセスを許可されないか、または車両を使用することが検証されていない個人は、使用を拒否されるなどの可能性がある。
加えて、第１の車両の使用は、第１の車両の１人またはすべての乗員に基づいて制限され得、乗員の各乗員は、別個の乗員プロファイル（例えば、顔認識／顔認証のための顔モデル）を有する。第１の車両は、乗員のすべての乗員プロファイルの組み合わせに基づいて、制限なしで、または少なくとも１つの制限付きで可能にされ得、少なくとも１つの制限は、時間制限、最高速度制限、経路制限、位置制限、乗客制限、または運転者制限のうちの少なくとも１つを含む。様々な実施形態では、車両が認可されているかどうかは任意のブール結合（Ｂｏｏｌｅａｎ ｃｏｍｂｉｎａｔｉｏｎｓ）によって定義され得る。例えば、特定の運転者（例えば、仮免許はあるが運転免許のないティーンエイジャー）は、必要な同乗者のリストから少なくとも１人の同乗者（親または年上のきょうだい）を必要とする場合がある。別の例では、特定の運転者（免許のあるティーンエイジャー）は、制限された人物（例えば、運転者の親によって制限された気晴らしの友人、または車両に既知でない知らない人）と共に車両を操作してはならない場合がある。そのようなブール結合、または必要とされる人物および／または制限された人物は、本明細書に開示される任意の適用可能な方法に適用され得る。さらに、そのような組み合わせは、一般に、地理的制限、ジオフェンス制限、および／または走行ルート（ｄｒｉｖｉｎｇ ｃｏｒｒｉｄｏｒ）の制限を管理するために適用され得る。
次に、ユーザおよび／または製造業者の要望に従って、前述の方法が実装されるか否かにかかわらず、様々な任意選択のアーキテクチャおよび使用に関して、より例示的な情報を説明する。以下の情報は、例示の目的のために記載するものであり、いかなる方式においても限定的であると解釈されるべきではないことに強く留意されたい。以下の特徴のいずれも、記載する他の特徴を除外するかしないかに関わらず、任意選択的に組み込まれてよい。
図２は、ユーザ認可に基づいて車両の操作を可能にするための方法２００を示す。任意選択として、方法２００は、任意の先行のおよび／または後続の図面および／またはその説明に示される実施形態のうちの任意の１つ以上の文脈において実装されてもよい。ただし、当然のことながら、方法２００は、任意の所望の環境の文脈において実装されてもよい。さらに、上記の定義は、以下の説明にも同様に適用され得る。
方法２００は、車両の文脈における認可を説明するが、方法２００が、ドローンの使用、建物、壁、部屋、または他の物理的な場所もしくは障壁への入り口、デバイスの使用、および／またはセキュリティ関連システムなどを含む、認可が生じ得る任意の文脈または状況に対して同様に適用され得ることを理解されたい。
示されるように、方法２００は、認可されたユーザが車両に入るのを許される動作２０２で開始する。本説明の文脈において、認可されたユーザには、許可または認可を有するユーザが含まれる。様々な実施形態では、動作２０２は、以下に記載する方法４００、方法４０１、方法４０３、方法４０５、および／または方法４０７のいずれかまたはすべてに基づいて、ユーザが車両に入るのを許すかどうかを判定し得る。一実施形態では、動作２０２は、セカンダリデバイス、生体認証特性、および／または写真システムを含む任意の検出システムを使用してもよい。
次に、認可されたユーザによって車両の使用が検証される。動作２０４を参照されたい。様々な実施形態では、動作２０４は、以下に記載する方法５００、方法５０１、方法５０３、方法５０５、および／または方法５０７のいずれかまたはすべてに基づいて、認可されたユーザによる車両の使用を検証し得る。車両の使用を検証することには、車両の使用が車両の運転を含む場合、認可されたユーザが許容可能な化学状態にある（例えば、酔っていない）、および／または許容可能な感情状態にある（例えば、眠気を催していない、または怒っていない）、という判定が含まれてもよい。
車両の操作が可能になる。動作２０６を参照されたい。様々な実施形態では、動作２０６は、以下に記載する方法６００、方法６０１、および／または方法６０３のいずれかまたはすべてに基づいて、車両の動作を可能にし得る。
操作が準拠しているかどうかを判定する。判定２０８を参照されたい。判定２０８が準拠である場合、方法２００は、動作を継続するかどうかが判定される判定２１２に進む。判定２０８が非準拠である場合、方法２００は、非準拠表示が報告される動作２１０に進み、その後、本方法は判定２１２に進む。判定２１２が続く場合、方法２００は判定２０８に戻り、そうでない場合、方法２００は終了する。
様々な実施形態では、操作が準拠しているかどうかを判定することには、車両が所定の経路に従っているかどうかを判定すること、車両が所定のジオフェンス内にあるかどうかを判定すること、車両が所定の時間内に操作されているかどうかを判定すること、車両が所定の最高（または最低）速度で操作されているかどうかを判定すること、車両が所定の道路範囲の速度制限で操作されているかどうかを判定すること、車両が交通標識および／または交通信号灯に従って動作しているかどうかを判定すること、車両が事前承認された乗員（運転者以外の、または運転者の座席に座っているユーザ）を含むかどうかを判定すること、車両が禁止されている乗員を含まないかどうかを判定すること、などのうちの１つ以上が含まれてもよい。
一実施形態において、準拠性は上書きされ得る。例えば、一実施形態では、非準拠表示が親（例えば、車両の管理者）に報告されていることに応答して、親は、認可しなければ非準拠となる新たな目的地に進む認可を提供することができる。さらに、別の実施形態では、車両の１つ以上の状態は、意図的な非準拠を促すことができる。例えば、ガスまたは電力レベルが所定の閾値を下回る場合がある、現在の事前承認された経路上の事故が、そうでなければ承認されない可能性のある新しい経路を承認するように促す場合がある、または現在の事前承認された経路に沿った時間遅延が、そうでなければ承認されない可能性のある新しい経路を承認するように促す場合がある、などである。
さらに、非準拠表示／報告は、障害報告（例えば、車両の機械的な問題）、メッセージ（電子メール、ＳＭＳなど）、ログエントリなど、または他の任意の技術的に実現可能なメッセージもしくは通知を含む、任意の非準拠表示を含んでもよい。一実施形態では、非準拠表示は、例えば、認可されたユーザ、所定のユーザ（親または保護者など）などを含む１人以上のユーザに送信されてもよい。
さらに、追加の実施形態では、継続するかどうかを決定することには、認可されたユーザが車両の運転席にいるかどうか（車両の運転者であるかどうか）を判定すること、門限を超過したかどうかを判定すること、車両の乗員が変更されたかどうかを判定すること、（車両が有効化される前に）任意の以前の条件が変更されたかどうかを決定すること、親から準拠基準の例外を受け取ることなど、のうちの１つ以上が含まれてもよい。
一実施形態において、方法２００は、以前に集められたデータに基づいて構築されてもよい。このようにして、方法２００を実施するシステムは、以前に完了したアクションおよび／または集められたメトリクスから学習し得る。例えば、第１のユーザは、車両を繰り返し使用して、仕事を往復する場合がある。車両の日々の使用状況に応じて、日々の写真（車両に入るのを許す認可のための）は、様々な環境、照明、髪型などで撮影される可能性がある。時間の経過と共に、ユーザを認可する時間は減少し得、かつ／または認可されたユーザの外観の多様性は、認可されたユーザが存在するというより正確な判定を可能にするより大きなデータセットに基づいて増加し得る。任意の技術的に実現可能な機械学習または他の適応技術が、この文脈に適用され得る。
さらに、方法２００は、運転経験認識に関することができる。例えば、方法２００は、認可されたユーザが入るのを許されることに基づいて、カスタマイズされた設定セットが適用されることを可能にしてもよい。例えば、他に制限のない、車両の初めてのユーザは、車両制御および操作特権の無制限の使用を有してもよく、一方で、すでに制限が適用されている（例えば、親によって設定されている）若者は、制限された操作特権を有し得る。そのような車両制御および／または操作特権には、最大加速度、衝突防止ブレーキを起動するためのブレーキ速度距離境界、最大速度（または道路最高速度制限の一部）、劣化した道路状態（例えば、雨、雪、氷）でのより低い最大速度および加速などが含まれ得るが、これらに限定されない。
別の例として、方法２００は、文脈認識を可能にし得る。例えば、時間帯（朝、真昼、夜）、車両の位置、車両に認められる乗員の数、ユーザの状態（例えば、酔っていないなど）、接続状態、および／または近くのデバイスを、車両を文脈的に認識するための入力として使用してもよい。そのような入力は、車両に入る許可、車両の使用の検証、車両の操作制御制限、および準拠性判定を誘導するために使用されてもよい。
一実施形態では、本明細書に記載される技術は、初期製造時に車両に組み込まれたシステムによって実施され得る。他の実施形態では、本技術は、初期製造後に車両にインストールされたアップグレードキットによって実施され得る。アップグレードキットは、本明細書に記載の様々なシステム要素のいずれかまたはすべてを含んでもよい。さらに他の実施形態では、本技術は、少なくとも部分的に、スマートフォンなどのユーザデバイスによって実施されてもよい。
図３Ａは、一実施形態による、デジタル写真システム３００を示す。任意選択として、デジタル写真システム３００は、本明細書に開示される図面のいずれかの詳細の文脈において実装されてもよい。ただし、当然のことながら、デジタル写真システム３００は、任意の所望の環境において実装されてもよい。さらに、上記の定義は、以下の説明にも同様に適用され得る。
示されるように、デジタル写真システム３００は、相互接続３３４を介してカメラモジュール３３０に結合されたプロセッサ複合体３１０を含んでもよい。一実施形態では、プロセッサ複合体３１０は、ストロボユニット３３６に結合されている。また、デジタル写真システム３００は、限定されないが、表示ユニット３１２、入力／出力デバイス３１４のセット、不揮発性メモリ３１６、揮発性メモリ３１８、無線ユニット３４０、およびセンサデバイス３４２を含んでもよく、各々はプロセッサ複合体３１０に結合されている。一実施形態では、電力管理サブシステム３２０は、デジタル写真システム３００内の各電気負荷要素に対して適切な電源電圧を生成するように構成されている。電池３２２は、電力管理サブシステム３２０に電気エネルギーを供給するように構成されてもよい。電池３２２は、一次電池技術または充電式電池技術を含む、任意の技術的に実現可能なエネルギー貯蔵システムを実装してもよい。当然のことながら、他の実施形態では、追加のもしくはより少ない特徴、ユニット、デバイス、センサ、またはサブシステムがシステムに含まれてもよい。さらに、電池３２２および／または任意の他の電力源は、デジタル写真システム３００の外側に物理的に配置されてもよい。
一実施形態では、ストロボユニット３３６は、デジタル写真システム３００によって実施される画像サンプルイベント中に、ストロボ照明３５０を提供するように構成されてもよい。ストロボユニット３３６は、１つ以上のＬＥＤデバイス、ガス放電照明器（例えば、キセノンストロボデバイス、キセノンフラッシュランプなど）、または任意の他の技術的に実現可能な照明デバイスを含んでもよい。ある特定の実施形態では、２つ以上のストロボユニットが画像のサンプリングと併せてストロボ照明を同期して生成するように構成される。一実施形態では、ストロボユニット３３６は、ストロボ照明３５０を放射するかまたはストロボ照明３５０を放射しないかのいずれかのために、ストロボ制御信号３３８を通して制御される。ストロボ制御信号３３８は、任意の技術的に実現可能な信号伝送プロトコルを使用して実装されてもよい。ストロボ制御信号３３８は、ストロボ照明３５０の指定された強度および／または色を生成するようストロボユニット３３６に指示するための、ストロボパラメータ（例えば、ストロボ強度、ストロボ色、ストロボ時間など）を示し得る。ストロボ制御信号３３８は、プロセッサ複合体３１０、カメラモジュール３３０によって、またはその他の任意の技術的に実行可能なそれらの組み合わせによって生成されてもよい。一実施形態では、ストロボ制御信号３３８は、プロセッサ複合体３１０内のカメラインタフェースユニット（図示せず）によって生成され、ストロボユニット３３６およびカメラモジュール３３０の両方に伝送される。別の実施形態では、ストロボ制御信号３３８は、カメラモジュール３３０によって生成され、相互接続３３４を介してストロボユニット３３６に伝送される。一実施形態では、ストロボユニット３３６は、赤外線および／または紫外線を生成し、実質的に可視光を生成しないように構成される。別の実施形態では、ストロボユニット３３６は、可視光を生成するように構成されている（または可視光を生成する）。
写真シーン内のオブジェクトから反射されたストロボ照明３５０の少なくとも一部分を含み得る光学シーン情報３５２は、カメラモジュール３３０内の画像センサ３３２上に光学画像として集束される。画像センサ３３２は、光学画像の電子表現を生成する。電子表現は、空間色強度情報を含み、この情報は異なる色強度サンプル（例えば、赤色、緑色、および青色、赤外線、紫外線など）を含み得る。他の実施形態では、空間色強度情報は、白色光についてのサンプルも含んでいてもよい。電子表現は、任意の技術的に実現可能な信号伝送プロトコルを実装し得る相互接続３３４を介して、プロセッサ複合体３１０に伝送される。
一実施形態では、入力／出力デバイス３１４は、容量性タッチ入力面、抵抗性タブレット入力面、１つ以上のボタン、１つ以上のノブ、発光デバイス、光検出デバイス、音声発光デバイス、音声検出デバイス、またはユーザ入力を受信してこの入力を電気信号に変換するか、もしくは電気信号を物理信号に変換するための他の任意の技術的に実現可能なデバイスを含み得るが、これらに限定されない。一実施形態では、入力／出力デバイス３１４は、表示ユニット３１２に結合された静電容量式タッチ入力面を含む。タッチエントリ表示システムは、表示ユニット３１２と、これもまたプロセッサ複合体３１０に結合された静電容量タッチ入力面とを含んでもよい。
さらに、他の実施形態では、不揮発性（ＮＶ）メモリ３１６は、電力が遮断されたときにデータを格納するように構成される。一実施形態では、ＮＶメモリ３１６は、１つ以上のフラッシュメモリデバイス（例えば、ＲＯＭ、ＰＣＭ、ＦｅＲＡＭ、ＦＲＡＭ、ＰＲＡＭ、ＭＲＡＭ、ＮＲＡＭなど）を含む。ＮＶメモリ３１６は、非一時的なコンピュータ可読媒体を含み、非一時的なコンピュータ可読媒体は、プロセッサ複合体３１０内の１つ以上の処理ユニットによって実行されるプログラミング命令を含むように構成されてもよい。プログラミング命令は、オペレーティングシステム（ＯＳ）、ＵＩソフトウェアモジュール、画像処理および記憶ソフトウェアモジュール、プロセッサ複合体３１０に接続された１つ以上の入力／出力デバイス３１４、カメラモジュール３３０を通して画像スタックをサンプリングするための１つ以上のソフトウェアモジュール、画像スタックまたは画像スタックから生成された１つ以上の合成画像を表示ユニット３１２を通して提示するための１つ以上のソフトウェアモジュールを実装し得るが、これらに限定されない。一例として、一実施形態では、プログラミング命令はまた、画像スタック内の画像または画像の一部をマージし、画像スタック内の各画像の少なくとも一部分を位置合わせするための１つ以上のソフトウェアモジュール、またはそれらの組み合わせを実装し得る。別の実施形態では、プロセッサ複合体３１０は、プログラミング命令を実行するように構成されてもよく、プログラミング命令は、高ダイナミックレンジ（ＨＤＲ）画像、融合されたマルチスペクトル画像、融合された周囲およびフラッシュ画像、赤外線画像（例えば、短波、中波、および／もしくは長波）、紫外線画像、または１つ以上の画像および／もしくは１つ以上の融合された画像（例えば、非可視光画像と融合された可視光画像）を含む画像スタックを作成するように動作可能な１つ以上のソフトウェアモジュールを実装してもよい。一実施形態では、画像スタックおよび／または結果として生じる融合された画像は、融合された画像からシーンの三次元（３Ｄ）モデルを生成するようにさらに処理される。このようにして、例えば、赤外線画像データを可視画像データと融合して、表面テクスチャとしての熱着色（温度ベースの偽色）を有するシーンオブジェクトの詳細な３Ｄ幾何学モデルを生成することができる。シーンオブジェクトが人物の顔を含む場合、熱着色は、人物が病気であるかどうか（発熱または低体温を起こしているかどうか）を示し得る。さらに、そのような幾何学モデルは、認証目的などの特定の個人を識別するために使用されてもよい。
さらにまた、一実施形態では、ＮＶメモリ３１６を含む１つ以上のメモリデバイスが、ユーザによってインストールまたは除去されるように構成されたモジュールとしてパッケージ化され得る。一実施形態では、揮発性メモリ３１８は、プログラミング命令、画像スタックに関連付けられたデータなどの画像データなどを一時的に格納するように構成された、デジタル写真システム３００の通常動作の過程中にアクセスされる動的ランダムアクセスメモリ（ＤＲＡＭ）を含む。当然のことながら、揮発性メモリは、プロセッサ複合体３１０に取り付けられた他の任意の入力／出力デバイス３１４またはセンサデバイス３４２と関連付けられて、任意の方式で使用されてもよい。
一実施形態では、センサデバイス３４２は、動きおよび／または向きを検出するための加速度計、動きおよび／または向きを検出するための電子ジャイロスコープ、向きを検出するための磁束検出器、地理的位置を検出するための全地球測位システム（ＧＰＳ）モジュール、またはそれらの任意の組み合わせのうちの１つ以上を含んでもよいが、これらに限定されない。当然のことながら、動き検出センサ、近接センサ、ＲＧＢ光センサ、赤外線検出器、ジェスチャセンサ、３Ｄ入力画像センサ、圧力センサ、および室内位置センサを含むがこれらに限定されない他のセンサが、センサデバイスとして統合されてもよい。一実施形態では、センサデバイスは、入力／出力デバイス３１４の一例であり得る。
無線ユニット３４０は、デジタルデータを送受信するように構成された１つ以上のデジタルラジオを含むことができる。特に、無線ユニット３４０は、無線規格（例えば、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ、ＮＦＣなど）を実装してもよく、データ通信のためのデジタル携帯電話規格（例えば、ＣＤＭＡ、３Ｇ、４Ｇ、ＬＴＥ、ＬＴＥ－Ａｄｖａｎｃｅｄなど）を実装してもよい。当然のことながら、任意の無線規格またはデジタル携帯電話規格が使用されてもよい。
一実施形態では、デジタル写真システム３００は、１つ以上のデジタル写真（例えば、静止画像、ビデオ映像）を、無線ユニット３４０を介してネットワークベース（オンライン）または「クラウドベースの」写真メディアサービスに伝送するように構成される。１つ以上のデジタル写真は、ＮＶメモリ３１６もしくは揮発性メモリ３１８、またはプロセッサ複合体３１０に関連付けられた他の任意のメモリデバイスのいずれか内に存在し得る。一実施形態では、ユーザは、オンライン写真メディアサービスにアクセスするための、ならびにオンライン写真媒体サービスに格納する、オンライン写真媒体サービスから取得する、およびオンライン写真メディアサービスによって提示するために１つ以上のデジタル写真を送信するための、認証情報を所有してもよい。認証情報は、デジタル写真を送信する前に、デジタル写真システム３００内に格納または生成され得る。特定の実施形態では、１つ以上のデジタル写真が、オンライン写真メディアサービスと関連付けられたサーバに伝送された画像データ（例えば、画像スタック、ＨＤＲ画像スタック、画像パッケージなど）に基づいてオンライン写真メディアサービスによって生成される。そのような実施形態では、ユーザは、オンライン写真メディアサービスによる処理のために、デジタル写真システム３００からの１つ以上のソース画像をアップロードしてもよい。
別の実施形態では、デジタル写真システム３００は、１つ以上のデジタル写真をモバイルデバイス（例えば、スマートフォン）に伝送するように構成されている。スマートフォンは、乗客コンパートメント内など、車両に位置してもよい。さらに、車両は、例えば無線ユニット３４０によって提供される直接無線リンクを使用して、スマートフォンと直接通信してもよい。一実施形態では、スマートフォンは、モバイル無線キャリアとの接続時、または適切なローカルＷｉＦｉアクセスポイントとの接続時に、１つ以上のデジタル写真をネットワークベースまたは「クラウドベースの」写真メディアサービスに格納およびアップロードすることができる。
一実施形態では、デジタル写真システム３００は、カメラモジュール３３０の少なくとも１つのインスタンスを含む。別の実施形態では、デジタル写真システム３００は、複数のカメラモジュール３３０を含む。そのような実施形態はまた、複数のカメラモジュール３３０によって複数のビューとしてサンプリングされた写真シーンを照明するように構成された少なくとも１つのストロボユニット３３６を含み得る。複数のカメラモジュール３３０は、広角ビュー（例えば、カメラ間の掃引４５度を超える）をサンプリングして、例えば、車両内の前部座席（例えば運転者および乗客）のすべての人物の掃引ビューをキャプチャするために合成開口写真を生成するように構成されてもよい。追加の合成開口写真を生成して、車両内の後部座席のすべての乗客の掃引ビューをキャプチャしてもよい。代替的に、各カメラモジュール３３０からの個々のビューが別々に処理されてもよい。一実施形態では、複数のカメラモジュール３３０は、車両の認可されたユーザとして提示される個人の虹彩スキャンおよび／または網膜スキャンを生成するために、２つ以上の狭い角度ビュー（例えば、カメラ間の掃引が４５度未満）をサンプリングするように構成されてもよい。他の実施形態では、複数のカメラモジュール３３０は、例えば、車両の認可されたユーザとして提示する人物の顔モデルを生成するために、３Ｄ画像を生成するように構成されてもよい。
一実施形態では、表示ユニット３１２は、表示のための画像を形成するために、画素の二次元配列を表示するように構成されてもよい。表示ユニット３１２は、液晶表示（ＬＣＤ）装置、発光ダイオード表示装置（ＬＥＤ）、有機ＬＥＤ表示装置、または他の任意の技術的に実現可能な種類の表示装置を含んでもよい。特定の実施形態では、表示ユニット３１２は、単一のＨＤＲ画像内で、または多重露光もしくはＨＤＲ画像スタックを含む２つ以上の画像のセットにわたってなどで、写真シーンからサンプリングされた完全な範囲の強度値よりも狭いダイナミックレンジの画像強度値を表示することが可能であり得る。一実施形態では、画像スタックを含む画像は、任意の技術的に実現可能なＨＤＲおよび／またはマルチスペクトル融合もしくはブレンド技術に従ってマージされて、表示ユニット３１２のダイナミックレンジ制約内で処理および／または表示するための合成画像を生成してもよい。一実施形態では、制限されたダイナミックレンジは、対応する色強度の色チャネルごとに８ビットのバイナリ表現を指定してもよい。他の実施形態では、制限されたダイナミックレンジは、色チャネルごとに８ビット超（例えば、１０ビット、１２ビット、または１４ビットなど）のバイナリ表現を指定してもよい。
図３Ｂは、一実施形態による、デジタル写真システム内のプロセッサ複合体を示す。一実施形態では、プロセッサ複合体は、図３Ａのデジタル写真システム３００内にプロセッサ複合体３１０を含む。任意選択として、プロセッサ複合体３１０は、本明細書に開示される図面のいずれかの詳細の文脈において実装されてもよい。ただし、当然のことながら、プロセッサ複合体３１０は、任意の所望の環境において実装されてもよい。さらに、上記の定義は、以下の説明にも同様に適用され得る。
示されるように、プロセッサ複合体３１０は、プロセッササブシステム３６０を含み、メモリサブシステム３６２を含んでもよい。一実施形態では、プロセッサ複合体３１０は、プロセッササブシステム３６０を実装するシステムオンチップ（ＳｏＣ）デバイスを含んでもよく、メモリサブシステム３６２は、プロセッササブシステム３６０に結合された１つ以上のＤＲＡＭデバイスを含む。別の実施形態では、プロセッサ複合体３１０は、ＳｏＣデバイスと、メモリサブシステム３６２を含む１つ以上のＤＲＡＭデバイスとをカプセル化するマルチチップモジュール（ＭＣＭ）を含んでもよい。
プロセッササブシステム３６０は、１つ以上の中央処理装置（ＣＰＵ）コア３６７、メモリインタフェース３６３、入力／出力インタフェースユニット３６５を含み得るがこれらに限定されず、これらの各々は、相互接続３６６に結合されている。プロセッササブシステム３６０はまた、表示インタフェースユニット３６４を含み得る。１つ以上のＣＰＵコア３６７は、メモリサブシステム３６２、揮発性メモリ３１８、ＮＶメモリ３１６、またはそれらの任意の組み合わせ内に存在する命令を実行するように構成されてもよい。１つ以上のＣＰＵコア３６７の各々は、相互接続３６６およびメモリインタフェース３６３を介してデータを取り出し、格納するように構成されてもよい。一実施形態では、１つ以上のＣＰＵコア３６７の各々は、データキャッシュおよび命令キャッシュを含んでもよい。加えて、２つ以上のＣＰＵコア３６７は、データキャッシュ、命令キャッシュ、またはそれらの任意の組み合わせを共有してもよい。一実施形態では、キャッシュ階層は、各ＣＰＵコア３６７にプライベートキャッシュ層、および共有キャッシュ層を提供するように実装される。
いくつかの実施形態では、プロセッササブシステム３６０は、１つ以上のグラフィックス処理装置（ＧＰＵ）コア３６８を含んでもよい。各ＧＰＵコア３６８は、グラフィックス加速機能を実装するがこれに限定されないようにプログラムされ得る、複数のマルチスレッド実行ユニットを含んでもよい。様々な実施形態では、ＧＰＵコア３６８は、周知の標準（例えば、ＯｐｅｎＧＬ（商標）、ＷｅｂＧＬ（商標）、ＯｐｅｎＣＬ（商標）、ＣＵＤＡ（商標）など）、および／またはＧＰＵをプログラミングするための他の任意の言語に従って、マルチスレッドプログラムを実行するように構成されていてもよい。特定の実施形態では、少なくとも１つのＧＰＵコア３６８が、周知のＨａｒｒｉｓ検出器または周知のＨｅｓｓｉａｎ－Ｌａｐｌａｃｅ検出器などの動き推定機能の少なくとも一部分を実装する。このような動き推定機能は、マージまたは融合された画像を生成する前に、画像スタック内の画像または画像の一部を位置合わせさせるために、少なくとも部分的に使用されてもよい。例えば、一実施形態では、ＨＤＲ画像が画像スタックに基づいてコンパイルされてもよく、ＨＤＲ画像をコンパイルする前に、２つ以上の画像が最初に位置合わせさせられる。特定の実施形態では、ＧＰＵコア３６８および／またはＣＰＵコア３６７は、推論動作を実施するための畳み込みニューラルネットワークなどのニューラルネットワーク構造を実装するようにプログラムされ得るか、またはそうでなければそのように構成され得る。そのような動作は、オブジェクト識別、シーンセグメンテーション、シーン脱構築（ｓｃｅｎｅ ｄｅｃｏｎｓｔｒｕｃｔｉｏｎ）などを提供し得る。他の実施形態では、プログラマブルなおよび／または固定機能のデジタル信号プロセッサ（ＤＳＰ）、アプリケーション処理装置（ＡＰＵ）、ニューラルネットワークプロセッサ（例えば、ハードウェア支援ニューラルネットワーク機能ユニット）などの、これらに限定されない特殊目的プロセッサ（図示せず）が、プロセッサ複合体３１０内に含まれてもよく、かつ本明細書に開示される方法の特定の全体的な方法ステップを実行してもよい。
示されるように、相互接続３６６は、メモリインタフェース３６３、表示インタフェースユニット３６４、入力／出力インタフェースユニット３６５、ＣＰＵコア３６７、およびＧＰＵコア３６８の間でデータを伝送するように構成されている。様々な実施形態では、相互接続３６６は、１つ以上のバス、１つ以上のリング、クロスバー、メッシュ、または他の任意の技術的に実現可能なデータ伝送構造もしくはデータ伝送技術を実装してもよい。メモリインタフェース３６３は、メモリサブシステム３６２を相互接続３６６に結合するように構成されている。メモリインタフェース３６３はまた、ＮＶメモリ３１６、揮発性メモリ３１８、またはそれらの任意の組み合わせを、相互接続３６６に結合することができる。表示インタフェースユニット３６４は、表示ユニット３１２を相互接続３６６に結合するように構成されてもよい。表示インタフェースユニット３６４は、特定のフレームバッファ機能（例えば、フレームリフレッシュなど）を実装してもよい。代替的に、別の実施形態では、表示ユニット３１２が特定のフレームバッファ機能（例えば、フレームリフレッシュなど）を実装してもよい。入力／出力インタフェースユニット３６５は、様々な入力／出力デバイスを相互接続３６６に結合するように構成されてもよい。一実施形態では、カメラインタフェースユニット３６９は、相互接続３３４を介して１つ以上のカメラモジュール３３０と通信するように構成され得、各相互接続３３４は、各々が１つ以上の高速シリアル接続を含み得る。カメラインタフェースユニット３６９は、入力／出力インタフェース回路、ならびにカメラモジュール３３０と通信するための任意の関連する通信ステートマシンおよび／またはバッファを含んでもよい。任意選択的に、カメラインタフェースユニット３６９は、１つ以上のストロボユニット３３６に制御信号を伝送するように構成されてもよい。
特定の実施形態では、カメラモジュール３３０は、画像スタックに関連付けられた各画像をサンプリングするための露光パラメータを格納するように構成されている。例えば、一実施形態では、写真シーンをサンプリングするように指示されると、カメラモジュール３３０は、格納された露光パラメータに従って画像スタックを含む画像のセットをサンプリングし得る。プロセッサ複合体３１０内で実行されるプログラミング命令を含むソフトウェアモジュールは、カメラモジュール３３０に画像スタックをサンプリングするように指示する前に、露光パラメータを生成し、格納してもよい。他の実施形態では、カメラモジュール３３０を使用して画像または画像スタックを計測してもよく、プロセッサ複合体３１０内で実行されるプログラミング命令を含むソフトウェアモジュールは、カメラモジュール３３０に画像をキャプチャするように指示する前に、計測パラメータを生成し、格納してもよい。当然のことながら、カメラモジュール３３０は、プロセッサ複合体３１０と組み合わせて任意の方式で使用されてもよい。
一実施形態では、画像スタックを含む画像に関連付けられた露光パラメータは、１つ以上の画像についての露光パラメータを含む露光パラメータデータ構造内に格納され得る。別の実施形態では、カメラインタフェースユニット３６９は、露光パラメータデータ構造から露光パラメータを読み出し、写真シーンのサンプリング準備のために、関連付けられた露光パラメータをカメラモジュール３３０に伝送するように構成されてもよい。カメラモジュール３３０が露光パラメータに従って構成された後、カメラインタフェースは、カメラモジュール３３０に写真シーンをサンプリングするように指示してもよく、次いで、カメラモジュール３３０は、対応する画像スタックを生成してもよい。露光パラメータデータ構造は、カメラインタフェースユニット、プロセッサ複合体３１０内のメモリ回路、揮発性メモリ３１８、ＮＶメモリ３１６、カメラモジュール３３０、または他の任意の技術的に実現可能なメモリ回路の内部に格納されてもよい。さらに、別の実施形態では、プロセッサ複合体３１０内で実行されるソフトウェアモジュールは、露光パラメータデータ構造を生成し、格納してもよい。
図３Ｃは、一実施形態による、画像をサンプリングし、画像のデジタル表現をプロセッサ複合体３１０に伝送するように構成されたカメラモジュール３３０を示す。任意選択として、プロセッサ複合体３１０および／またはカメラモジュール３３０は、本明細書に開示される図面のいずれかの詳細の文脈において実装されてもよい。ただし、当然のことながら、カメラモジュール３３０は、任意の所望の環境において実装されてもよい。さらに、上記の定義は、以下の説明にも同様に適用され得る。
一実施形態では、カメラモジュール３３０は、ストロボ制御信号３３８Ｃを介してストロボユニット３３６を制御するように構成されてもよい。示されるように、レンズ３３１は、光学シーン情報３５２をサンプリング対象の画像センサ３３２上に合焦するように構成されている。一実施形態では、画像センサ３３２（またはカメラモジュール３３０内の他の任意の回路）は、ストロボ制御信号３３８Ｃを介してストロボユニット３３６の詳細なタイミングを有利に制御して、ストロボユニット３３６が有効な状態でサンプリングされた画像と、ストロボユニット３３６が無効な状態でサンプリングされた画像との間のサンプル間時間を短縮する。例えば、画像センサ３３２は、周囲画像をサンプリングし、その後、ストロボ画像をサンプリングしてもよく、周囲画像およびストロボ画像をサンプリングするプロセス中に、画像センサ３３２は、ストロボユニット３３６が、周囲画像とストロボ画像との間の露光時間の開始時間と終了時間との間の任意の所望の時間オフセットでストロボ照明３５０を発光させることを可能にし得る。例えば、画像センサ３３２は、画像センサ３３２が周囲画像のサンプリングに関連付けられた露光時間を完了した後、ストロボユニット３３６を１マイクロ秒未満（または任意の所望の期間）、有効にしてもよい。一実施形態では、ストロボユニット３３６は、ストロボ画像をサンプリングする前に有効にされる。他の実施形態では、画像センサ３３２が、周囲画像をサンプリングするための露光時間を開始する（または完了する）前にストロボユニット３３６を無効にした（例えば、オフにした）状態で、最初にストロボ画像がサンプリングされ、続いて周囲画像がサンプリングされる。特定の実施形態では、周囲画像は、周囲画像のそれぞれの露光時間の一部の間にストロボユニット３３６が有効にされた状態でサンプリングされ得る。
特定の実施形態では、ストロボ照明３５０は、所望の１つ以上のターゲットポイントに基づいて構成され得る。例えば、一実施形態では、ストロボ照明３５０は、前景内のオブジェクトを照らしてもよく、露光時間の長さに依存して、ストロボ照明３５０は、画像の背景内のオブジェクトも照らしてもよい。そのような例では、１つ以上のターゲットポイントでの露光計測は、露光時間、露出感度、ストロボ強度、ストロボ持続時間、またはそれらの組み合わせを決定し得るが、これらに限定されない。一実施形態では、ストロボユニット３３６が有効になると、画像センサ３３２は、次いで直ちにストロボ画像の露光を開始してもよい。画像センサ３３２は、画像スタックの生成に関連付けられたストロボユニット３３６の有効化および無効化を含む、サンプリング動作を直接制御してもよい。画像スタックは、ストロボユニット３３６を無効にしてサンプリングされた少なくとも１つの画像と、ストロボユニット３３６を有効または無効にしてサンプリングされた少なくとも１つの画像とを含み得る。一実施形態では、画像センサ３３２によってサンプリングされた画像スタックを含むデータは、相互接続３３４を介してプロセッサ複合体３１０内のカメラインタフェースユニット３６９に伝送される。いくつかの実施形態では、カメラモジュール３３０は、画像センサコントローラ（例えば、図３Ｄのコントローラ３３３）を含んでもよく、これは、画像センサ３３２の動作を制御することと併せて、ストロボ制御信号３３８を生成するように構成されてもよい。
一実施形態では、カメラモジュール３３０は、ストロボユニット３３６の状態情報に基づいて画像をサンプリングするように構成されてもよい。状態情報には、ストロボ照明３５０の指定された強度および／または色を生成するようストロボユニット３３６に指示するための、１つ以上のストロボパラメータ（例えば、ストロボ強度、ストロボ色、ストロボ時間など）が含まれ得るがこれらに限定されない。一実施形態では、ストロボユニット３３６に関連付けられた状態情報を構成するためのコマンドは、ストロボ制御信号３３８Ａ／３３８Ｂを介して伝送されてよく、信号は、いつストロボユニット３３６が有効になったかを検出するためにカメラモジュール３３０によって監視されてよい。例えば、一実施形態では、カメラモジュール３３０は、ストロボ制御信号３３８Ａ／３３８Ｂによってストロボユニット３３６が有効または無効にされてから１マイクロ秒以下内にストロボユニット３３６が有効または無効にされた時を検出し得る。ストロボ照明を必要とする画像をサンプリングするために、カメラインタフェースユニット３６９は、ストロボ制御信号３３８Ａを介して有効化コマンドを送信することによって、ストロボユニット３３６を有効にしてもよい。有効化コマンドは、信号レベル遷移、データパケット、レジスタ書き込み、またはコマンドの他の任意の技術的に実行可能な伝送を含み得る。カメラモジュール３３０は、ストロボユニット３３６が有効であることを感知し、次いで、ストロボユニット３３６が有効である間、画像センサ３３２に、ストロボ照明を必要とする１つ以上の画像をサンプリングさせてもよい。このような実装形態では、画像センサ３３２は、ストロボユニット３３６宛ての有効化信号を、新たな露光のサンプリングを開始するためのトリガ信号として待機するように構成されてもよい。
一実施形態では、カメラインタフェースユニット３６９は、露光パラメータおよびコマンドを、相互接続３３４を介してカメラモジュール３３０に送信し得る。特定の実施形態では、カメラインタフェースユニット３６９は、制御コマンドをストロボ制御信号３３８を介してストロボユニット３３６に送信することによって、ストロボユニット３３６を直接制御するように構成されてもよい。カメラモジュール３３０およびストロボユニット３３６の両方を直接制御することによって、カメラインタフェースユニット３６９は、カメラモジュール３３０およびストロボユニット３３６に、それぞれの動作を正確な時間同期で実行させることができる。一実施形態では、正確な時間同期は、５００マイクロ秒未満のイベントタイミングエラーであってよい。さらに、イベントタイミングエラーは、意図されたイベント発生から対応する実際のイベント発生の時間までの時間差であってもよい。
別の実施形態では、カメラインタフェースユニット３６９は、カメラモジュール３３０から画像データを受信しながら統計を蓄積するように構成されてもよい。特に、カメラインタフェースユニット３６９は、相互接続３３４を介して画像の画像データを受信しながら、所与の画像の露光統計を蓄積してもよい。露光統計には、強度ヒストグラム、露光過多の画素のカウント、露光不足の画素のカウント、画素強度の強度加重和、異なる領域の空間露光、絶対輝度推定値、ダイナミックレンジ推定値、またはそれらの任意の組み合わせのうちの１つ以上が含まれ得るが、これらに限定されない。さらに、（例えば、シーンのホワイトバランスを推定するための）色統計が蓄積されてもよい。カメラインタフェースユニット３６９は、露光統計を、プロセッサ複合体３１０内のＣＰＵコア３６７のうちの１つ以上などのプロセッサによって定義される物理アドレス空間または仮想アドレス空間内の、メモリマップされた記憶場所として提示してもよい。一実施形態では、露光統計は、メモリマップされたレジスタ空間にマッピングされる記憶回路に存在する。他の実施形態では、露光統計は、キャプチャされた画像の伝送画素データと併せて伝送される。例えば、所与の画像の露光統計は、キャプチャされた画像の画素強度データの伝送に続いて、インラインデータとして伝送されてもよい。露光統計は、カメラインタフェースユニット３６９内で計算、格納、またはキャッシュされてもよい。他の実施形態では、カメラモジュール３３０内の画像センサコントローラは、カメラインタフェースユニット３６９などによって、露光統計を蓄積し、露光統計をプロセッサ複合体３１０に伝送するように構成されてもよい。一実施形態では、露光統計は、カメラモジュール３３０内に蓄積され、カメラインタフェースユニット３６９への画像データの伝送と併せて、または画像データの伝送とは別に、カメラインタフェースユニット３６９に伝送される。
一実施形態では、カメラインタフェースユニット３６９は、シーンホワイトバランスを推定するための色統計を蓄積してもよい。任意の技術的に実現可能な色統計が、赤色、緑色、および青色の色チャネルを含む異なる色チャネルの強度の合計などのホワイトバランスを推定するために蓄積されてもよい。次いで、色チャネル強度の合計を使用して、グレーワールドのホワイトバランスモデルなどのホワイトバランスモデルに従って、関連する画像にホワイトバランスの色補正を実施してもよい。他の実施形態では、画像にホワイトバランス補正を実装するために使用される線形曲線適合または二次曲線適合のための曲線適合統計が蓄積される。露光統計と同様、プロセッサ複合体３１０内のメモリマップされた記憶場所として色統計が提示されてもよい。一実施形態では、色統計は、相互接続３３４を介してアクセスされ得るメモリマップされたレジスタ空間内にマッピングされ得る。他の実施形態では、色統計は、キャプチャされた画像の伝送画素データと併せて伝送され得る。例えば、一実施形態では、所与の画像の色統計は、画像の画素強度データの伝送に続いて、インラインデータとして伝送されてもよい。色統計は、カメラインタフェース３６９内で計算、格納、またはキャッシュされてもよい。他の実施形態では、カメラモジュール３３０内の画像センサコントローラは、カメラインタフェースユニット３６９などによって、色統計を蓄積し、色統計をプロセッサ複合体３１０に伝送するように構成されてもよい。一実施形態では、色統計は、カメラモジュール３３０内に蓄積され、カメラインタフェースユニット３６９への画像データの伝送と併せて、または画像データの伝送とは別に、カメラインタフェースユニット３６９に伝送されてもよい。
一実施形態では、カメラインタフェースユニット３６９は、周囲画像と、ストロボ照明でサンプリングされた１つ以上の画像との間などの画像間で色マッチングを実施するための空間色統計を蓄積してもよい。露光統計と同様、プロセッサ複合体３１０内のメモリマップされた記憶場所として空間色統計が提示されてもよい。一実施形態では、空間色統計は、メモリマップされたレジスタ空間内にマッピングされる。別の実施形態では、カメラモジュールは、空間色統計を蓄積するように構成されてもよく、空間色統計は、相互接続３３４を介してアクセスされてもよい。他の実施形態では、色統計は、キャプチャされた画像の伝送画素データと併せて伝送され得る。例えば、一実施形態では、所与の画像の色統計は、画像の画素強度データの伝送に続いて、インラインデータとして伝送されてもよい。色統計は、カメラインタフェース３６９内で計算、格納、またはキャッシュされてもよい。
一実施形態では、カメラモジュール３３０は、ストロボ制御信号３３８Ｃをストロボユニット３３６に伝送して、カメラモジュール３３０が画像をサンプリングしている間にストロボユニット３３６が照明を生成することを可能にし得る。別の実施形態では、カメラモジュール３３０は、ストロボユニット３３６が有効であるという表示信号をカメラインタフェースユニット３６９から受信すると、ストロボユニット３３６によって照明される画像をサンプリングし得る。さらに別の実施形態では、カメラモジュール３３０は、シーン照明の急激な増加によって写真シーン内のストロボ照明を検出すると、ストロボユニット３３６によって照明されている画像をサンプリングし得る。一実施形態では、シーン照明の急激な増加には、少なくとも、ストロボユニット３３６を有効にする速度と一致する、強度の増加速度を含んでもよい。さらにまた別の実施形態では、カメラモジュール３３０は、１つの画像をサンプリングしている間にストロボユニット３３６を有効にしてストロボ照明を生成し、異なる画像をサンプリングしている間にはストロボユニット３３６を無効にしてもよい。
一実施形態では、ストロボユニット３３６は、任意の空間強度パターンを有するストロボ照明３５０を生成するように構成されている。例えば、空間強度パターンは、写真シーン内の所与の関心のあるポイントによって位置付けられる領域内のより強力なストロボ照明３５０を提供してもよい。ストロボユニット３３６は、照明デバイス（例えば、ＬＥＤ）の一次元または二次元配列を含んでもよく、これらの各々は任意の空間パターンの照明を生成することを容易にするために実質的に独立した強度制御を有する。さらに、ストロボレンズ（図示せず）は、所与の照明デバイスによって生成された光を写真シーンの所定の空間領域に導くように構成され得る。一実施形態では、照明デバイスは、事前定義された各空間領域が異なる波長の異なる強度で照明され得るように、異なる波長の混合物を生成してもよい。一実施形態では、異なる波長は、赤外線波長を含む。別の実施形態では、異なる波長は、紫外線波長を含む。さらに別の実施形態では、波長は、可視光ならびに赤外線および紫外線の１つ以上の組み合わせを含んでもよい。
図３Ｄは、一実施形態による、カメラモジュール３３０を示す。任意選択として、カメラモジュール３３０は、本明細書に開示される図面のいずれかの詳細の文脈において実装されてもよい。ただし、当然のことながら、カメラモジュール３３０は、任意の所望の環境において実装されてもよい。さらに、上記の定義は、以下の説明にも同様に適用され得る。
一実施形態では、カメラモジュール３３０は、アプリケーションプロセッサ３３５と通信してもよい。カメラモジュール３３０は、コントローラ３３３と通信する画像センサ３３２を含むことが示されている。さらに、コントローラ３３３は、アプリケーションプロセッサ３３５と通信していることが示されている。
一実施形態では、アプリケーションプロセッサ３３５は、カメラモジュール３３０の外側に存在してもよい。示されるように、レンズ３３１は、光学シーン情報をサンプリング対象の画像センサ３３２上に合焦するように構成されてもよい。次いで、画像センサ３３２によってサンプリングされた光学シーン情報は、電気的表現として、後続の処理およびアプリケーションプロセッサ３３５への通信のうちの少なくとも一方のために、画像センサ３３２からコントローラ３３３に通信され得る。別の実施形態では、コントローラ３３３は、画像センサ３３２によってサンプリングされた光学シーン情報の格納、または処理された光学シーン情報の格納を制御し得る。
別の実施形態では、コントローラ３３３は、画像センサ３３２が周囲画像のサンプリングに関連付けられた露光時間を完了した後、短い期間（例えば、１０ミリ秒未満）の間、ストロボユニットがストロボ照明を発光することを可能にし得る。さらに、コントローラ３３３は、画像センサ３３２の動作を制御することと併せてストロボ制御信号３３８を生成するように構成されていてもよい。
一実施形態では、画像センサ３３２は、相補的金属酸化物半導体（ＣＭＯＳ）センサまたは電荷結合素子（ＣＣＤ）センサであってもよい。別の実施形態では、コントローラ３３３および画像センサ３３２は、集積システム、マルチチップモジュール、マルチチップスタック、または集積回路として一緒にパッケージ化されてもよい。さらに別の実施形態では、コントローラ３３３および画像センサ３３２は、別個のパッケージを含んでもよい。一実施形態では、コントローラ３３３は、画像センサ３３２から光学シーン情報の電気的表現を受信すること、電気的表現を処理すること、様々なキャプチャ機能のタイミング、およびアプリケーションプロセッサ３３５と関連付けられた信号通信のための、回路を提供してもよい。さらに、別の実施形態では、コントローラ３３３は、露光時間、露光感度、シャッター、ホワイトバランス、およびゲイン調整のうちの１つ以上を制御するための回路を提供してもよい。コントローラ３３３の回路による電気的表現の処理は、ゲイン適用、増幅、およびアナログ－デジタル変換のうちの１つ以上を含んでもよい。電気的表現を処理した後、コントローラ３３３は、対応するデジタル画素データをアプリケーションプロセッサ３３５などに伝送してもよい。
一実施形態では、アプリケーションプロセッサ３３５は、プロセッサ複合体３１０、ならびに揮発性メモリ３１８およびＮＶメモリ３１６、または他の任意のメモリデバイスおよび／もしくはシステムのうちの少なくとも１つに実装されてもよい。アプリケーションプロセッサ３３５は、カメラモジュール３３０からアプリケーションプロセッサ３３５に通信されるデジタル画素データを受信し、処理するように、事前に構成されてもよい。
図３Ｅは、一実施形態による、車両３７０を示す。示されるように、車両３７０は、ユーザＩＤセンサ３７２（１）～３７２（３）および／または自動運転センサ３７４（１）～３７４（３）を含むように構成されている。車両３７０は、図７Ａのシステム７００などのオンボード処理システム（図示せず）を含み得る。
ユーザＩＤセンサ３７２は、デジタルカメラモジュール、ならびに／またはカメラモジュール３３０およびデジタル写真システム３００などの関連サブシステムの任意の組み合わせを含み得るが、これらに限定されない。また、ユーザＩＤセンサ３７２は、１つ以上のオーディオ入力デバイス（例えば、マイクロフォン）、親指の指紋スキャナ／親指以外の指紋スキャナなどの１つ以上の生体認証入力デバイス、虹彩スキャナ（照明器を含んでもよい）などを含み得る。一実施形態では、ユーザＩＤセンサ３７２は、人物を車両３７０に入ることを許すかどうかを判定するためのデータを収集するように構成されている。例えば、生体認証データ（顔の画像、親指の指紋、虹彩パターンなど）を収集し、（例えば、オンボード処理システムによって）処理して、車両３７０に入ることを求めている人物が、認可されたユーザであるかどうかおよび車両に入ることを許されるべきかどうかを識別することができる。
自動運転センサ３７４は、運転判定をコンピューティングするための環境データを提供するように構成されてもよい。自動運転センサ３７４は、１つ以上の超音波近接スキャナ、１つ以上のレーダースキャナ（例えば、ｍｍレーダースキャナ）、１つ以上の光検出および測距（ＬｉＤＡＲ）スキャナ、１つ以上のレーザ、１つ以上の光パルス発生器、１つ以上の視覚的な光カメラ、１つ以上の赤外線カメラ、１つ以上の紫外線カメラ、加速度計、電子ジャイロ、電子コンパス、位置決めサブシステムなどを含んでもよいが、これらに限定されない。一実施形態では、自動運転センサ３７４は、カメラモジュール３３０と、車両３７０の前方に向かって照明するように配置された１つ以上のストロボユニット３３６（ヘッドライトによる方向性）とを含む。さらに、ストロボユニット３３６は、１つ以上の赤外線波長のピークを含む赤外線照明を生成するように構成されてもよく、画像センサ３３２は、１つ以上の赤外線波長に対して感度の高い赤外線画素素子を含んでもよい。
一実施形態では、自動運転センサ３７４（１）は、１つ以上のｍｍレーダースキャナ、１つ以上のＬｉＤＡＲスキャナ、および／または１つ以上のデジタルカメラを含んでもよい。自動運転センサ３７４（１）からのデータは、前方の道路上の運転制約を推定するために使用されてもよく、そのような制約は、車両、道路上または道路付近のオブジェクト、道路の輪郭、路面標識、瞬間的な車速などを含んでもよい。一実施形態では、抑制はオンボード処理システムによって分析され、車両３７０の車両操作決定を計算する。抑制を分析し車両操作決定を計算するために、任意の技術的に実現可能な技術が実施されてもよい。
一実施形態では、手動運転の車両の文脈において特定の運転者の能力を評価するために、１つ以上の自動運転センサ３７４からのデータが収集および処理されてもよい。評価は、運転者が現在安全に運転しているかどうかを判定するために、非常に短い間隔（数秒～数分）で実施され得る。さらに、評価は、より長い間隔（数分～数日、数日～数ヶ月）で実施されてもよい。評価は、運転者、車両３７０の管理者（例えば、親）または所有者、車両３７０の保険会社などに提供されてもよい。特定の実施形態では、データは、機械学習サブシステムによって処理されて、集団ブレーキ率、加速度、ブレーキマージン（あおり運転の有無）などの特定の運転メトリクス、および／または運転者の全体的な安全運転メトリクスを計算するために様々なメトリクスを集めて要約し得るメトリクスを識別し、かつ任意選択的に量子化する。
一実施形態では、車両３７０のオンボード処理システムは、車両の乗員に関する情報をリアルタイムで記録するように構成されている。一実施形態では、情報は、乗員のリアルタイム３Ｄモデル、乗員のビデオ映像、乗員の音声（車両キャビンからの）などを含んでもよい。情報は、指定された時間間隔（例えば、１０分）を格納している環状バッファに記録されてもよい。環状バッファ内の記録は、インシデントが発生した場合に永久的に記録され得、それにより、インシデントの直前の車両乗員および車両活動の永久的な記録を提供する。そのようなインシデントは、事故、車両制御の喪失、機械的故障などを含んでもよい。ある実施形態では、情報はまた、モーター速度、車速、ガスおよびブレーキペダル位置、ハンドル位置、実際の車両加速度（例えば、３軸における力）などの車両操作の機械的測定値を含む。ある特定の実施形態では、情報は、任意選択的に保険会社または適切な他の第三者に公開されてもよい。例えば、車両の所有者は、保険会社にインシデントを評価させる目的で情報を公開することを選択できる。代替的に、情報は、他のインシデントからの情報と集約され、全体的な保険数理データを生成するために使用されてもよい。
図３Ｆは、一実施形態による、車両内部３８０を図示する。示されるように、ユーザＩＤセンサ３７２（４）～３７２（９）が、ダッシュボード３７６内を含む車両内部３８０の様々な場所に取り付けられてもよい。一実施形態では、車両内部３８０は、充電クレードル３７８を含んでもよい。
一実施形態では、ユーザＩＤセンサ３７２は、可視波長、赤外線波長（例えば、短波、中波、および／もしくは長波の赤外線）、および／もしくは紫外線波長のうちの１つ以上を検出するように構成されたデジタルカメラを含む。さらに、ユーザＩＤセンサ３７２は、可視光および／または不可視光を放出し得る照明源を含んでもよい。いくつかの実施形態では、１つ以上のユーザＩＤセンサ３７２は、虹彩スキャナおよび／または網膜スキャナを含む。一実施形態では、ユーザＩＤセンサ３７２（１０）は、指紋スキャナおよび／または手紋スキャナを含み、これは、特定の既知のユーザを識別し、かつ／またはユーザを車両の認可されたユーザとして認証するように動作可能であってよい。本明細書に記載するように、ユーザＩＤセンサ３７２は、車両３７０内の１つ以上のユーザを認証するためにデータを収集することができる。認証は、車両の操作を可能にする、車両の操作を制限する、車両の操作をガイドするなどの役割を果たし得る。
一実施形態では、充電クレードル３７８は、スマートフォンを受信し、検出し、スマートフォンと通信し、かつ／またはスマートフォンを充電するように構成されているがこれらに限定されない。一実施形態では、スマートフォンは、共振無線（例えば、誘導）充電などの無線充電を使用して充電され、さらに、充電クレードル３７８は、ＮＦＣ技術を使用してスマートフォンと通信してもよい。一実施形態では、充電クレードル３７８は、スマートフォンと通信して、車両３７０が動作を可能にするために必要とし得る認証証明を受信する。例えば、スマートフォンは、スマートフォン内に格納された電子コード、スマートフォンの表示画面で入力されたユーザ識別子、指紋スキャン、スマートフォンによって記録および検証された話されたフレーズなどのうちの１つ以上を通信してもよい。様々な実施形態では、スマートフォンによるユーザ入力の認証および検証を、ユーザＩＤセンサ３７２に直接伝達されるかかる前述のような入力に加えてもよい。
様々な実施形態では、画像データおよび／またはセンサデータ、車両データ、生体認証データなどの他のデータは、本開示の方法のいずれかまたはすべてのステップで記録される。特に、認証のために提示される顔の画像データは、そのような記録が本開示の方法において（例えば、簡潔さおよび明確さのために）明示的に列挙されない場合でも、記録されてもよい。例えば、提示された顔の画像データは、そのような記録がステップ４０８に関して明示的に列挙されていないとしても、方法４００のステップ４０８で記録されてもよい。さらに、車両３７０に搭載された様々なデジタルカメラによって生成された任意のおよびすべての画像データの継続的な記録は、後に取り出しまたはレビューをするために格納され得る。特定の実施形態では、当該格納は、車両３７０から離れて削除またはアーカイブされる前の特定の期間（例えば、１日、１週間、１ヶ月）行われてもよい。さらに、本開示の方法のうちのいずれかにおける任意の認証失敗の時点で警告が送信されてもよく、そのような送信警告の送信が本開示の方法において（ここでも、簡潔さおよび明確さのために）明示的に列挙されていない場合でも、送信されてもよい。例えば、そのような警告送信がステップ４１０に関して明示的に列挙されていないとしても、ステップ４１０で警告が送信されてもよい。
図４Ａは、一実施形態による、視覚的メトリクスに基づいて認可されたユーザを車両に入れることを許すための方法４００を示す。任意選択として、方法４００は、本明細書に開示される図面のいずれかの詳細の文脈において実装されてもよい。ただし、当然のことながら、方法４００は、任意の所望の環境において実装されてもよい。さらに、上記の定義は、以下の説明にも同様に適用され得る。方法４００（ならびに図４Ｂ、４Ｃ、４Ｄ、および／または４Ｅによる後続の方法）は、少なくとも部分的に、認可されたユーザを車両に入れることを許すための動作２０２として適用され得ることを理解されたい。
示されるように、方法４００は、人間の顔が近接範囲内で検出される、動作４０２から開始する。一実施形態では、検出は、１ユーザの単一のキャプチャ、または任意の数のキャプチャに基づいて生じ得る。例えば、検出は、車両内に搭載され、車両の外の動きを検出するように構成された動き検出デバイスの形態でのリアルタイム連続検出や、（例えば、車両内に搭載されたカメラからの）キャプチャされたビデオフレームの動き検出処理を含んでもよい。特定の実施形態では、動きを検出するために、照明器が車両の周囲に周期的な照明を提供し、さらに、周期的な照明は、不可視光線スペクトル内で生成されてもよい。一実施形態では、赤外線照明源が、車両の運転者側ドアに近づいている人間の顔を照らすように配置される。カメラを取り付けて、人間の顔の画像を表示およびキャプチャしてもよい。次いで、画像を（例えば、機械学習認識技術を使用して）分析して、顔が車両の既知のおよび認可されたユーザに関連するかどうかを判定してもよい。人間の顔が検出されてもよいが、任意のタイプのオブジェクトが検出の基礎として使用されてもよいことが理解されよう（例えば、動物、ドローンなど）。
動作４０４において、方法４００は、顔が認可されたユーザと関連するかどうかを判定する。一実施形態では、判定は、車両内に統合されたシステムによって実施され得る。例えば、検出された顔は、車両内に格納された認可されたユーザのモデル（または任意の技術的に実現可能なデータセット）と比較されてもよい。１つの使用モードでは、車両の使用が許可されている家族の画像を、家族がロードしてもよい。このロードされた画像が、認可されたユーザを識別するモデルおよび／またはデータセットの基礎を形成してもよい。一実施形態では、ユーザの顔が以前に識別された認可されたユーザと関連付けられていないと判定される場合があり、それに応じて、車両の使用を認可するための要求が、（例えば、車両の管理者、または車両の所有者に）送信されてもよい。ユーザの認可が車両に提供された場合、ユーザは、方法４００の目的のために認可されたユーザであると見なされてもよい。認可されたユーザとしてのそのような状態は、永続的（例えば、車両所有の期間中）、または限定的（例えば、一定期間、乗車回数など）であってもよい。一実施形態では、要求は、認可を提供し得る指定された個人に送信されてもよい。別の実施形態では、車両に入ることは、（例えば、キー入力、モバイルアプリケーション、またはＱＲコード（登録商標）などの光学コードを介して）時間制限付きコード、ワンタイム使用コード、またはユーザに付与された事前指定コードを提示することを前提としてもよい。コードは、車両内に格納されてもよく、または提示されたコードを車両がデータネットワークベースのサービスに認可のために送信してもよい。
判定４０６では、ユーザが認可されているかどうかが判定される。
ユーザが認可されている場合、次いで動作４０８によって、車両ドアがロック解除および／または開放される。ユーザが認可されていない場合、次いで動作４１０によって、提示された顔の画像が記録される。一実施形態では、画像は、別のデバイスに（例えば、オンラインサーバ／サービス、車両の所有者などにリアルタイムで）送信されてもよい。
一実施形態では、ユーザが（判定４０６で）認可されていない場合、１つ以上のフォレンジックアクションおよび／または保護アクションが取られてもよい。例えば、不認可ユーザによる複数のエントリ試行が要求された場合、車両は、この不認可ユーザについてのケースファイルを構築してもよい。不認可ユーザがエントリを求め続ける場合、オーディオ警告および／もしくは視覚警告がトリガされてもよく、１つ以上のユーザに通知されてもよく（例えば、家族の一員）、ケースファイルがローカルのセキュリティもしくは警察庁に送信されてもよく、ならびに／または警告が車両の表示デバイスに表示されてもよい。
図４Ｂは、一実施形態による、視覚的メトリクスおよび虹彩メトリクスに基づいて認可されたユーザを車両に入れることを許すための方法４０１を示す。任意選択として、方法４０１は、本明細書に開示される図面のいずれかの詳細の文脈において実装されてもよい。ただし、当然のことながら、方法４０１は、任意の所望の環境において実装されてもよい。さらに、上記の定義は、以下の説明にも同様に適用され得る。
示されるように、方法４０１は、人間の顔が近接範囲で検出される動作４１２から開始する。一実施形態では、動作４１２は、動作４０２と一致するように動作してもよい。さらに、動作４１４で、顔が認可されたユーザに関連するかどうかが判定される。一実施形態では、動作４１４は、動作４０４と一致するように動作してもよい。
動作４１６で、虹彩スキャン照明器およびカメラが有効にされてもよく、動作４１８で、虹彩画像が認可されたユーザに関連するかどうかが判定される。判定４２０によって、虹彩スキャンのために提示しているユーザが認可されたユーザであるかどうかが判定される。はいの場合、車両ドアがロック解除および／または開放される。動作４２２を参照されたい。いいえの場合、提示された顔の画像および虹彩の画像が記録される。動作４２４を参照されたい。一実施形態では、動作４２２は、動作４０８と一致するように動作してもよく、動作４２４は、動作４１０と一致するように動作してもよい。動作４２４は、任意選択的に、提示された虹彩の画像を記録してもよい。
一実施形態では、動作４１６および動作４１８は、（動作４１２および動作４１４に基づいて）代替ステップであってもよい。例えば、動作４１４によって、顔が認可されたユーザと関連するかどうかを判定することには、精度閾値（例えば、ユーザが認可されたユーザである信頼値）などの１つ以上の最小閾値が含まれてもよい。
加えて、代替的な実施形態では、顔が認可されたユーザに関連するかどうかを判定することには、第三者からの入力を受信し、この入力に関する問い合わせに応答するようにユーザに要求することが含まれてもよい。例えば、入力はソーシャルメディアデータに関連して受信されてもよく、認可ステップに、ユーザに関連付けられたソーシャルメディアデータに基づいて的を絞った質問（例えば、「昨年６月に誰とバハマに旅行したか？」）をすることが含まれてもよい。応答は、所定の期間内にシステムに提供されてもよい。加えて、モバイルデバイスの使用の制限（または別のデバイスからの聴覚フィードバック受信）が適用されてもよい。このようにして、（動作４１２による）近接範囲を使用して、ユーザが車両の前方に存在することを検出するだけでなく、このユーザがシステムに注意を向けたまま車両の前方に留まっていることを、（質問に答えるために別のデバイス／ユーザに注意を向けているのとは対照的に）検出してもよい。（第三者からの入力に基づく）任意の数の質問が、所定の数の正しい応答を満たすために使用され得ることを理解されたい。そのような実施形態では、所定の数の正しい応答が達成されない場合に、認可されたユーザが存在するかどうかを判定するための、第２の認証（動作４１２および動作４１４など）が使用されてもよい。
図４Ｃは、一実施形態による、視覚的メトリクスおよびＲＦ認証／データネットワーク認証に基づいて認可されたユーザを車両に入れることを許すための方法４０３を示す。任意選択として、方法４０３は、本明細書に開示される図面のいずれかの詳細の文脈において実装されてもよい。ただし、当然のことながら、方法４０３は、任意の所望の環境において実装されてもよい。さらに、上記の定義は、以下の説明にも同様に適用され得る。
示されるように、方法４０３は、ユーザが車両に近接している（例えば、１０メートル未満）という通知をデジタルデータネットワークを介して受信することから開始する。動作４２６を参照されたい。例えば、キーフォブ、スマートフォン、および／またはユーザが直接所有する任意のデバイスが、このユーザが接近している車両に警告するために使用されてもよい。一実施形態では、認証ユーティリティ（例えば、モバイルデバイス上の指紋スキャン）を使用して、ユーザを事前認証してもよく、そのようなデータ（認証されたユーザデータ）が車両に到着する前に車両に送信されてもよい。
動作４２８で、車両入室カメラ（ｖｅｈｉｃｌｅ ｅｎｔｒｙ ｃａｍｅｒａ）が有効にされてもよく、動作４３０で、車両入室カメラに提示された顔が識別されてもよい。一実施形態では、動作４２６によって受信されたデータが、ユーザの身元をより迅速に識別するために使用されてもよい。例えば、受信されたデータは、識別のために顔を提示する接近しているユーザと比較するために、正確なユーザプロファイルを提供してもよい。したがって、この実施形態では、個人の顔をプロファイルのデータベース全体と比較するのではなく、ユーザのみのデータセットに対して識別を行うことができ、これにより、より一般的な顔検索よりも迅速かつ／またはより正確に識別を発生させることができるように、比較プロセスを高速化することができる。
動作４３２によって、顔が認可されたユーザに関連するかどうかが判定される。特に、判定４３４によって、認可されたユーザが存在するかどうかが判定される。はいの場合、車両ドアがロック解除および／または開放される。動作４３６を参照されたい。いいえの場合、提示された顔の画像が記録される。動作４３８を参照されたい。一実施形態では、動作４３６は、動作４０８（および／または本明細書に開示される他の任意の同様の動作）と一致するように動作してもよく、動作４３８は、動作４１０（および／または本明細書に開示される他の任意の同様の動作）と一致するように動作してもよい。さらに、動作４３２は、動作４０４（および／または本明細書に開示される他の同様の動作）と一致するように動作してもよい。
図４Ｄは、一実施形態による、視覚的メトリクスおよびＮＦＣ認証に基づいて認可されたユーザを車両に入れることを許すための方法４０５を示す。任意選択として、方法４０５は、本明細書に開示される図面のいずれかの詳細の文脈において実装されてもよい。ただし、当然のことながら、方法４０５は、任意の所望の環境において実装されてもよい。さらに、上記の定義は、以下の説明にも同様に適用され得る。
示されるように、方法４０５は、動作４４０で、ユーザが車両にいるという通知を車両ＮＦＣサブシステムを介して受信することから開始する。一実施形態では、車両のＮＦＣサブシステムと通信するために、ＮＦＣデバイス（例えば、スマートフォン、キーフォブ、ＮＦＣクレジットカードなど）が使用されてもよい。例えば、ＮＦＣデバイスは、カードエミュレーションモードで動作してもよく、車両のＮＦＣサブシステムは、特定のカード（例えば、デビットカード、クレジットカード、個人識別カードなど）をエミュレートできるＮＦＣデバイスを読み取るための、ＲＦフィールドを作成してもよい。このようにして、車両に近接して、車両のＮＦＣサブシステムを使用して、ユーザの認証を開始することができる。代替的な実施形態では、ユーザスマートフォンが（例えば、ＲＦフィールドを生成する）ＮＦＣリーダとして機能してもよく、車がタグとして機能してもかつ／またはカードエミュレーションモードで動作してもよく、車上で認証を実施する行為が通知を提供する。
一実施形態では、車両のＮＦＣサブシステムによる認証は、認可されたユーザを（判定４４８によって）判定するのに十分であり得る。しかしながら、カードおよび財布は盗まれる可能性があるため、（動作４４４によって）二次認証が顔スキャンによって提供されてもよい。一実施形態では、車両は、ＮＦＣ（例えば、カードエミュレーション）認証に基づく第１のステップ、および顔画像キャプチャに基づく第２のステップを含む、２段階認証を実施するように構成されてもよい。
動作４４２で、車両入室カメラが有効にされてもよく、動作４４４で、車両入室カメラに提示された顔が識別されてもよい。
動作４４６によって、顔が認可されたユーザに関連するかどうかが判定される。特に、判定４４８によって、認可されたユーザが存在するかどうかが判定される。はいの場合、車両ドアがロック解除および／または開放される。動作４５０を参照されたい。いいえの場合、提示された顔の画像が記録される。動作４５２を参照されたい。一実施形態では、動作４５０は、動作４０８（および／または本明細書に開示される他の任意の同様の動作）と一致するように動作してもよく、動作４５２は、動作４１０（および／または本明細書に開示される他の任意の同様の動作）と一致するように動作してもよい。
図４Ｅは、一実施形態による、視覚的メトリクス、音声メトリクス、および／またはＮＦＣメトリクスに基づいて認可されたユーザを車両に入れることを許すための方法４０７を示す。任意選択として、方法４０７は、本明細書に開示される図面のいずれかの詳細の文脈において実装されてもよい。ただし、当然のことながら、方法４０７は、任意の所望の環境において実装されてもよい。さらに、上記の定義は、以下の説明にも同様に適用され得る。
示されるように、方法４０７は、動作４５４で、ユーザが車両にいるという通知を車両ＮＦＣサブシステムを介して受信することから開始する。一実施形態では、動作４５４は、動作４４０と一致するように動作してもよい。動作４５６では、車両入室カメラが有効にされてもよい。車両入室カメラに表示中の個人の静止フレームおよび／またはビデオ映像が分析されてもよく、かつユーザ（または潜在的に複数のユーザ）は、ユーザの顔の特徴に従って暫定的に識別されてもよい。動作４５８では、ユーザは、パスフレーズ（「今日のパスフレーズを言ってください」）を言うように指示される。一実施形態では、特定のパスフレーズが、暫定的に識別されたユーザに関連付けられてもよく、ユーザは、パスフレーズを言うように指示される。あるいは、パスフレーズは一般的であってもよく（「今日は何日か言って」）、ランダムに生成されてもよく、一意に割り当てられてもよく（例えば、割り当てられた一意のパスフレーズ）、またはそれらの組み合わせであってもよい。一実施形態では、ユーザには、割り当てられたパスフレーズがテキストメッセージとして（またはモバイルアプリカスタムメッセージとして）送信される。
動作４６０では、パスフレーズを暗唱している間、ユーザによって車両入室カメラに提示された顔に対して、識別が実施される。一実施形態では、ユーザがパスフレーズを暗唱している間に記録された音声は、ユーザの声紋のモデルおよび顔モデルに基づいて、ユーザの声がユーザの顔と一致するかどうかを判定するために分析される。動作４６２を参照されたい。動作４６４で、ユーザが認可されたユーザであるかどうかが判定される。一実施形態では、パスフレーズを暗唱しているユーザのビデオを分析して、ユーザを識別する精度を向上させてもよい。様々な実施形態の範囲および精神を逸脱することなく、オーディオと組み合わせてビデオを使用して認可されたユーザを識別するために、任意の技術的に実現可能な技術が適用または組み合わせられてもよい。
判定４６６で、認可されたユーザが存在するかどうかが判定される。はいの場合、車両ドアがロック解除および／または開放される。動作４６８を参照されたい。いいえの場合、提示された顔の画像が記録される。動作４７０を参照されたい。一実施形態では、動作４６８は、動作４０８（および／または本明細書に開示される他の任意の同様の動作）と一致するように動作してもよく、動作４７０は、動作４１０（および／または本明細書に開示される他の任意の同様の動作）と一致するように動作してもよい。
ＮＦＣ通信の文脈において様々な実施形態が説明されるが、本開示の範囲および精神を逸脱することなく、他の任意の技術的に実現可能な無線通信技術（ＲＦ、光学、音響など）が実装されてもよい。
実施形態では、ユーザは、２つの異なるパスフレーズのうちの１つを暗唱してもよい。２つのパスフレーズの各々１つは、車に入ること（例えば、ドアのロックを解除／ドアを開く）を可能にしてもよい。第１のパスフレーズは、通常の状況のために暗唱されてもよく、一方、第２のパスフレーズは、困難な状況のために暗唱されてもよい。第２のパスフレーズが車両によって受信されると、車両は（例えば、ステップ４６８で、またはステップ４６８の前に）警告を伝送する。警告は、車両当局および／または法執行機関に伝送され、困難またはパニックシナリオが進行中であることを示してもよい。例えば、通常の状況では、ユーザは「私は嵐です」というパスフレーズを暗唱してもよいが、困難な状況下（例えば、ユーザが強制またはハイジャックされている）では、ユーザは「パパ、この車を買ってくれてありがとう」というパスフレーズを暗唱し、これにより車両が法執行機関に警告を伝送するようにしてもよい。さらに、車両は、地理的位置情報／座標を法執行機関に定期的に伝送し始めることができる。困難な状況では、ハイジャック犯は有効なパスフレーズを区別することができないため、車両が潜在的に乗員を保護することに関与できるようになる。
代替的な実施形態では、本明細書に開示される技術を実施して、閾値を通じて、大量輸送車両（例えば、列車、バス）、建物設備、倉庫、オフィスビル、複階層建物内のフロア、エレベータ、個々の部屋、フェンス付き空間、構内、または任意の通路への、認可された人物の入場許可を制御してもよい。さらに、他の代替的な実施形態では、本明細書に開示される技術を実施して、大量輸送車両、軍用車両（兵員輸送車、戦車など）、航空機、フォークリフト、パワードスーツ、ドローン（例えば、ドローンの制御ステーションで）などの機器および非自動車車両の使用を制御してもよい。
図５Ａは、一実施形態による、視覚的メトリクスに基づいて認可されたユーザによる車両の使用を検証するための方法５００を示す。任意選択として、方法５００は、本明細書に開示される図面のいずれかの詳細の文脈において実装されてもよい。ただし、当然のことながら、方法５００は、任意の所望の環境において実装されてもよい。さらに、上記の定義は、以下の説明にも同様に適用され得る。
示されるように、方法５００は、１つ以上の車両キャビンカメラを有効にすることから開始する。動作５０２を参照されたい。方法５００（ならびに図５Ｂ、５Ｃ、５Ｄ、および／または５Ｅによる後続の方法）は、動作２０２が満たされた後、すなわち、認可されたユーザが車両に入ることを許された後に適用され得ることを理解されたい。
車両キャビンカメラを有効にすることに応答して、ユーザは運転席内で識別される。動作５０４を参照されたい。一実施形態では、識別は、顔認識システム、生体認証フィードバック（例えば、指紋、虹彩スキャンなど）、聴覚応答などに基づいて生じてもよい。
次いで、その個人が認可された運転者であるかどうかを判定する。判定５０６を参照されたい。はいの場合、車両操作が有効になる。動作５０８を参照されたい。いいえの場合、キャビンカメラから画像が記録される。動作５１０を参照されたい。一実施形態では、記録された画像は、車両上のストレージデータベースに保存されてもよく、クラウドベースのリポジトリなどで保存されてもよい。さらに、記録された画像は、個人（車両所有者、車両管理者など）に送信されてもよく、かつ応答して１つ以上のアクションがとられてもよい。例えば、（運転者が車両によって認可されていることが既知でない場合でも）車両所有者が車両操作を可能にしてもよい。このようにして、車両内で発生したイベントの報告が所有者に送信されてもよい。一実施形態では、運転者が（判定５０６によって）認可されている場合でも、そのような報告（および／または画像）が送信されてもよいことを、追加で理解されたい。
図５Ｂは、一実施形態による、視覚および音声メトリクスに基づいて認可されたユーザによる車両の使用を検証するための方法５０１を示す。任意選択として、方法５０１は、本明細書に開示される図面のいずれかの詳細の文脈において実装されてもよい。ただし、当然のことながら、方法５０１は、任意の所望の環境において実装されてもよい。さらに、上記の定義は、以下の説明にも同様に適用され得る。
示されるように、方法５０１は、１つ以上の車両キャビンカメラを有効にすることから開始する。動作５１２を参照されたい。次に、ユーザはパスフレーズを言うように指示される。動作５１４を参照されたい。様々な実施形態では、パスフレーズは、１つ以上の所定の単語またはフレーズ、質問への応答（例えば、ソーシャルメディアデータなどに基づく）などであってもよい。
さらに、パスフレーズを暗唱している、選択された顔が識別される。動作５１６を参照されたい。例えば、一実施形態では、何人かの個人が車両内にいてもよく、パスフレーズを暗唱している個人に関連付けられた顔が次いで選択され、識別され得る。車両に存在する個人が１人のみの場合、パスフレーズおよび識別の両方に１人の個人の顔を使用することができる。
話されたパスフレーズのユーザ声紋が識別される。動作５１８を参照されたい。一実施形態では、任意の音声分析または音声認識システムを使用して、声紋を判定してもよい。例えば、声紋が特定の個人（例えば、認可されたユーザ）に関連付けられていることを検証するために、パスフレーズを分析し、フィルタリングし、かつ／または機械学習推論エンジンに提示してもよい。
一実施形態では、ユーザは、（このユーザが運転することを可能にするために実施される方法５０１によって）従来の車の運転者であってもよく、かつ／または自動運転車両の任意の乗員であってもよい。さらに、選択された顔の識別は、車両内の位置（例えば、運転席）に基づいていてもよい。
別の実施形態では、パスフレーズを使用して、オーディオシグネチャ、および／または音声コードを作成してもよい。オーディオシグネチャは、それ自体によって、または他のシグネチャ（例えば、顔のシグネチャ、データ応答シグネチャなど）と組み合わせて、個人を（従来の車の運転者または自動運転車両の乗員として）認証するために使用されてもよい。さらに、車両内の音源の空間座標を判定し使用して、車両内の特定のユーザによってパスフレーズが暗唱されていることを認証してもよい。例えば、車両は、車両の運転者にパスフレーズを提供することを要求するように構成されていてもよい。運転者の頭部／口の空間座標は、車両内の別の座標で別の個人によって話された他の任意のフレーズが破棄され得るように、認証の基礎として使用されてもよい。代替的な実施形態では、乗員（例えば、親）が、運転席にいる制限付きで認可された運転者（子）と共に音声パスフレーズを提供することが許可されてもよい。
ユーザが認可されているかどうかが判定される。動作５２０を参照されたい。次に、個人が認可された運転者であるかどうかが判定される。判定５２２を参照されたい。はいの場合、車両操作が有効になる。動作５２４を参照されたい。いいえの場合、キャビンカメラから画像が記録される。動作５２６を参照されたい。一実施形態では、動作５２４は、動作５０８と同様または同一の方式で機能してもよい。さらに、動作５２６は、動作５１０と同様または同一の方式で機能してもよい。
図５Ｃは、一実施形態による、視覚的メトリクスおよびＮＦＣ認証に基づいて認可されたユーザによる車両の使用を検証するための方法５０３を示す。任意選択として、方法５０３は、本明細書に開示される図面のいずれかの詳細の文脈において実装されてもよい。ただし、当然のことながら、方法５０３は、任意の所望の環境において実装されてもよい。さらに、上記の定義は、以下の説明にも同様に適用され得る。
示されるように、方法５０３は、１つ以上の車両キャビンカメラを有効にすることから開始する。動作５２８を参照されたい。次に、車両内の個人が識別される。動作５３０を参照されたい。一実施形態では、車両は、個人車両であってもよく、この車両を誰が運転してよいかに関する制限が適用されてもよい。そのような実施形態では、車両は、認可されたユーザのみが運転する（またはそうでなければ、自動運転車両を指示するなどの操作をする）ことを可能にし得る。別の実施形態では、車両は、ライドシェアサービス（例えば、Ｕｂｅｒ、Ｌｙｆｔなど）によって操作される自動運転車両であってもよく、車両内に誰が（例えば、サービスを要求した個人などが）乗車してもよいかの制限が適用されてもよい。このように、個人が車両内で識別されてもよく、かつ個人の身元が、車両の操作を許可または制限してもよい。
充電クレードル（またはスマートフォンを保持するための他の装置）上のスマートフォンは、ＮＦＣチャネルを介して検出されてもよい。動作５３２を参照されたい。別の実施形態では、任意の限定された近接システム（ｂｌｕｅｔｏｏｔｈ ｌｏｗ ｅｎｅｒｇｙなど）を使用して、スマートフォンの存在を検出してもよい。一実施形態では、車両に存在するのが単一ユーザである場合、他のスマートフォン検出システム（例えば、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈなど）が実装されてもよく、一方、車両に存在するのが複数の個人である場合、ＮＦＣチャネル（またはここでも、任意の限定された近接システム）と組み合わせた充電クレードルを使用して、ユーザに関連付けられたデバイスを検出してもよい。
スマートフォンが認可されているかどうかが判定される。動作５３４を参照されたい。例えば、（動作５３２による）ＮＦＣチャネルを使用したスマートフォンの検出は、（カードエミュレーションモードの検証プロセスなどを介した）スマートフォンの認証の基礎として使用されてもよい。他の実施形態では、認可は、検証キー、ワンタイム使用パスワード、セカンダリデバイス（例えば、キーフォブ）への近接性などを含んでもよい。一実施形態では、スマートフォンは、車両で完全に認証する前に、ユーザを別々に認証してもよい（例えば、コード、指紋スキャン、顔スキャン、またはそれらの任意の組み合わせを入力してもよい）。スマートフォンは、認証データ（例えば、ユーザによって入力されたコード）を共有してもよく、または（例えば、ユーザを別々に認証した後にカードエミュレーションを有効にすることによって）単に車両がスマートフォンを認証するのを進めることを可能にしてもよい。
他の実施形態では、顔認識、可聴パスフレーズ、デバイス検出（スマートフォンなど）、他のデバイスおよび／またはユーザへの近接性、生体認証機能（例えば、虹彩スキャン、指紋など）を含むがこれらに限定されない、複数のトリガを使用して、ユーザを認証してもよい。例えば、ユーザを認証および認可するために、最低２つのトリガを満たすことが必要とされてもよい。
ユーザが認可されているかどうかが判定される。動作５３６を参照されたい。次に、個人が、（例えば、運転することまたは自動運転車両の操作を指示することを）認可されているかどうかが判定される。判定５３８を参照されたい。はいの場合、車両操作が有効になる。動作５４０を参照されたい。いいえの場合、キャビンカメラから画像が記録される。動作５４２を参照されたい。一実施形態では、動作５４０は、動作５０８（および／または他の任意の同様のタイプの動作）と同様または同一の方式で機能してもよい。さらに、動作５４２は、動作５１０（および／または他の任意の同様のタイプの動作）と同様または同一の方式で機能してもよい。
図５Ｄは、一実施形態による、虹彩スキャンメトリクスに基づいて認可されたユーザによる車両の使用を検証するための方法５０５を示す。任意選択として、方法５０５は、本明細書に開示される図面のいずれかの詳細の文脈において実装されてもよい。ただし、当然のことながら、方法５０５は、任意の所望の環境において実装されてもよい。さらに、上記の定義は、以下の説明にも同様に適用され得る。
示されるように、方法５０５は、運転席虹彩スキャナを有効にすることから開始する。動作５４４を参照されたい。一実施形態では、運転席虹彩スキャナは、運転計器コンソール内に配置される。別の実施形態では、運転席虹彩スキャナは、バックミラーに配置される。他の実施形態では、運転席虹彩スキャナは、車両の内部または外部の任意の技術的に実現可能な場所に配置され、これにより、運転席に座っている個人の虹彩スキャンを実施するための明確で指向性のある観察ポイントが可能となる。運転席虹彩スキャナには、虹彩スキャンを実施するための１つ以上のカメラと、ユーザの虹彩がスキャンされている間にユーザが視線を正確に固定するのを支援するための、可視照明参照点（ｖｉｓｉｂｌｅ ｉｌｌｕｍｉｎａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｐｏｉｎｔ）（例えば、ＬＥＤ）とが含まれてもよい。運転席虹彩スキャナは、スキャンされる虹彩に向けられた非可視照明源を含んでもよい。
加えて、これに応答して、ユーザが運転席内で識別される。動作５４６を参照されたい。一実施形態では、動作５４４は、動作４１６と同様または同一の方式で機能してもよい。ただし、動作５４４が、車両の操作を可能にする目的のために実装され得ることを理解されたい。
判定５４８によって、ユーザが認可されたユーザであるかどうかが判定される。はいの場合、車両操作が有効になる。動作５５０を参照されたい。いいえの場合、虹彩の画像が記録される。動作５５２を参照されたい。
図５Ｅは、一実施形態による、虹彩スキャン中の応答に基づく、認可されたユーザによる車両の使用を検証するための方法５０７を示す。任意選択として、方法５０７は、本明細書に開示される図面のいずれかの詳細の文脈において実装されてもよい。ただし、当然のことながら、方法５０７は、任意の所望の環境において実装されてもよい。さらに、上記の定義は、以下の説明にも同様に適用され得る。
示されるように、方法５０７は、運転席虹彩スキャナを有効にすることから開始する。動作５５４を参照されたい。虹彩拡張時間（ｉｒｉｓ ｄｉｌａｔｉｏｎ－ｔｉｍｅ）応答および拡張変化（ｄｉｌａｔｉｏｎ－ｃｈａｎｇｅ）応答が、光パルスに応答して測定される。動作５５６を参照されたい。一実施形態では、光パルスは、ユーザの１つの目（または両目）に向けられる。別の実施形態では、光パルスは、車両キャビン内の周囲照明を含む。例えば、虹彩拡張時間は、ユーザの虹彩が完全に拡張するために必要とされる第１の時間、またはこれとは別に、完全に収縮するために第２の時間を示し得る。この文脈において、完全な拡張とは、周囲照明に対する最大虹彩開口サイズを指し、完全な収縮とは、光パルス照明下の最小虹彩開口サイズを指す。同様の方式で、拡張変化は、光パルスに応答した相対拡張変化を示してもよい。
判定５５８によって、拡張時間および／または拡張変化応答が範囲内にあるかどうかが判定される。いいえの場合、次いで、動作５６６によって虹彩の画像が記録される。はいの場合、ユーザは運転する能力がある（例えば、冷静で眠気がない）と判定され、方法５０７はステップ５６０に進む。ステップ５６０で、運転席が識別される。
判定５６２によって、ユーザが認可されたユーザであるかどうかが判定される。はいの場合、車両操作が有効になる。動作５６４を参照されたい。いいえの場合、虹彩の画像が記録される。動作５６６を参照されたい。
様々な実施形態では、虹彩の測定（虹彩拡張時間および／または拡張変化応答を含むが、これらに限定されない）は、急速な眼球運動、および／または他の任意の眼球運動の検出を含み得る。光パルスに対する動き、拡張時間、および／または応答は、個別化および正規化されたシグネチャと比較されてもよい。例えば、以前に収集された複数のデータ（例えば、動き、拡張時間、応答）に基づいたデータセットが収集されてもよい。このようにして、動作５５６による測定値は、ユーザの目に関するデータの個別化されたデータセットと比較されてもよい。
別の実施形態では、光パルスに対する動き、拡張時間、および／または応答は、一般的な目のシグネチャと比較されてもよい。例えば、一般的な閾値（例えば、酒気帯びの最小閾値）を有する一般集団に基づくデータセットが、動作５５６によって集められた虹彩拡張時間および／または拡張変化応答に適用されてもよい。他の実施形態では、追加のおよび／または代替の技法を実施して、個人が運転能力を害しているかまたは運転能力があるかのいずれかであるかを判定してもよい。
図５Ｆは、一実施形態による、光のパルスに応答する虹彩拡張を示す。示されるように、拡張値５７４を時間に対してグラフ表示する。拡張値５７４は、ユーザの眼の瞳孔開口サイズを表し得、ユーザは、車両３７０の乗員または運転者であり得る。さらに、拡張値５７４と同じスケールで強度値５７０を時間に対してグラフ表示する。時間期間Ｔｐ５７２の光パルスが眼に向けられ、眼の瞳孔の収縮を引き起こす。収縮は、収縮時間Ｔｃ５７６によって特徴付けられ得、後続の拡張は、拡張時間Ｔｄ５７８によって特徴付けられ得る。収縮と拡張の両方とも一定のサイズに制限され、その差は、拡張差５８０によって特徴付けられる。様々な実施形態では、車両３７０の乗員は、メトリクスＴｃ５７６、Ｔｄ５７８、および差５８０を測定するために実施される拡張応答を有している。メトリクスに基づいて、ユーザは、運転するのに十分良好な状態にあると判定され得、車両操作が可能となる。ユーザが運転するのに十分良好な状態にないと判定された場合、車両の操作は無効にされ得る。１つの使用モデルでは、酩酊している、または過度に疲れているユーザは、１つ以上のメトリクスが特定の閾値を超え、運転するのに十分良好な状態にはないと判定されるであろう。一実施形態では、関連する閾値が、ユーザに行われた以前の測定値によって判定されてもよく、または一般的な閾値が、大きな個体群によって判定されるように適用されてもよい。
図６Ａは、一実施形態による、ジオフェンス内で運転しているユーザに基づいて車両の操作を可能にするための方法６００を示す。任意選択として、方法６００は、本明細書に開示される図面のいずれかの詳細の文脈において実装されてもよい。ただし、当然のことながら、方法６００は、任意の所望の環境において実装されてもよい。さらに、上記の定義は、以下の説明にも同様に適用され得る。
示されるように、方法６００は、認可されたユーザに関連付けられたジオフェンスを識別することから開始する。動作６０２を参照されたい。方法６００（ならびに図６Ｂおよび／もしくは６Ｃによる後続の方法）は、動作２０４が満たされた後、すなわち、認可されたユーザによる車両の使用が検証された後に適用されてもよいことを理解されたい。
一実施形態では、ジオフェンスは、例えば、ユーザ、親、所有者、車両のオペレータなどによって事前に決定されてもよい。例えば、ジオフェンスは、認可されたユーザ（例えば、制限的な使用を伴う子、制限的な使用を伴わない親など）に基づいて動的に適用されてもよい。さらに、制限的な使用は、車両の使用を地理的領域（すなわち、ジオフェンス）内に制限する可能性がある。別の実施形態では、ジオフェンスは、経路に基づいて自動的に確立されてもよい。例えば、事前に承認された目的地のリストが、認可されたユーザによって選択されてもよく、所定のバッファジオフェンス（例えば、選択された経路の周囲２ブロックの半径）が経路に適用されてもよい。様々な実施形態では、ジオフェンスは、道路の状態に基づいてリアルタイムで適合されてもよい。例えば、認可された目的地への経路を遮断する場所における一時的な道路閉鎖または事故により、ジオフェンスを拡張して目的地への追加の経路を含むことを必要としてもよい。
車両の地理的位置が識別される。動作６０４を参照されたい。さらに、車両がジオフェンス内にあるかどうかが判定される。動作６０６を参照されたい。判定６０８によって、車両がジオフェンス内にある場合は、次いで動作６１０によって、準拠操作が示される。車両がジオフェンス内にない場合、動作６１２によって、非準拠操作が示される。一実施形態では、非準拠操作の表示は、第三者（例えば、車両の所有者、クラウドベースのサービス、ストレージデータベースなど）に送信されてもよい。さらに、非準拠表示に応答して、１つ以上のアクションが実行されてもよく、これには非準拠操作および／または非準拠操作のサブセットを先に進ませるための許可を確保するために実行され得る手順を含むが、これに限定されない。この手順は、車両管理者（親、所有者など）に警告し、車両管理者から先に進む許可を受け取ることを含み得る。警告し許可を受け取るプロセスは、車両管理者とのテキストメッセージのやり取り、車両管理者が所有するカスタム携帯電話アプリとのやり取りなどを使用して実施されてもよい。警告プロセスは、カスタム携帯電話アプリを介したビデオ会議セッションを含んでもよく、携帯電話アプリからの許可が付与されると、許可証明書が車両に返送される。
他の実施形態では、車両が（動作６０６によって）ジオフェンス内にあるかどうかを判定するのではなく、車両が、時間枠、最高速度制限、道路状態、選択された経路、車内の乗員などを含むがこれらに限定されない１つ以上の条件に準拠しているかどうかを判定してもよい。１つ以上の条件に非準拠であると判定された場合、次いで、加速度制限、速度制限、経路の変更（または制限）などを含む１つ以上の制限が適用されてもよい。さらに、１つ以上の条件に準拠することには、交通状況の状況認識が含まれ得る。例えば、車両の準拠した使用が、所定の経路を取ることを含んでもよい。しかしながら、事故によってそのような所定の経路に３０分（または任意の時間閾値）の遅延を引き起こした可能性がある。このようなことを考慮して、現在の位置から選択された目的地に行く時間を最小限に抑えるために、非準拠の操作が自動的に承認される可能性がある。別の実施形態では、非準拠の操作は、車両管理者（例えば、所有者または親など）、緊急サービス技術者などの緊急サービス代理店、または法執行機関からの承認を必要としてもよい。
さらに、非準拠操作の承認が、非準拠操作の数を減らすことを含んでもよい。例えば、事故によってそのような所定の経路に３０分（または任意の特定の時間）の遅延を引き起こした可能性があり、その結果として次には、認可されたユーザに対して課された門限に非準拠となる可能性がある。したがって、車両が１つ以上の条件に準拠しているかどうかを判定することは、（ある非準拠障害が別の非準拠障害によって引き起こされ得る）いくつかの非準拠障害を判定することと、全体的な非準拠障害を最小限に抑える操作を選択することとを含んでもよい。
一実施形態では、ルールおよび／または条件の階層を車両に格納して、ルールおよび／または条件のこの階層に対して障害をランク付けすることに基づいて、車両が１つ以上の条件に準拠しているかどうかを判定するようにしてもよい。特定の実施形態では、車両内（例えば、運転計器コンソール内）の表示が、準拠性および／または準拠性に関連付いた障害を示してもよい。一実施形態では、車両の地理的位置およびジオフェンスと共に地図が表示されてもよい。別の実施形態では、速度制限が、最高速度制限と共に表示され、当該最高速度制限は、道路の一般的な制限速度および／またはユーザの速度制限によって判定されてもよい。最高速度制限は、推定される道路状態／気象条件と組み合わせた道路速度制限の組み合わせによって、判定されてもよい。例えば、特定の道路には６５ＭＰＨの速度制限が掲示されている場合があるが、最近の大雨によって道路に洪水を引き起こしたことが知られている、といった例では、経験の浅い運転者が事故を起こす可能性を低減するために、最高速度を４０ＭＰＨに下げることができる。
一実施形態では、自動運転車両は、道路状態が悪化した場合に乗員を自宅（または指定された緊急場所）に戻すように構成されていてもよい。さらに、自宅（または指定された緊急場所）に緊急に戻ることを示すのに十分な道路状態の悪化であると見なされる場合、車両は、指定された緊急連絡先（例えば、親）に通知してもよい。特定の実施形態では、指定された緊急場所は、一般的な条件に従って異なる場所に更新されてもよい。一実施形態では、車両は、一般的な条件が安全でないと判定してもよく、車両は停止してもよく、さらに、車両は、第１の対応者および／または他の権限から支援を要求する警告を生成してもよい。
図６Ｂは、一実施形態による、１人のユーザおよびジオフェンス内で動作している自動運転車両に基づいて車両の操作を可能にするための方法６０１を示す。任意選択として、方法６０１は、本明細書に開示される図面のいずれかの詳細の文脈において実装されてもよい。ただし、当然のことながら、方法６０１は、任意の所望の環境において実装されてもよい。さらに、上記の定義は、以下の説明にも同様に適用され得る。
示されるように、方法６０１は、目的地を受信することから開始する。動作６１４を参照されたい。一実施形態では、方法６０１は、自動運転車両の文脈において動作してもよい。一実施形態では、目的地は、車両で受信されてもよく（例えば、車両に取り付けられたタッチ入力表示を介して、車両に取り付けられたマイクロフォンなどを介して、など）、および／またはユーザと関連付けられたデバイスから車両で受信されてもよい。例えば、ユーザがスマートフォン上で目的地を選択してもよく、次いでスマートフォンが、実施のために目的地を車両に（例えば、車両に直接、クラウドベースの車両操作サービスを介して、などで）送信してもよい。さらに、別の実施形態では、ユーザが子供である場合、子供は、実施のために自動的に車両に送信される、事前に承認された場所（例えば、デフォルトの場所の自宅など）を備えたキーフォブ（またはスマートフォンもしくはスマートカードなどの他の何らかのデバイス）を有していてもよい。特定の実施形態では、目的地は所定であり、乗客は目的地への経路に沿ったジオフェンス内に１つ以上の停車場所を追加することができる。例えば、乗客は、目的地への途中でコーヒーのために停車することを決定してもよい。
認可されたユーザに関連付けられたジオフェンスが識別される。動作６１６を参照されたい。さらに、目的地がジオフェンス内にあるかどうかが判定される。動作６１８を参照されたい。目的地がジオフェンス内にある場合（判定６２０によって）、自動運転車両は、目的地に進むための操作を開始する。動作６２２を参照されたい。目的地がジオフェンス内にない場合、この目的地は無効として示される。動作６２４を参照されたい。
例として、車両のユーザがスターバックスに行くことを望むという目的地が提供されてもよい。スターバックスの目的地は、ジオフェンス外にあると判定される可能性がある。このように、目的地が無効であると示される可能性がある。これに応答して、ユーザは、ジオフェンスの許可または上書きを要求してもよい。一実施形態では、要求は、ジオフェンスの上書きを提供できるユーザ（例えば、親、車両の所有者など）に送信されてもよい。上書きを提供する（例えば、親／車両のオペレータに警告し許可を受ける）ために、任意の技術的に実現可能な技術が実施されてもよい。
図６Ｃは、一実施形態による、複数のユーザおよびジオフェンス内で動作している自動運転車両に基づいて車両の操作を可能にするための方法６０３を示す。任意選択として、方法６０３は、本明細書に開示される図面のいずれかの詳細の文脈において実装されてもよい。ただし、当然のことながら、方法６０３は、任意の所望の環境において実装されてもよい。さらに、上記の定義は、以下の説明にも同様に適用され得る。
示されるように、方法６０３は、目的地を受信することから開始する。動作６２６を参照されたい。車両内のすべてのユーザ（例えば、乗客）に関連付けられたジオフェンスが識別される。動作６２８を参照されたい。例えば、車両内のユーザのグループは、５人の個人を含み得、４人の個人については、ジオフェンス制限が適用されない場合がある。しかしながら、１人の個人がジオフェンスの制限の対象であるため、車両の乗員グループ全体がジオフェンスの対象となる。
別の例では、第１の個人が第１のジオフェンスの対象となってもよく、第２の個人が第２のジオフェンスの対象となってもよく、組み合わせられたジオフェンスが、第１の個人および第２の個人の各々の重複する地理的領域に基づいてもよい。別の実施形態では、第１の個人に対する第１のジオフェンスは、第２の個人に対する第２のジオフェンスに追加されてもよい。例えば、第１の個人は、第２の個人より年上のきょうだいであってもよい。さらに、年上のきょうだいは、年下のきょうだいよりも広範囲なジオフェンスを有し得るが、年上のきょうだいと年下のきょうだいが一緒にいるときは、年下のきょうだいは、年上のきょうだいの、より広範囲なジオフェンス内で移動することができる。代替的に、年上のきょうだいのジオフェンスは、きょうだいが一緒に移動しているときに、年下のきょうだいのジオフェンスに制限されてもよい。複数の個人のジオフェンスは、ジオフェンスの処理に関連付けられた所定のルールに基づいて、任意の技術的に実現可能な方式で追加、減算、および／または操作されてもよいことを理解されたい。
さらに、目的地がすべてのユーザのジオフェンス内にあるかどうかが判定される。動作６３０を参照されたい。目的地がジオフェンス内にある場合（判定６３２によって）、自動運転車両は、目的地に進むための動作を開始する。動作６３４を参照されたい。目的地がジオフェンス内にない場合、この目的地は無効として示される。動作６３６を参照されたい。さらに、動作６３６は、動作６２４と同様の方法で動作してもよい。
一実施形態では、経路および／またはジオフェンスは、距離が長くなるかまたは移動時間が遅くなることがあったとしても、犯罪の多い地域（その地域の地図データによって示される）を回避するように構築されてもよい。さらに、車両の自動運転操作は、犯罪の多い地域では、より用心深いモードに調整され得る。例えば、自動運転操作は、車両が他の車両によって遮断され得る交通シナリオを優先的に回避するように調整されてもよい。同様に、自動運転操作は、より犯罪の多い地域では他の車両が交通規則を破る可能性が高いと仮定するように調整されてもよい。特定の実施形態では、自動運転車両は、一般的にまたはそうでなければ自動運転車両によって計算され得る経路決定を指示するように構成された、クラウドベースのサーバシステムと通信している。
一実施形態では、ジオフェンス準拠の目的のために、車両位置は、少なくとも２つの異なる技術（ＧＰＳ、ＷｉＦｉ、携帯電話基地局の三角測量、視覚的街頭情報（ｖｉｓｕａｌ ｓｔｒｅｅｔ ｉｎｆｏｒｍａｔｉｏｎ）、慣性感知など）を使用して判定される。さらに、自動運転操作の過程中に、少なくとも２つの異なる技術によって報告された車両位置が、特定の最大偏差距離を超えて逸脱した場合、警告が送信されてもよく、車両は１つ以上の緩和措置を講じてもよい。警告は、オペレーションセンター、所有者、およびオペレータ、登録ユーザ、法執行機関の当局者、またはそれらの任意の組み合わせに送信されてもよい。一実施形態では、警告が伝送された後、車両は、強制停止スイッチを有効にしてもよい。強制停止スイッチの操作は、法執行機関の当局者を含む登録された人物に委任することができる。一実施形態では、少なくとも２つの異なる技術によって報告された車両位置が最大偏差距離を超えて逸脱した場合、車両は、一致している少なくとも２つの異なる位置感知技術を使用して、操作を継続してもよい。一実施形態では、警告を伝送すると、車両は、デジタルカメラ（例えば、ユーザＩＤセンサ３７２、自動運転センサ３７４など）からサービスセンター、オペレータ、法執行機関の当局者、または記録サービスへのビデオ画像データの伝送を開始してもよい。一実施形態では、これらの技術の１つとして、スマートフォンまたは他のユーザデバイスが車両位置を車両に提供してもよい。さらに、位置の逸脱が発生すると、ユーザは、車両の操作を継続するためにどの位置確認技術を使用するか選択するための任意選択肢を与えられてもよい。
図７Ａは、一実施形態による、車両の操作を有効にし、指示するためのシステム７００を示す。任意選択として、システム７００は、本明細書に開示される図面のいずれかの詳細の文脈において実装されてもよい。ただし、当然のことながら、システム７００は、任意の所望の環境において実装されてもよい。さらに、上記の定義は、以下の説明にも同様に適用され得る。
様々な実施形態では、システム７００は、方法１００、２００、４００、４０１、４０３、４０５、４０７、５００、５０１、５０３、５０５、５０７、６００、６０１、６０３、および７０１のうちの１つ以上を実施するように構成されていてもよい。さらに、システム７００は、運転者制御および／または自動運転車両の、車両および／またはナビゲーション動作のセンサデータを、受信および解釈するように構成されていてもよい。
示されるように、システム７００は、車両ナビゲーションサブシステム７０４、ニューラルネット推論サブシステム７０６、および／または車両操作サブシステム７０８を含む、車両制御およびナビゲーションシステム７０２を含む。一実施形態では、車両ナビゲーションサブシステム７０４は、ニューラルネット推論サブシステム７０６と通信することができ、このような通信には、車両ナビゲーションサブシステム７０４からニューラルネット推論サブシステム７０６にデータおよび／もしくはコマンドを送信すること、ならびに車両ナビゲーションサブシステム７０４でニューラルネット推論サブシステム７０６からのデータおよび／もしくはコマンドを受信することが含まれる。さらに、車両ナビゲーションサブシステム７０４は、車両操作サブシステム７０８と通信してもよく、通信には車両ナビゲーションサブシステム７０４から車両操作サブシステム７０８にデータおよび／またはコマンドを送信することが含まれる。一実施形態では、車両ナビゲーションサブシステム７０４は、車両の全体的な動きを管理するように構成されており、ニューラルネット推論サブシステム７０６は、車両の周囲を解釈するように構成されており、かつ車両操作サブシステム７０８は、基本的な車両操作（例えば、加速、ブレーキ、回転など）を実行するように構成されている。
車両ナビゲーションサブシステム７０４は、タッチ入力表示画面７１４、ＧＰＳ受信機７１６、スピーカ７１８、および／またはマイクロフォン７２０と通信してもよい。車両ナビゲーションサブシステム７０４が、加速度計、セルラデータ接続（位置を三角測量すること、および様々なタスクを静止サーバ配列にオフロードすることを可能にする）などを含むがこれらに限定されない、他の構成要素（図示せず）と通信し得ることを理解されたい。マイクロフォン７２０は、複数のマイクロフォンを含んでもよく、一実施形態では、マイクロフォンは、（個々の話す人の位置を識別するために）３Ｄオーディオマップが作成されてもよいように、車両を通して配置されてもよい。さらに、示されるように、車両ナビゲーションサブシステム７０４は、車両操作サブシステム７０８および／またはニューラルネット推論サブシステム７０６を制御してもよい。一実施形態では、車両ナビゲーションサブシステム７０４および／またはニューラルネット推論サブシステム７０６は、プロセッサ複合体３１０の１つ以上のインスタンスを備えてもよい。
ニューラルネット推論サブシステム７０６は、ユーザＩＤセンサ３７２および／または自動運転センサ３７４と通信してもよい。ニューラルネット推論サブシステム７０６が、１つ以上の超音波近接スキャナ、１つ以上のレーダースキャナ（例えば、ｍｍレーダースキャナ）、１つ以上の光検出および測距（ＬｉＤＡＲ）スキャナ、１つ以上のレーザ、１つ以上の光パルス発生器、１つ以上の視覚光カメラ、１つ以上の赤外線カメラ、１つ以上の紫外線カメラなどを含むがこれらに限定されない、他の構成要素（図示せず）と通信し得ることを理解されたい。ユーザＩＤセンサ３７２は、生体キャプチャセンサ、１つ以上のカメラ（キャビンカメラ、外部カメラなどを含む）、虹彩スキャナ、近接センサ、重量計（乗員の重量を測定するための）、ＮＦＣ読み取り器などを含んでもよい。自動運転センサ３７４は、ニューラルネット推論サブシステム７０６によって解釈される環境データを提供してもよく、これは、車両を取り囲む環境の抽象化を生成することができる。
さらに、車両操作サブシステム７０８は、車両操作アクチュエータ７１０および／または車両操作センサ７１２と通信してもよい。車両操作サブシステム７０８が、酸素センサ、温度センサ、圧力センサ、空気流センサ、電圧センサ、燃料温度センサなどを含むがこれらに限定されない、他の構成要素（図示せず）と通信し得ることを理解されたい。
一実施形態では、位置受信機７１７が、車両位置を検出するための二次機構および／または三次機構を提供するために含まれてもよい。一実施形態では、位置受信機７１７は、ＷｉＦｉ受信機を含み、かつ二次機構は、ＷｉＦｉ位置検出を含み得る。別の実施形態では、位置受信機７１７は、セルラ（例えば、ＬＴＥ）受信機を含み、機構は、携帯電話基地局の三角測量を含み得る。一実施形態では、位置受信機７１７は、ＷｉＦＩ受信機およびセルラ受信機の両方を含み、信号可用性に応じて２つの異なる位置確認技術が適用され得る。特定の実施形態では、位置受信機７１７は、慣性センサをさらに含み、位置推定値を提供するために、慣性追跡が使用される。さらに他の実施形態では、車輪の回転数（オドメータ）、車輪の速度（スピードメータ）、および車輪の位置（ステアリング角度）が、位置を推定するために使用されてもよい。特定の実施形態では、さらに別の位置推定値を提供するために、加速度計および／またはジャイロが、位置を推定するための他の任意の技術と任意選択的に組み合わせて位置受信機７１７に含まれてもよい。
一実施形態では、ＧＰＳ受信機７１６が、位置受信機７１７によって提供された１つ以上の他の位置推定技術から所定の偏差距離を超えて逸脱した場合、通知および／または警告が伝送される。警告は、サービスプロバイダ、車両のオペレータ／所有者、親、または法執行機関に伝送されてもよい。特定のシナリオでは、攻撃者が、ＧＰＳ信号または他の信号のなりすましを試みて、車両を所望の経路から逸脱させようと試みる場合があり、複数の異なる位置測定値を提供することによって、車両はそのような攻撃を軽減しようと試みることができる。偏差距離は、マンハッタン距離、幾何学的距離、または他の任意の技術的に実現可能な距離測定値として測定されてもよい。
一実施形態では、自動運転センサ３７４からの画像データは、車両の現在の位置を識別し、車両の周囲の視覚データに基づいてさらに別の位置推定値を提供するように処理されてもよい。そのような実施形態では、視覚ベースの位置推定値とＧＰＳ位置との間に有意な偏差がある場合も、警告を伝送してよい。
特定の実施形態では、車両を無効にすることを含む特定の緩和機能が提供されてもよい。一実施形態では、車両を無効にすることは、オペレータ、所有者、または法執行機関によって指示され得る。さらに、車両を無効にすることは、任意の衝突シナリオを回避しながら、車両に速度を落とさせ、道路わきに寄せることを含んでもよい。
一実施形態では、１つ以上の化学センサ３７３が、システム７００に含まれ、車両３７０のキャビンの化学環境をサンプリング、測定、および／または分析するように構成されている。一実施形態では、化学センサ３７３は、キャビン内の二酸化炭素を測定するように構成されている。別の実施形態では、化学センサ３７３は、キャビン内の一酸化炭素を測定するように構成されている。さらに別の実施形態では、化学センサ３７３は、キャビン内のアルコール蒸気を測定するように構成されている。さらにまた別の実施形態では、化学センサ３７３は、キャビン内の煙を検出するように構成されている。他の実施形態では、化学センサ３７３は、毒素および生物学的危険検出を含む、車両の挙動を誘導し得る任意の技術的に実現可能な測定または分析を実施するように構成されていてもよい。
一実施形態では、車両が自動運転モードで動作しており、キャビンの二酸化炭素（または一酸化炭素）が特定の閾値を超えていると測定された場合、車両内のアクチュエータが、車両空調システムを介して新鮮な空気を取り込むなどしてよどんだ空気を流し出すように構成されていてもよい。
別の実施形態では、車両が人間のオペレータによって運転されており、キャビンの二酸化炭素（または一酸化炭素）が特定の閾値を超えていると測定された場合、警告信号（光インジケータ、音声インジケータ、振動インジケータ、またはインジケータの組み合わせ）が起動されてもよく、さらに、車両内のアクチュエータが、車両空調システムを介して新鮮な空気を取り込むなどしてよどんだ空気を流し出すように構成されていてもよい。さらに、システム７００は、運転者が安全な位置で車両を停車させようと進んでいる間に、運転者に眠気の兆候がないか観察し、事故回避のためには過度に眠気を催しているように見える場合、ロバストな運転者支援モードに遷移してもよい。一実施形態では、二酸化炭素の閾値は、キャビン空気中で測定される二酸化炭素の１パーセントの１０分の１～１パーセントである。
一実施形態では、車両が人間の運転者制御下で動作しており、アルコール、毒素、１つ以上の特定の化学マーカー、または危険な蒸気がキャビン空気中で検出された場合、車両は、警告インジケータを起動させてもよい。さらに、車両は、運転者が危険にさらされていると評価された場合（眠気、酒酔い、怪我、病気）、速度を落とし、停車し、道路わきの安全な場所で停止するように構成されてもよい。特定の実施形態では、車両制御およびナビゲーションシステム７０２は、蒸気源を評価するためにデジタルカメラからの画像データを読み取り、蒸気源がキャビンの外にあると判定された場合、車両は運転を継続してもよい。
一実施形態では、車両制御およびナビゲーションシステム７０２は、デジタルカメラ（例えば、ユーザＩＤセンサ３７２）からの画像データを読み取り、運転者が依然として警告状態にあるかどうかを評価する。他の実施形態では、車両制御およびナビゲーションシステム７０２は、デジタルカメラ（例えば、ユーザＩＤセンサ３７２）からの画像データを読み取り、車両の乗員が、車両を取り巻く環境（例えば、道路状態、オフロードの危険など）を観察しているかどうかを評価し、乗員が観察しており車両の外の特定の領域に焦点を当てている場合、領域は、その領域から起こり得る危険に対する高度な精査および／またはバイアスで分析される。
一実施形態では、車両制御およびナビゲーションシステム７０２は、車両３７０の動作制限を決定するように構成されてもよい。そのような動作制限は、センサ入力、および／または地理的位置情報とマップ情報との組み合わせに基づいて、車両制御およびナビゲーションシステム７０２によって評価されてもよい。制限を評価する際には、気象条件（例えば、雨、水蓄積、雪、氷など）を含む道路状態を考慮してもよい。一実施形態では、ニューラルネット推論サブシステム７０６が、現在の気象条件を（少なくとも部分的に）判定するように構成されている。さらに、車両制御およびナビゲーションシステム７０２は、現在の気象条件を（少なくとも部分的に）判定するために、リモートのネットワークベースの気象サービスと通信してもよい。制限はまた、タイヤ温度、タイヤ圧、および／または現在の車両重量に（少なくとも部分的に）基づいてもよい。例えば、速度（速さ）制限は、現在の車両重量が増加するかまたはタイヤ圧が減少するにつれて減少され得る。動作制限には、加速度および／または速度を含んでもよく、これらは（例えば、道路の幾何学的形状、気象条件、車両重量などに基づいて）所与の区間について評価され得る。制限は、運転者にフィードバックを提供するための基礎として使用されてもよい。一実施形態では、速度および／または加速度制限に関連するフィードバックは、さらなる車両の加速または速度がそれぞれの制限を超えるであろう場合に、加速器（ガス）ペダルを押す運転者への抵抗を増加する形態で提供されてもよい。
一実施形態では、システム７００は、車両３７０内の音（例えば、マイクロフォン７２０によってサンプリングされる）および／または車両の外の音の特性を評価するように構成されている。例えば、音の特性の評価が、乗員が医学的機能不全（例えば、心臓発作）に陥っていると示すことにより、例えば、当局に警告し車両位置で医療支援を要求することによって、システム７００に応答させるように示し得る。システム７００は、さらに、車両３７０に、交通をナビゲートさせ、支援を待機している車両を停車させることができる。代替的に、システム７００が、車両３７０を緊急医療施設まで運転してもよい。音の評価は、重要な行動を取る前に、車両カメラからのビデオ画像によってさらに検証されてもよい。
図７Ｂは、一実施形態による、ニューラルネット推論サブシステムを設定するための方法７０１を示す。任意選択として、方法７０１は、本明細書に開示される図面のいずれかの詳細の文脈において実装されてもよい。ただし、当然のことながら、方法７０１は、任意の所望の環境において実装されてもよい。さらに、上記の定義は、以下の説明にも同様に適用され得る。
示されるように、方法７０１は、ニューラルネット推論サブシステム７０６を設定して、認可されたユーザを識別することから開始する。動作７２６を参照されたい。例えば、ニューラルネット推論サブシステム７０６は、車両に接近している個人のキャプチャされた画像内の個人、ならびに（例えば、入ることが許された後で）車両に入る個人を識別するために使用されてもよい。同様にして、ニューラルネット推論サブシステム７０６によって使用される情報を収集するために虹彩スキャナ、ＮＦＣリーダなどを使用して、１人以上の認可されたユーザを識別してもよい。
ユーザが、車両を操作することを認可される。動作７２８を参照されたい。さらに、自動運転操作を開始するためのコマンドを受信する。動作７３０を参照されたい。さらに、ニューラルネット推論サブシステム７０６は、自動運転動作を実施するように構成されている。動作７３２を参照されたい。ユーザ認証および自動運転操作を実施するために別々に構成された複数の異なるハードウェアリソースを必要とする技術と比較して、方法７０１が、システム利用率を有利に向上させることを理解されたい。
図８は、１つの可能な実施形態による、通信ネットワークアーキテクチャ８００を示す。示されるように、少なくとも１つのネットワーク８０２が提供されている。本ネットワークアーキテクチャ８００の文脈において、ネットワーク８０２は、電気通信ネットワーク、ローカルエリアネットワーク（ＬＡＮ）、無線ネットワーク、インターネットなどのワイドエリアネットワーク（ＷＡＮ）、ピアツーピアネットワーク、ケーブルネットワークなどを含むがこれらに限定されない、任意の形態を取ることができる。１つのネットワークのみが示されているが、２つ以上の類似のまたは異なるネットワーク８０２が提供されてもよいことを理解されたい。一実施形態では、ネットワーク８０２は無線ネットワークを含み、これにはネットワークアクセスポイント／携帯基地局におけるロングタームエボリューション（ＬＴＥ）デジタルモデム、ならびに車両８１４（例えば、車両３７０）、スマートフォン８０６、およびスマートキー８１０などのクライアントデバイスが含まれる。通常の動作中、クライアントデバイスはネットワークアクセスポイントを介してデータを通信する。
ネットワーク８０２には、複数のデバイスが結合される。例えば、サーバコンピュータ８１２が、通信目的のためにネットワーク８０２に結合されていてもよい。さらにまた、スマートキーデバイス８１０、スマートフォン８０６、車両８１４などを含む、他の様々なデバイスがネットワーク８０２に結合されていてもよい。一実施形態では、車両８１４は、図７Ａのシステム７００の１つ以上のインスタンスを含む。さらに、車両８１４内の車両システム７００は、ネットワーク８０２、ならびに特にスマートキー８１０および／またはサーバ８１２と通信していてもよい。
一実施形態では、スマートキー８１０は、１つ以上の特定の人物が車両８１４を操作することを排他的に可能にするように構成されている。スマートキー８１０には、１人以上の特定の人物が関連付けられている。さらに、スマートキー８１０の異なるインスタンスが、異なる人々のセットが車両８１４を操作することを可能にしてもよい。一実施形態では、スマートキー８１０は、１人以上の特定の人物の識別情報を含むことができる。識別情報は、デジタル署名されていてよい。一実施形態では、識別情報は、車両プロセッサシステム（例えば、システム７００）によって使用される１つ以上のインデックスのリストを含み、１人以上の人物の認識情報をルックアップする。認識情報には、人物を識別するための係数（例えば、顔、指紋、虹彩パターン、網膜パターンなど）が含まれてもよい。
一実施形態では、車両プロセッサシステムは、車両乗員デバイスに関する識別情報を記録するように構成されている。例えば、車両プロセッサシステムは、車両乗客コンパートメント内のデバイスの、すべてのＷｉＦＩメディアアクセス制御（ＭＡＣ）アドレス、国際モバイル加入者識別（ＩＭＳＩ）値、電子シリアル番号（ＥＳＩＮ）値、および／またはモバイル機器識別子（ＭＥＩＤ）値を記録してもよい。さらに、車両８１４は、車両内および／または車両周囲の個人の顔を記録し、識別を試み、識別情報を記録された顔と関連付けることができる。
一実施形態では、スマートフォン８０６、スマートキー８１０、および／または車両８１４は、車両乗員に関する医療情報を格納するように構成されている。例えば、スマートフォン８０６は、デバイスの所有者に関する薬物アレルギー（またはアレルギーがないこと）および／または重大な病状（または病状がないこと）を格納するように構成されてもよい。事故のシナリオでは、医療情報は、到着時のより迅速な治療のために、第１の対応者が（スマートフォン８０６、スマートキー８１０、および／または車両８１４から）利用できるようにすることができる。
一実施形態では、生体認証データ（心拍数、心臓波形、血中酸素飽和度）、キャビンＣＯ２および／またはＣＯレベル、個々の健康状態（例えば、健康で目覚めている、眠気を催している、負傷している、病気である、急性症状がある、無意識である、など）を評価するために分析されたビデオデータのうちの１つ以上が、定期的に（例えば、システム７００によって）分析され、運転者または乗員が支援を必要とするかどうかをリアルタイムで判定する。支援には、車両８１４が運転するか、または人から運転を引き継いで、車両８１４を道路わきに安全に誘導することが含まれ得る。支援はまた、車両８１４を緊急医療施設に運転することを含んでもよい。支援はまた、救急車を呼ぶこと、車両８１４が救急医療施設に到着していることを法執行機関に通知すること、および任意選択的にエスコートを要求することを含んでもよい。一実施形態では、スマートウォッチによって、特定の生体認証データがサンプリングされ、車両８１４に伝送されてもよい。例えば、ユーザは、スマートウォッチを車両８１４とペアリングし、車両８１４が心拍数、心臓波形、酸素、血圧、またはスマートウォッチによってサンプリングされたそれらの組み合わせをリアルタイムで監視することを可能にし得る。ユーザが医学的に苦しんでいる場合、車両８１４は、上述のような支援を提供することができる。一実施形態では、ユーザデバイスは、ユーザが危険にさらされている可能性があるかまたは支援を必要とする可能性のある場合に、車両８１４に通知するように構成されていてもよい。例えば、スマートウォッチは、不整脈または心臓ストレスを検出した可能性があり、スマートウォッチおよび／またはスマートフォンは、車両８１４に向かっている途中で不規則な歩き方を検出した可能性がある。
一実施形態では、車両８１４は、例えば、乗員に存在する化学マーカーを検出するように構成されている。化学マーカーを検出すると、車両８１４は、化学マーカーが車両乗員に存在することを、法執行機関などの当局に警告し得る。車両８１４は、法執行機関に地理的位置情報を伝送しながら、動作を可能にするように構成されてもよい。このシナリオは、例えば、乗員が犯罪（例えば、銀行強盗）を犯し、犯罪現場でシステムによってマークされた場合に発生し得る。銀行の入り口は、銀行から出る途中の加害者に化学マーカーでマークするように構成されたそのような圧縮空気噴霧器などのシステムを含む場合があり、次いで車両８１４は、化学マーカーを検出し、当局に警告してもよい。化学マーカーは、技術的に実現可能な任意の化合物または化合物を含み得る。
図９は、一実施形態による、例示的なシステム９００を示す。任意選択として、システム９００は、図８のネットワークアーキテクチャ８００および／または図７Ａのシステム７００のいずれかのデバイスの文脈において実装されてもよい。当然のことながら、システム９００は、任意の所望の環境において実装されてもよい。
示されるように、システム９００は、通信バス９１２に接続された少なくとも１つの中央プロセッサ９０２を含んで提供される。システム９００はまた、メインメモリ９０４［例えば、ランダムアクセスメモリ（ＲＡＭ）など］を含む。システム９００はまた、グラフィックスプロセッサ９０８および表示装置９１０を含む。
システム９００はまた、セカンダリストレージ９０６を含んでもよい。セカンダリストレージ９０６は、例えば、ハードディスクドライブ、ソリッドステートメモリドライブ、および／またはリムーバブルストレージドライブなどを含む。リムーバブルストレージドライブは、周知の方式でリムーバブルストレージユニットからの読み取りおよび／またはリムーバブルストレージユニットへの書き込みを行う。
そのために、メインメモリ９０４、セカンダリストレージ９０６、および／または他の任意のメモリに、コンピュータプログラム、またはコンピュータ制御ロジックアルゴリズムが格納されていてもよい。そのようなコンピュータプログラムは、実行されると、システム９００が様々な機能を（例えば、上述のように）実施することを可能にする。メモリ９０４、ストレージ９０６、および／または他の任意のストレージは、非一時的コンピュータ可読媒体の可能な例である。
図１０Ａは、１つの可能な実施形態による、画像をキャプチャするための例示的な方法１０００を示す。方法１０００は、任意の技術的に実現可能なデジタル写真システム（例えば、デジタルカメラまたはデジタルカメラサブシステム）によって実施されてもよい。一実施形態では、方法１０００は、図３Ａのデジタル写真システム３００によって実施される。
ステップ１００２で、デジタル写真システムは、シーン内の１つ以上の顔を検出する。本説明では、１つ以上の顔を検出することを説明しているが、１つ以上の他の身体部分（例えば、腕、手、脚、足、胸部、首など）を検出し、方法１０００の文脈において使用してもよいことを理解されたい。１つ以上の顔（または１つ以上の身体部分）を検出するために、任意の技術的に実現可能な技術が使用されてもよい。ステップ１００４において、１つ以上の顔（または１つ以上の身体部分）のうちの少なくとも１つが閾値スキントーンを有する場合、方法は、ステップ１００８に進む。本説明の文脈において、スキントーンは、肌（例えば、人間の肌）の色合いを指す。例えば、スキントーンは、人間の自然な肌の色の範囲に応じて、明るい、中程度、または暗い、または明るいと中程度との間もしくは中程度と暗いとの間の融合であってもよい。
ステップ１００４で、シーン内の顔が閾値スキントーンを有さない場合、方法はステップ１００６に進む。本説明の文脈において、閾値スキントーンは、定義された低強度の閾値を下回る暗いスキントーン、または定義された高強度の閾値を上回る明るいスキントーンであると定義される。暗いスキントーンの場合、個人の顔は非常に露出不足に見える場合があり、明るいスキントーンの場合、個人の顔は色あせた露出過剰に見える場合がある。そのような閾値は、定量的技術、および／または所与の単一もしくは複数のカメラシステムからのキャプチャされた画像の主観的評価を使用した技術を含む、任意の技術的に実現可能な技術に従って決定されてもよい。
加えて、閾値スキントーンは、所定の肌の色合いを含んでもよい。例えば、閾値スキントーンは、ライトシェード、ミディアムシェード、もしくはダークシェードのスキントーン、またはライトシェードおよび／もしくはミディアムシェードおよび／もしくはダークシェードのパーセンテージを指してもよい。そのような閾値スキントーンは、ユーザ、アプリケーション、オペレーティングシステムなどによって事前定義されてもよい。さらに、閾値スキントーンは、静的に（すなわち、変化しないなど）、または動的に機能してもよい。例えば、閾値スキントーンは、キャプチャしているデバイスおよび／または環境の文脈に結び付けられ得る。このようにして、デフォルトの閾値スキントーンは、特定の文脈上の条件または環境条件（例えば、輝度が所定の範囲であるなど）に応じて適用されてもよく、かかる文脈上の条件および／または環境条件が変化した場合、閾値スキントーンは、それに応じて修正されてもよい。例えば、デフォルトの閾値スキントーンは、周囲照明の「通常の」状態に結び付けられ得るが、環境が外の明るい太陽光に変更された場合、閾値スキントーンは、より明るい環境を考慮し、閾値スキントーンを修正してもよい。
低閾値スキントーンは、キャプチャされたシーン内の低輝度の外観の技術的に実現可能な任意の閾値であり得る。一実施形態では、低閾値スキントーンは、検出された顔の領域についての低い平均強度（例えば、強度範囲全体の１５％未満）として定義される。別の実施形態では、低閾値スキントーンは、検出された顔の領域の低いコントラストとして定義される。さらに別の実施形態では、低閾値は、検出された顔の領域の低いヒストグラム中央値（例えば、強度範囲全体の２０％）として定義される。同様に、高閾値は、キャプチャされたシーン内の高輝度の外観の技術的に実現可能な任意の閾値であり得る。一実施形態では、高閾値は、検出された顔の領域の高い平均強度（例えば、強度範囲全体の８５％超）として定義される。別の実施形態では、高閾値は、検出された顔の領域について、高強度である（明るい）が、低いコントラストとして定義される。さらに別の実施形態では、高閾値は、検出された顔の領域の高いヒストグラム中央値（例えば、強度範囲全体の８０％）として定義される。
ステップ１００６で、シーンが、集合的に高ダイナミックレンジ強度を有する領域を含む場合、方法は、ステップ１００８に進む。そうでない場合、方法は、ステップ１０１０に進む。
ステップ１００８で、デジタル写真システムは、高ダイナミックレンジ（ＨＤＲ）キャプチャを有効にする。ステップ１０１０で、デジタル写真システムは、キャプチャモードに従ってシーンの画像をキャプチャする。例えば、ＨＤＲが有効であることがキャプチャモードで指定されている場合、デジタル写真システムはＨＤＲ画像をキャプチャする。
図１０Ｂは、１つの可能な実施形態による、画像をキャプチャするための例示的な方法１０２０を示す。方法１０２０は、任意の技術的に実現可能なデジタル写真システム（例えば、デジタルカメラまたはデジタルカメラサブシステム）によって実施されてもよい。一実施形態では、方法１０２０は、図３Ａのデジタル写真システム３００によって実施される。
ステップ１０２２で、デジタル写真システムは、本明細書に記載されるように、閾値スキントーンを有するシーン内の１つ以上の顔を検出する。当然のことながら、方法１０２０は、１つ以上の他の身体部分（例えば、腕、首、胸部、脚、手など）に追加的に適用されてもよいことを理解されたい。
ステップ１０２４で、デジタル写真システムは、シーンを１つ以上の顔領域と１つ以上の非顔領域とにセグメント化する。外観に基づいてセグメント／領域のカバレッジを推測する技術、ならびに視覚画像と組み合わせてキャプチャされた深度画像（ｚマップ）も含む技術を含む、任意の技術的に実現可能な技術を実装して、シーンのセグメンテーションを提供してもよい。代替的な実施形態では、ステップ１０２４は、第１の部分（例えば、頭など）と第２の部分（例えば、首など）との間のエッジ検出を含み得る。特定の実施形態では、機械学習技術（例えば、ニューラルネットワーク分類）を使用して、顔領域の一部分である画像画素、または他の身体部分と関連付けられた肌を検出することができる。
ステップ１０２６で、シーンの１つ以上の画像がキャプチャされる。シーンのそのような１つ以上の画像をキャプチャするために、カメラモジュールおよび／またはデジタル写真システムが使用されてもよい。一実施形態では、デジタル写真システムは、単一の高ダイナミックレンジ画像をキャプチャし得る。例えば、デジタル写真システムは、単一の画像をキャプチャしてもよく、単一の画像は、１画素当たりの色チャネル当たり１４ビット以上のダイナミックレンジを有してもよい。別の実施形態では、デジタル写真システムは、２つ以上の画像をキャプチャし、それらの各々は、比較的高いダイナミックレンジ（例えば、１画素当たりの色チャネル当たり１２ビット以上）または１画素当たりの色チャネル当たり１２ビット未満のダイナミックレンジを提供し得る。２つ以上の画像は、少なくとも顔領域および非顔領域の詳細をキャプチャするために露光される。例えば、２つ以上の画像のうちの第１の画像は、顔領域の中央強度が第１の画像の中間点強度を画定するように露光され得る。さらに、非顔領域の中央強度が第２の画像の中間点強度を画定するように、２つ以上の画像のうちの第２の画像を露光させてもよい。
ステップ１０２８で、デジタル写真システムは、１つ以上の顔領域を処理して、最終画像を生成する。一実施形態では、１つ以上の顔領域を処理するために、デジタル写真システムは、高い程度のＨＤＲ効果を顔領域内の最終画像画素に適用する。特定の実施形態では、ある程度のＨＤＲ効果は、所与の顔領域の外側境界から遷移領域を通って、周囲の非顔領域の境界に至る経路に沿った画素に対して、徐々に減少する。遷移領域は、任意の厚さ（例えば、１画素～多数画素）を有してもよい。一実施形態では、ＨＤＲ効果の程度は、”ＩＭＡＧＥ ＳＥＮＳＯＲ ＡＰＰＡＲＡＴＵＳ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＯＢＴＡＩＮＩＮＧ ＭＵＬＴＩＰＬＥ ＥＸＰＯＳＵＲＥＳ ＷＩＴＨ ＺＥＲＯ ＩＮＴＥＲＦＲＡＭＥ ＴＩＭＥ”と題され、すべての目的のために参照によって本明細書に組み込まれる、２０１５年８月１１日に出願された同時係属中の米国特許出願第１４／８２３，９９３号に定義される強度係数に比例する。他の実施形態では、他のＨＤＲ技術が、特定の技術に従って定義されたＨＤＲ効果の程度で実装されてもよい。例えば、基本的なアルファブレンドが、従来の露光（ｅｖ０）画像とＨＤＲ画像との間のブレンドに使用されてもよく、非顔領域画素についてはＨＤＲ効果のゼロの程度、顔領域画素については１の程度、および遷移領域内の画素については１とゼロとの間の漸進的な遷移（図２を参照）となる。概して、暗いスキントーンを有する個人に関連付けられた顔領域内の画素にＨＤＲ効果を適用することは、より低い光レベルでのより大きなコントラストをもたらし、かつ画像強度の中間点に近い暗いスキントーンを再マッピングする。顔領域内の画素にＨＤＲ効果を適用することは、顔領域内の画素に対してより大きなコントラストをもたらし、それによってより大きな視覚的詳細をもたらすことができる。特定のＨＤＲ技術は、トーン（強度）マッピングを実装する。一実施形態では、従来のＨＤＲトーンマッピングは、顔領域内の画素に対するより大きな範囲を提供するように修正される。例えば、暗いスキントーンの個人の画像をキャプチャするとき、より暗いキャプチャされた強度範囲は、修正されたトーンマッピングによってマッピングされて、顔領域内の画素のより大きな出力範囲（最終画像）を有し得る一方、非顔領域内の画素には従来のマッピングが適用される。一実施形態では、”ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＧＥＮＥＲＡＴＩＮＧ Ａ ＨＩＧＨ－ＤＹＮＡＭＩＣ ＲＡＮＧＥ （ＨＤＲ） ＰＩＸＥＬ ＳＴＲＥＡＭ”と題され、すべての目的のために参照によって本明細書に組み込まれる、２０１４年１１月７日に出題された、現在は米国特許第９，１６０，９３６号である米国特許出願第１４／５３６，５２４号に記載されているように、（正しいトーンマッピングを有する）ＨＤＲ画素ストリームが作成されてもよい。さらに、（正しいトーンマッピングを有する）ビデオストリームが、本明細書に記載の方法を適用することによって生成されてもよい。
別の実施形態では、１つ以上の画像を処理するために、デジタル写真システムは、顔領域（または選択された身体領域）内の画素に対して局所均等化を実施してもよい。局所均等化は、遷移領域内で様々な程度で適用されてもよい。一実施形態では、コントラスト制限適応ヒストグラム均等化（ＣＬＡＨＥ）を含む局所均等化技術が、別個に、またはＨＤＲ技術と組み合わせて適用されてもよい。そのような実施形態では、１つ以上の画像は、方法１０２０に従ってキャプチャされてもよく、または１つ以上の画像は、他の任意の技術的に実現可能な画像キャプチャ技術に従ってキャプチャされてもよい。
特定の実施形態では、シーン内の１つ以上の個人のモデルを構築するために、深度マップ画像および関連する視覚画像が使用されてもよい。視覚画像から、１つ以上のテクスチャマップが生成されてよい。例えば、深度マップは、個人の顔（写真被写体）の三次元（３Ｄ）モデルを構築するために部分的に使用されてもよく、視覚画像は、３Ｄモデルの表面テクスチャを提供してもよい。一実施形態では、表面テクスチャは、色および／または特徴（例えば、ほくろ、切り傷、傷跡、そばかす、顔の色合いなど）を含んでもよい。表面テクスチャは、肌の色および個々に固有の肌テクスチャ（例えば、ほくろ、切り傷、傷跡、そばかす、顔の色合いなど）を保持しながら、画像の中間点の強度に近い平均強度を提供するように修正されてもよい。次いで、３Ｄモデルをレンダリングして、最終画像を生成してもよい。レンダリングされた画像は、想定された自然シーン照明、レンダリングプロセスで追加された合成照明源と組み合わせた自然シーン照明、またはそれらの組み合わせを含んでもよい。例えば、個人の顔のハイライトとシャドウからの深度の手がかりを提供するために、柔らかい側面ライトが追加されてもよい。さらに、追加のハイライトとシャドウを提供するために、レンダリングプロセスでグラデーションライトが追加されてもよい。
特定の他の実施形態では、顔領域を処理するための本明細書に開示される技術は、画像キャプチャと組み合わせてではなく、後処理として実装されてもよい。
図１０Ｃは、１つの可能な実施形態による、顔領域１０４２および非顔領域１０４４への例示的なシーンセグメンテーションを示す。示されるように、画像１０４０は、顔領域１０４２および非顔領域１０４４にセグメント化される。任意の技術的に実現可能な技術を使用して、シーンセグメンテーションを実施することができる。この技術は、視覚画像情報、深度マップ情報、またはそれらの組み合わせのみで動作し得る。任意選択として、図１０Ｃは、本明細書に記載するように、他の図面のいずれかの文脈において実装されてもよい。特に、図１０Ｃは、図１０Ｂのステップ１０２２～１０２８の文脈において実装されてもよい。
別の実施形態では、選択された身体部分領域は、選択されていない身体部分領域と区別され、別個に識別され得る。例えば、手は周囲から区別され、腕は胴体から、足は脚からなどの区別がされ得る。
図１０Ｄは、１つの可能な実施形態による、シーンの顔領域マスク１０４１を示す。一実施形態では、画像１０４０内の対応する画素位置が顔領域１０４２内にある場合、顔領域マスク１０４１内の画素値は、１（１．０）の値に設定され、画像１０４０内の対応する画素位置が顔領域１０４２外にある場合、顔領域マスク１０４１内の画素値は、ゼロ（０．０）の値に設定される。一実施形態では、実質的に完全な顔領域マスク１０４１が生成され、メモリに格納される。別の実施形態では、個々のマスク要素は、完全な顔領域マスク１０４１をメモリに格納することなく、使用前に計算される。任意選択として、図１０Ｄは、本明細書に記載するように、他の図面のいずれかの文脈において実装されてもよい。特に、図１０Ｄは、図１０Ｂのステップ１０２２～１０２８の文脈において、または図１０Ｃの文脈において実装されてもよい。
図１０Ｅは、１つの可能な実施形態による、遷移領域１０４６を含むシーンの顔領域マスク１０４１を示す。示されるように、遷移領域１０４６は、顔領域１０４２と非顔領域１０４４との間に配設される。顔領域マスク１０４１内のマスク値は、非顔領域１０４４から顔領域１０４２への経路１０４８に沿って、ゼロから１に増加する。非顔領域１０４４から顔領域１０４２へのマスク値の増加の勾配は、経路１０４８に沿って示される。例えば、マスク値は、非顔領域１０４４のゼロ（０．０）の値から、経路１０４８に沿って、顔領域１０４２の１（１．０）の値に増加し得る。任意の技術的に実現可能な技術を使用して、勾配を生成することができる。任意選択として、図１０Ｅは、本明細書に記載するように、他の図面のいずれかの文脈において実装されてもよい。特に、図１０Ｅは、図１０Ｂのステップ１０２２～１０２８の文脈において、または図１０Ｃ～１０Ｄの文脈において実装されてもよい。
図１１は、１つの可能な実施形態による、非顔領域（例えば、非顔領域１０４４）から顔領域（例えば、顔領域１０４２）へのマスク値の例示的な遷移を示す。任意選択として、図１１は、本明細書に開示される図面のいずれかの詳細の文脈において実装されてもよい。ただし、当然のことながら、図１１は、任意の所望の環境において実装されてもよい。
示されるように、顔領域マスク画素値１１０２（例えば、顔領域マスク１０４１内の所与の画素におけるマスク値）は、非顔領域１１０１Ａから始まる経路１１００に沿って、非顔領域１１０１Ａ画素から遷移領域１１０１Ｂを横断して顔領域１１０１Ｃ画素まで増加し、顔領域１１０１Ｃに続く。例えば、経路１１００は、図１０Ｅの経路１０４８の少なくとも一部分に対応し得る。当然のことながら、図１１は、他のおよび／または複数の身体領域に関して実装され得ることを理解されたい。例えば、図１１は、顔領域および首領域を含むマスク値を示すために実装されてもよい。さらに、図１１は、可視である肌を有する任意の身体部分領域を含むマスク値を示すために実装されてもよい。
他の実施形態では、顔領域と併せて、または顔領域を判定するために、深度マップが使用され得る。加えて、スキントーンのコントラストを向上させるために、（例えば、ＣＬＡＨＥまたは任意の同様の技術を使用して）コントラストを修正してもよい。一実施形態では、スキントーンがより明るい（またはより暗い）場合、追加のコントラストが追加されてもよい（または除去されてもよい）。他の実施形態では、（例えば、顔の３Ｄマッピングから）顔の輪郭が既知である場合、照明、影、および／または他の照明効果が、１つ以上の後処理動作で追加または修正されてもよい。さらに、ボクセル化（および／または２Ｄ画像の３Ｄマッピング）または他の空間データ（例えば、深度マップデータから構築された対象の表面メッシュ）を使用して、顔および／または追加の身体部分をモデル化し、そうでなければ画像に関連付けられた深度値を決定してもよい。
一実施形態では、深度マップ情報は、（例えば、２つ以上のレンズ視点、同じシーンだが異なる角度からの２つ以上の画像、および／またはズームレベル、画像のほぼ同時のキャプチャ、デュアル画素／焦点画素位相検出などから計算された視差に基づいて）デジタルカメラから取得されてもよい。加えて、深度マップ情報も（例えば、深度マップセンサから）取得され得る。一例として、画像内に顔が見出され、かつ画像の深度マップを使用して顔をモデル化する場合、次いで、合成照明（例えば、照明勾配）を顔に追加して、顔の照明条件を（例えば、リアルタイムまたは後処理において）修正することができる。さらに、深度マップと併せて、（画像内の顔からサンプリングされた）テクスチャマップを使用して、顔の３Ｄモデルを生成することができる。このようにして、任意の顔に正しい視点で合成照明を適用することができるだけでなく、追加的に、照明色を、測定された周囲照明の色バランスに従って、顔上の周囲条件およびスキントーン（または示されている任意の肌セクション）に対して正確にすることができる。シーン内の照明源を識別し照明源のうちの１つ以上の色バランスを推定することを含む、周囲照明の色バランスを測定するために、任意の技術的に実現可能な技術が実装されてもよい。代替的に、対象の顔上の照明の色バランスは、サンプリングされた色を既知の人間のスキントーンのセットにマッチングさせることに基づいて判定されてもよい。他の実施形態では、車両３７０の車内または車外の１人以上の個人を識別するために、グレースケール画像が作製、強調、または生成／レンダリングされ、使用される。
一実施形態では、テクスチャマップは、画像内の顔から作成されてもよい。さらに、テクスチャマップにわたるコントラストは、スキントーンを補正するために選択的に修正されてもよい。例えば、シーンは、対象の肌の領域（例えば、顔、腕、首など）と肌ではない領域（例えば、衣類、髪、背景）とを含むようにセグメント化されてもよい。さらに、シーンは、他の肌身体部品（例えば、腕、首など）を含んでもよい。そのような例では、すべての露出した肌は、（別個のテクスチャマップまたは１つの包括的なテクスチャマップのいずれかとして）テクスチャマップに含まれてもよく、共に補正（例えば、均等化、トーンマッピングなど）がなされてもよい。修正されたテクスチャマップは、次いで、顔の３Ｄモデル、および可視の身体部分に関連付けられた任意の可視の肌に適用される。３Ｄモデルは次いで、シーン内の個人の顔および他の任意の身体部分の画像を生成するために、シーン内の所定の位置にレンダリングされ得る。同一の個人の可視の肌に対してコントラスト補正／調整を実施することによって、生成された画像は、個人についての一貫したスキントーンが維持されるため、全体的により自然に見え得る。
特定のシナリオでは、非連続の肌の領域は、別々に補正されてもよい。一例として、人は、（例えば、車両３７０を含む照明器具から）自身の顔に光が投影されていてもよく、一方、人の首、手、または腕は影に入っていてもよい。したがって、そのような顔は非常に明るい可能性があるのに対して、首、手、腕はすべて別個の異なる色相および光量であり得る。このように、シーンは、異なる色相および光強度を有するいくつかの物理領域にセグメント化され得る。したがって、各領域は、より自然な全体的な外観のために状況に応じて補正され得る。
一実施形態では、オブジェクト分類子および／または他のオブジェクト認識技術（例えば、機械学習など）を使用して、身体部分（手、腕、顔、脚）を検出し、すべての身体部分を露出した肌と関連付けることで、検出された身体部位に、（テクスチャマップに従って）コントラスト補正が適用されてもよい。一実施形態では、ニューラルネットワーク分類エンジンは、個々の画素を、身体部分の露出した肌に関連しているとして識別するように構成されている。露出した肌として識別される画素は、セグメント（領域）に集約されてもよく、かつ領域は、補正（例えば、均等化、トーンマッピングなど）がなされてもよい。
一実施形態では、シーンの階層が構築されてもよく、分類エンジンを使用してシーンをセグメント化してもよい。関連付けられたテクスチャマップが、シーンセグメントから生成され得る。テクスチャマップは、補正され、所定の位置にレンダリングされ、そのような階層に適用され得る。別の実施形態では、階層は、肌が露出した各身体部分の露光値を抽出すること、および露光値をテクスチャマップに基づいて補正値と相関させることを含み得る。
いくつかの実施形態では、スキントーンは、判定された身体部分に基づいて異なってもよい。例えば、顔の肌のスキントーンは、手／腕／などとは異なってもよい。そのような実施形態では、テクスチャマップおよび深度マップを含む３Ｄモデルを生成し、レンダリングして、異なる各身体部分の１つ以上について別々に画素を補正および／または均等化してもよい。一実施形態では、参照トーン（例えば、いくつかの別個の、既知の人間のスキントーンのうちの１つ）が、露出した肌に関連付けられた画像内の画素の補正（例えば、均等化、トーンマッピング、色相調整）のための基礎として使用されてもよい。他の実施形態では、補正／スキントーンは、視覚的に連続しない異なる身体部分に別々に適用され得る。
図１２は、１つの可能な実施形態による、焦点ターゲット情報に基づいて焦点を調整するために実行される例示的な方法１２００を示す。任意選択として、例示的な方法１２００は、図面のいずれかの詳細の文脈において実装されてもよい。ただし、当然のことながら、例示的な方法１２００は、任意の所望の環境において実行されてもよい。
示されるように、カメラモジュールを使用して、画像が画像データとしてサンプリングされる。動作１２０２を参照されたい。さらに、カメラモジュールは、画像データをアプリケーションプロセッサに伝送してもよい。本説明の文脈において、そのような画像データは、画素強度に対応する電圧または電流を含む画像に関連付けられた任意のデータ、およびアナログ－デジタル変換器が電圧および／または電流をサンプリングすることから生じるデータを含む。さらに、画像データに追加の画像をサンプリングして追加してもよい。
一実施形態では、カメラモジュールは、画像センサと、画像センサのためのインタフェース回路（例えば、タイミング制御ロジック、アナログ－デジタル変換回路、焦点制御システム回路など）ならびにアプリケーションプロセッサおよび／またはＳｏＣと通信するためのインタフェース回路を含むコントローラと、レンズアセンブリと、他の制御電子機器とを含み得る。さらに、別の実施形態では、アプリケーションプロセッサは、ＳｏＣまたは追加の集積回路（例えば、１つ以上のメモリチップ）を含んでもよい。
動作１２０４では、画像データが処理のために伝送され、処理は、１つ以上の焦点領域を識別することを含む。一実施形態では、画像データを伝送するために、および／または画像データを処理するために、ＳｏＣが使用されてもよい。加えて、一実施形態では、画像データのそのような処理は、画像データを少なくとも部分的に圧縮すること、画像データを正規化すること、画像データに関連付けられた１つ以上のパラメータ（例えば、ホワイトバランス、色バランス、露光、輝度、彩度、黒点、中間点など）を補正および／もしくは調整すること、または画像データを分析することを含んでもよい。さらに、画像データを分析することは、１つ以上のオブジェクトを識別することを含んでもよい。
一実施形態では、１つ以上の焦点領域を識別することは、１つ以上のオブジェクト（例えば、人間の顔）を識別すること、指定された場所を境界とする固定領域を識別すること、画像データ内のエッジ（例えば、領域の境界）を検出すること、色もしくは照明の変化、視野方向の変化、サイズもしくは形状の変化、グレースケールのマッチング、グラデーションのマッチング、またはヒストグラムの変化を検出することを含んでもよい。さらに、１つ以上の焦点領域を識別することは、画像データ内のオブジェクトを識別するために画像分類を実行することを含み得る。さらに、一実施形態では、オブジェクトを識別することを使用して、画像データを人物の身元と一致させてもよい。例えば、画像データは、画像分類および／または１つ以上の機械学習モジュールによって処理されて、人物を識別してもよく、より具体的には、車両３７０の認可されたオペレータおよび／または乗員を識別してもよい。いくつかの実施形態では、人物を識別することは、画像データを別個のサーバに送信して、人物をより正確に識別することを含んでもよい。
そのようにして、様々な実施形態では、もう１人の人物を識別することは、１つのステップで、シーンの画像データを含む１つの場所での第１の人物の１つの画像を、画像データ内に含まれる別の場所での第２の人物の別の画像から分離することを含み得、別のステップで、第１の人物の身元および第２の人物の身元を識別することを含み得る。
そのようにして、１つ以上の焦点領域に対応する焦点ターゲット情報を決定する。動作１２０６を参照されたい。本説明の文脈では、そのような焦点ターゲット情報は、直交座標系内または非直交座標系内の、任意の二次元（２Ｄ）座標、画素画像平面座標、整数画素座標、正規化された座標（例えば、各次元で０．０～１．０）、ＸＹ座標、または他の任意の技術的に実現可能な座標を含む。座標は、ＸＹ座標のリストもしくは配列、またはビットマップであって、各ビットマップ要素の状態が、要素に対応する座標が座標の１つとして含まれるかどうかを表すビットマップなどの、任意の技術的に実現可能な技術を使用して表されてもよい。一実施形態では、座標の変換は、例えば、３Ｄマッピングから２Ｄマッピングへの変換、画像センサの行および列マッピングから画像平面マッピングへの変換、またはＸＹ画像座標から画素画像座標への変換などで起こり得る。
一実施形態では、焦点ターゲット情報の決定は、自動的であってもよい。例えば、１つ以上のオブジェクト（例えば、１人以上の人物）の識別に基づいて、どのオブジェクトがカメラモジュールに最も近いかが判定されてもよく、その最も近いオブジェクトの焦点ターゲット情報が焦点領域としてカメラモジュールに提供されてもよい。当然のことながら、他の実施形態では、カメラモジュールに関連付けられた設定は、オブジェクトに関連付けられた優先度を確立するように構成されてもよい。例えば、１つ以上の顔は、背景内の無生物オブジェクトよりも全体的に高い優先度スコアをとってもよい。したがって、様々な実施形態では、いくつかの特徴の中でもとりわけ、オブジェクトの位置、タイプ（例えば、顔）、数、輝度、および色合い（例えば、既知の人間スキントーン）が、オブジェクトの優先度を確立するために使用されてもよい。優先度は、カメラモジュールの焦点を設定するために使用されてもよい。優先度はまた、画像スタック内の異なる画像をキャプチャするための焦点距離のセットを指定するために使用されてもよい。次いで、画像スタックを焦点スタッキングのために使用して、生成された画像内のオブジェクト（例えば、人物）を識別するためのより鮮明な全体的な焦点を有する画像を生成することができる。
一実施形態では、２つ以上のカメラを使用してオブジェクトを撮影し、各カメラから収集されたデータを集合的に使用して、識別されたオブジェクトの優先順位を評価してもよい。例えば、第１の人物は車両３７０の近くに立っており、第２の人物は車両３７０から離れて立っている場合がある。例を続けると、車両３７０内の第１のカメラが、第１の人物および第２の人物の画像をキャプチャする。しかしながら、第１の人物の位置のみに基づくと、第１の人物に合焦すべきであることが自動的に判定されない可能性がある。複数のカメラからの入力を受信することで、車両３７０内の処理システムが、写真の中の第１の人物が一貫して関心のあるオブジェクトであることを識別することが可能となり得る。さらに、複数のカメラモジュールからの集合画像データを使用してオブジェクトの優先度を決定することができ、そのようなオブジェクト優先度を使用してオブジェクトの焦点ターゲット情報を自動的に判定することができる。
示されるように、焦点は、焦点ターゲット情報に基づいて調整される。動作１２０８を参照されたい。一実施形態では、カメラモジュールは、焦点ターゲット情報（例えば、座標）に合焦するように光学レンズアセンブリの焦点を調整してもよく、これは、カメラモジュール内の画像センサのアクティブ感知領域の二次元座標空間に関連付けられてもよい。一実施形態では、画像センサは、各々がＸＹ座標によって識別される領域に関連付けられた、焦点画素の配列を含む。一実施形態では、画像センサのネイティブ解像度は、画像センサ内に埋め込まれた焦点画素の解像度よりも高くてもよく、所与のＸＹ座標は、画像センサ内に埋め込まれた焦点画素のうちの１つ以上にマッピングされてもよい。例えば、ＸＹ座標は、２つ以上の焦点画素の間に配置され、最も近い焦点画素にマッピングされてもよい。あるいは、ＸＹ座標は、２つ以上の焦点画素の間に配置され、ＸＹ座標で焦点を達成するために２つ以上の焦点画素に基づいて合焦するときに、重みまたは優先度が適用されてもよい。特定の実施形態では、焦点領域に関連付けられた焦点画素の集合からの情報が集約されて、焦点領域（または複数の焦点領域）の焦点推定値を（例えば、コスト関数に従って）生成する。一実施形態では、焦点を調整することは、１つ以上のレンズをターゲット焦点位置に物理的に移動させること、またはターゲット焦点構成への電気的に可変の屈折率を有する光学素子を制御するために電気的焦点信号（例えば、電圧レベル）を調整することを含み得る。
一実施形態では、システム７００は、認証のための顔などの、シーン内の重要なアイテムだけでなく、銃、ナイフ、持ち上げられた棒状の物などの危険なオブジェクトも識別する。次いで、システム７００は、重要なアイテムをターゲット焦点位置として示す。さらに、システム７００は、潜在的なフォレンジック目的のために、ターゲット焦点位置を伴うビデオ映像を記録してもよい。
図１３は、一実施形態による、焦点ターゲット情報に基づいて焦点を調整するように構成された例示的なシステム１３００を示す。任意選択として、例示的なシステム１３００は、図面のいずれかの詳細の文脈において実装されてもよい。ただし、当然のことながら、例示的なシステム１３００は、任意の所望の環境において実装されてもよい。さらに、上記の定義は、以下の説明にも同様に適用され得る。
示されるように、カメラモジュール１３０２は、画像データ１３０４をＳｏＣ１３０６に伝送する。一実施形態では、受信した画像データに基づいて、ＳｏＣ１３０６は、画像データ内の１つ以上のオブジェクトを識別してもよく、かつ識別された１つ以上のオブジェクトに関連付けられた焦点ターゲット情報（例えば、座標）を判定してもよい。さらに、ＳｏＣ１３０６は、焦点ターゲット情報１３０８をカメラモジュール１３０２に伝送し返してもよく、カメラモジュール１３０２は、次いでＳｏＣ１３０６によって示された焦点ターゲット情報に基づいて焦点を調整してもよい。一実施形態では、ＳｏＣ１３０６は、画像データ１３０４内の人間の顔を識別し、焦点ターゲット情報１３０８内の焦点ターゲットとして１人以上の人間の顔の位置を指定するように構成されている。位置は、画像データ１３０４に関連付けられた任意の座標系に従って指定されてもよい。一実施形態では、ユーザＩＤセンサ３７２のインスタンスは、カメラモジュール１３０２のインスタンスを含む。一実施形態では、ユーザＩＤセンサ３７２のインスタンスは、ＳｏＣ１３０６のインスタンスを追加的に含んでもよい。特定の実施形態では、ＳｏＣ１３０６は、カメラモジュール１３０２を備える筐体にパッケージ化される。
一実施形態では、ＳｏＣ１３０６は、１人以上の人間の顔に関連付けられた特定の人物を識別するように構成されていてもよい。識別された人物は、車両３７０の認可されたオペレータまたは乗員（例えば、乗客）であってもよい。そのような実施形態では、識別された人物の識別情報は、システム７００に伝送され、システム７００は、それに応じて（例えば、本明細書に記載された方法のうちの１つ以上を使用して）応答し得る。
別の実施形態では、ＳｏＣ１３０６は、処理のためにシステム７００に伝送される画像データを生成するために使用されてもよい。画像データは、ＳｏＣ１３０６によって識別され、カメラモジュール１３０２によって維持される焦点ターゲット位置を有する静止フレームおよび／またはビデオフレームを含んでもよい。一実施形態では、焦点ターゲット情報が（ＳｏＣ１３０６またはシステム７００のいずれかによって）識別されると、ＳｏＣ１３０６は、焦点ターゲット情報１３０８をカメラモジュール１３０２に伝送し返してもよく、カメラモジュール１３０２は、次いでＳｏＣ１３０６によって示された焦点ターゲット情報に基づいて焦点を継続的に調整してもよい。
図１４は、一実施形態による、アプリケーションプロセッサ１４１８と通信するカメラモジュール１４０２を示す。任意選択として、カメラモジュール１４０２は、本明細書に開示される図面のいずれかの詳細の文脈において実装されてもよい。ただし、当然のことながら、カメラモジュール１４０２は、任意の所望の環境において実装されてもよい。さらに、上記の定義は、以下の説明にも同様に適用され得る。
示されるように、カメラモジュール１４０２は、アプリケーションプロセッサ１４１８と通信状態１４１６であってもよい。さらに、カメラモジュール１４０２は、レンズアセンブリ１４０６、画像センサダイ１４０８、およびコントローラダイ１４１４を含んでもよい。画像センサダイ１４０８は、レンズアセンブリ１４０６から光学シーン情報１４０４を受信してもよい。さらに、画像センサダイ１４０８は、コントローラダイ１４１４と通信状態１４１２であってもよく、コントローラダイ１４１４は、レンズアセンブリ１４０６と通信状態１４１０であってもよく、かつさらにアプリケーションプロセッサ１４１８と通信状態１４１６であってもよい。一実施形態では、アプリケーションプロセッサ１４１８は、カメラモジュール１４０２のモジュールハウジングの外側に位置付けられ得る。
示されるように、レンズアセンブリ１４０６は、光学シーン情報１４０４をサンプリング対象の画像センサダイ１４０８上に合焦するように構成されていてもよい。光学シーン情報は、光学シーン情報の電気的表現を生成するために、画像センサダイ１４０８によってサンプリングされてもよい。電気的表現は、画素強度情報および画素焦点情報を含み得、それらは、画像センサダイ１４０８からコントローラダイ１４１４に、後続の処理（例えば、アナログ－デジタル処理）のうちの少なくとも１つのために通信され、かつさらにアプリケーションプロセッサ１４１８に通信される。別の実施形態では、コントローラダイ１４１４は、画像センサダイ１４０８によってサンプリングされた光学シーン情報の格納、および／または電気的表現を含む処理された光学シーン情報の格納を制御し得る。
さらに、様々な実施形態では、レンズアセンブリ１４０６は、音声コイルを使用して、光学素子を焦点位置に移動させるために、光学素子（例えば、レンズ）を焦点位置可変インデックス（例えば、液晶など）光学素子、または微小電気機械システム（ＭＥＭＳ）アクチュエータに移動させることによって、光学シーン情報１４０４の焦点を制御するように構成されてもよい。当然のことながら、他の実施形態では、レンズアセンブリの焦点を制御するための任意の技術的に実現可能な方法が使用されてもよい。一実施形態では、コントローラダイ１４１４は、画像センサダイ１４０８からの画素焦点情報を評価するための、かつ（焦点信号として表される）焦点調整をレンズアセンブリ１４０６に通信（伝送）して、アプリケーションプロセッサ１４１８からコントローラダイ１４１４に伝送される焦点領域情報に基づいて焦点ターゲットを達成するための、回路を備える焦点制御システム（図示せず）を含む。焦点調整は、本明細書に開示された技術に従って計算された焦点推定値、または代替的に、任意の技術的に実現可能な技術に従って計算された焦点推定値に基づいて決定され得る。焦点調整は、焦点調整方向と焦点調整大きさ（ｆｏｃｕｓ ａｄｊｕｓｔｍｅｎｔ ｍａｇｎｉｔｕｄｅ）とを含み得、その両方が、焦点推定、ならびに任意選択的に、少なくとも１つの以前の焦点推定および１つの対応する焦点調整に基づいている。別の実施形態では、画像センサダイ１４０８は、焦点制御システムを含む。さらにまた別の実施形態では、別個のダイ（図示せず）が、焦点制御システムを含む。代替的な実施形態では、アプリケーションプロセッサ１４１８は、焦点制御システムの少なくとも一部分を含む。
一実施形態では、カメラモジュール１４０２は、カメラモジュール３３０を含み、画像センサダイ１４０８は、画像センサ３３２を含む。そのような実施形態では、コントローラダイ１４１４は、図３Ａのストロボユニット３３６などのストロボユニットがストロボ照明３５０を発光することを可能にし得る。さらに、コントローラダイ１４１４は、画像センサダイ１４０８の動作を制御することと併せてストロボ制御信号３３８を生成するように構成されていてもよい。他の実施形態では、コントローラダイ１４１４は、ストロボユニット３３６が有効化されたことを感知して、有効化されたストロボユニット３３６と併せてフラッシュ画像のサンプリングを調整し得る。
特定の実施形態では、画像センサダイ１４０８は、画像センサ３３２と同じ能力および特徴を有し得、コントローラダイ１４１４は、コントローラ３３３と同じ能力および特徴を有し得、アプリケーションプロセッサ１４１８は、アプリケーションプロセッサ３３５と同じ能力および特徴を有し得る。
図１５は、一実施形態による、画像センサ１５０２内の画素の配列１５００を示す。任意選択として、画素の配列１５００は、本明細書に開示される図面のいずれかの詳細の文脈において実装されてもよい。ただし、当然のことながら、画素の配列１５００は、任意の所望の環境において実装されてもよい。さらに、上記の定義は、以下の説明にも同様に適用され得る。
示されるように、画像センサ１５０２（例えば、画像センサダイ１４０８、画像センサ３３２）は、白い正方形で示される色画素と、黒く塗りつぶされた正方形で示される焦点画素とを含み得る。例えば、画素１５０４は色画素であり、画素１５０６は焦点画素である。各色画素は、光強度（例えば、赤色、緑色、および青色成分）を感知する。各焦点画素は、焦点を感知し、かつ光強度も感知し得る。一実施形態では、各画素は、色および焦点の両方を感知するように構成された焦点画素である。別の実施形態では、図１５に現在示されるように、画素のサブセットのみが焦点画素として使用され得る。
画素の配列１５００は、原点１５１０、行次元１５１４、および列次元１５１２を有する座標系に従って編成され得る。画像センサ１５０２内の所与の画素は、座標系内の対応する座標に基づいて一意に識別されてもよい。座標は、所与の次元に沿った整数アドレスを含んでもよい。あるいは、正規化された座標が、座標系内の点または領域を識別してもよい。原点および異なる次元の１つの方向が例示されているが、任意の技術的に実現可能な原点および次元の方向が、本開示の範囲から逸脱することなく実装されてもよい。
様々な実施形態では、画像センサ１５０２は、焦点面（すべての焦点画素）センサダイと組み合わせて、前面発光型画像センサ、背面発光型画像センサ、またはスタックされた色平面（すべての色画素）のうちの１つを含み得る。本説明の文脈において、焦点画素は、少なくとも合焦のために使用される画素であり、色情報または強度情報を提供してもよい。例えば、一実施形態では、所与の座標（例えば、ＳｏＣによって示されるような）は、画像センサ１５０２に光学情報を合焦するための基礎として使用される焦点画素に対応し得る。加えて、様々な実施形態では、合焦は、コントラストを感知すること（例えば、コントラスト検出）、焦点ポイントを感知すること（例えば、位相検出など）、または１つ以上の既知の技術の組み合わせもしくは混合（ｈｙｂｒｉｄ）を含み得る。
いくつかの実施形態では、レンズ（例えば、図１４のレンズアセンブリ１４０６）に入り、画像センサ１５０２上に集束する光は、第１および第２のフォトダイオード（または潜在的には、任意のより多くのフォトダイオード）を含み得る焦点画素に到達し得る。焦点画素における入射光は、入射角に応じて異なる位相に到達し得る。位相差検出構造は、フォトダイオードに到達する光が焦点の合っていないときの、第１のフォトダイオードと第２のフォトダイオードと間のフォトダイオード電流の差を提供する。さらに、電流の差の符号は、焦点画素の焦点を達成するために、焦点を近くに調整するかもしくは遠くに調整するかを示してもよい。第１および第２のフォトダイオード電流の各々は、関連する静電容量構造によって露光時間にわたって積分され得る。各コンデンサにおける電圧は、電圧として、または電流として（例えば、コンデンサにおけるトランスコンダクタ回路を介して）、アナログ読み出し回路に伝送され得るアナログ信号を提供する。アナログ信号の差分は、入射光が合焦しているかどうか、かつ合焦していない場合は、焦点画素での合焦を達成するためにレンズをどの方向に調整する必要があるかを示し得る。焦点を評価するための差分測定は、実装決定として、アナログドメインまたはデジタルドメインで実施され得る。
当然のことながら、様々な実施形態はまた、任意の数の焦点画素を含んでもよい。本明細書に記載する技術を適用することにより、画像センサの焦点は、選択された単一もしくは複数の焦点画素に関連付けられた焦点情報に従って調整され得る。さらに、画像センサは、１つ以上の焦点画素に関連付けられた焦点調整の態様を実装してもよく、実装は、焦点画素が焦点条件を示すかどうかを判定することと、焦点が焦点画素に対して補正されるようにレンズアセンブリを調整するカメラモジュールとを含む。カメラモジュールは、１つ以上の焦点画素に関連付けられた焦点ターゲット情報（例えば、コントローラダイ１４１４に通信されたものなどの座標）を受信し、１つ以上の焦点画素で焦点を達成するためにレンズアセンブリ１４０６を調整し得る。このようにして、カメラモジュール１４０２は、カメラモジュールによってキャプチャされた画像を合焦させるための閉ループ焦点制御システムを実装してもよい。そのような実施形態では、所与の焦点ポイント、領域、または重みマスクを含む焦点ターゲット情報を使用して、焦点制御システムの焦点ターゲットを指定し得る。焦点ターゲット情報は、アプリケーションプロセッサ１４１８によって焦点制御システムに提供されてもよい。一実施形態では、コントローラダイ１４１４は、焦点制御システムを実施するように構成された回路を含み、アプリケーションプロセッサ１４１８は、焦点制御システムに焦点ターゲット情報を伝送するように構成されている。焦点制御システムは、焦点ターゲット情報に従って、レンズアセンブリ１４０６を調整して、光学シーン情報１４０４を画像センサ上に合焦することによって、焦点ターゲット情報および／または焦点コマンドを受信することに応答し得る。焦点制御システムは、焦点信号を生成し、焦点信号をレンズアセンブリ１４０６に伝送して焦点調整を実施し得る。焦点信号は、任意の技術的に実現可能な技術を使用して、焦点および／または焦点調整を表してもよい。一実施形態では、焦点信号は、レンズアセンブリ１４０６内のレンズ位置を焦点位置に調整するためのアクチュエータを直接駆動する電気信号（例えば、電圧または電流レベル）として表されてもよい。別の実施形態では、電気信号は、焦点を調整するために、可変インデックス光学素子を駆動する。さらに別の実施形態では、アクチュエータもしくは可変インデックス光学素子を駆動することなどによって焦点を調整するためにレンズアセンブリによって使用されるデジタル焦点値を、焦点信号が符号化してもよい。
一実施形態では、アプリケーションプロセッサ（例えば、アプリケーションプロセッサ１４１８）は、（合焦する場所の）識別された焦点ターゲット情報が決定されたように、点、半径を有する点、半径および重みプロファイルを有する点、関心のある点の周囲の重みの領域、または重みマスク、を含む焦点ターゲット情報を提供し得る。所与の重み（焦点重み）は、カメラモジュールの全体的な焦点距離において、焦点ターゲットの領域内の関連する焦点ターゲットおよび／または焦点画素に焦点がどれだけ影響を及ぼすべきかを、定量的に示すことができる。そのような焦点位置／焦点ターゲットの決定が完了すると、カメラモジュールは次いで、アプリケーションプロセッサによって与えられたように、焦点ターゲット情報に関連付けられた焦点を独立して調整することに進み得る。焦点の調整は、一連の焦点調整の反復として進み得、各反復では、焦点ターゲット情報および測定された焦点情報に基づいて焦点推定値が生成され、焦点制御システムは、焦点推定値に従って焦点を調整する。焦点調整は、コントローラダイ１４１４によって駆動される制御ループ内で連続的かつ独立して実施され得る。本明細書で使用する場合、「連続的」という用語は、（例えば、デジタルクロック信号に基づいて）量子化された時間および／または（例えば、デジタル－アナログ変換器から生じる）量子化された焦点調整を有する、準連続的な実装を含む。
さらに、特定の実施形態では、焦点画素は、Ｒ－Ｇ－Ｇ－Ｂ（赤－緑－緑－青）画素パターンのうちの１チャネル（例えば、緑色）として実装されてもよい。当然のことながら、赤、緑、または青とは異なる色を有する色チャネルを含む色チャネルのいずれかを使用して、焦点画素を作製してもよい。所与の焦点領域は、所与の焦点画素または焦点画素のセットに対応する、焦点ターゲット情報を有し得る。
別の実施形態では、全ての画素が焦点画素として機能し得、かつ入射光の位相差を検出するように構成された少なくとも２つのフォトダイオードを含み得る。そのような実施形態では、各画素は、少なくとも１つの強度サンプル（例えば、２つの緑強度サンプルのうちの１つ）の２つの強度信号を生成し得、２つの強度信号の間の差が、焦点のために使用され得、強度信号のうちの１つまたは両方の組み合わせが、画素に関連付けられた色のために使用され得る。
さらにまた、別の実施形態では、カメラモジュールは、デュアルの写真検出プレーン（ｐｈｏｔｏ ｄｅｔｅｃｔｉｎｇ ｐｌａｎｅ）を含んでもよく、１つは合焦のためのものであり、もう１つは画像を作成するためのものである。したがって、第１の写真検出プレーンを使用して焦点を合わせることができ、第２の写真検出プレーンを使用して画像を作成することができる。一実施形態では、合焦のために使用される写真検出プレーンは、第１の写真検出プレーンの後ろにあってもよい（例えば、色を集めるプレーンなど）。
一実施形態では、画像センサダイ１４０８内に存在する１つ以上の選択された焦点画素は、コントローラダイ１４１４内に存在する焦点制御システム（図示せず）を含む回路に焦点情報（例えば、位相差信号）を提供する。１つ以上の選択された焦点画素は、アプリケーションプロセッサ１４１８によって識別された焦点領域に関連付けられた焦点ターゲット情報（例えば、座標）に基づいて選択される。アプリケーションプロセッサ１４１８によって焦点領域を識別するために、様々な技術が実装されてもよく、これらの技術には、ニューラルネットワーク推論エンジンを使用して実装されてもよい画像分類を使用してシーン内のオブジェクトを自動的に識別することを含むが、これに限定されない。一実施形態では、焦点領域は、人間の顔を焦点ターゲットとして識別するように優先的に選択され、所与の人間の顔は、顔が、車両（例えば、車両３７０）の認可されたオペレータまたは乗員に関連するかどうかに応じて、さらに分類されてもよい。例えば、ユーザＩＤセンサ３７２は、カメラモジュール１４０２に見えているシーン内の人間の顔であるように優先的に選択された焦点および／または露光ターゲットを有する、カメラモジュール１４０２のインスタンスを含んでもよい。別の実施形態では、（例えば、ユーザＩＤセンサ３７２から観察される）車両の乗員の視線が分析されて、視線の方向性を判定し、かつ少なくとも１つの外部カメラ（例えば、自動運転センサ３７４）の焦点および／または露光が、乗員の視線に従って向けられる。さらに、システム７００は、リアルタイムの画像処理および／または推論エンジンリソースを、乗員の視線によって示されるシーンの一部分を分析するために割り当ててもよく、このようにして、システム７００は、人間の乗員の環境認識を活用して、追加の環境分析および潜在的に追加の安全性を車両に提供してもよい。
図１６は、一実施形態による、画像センサ１６０２内の焦点画素および焦点領域の配列１６００を示す。任意選択として、焦点画素および焦点領域の配列１６００は、本明細書に開示される図面のいずれかの詳細の文脈において実装されてもよい。ただし、当然のことながら、焦点画素および焦点領域の配列１６００は、任意の所望の環境において実装されてもよい。さらに、上記の定義は、以下の説明にも同様に適用され得る。
示されるように、画像センサ１６０２（例えば、画像センサダイ１４０８、画像センサ１５０２、画像センサ３３２）は、焦点ポイント１６０４、複数の焦点ポイント１６０６、焦点領域１６０８、および／または複数の焦点領域１６１０として指定された焦点情報を有し得る。画像センサ内の、（例えば、焦点ポイント１６０４、複数の焦点ポイント１６０６、または焦点領域１６０８、１６１０における）任意の画素は、焦点画素となるように構成されていてもよい。一実施形態では、１つの焦点ポイント（または複数のポイント）は、焦点画素として選択された特定の画素である。別の実施形態では、１つの焦点領域（または複数の領域）は、多くの画素（例えば、Ｎ×Ｍ画素領域）の集合を含み得、画素としての少なくとも一部は、焦点画素である。各画素は、関連するポイント位置または画素ポイントを有してもよい。
加えて、一実施形態では、焦点領域は、１つ以上の暗黙的または明示的な重みを含むことができる。さらに、様々な形状（例えば、円形形状）が焦点領域を画定し得る。例えば、（Ｎ×Ｍ矩形領域またはＮ×Ｎ正方形領域ではなく）円形領域は、Ｎ×Ｎ領域内の、挿入円形領域で覆われていないＮ×Ｎ領域の一部に０の重みを割り当てることによって実現されてもよい。
様々な実施形態では、焦点ポイントおよび／または焦点領域は、人間の顔を含む領域を識別することによって画定され得る。例えば、一実施形態では、人間の顔は、アプリケーションプロセッサ１４１８（またはシステム７００）によって焦点ターゲットとして識別され得、アプリケーションプロセッサ１４１８は、その焦点ターゲットを、人間の顔における領域の焦点ターゲット情報として指定し得る。カメラモジュール（例えば、カメラモジュール１４０２、カメラモジュール３３０）は、焦点ターゲット情報に基づいて、ターゲットにおける焦点を継続的に維持するように向けられてもよい。顔が移動する場合、焦点ターゲット情報は更新され得、カメラモジュールは、更新された位置で継続的に焦点を維持するように向けられ得る。一実施形態では、人間の顔は、オブジェクトがアプリケーションプロセッサ１４１８によって継続的に追跡され、かつカメラモジュールがオブジェクト焦点ターゲット情報（例えば、座標）に関連付けられた画像情報の焦点を継続的に保つように、定期的に更新された焦点ターゲット情報で追跡される。このようにして、アプリケーションプロセッサ１４１８（例えば、ＳｏＣなど）は、オブジェクト追跡および／または画素フロー追跡を実施して、焦点領域または複数の焦点領域を継続的に追跡および更新し、カメラモジュールは、焦点ターゲット情報および／または継続的に更新された焦点領域に関連付けられた座標に基づいて、連続的な焦点を維持する。
図１７は、一実施形態による、焦点ターゲット情報に基づいて焦点を調整するための方法１７００を示す。任意選択として、方法１７００は、本明細書に開示される図面のいずれかの詳細の文脈において実装されてもよい。ただし、当然のことながら、方法１７００は、任意の所望の環境において実装されてもよい。さらに、上記の定義は、以下の説明にも同様に適用され得る。
示されるように、カメラモジュール（例えば、カメラモジュール１４０２、カメラモジュール３３０）は、画像データを作製するために画像をサンプリングする。動作１７０２を参照されたい。一実施形態では、画像データは、複数のフレームを含み得る。さらに、カメラモジュールは、画像データをＳｏＣに伝送する。動作１７０４を参照されたい。当然のことながら、他の実施形態では、カメラモジュールは、画像データをいかなるタイプのアプリケーションプロセッサに伝送してもよい。
動作１７０６では、ＳｏＣが画像データを処理して焦点領域を識別する。次に、ＳｏＣは、焦点領域の位置を決定し、焦点領域の位置座標をカメラモジュールに伝送する。動作１７０８を参照されたい。次に、位置座標の更新が必要かが判定される。判定１７１０を参照されたい。位置座標の更新が必要であると判定された場合、ＳｏＣは、更新された位置座標をカメラモジュールに送信する。動作１７１２を参照されたい。位置座標の更新が必要ないと判定された場合、またはＳｏＣが更新された位置座標をカメラモジュールに送信した後、ＳｏＣは、カメラモジュールから新しい画像を受信する。動作１７１４を参照されたい。ＳｏＣがカメラモジュールから画像を受信した後、方法は動作１７０８に戻る。
一実施形態では、ＳｏＣが画像データを処理してオブジェクトを識別するとき、ＳｏＣはまた、どのオブジェクトが焦点対象のオブジェクトである可能性が最も高いかも判定してよい。一実施形態では、既知のオブジェクト（例えば、人間の顔）が、別の識別されたオブジェクトよりも高い優先順位を有してもよい。例えば、写真が、カメラモジュールに近い人間の顔およびカメラモジュールから遠い人間の顔を含む場合がある。両方の顔は、より関連性の高い顔が合焦されていることを確実にするために、より近い顔に優先度が与えられるように、ランキングスコアに関連付けられてもよい。いくつかの実施形態では、識別される任意のオブジェクトが別々に合焦およびキャプチャされ得るように、複数の画像の掃引がキャプチャされてよく、結果として生じる画像は、複数の画像の上に焦点スタッキングを使用して生成され得る。
別の実施形態において、ＳｏＣは、顔、さらには特定の人物を識別することを支援するための格納された情報のライブラリを有してもよい。例えば、一般的な眼、鼻、または口に関連する情報は、画像に顔が存在することを判定するのに役立ち得る。さらに、特定の人物（例えば、車両３７０の認可されたオペレータまたは乗員）を識別するために、特定の人物の記述詳細および／または訓練データも格納および使用されてよい。
さらに、一実施形態では、複数のオブジェクトが識別され得る。例えば、一実施形態では、写真が、１０個の対応する別個の顔を有する１０人の個人を含む場合がある。一実施形態では、各顔に別個の焦点で１０個の別個のキャプチャを取得することができ、キャプチャの各々は指定された顔に合焦している。次いで、１０個の顔の各々に合焦されるように、画像スタックがブレンドされ得る。そのような実施形態では、キャプチャされた写真は、高速シーケンスされた取得によって得ることができ、任意の遅延時間は、結果として生じる画像内の任意の歪み（例えば、ぼやけ）を防ぐために最小化される。一実施形態では、ブレンドされている画像のすべてが、少なくともそれらのそれぞれの関心のある焦点ポイントで適切に位置合わせされることを確実にするために、位置合わせステップが実施されてもよく、ブレンド動作中に、照明および色が、キャプチャされた１つの画像から次の画像まで一貫していることを確実にするために、強度および／または色の正規化が実施されてもよい。
一実施形態では、カメラモジュール内のハードウェアによって実施される高速の、低遅延焦点は、より正確な画像焦点および／または安定化を可能にし得る。カメラモジュール内で提供される低遅延焦点制御ループの１つの利点は、より詳細な、より鮮明でよりクリアな画像である。そのような詳細により、認可された車両オペレータ／乗員のデータベース内の特定の人物のより正確な識別が提供され得る。
加えて、一実施形態において、ＳｏＣ内のオブジェクト位置を追跡し、カメラモジュール内の焦点を調整することは、ビデオ映像をキャプチャする際の焦点を改善し得る。例えば、ビデオが記録されているときにオブジェクトは頻繁に移動する。しかしながら、ＳｏＣに必要なのは、（例えば、自動的に識別された）オブジェクトを追跡し、位置座標を焦点ターゲットとしてカメラモジュールに伝送することのみであり、位置座標が変更されると、カメラモジュールは、新しい焦点ターゲットで連続的な焦点を提供することによって応答することができる。
一実施形態では、画素ごとにバイエル赤緑緑青フィルタを有する画像センサにおいて、各画素における２つの緑色チャネルのうちの１つ以上は、２つ以上の焦点検出出力を提供するように構成された焦点画素を実装してもよい。この第１の緑色チャネルは、本明細書では焦点チャネルと呼ばれ得る。代替的な実施形態では、透明を含む異なるフィルタ色が焦点チャネルのために選択され得る。各画素における残りの赤色チャネル、緑色チャネル、および青色チャネルは、本明細書では画像チャネルと呼ばれ得る。したがって、各画素は、焦点チャネル情報の２つ以上のサンプル（位相検出サンプル）、および画像チャネル情報の３つ以上のチャネル（赤、緑、青の強度）を提供し得る。画像センサは、画素の二次元（２Ｄ）配列を含んでもよく、画素の２Ｄ配列に関連付けられた焦点チャネル情報は、本明細書では焦点配列と呼ばれ得、対応する画像チャネル情報は、本明細書では画像配列と呼ばれ得る。焦点ポイント、焦点領域、焦点マップ、およびそれらに関連付けられた座標が、画像配列の２Ｄの範囲にマッピングされてもよい。特定の実施形態では、焦点画素は、画像センサにわたってよりまばらに分散されるが、それにもかかわらず、相当する座標マッピングが行われ得る。
一実施形態では、焦点配列および画像配列は、同時にサンプリングされる（露光される）。かかる実施形態では、焦点配列によってサンプリングされた強度情報が、画像配列によってサンプリングされた画像データとブレンドされ得る。例えば、焦点配列強度情報が一緒に追加され、画素ごとに第２の緑色チャネルとして扱われてもよい。別の実施形態において、焦点配列は、画像配列よりも長いかもしくは短い持続時間で露光され得る。例えば、焦点配列は、合焦性能を向上させるために、ローライト設定の画像配列よりも長い露光時間で露光されてもよいが、より高い感度（ＩＳＯ）でより短い露光時間で画像配列をサンプリングしてブレを低減しつつ、質のトレードオフとして画像の色ノイズを受け入れてもよい。
一実施形態では、焦点配列の露光時間および感度は、シーン全体にわたってバランスの取れた露光（「ＥＶ０」）を達成するように計測されてもよい。あるいは、焦点配列の露光時間および感度を計測して、通常は焦点領域の外側の領域を除外しながら、１つ以上の領域内でバランスのとれた露光を実現してもよい。
特定の実施形態では、画像配列は、２つ以上のアナログ記憶面を含み、各々が別個に構成された露光時間および／または他のものからの感度を有する。また、アナログ記憶面ごとの露光時間とタイミングは、焦点配列の露光時間とタイミングとは無関係であってもよい。特定の実施形態では、各画素の画像チャネルおよび焦点チャネル回路は、２つのフォトダイオード、および２つのアナログサンプリング回路を含む。さらに、焦点チャネル回路において、２つのアナログサンプリング回路のうちの１つは、第１のアナログ強度サンプルを生成するために、２つのフォトダイオードのうちの一方からの電流を積分するように構成され、２つのアナログサンプリング回路のうちの他方は、第２のアナログ強度サンプルを生成するために、２つのフォトダイオードのうちの他方からの電流を積分するように構成されている。画像チャネル回路では、両方のフォトダイオードを一緒に結合して、２つの異なるアナログサンプリング回路にフォトダイオード電流を提供してもよく、２つの異なるアナログサンプリング回路は、独立してフォトダイオード電流を統合するように構成されていてもよい。２つの異なるアナログサンプリング回路は、フォトダイオード電流を同時におよび／または別々に統合してもよい。言い換えると、焦点チャネルに関連付けられた強度サンプルは、画素で焦点情報を生成するために同時に統合される必要があり、一方、画像チャネルに関連付けられた強度サンプルは、独立して統合されて、独立して露出された強度サンプルを生成することができる。
特定の実施形態では、画像センサは、画素の２Ｄ配列を含み、各画素は、焦点情報をキャプチャするためのアナログサンプリング回路と、画像情報をキャプチャするための色チャネルごとの２つ以上アナログサンプリング回路（例えば、赤、緑、青の各々につき２つ以上のアナログサンプリング回路）とを含む。そのような実施形態では、第１のアナログ記憶面は、配列内の対応する画素にあり、画像チャネルに関連付けられた２つ以上の異なるアナログサンプリング回路のうちの第１のインスタンスを含み、第２のアナログ記憶面は、画素にありかつ画像面にも関連付けられた２つ以上の異なるアナログサンプリング回路の第２のインスタンスを含む。特定の実施形態では、画像チャネルサンプルの行を選択および読み取るための読み出し回路は、焦点チャネルサンプルの行も選択および読み取るように構成され得る。
さらにまた、特定の関連する実施形態では、周囲画像（ストロボユニットがオフ）は、第１のアナログ記憶面内でキャプチャされ得、フラッシュ画像（ストロボユニットがオン）は、第２のアナログ記憶面内でキャプチャされ得る。周囲画像およびフラッシュ画像のキャプチャは、時間的に重複しなくてもよく、または時間的に重複してもよい。あるいは、２つのフラッシュ画像は、２つのフラッシュ画像の各々が異なる露光時間を有した状態で、２つの異なるアナログ記憶面の各々においてキャプチャされてもよい。そのような実施形態では、カメラモジュールは、ストロボユニットが有効であるかどうかにかかわらず、指定された焦点ポイントおよび／または焦点領域（焦点情報）に基づいて焦点を確立するように構成され得る。
さらにまた、一実施形態において、カメラモジュールは、指定された焦点情報に基づいてフラッシュ画像をキャプチャするように向けられる。これに応答して、カメラモジュールは、露光計測動作を実施して、少なくとも焦点画素の適切な露光を確立し、その後、焦点情報に基づいて焦点を達成するように進み得る。次いで、カメラモジュールは、焦点が達成された後にフラッシュ画像をキャプチャする。フラッシュ画像のキャプチャは、焦点制御システムが焦点を達成すると、ＳｏＣまたはアプリケーションプロセッサを待つことなく進み、それによって消費電力およびシャッターラグを低減することができる。一実施形態では、カメラモジュールは、焦点が達成された後に一連のフラッシュ画像をキャプチャする。一連のフラッシュ画像内の各フラッシュ画像は、画像ぼやけの推定値としてカメラの動きをキャプチャする加速度計測定と同時に、キャプチャされ得る。推定される画像ぼやけが最小限であるフラッシュ画像が、他のフラッシュ画像が破棄され得る間に格納され、かつ／またはユーザに提示される。
さらにまた、別の実施形態では、カメラモジュールは、２つ以上の画像の画像スタックをキャプチャするように向けられ、これらの画像は、カメラモジュール画像センサ内の利用可能なアナログ記憶面に対応している。２つ以上の画像の各々は、周囲画像、フラッシュ画像、または組み合わされた画像であってもよい。２つ以上の画像の各々は、焦点情報、および／または露光情報に従って指定されてもよい。各画像のキャプチャは、画像スタック内の他の画像のキャプチャと重複しても、重複しなくてもよい。焦点制御システムが焦点を達成すると、ＳｏＣまたはアプリケーションプロセッサを待たずに、画像スタックのキャプチャを進めてもよい。
一実施形態では、第１のカメラモジュールは、少なくとも１つの焦点画素を含むように構成された画像センサを含み、かつ焦点配列を含み得るが、第２のカメラモジュールは、焦点配列を含まない画像センサを含む。第１のカメラモジュールおよび第２のカメラモジュールは、ユーザＩＤセンサ３７２および／または自動運転センサ３７４などの、同一のデバイス内に含まれてよい。第１のカメラモジュールは、本明細書に記載の焦点動作を実施するように構成されていてもよく、第２のカメラモジュールは、第１のカメラモジュール内の焦点制御システムによって決定された焦点距離を動的に追跡する追跡モードで動作するように構成されていてもよい。
一実施形態では、ユーザＩＤセンサ３７２および／または自動運転センサ３７４は、２つ以上のカメラモジュールを含み、その各々は、２つ以上のカメラモジュールに結合されたＳｏＣ（または他の任意の形態のアプリケーションプロセッサ）によって提供されるそれぞれの焦点領域に、独立して焦点を維持するように構成されている。２つ以上のカメラモジュールは、構造および動作において実質的に同一であってもよく、同じ方向に向かって取り付けられてもよい。ＳｏＣが２つ以上の焦点領域を識別するとき、２つ以上のカメラモジュールの各々は、シーン内の、異なる、割り当てられたオブジェクトへの焦点を別々に維持するように構成されていてもよい。２つ以上のカメラモジュールは、各々が独立した焦点を有する、２つ以上の対応する画像またはビデオ映像をキャプチャし得る。単一の画像もしくは一連のビデオ映像を生成するために、任意の技術的に実現可能な焦点スタッキング技術に従って、２つ以上のプレビュー、画像、および／もしくはビデオ映像が処理されてもよい。２つ以上の画像の各々、および／またはビデオ映像は、参照視点と位置合わせされる、位置合わせ手順を経てもよい。当該位置合わせ手順は、モバイルデバイス内のカメラ配置幾何学形状および／またはモバイルデバイスからの焦点距離に基づいて、少なくともアフィン変換として実装されてもよい。一実施形態では、アフィン変換は、２つ以上のカメラモジュールの視錐台を概ね位置合わせするように構成されている。特定の実施形態では、２つ以上のカメラモジュールのうちの１つからの１つ以上の画像は、参照としての役割を果たし、２つ以上のカメラモジュールの異なるカメラモジュールからの画像データは、参照画像もしくは複数の参照画像と位置合わせおよび／またはブレンドされて、静止画像および／もしくはビデオ映像を生成する。
焦点制御システムは、画像センサに結合されたコントローラ（例えば、図３Ｄのコントローラ３３３または図１４のコントローラダイ１４１４）内に実装されてもよく、画像センサおよびコントローラの両方がカメラモジュール内に存在してもよい。コントローラは、画像センサからアナログ強度信号を受信し、そのアナログ強度信号を対応するデジタル表現に変換するように構成された、アナログ－デジタル変換回路（ＡＤＣ）の配列を含む読み出し回路を含んでもよい。各画素は、画素についての赤色強度、緑色強度、および青色強度の対応するデジタル表現に変換され得る赤色、緑色、および青色（または他の任意の色の組み合わせ）のアナログ強度信号を含んでもよい。同様に、各焦点画素の各焦点チャネルは、デジタル表現に変換され得る少なくとも２つの位相検出アナログ信号を含む。
一実施形態では、各焦点画素は、位相差検出構造内の２つの異なるフォトダイオードからの２つの異なるフォトダイオード電流の各々を統合することによって、２つの位相検出サンプルを生成する。一方の位相検出信号を他方から差し引いて生成される差分信号は、焦点画素における相対焦点を示す。差分信号の符号が正の場合、入射光学情報は、一方向に合焦しておらず（例えば、焦点面がフォトダイオードの上にある）、符号が負の場合、入射光学情報は、反対方向に合焦していない（例えば、焦点面がフォトダイオードの下にある）。すなわち、差分信号の符号は、焦点画素における合焦を達成するために、カメラモジュールが焦点距離を近くに調整すべきか遠くに調整すべきかを決定する。差分信号が事前に定義された閾値を下回っている場合、入射光学情報は、焦点画素で合焦しているとみなすことができる。
一実施形態では、焦点面および画像面についてのアナログ強度情報は、カメラモジュール内の画像センサ（例えば、画像センサダイ１４０８）からカメラモジュール内のコントローラ（例えば、コントローラダイ１４１４）に伝送される。コントローラは、アナログ強度情報をアナログ－デジタル変換する。そのような実施形態では、各焦点画素における差分信号は、デジタルドメイン減算または比較動作として計算される。アナログ強度情報のデジタル表現は、コントローラからＳｏＣ、または他の任意の技術的に実現可能なアプリケーションプロセッサに伝送されてもよい。デジタル表現は、画像配列情報、焦点配列情報、またはそれらの組み合わせを含み得る。
異なる実施形態では、各焦点画素における差分信号は、関連付けられた焦点画素の行読み出し中に、アナログドメイン減算またはアナログドメイン比較動作のデジタルドメイン結果として生成される。例えば、一実施形態では、アナログ比較回路が、行内の所与の画素についての２つの位相検出サンプルの各々に結合されている。比較回路は、差分信号が正のときにデジタルドメイン「１」を生成し、差分信号が負のときにデジタルドメイン「０」を生成するように構成されてもよい。焦点調整に応答して、比較器出力が１から０または０から１に遷移するとき、焦点調整は、最適な焦点距離を超えている可能性がある。焦点制御システムは次に、焦点を収束させるために、反対側のより細かい焦点調整を行ってもよい。比較回路は、第１の焦点微調整により比較器出力が遷移し、反対方向の第２の焦点微調整により遷移が生じないときに、差分信号がヒステリシス閾値を下回っているので焦点画素での入射光学情報が合焦しているとみなされ得るように、特定のヒステリシス閾値を実装してもよい。さらに、複数の比較器が、画像センサまたはコントローラのいずれかに含まれてもよく、複数の比較器は、１行の焦点画素に対して差分信号を同時に生成するように構成されている。あるいは、比較器の数の半数を用いて、焦点画素の前半の差分信号を、第１のサンプリングサイクルに生成して格納、焦点画素の後半の差分信号を、第２のサンプリングサイクルに生成して格納してもよい。他のアナログドメイン焦点推定技術もまた、本明細書に開示される実施形態の範囲を逸脱することなく実装され得る。
より一般的には、カメラモジュール内の焦点制御システムは、所与の焦点コスト関数に基づいてカメラモジュールの焦点距離を調整するために、デジタルドメイン差分信号を選択的にサンプリングし得る。デジタルドメイン差分信号は、デジタルドメインまたはアナログドメインのいずれかで減算または比較演算を実装する上記の技術のような、任意の技術的に実現可能な技術を使用して生成されてもよい。選択的サンプリングは、焦点ポイント、焦点マップ、焦点領域、またはカメラモジュール内のコントローラに伝送される他の任意の焦点仕様によって向けられ得る。選択的サンプリングは、特定の差分信号のみをサンプリングして焦点推定値を生成すること、または各差分信号に、指定された重みを乗算し、結果として生じる乗算積から焦点推定値を生成することを含み得る。特定の実施形態では、乗算積は、署名されてもよい。
一実施形態では、焦点制御システムは、焦点推定値を生成するための加重和コスト関数を実装する。そのような実施形態では、焦点制御システムは、フレーム読み出し中に重み付けされた焦点情報を蓄積し得る。例えば、連続的な行読み出し処理における所与の行の読み出し時間の間、各焦点画素のデジタルドメイン差分信号に、以前にカメラモジュールに伝送された焦点領域情報に関連付けられた対応する重みを乗算してもよい。各乗算結果は、行内の乗算結果に追加されて行の焦点推定値を生成し得、完全なフレームの行の焦点推定値が、フレームの焦点推定値を計算するために一緒に追加され得る。特定の実施形態では、フレーム焦点推定値は、正規化されたフレーム焦点推定値を生成するために、特定の範囲に正規化され得る。例えば、正規化されたフレーム焦点推定値は、フレーム焦点推定値に焦点重みの合計の逆数を乗算することによって算出されてもよい。所与のフレーム焦点推定値または正規化されたフレーム焦点推定値は、焦点を維持するために焦点制御システムによって使用される別個の時間フィードバック信号の別個のサンプルを含み得る。一実施形態では、フレーム焦点推定値の絶対値（大きさ）が低いほど、焦点がより良いことを示し、大きさが大きいほど、焦点がより悪いことを示す。一般に、焦点制御システムは、フレーム焦点推定値の大きさを最小限に抑えるように構成され得る。
一実施形態では、各デジタル差分信号は、前述のように対応する焦点画素についてのアナログ位相検出サンプルを比較するように構成された比較器によって生成される。１つの比較器のみが差分信号を生成する場合、１つの方向の焦点偏移のみが焦点外の結果（例えば、正の差分信号）を生成することが既知であるが、ゼロを通過する焦点偏移が、焦点内または負の方向の焦点外であることは知られていない。そのような実施形態では、焦点制御システムは、フレーム焦点推定値の最小の大きさを達成するために焦点を調整し得るが、負方向への焦点のオーバーシュートを回避するためにゼロを通過し得る焦点調整を回避し得る。
代替的な実施形態では、２つの比較器を使用して、２つの値を含み得る各デジタル差分信号を生成してもよく、第１の値は、差分信号が正であるかどうかを示し、第２の値は、差分信号が負であるかどうかを示す。２つの比較器は、ゼロではないが両方の比較器が「０」出力を報告するのには十分に小さい、既知のオフセットを有するように構成され得、焦点画素は合焦されていると見なされ得、関連付けられた焦点画素がフレーム焦点推定値にゼロ値を寄与する。比較器のうちの１つが「１」値を示すとき、この１に焦点画素座標に割り当てられた焦点重みを乗算し、フレーム焦点推定値に対する正の符号の貢献をもたらしてもよい。他の比較器が「１」値を示す場合、これに焦点重みの負数を乗じてもよく、フレーム焦点推定値に対する負の符号付き寄与がもたらされてもよい。
本開示の実施形態は、フレームの読み出しが完了した直後のフレームの焦点推定値を提供し得る。完全な焦点推定値を即時に利用できることにより、焦点制御システムは、フレーム読み出しが完了した直後に焦点調整を開始することができ、それによって、焦点追跡の知覚された遅延を低減する。さらに、カメラモジュール内のコントローラに焦点制御システムが実装されていると、焦点維持のためにＳｏＣに伝送する必要のあるデータが少なくなるため、特定の焦点応答時間を維持するために必要なシステム全体の消費電力が少なくなり得る。対照的に、従来のシステムは、焦点を維持するために追加の時間および消費電力を必要とする。例えば、従来のシステムは、一般に、焦点画素データを含む可能性のある画像データのフレームを従来のＳｏＣに伝送し、次いで従来のＳｏＣは画像データを処理して焦点推定値を生成し、次いで従来のＳｏＣは、焦点推定値に基づいて、更新された焦点距離ターゲットを算出し、更新された焦点ターゲットを従来のカメラモジュールに伝送し、従来のカメラモジュールは、焦点距離ターゲットを受信して、焦点調整を実行する。従来のこれらのステップは、概して、本明細書で開示される実施形態よりも多くの消費電力（デバイスの電池寿命の低減）を必要とし、かつより多くの実行時間（増加した焦点ラグ）を必要とする。
一実施形態では、焦点重み値は、０または１の値を有するものとして量子化され、その結果、焦点領域内の任意の焦点画素は、焦点推定値に等しく寄与し、焦点領域外の焦点重みは、ゼロ重みに寄与する。そのような焦点重みの量子化は、焦点マップ、焦点ポイント、焦点ポイントのリストなどの、比較的コンパクトな表現をもたらす。他の実施形態では、焦点重み値は、重み０、重み１、および０～１の間の複数の重み、を含み得る、複数のレベルを含むように量子化される。さらに他の実施形態では、異なる量子化範囲が実装されてもよく、これには、固定点および／または浮動小数点表現によって指定される量子化範囲が含まれるが、これらに限定されない。
焦点マップは、焦点を維持するための焦点推定値を生成するときに、カメラモジュール内の焦点制御システムによって適用される焦点重みの２Ｄ配列を指定し得る。焦点重みの２Ｄ配列の各焦点重みは、画像センサの対応する画素位置にマッピングされてもよい。一実施形態では、焦点重みの２Ｄ配列の各焦点重みは、１対１の対応において、画像センサ内の焦点画素に対応する。別の実施形態では、焦点重みの２Ｄ配列は、利用可能な焦点画素よりも低い焦点重みの分解能セットを含み、各焦点画素の焦点重みは、焦点重みの２Ｄ配列によって指定された焦点重み間の補間によって計算され得る。そのような補間は、焦点推定値を生成するために焦点画素デジタルドメイン差分信号と併せて使用される、分数またはバイナリ（１または０）の焦点重みを生成し得る。
焦点ポイントは、画像センサ内の焦点画素を選択するために使用される、焦点ターゲット情報（例えば、座標）を含み得る。焦点ポイントは、焦点ポイント間の位置を画定してもよく、適切な分数焦点重みは、コントローラによって位置を境界する２つまたは４つの焦点画素に適用されてもよい。さらに、焦点ポイントは、焦点ポイントの周りに幾何学的な領域（例えば、円、正方形など）を形成する半径を含んでもよい。幾何学的領域内の焦点画素には、ゼロ以外の焦点重みが割り当てられてもよい。ゼロ以外の焦点重みは、重みプロファイルに従うなどして、１または分数値を割り当てられ得る。焦点ポイントリストは、各々が焦点ポイントとして動作可能な座標のリストを含んでもよく、焦点推定値は、焦点ポイントのリスト内の焦点ポイントに関連付けられた領域にわたって計算される。
特定の実施形態では、カメラモジュールは、焦点面が傾斜し得るように、可変の焦点面向きを提供してもよい。一実施形態では、カメラモジュールレンズアセンブリを含む傾斜レンズは、光路内の光学素子の従来の平面位置合わせに対して任意の向きに少なくとも１つの光学素子を移動させるように構成された、２つ以上のアクチュエータを含み得る。例えば、光学素子は、他の光学素子に対して非平面であってもよい、指定された平面向きに従って光学素子を位置付けるように構成された、３つの独立したアクチュエータに結合されていてもよい。このように、レンズアセンブリは、従来の傾斜レンズと同様の焦点動作を実装し得る。しかしながら、一実施形態において、２つ以上の焦点領域が指定されるとき、カメラモジュールは、２つ以上の焦点領域への合焦を達成するために光学素子（焦点面）を方向合わせしてもよい。例えば、２人以上がカメラモジュールレンズアセンブリに対して垂直ではない平面内に立っているとき、焦点面は、各焦点の極限に人々を含むように傾けられてもよく、それによって、カメラモジュールは、概ね合焦された全ての人々の画像をキャプチャすることができる。
一実施形態では、ビデオ内の焦点情報を決定することは、第１の画像フレームに関連付けられた位置座標を受信すること、座標をカメラモジュールに送信すること、および座標に関連付けられた焦点を第２の（または後続の）画像フレームに調整することを含み得る。このようにして、１つの画像フレームについて決定されたような焦点情報は、１つ以上の後続のフレームに適用されてもよい。
さらにまた、一実施形態では、（例えばＳｏＣによって）オブジェクトを識別することは、１つ以上のトリガを含むことができる。例えば、トリガには、動き、音、視差（例えば、色、輝度、強度の変化）などが含まれ得る。一実施形態では、そのようなトリガが、セキュリティアプリケーションに適用されてもよい。例えば、セキュリティカメラはシーンを指し示し得るが、シーンの記録は、シーン内で検出されたトリガ（例えば、動き）を満たすことに基づいて、開始することができる。動きが検出されると、次いで、ＳｏＣは、動いているオブジェクトを追跡し、対応する座標をカメラモジュールに送信して焦点を調整することができる。
さらに、別の実施形態では、オブジェクトが識別されると、インテリジェントズーム機能が有効にされ得る。例えば、動きが検出された場合、動いているオブジェクトに関連付けられた座標をキャプチャし、カメラモジュールに送信してもよく、カメラモジュールは次いで、焦点を調整するだけでなく、識別されたオブジェクトのズームを自動的に増加／減少させてもよい。例えば、一実施形態では、ＳｏＣは、動いているオブジェクトが画素の領域であると判定することができる。カメラモジュールは、ＳｏＣによって識別された画素の領域を直接囲んでいるがそれを包含する領域にズームインすることができる。
さらにまた、一実施形態では、オブジェクトを識別および／または追跡するためにＳｏＣを使用すること、ならびに焦点を調整するためにカメラモジュールを使用することは、複数のデバイスにも関連し得る。例えば、一実施形態では、ドローンの集合を使用して、同じオブジェクトを追跡し、合点することができる。さらに、そのようなシステムの使用を通じてキャプチャされる画像によって、同じオブジェクトの複数の角度および／もしくは視点、ならびに／またはズームを可能にする。このような集約された画像の集合は、拡張現実システムまたは仮想現実システムをも可能にする。
さらに、このようなシステムを使用することによって、よりクリアな没入型３６０度のキャプチャおよび／またはパノラマシーンを可能にし、複数の画像は、周囲のオブジェクトが一貫した焦点を有するように一緒にスティッチングされてもよい。加えて、一実施形態では、そのようなキャプチャはまた、画像が一緒に掃引されるときに、ある画像と別の画像との間のぼやけおよび歪みが最小限に抑えられるように、輝度、強度、フレームレート、感度を修正することを可能にし得る。このように、キャプチャ中のより効果的な合焦は、キャプチャされた画像のためのより効率的な後処理作業を可能にし得る。
さらにまた、一実施形態では、複数の焦点ポイントでシーンをスイープすることにより、後処理中にプロセッサ定義の焦点ポイントを可能にし得る。例えば、複数のオブジェクトを有するシーンは、識別された各オブジェクトの焦点をキャプチャし得るように掃引されてもよい。キャプチャされたすべての画像の画像セットは、後処理中に、分類子（例えば、推論エンジン）が焦点のポイントを画定し、焦点の変化を説明するために（キャプチャ後に）写真を再調整し得るように、写真シーンのためにコンパイルされ得る。
一実施形態では、カメラモジュールに伝送される焦点ターゲット情報は、カメラモジュールの視野にマッピングする座標系に関連付けられた４つの座標タイプのうちの１つを含み得るが、これに限定されない。１）ポイントのリスト内の１つ以上のポイント、２）各ポイントの周囲の暗黙的もしくは指定された半径を有する１つ以上のポイントおよび／または各ポイントの重みプロファイル、３）重みマスク内の１つ以上のポイントとして、および４）２Ｄマスクによってカバーされる各個別の位置についての値の２Ｄマスクとして。一実施形態では、そのような座標タイプのうちの１つ以上は、画像に関連付けられたメタデータとして保存され得、それによって、画像の焦点ポイント情報を記録する。さらに、そのような保存されたメタデータは、必要に応じて、他の後続のキャプチャされた画像および／またはビデオ映像に再利用（例えば、取得および適用）されてもよい。
一実施形態では、焦点情報のターゲット位置を含む１つ以上の点は、座標系内に関連付けられた座標を有する、１つ以上の特定の焦点画素ポイントに対応し得る。別の実施形態では、１つ以上のポイントは、１つ以上の特定の焦点画素領域を示す、半径および／または重みプロファイルを有し得る。さらにまた、一実施形態では、重みプロファイルは、開始ポイントおよび終了ポイントを含んでもよく、所定の関数が、２つのポイントの間に適用される。例えば、ポイント＋半径を含む座標では、半径は、重みプロファイルを含み得、重みプロファイルは、半径に沿った各点で適用される重みを決定する。半径は、ポイントを包含する幾何学的領域（例えば、円形、楕円形、または矩形領域）の寸法を画定し得、ゼロ以外の重みは領域内で定義される。さらに、暗黙的または明示的な重みプロファイルは、ポイントからの半径方向の距離に基づいて、またはポイントに対する幾何学的関係に基づいて、幾何学的領域内の重み値を定義し得る。例えば、重みプロファイルは、ポイントでの１．０の重みと、半径距離での０．０の値までの重みの線形減少とを定義し得る。当業者であれば、いずれのおよび任意の重みプロファイルも可能であることを認識するであろう。別の実施形態では、重みマスクは、重み行列を含み、重み行列は、各座標ポイントに適用される特定の重みを含む。重みマスクは、カメラモジュールで焦点重みのセットを適用するための、一般的で容易に実装された構成を提供し、一方、ポイントおよび重みプロファイルは、カメラモジュールへの伝送のために、より一般的ではないがよりコンパクトな表現を提供し得る。
重みは、焦点ポイントもしくは重みマスクによって明示的に述べられているか、半径および／もしくは重みプロファイルによって暗示されているかのいずれかで、焦点コスト関数への焦点推定寄与を確立する。一実施形態では、焦点コスト関数は、焦点ターゲットが現在どの程度よく達成されているかを推定する役割を果たす。特定の実施形態では、図１４のコントローラダイ１４１４内に、または図３Ｆのコントローラ３３３内に存在する焦点制御システムは、１つ以上の焦点ポイントおよび焦点重みを受け取る。焦点制御システムは、焦点ポイントおよび焦点重みに基づいて、焦点コスト関数を計算する。次いで、焦点制御システムは、コスト関数を低減するのに適した方向にレンズ（例えば、レンズ３３１）を調整する。焦点が調整されるにつれて、新しい焦点情報が利用可能になり、各新しい調整焦点画素が再びサンプリングされ、新しい焦点コスト関数が計算され得る。このプロセスは、焦点を常にかつ継続的に調整および更新しながら、任意の期間繰り返して継続することができる。一実施形態では、焦点コスト関数は、焦点画素の位相差値の合計として定義され、各々に対応する焦点重みが乗算される。当然のことながら、他の焦点コスト機能が、本開示の実施形態の範囲を逸脱することなく実装されてもよい。
このようにして、カメラモジュールに伝送される焦点ターゲット情報（例えば、座標）は、伝送される様々な程度の詳細および様々な程度のデータを有し得る。例えば、１つ以上のポイントを送信することは、半径および／または重みプロファイルを有する１つ以上のポイントよりも少ないデータを含み、これは、重みマスクを含む１つ以上のポイントよりも少ないデータを含む。このように、座標タイプは、特定のシステム実装のニーズに基づいて選択されてもよい。
加えて、一実施形態において、重みプロファイルは、暗示的または明示的（例えば、規定される）であり得る。例えば、暗示的な重みプロファイルは、同一のプロファイルを参照するプロファイルを含み得る。一実施形態では、暗示的なプロファイルは、同一のままであってもよい（すなわち、変更することはできない）。別の実施形態では、暗示的なプロファイルは、設定パターン（例えば、円、矩形など）の使用を含み得る。さらに、明示的な重みプロファイルは、重みプロファイルが要求または伝送されるたびに重みが参照されるプロファイルを含んでもよい。
さらにまた、一実施形態では、重みマスクは、明示的であってもよく、および／または格納されインデックス化されてもよい。例えば、明示的な重みマスクは、マスクが要求または伝送されるたびに参照されるマスクを含むであろう。マスクは格納してインデックス化することができ、後でインデックスによって参照することができる。さらに、マスクは画像内にメタデータとして格納してもよい。
一実施形態では、以前のキャプチャに関連付けられた情報（例えば、メタデータ）が、後続のフレームに適用されてもよい。例えば、様々な実施形態では、第１の画像に対して選択された重みプロファイルおよび重みマスクが、後続の画像に適用され得る。いくつかの例では、以前に選択された重みプロファイルおよび重みマスクが後続のフレームに適用され得るように、多数のフレーム（例えば、連写（ｒａｐｉｄ ｆｉｒｅ）キャプチャ、ビデオなど）が受信されてもよい。さらに、情報は、１つ以上の焦点ポイントに関連付けられ得、１つ以上の焦点ポイントの座標は、フレームをキャプチャする過程または後続のフレームで変化し得る。当然のことながら、いくつかの実施形態では、重みプロファイルおよび重みマスク（ならびに任意の１つ以上のポイント）は、現在および後続のフレームに適用されるように、必要に応じて修正されてもよい。
図１８は、一実施形態による、車両の状態を監視するための方法１８００を示す。任意選択として、方法１８００は、本明細書に開示される図面のいずれかの詳細の文脈において実装されてもよい。ただし、当然のことながら、方法１８００は、任意の所望の環境において実装されてもよい。さらに、上記の定義は、以下の説明にも同様に適用され得る。一実施形態では、方法１８００は、車両（例えば、車両３７０）内に含まれるプロセッサシステム（例えば、車両制御およびナビゲーションシステム７０２）によって実施されてもよい。
本文脈では、車両の状態には、車両重量、車両の様々な場所（座席上、フロアパネル上、グローブボックス、トランクなど）で検出された重量、車両内のアイテムの在庫、車両に結合されたアイテムの在庫などが含まれ得るが、これらに限定されない。さらに、動作前状態は、輸送動作を実施する前の車両の状態を指してもよく、動作後状態は、輸送動作を実施した後の車両の状態を指してもよい。一実施形態では、画像は、ユーザＩＤセンサ３７２、自動運転センサ３７４、追加の撮像センサによって収集され得る。さらに、車両の状態データは、燃料／充電レベル、電池の健全性、タイヤ空気圧、および車両システムの健全性の他の要素を測定するためのセンサ、車両重量を測定するセンサ、化学分析／測定を実行するためのセンサなどによってサンプリングされ得る。
一実施形態では、輸送動作は、乗客の乗車場所まで運転すること、１人以上の乗客を車両に入れること、指定された場所まで車両を運転すること、および１人以上の乗客を降ろすことを含んでもよい。かかる実施形態では、動作前状態は、乗客を乗せる前の車両の重量を含み得、動作後状態は、乗客を降ろした後の車両の重量を含み得る。加えて、動作前の状態は、車両の視覚的評価、車両内（または任意の保管コンパートメント内）にある潜在的な固定されていないオブジェクトの評価、および車両の外部または下面に取り付けられた潜在的なオブジェクトの評価を含み得る。乗客を降ろす際、動作後の状態は、乗客が車両から降りた後の車両の重量を含み得、さらに、車両内（または任意の保管コンパートメント内）に物品が残されていないことを含み得る。乗客が物品を置き忘れた場合、乗客に、物品を除去するように警告してもよい。乗客が警告を拒否または無視する場合、車両は、別の輸送動作のために再配置される前に、検査を必要とされる場合がある。
別の実施形態では、輸送動作は、認可されたオペレータ（例えば、運転者）を車両に入れることと、オペレータが車両を運転／制御し、かつ次いで車両から出るのを可能にすることとを含む。例えば、認可されたオペレータは、第１の指定された場所で、車両が動作前の状態について評価された状態でレンタル車両に入るのを許されてもよく、認可されたオペレータは、その後、車両が動作後の状態について評価された状態で、第２の指定された場所で車両を出てもよい。車内にアイテムが残っている場合、認可されたオペレータに、アイテムを除去するように警告してもよい。認可されたオペレータが警告を拒否または無視する場合、車両は、別の輸送動作のために再配置される前に、検査を必要とされる場合がある。
ステップ１８０２で、プロセッサシステムは、車両の動作前の状態に関するセンサデータを受信する。センサデータには、車両内部の画像、車両外部の画像、車両環境の履歴の画像、車両全体の重量、異なる表面および／またはコンパートメントでの重量、車両の物理的状態、車両の動作状態（診断システム状態、タイヤ空気圧レベル、など）、車両の充電／燃料レベル、車両内部の環境状態、ならびに車両の地理的位置が含まれ得るが、これらに限定されない。車両の地理的位置は、ＧＰＳ信号および／またはＷｉＦｉもしくは携帯電話基地局信号などの追加の信号を使用して判定され得る。環境状態には、温度、湿度、煙／臭気が存在するかどうか（内部空気の化学分析）、毒素または中毒物が存在するかどうか（内部空気の化学／生化学分析）などが含まれ得るが、これらに限定されない。
一実施形態では、センサデータは、車両の使用を確保している人物の視覚的検証を含んでもよい。視覚的な検証の結果、その人物が車両の使用を認可されてもよい。車両の使用は、認可された人物をある場所から別の場所へ輸送すること、ある場所から別の場所まで他の人物が車両に乗ることを可能にすること、ある場所から別の場所まで荷物を配送すること、またはそれらの任意の組み合わせを含んでもよい。
ステップ１８０４で、プロセッサシステムは、センサデータに基づいて車両の動作前状態を評価する。評価することは、車両が必要な輸送動作を実施するための状態にあるかどうかを判定すること、および動作後の状態と比較するために車両の状態を記録することを含み得るが、これらに限定されない。一実施形態では、乗客または認可されたオペレータが車両に入ることを許す前に、車両構成要素の画像の履歴が評価されてもよい。評価は、車両が改ざんされたこと（例えば、車両の下面に取り付けられた悪意のあるデバイス）、および警告が生成されるべきであることを示し得る。評価はまた、認可された乗員（例えば、オペレータまたは乗客）を車両に入れるのを許す前に、車両の状態の基準値を提供してもよい。動作後の状態評価は、認可された乗員によって生じた可能性のある、車両への損傷を示してもよい。
ステップ１８０６で、プロセッサシステムは、車両に輸送動作を実施させる、かつ／または輸送動作を実施することを指示する。一実施形態では、輸送動作は、人物、複数の人物、および／または他の荷物をある場所から別の場所に輸送することを含む。別の実施形態では、輸送動作は、人物が車両を操作または運転することを（例えば、ある場所から別の場所、一定期間、または不特定期間）可能にすることを含む。
ステップ１８０８で、プロセッサシステムは、車両の動作後の状態に関するセンサデータを受信する。一実施形態では、同様のデータが、ステップ１８０２で受信されてもよい。車両内部、外部、ならびに異なる計器の読み取り値（速度、ブレーキ速度、燃料／充電レベルなど）のビデオ記録を含むがこれらに限定されない、追加のセンサデータが受信されてもよい。追加データは、輸送動作の間および／または後に受信され得る。
ステップ１８１０で、プロセッサシステムは、センサデータに基づいて、車両の動作後の状態を評価する。一実施形態では、評価は、動作前の車両状態を動作後の車両状態と比較することを含み得、任意選択的に差異を記録することを伴ってもよい。一実施形態では、評価には、車両に大きな損傷または軽微な損傷が生じたかどうかを評価すること、車両に物品が残されていないかどうかを評価すること、車両を洗浄する必要があるかどうかを評価すること、車両に給油または充電する必要があるかどうかを評価すること、などのうちの１つ以上をさらに含んでもよい。
一実施形態では、物品が車両に残されていないかどうかを評価することは、車両全体および／または車両の表面もしくはコンパートメントの車両重量測定値を分析すること、画像データを分析して、追加の物品が車両に存在するかどうかを決定すること、任意の人物を車両に入れるのを許す前に開始しているビデオ映像を分析して、任意の人物が物品を残したかどうかを判定すること、などのうちの１つ以上を含む。車両重量は、燃料消費量、フロントガラス洗浄液消費量などに応じて変化し得、したがって、動作前と動作後との車両重量を比較することにより、消耗品の使用量（燃料、フロントガラス洗浄液など）を説明し得る。
ステップ１８２０で、アクションが示された場合、方法１８００は、ステップ１８３０に進み、そうでなければ、方法１８００は完了する。
ステップ１８３０で、プロセッサシステムは、車両の評価された動作後の状態に基づいてアクションを実施する。一実施形態では、様々な評価結果が、異なる対応するアクションを示し得る。
例えば、（受信したセンサデータによって示されるように）車両の燃料または充電が不足している場合、給油または充電が指示され、アクションを実施することには、車両に給油することまたは充電することが含まれる。別の例では、車両または車両トランクにアイテムが取り残されていると判定された場合、認可されたオペレータに直ちに通知され（認可されたオペレータがまだ存在する車両による口頭通知、テキストメッセージなどで）、アイテムを取り出す機会を与える。認可されたオペレータが通知を受信しているが無視していることが観察された場合（または通知を受信していないことが観察された場合）、指示されたアクションは、リスク軽減アクションであり得る。リスク軽減アクションは、アイテムを放棄する認可されたオペレータのビデオ映像を分析することを含んでもよい。ビデオ映像を分析することは、システム７００、サービスセンターにおける異なるシステム、またはそのような分析を任務とする１人以上の人物によって実施されてよい。リスク軽減アクションはまた、警告を（例えば法執行機関に）伝送すること、（例えばアイテムを放棄した認可されたオペレータの）ビデオ映像を伝送すること、および位置情報を（例えば法執行機関に）伝送すること、アイテムを、指定された（例えば、事前設定されたかもしくは警告に応答した法執行機関によって指示された）安全な場所または処分施設に運ぶことなども含んでもよいが、これらに限定されない。
図１９は、一実施形態による、検索動作に関与するための方法１９００を示す。任意選択として、方法１９００は、本明細書に開示される図面のいずれかの詳細の文脈において実装されてもよい。ただし、当然のことながら、方法１９００は、任意の所望の環境において実装されてもよい。さらに、上記の定義は、以下の説明にも同様に適用され得る。一実施形態では、方法１９００は、車両（例えば、車両３７０）内に含まれるプロセッサシステム（例えば、車両制御およびナビゲーションシステム７０２）によって実施されてもよい。
ステップ１９０２で、プロセッサシステムは、検索動作に関与するための要求を受信する。要求は、検索対象の識別情報を含み得る。そのような識別情報には、車両のナンバープレート文字列、車両の説明（例えば、特定の車両のメーカー、モデル、または物理的特徴）、車両の１つ以上の写真、探されている１人以上の個人の１つ以上の写真、検索対象を識別するための推論エンジン／畳み込みニューラルネットワーク（ＣＮＮ）のための事前に計算された係数のセット、またはそれらの組み合わせが含まれ得るが、これらに限定されない。
ステップ１９０４で、プロセッサシステムは、検索対象を検出するための認識サブシステムを設定する。例えば、プロセッサシステムは、システム７００のニューラルネット推論サブシステム７０６を設定して、特定のナンバープレート、特定の車両、特定の個人、またはそれらの組み合わせを識別し得る。一実施形態では、システム７００は、ニューラルネット推論サブシステム７０６の複数のインスタンスを含み得、特定のインスタンスは、タスクを駆動することに特化し、特定の他のインスタンスは、検索動作を実施することなどの二次認識タスクに特化する。特定の実施形態では、異なるインスタンスは、別個のハードウェアサブシステム、別個にパッケージ化された集積回路、または同一の集積回路ダイ上の別個の回路インスタンスを含み得る。
ステップ１９０６で、プロセッサシステムは、車両環境（例えば、現在の車両環境）に関するセンサデータを受信する。センサデータは、車両に搭載された１つ以上のデジタルカメラ（例えば、自動運転センサ３７４、ユーザＩＤセンサ３７２、他のデジタルカメラ）からの画像データを含み得、画像データは、静止画像および／またはビデオフレームを含み得る。さらに、センサデータは、地理的位置座標などの位置データを含んでもよい。
ステップ１９０８で、プロセッサシステムは、センサデータを分析する。特に、プロセッサシステムは、検索対象を視覚的に検出するために、センサデータを含む画像データを分析する。そのような検出には、画像データで見える車両から車両ナンバープレート文字列を検出すること、検索対象の外観に一致する車両を検出すること、検索対象として探されている１人以上の個人を検出することが含まれ得るが、これらに限定されない。一実施形態では、ライセンス場所文字列が一致する、もしくは１人以上の個人が一致する場合は、検出の信頼性は非常に高い可能性があり、一方で、車両の外観が一致するだけでは、信頼性はより低い可能性がある。
ステップ１９１０で、対象が検出された場合、方法１９００はステップ１９２０に進み、そうでない場合、方法１９００はステップ１９０６に戻る。
ステップ１９２０で、プロセッサシステムは、対象の検出に関連するデータをサービスセンターに伝送し、サービスセンターは、データを法執行機関にさらに提供してもよい。一実施形態では、データには、地理的位置（例えば、ＧＰＳ座標）、および検出の基礎として機能した画像データが含まれる。方法１９００は、ステップ１９０６に戻り（図示せず）、連続的に動作し得る。
一実施形態では、一致するライセンス場所文字列および一致する車両外観、または一致する個人の外観および一致する車両外観を検出するなど、信頼性の高い検出についてのみ、対象が検出されたと判定される。他の実施形態では、一致する車両外観であるが、ライセンスがないかまたはライセンスが一致しない（例えば、検索対象が自身の車両のナンバープレートを取り外すかもしくは変更する可能性がある）など、信頼性がより低い検出であっても、対象が検出されたと判定される場合がある。このような信頼性がより低い検出は、最終的に決定的な検出をもたらし得る間接パターンマッチングのために、サービスセンターによって統合されてもよい。
ある態様では、本明細書に記載される技術は、コンピュータベースまたはプロセッサ含有の機械、装置、またはデバイスなどの命令実行機械、装置、またはデバイスによる使用のために、またはそれらと接続して、コンピュータ可読媒体に格納されている実行可能な命令に具現化されることに留意されたい。いくつかの実施形態では、磁気カセット、フラッシュメモリカード、デジタルビデオディスク、ベルヌーイカートリッジ、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）などのような、コンピュータによるアクセスが可能なデータを格納し得る他のタイプのコンピュータ可読媒体が含まれることが当業者によって理解されるであろう。
本明細書で使用する場合、「コンピュータ可読媒体」は、命令実行マシン、システム、装置、またはデバイスが、コンピュータ可読媒体から命令を読み出し（またはフェッチし）、記載の方法を実行するための命令を実行し得るように、コンピュータプログラムの実行可能命令を格納するための任意の適切な媒体のうちの１つ以上を含む。適切な格納形式には、電子形式、磁気形式、光学形式、および電磁形式のうちの１つ以上が含まれる。従来の例示的なコンピュータ可読媒体の非網羅的なリストとしては、ポータブルコンピュータディスケット、ＲＡＭ、ＲＯＭ、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、ポータブルコンパクトディスク（ＣＤ）、ポータブルデジタルビデオディスク（ＤＶＤ）、高精細ＤＶＤ（ＨＤ－ＤＶＤ（商標））、ＢＬＵ－ＲＡＹディスクなどを含む、光学記憶装置が挙げられる。
記載される図面に例示される構成要素の配置は例示的であり、他の配置が可能であることを理解されたい。以下に記載され、種々のブロック図に図示される特許請求の範囲によって定義される種々のシステム構成要素（および手段）が、本明細書に開示される主題に従って構成されるいくつかのシステムにおける論理構成要素を表すことも理解されたい。
例えば、これらのシステム構成要素（および手段）のうちの１つ以上は、全体または一部が、記載する図面に示された配置に示された構成要素のうちの少なくとも一部によって実現され得る。加えて、これらの構成要素のうちの少なくとも１つは、少なくとも部分的に電子ハードウェア構成要素として実装され、したがってマシンを構成するが、他の構成要素は、実行環境に含まれるとき、マシン、ハードウェア、またはソフトウェアとハードウェアとの組み合わせを構成するソフトウェアの形で実装され得る。
より具体的には、特許請求の範囲によって定義される少なくとも１つの構成要素は、命令実行マシン（例えば、プロセッサベースまたはプロセッサ含有マシン）などの電子ハードウェア構成要素として、および／または特殊回路もしくは回路構成（例えば、特殊化された機能を実行するために相互接続された個別論理ゲート）として、少なくとも部分的に実装される。他の構成要素は、ソフトウェア、ハードウェア、またはソフトウェアとハードウェアとの組み合わせの形で実装されてもよい。さらに、これらの他の構成要素のいくつかまたはすべてが組み合わされてもよく、いくつかは完全に省略されてもよく、追加の構成要素が、本明細書に記載の機能性を依然として達成しながら追加されてもよい。したがって、本明細書に記載される主題は、多くの異なる変形形態で具現化され得、すべてのそのような変形形態は、特許請求の範囲の範囲内であると企図される。
上記の説明では、主題は、別段の指示がない限り、１つ以上のデバイスによって実施される行為および動作の記号的表現を参照して説明される。したがって、そのような行為および動作は、時にはコンピュータによって実行されると称されるが、構造化された形態のデータのプロセッサによる操作を含むことが理解されるであろう。この操作は、データを変換するか、またはデータをコンピュータのメモリシステム内の位置に維持し、当業者によく理解されている方法でデバイスの動作を再構成するか、またはそうでなければ変更する。データは、データの形式によって定義される特定の特性を有するデータ構造としてメモリの物理的位置に維持される。ただし、主題は前述の文脈で説明されているが、当業者であれば、以下に記載される様々な行為および動作がハードウェアでも実装され得ることを理解するであろうため、限定するものではない。
本明細書に記載の主題の理解を容易にするために、多くの態様が、一連のアクションの観点から説明される。特許請求の範囲によって定義されるこれらの態様のうちの少なくとも１つは、電子ハードウェア構成要素によって実施される。例えば、種々のアクションは、特殊回路または回路構成によって、１つ以上のプロセッサによって実行されているプログラム命令によって、または両方の組み合わせによって、実行されてもよいことが認識されよう。本明細書における任意の一連のアクションの説明は、その一連の流れを実行するために、記載された特定の順序に従わなければならないことを暗示することを意図しない。本明細書に記載のすべての方法は、本明細書に別段の指示がない限り、または文脈に明確に矛盾しない限り、任意の適切な順序で実行され得る。
主題を説明する文脈において（とりわけ、以下の特許請求の範囲の文脈において）、「ａ」および「ａｎ」ならびに「ｔｈｅ」という用語、および同様の指示対象の使用は、別様に本明細書に示唆されるか、または文脈に明確に矛盾しない限り、単数形および複数形の両方を網羅するように解釈されるべきである。本明細書における値の範囲の列挙は、別段の指示がない限り、その範囲内に収まる各々の別個の値を個別に参照する速記法としての役割を果たすことを意図しているに過ぎず、各々の別個の値は、それが本明細書において個別に列挙されるかのように、本明細書に組み込まれる。さらに、上記の説明は、限定の目的ではなく、例示のみを目的とするものであり、これは、要求される保護の範囲が、以下に記載されるような特許請求の範囲と、それらの権利を有する任意の同等物と共に定義されるためである。本明細書に提供される任意のおよびすべての実施例、または例示的な言語（例えば、「など」）の使用は、主題をよりよく例示することのみを意図し、別段の主張がない限り、主題の範囲に制限を課さない。「に基づく」という用語および結果をもたらすための条件を示す他の同様の語句の使用は、特許請求の範囲および書面による説明の両方において、その結果をもたらす任意の他の条件を排除することを意図しない。本明細書中のいかなる文言も、特許請求の範囲に記載の本発明の実施に不可欠な、特許請求されていない要素を示すものとして解釈されるべきではない。
本明細書に記載の実施形態は、特許請求の範囲に記載の主題を実行するための発明者に既知の１つ以上のモードを含む。当然のことながら、これらの実施形態の変形形態が、前述の説明を読むと当業者に明らかになるであろう。本発明者は、当業者がかかる変形形態を適切に用いることを期待し、本発明者は、特許請求される主題が、本明細書に具体的に記載される以外の方法で実施されることを意図する。したがって、この特許請求の範囲の主題は、適用法によって許可されるように、本明細書に添付される特許請求の範囲に記載された主題のすべての修正および等価物を含む。さらに、本明細書に別様に示されるか、または別様に文脈に明確に矛盾しない限り、そのすべての可能な変形例における上述の要素の任意の組み合わせが包含される。
Claims (20)
- デバイスであって、
命令を格納している非一時的メモリと、
前記非一時的メモリと通信する１つ以上のプロセッサと、を備え、前記１つ以上のプロセッサは、
第１のユーザを認証することであって、
サンプリングパラメータの第１のセットに基づく少なくとも１つの第１の画像を受信すること、
前記少なくとも１つの第１の画像に関連付けられた少なくとも１つの顔を識別すること、および
前記少なくとも１つの顔が認可されたユーザであると判定すること、によって、認証することと、
前記認証に基づいて、前記第１のユーザが第１の車両にアクセスすることを許可することと、
前記第１のユーザに関する前記第１の車両の使用を検証することと、
前記検証に応答して、前記第１のユーザによる前記第１の車両の操作を可能にすることと、を行うための前記命令を実行する、デバイス。 - 前記少なくとも１つの顔は、顔モデルを作成すること、および前記顔モデルを認可された顔モデルのデータベースと比較することによって識別される、請求項１に記載のデバイス。
- 前記少なくとも１つの顔は、前記少なくとも１つの画像の、深度マップまたはテクスチャマップのうちの少なくとも１つを使用することによって識別される、請求項１に記載のデバイス。
- 前記第１のユーザは、
サンプリングパラメータの第２のセットに基づく少なくとも１つの第２の画像を受信すること、および
前記少なくとも１つの第１の画像と前記少なくとも１つの第２の画像とをブレンドして、ブレンドされた画像を形成することによってさらに認証される、請求項１に記載のデバイス。 - 前記第１のユーザは、前記少なくとも１つの第１の画像を前記少なくとも１つの第２の画像と位置合わせすることによってさらに認証される、請求項４に記載のデバイス。
- サンプリングパラメータの前記第１のセットは、周囲露光に関連し、前記１つ以上のプロセッサは、サンプリングパラメータの第２のセットに基づく少なくとも１つの第２の画像を受信するための前記命令を実行し、サンプリングパラメータの前記第２のセットは、ストロボ露光に関連する、請求項１に記載のデバイス。
- サンプリングパラメータの前記第１のセットは、露光座標を含む、請求項１に記載のデバイス。
- 前記第１のユーザは、オーディオ入力を受信することによってさらに認証され、前記オーディオ入力は、認可されたユーザのオーディオシグネチャと比較される、請求項１に記載のデバイス。
- 前記第１のユーザは、虹彩スキャンを受信することによってさらに認証され、前記虹彩スキャンは、認可されたユーザの虹彩スキャンと比較される、請求項１に記載のデバイス。
- 前記少なくとも１つの顔は、顔モデルを使用して識別され、前記顔モデルは、画像深度マップ、画像表面テクスチャマップ、オーディオマップ、および相関マップを含む、請求項１に記載のデバイス。
- 前記相関マップは、音声学、イントネーション、および／または感情に関連付けられたオーディオを、１つ以上の顔データポイントと一致させる、請求項１０に記載のデバイス。
- 前記第１の車両の前記使用は、ジオフェンス、車両の状態、道路の状態、ユーザの状態、またはユーザ制限ルールのうちの少なくとも１つを使用して検証される、請求項１に記載のデバイス。
- 前記第１のユーザは、前記第１のユーザに関連付けられたセカンダリデバイスのカードエミュレーションモードを使用することによってさらに認証され、前記セカンダリデバイスは、近距離無線通信（ＮＦＣ）を使用して前記第１の車両と通信する、請求項１に記載のデバイス。
- 前記第１のユーザは、前記カードエミュレーションモードと組み合わせてオーディオシグネチャによってさらに認証される、請求項１３に記載のデバイス。
- 前記１つ以上のプロセッサは、前記第１の車両が非準拠な方式で操作されていることを判定し、それに応答して、第２のユーザに報告を提供するための前記命令を実行する、請求項１に記載のデバイス。
- 前記非準拠な方式は、前記報告に応答した前記第２のユーザからのフィードバックに基づいて上書きされる、請求項１５に記載のデバイス。
- 前記第１の車両の前記使用は、前記第１の車両のすべての乗員に基づいて制限され、前記乗員の各乗員は別個の乗員プロファイルを有する、請求項１に記載のデバイス。
- 前記第１の車両の前記操作は、前記乗員のすべての乗員プロファイルの組み合わせに基づいて、少なくとも制限付きで可能にされ、前記少なくとも１つの制限は、時間制限、最高速度制限、経路制限、位置制限、または運転者制限のうちの少なくとも１つを含む、請求項１７に記載のデバイス。
- 方法であって、
第１のユーザを認証することであって、
プロセッサを使用して、サンプリングパラメータの第１のセットに基づく少なくとも１つの第１の画像を受信すること、
前記プロセッサを使用して、前記少なくとも１つの第１の画像に関連付けられた少なくとも１つの顔を識別すること、および
前記プロセッサを使用して、前記少なくとも１つの顔が認可されたユーザであると判定すること、によって、認証することと、
前記認証に基づいて、前記第１のユーザが第１の車両にアクセスすることを許可することと、
前記第１のユーザに関する前記第１の車両の使用を検証することと、
前記検証に応答して、前記第１のユーザによる前記第１の車両の操作を可能にすることと、を含む、方法。 - 非一時的コンピュータ可読媒体に格納されたコンピュータ実行可能命令を含むコンピュータプログラム製品であって、前記命令は、プロセッサによって実行されたときに、
第１のユーザを認証することであって、
サンプリングパラメータの第１のセットに基づく少なくとも１つの第１の画像を受信すること、
前記少なくとも１つの第１の画像に関連付けられた少なくとも１つの顔を識別すること、および
前記少なくとも１つの顔が認可されたユーザであると判定すること、によって、認証することと、
前記認証に基づいて、前記第１のユーザが第１の車両にアクセスすることを許可することと、
前記第１のユーザに関する前記第１の車両の使用を検証することと、
前記検証に応答して、前記第１のユーザによる前記第１の車両の操作を可能にすることと、を行う、コンピュータプログラム製品。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/460,807 US20210001810A1 (en) | 2019-07-02 | 2019-07-02 | System, method, and computer program for enabling operation based on user authorization |
| US16/460,807 | 2019-07-02 | ||
| PCT/US2020/040478 WO2021003261A1 (en) | 2019-07-02 | 2020-07-01 | System, method, and computer program for enabling operation based on user authorization |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2022538557A true JP2022538557A (ja) | 2022-09-05 |
Family
ID=74066326
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021576343A Pending JP2022538557A (ja) | 2019-07-02 | 2020-07-01 | ユーザ認可に基づいて操作を可能にするためのシステム、方法、およびコンピュータプログラム |
Country Status (7)
| Country | Link |
|---|---|
| US (2) | US20210001810A1 (ja) |
| EP (1) | EP3994594A4 (ja) |
| JP (1) | JP2022538557A (ja) |
| CN (1) | CN114402319A (ja) |
| AU (1) | AU2020299585A1 (ja) |
| CA (1) | CA3144478A1 (ja) |
| WO (1) | WO2021003261A1 (ja) |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10558848B2 (en) | 2017-10-05 | 2020-02-11 | Duelight Llc | System, method, and computer program for capturing an image with correct skin tone exposure |
| US10795356B2 (en) * | 2017-08-31 | 2020-10-06 | Uatc, Llc | Systems and methods for determining when to release control of an autonomous vehicle |
| JP6636214B1 (ja) * | 2018-06-18 | 2020-01-29 | 三菱電機株式会社 | 診断装置、診断方法及びプログラム |
| US11146759B1 (en) * | 2018-11-13 | 2021-10-12 | JMJ Designs, LLC | Vehicle camera system |
| US11451538B2 (en) * | 2019-04-05 | 2022-09-20 | University Of South Florida | Methods and systems of authenticating of personal communications |
| US11592575B2 (en) * | 2019-12-20 | 2023-02-28 | Waymo Llc | Sensor steering for multi-directional long-range perception |
| KR20210112949A (ko) * | 2020-03-06 | 2021-09-15 | 삼성전자주식회사 | 데이터 버스, 그것의 데이터 처리 방법 및 데이터 처리 장치 |
| DE102020203113A1 (de) * | 2020-03-11 | 2021-09-16 | Siemens Healthcare Gmbh | Paketbasiertes Multicast-Kommunikationssystem |
| JP2021149617A (ja) * | 2020-03-19 | 2021-09-27 | 本田技研工業株式会社 | レコメンド案内装置、レコメンド案内方法、および、レコメンド案内プログラム |
| US20220036094A1 (en) * | 2020-08-03 | 2022-02-03 | Healthcare Integrated Technologies Inc. | Method and system for monitoring subjects for conditions or occurrences of interest |
| US11953586B2 (en) | 2020-11-17 | 2024-04-09 | Ford Global Technologies, Llc | Battery-powered vehicle sensors |
| US11490085B2 (en) | 2021-01-14 | 2022-11-01 | Tencent America LLC | Model sharing by masked neural network for loop filter with quality inputs |
| US11951937B2 (en) * | 2021-03-12 | 2024-04-09 | Ford Global Technologies, Llc | Vehicle power management |
| US11912235B2 (en) | 2021-03-12 | 2024-02-27 | Ford Global Technologies, Llc | Vehicle object detection |
| US11916420B2 (en) | 2021-03-12 | 2024-02-27 | Ford Global Technologies, Llc | Vehicle sensor operation |
| JP7181331B2 (ja) * | 2021-03-24 | 2022-11-30 | 本田技研工業株式会社 | 車両制御装置、車両制御方法、及びプログラム |
| US11787434B2 (en) * | 2021-04-19 | 2023-10-17 | Toyota Motor North America, Inc. | Modification of transport functionality based on modified components |
| US11599617B2 (en) * | 2021-04-29 | 2023-03-07 | The Government of the United States of America, as represented by the Secretary of Homeland Security | Mobile screening vehicle and method for mobile security scanning |
| US20220388479A1 (en) * | 2021-06-07 | 2022-12-08 | Autobrains Technologies Ltd | Face recongition based vehicle access control |
| US20230029467A1 (en) * | 2021-07-30 | 2023-02-02 | Nissan North America, Inc. | Systems and methods of adjusting vehicle components from outside of a vehicle |
| GB2609914A (en) * | 2021-08-12 | 2023-02-22 | Continental Automotive Gmbh | A monitoring system and method for identifying objects |
| US20230159044A1 (en) * | 2021-11-24 | 2023-05-25 | Rivian Ip Holdings, Llc | Performance limiter |
| US20230175850A1 (en) * | 2021-12-06 | 2023-06-08 | Ford Global Technologies, Llc | Systems and methods to enforce a curfew |
| CN114492687A (zh) * | 2022-01-06 | 2022-05-13 | 深圳市锐明技术股份有限公司 | 岗前检测方法、装置、终端设备及计算机可读存储介质 |
| WO2023244266A1 (en) * | 2022-06-13 | 2023-12-21 | Google Llc | Using multi-perspective image sensors for topographical feature authentication |
| US11801858B1 (en) * | 2022-08-24 | 2023-10-31 | Bendix Commercial Vehicle Systems Llc | System and method for monitoring cervical measurement of a driver and modifying vehicle functions based on changes in the cervical measurement of the driver |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008162498A (ja) * | 2006-12-28 | 2008-07-17 | Toshiba Corp | 乗り物管理システム |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7788008B2 (en) * | 1995-06-07 | 2010-08-31 | Automotive Technologies International, Inc. | Eye monitoring system and method for vehicular occupants |
| WO2007094988A2 (en) * | 2006-02-13 | 2007-08-23 | All Protect Llc | Method and system for controlling a vehicle given to a third party |
| US10922567B2 (en) * | 2010-06-07 | 2021-02-16 | Affectiva, Inc. | Cognitive state based vehicle manipulation using near-infrared image processing |
| US9154708B1 (en) * | 2014-11-06 | 2015-10-06 | Duelight Llc | Image sensor apparatus and method for simultaneously capturing flash and ambient illuminated images |
| US9509919B2 (en) * | 2014-11-17 | 2016-11-29 | Duelight Llc | System and method for generating a digital image |
| US9215433B2 (en) * | 2014-02-11 | 2015-12-15 | Duelight Llc | Systems and methods for digital photography |
| US10558848B2 (en) * | 2017-10-05 | 2020-02-11 | Duelight Llc | System, method, and computer program for capturing an image with correct skin tone exposure |
| US10708545B2 (en) * | 2018-01-17 | 2020-07-07 | Duelight Llc | System, method, and computer program for transmitting face models based on face data points |
| EP2817170A4 (en) * | 2013-04-15 | 2015-11-04 | ACCESS TO USER PROFILES STORED IN THE FORM OF MODELS AND PORTABILITY OF THESE USER PROFILES | |
| ES2817847T3 (es) * | 2014-02-17 | 2021-04-08 | Kaba Ag Group Innovation Man | Sistema y método para gestionar datos de aplicación de aplicaciones de tarjetas sin contacto |
| US11104227B2 (en) * | 2016-03-24 | 2021-08-31 | Automotive Coalition For Traffic Safety, Inc. | Sensor system for passive in-vehicle breath alcohol estimation |
| US10095229B2 (en) * | 2016-09-13 | 2018-10-09 | Ford Global Technologies, Llc | Passenger tracking systems and methods |
| US20190031145A1 (en) * | 2017-07-28 | 2019-01-31 | Alclear, Llc | Biometric identification system connected vehicle |
| US10402149B2 (en) * | 2017-12-07 | 2019-09-03 | Motorola Mobility Llc | Electronic devices and methods for selectively recording input from authorized users |
| CN110182172A (zh) * | 2018-02-23 | 2019-08-30 | 福特环球技术公司 | 车辆驾驶员认证系统及方法 |
-
2019
- 2019-07-02 US US16/460,807 patent/US20210001810A1/en not_active Abandoned
-
2020
- 2020-07-01 JP JP2021576343A patent/JP2022538557A/ja active Pending
- 2020-07-01 CN CN202080061489.7A patent/CN114402319A/zh active Pending
- 2020-07-01 AU AU2020299585A patent/AU2020299585A1/en not_active Abandoned
- 2020-07-01 EP EP20835135.3A patent/EP3994594A4/en active Pending
- 2020-07-01 CA CA3144478A patent/CA3144478A1/en active Pending
- 2020-07-01 WO PCT/US2020/040478 patent/WO2021003261A1/en unknown
-
2022
- 2022-07-26 US US17/874,086 patent/US20230079783A1/en not_active Abandoned
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008162498A (ja) * | 2006-12-28 | 2008-07-17 | Toshiba Corp | 乗り物管理システム |
Also Published As
| Publication number | Publication date |
|---|---|
| CA3144478A1 (en) | 2021-01-07 |
| WO2021003261A1 (en) | 2021-01-07 |
| EP3994594A1 (en) | 2022-05-11 |
| US20210001810A1 (en) | 2021-01-07 |
| EP3994594A4 (en) | 2023-07-12 |
| US20230079783A1 (en) | 2023-03-16 |
| AU2020299585A1 (en) | 2022-01-20 |
| CN114402319A (zh) | 2022-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230079783A1 (en) | System, method, and computer program for enabling operation based on user authorization | |
| WO2021000587A1 (zh) | 车门解锁方法及装置、系统、车、电子设备和存储介质 | |
| TWI785312B (zh) | 車門解鎖方法及其裝置、車載人臉解鎖系統、車、電子設備和儲存媒體 | |
| US11959761B1 (en) | Passenger profiles for autonomous vehicles | |
| CA3105190C (en) | System and method for identifying and verifying one or more individuals using facial recognition | |
| CN108454567B (zh) | 用于车辆的物体检测 | |
| CN112622917B (zh) | 用于认证交通工具的乘员的系统和方法 | |
| JP2022549656A (ja) | 車両のドア制御方法及び装置、システム、車両、電子機器並びに記憶媒体 | |
| US11741766B2 (en) | Garage security and convenience features | |
| US10719692B2 (en) | Vein matching for difficult biometric authentication cases | |
| CN103383723B (zh) | 用于生物特征验证的电子欺骗检测的方法和系统 | |
| CN113508066A (zh) | 自主交通工具系统 | |
| JP2019508801A (ja) | なりすまし防止顔認識のための生体検知 | |
| CN110290945A (zh) | 记录操作员和周围视场的视频 | |
| IT201900011403A1 (it) | Detecting illegal use of phone to prevent the driver from getting a fine | |
| CN110139037A (zh) | 对象监测方法及装置、存储介质和电子设备 | |
| CN114821695A (zh) | 材料光谱法 | |
| Lashkov et al. | Human–Computer Interaction Interface for Driver Suspicious Action Analysis in Vehicle Cabin | |
| CN116152934A (zh) | 生物特征识别方法和系统、识别模型的训练方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220218 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230118 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230131 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230419 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20231003 |