CN107107748A - 乘员监视系统和方法 - Google Patents
乘员监视系统和方法 Download PDFInfo
- Publication number
- CN107107748A CN107107748A CN201580073108.6A CN201580073108A CN107107748A CN 107107748 A CN107107748 A CN 107107748A CN 201580073108 A CN201580073108 A CN 201580073108A CN 107107748 A CN107107748 A CN 107107748A
- Authority
- CN
- China
- Prior art keywords
- oms
- occupant
- steering wheel
- wheel assembly
- imaging unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 title claims description 24
- 238000003384 imaging method Methods 0.000 claims abstract description 209
- 238000012545 processing Methods 0.000 claims abstract description 80
- 230000000007 visual effect Effects 0.000 claims abstract description 30
- 238000004458 analytical method Methods 0.000 claims description 22
- 230000015654 memory Effects 0.000 claims description 22
- 210000003128 head Anatomy 0.000 claims description 14
- 230000003287 optical effect Effects 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 4
- 210000004209 hair Anatomy 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 2
- 238000003860 storage Methods 0.000 description 40
- 239000000463 material Substances 0.000 description 22
- 238000005034 decoration Methods 0.000 description 14
- 230000007246 mechanism Effects 0.000 description 14
- 230000033001 locomotion Effects 0.000 description 12
- 230000014759 maintenance of location Effects 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 10
- 239000004926 polymethyl methacrylate Substances 0.000 description 10
- 239000000853 adhesive Substances 0.000 description 9
- 230000001070 adhesive effect Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 9
- 230000008878 coupling Effects 0.000 description 9
- 238000010168 coupling process Methods 0.000 description 9
- 238000005859 coupling reaction Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 8
- 229920006353 Acrylite® Polymers 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000005611 electricity Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000012216 screening Methods 0.000 description 5
- 239000004425 Makrolon Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 239000003292 glue Substances 0.000 description 4
- 230000036541 health Effects 0.000 description 4
- 238000010438 heat treatment Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 229920000515 polycarbonate Polymers 0.000 description 4
- 238000005476 soldering Methods 0.000 description 4
- 239000003989 dielectric material Substances 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 229920003229 poly(methyl methacrylate) Polymers 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000036387 respiratory rate Effects 0.000 description 3
- 206010041232 sneezing Diseases 0.000 description 3
- 238000003466 welding Methods 0.000 description 3
- 229910000838 Al alloy Inorganic materials 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 229910045601 alloy Inorganic materials 0.000 description 2
- 239000000956 alloy Substances 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 239000011248 coating agent Substances 0.000 description 2
- 238000000576 coating method Methods 0.000 description 2
- 238000001816 cooling Methods 0.000 description 2
- 239000006260 foam Substances 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 229920003023 plastic Polymers 0.000 description 2
- 239000004033 plastic Substances 0.000 description 2
- 239000004417 polycarbonate Substances 0.000 description 2
- 229920000642 polymer Polymers 0.000 description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 description 2
- 230000001568 sexual effect Effects 0.000 description 2
- 239000010959 steel Substances 0.000 description 2
- 239000010409 thin film Substances 0.000 description 2
- SMZOUWXMTYCWNB-UHFFFAOYSA-N 2-(2-methoxy-5-methylphenyl)ethanamine Chemical compound COC1=CC=C(C)C=C1CCN SMZOUWXMTYCWNB-UHFFFAOYSA-N 0.000 description 1
- NIXOWILDQLNWCW-UHFFFAOYSA-N 2-Propenoic acid Natural products OC(=O)C=C NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 description 1
- 241000251468 Actinopterygii Species 0.000 description 1
- 241000208340 Araliaceae Species 0.000 description 1
- FERIUCNNQQJTOY-UHFFFAOYSA-M Butyrate Chemical compound CCCC([O-])=O FERIUCNNQQJTOY-UHFFFAOYSA-M 0.000 description 1
- FERIUCNNQQJTOY-UHFFFAOYSA-N Butyric acid Natural products CCCC(O)=O FERIUCNNQQJTOY-UHFFFAOYSA-N 0.000 description 1
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 229920004142 LEXAN™ Polymers 0.000 description 1
- 239000004418 Lexan Substances 0.000 description 1
- 229910000861 Mg alloy Inorganic materials 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 244000299461 Theobroma cacao Species 0.000 description 1
- 235000009470 Theobroma cacao Nutrition 0.000 description 1
- 206010048232 Yawning Diseases 0.000 description 1
- 229920002877 acrylic styrene acrylonitrile Polymers 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 150000001336 alkenes Chemical class 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- MTAZNLWOLGHBHU-UHFFFAOYSA-N butadiene-styrene rubber Chemical compound C=CC=C.C=CC1=CC=CC=C1 MTAZNLWOLGHBHU-UHFFFAOYSA-N 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- BVKZGUZCCUSVTD-UHFFFAOYSA-N carbonic acid Chemical compound OC(O)=O BVKZGUZCCUSVTD-UHFFFAOYSA-N 0.000 description 1
- 229920001727 cellulose butyrate Polymers 0.000 description 1
- 229910010293 ceramic material Inorganic materials 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 229910052804 chromium Inorganic materials 0.000 description 1
- 239000011651 chromium Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 239000006071 cream Substances 0.000 description 1
- 229920001971 elastomer Polymers 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 150000002148 esters Chemical class 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 210000001097 facial muscle Anatomy 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 150000002825 nitriles Chemical class 0.000 description 1
- 239000012788 optical film Substances 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- -1 polyethylene terephthalate Polymers 0.000 description 1
- 229920000139 polyethylene terephthalate Polymers 0.000 description 1
- 239000005020 polyethylene terephthalate Substances 0.000 description 1
- 229920005644 polyethylene terephthalate glycol copolymer Polymers 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- ZRHANBBTXQZFSP-UHFFFAOYSA-M potassium;4-amino-3,5,6-trichloropyridine-2-carboxylate Chemical compound [K+].NC1=C(Cl)C(Cl)=NC(C([O-])=O)=C1Cl ZRHANBBTXQZFSP-UHFFFAOYSA-M 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000009738 saturating Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000392 somatic effect Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000009987 spinning Methods 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 210000004243 sweat Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D1/00—Steering controls, i.e. means for initiating a change of direction of the vehicle
- B62D1/02—Steering controls, i.e. means for initiating a change of direction of the vehicle vehicle-mounted
- B62D1/04—Hand wheels
- B62D1/046—Adaptations on rotatable parts of the steering wheel for accommodation of switches
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W40/09—Driving style or behaviour
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F21—LIGHTING
- F21S—NON-PORTABLE LIGHTING DEVICES; SYSTEMS THEREOF; VEHICLE LIGHTING DEVICES SPECIALLY ADAPTED FOR VEHICLE EXTERIORS
- F21S45/00—Arrangements within vehicle lighting devices specially adapted for vehicle exteriors, for purposes other than emission or distribution of light
- F21S45/40—Cooling of lighting devices
- F21S45/47—Passive cooling, e.g. using fins, thermal conductive elements or openings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/593—Recognising seat occupancy
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/51—Housings
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
- B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
- B60R2011/001—Vehicle control means, e.g. steering-wheel or column
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2422/00—Indexing codes relating to the special location or mounting of sensors
- B60W2422/50—Indexing codes relating to the special location or mounting of sensors on a steering column
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2510/00—Input parameters relating to a particular sub-units
- B60W2510/20—Steering systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2710/00—Output or target parameters relating to a particular sub-units
- B60W2710/20—Steering systems
Abstract
各种实施方案涉及一种操作人员监视系统(OMS)。某些实施方案包括耦接到车辆的方向盘组件的可旋转部分的OMS。例如,所述OMS可包括成像单元,例如相机,所述成像单元耦接到所述方向盘组件的中心毂部分。所述成像单元具有指向所述车辆中的一个或多个乘员的视场,且经配置以捕获对应于所述视场中的成像区域的图像信号。所述成像区域可经配置以围封一个或多个车辆乘员的预期位置。所述OMS还包括与所述成像单元进行电通信的一个或多个处理单元,所述处理单元接收并处理来自所述成像单元的所述图像信号以确定乘员状态,且在一些实施方案中,基于所述确定的乘员状态来提供反馈。
Description
技术领域
本发明大体涉及一种乘员监视系统。更具体地说,本发明涉及一种包括乘员监视系统的车辆转向组件。
背景技术
各种先进的驾驶员辅助系统并入有视觉、声学和/或传感器告警。这些告警中的许多告警是响应于外部危险(例如,接近另一物体)。然而,在最近的时期,使驾驶员可能分神的事物的数目已增加(例如,手机、mp3播放器、内部显示器等)。驾驶员监视系统正变得越来越普遍包括在车辆中,例如,以在检测到驾驶员处于分神状态时发出告警。
发明内容
本发明呈现用于乘员监视系统(OMS)的系统和方法。例如,在各种实施方案中,OMS包括成像单元,例如相机,所述成像单元耦接到方向盘组件的旋转部分,例如中心毂部分。成像单元具有指向车辆的客舱的视场,例如在车辆中的一个或多个乘员的方向上,且经配置以捕获对应于视场中的成像区域的图像信号。成像区域可经配置以例如围封乘员的预期位置。OMS还包括与成像单元进行电通信的一个或多个处理单元,所述处理单元接收并处理来自成像单元的图像信号以确定乘员状态,且在一些实施方案中,基于所确定的乘员状态来提供反馈(例如,输出)。
例如,在各种实施方案中,用于监视车辆中的至少一个乘员的乘员监视系统(OMS)包括成像单元,所述成像单元经配置以耦接到方向盘组件。成像单元经配置以随车辆的方向盘组件的中心部分旋转。成像单元具有在车辆内侧的视场,且经配置以捕获对应于车辆中的成像区域的图像信号。成像区域在成像单元的视场内,并围封车辆中的乘员的预期位置。
在一些实施方案中,成像单元可耦接到方向盘组件的中心部分,且方向盘组件的中心部分可包括毂。在一些实施方案中,毂可包括外壳。并且,成像单元可安置在外壳内。在某些实施方案中,外壳可相邻地耦接到毂的后盖。例如,外壳可经由安装支架相邻地耦接到后盖或直接地耦接到后盖。另外,所述系统还可包括安置成与外壳中的成像单元相邻的至少一个光源,且通过光源和/或成像单元产生的热量中的至少一部分可从外壳传递到毂。在一些实施方案中,外壳可与毂的后盖一体地形成,且在一些实施方案中,外壳可单独地形成并使用合适的紧固机构附接到毂的后盖。
在某些实施方案中,OMS另外包括转向角传感器。另外,OMS还可包括处理单元。处理单元包括处理器和可操作地耦接到所述处理器的存储器。根据一些实施方案,存储器具有存储在其上的计算机可执行指令,所述指令在通过处理器执行时,使得处理器:(1)从转向角传感器接收电信号;(2)处理电信号以确定方向盘组件的旋转角度和方向盘组件的角旋转速率中的至少一者;以及(3)调整成像单元以针对方向盘组件的旋转角度和方向盘组件的角旋转速率中的至少一者进行校正。
根据其它实施方案,处理单元的存储器具有存储在其上的计算机可执行指令,所述指令在通过处理器执行时,使得处理器:(1)从转向角传感器接收电信号;(2)处理电信号以确定方向盘组件的旋转角度和方向盘组件的角旋转速率中的至少一者;以及(3)调整所捕获的成像区域的图像信号以针对方向盘组件的旋转角度和方向盘组件的角旋转速率中的至少一者进行校正。
根据某些实施方案,OMS还可包括单模块化单元,所述单模块化单元经配置以耦接到方向盘组件。
在各种实施方案中,成像单元可包括至少一个相机。OMS还可包括至少一个光源,所述光源经配置以照明成像区域。例如,在一些实施方案中,相机为红外相机,且光源包括红外光源,例如,至少一个发光二极管等。光源还可包括光条,所述光条包括一个或多个发光二极管。
在一些实施方案中,光源包括一个或多个发光二极管的至少第一部分和一个或多个发光二极管的至少第二部分。第一部分经配置以照射可见光,以响应于OMS处于操作模式或非操作模式中的一者中,并且第二部分经配置以在成像单元的视场的方向上照射红外光。在其它实施方案中,可使用其它类型的光源,可使用包括光源的至少两个部分的光条、两个或多于两个光条或其组合。
在某些实施方案中,存储器可具有存储在其上的计算机可执行指令,所述指令在通过处理器执行时,使得处理器:(1)从成像单元接收图像信号;(2)处理图像信号以识别分析区域;(3)分析所述分析区域以确定乘员信息参数;(4)分析乘员信息参数以确定乘员状态;以及(5)基于所确定的乘员状态输出信号。在一些实施方案中,分析区域包括确定乘员的头部和/或眼睛的位置和/或朝向。另外,在一些实施方案中,分析所述分析区域包括确定乘员的头部和/或眼睛的位置和/或朝向从预定位置的偏离。此外,在一些实施方案中,分析乘员信息参数以确定乘员状态包括确定乘员的头部和/或眼睛的位置和/或朝向从预定位置偏离达至少预定量的时间。
根据某些实施方案,OMS还可包括禁用单元,所述禁用单元经配置以在接收到驾驶员信号且车辆静止时暂时地禁用乘员监视系统。例如,驾驶员信号可在车辆的方向盘组件旋转至少预定量和/或预定量的时间后输出。并且,当方向盘组件返回到基本上中心位置达至少预定量的时间时,驾驶员信号可停止被输出。
OMS的各种实施方案还可包括方向盘组件,所述方向盘组件经配置以可旋转地耦接到车辆的转向柱。方向盘组件包括围绕位于中心的毂的轮缘,且成像单元经配置以耦接到方向盘组件的中心部分并随所述中心部分旋转。
各种实施方案还包括一种使用乘员监视系统来监视车辆中的乘员的方法。所述方法包括:(1)将乘员监视系统(OMS)耦接到车辆的方向盘组件的可旋转部分,使得OMS随可旋转部分旋转,OMS包括成像单元,所述成像单元经配置以捕获对应于车辆中的成像区域的图像信号,所述成像区域在成像单元的视场内;(2)捕获对应于车辆中的成像区域的图像信号;(3)处理图像信号以识别分析区域;(4)分析所述分析区域以确定乘员信息参数;(5)分析乘员信息参数以确定乘员状态;以及(6)基于所确定的乘员状态输出信号。
在一些实施方案中,车辆的方向盘组件的可旋转部分经配置以相对于转向柱旋转。此外,OMS还可包括至少一个处理单元,且处理、分析以及输出步骤中的一个或多个可通过OMS处理单元执行。车辆还可包括至少一个处理单元,且处理、分析以及输出步骤中的一个或多个可通过车辆处理单元执行。
本发明的一个或多个实施方案的细节在附图和以下描述中阐述。本发明的其它特征、目标以及优点将从所述描述和图式并且从权利要求书中显而易见。
附图说明
所述装置在以下图式中得到详细得多的说明。图式仅用来举例说明优选装置的结构,和可单独地或结合其它特征来使用的某些特征。本发明不应限于所示出的实例。
图1A和1B是示例性乘员监视系统的示意图;
图2A至F是示例性成像单元的示意图;
图3A和3B是示例性乘员监视系统的示意图;
图4A至D是示例性乘员监视系统的示意图;以及
图5是示例性处理单元的示意图。
图6是根据一个实施方案的方向盘的正视图。
图7是如沿着C-C线观察的图4中示出的钟表弹簧的侧剖视图。
图8是根据一个实施方案的线带的透视图。
图9是根据另一实施方案的钟表弹簧的侧剖视图。
图10是根据一个实施方案的OMS的各种部件的示意图。
图11A和11B说明根据一个实施方案的滑环。
图12是根据一个实施方案的OMS的组装在一起的各种部件(包括镜头)的透视图。
图13A是图12中示出的OMS的透视分解正视图。
图13B是图12中示出的OMS的透视分解后视图。
图14是图12中示出的OMS的透视组装正视图,没有镜头。
图15是图12中示出的OMS的某些部件的示意性俯视图。
图16是示出根据一个实施方案的在各种波长处透射经过ACRYLITE镜头的光的百分比的光谱透射曲线。
图17A和17B相应地是根据一个实施方案的外壳的正透视图和后视图。
图18A和18B相应地是根据另一实施方案的外壳的正透视图和后视图。
图19A和19B相应地是根据又一实施方案的外壳的正透视图和后视图。
图20是根据一个实施方案方向盘组件和图12中示出的耦接到所述方向盘组件的外壳的俯视图。
各图中的相同的参考符号指示相同的元件。
具体实施方式
现将参考图式描述本发明的某些示例性实施方案。一般来说,此类实施方案涉及用于经由一个或多个成像单元来监视车辆中的乘员的乘员监视系统(OMS)。例如,在各种实施方案中,OMS包括成像单元,例如相机,所述成像单元耦接到方向盘组件的旋转部分,例如中心毂部分。成像单元具有指向车辆中的一个或多个乘员的视场,且经配置以捕获对应于视场中的成像区域的图像信号。成像区域可经配置以例如围封乘员的预期位置。OMS还包括与成像单元进行电通信的一个或多个处理单元,所述处理单元接收并处理来自成像单元的图像信号以确定乘员状态,且在一些实施方案中,基于所确定的乘员状态来提供反馈(例如,输出)。
图1A是用于监视车辆中的驾驶员102的示例性乘员监视系统(OMS)100。在此实施方案中,OMS 100可耦接到车辆的方向盘组件104。OMS 100和/或方向盘组件104可经配置以相对于车辆的转向柱106旋转。方向盘组件104可耦接到车辆的转向输入轴107、转向柱106或用于将驾驶员输入转换成用于车辆的控制指令(例如,包括线控驱动技术)的任何其它车辆部件。例如,如图1A中所说明,方向盘组件104可耦接到车辆的转向输入轴107,所述转向输入轴继而耦接到车辆的转向柱106。转向柱106可为车辆内的非旋转部件。在一些实施方案中,转向柱106可包括倾斜和/或延伸机构(例如,可伸缩机构),所述机构允许更靠近、远离驾驶员或相对于驾驶员以不同的角度调整方向盘组件104。倾斜/延伸机构可被称为例如“倾斜和伸缩”或“伸长和倾斜”。
在一些实施方案中,转向柱106可接收转向轴107,所述转向轴沿着转向轴线延伸并用以将方向盘组件104的旋转移动转移到车辆的轮子。方向盘组件104的旋转移动可通过机械和/或电气方式传输到轮子。
如图1B中的示例性系统中所说明,方向盘组件104包括轮缘114和毂116。方向盘组件104还可包括将轮缘114连接到毂116的至少一个轮辐118。轮缘114可包括驾驶员可抓握以便于控制车辆的单一连续部分或任何数目的独特部分。例如,轮缘114可包括具有实质上为圆形形状的外轮廓的孔环形状。在替代实施方案中,轮缘114可界定任何合适的形状,包括例如,圆形、椭圆形、正方形、矩形、半圆形、半椭圆形或任何其它规则或不规则形状。另外,在一些实施方案中,轮缘可包括耦接到毂的两个或多于两个半圆形、半椭圆形、半矩形或其它规则或不规则形状的部分。例如,在一个实施方案中,轮缘可包括耦接到毂的两个半圆形轮缘部分(例如,类似于飞行轭架)。毂116可安置在轮缘114中心。毂116可在方向盘组件104与车辆的转向轴107/转向柱106之间提供连接点。
如图1A和1B中示出的实施方案中所说明,OMS 100耦接到方向盘组件104的中心部分112。中心部分112可包括例如,轮辐118、毂116和/或方向盘组件104的相对于轮缘114位于中心的任何其它部分。如本文中所使用,“和/或”包括仅具有元素A、仅具有元素B或元素A和B结合在一起的实施方案。例如,中心部分112可包括轮辐118和/或毂116意图包括以下实施方案:其中中心部分112包括轮辐118、毂116或轮辐118和毂116。
将OMS 100与方向盘组件104的中心部分112耦接并整合在一起可允许驾驶员102和/或其它车辆乘员的OMS 100的成像单元108的增加的视角和提高的成像区域分辨率,而不管方向盘组件104的旋转如何。例如,如果OMS 100安装到非旋转部件,例如转向柱106,那么驾驶员102或乘员的OMS 100视角在方向盘组件104旋转时可被轮辐118遮挡,或被轮缘114通过相对于方向盘组件104向后定位而遮挡。另外,将OMS 100安装到车辆的非旋转部件将增加成像单元108与车辆中的乘员之间的距离。
另外,车辆中的方向盘组件104的中心部分112还可包括气囊。一般来说,驾驶员出于由气囊产生的安全性而知道将他的/她的手和/或身体相对于方向盘组件104定位在某些位置中。将OMS 100耦接到方向盘组件104的中心部分112还可利用此经调节的驾驶员定位,并使驾驶员102遮挡OMS 100的可能性最小化。
此外,在一些实施方案中,OMS 100的一个或多个部件可安装到轮缘114。例如,如更下方所描述,用于照明成像单元108的视场的至少一部分的光源可包括在安置在轮缘114上的光条系统中。然而,通过将OMS 100的部件安装到中心部分112,OMS 100部件可不太可能在车辆的正常操作期间被驾驶员的手遮挡。
此外,车辆中的方向盘组件104的三维位置(例如,高度、角度、倾斜度等)通常可调整以适应于广泛范围的驾驶员和/或车辆乘员(例如,不同高度、重量、体积、年龄、种族、性别、经历等的驾驶员或乘员)。将OMS 100并入到方向盘组件104中可允许OMS 100利用此调整,且因此适应于广泛范围的驾驶员和驾驶员位置。
如上文所提及,OMS 100包括至少一个成像单元108,所述成像单元经配置以捕获对应于车辆中的成像区域110的图像信号。成像区域110可包括成像单元108的视场或所述视场的部分。例如,图像信号可包括成像区域110的瞬时值的光学表示。在一些实施方案中,成像区域110可经配置以围封驾驶员102和/或其它车辆乘员的预期位置。成像单元108可经配置用于随车辆的方向盘组件104旋转。在各种实施方案中,成像单元108可安置在方向盘组件104的中心部分112的任何部分上。
成像单元108可包括能够捕获对应于成像区域110的图像信号的仪器。例如,成像单元108可包括分光光度计、光度计、相机或其组合。在一些实施方案中,例如在图2A中,成像单元108包括相机120。相机120可为符合本文中描述的系统和方法的任何类似的相机。在一些实施方案中,相机可具有高分辨率、低分辨率,能够捕获静止和/或移动的图像。在一些实施方案中,相机120可为可捕获对应于成像区域的图像信号的任何合适的数码相机。合适的相机平台在所属领域中已知且可商购自例如Zeiss、Canon、Applied Spectral Imaging等公司,并且此类平台可容易地调适用于本文中描述的系统和方法。在一个实施方案中,相机120可包括鱼眼相机。相机120可使用相机120内的嵌入式光纤或外部光纤来表征一个或多个波长的同时或顺序捕获。在一些实施方案中,相机120可包括镜头(例如,广角镜头、鱼眼镜头等)、自适应光学器件、其它演进的光学器件或其组合。
在一些实施方案中,成像单元108可为车辆乘员成像系统109的一部分,所述车辆乘员成像系统为OMS 100的一部分。车辆乘员成像系统109还可包括至少一个光源122。光源122可为能够照明成像单元108的视场的至少一部分和/或成像区域110的任何类型的光源。成像单元108可包括单一光源122或任何数目的光源122。此外,可实施不同类型的光源122。在一些实施方案中,一个或多个光源122可用不同波长的光照明成像区域110(例如,一个光源122可用与其它光源122可不同的波长或不同范围的波长来照明)。合适的光源122的实例包括人造光源,例如白炽灯泡、发光二极管及类似者。此外,光源可为连续光源(例如,白炽灯泡、发光二极管、连续波激光器等)、脉冲光源(例如,脉冲激光器)或其组合。另外,在包括经配置用于用不同波长来照明的光源122(例如,经配置用于照明红外光的第一光源和经配置用于照明可见光的第二光源)的实施方案中,具有不同波长的光源122可经配置用于执行不同的功能。例如,红外光源可经配置用于照明成像单元108的视场的至少一部分,且可见光源可经配置用于将信息传送给驾驶员或其它乘员。
在一些实施方案中,光源122可为发出在300与2500nm之间的一个或多个波长的任何光源。在一些实施方案中,光源122发出广泛范围的波长,且滤波器可用于选择所关注的波长。在一些实施方案中,选择一系列波长。可使用符合本文中描述的系统和方法的任何类型的滤波器。例如,滤波器可为吸收式滤波器、二向色滤波器、单色滤波器、长通滤波器、带通滤波器、短通滤波器或其组合。在一些实施方案中,滤波器是外部滤波器。在一些实施方案中,滤波器嵌入在光源122中。在一些实施方案中,滤波器嵌入在车辆乘员成像系统109中和/或可包括至少一个光学薄膜。在一些实施方案中,光源122可发出所关注的波长或一系列波长。在一些实施方案中,光源122可发出从800nm至1000nm的一系列波长。在一些实施方案中,光源122可包括红外光源(例如,发出从750nm至1,000,000nm的一个或多个波长的光源),例如近红外光源、中红外光源、远红外光源或其组合。
在某些实施方案中,处理单元可经配置用于基于成像单元108的视场中的环境照明条件来调整光源122的强度。例如,根据一个实施方案,从光源122发出的光的强度可通过处理单元基于从成像单元108接收到的图像信号来确定。
在一些实施方案中,光源122可包括光条124。光条124可包括例如液晶显示器(LCD)、薄膜晶体管显示器、有源矩阵显示器、分段显示器(例如,改进黑向列型(INB)、超扭曲向列型(STN)等)、一个或多个发光二极管(LED)、液晶显示器、激光器、卤素灯、荧光灯、红外(IR)LED照明器或任何其它合适的发光元件。例如,在一些实施方案中,光条124可包括发出在可见范围(例如,350nm至750nm)中的一个或多个波长的一个或多个LED。在另一实施方案中,光条124可包括发出红外光的一个或多个LED。并且,在又一实施方案中,光条124可包括发出在可见范围中的一个或多个波长的第一组LED,和发出在红外范围中的一个或多个波长的第二组LED。例如,在各种实施方案中,光条124包括发出可见光的LED的至少第一部分和发出红外光的LED的至少第二部分。第二部分中的LED可经配置用于照明成像单元108的视场的至少一部分,且第一部分中的LED可经配置用于将信息传送给驾驶员或其它乘员。例如,在一个实施方案中,第一部分中的LED经配置用于照明可见光,以响应于OMS处于操作模式或非操作模式中的一者中。在另一实施方案中,第一部分中的LED可经配置以在车辆操作期间照明以向驾驶员或其它乘员提供告警。并且,在又一实施方案中,第一部分中的LED可经配置以在车辆启动时闪烁一次或多次以指示OMS处于操作模式中,且随后在车辆操作期间照明以向驾驶员或其它乘员提供告警。
在一些实例中,除光源122外或替代于所述光源,车辆乘员成像系统109还可使用外部光源。如本文中所使用,外部光源包括并非OMS 100的一部分的任何光源。例如,外部光源可包括自然光源,例如太阳。外部光源的其它实例包括:环境光,例如来自路灯、前灯和/或来自其它车辆的尾灯;车厢内的电子显示器;舱灯等。在一些实例中,车辆乘员成像系统109可使用电耦接到车辆乘员成像系统109的外部光源(未示出),使得所述外部光源经配置以照明成像单元108的视场和/或成像区域110。
在一些实施方案中,光源122可包括光条124、另一光源,例如上文所描述的那些光源,或其组合。
应理解,如本文中所使用,除非上下文明确规定,否则单数形式“一个/种”以及“该/所述”包括复数指示物。因此,例如,提及“相机”、“光源”或“光条”包括两个或多于两个此类相机、光源或光条的组合及类似者。构成车辆乘员成像系统109的部件可以符合本文中描述的系统和方法的任何方式来配置。
车辆乘员成像系统109的一些示例性配置在图2A至2F中得到说明。在图2A中示出的实施方案中,车辆乘员成像系统109包括相机120。外部光源(未示出),例如,人造光源、太阳或其它可用环境光,用于照明相机120的视场和/或成像区域。
在图2B中示出的实施方案中,车辆乘员成像系统109包括相机120,和安置成接近相机120并在所述相机上方的一个或多个光源122。在图2C中示出的实施方案中,车辆乘员成像系统109包括相机120,和安置成接近相机120并在所述相机上方的光条124。
在其它实施方案中,一个或多个个别的光源122或光条124(或其组合)可安置在相机120下方和/或侧面,或与方向盘组件104、车辆或车辆乘员成像系统109上的其它位置相邻。例如,在图2D中示出的实施方案中,车辆乘员成像系统109包括相机120、安置成接近相机120并在所述相机上方的个别的光源122,以及安置成接近相机120并在所述相机下方的光条124。作为另一实例,图2E中示出的车辆乘员成像系统109包括相机120、安置成接近相机120并在所述相机侧面的两个个别的光源122,以及安置成接近相机120并在所述相机上方的光条124。在另一实例中,如图2F中所说明,车辆乘员成像系统109可包括相机120、两个个别的光源122a、122b,以及两个光条124a、124b。第一光源122a安置成接近于相机120的右侧,第二光源122b安置成接近于相机120的左侧,第一光条124a安置成接近于第一光源122a的右侧,且第二光条124b安置成接近于第二光源122b的左侧。
可考虑任何数目的相机120、光源122和/或光条124组合或配置。
在车辆的正常操作期间,方向盘组件104的中心部分112可容易地被驾驶员102观察到。为使OMS 100的存在不改变驾驶员对车辆的正常操作,OMS 100可耦接到方向盘组件104,以便不对驾驶员102可见或对于所述驾驶员不显眼。例如,OMS 100可在某一样式的元件后面对驾驶员102不可见。此外,车辆乘员成像系统109还可出于驾驶员的眼睛的安全性目的而优化。
例如,OMS 100的一个或多个部件,例如成像单元108和/或光源122,可安置在外壳内。外壳可永久性地和/或可移除地耦接到方向盘组件104。另外,根据各种实施方案,外壳可与方向盘组件104一体地形成,或与所述方向盘组件分开地形成并安装到所述方向盘组件。例如,在一些实施方案中,外壳可与毂116的后盖126一体地形成,且OMS 100的一个或多个部件可安置在与后盖126一起形成的外壳中。在一个此类实施方案中,安置在后盖126中的OMS 100部件随方向盘组件104旋转。在其它实施方案中,外壳可与毂116的与驾驶员气囊或开关组件相邻或包括驾驶员气囊或开关组件的一部分一体地形成。并且,在其它实施方案中,外壳可与方向盘组件104分开地形成,并使用任何合适的紧固技术耦接到所述方向盘组件,所述紧固技术例如螺钉、挂钩、夹子、胶粘剂(例如,胶水)、钎焊、焊接等。外壳可直接地耦接到方向盘组件104或耦接到安装支架,例如下文关于图12至15描述的安装支架301,或耦接到方向盘组件104的其它结构。
图3A至3B说明耦接到方向盘组件104的车辆乘员成像系统109的外壳的各种实施方案。例如,在图3A中示出的实施方案中,车辆乘员成像系统109的外壳耦接到方向盘组件104的毂116的上部部分。车辆乘员成像系统109的部件安置在外壳内。图3B说明图3A中示出的车辆乘员成像系统109的外壳的侧视图。外壳所耦接到的后盖126是毂116的一部分。
图4A至4D说明相邻地耦接到方向盘组件104的车辆乘员成像系统109的部件的各种实施方案。确切地说,图4A提供方向盘组件104的正视图,其中车辆乘员成像系统109的部件相邻地耦接到后盖126。例如,在一些实施方案中,所述部件可直接地耦接到方向盘组件和/或上文在图3A和3B中提及的外壳。在其它实施方案中,所述部件可耦接到至少一个安装支架或其它中间结构,所述中间结构直接地耦接到方向盘组件和/或外壳图。4B提供方向盘组件104的成角度正视图,其中车辆乘员成像系统109的部件相邻地耦接到后盖126。图4C提供方向盘组件104的自上而下视图,其中车辆乘员成像系统109的部件相邻地耦接到后盖126。图4D提供在图4A中标记为“4D”的部分的特写视图,所述特写视图示出相邻地耦接到后盖126的车辆乘员成像系统109的部件。在这些或其它实施方案中,OMS 100的其它部件,例如一个或多个处理单元,还可安置成与方向盘组件相邻,例如安置在耦接到后盖126的外壳中。替代地,OMS 100的其它部件可安置在方向盘组件104的其它部分上,或在车辆内安置在方向盘组件104外侧。
在一些实施方案中,可期望将OMS 100或其部分热耦接到后盖126和/或方向盘组件104的其它部分,以从OMS 100散热并允许改进的热交换。例如,根据某些实施方案,其中安置有车辆乘员成像系统109的部件的外壳可由导热材料形成,并使用导热“间隙垫”或其它导热胶粘剂或机械散热器来耦接到后盖126。例如,外壳、后盖126以及方向盘组件104可由具有高热导率的材料构造,包括例如,镁合金(铸模)(1.575W/cm·C°)、铝合金(铸模)(2.165W/cm·C°)以及钢(低碳)(0.669W/cm·C°)。
在一些实施方案中,外壳可使用安装支架来耦接到后盖126或方向盘组件104的其它部分,例如下文关于图12至图20所示出和描述,或可直接地耦接到后盖126或方向盘组件104的其它部分。来自安置在外壳内的OMS 100部件的热量直接地或经由安装支架而从外壳传导到后盖126和/或方向盘组件104,从而允许后盖126和/或方向盘组件104充当OMS 100的散热器。
在一些实施方案中,OMS 100可另外包括转向角传感器128,如图3B中示出。转向角传感器128可安装成接近于方向盘组件104,且可提供关于方向盘组件104的位置、角度、旋转速率和/或朝向的主动反馈。转向角传感器128可安置在方向盘组件104的非旋转元件与旋转元件之间。例如,如图3B中示出,转向角传感器128可耦接到转向柱106,所述转向柱不旋转。替代地(未示出),转向角传感器128可耦接到转向轴107,所述转向轴相对于转向柱106旋转。在图6中示出的另一实例中,转向角传感器128安置在汽车钟表弹簧的定子中。替代地(未示出),转向角传感器128可安置在汽车钟表弹簧的转子中。
转向角传感器128可为模拟装置、数字装置或其组合。例如,转向角传感器128可包括旋转的带槽圆盘;LED灯;以及检测器。LED灯经定位以使光透射穿过带槽圆盘,以随后被检测器收集。检测器可根据狭缝位置基于是否检测到光来输出信号。通过知道狭缝位置并对检测到光/检测不到光的次数计数,可确定旋转速度和方向。OMS 100可利用专用的转向角传感器128,或OMS 100可利用整合在方向盘组件104和/或其它车辆部件中的现有传感器。
在各种实施方案中,OMS 100与用于控制所述OMS 100的操作的控制电路相关联。例如,OMS 100可与用于控制车辆乘员成像系统109的操作的电路相关联,所述操作包括例如相机120和/或光源122的操作。在示例性实施方案中,OMS 100可直接地连线到方向盘组件104的控制电路。例如,光源122可通过直插式电阻器连线到方向盘组件电源(未示出)。
在一些实施方案中,OMS 100可包括处理单元200。处理单元200可经配置以将操作指令提供到车辆和各种OMS 100部件/从所述车辆和各种OMS 100部件提供操作指令。处理单元200可经配置以指导OMS 100的操作。处理单元200可为车辆乘员成像系统109的一部分并安置成与所述车辆乘员成像系统相邻,和/或安置在车辆的电子控制单元(ECU)上或以其它方式与车辆的电子控制单元相关联。在另一实施方案中,处理单元200可位于另一车辆系统上或以其它方式与另一车辆系统相关联。当处理单元200与除OMS 100外的系统相关联时,通信线路(即,数据和/或电力线)可设置在替代的系统与OMS 100之间。例如,OMS 100可通过在ECU单元与OMS 100的车辆乘员成像系统109之间延伸的一个或多个电线而连接到车辆的电子控制单元(ECU)。此外,在某些实施方案中,转向角传感器128电耦接到处理单元200。
当本文中描述的逻辑操作用软件实施时,所述过程可在任何类型的计算架构或平台上运行。例如,OMS 100的功能可在任何类型的计算架构或平台上实施。
图5中示出的实施方案说明计算装置/处理单元200,本文中所公开的实施方案可在所述计算装置/处理单元上实施。处理单元200可包括用于在处理单元200的各种部件之间传送信息的总线或其它通信机制。在处理单元200的最基础配置中,所述处理单元通常包括至少一个处理器202和系统存储器204。取决于计算装置的精确配置和类型,系统存储器204可为易失性的(例如随机存取存储器(RAM))、非易失性的(例如只读存储器(ROM)、闪存存储器等)或这两者的某一组合。此最基础的配置在图5中通过虚线206说明。处理器202可为标准的可编程处理器,所述处理器执行处理单元200的操作所必要的算术和逻辑运算。
处理单元200可具有另外的特征/功能性。例如,处理单元200可包括另外的存储装置,例如可移除存储装置208和不可移除存储装置210,包括但不限于磁盘或光盘或磁带。例如,处理单元200可经配置用于将接收到的图像信号中的至少一部分存储到存储装置208、210中的一个或多个。在一个实施方案中,图像信号(或其部分)可存储在不可移除存储装置210上,以便保持图像信号稳定。另外,图像信号可全部地或作为与图像信号的部分相关的一组数据而存储和/或传输,所述数据例如与下文描述的乘员信息参数相关的数据。
另外,处理单元200可经配置用于刚好在车辆断电之前存储与至少一个车辆乘员的所捕获图像信号相关的特征信息。此特征信息可存储在暂时性存储区域中,所述存储区域可例如为存储装置210的一部分,或与存储装置210分开。当车辆再次启动时,可通过处理单元200检索特征信息以加快OMS 100的启动。在一些实施方案中,可针对先前的车辆停车中的一次或多次停车存储特征信息。在一个实施方案中,存储先前的车辆停车中的若干次停车的特征信息增加所存储的特征信息包括在下一次启动时与车辆中的乘员中的至少一个相关的信息的可能性。
处理单元200还可包括经由网络接口控制器216的网络连接,所述网络连接允许装置与其它装置通信。处理单元200还可具有输入装置214,例如键盘、鼠标、触摸屏、天线,或经配置以与在上文描述的系统中的OMS 100、成像单元108、光源122和/或转向角传感器128通信的其它系统等。还可包括输出装置212,例如显示器、扬声器、打印机等。另外的装置可连接到总线以便便于处理单元200的部件当中的数据的通信。
处理器202可经配置以执行在有形的计算机可读媒体中编码的程序代码。计算机可读媒体是指能够提供使得处理单元200(即,机器)以特定方式操作的数据的媒体。各种计算机可读媒体可用于将指令提供到处理器202以用于执行。计算机可读媒体的常见形式包括例如,磁性媒体、光学媒体、物理媒体、存储器芯片或磁带盒、载波,或计算器可从其进行读取的任何其它媒体。实例计算机可读媒体可包括但不限于易失性媒体、非易失性媒体以及传输媒体。易失性和非易失性媒体可以用于信息的存储的任何方法或技术实施,例如信息例如计算机可读指令、数据结构、程序模块或其它数据,且下文详细论述常见形式。传输媒体可包括同轴电缆、铜线和/或光纤电缆,以及声波或光波,例如在无线电波和红外数据通信期间产生的那些声波或光波。实例有形的计算机可读记录媒体包括但不限于,集成电路(例如,现场可编程门阵列或专用IC)、硬盘、光盘、磁光盘、软盘、磁带、全息存储媒体、固态装置、RAM、ROM、电可擦除编程只读存储器(EEPROM)、闪存存储器或其它存储器技术、CD-ROM、数字通用光盘(DVD)或其它光学存储装置、磁带盒、磁带、磁盘存储装置或其它磁性存储装置。
在示例性实施方案中,处理器202可执行存储在系统存储器204中的程序代码。例如,总线可将数据携载到系统存储器204,处理器202从所述系统存储器接收指令并执行指令。通过系统存储器204接收的数据可以可选地在通过处理器202执行之前或之后存储在可移除存储装置208或不可移除存储装置210上。
处理单元200通常包括多种计算机可读媒体。计算机可读媒体可为可通过处理单元(200)存取的任何可用媒体,并包括易失性和非易失性媒体、可移除和非可移除媒体两者。计算机存储媒体包括以用于信息的存储的任何方法或技术实施的易失性和非易失性以及可移除和不可移除媒体,所述信息例如计算机可读指令、数据结构、程序模块或其它数据。系统存储器204、可移除存储装置208以及不可移除存储装置210都是计算机存储媒体的实例。计算机存储媒体包括但不限于RAM、ROM、电可擦除编程只读存储器(EEPROM)、闪存存储器或其它存储器技术、CD-ROM、数字通用光盘(DVD)或其它光学存储装置、磁带盒、磁带、磁盘存储装置或其它磁性存储装置,或可用于存储所需信息并可通过处理单元200存取的任何其它媒体。任何此类计算机存储媒体可为处理单元200的一部分。
应理解,本文中描述的各种技术可结合硬件或软件或(在适合时)结合其组合实施。因此,当前公开的主题的方法、系统以及相关联的信号处理或其某些方面或部分可可采用在有形媒体中实施的程序代码(即,指令)的形式,所述媒体例如软盘、CD-ROM、硬驱动或任何其它机器可读存储媒体,其中,当程序代码被加载到机器中并通过机器(例如,计算装置)执行时,所述机器变成用于实践当前公开的主题的设备。在程序代码在可编程计算器上执行的情况下,计算装置一般包括处理器、可通过处理器读取的存储媒体(包括易失性和非易失性存储器和/或存储元件)、至少一个输入装置以及至少一个输出装置。一个或多个程序可实施或利用结合当前公开的主题描述的过程,例如,通过使用应用编程接口(API)、可重用控件或类似者。此类程序可用高级面向过程或对象的编程语言实施以与计算机系统通信。然而,如果需要,程序可以汇编或机器语言实施。在任何情况下,语言可为编译语言或解释语言,且所述语言可与硬件实施方案组合。
在一些实施方案中,系统存储器204包括存储在其上的计算机可读指令,所述指令在被处理器202执行时,可用于指导OMS 100的操作以监视驾驶员(例如,捕获驾驶员的图像),确定驾驶员状态,并基于所确定的驾驶员状态提供输出信号。例如,处理器202可指导成像单元108和/或光源122的操作。确切地说,可指导成像单元108捕获成像区域110的图像,并将所捕获的图像信号输出到处理器202。成像单元108还可经配置用于将与图像信号相关联的数据传送到处理器202。处理器202可分析来自成像单元108的图像信号以确定关于操作人员状态的信息,和/或识别图像信号中的可提供关于操作人员状态的信息的部分。
在其它实施方案中,处理器202可基于图像信号的全部或一部分,将图像信号和/或计算出的数据的全部或一部分传送到安置成远离处理器202的另一处理器。其它处理器可经配置用于使用接收到的图像信号(或其部分)或数据来确定驾驶员或乘员状态。
例如,处理器202可从成像单元108接收图像信号,并处理所述图像信号以识别分析区域。分析区域可为成像区域110中的与驾驶员、非驾驶车辆乘员相关联的区域,和/或在车辆内或外部的所关注的其它区域。识别分析区域可包括确定驾驶员的头部和/或眼睛的位置和/或朝向。分析区域可包括所确定的驾驶员的头部和/或眼睛的位置。
分析区域可通过处理器202(或另一处理器)分析来确定乘员信息参数。乘员信息参数可包括例如,关于乘员的对应于乘员的警惕性和/或注意力的信息,或将阻止成像单元108捕获与乘员相关联的相关数据的乘员或车辆的状态。乘员信息参数可包括乘员的头部的位置和/或朝向(例如,偏航、俯仰、滚转)、乘员的头部的移动速率、乘员的头部的尺寸、对乘员是否佩戴可影响图像信号的某一物品(例如,帽子、眼镜、太阳镜、隐形眼镜、化妆品、珠宝等)的确定、乘员的嘴部的移动(例如,确定乘员是否在讲话、打哈欠、唱歌、打喷嚏等)、乘员的鼻子的移动(例如,确定乘员是否在呼吸、打喷嚏等)、乘员的眼睛的移动(例如,眯眼、眨眼、眨眼率、扫视、平稳跟随移动、聚散移动、前庭眼动等)、乘员的眼睑的移动和/或位置、注视矢量、心率、工作负荷、乘员识别特征、乘员年龄估计、面部肌肉移动(例如,与表情、疼痛、眯眼、眨眼、讲话、打喷嚏、唱歌、睡觉、身体损伤等相关联的移动),和/或乘员的眼睛的位置和/或朝向。因此,分析区域可经分析以确定乘员的头部和/或眼睛的位置和/或朝向从预定位置的偏离。
乘员信息参数中的一个或多个可经分析以确定乘员状态。乘员状态可包括例如,乘员的眼睛是打开还是闭合,乘员是否看向道路、中央控制台或其它地方,乘员是否受干扰,乘员的相对警惕性,乘员的情绪(例如,愤怒、悲伤、快乐、兴奋、紧张、担忧等),乘员的身体状况(例如,瞌睡的、饥饿的、生病的、受损的等),和/或乘员的行为(例如,姿势、吃、喝、给出口头命令、完成手动任务、眼睛注视的方向、关注的等)及类似者。因此,分析乘员信息参数以确定乘员状态可包括确定乘员头部和/或眼睛的位置和/或朝向从预定位置偏离。分析乘员信息参数还可包括确定乘员头部和/或眼睛的位置和/或朝向从预定位置偏离达至少预定量的时间。其它实例包括,通过监视乘员相对于挡风玻璃的位置的眼睛/瞳孔矢量(例如,乘员信息参数)来评估乘员的视觉干扰程度(例如,乘员状态)。可监视嘴部的特征,例如,唇部的角落和平均间隔,以确定特定的乘员何时在讲话,且在车辆中捕获的音频信号可通过语音识别系统(例如,用于免手提处理系统中)来与嘴部特征相关联,以滤除来自不期望的乘员的语音和/或背景噪声、监视噪声和/或嘴部的运动可用于推断出呼吸速率的估计值,所述估计值可用于例如评估乘员是否停止呼吸,或呼吸速率是否升高,所述呼吸速率升高可在某些烦躁的情绪状态或医疗急救期间出现。监视面部的亮度可用于评估汗珠的外观,所述外观可用于评估乘员的舒适度(例如,确定是否应调整气候控制装置)和/或健康水平(例如,乘员生病和/或正经历医疗事件)。另外,光源122的强度可经改变以补偿环境光,使光源122的可视性最小化,和/或调整成像区域内的乘员的肤色。从相机收集的信号的光谱分析可用于推导和/或估计生理反应,例如皮肤加热/冷却和/或心电活动和速率。可监视广泛范围的乘员信息参数以推导或确定广泛范围的乘员状态,所述乘员状态例如可用于为个别的乘员建立唯一的健康和行为特性,所述健康和行为特性可增强驾驶员和其它乘客的安全性、健康、舒适度以及便利性。
在某些实施方案中,处理器202可基于乘员状态输出信号。在一些实施方案中,输出信号可为针对方向盘组件104的旋转角度和/或方向盘组件104的角旋转速率进行校正的图像信号。输出信号还可为用以调整成像单元108以如上文所描述针对方向盘组件104的旋转角度和/或方向盘组件104的角旋转速率进行校正的指令。输出信号还可被其它车辆系统用于建立基线乘员特性(例如,健康、注意力、行为),建立用于致动其它车辆系统(例如,控制、警告系统)的阈值,并提供可与致动阈值进行比较的实时乘员状态特征。
输出信号可包括电信号、wifi信号或类似者。输出信号可输出到另一车辆系统,以将关于乘员状态的信息提供到所述车辆系统。在一些实施方案中,输出信号可被提供到另一车辆系统,所述车辆系统可例如基于驾驶员状态来改变车辆参数(例如,调整方向盘、刹车和/或油门的灵敏性,打开或关闭音乐,调整音乐的音量,改变音乐的类型,打开/关闭内部灯,调整车厢温度,喷射某一气味,调整通过光源122发出的光的波长和/或强度,减小或去除驾驶员对车辆的操作的自由度,通知紧急服务,修改自动化的阈值等)。
并且,在一些实施方案中,输出信号可包括针对OMS 100或另一车辆系统的指令,以照明光源或改变光源的强度,播放声音和/或经由触觉反馈装置将触觉反馈提供给驾驶员或其它乘员(例如,振动、热、冷却等)。例如,光、声音和/或触觉反馈可用于警告驾驶员或其它乘员。在一个实施方案中,待照明的光可包括光条系统,所述光条系统可为上文描述的光条124的一部分或为同一光条,或安置在方向盘组件的另一位置上或车辆中的其它地方的单独的光条。示例性光条系统描述于共同未决的2013年10月23日提交的标题为“方向盘光条”的第14/061,397号美国专利申请案、2013年10月23日提交的标题为“方向盘光条”的第14/061,383号美国专利申请案以及2013年10月23日提交的标题为“方向盘光条”的第14/061,408号美国专利申请案中,以及2014年7月23日提交的标题为“转向柄光条系统”的第62/027,969号未决的美国临时专利申请案。这四个申请案通过引用以其全文结合在此。触觉反馈装置可包括例如围绕方向盘组件的轮缘安置的加热器垫,或安置在方向盘组件的轮缘或毂内的激振器(例如,扬声器)。
在对从成像单元108接收到的图像信号的分析之前、之后和/或期间,处理器202可用于基于方向盘组件104的状态来调整成像单元108和/或接收到的图像信号。处理器202还可用于具有方向盘组件104的状态来调整光源122。如下文将更详细描述,处理器202可分析来自转向角传感器128的电信号以获得关于方向盘组件104的旋转角度和/或方向盘组件104的角旋转速率的信息,并基于所述信息调整成像单元108图像信号。例如,处理器202可从转向角传感器128接收电信号,并处理所述电信号以识别方向盘组件的旋转朝向/角度和/或方向盘组件的角旋转速率。来自转向角传感器128的接收到的信号可经分析以调整成像单元108和/或图像信号,以补偿方向盘组件104的旋转角度和/或方向盘组件104的角旋转速率。例如,成像单元108可基于来自转向角传感器128的信号来调整以旋转或放大或缩小。在另一实例中,所捕获的对应于成像区域110的图像信号可经调整以针对方向盘组件104的旋转角度和/或方向盘组件104的角旋转速率进行校正。
调整成像单元108和/或光源122以针对方向盘组件104的旋转角度和/或方向盘组件104的角旋转速率进行校正可包括例如,考虑成像单元108与乘员(例如驾驶员)之间的几何结构的变化,调整相机120的快门速度和/或帧率,调整从光源122发出的光的强度,调整在给定时间处活动的光源122,调整相机镜头的角度,调整相机120的增益、焦点和/或滤光器,调整从光源122发出的光的波长或波长范围及类似者,或其组合。
所捕获的对应于成像区域110的图像信号还可经调整以针对方向盘组件104的旋转角度和/或方向盘组件104的角旋转速率进行校正。调整图像信号可包括例如,调整图像信号的对比度,调整图像信号的朝向,调整图像信号的增益,考虑在成像单元与驾驶员或其它乘员之间的几何结构的变化(例如,改变图像信号的坐标系),考虑图像信号中的失真和/或模糊及类似者。
对来自成像单元108的图像信号和/或从转向角传感器128输出的电信号的分析在上文描述为通过处理器202实施。然而,在其它实施方案中,上文描述的功能可完全或部分地在一个或多个另外的处理器和/或处理单元上实施。例如,OMS 100可包括一个或多个另外的处理单元和/或处理器。
在一些实施方案中,OMS 100可另外包括禁用单元,所述禁用单元经配置以在接收到驾驶员信号时暂时地禁用OMS 100操作中的全部或一些。驾驶员信号可指示驾驶员执行将阻止OMS 100的适当操作的一些操作。驾驶员信号可包括例如,在车辆的方向盘组件104旋转至少预定量和/或预定量的时间后输出的信号。例如,驾驶员信号可在驾驶员使方向盘组件104旋转使车辆转弯时输出。指示方向盘组件104的旋转的信号可例如从方向盘组件角度传感器128获得。在一些实施方案中,当方向盘返回到基本上中心位置达至少预定量的时间时,驾驶员信号可停止被输出。例如,当驾驶员已完成拐角的转弯并恢复正常行驶时,驾驶员信号可停止被输出。
方向盘组件的旋转的速率和/或角度还可通过以下操作确定:分析来自相机的顺序信号以监视成像区域110内的车辆的可靠固定特征的位置(例如,门的位置、窗户的位置、车顶的位置)的变化。此外,此类可靠固定特征可添加到成像区域内的车辆以用作将被OMS100使用的参考特征。例如,光学透明但IR可见的符号或形状可以先验模式置于车座、顶棚和/或安全带上,所述符号或形状可被OMS 100用来推导出方向盘组件的旋转角度。
在一些实施方案中,OMS 100可通过汽车钟表弹簧传送数据,例如下文关于图6至图9描述的汽车钟表弹簧50。示例性汽车钟表弹簧包括旋转型电气连接,所述电气连接准许方向盘组件104的可旋转部分的旋转,同时维持安置在方向盘组件104的旋转部分上的车辆系统部件与安置在旋转部分外侧的部件之间的电气连接。在某些实施方案中,汽车钟表弹簧可用于在方向盘组件104的旋转期间将成像单元108电耦接到至少一个其它车辆系统。此外,钟表弹簧还可将成像单元108、光源122以及转向角传感器128电耦接到电源,例如车用电池,和/或安置在方向盘组件的旋转部分外侧的处理单元200。
图6至图10说明可电耦接到车辆乘员成像系统109的汽车钟表弹簧50的各种实施方案。确切地说,图6说明汽车钟表弹簧50的正视图。钟表弹簧50包括转子54和定子52。转子54相对于方向盘组件104的可旋转部分固定。在图6中示出的实施方案中,转子54包括用于接纳转向轴107的中心孔口55,以将转子54耦接到转向轴107。转向轴107和转子54经配置以一起围绕轴线B旋转,所述轴线延伸穿过孔口55。定子52从转子54径向向外安置,且静止地耦接到转向柱106或方向盘组件104的另一非旋转部分。
钟表弹簧50另外包括安置在转子54中的处理器202a,安置在定子52中的处理器202b,安置在定子52中的转向角传感器128,在处理器202a与202b之间延伸并电耦接这两个处理器的一组电线58,安置在转子54的外壳的表面上的电气连接器56a、56b,相应地在电气连接器56a、56b与处理器202a之间延伸的电线62a、62b,以及安置在定子52的外壳的表面上的电气连接器60。
在图6中示出的实施方案中,转向角传感器128安置在定子52的外壳中。转向角传感器128电耦接到所述一组电线58,所述一组电线电耦接处理器202a和202b。因此,通过转向角传感器128捕获的旋转角度或角旋转速率可经由电线58电气地传送到处理器202a或202b。根据其它实施方案(未示出),如上文所提及,转向角传感器128可安置在转子54的外壳中或安置在方向盘组件的另一组非旋转与旋转部件之间。
图6中的实施方案还包括安置在转子54的外壳的表面上的电气连接器56a、56b。电气连接器56a、56b经配置用于从成像单元108和光源122接收匹配的连接器,所述成像单元和光源如上文所描述安置在方向盘组件104的旋转部分上。在一个实施方案中,来自成像单元108和光源122的电线可通过转向轴107导引至电气连接器56a、56b,以保持电线对车辆操作人员不可见且不妨碍车辆操作人员。连接器56a、56b允许将成像单元108和光源122更高效地安装到方向盘组件104上。此外,尽管图6中示出仅两个连接器56a、56b,但在其它实施方案中,可存在一个或多于两个连接器。例如,对于OMS 100的每一成像单元108和光源122可存在一个电气连接器。
在一些实施方案中,例如在图9中示出,连接器56a、56b经由绝缘电线86a、86b的长度而耦接到处理器202a,所述长度朝向方向盘组件104的旋转部分延伸出转子54的外壳的表面(例如,抽头)。
所述一组电线58可经由扁带59彼此相邻地耦接,所述扁带包括通过介电材料57分隔开的电线58。扁带59经配置以在方向盘组件的旋转期间缠绕转子54和从所述转子解绕,而不会失去在处理器202a、202b之间的连接,且不会使带内的电线58断裂。通过带59的电线58电气地传送的图像信号或计算出的数据还可经由安置在定子52的外壳上的电气连接器60,传送到安置在钟表弹簧50外侧的OMS 100的另一处理单元200,或安置在钟表弹簧50外侧的另一车辆系统。定子连接器60和带59的电线58还可用于在安装在方向盘的旋转部分上的部件与其它车辆系统之间电气地传送数据和/或信号,所述其它车辆系统例如巡航控制、气囊和车辆安全性系统、转向加热控制、音频和用户通信系统以及动态稳定性控制系统。此外,经处理的图像信号和/或与所述图像信号相关的数据可通过处理器202a和/或202b传送到其它车辆系统,例如,车辆安全性系统、用户通信系统以及车内和外部无源传感器(例如,乘客/驾驶员乘员传感器、后座乘员传感器、倒车相机、外部雷达等)等。并且,在另一实施方案中,处理器202a和/或202b可从这些其它车辆系统接收数据。通过处理器202a和/或202b接收的数据可被处理器202a、202b用来识别图像信号的哪些部分应被选择和进一步处理和/或传送到这些系统或其它车辆系统。
根据某些实施方案,与常规的钟表弹簧相比,钟表弹簧50的深度可增加以适应于将处理器202a、202b中的一个或多个添加到钟表弹簧50中。例如,在一个实施方案中,钟表弹簧50的深度从约30毫米增加至约60和约70毫米,所述深度在平行于转子54的旋转轴线的方向上延伸。钟表弹簧50的直径保持大体与常规的钟表弹簧相同,以便装配在车辆的转向柱106内。
在一个实施方案在中,带59可包括八根电线58或迹线,所述电线或迹线并排布置并通过介电材料57分隔开。介电材料57屏蔽电线58彼此之间的电气干扰和与钟表弹簧50中的其它部件以及转向柱106之间的电气干扰。带59紧密缠绕转子54约3.5匝,以允许方向盘组件104旋转并允许带59随方向盘组件104的旋转而解绕和缠绕。然而,在其它实施方案中,带59可包括多于或少于八根电线58,且取决于方向盘组件104的预期的旋转移动,可缠绕转子54一匝或多匝。另外,可存在在转子54与定子52之间延伸的超过一个带59。一般来说,接线的数目和性质是基于线规和/或安装在方向盘组件104的旋转部分上的部件的类型,例如,OMS 100部件、驾驶员气囊系统、方向盘加热系统、人机交互系统(例如,开关和/或经配置用于从用户接收输入的触敏表面)、光条反馈系统以及喇叭。
处理器202a和202b各自包括多个堆叠的弓形印刷电路板。处理器202a、202b的弓形形状允许处理器装配在钟表弹簧50的转子54和定子52内,而不干扰转子54的旋转和电线58在转子54与定子52之间的移动。并且,堆叠印刷电路板为处理器202a、202b提供充足的表面积以执行本文中描述的功能。然而,在其它实施方案中,可存在仅一个弓形印刷电路板,或印刷电路板可为平坦的和/或不堆叠。
根据各种实施方案,处理器202a和202b类似于处理器202,并可单独地或一起执行上文描述的处理器202的一个或多个功能。将通过每一处理器202a、202b执行的功能可基于若干因素来选择,所述因素包括例如,捕获图像信号的速率,图像信号的大小,安置在方向盘组件104的旋转部分上的成像单元108和光源122的数目,以及外壳和/或方向盘组件104耗散来自热产生部件的热能的能力。例如,在某些实施方案中,处理器202a可经配置用于电气地接收通过成像单元108捕获的图像信号,并旋转所述图像信号中的至少一部分以用于传送到处理器202b;从转向角传感器128电气地接收方向盘组件104的旋转角度或角旋转速率中的至少一者,并基于接收到的旋转角度或角旋转速率来调整图像信号的朝向;从转向角传感器128电气地接收方向盘组件104的旋转角度或角旋转速率中的至少一者,并基于接收到的旋转角度或角旋转速率来调整成像单元108;在将选择的图像信号传送到处理器202b之前压缩所述图像信号;控制从光源122发出的光的量;以及将选择的图像信号中的至少一部分保存到存储器。在一些实施方案中,选择图像信号中的至少一部分以用于传送到处理器202b包括识别并选择图像信号中的与一个或多个乘员信息参数相关的一个或多个部分。
此外,在某些实施方案中,存储器可安置在转子54中的印刷电路板上、转子54中的其它地方、转子54外侧(例如,在定子52中或在车辆的另一部分中)或其组合。
在其它实施方案中,处理器202a可经配置用于选择图像信号中与乘员信息参数相关的至少一部分,根据选择信号计算数据,并将计算出的数据传送到处理器202b。
在图10中示意性地示出的又一实施方案中,处理器202c可安置成与成像单元108相邻。处理器202c可经配置用于电气地接收通过成像单元108捕获的图像信号,并选择所述图像信号中的至少一部分以用于传送到处理器202a和/或根据选择的信号计算数据。
另外,在处理器202a经配置用于在将图像信号传送到处理器202b之前压缩图像信号的实施方案中,处理器202b可经配置用于解压缩经压缩的图像信号。
尽管图6和图9将光源122说明为电耦接到处理器202a,但根据其它实施方案(未示出),一个或多个光源122可替代地经由电线58耦接到处理器202b并通过所述处理器控制,或耦接到安置在转子54和/或定子52中的其它处理器。例如,连接器56a、56b中的一个可经由电线62b或86b以及电线58而耦接到处理器202b,使得耦接到连接器56a、56b的光源122电耦接到处理器202b。在此类实施方案中,处理器202b经配置用于控制光源122。
如上文所提及,处理器202a可经配置用于识别并选择图像信号中的与一个或多个乘员信息参数相关的至少一部分以用于传送到处理器202b。在某些实施方案中,处理器202b另外经配置用于对接收到的图像信号进行平滑、滤波和/或分析。
处理器202a和202b还可经由定子连接器60和电线58而电耦接到安置在车辆内的电源。根据某些实施方案,来自电源的电力可经由处理器202a、202b中的一个或多个而用于成像单元108和光源122。在其它实施方案(未示出)中,电力可经由耦接到电线58的个别的电线而可直接地用于成像单元108和光源122。
在一些实施方案中,如果处理器202a的物理大小足以使转子54的旋转失去平衡,那么配衡可被包括在与处理器202a相对的转子54中以平衡转子54的旋转动量。
各种实施方案为车辆内的图像检测系统提供改进的包装方案。确切地说,通过在安置在钟表弹簧50的转子54内的处理器202a中处理图像信号,来自成像单元108的原始图像信号靠近成像单元108被接收和处理,这防止可在成像单元108与处理器之间的较长距离上发生的信号的损失或对信号的干扰。此布置用于确定乘员信息参数的图像信号的高效传送,这改进乘员监视系统100的操作。确切地说,如果成像单元108经配置以每秒60帧的速率捕获图像信号,那么接收图像信号的处理器将需要每10秒处理20兆字节的数据。此类要求可需要物理上太大以至于不能安装在典型的钟表弹簧内的处理器。此外,在典型的钟表弹簧内存在太少的电线以至于不能适应于以所述数据传输速率传输。因此,各种实施方案通过将第一处理单元包括在转子内来克服这些约束,所述第一处理单元经配置用于选择接收到的图像信号中的至少一部分,并将图像信号中的选择部分(或根据图像信号中的选择部分计算出的数据)传送到转子外侧的第二处理单元以用于进一步处理和分析。
图10说明根据各种实施方案的在OMS 100的各种部件与其它车辆系统之间经过钟表弹簧50的示意性信号和/或数据流。确切地说,光源122和成像单元108安置在方向盘组件104的旋转部分上,且电耦接到安置在转子54上的处理器202a。其它车辆系统,例如人机交互系统(例如,触摸板、方向盘组件上的触敏区域,和/或用于与例如HVAC、音频、用户通信等一个或多个车辆系统介接的开关),用于加热方向盘的加热器系统,喇叭激活以及驾驶员气囊系统,还可安置在方向盘组件104的旋转部分上。这些系统可经由在转子54与定子52之间延伸的电线58而与安置在转子54外侧的其它处理器通信,或与处理器202a和/或202b通信。此外,如上文所提及,处理器202a或处理器202b可另外经配置用于控制光源122。或者在如通过图10中示出的虚线描绘的其它实施方案中,单独的处理器可安置在转子54或定子52中以用于控制光源122。此外,来自处理器202a、202b或安置在转子54和/或定子52中的其它处理器以及来自安置在方向盘组件104的旋转部分上的其它系统的信号和/或数据可被传送到车辆侧处理单元,例如OMS 100的处理单元,以用于进一步分析和/或处理。
尽管上文描述的实施方案将钟表弹簧50描述为与OMS 100的部件一起使用,但钟表弹簧50可耦接到其它数据采集系统和/或采集具有相对较高带宽的信号的系统。例如,在各种实施方案中,至少一个数据采集单元可安装在车辆方向盘组件的可围绕转向柱旋转的可旋转部分上。安置在转子内的第一处理单元经配置用于电气地接收通过数据采集单元捕获的信号,并选择所述信号中的至少一部分以用于传送到第二处理单元。第二处理单元在车辆中安置转子的外侧(例如,在定子中或在定子外侧),且电耦接到在转子与定子之间延伸的所述一组电线。选择的信号通过所述一组电线电气地传送。
在其它实施方案中,例如在图11A和11B中示出,滑环SR可替代于钟表弹簧用于导引在方向盘组件104的可旋转部分与方向盘组件的非可旋转部分和/或转向柱106之间延伸的电线。滑环SR包括转子部分R和定子部分S。转子部分R耦接到方向盘组件104的旋转部分,并界定围绕其旋转轴线C延伸的中空轴Hr。转子部分R与定子部分S的中空轴Hs啮合,使得转子部分R可在定子部分S的中空轴Hs内围绕旋转轴线C旋转。定子部分S耦接到方向盘组件104的静止部分或转向柱106。转子部分R还可包括环形边缘A,所述环形边缘从转子部分R的一端径向向外延伸并轴向地啮合定子部分S的外轴向端E,以防止转子部分R相对于定子部分S的轴向移动。来自OMS 100的部件和可安置在方向盘组件的可旋转部分上的其它系统的电线延伸经过转子部分R的中空轴Hr,并经配置以随转子部分R旋转。
在一些实施方案中,OMS 100可构造为单模块化单元。例如,单模块化单元可为自足式单元,包括相机120、光源122和/或处理单元200或其一部分。当构造为单模块化单元时,OMS 100可方便地包装并方便地安装在任何方向盘组件104中。单模块化单元可使用任何合适的紧固机构来耦接到方向盘组件104,所述紧固机构例如螺钉、挂钩、夹子或所属领域中已知的任何其它形式的机械紧固件,或胶粘剂(例如,胶水)、钎焊、焊接或所属领域中已知的任何其它紧固技术等。将OMS 100配置为单模块化单元可允许电子器件的共同化(例如,集成)以及因此较快的电子通信。
图12至图20示出OMS 100的各种部件可如何耦接到方向盘组件104的各种实施方案。确切地说,根据图12至图15中示出的实施方案,OMS 100包括安装支架301、外壳303、镜头305以及成像单元108。安装支架301包括其上耦接有成像单元108的主体355,以及从主体355的下部边缘延伸的安装凸片353、354。每一凸片353、354相应地界定开口351、352,所述开口与在方向盘组件104的毂116的框架的上部区域中界定的开口对准。每一组对准的开口接纳螺钉350以将安装支架301紧固到毂116。然而,在其它实施方案中,安装支架301可附接到方向盘组件104,使得所述安装支架使用其它合适的紧固机构从中心部分112向上延伸,所述紧固机构例如挂钩、夹子或所属领域中已知的任何其它形式的机械紧固件,或胶粘剂(例如,胶水)、钎焊、焊接或所属领域中已知的任何其它紧固技术等。
安装支架301可由铝、镁合金、钢或能够支撑OMS 100部件并将从所述部件产生的热量中的至少一部分传递到方向盘组件104的框架的其它合适的材料形成。安装支架301还可与方向盘组件104的中心部分112一体地形成或模制。
外壳303包括后表面304,所述后表面安置成与方向盘组件104的后盖126相邻;上表面323,所述上表面横向于后表面304而延伸;以及侧表面324,所述侧表面从上表面323的侧边缘向下延伸且从后表面304横向地延伸。后表面304、侧表面324以及上表面323在其间界定某一区域,所述区域经配置用于将安装支架301的主体355的至少一部分置于其中。上表面323可包括翅片325,所述翅片在从外壳303的前周界到后表面304的方向上延伸,且在侧表面323之间的方向上彼此区分且间隔开。这些翅片325提供更多的表面积以便成为更有效的散热器,并为外壳303的上表面323提供结构加强。
在图17B中示出的实施方案中,后表面304与方向盘组件104的后盖126装配齐平,或装配在与所述后盖相同的平面内。然而,在图18B和19B中示出的实施方案中,后表面304’、304”相应地不与后盖126’、126”相应地齐平,而是设置在从包括后盖126’、126”的平面向内(相应地朝向组件104’、104”的正面)间隔开的平面中。
在图12至图15和17A中示出的实施方案中,外壳303的上表面323和侧表面324界定基本上矩形形状的周界。周界可为沿着上表面323的略弓形形状,和/或在上表面323与侧表面324之间具有磨圆的拐角以在审美上与方向盘组件104协调。
然而,在图18A至18B中示出的实施方案中,外壳303’的上表面323’界定周界,所述周界包括磨圆的半圆形中心部分380,所述中心部分从方向盘组件104’向上延伸,且外壳303’的侧表面324’朝向彼此和中心部分380成角度或倾斜。此形状可在审美上与图18A和18B中示出的方向盘组件104’的形状协调。并且,在图19A和19B中示出的实施方案中,外壳303’的上表面323”界定周界,所述周界包括从方向盘组件104”向上延伸的梯形中心部分385。外壳303”的侧表面324”朝向彼此和中心部分385成角度或倾斜。此形状可在审美上与图19A中示出的方向盘组件104”的形状协调。
成像单元108耦接到安装支架301,与安装支架301的主体355的中心部分相邻。在图13A至图15中示出的实施方案中,成像单元108是相机120,所述相机包括镜头320,例如可调整镜头或固定镜头等。相机镜头320安置在相机120的远端处,且光经由镜头320进入相机120。在图14中示出的实施方案中,相机镜头320使用至少一个侧定位螺钉375固定到相机120,且相机120使用螺钉376耦接到安装支架301。然而,如上文所提及,在其它实施方案中可使用其它类型的成像单元,且其它紧固机构可用于将相机120耦接到安装支架301和/或耦接在外壳303内。
另外,在一些实施方案中,光源122耦接到安装支架301,且安置成与成像单元108相邻。例如,在图13A至图15中示出的实施方案中,光源122包括两个印刷电路板352,所述印刷电路板各自具有安置在其上的四对LED 354。印刷电路板352中的一个在成像单元108的右侧上耦接到安装支架301,且另一个印刷电路板在成像单元108的左侧上耦接到安装支架301。经配置用于在印刷电路板与安装支架301之间传递热量的热耦接材料330安置在印刷电路板与安装支架301之间。热耦接材料330可为热耦接垫,例如具有安置在其中的导热材料的泡沫垫,或热耦接膏等。例如,所述垫可在两侧上包括用于附接到印刷电路板的后表面和安装支架301的底座355的前表面的胶粘剂。除胶粘剂外或作为胶粘剂的替代实施方案,每一垫可界定开口,所述开口与在印刷电路板和安装支架中界定的开口对准以用于接纳螺钉350,以将垫和印刷电路板352固定到安装支架301。
在各种实施方案中,从光源122发出的光可在内部从镜头305反射,或在经过镜头305之前以其它方式到达相机镜头320或其它类型的成像单元108。为防止来自光源122的光在离开镜头305之前进入成像单元108,遮光材料可安置在成像单元108的远端与光源122之间。例如,如图15中所示,可压缩材料的环322,例如聚合物泡沫、硅酮、橡胶等的环,可在相机镜头320的远端与镜头305的后表面307之间延伸。环322为环形形状以对应于相机镜头320的外周界,但在其它实施方案中,环322可经成形以对应于其它类型的成像单元108的周界。可压缩材料允许在镜头305的方向上调整(例如,放大或缩小)相机镜头320,同时维持所述相机镜头与可压缩材料的接触。在其它实施方案中,遮光材料可安置在印刷电路板352与镜头305之间,以防止来自LED 354的光在离开镜头305之前被接收到成像单元108中。在其它实施方案中,遮光材料可在成像单元108或安装支架301与OMS镜头305之间延伸。
此外,遮光材料可使用各种紧固机构固定在适当位置,所述紧固机构例如螺钉、挂钩、夹子或所属领域中已知的任何其它形式的机械紧固件,或胶粘剂(例如,胶水)、钎焊、焊接或所属领域中已知的任何其它紧固技术,螺纹(例如,DSLR相机滤光环)和/或其组合。
如图20中示出,将光源122和成像单元108耦接到至少一个处理器和/或电源的电线可从方向盘组件104的中心部分112延伸经过经配置用于耦接到转向轴106的后盖126中的开口。如上文所提及,电线可电耦接到转子54中的处理器202a、汽车钟表弹簧50的定子52中的处理器202b,和/或电耦接到安置在汽车钟表弹簧50外侧的一个或多个处理器。此外,在一些实施方案中,电线可耦接到安置在外壳301内的处理器202c,且处理器202c可耦接到安装支架301或以其它方式安置在外壳301中。如上文所提及,处理器202c可耦接到在汽车钟表弹簧50的转子54中的处理器202a,和/或在钟表弹簧50的定子52中的处理器202b。并且,在一些实施方案中,处理器202c可安置在图14中示出的印刷电路板352中的一个或两个上。此外,在一个实施方案(未示出)中,OMS 100可包括其上安置有处理器202c和光源122的一个印刷电路板。
镜头305包括前表面306、与前表面306相对的后表面307、上周界308、下周界310,以及在上周界308与下周界310之间延伸的侧周界309。后表面307面向成像单元108安置,前表面306面向车辆的内部安置。
在成像单元108检测到红外图像信号的实施方案中,镜头305可经配置用于光学地阻断可见光并允许红外光经过镜头305。例如,镜头305可由聚(甲基丙烯酸甲酯)(PMMA)或其它类丙烯酸材料形成。在图12至图13B中示出的实施方案中,镜头305由ACRYLITE形成,所述ACRYLITE是PMMA,即通过Evonik Industries制造的丙烯酸1146-0级黑色材料。ACRYLITE对可见光不透明,但允许从约750纳米开始的红外光的透射。ACRYLITE还阻断紫外光的透射。图16说明在各种波长处经过ACRYLITE的光的百分比。如图所示,没有在约750纳米以下的光经过ACRYLITE。镜头305可另外从一片可见光遮光材料切下或模制成特定形状。
在其它实施方案中,镜头可由聚碳酸酯材料形成,例如聚碳酸酯(例如,LEXAN)、丙烯腈丁二烯苯乙烯聚碳酸酯(ABS-PC)、PC-ABS、丙烯酸-苯乙烯-丙烯腈三元共聚物聚碳酸酯(ASA-PC),或将聚碳酸酯包括为主要合金元素的其它塑料。另外,镜头可由例如玻璃、乙酸丁酸纤维素(CAB)或丁酸盐、醇化聚对苯二甲酸乙二醇酯(PET-G)或其它聚合物形成。
此外,在一些实施方案中,光学膜或涂层/涂料可涂覆到镜头305的后表面307或前表面306中的一个或两个上,所述镜头阻断可见光和/或UV光,并允许红外光的透射。
图12至图19B中示出的镜头305是平坦的,但在其它实施方案中,镜头可为弯曲的。
在图12至图19B中示出的实施方案中,装饰件340和镜头支撑件360用于防止镜头305相对于外壳303和方向盘组件104的移动。确切地说,装饰件340包括上部部分341和侧部分342。上部部分341经成形以遵循外壳303的上部部分323的前周界的形状,且侧部分342经成形以遵循外壳303的侧部分324的前周界的形状。镜头305安置在外壳303的前周界与装饰件340之间,以固定镜头305的上周界308和侧周界309从而防止所述上周界和侧周界相对于外壳303的移动。另外,镜头支撑件360具有细长主体,并包括上表面361,所述上表面界定沿着细长主体的长度延伸的通道362。镜头支撑件360安置成与安装支架301耦接到方向盘组件104的位置相邻,并在装饰件340的侧部分342的前周界之间延伸。镜头305的下周界310中的至少一部分啮合通道362以防止镜头305的下周界310相对于外壳303移动。镜头支撑件360还可覆盖在方向盘组件104的中心毂116与镜头305的下周界310之间的间隙。然而,在其它实施方案中,镜头305可在没有任何装饰件或镜头支撑件的情况下固定到外壳303,所述镜头可通过单一或多个装饰件固定,或所述镜头可在没有任何装饰件的情况下通过外壳和镜头支撑件固定。
装饰件340包括从侧部分342中的每一个向内延伸的凸片344。每一凸片344界定开口346,所述开口与通过外壳303界定的开口348和通过安装支架301界定的开口357对准。为将装饰件340和外壳303固定到安装支架301,通过在装饰件340、外壳303以及安装支架301的每一侧上的对准的开口346、348、357啮合螺钉350。
装饰件340可由刚性材料形成,例如塑料、金属、玻璃或陶瓷材料。另外,在装饰件340中可染上、涂覆、电镀或漆上特定颜色。例如,在图12至图17B中示出的实施方案中,装饰件340涂覆、电镀或漆上铬色。然而,在其它实施方案中,装饰件340可着不同颜色,例如着黑色或灰色以与外壳或方向盘组件相匹配。
类似地,镜头支撑件360可由类似的刚性材料形成,且还可染上、涂覆、电镀或漆上特定颜色。另外,镜头支撑件360可经由螺钉、夹子、胶粘剂或其它合适的紧固机构耦接到安装支架301。在图12至图15中示出的实施方案中,镜头支撑件360包括从镜头支撑件360的下表面363延伸的凸台364。凸台364界定与在安装支架301中界定的开口对准的开口。螺钉350啮合在镜头支撑件360和安装支架301中的对准的开口中,以将镜头支撑件360固定成与安装支架301相邻。在图12A至图20中示出的实施方案中,OMS 100耦接到方向盘组件的中心部分112。通过将成像单元108耦接到中心部分112,例如上文所描述,成像单元108更靠近车厢中的一个或多个乘员,且因此,与在成像单元安置成较远离车辆中的乘员(例如在转向柱或车厢中的其它地方)时相比,可接收成像区域的更高分辨率图像信号。此外,将成像单元108耦接到中心部分112允许在基于转向角或角旋转速率调整图像信号时的较大视场。另外,通过将成像单元耦接到方向盘组件的可旋转部分,当方向盘组件相对于驾驶员的位置向上倾斜或延伸时,成像单元的视场不会另外被方向盘组件的可旋转部分模糊。
另外,在上文关于图12至图20所描述的实施方案中,成像单元108对驾驶员或其它乘员不可见,这防止OMS 100使驾驶员或其它乘员受到干扰或感觉不舒服。此外,上文关于图12至图30描述的实施方案的模块性允许OMS 100更加快速且容易地整合到现有和新的方向盘组件104中。与将部件耦接到更靠近驾驶员气囊区域的可展开表面相比,通过将外壳303和其它部件安置成与方向盘组件104的后盖126相邻,更易于导引来自OMS 100部件的电线并允许外壳303耦接到非可展开表面。此外,通过将OMS 100安置在方向盘组件104的毂116的上部部分上,OMS 100即使在方向盘组件旋转期间也可无阻挡地观察车辆的乘员,且OMS 100刚好在驾驶员的视场中安置在仪表板下方,这可减少干扰的量。
如本文中所提供,OMS 100可用于监视车辆中的驾驶员或其它乘员。使用OMS 100来监视驾驶员或其它乘员可包括将OMS 100提供和/或耦接到车辆的方向盘组件104。OMS100可包括本文中描述的OMS 100部件中的任一个/全部。如上文所概述,OMS 100可包括成像单元108,所述成像单元经配置以捕获对应于车辆中的成像区域110的图像信号,其中成像区域110围封驾驶员和/或其它车辆乘员。成像单元108可经配置以随方向盘组件104的中心部分112旋转。方向盘组件104可经配置以相对于车辆的转向柱106旋转。
监视驾驶员和/或乘员可另外包括捕获对应于车辆中的成像区域110的图像信号,并处理所述图像信号以识别分析区域。分析区域可经分析以确定乘员信息参数,且乘员信息参数可继而经分析以确定乘员状态。随后可基于所确定的乘员状态提供输出信号。在一些实施方案中,OMS 100可另外包括处理单元200以执行OMS 100的处理、分析以及输出步骤中的一个或多个。车辆还可包括与OMS 100分开的处理单元200,其中OMS 100的处理、分析以及输出步骤中的一个或多个通过此(远程)处理单元200执行。
虽然前述描述和图式呈现本发明的优选实施方案,但应理解,在不脱离如所附权利要求书中界定的本发明的精神和范围的情况下,可在本发明中进行各种添加、修改、组合和/或替换。确切地说,所属领域的技术人员应清楚,在不脱离本发明的精神或基本特性的情况下,本发明可以其它具体形式、结构、布置、比例实施,并用其它元件、材料以及部件实施。所属领域的技术人员应了解,在不脱离本发明的原理的情况下,本发明可与用于本发明的实践中的结构、布置、比例、材料以及部件以及其它项的许多修改一起使用,所述修改尤其适合于具体环境和操作要求。另外,本文中描述的特征可单独地或结合其它特征一起使用。因此,当前公开实施方案在各种方面都被认为是说明性的而非限制性的,本发明的范围通过所附权利要求书指示且并不限于前述描述。
所属领域的技术人员应了解,在不脱离上文描述的实施方案的广泛发明概念的情况下,可对上文描述的实施方案做出改变。因此,应理解,本发明并不限于所公开的特定实施方案,而是意图涵盖在如通过所附权利要求书界定的本发明的精神和范围内的修改。
Claims (30)
1.一种用于监视车辆中的至少一个乘员的乘员监视系统(OMS),所述车辆具有经配置以相对于转向柱旋转的方向盘组件,所述OMS包括:
成像单元,所述成像单元经配置以耦接到方向盘组件,所述成像单元具有在所述车辆内侧的视场且经配置以捕获对应于所述车辆中的成像区域的图像信号,所述成像区域在所述视场内,
其中所述成像区域围封所述车辆中的所述乘员的预期位置,以及
其中所述成像单元经配置以随所述车辆的所述方向盘组件的中心部分旋转。
2.根据权利要求1所述的OMS,其中所述成像单元耦接到所述方向盘组件的所述中心部分。
3.根据权利要求2所述的OMS,其中所述方向盘组件包括轮缘和毂,所述中心部分包括所述毂。
4.根据权利要求3所述的OMS,其中所述毂包括外壳,并且所述成像单元安置在所述外壳内。
5.根据权利要求4所述的OMS,其中所述外壳相邻地耦接到所述毂的后盖。
6.根据权利要求5所述的OMS,其中所述外壳经由安装支架相邻地耦接到所述后盖,并且所述系统另外包括安置成与所述外壳中的所述成像单元相邻的至少一个光源,并且其中通过所述光源或所述成像单元中的一者或多者产生的热量中的至少一部分从所述外壳传递到所述毂。
7.根据权利要求4所述的OMS,其中所述外壳与所述毂的后盖一体地形成。
8.根据权利要求1所述的OMS,所述OMS另外包括转向角传感器。
9.根据权利要求8所述的OMS,所述OMS另外包括处理单元,所述处理单元包括处理器和可操作地耦接到所述处理器的存储器,所述存储器具有存储在其上的计算机可执行指令,所述指令在通过所述处理器执行时,使得所述处理器:
从所述转向角传感器接收电信号;
处理所述电信号以确定所述方向盘组件的旋转角度和所述方向盘组件的角旋转速率中的至少一者;以及
调整所述成像单元以针对所述方向盘组件的所述旋转角度和所述方向盘组件的所述角旋转速率中的至少一者进行校正。
10.根据权利要求8所述的OMS,所述OMS另外包括处理单元,所述处理单元包括处理器和可操作地耦接到所述处理器的存储器,所述存储器具有存储在其上的计算机可执行指令,所述指令在通过所述处理器执行时,使得所述处理器:
从所述转向角传感器接收电信号;
处理所述电信号以确定所述方向盘组件的所述旋转角度和所述方向盘组件的所述角旋转速率中的至少一者;以及
调整所捕获的所述成像区域的所述图像信号以针对所述方向盘组件的所述旋转角度和所述方向盘组件的所述角旋转速率中的至少一者进行校正。
11.根据权利要求1所述的OMS,其中所述OMS包括单模块化单元,所述单模块化单元经配置以耦接到所述方向盘组件。
12.根据权利要求1所述的OMS,其中所述成像单元包括相机。
13.根据权利要求1所述的OMS,所述OMS另外包括光源,所述光源经配置以照明所述成像区域。
14.根据权利要求13所述的OMS,其中所述光源包括红外光源。
15.根据权利要求13所述的OMS,其中所述光源包括至少一个发光二极管。
16.根据权利要求13所述的OMS,其中所述光源包括光条,所述光条包括一个或多个发光二极管。
17.根据权利要求16所述的OMS,其中所述光条包括一个或多个发光二极管的至少第一部分和一个或多个发光二极管的至少第二部分,其中所述第一部分经配置以照射可见光,以响应于所述OMS处于操作模式或非操作模式中的一者中,并且所述第二部分经配置以在所述成像单元的所述视场的方向上照射红外光。
18.根据权利要求1所述的OMS,所述OMS另外包括处理单元,所述处理单元包括处理器和可操作地耦接到所述处理器的存储器,所述存储器具有存储在其上的计算机可执行指令,所述指令在通过所述处理器执行时,使得所述处理器:
从所述成像单元接收图像信号;
处理所述图像信号以识别分析区域;
分析所述分析区域以确定乘员信息参数;
分析所述乘员信息参数以确定乘员状态;以及
基于所述确定的乘员状态输出信号。
19.根据权利要求18所述的OMS,其中识别所述分析区域包括确定所述乘员的头部和/或眼睛的位置和/或朝向。
20.根据权利要求18所述的OMS,其中分析所述分析区域包括确定所述乘员的头部和/或眼睛的所述位置和/或朝向从预定位置的偏离。
21.根据权利要求18所述的OMS,其中所述分析所述乘员信息参数以确定所述乘员状态包括确定所述乘员的头部和/或眼睛的所述位置和/或朝向从预定位置偏离达至少预定量的时间。
22.根据权利要求1所述的乘员监视系统,所述乘员监视系统另外包括禁用单元,所述禁用单元经配置以在接收到驾驶员信号且所述车辆静止时暂时地禁用所述乘员监视系统。
23.根据权利要求22所述的乘员监视系统,其中所述驾驶员信号在所述车辆的所述方向盘组件旋转至少预定量和/或预定量的时间后输出。
24.根据权利要求23所述的乘员监视系统,其中当所述方向盘组件返回到基本上中心位置达至少预定量的时间时,所述驾驶员信号停止被输出。
25.一种用于监视车辆中的乘员的乘员监视系统(OMS),所述车辆包括:
方向盘组件,所述方向盘组件经配置以可旋转地耦接到所述车辆的转向柱,所述方向盘组件包括围绕位于中心的毂的轮缘;
成像单元,所述成像单元耦接到所述方向盘组件,所述成像单元具有视场且经配置以捕获所述视场内的成像区域的图像;
其中所述成像区域围封所述乘员的预期位置,以及
其中所述成像单元经配置以耦接到所述车辆的所述方向盘组件的中心部分并随所述中心部分旋转。
26.一种使用乘员监视系统来监视车辆中的乘员的方法,所述方法包括:
将乘员监视系统(OMS)耦接到所述车辆的方向盘组件的可旋转部分,使得所述OMS随所述可旋转部分旋转,所述OMS包括成像单元,所述成像单元经配置以捕获对应于所述车辆中的成像区域的图像信号,所述成像区域在所述成像单元的视场内;
捕获所述车辆中的所述成像区域的图像信号;
处理所述图像信号以识别分析区域;
分析所述分析区域以确定乘员信息参数;
分析所述乘员信息参数以确定乘员状态;以及
基于所述确定的乘员状态输出信号。
27.根据权利要求26所述的方法,其中所述车辆的所述方向盘组件的所述可旋转部分经配置以相对于转向柱旋转。
28.根据权利要求26所述的方法,其中所述成像区域围封驾驶员的预期位置。
29.根据权利要求26所述的方法,其中所述OMS另外包括至少一个处理单元,且所述处理、分析以及输出步骤中的一个或多个通过所述处理单元执行。
30.根据权利要求26所述的方法,其中所述车辆包括至少一个处理单元,且所述处理、分析以及输出步骤中的一个或多个通过所述处理单元执行。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/586,124 | 2014-12-30 | ||
US14/586,124 US9533687B2 (en) | 2014-12-30 | 2014-12-30 | Occupant monitoring systems and methods |
PCT/US2015/066245 WO2016109225A1 (en) | 2014-12-30 | 2015-12-17 | Occupant monitoring systems and methods |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107107748A true CN107107748A (zh) | 2017-08-29 |
CN107107748B CN107107748B (zh) | 2021-04-16 |
Family
ID=56163308
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580073108.6A Active CN107107748B (zh) | 2014-12-30 | 2015-12-17 | 乘员监视系统和方法 |
Country Status (4)
Country | Link |
---|---|
US (4) | US9533687B2 (zh) |
CN (1) | CN107107748B (zh) |
DE (1) | DE112015005432T5 (zh) |
WO (1) | WO2016109225A1 (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110021146A (zh) * | 2017-12-14 | 2019-07-16 | 矢崎总业株式会社 | 安装在车辆上的拍摄设备及车辆中的拍摄方法 |
CN110194173A (zh) * | 2018-02-27 | 2019-09-03 | 欧姆龙株式会社 | 乘员监视装置 |
CN111797755A (zh) * | 2020-06-30 | 2020-10-20 | 东风汽车有限公司 | 一种汽车乘员情绪识别方法及电子设备 |
WO2021027701A1 (zh) * | 2019-08-13 | 2021-02-18 | 浙江合众新能源汽车有限公司 | 一种车内摄像头定位人脸位置的方法及结构 |
CN113542529A (zh) * | 2020-04-21 | 2021-10-22 | 安霸国际有限合伙企业 | 用于dms和oms的940nm led闪光同步 |
CN114968428A (zh) * | 2021-02-20 | 2022-08-30 | 上海博泰悦臻网络技术服务有限公司 | 虚拟角色的静默模式设定方法、系统、介质及装置 |
Families Citing this family (72)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10922567B2 (en) * | 2010-06-07 | 2021-02-16 | Affectiva, Inc. | Cognitive state based vehicle manipulation using near-infrared image processing |
US11587357B2 (en) | 2010-06-07 | 2023-02-21 | Affectiva, Inc. | Vehicular cognitive data collection with multiple devices |
US11657288B2 (en) | 2010-06-07 | 2023-05-23 | Affectiva, Inc. | Convolutional computing using multilayered analysis engine |
US11511757B2 (en) | 2010-06-07 | 2022-11-29 | Affectiva, Inc. | Vehicle manipulation with crowdsourcing |
US11704574B2 (en) | 2010-06-07 | 2023-07-18 | Affectiva, Inc. | Multimodal machine learning for vehicle manipulation |
US11700420B2 (en) | 2010-06-07 | 2023-07-11 | Affectiva, Inc. | Media manipulation using cognitive state metric analysis |
US11823055B2 (en) * | 2019-03-31 | 2023-11-21 | Affectiva, Inc. | Vehicular in-cabin sensing using machine learning |
US11935281B2 (en) | 2010-06-07 | 2024-03-19 | Affectiva, Inc. | Vehicular in-cabin facial tracking using machine learning |
US11887352B2 (en) | 2010-06-07 | 2024-01-30 | Affectiva, Inc. | Live streaming analytics within a shared digital environment |
US11430561B2 (en) | 2010-06-07 | 2022-08-30 | Affectiva, Inc. | Remote computing analysis for cognitive state data metrics |
US11484685B2 (en) | 2010-06-07 | 2022-11-01 | Affectiva, Inc. | Robotic control using profiles |
US9311544B2 (en) * | 2012-08-24 | 2016-04-12 | Jeffrey T Haley | Teleproctor reports use of a vehicle and restricts functions of drivers phone |
US10614328B2 (en) | 2014-12-30 | 2020-04-07 | Joyson Safety Acquisition LLC | Occupant monitoring systems and methods |
US9533687B2 (en) * | 2014-12-30 | 2017-01-03 | Tk Holdings Inc. | Occupant monitoring systems and methods |
US10532659B2 (en) | 2014-12-30 | 2020-01-14 | Joyson Safety Systems Acquisition Llc | Occupant monitoring systems and methods |
US20160288708A1 (en) * | 2015-03-30 | 2016-10-06 | Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America | Intelligent caring user interface |
US9924085B2 (en) * | 2015-04-09 | 2018-03-20 | Bendix Commercial Vehicle Systems Llc | Apparatus and method for disabling a driver facing camera in a driver monitoring system |
JP6387892B2 (ja) * | 2015-04-18 | 2018-09-12 | トヨタ自動車株式会社 | 眠気検知装置 |
EP3295298A4 (en) * | 2015-05-14 | 2018-11-21 | Gatekeeper Inc. | Apparatus, systems and methods for enhanced visual inspection of vehicle interiors |
WO2017183077A1 (ja) * | 2016-04-18 | 2017-10-26 | 本田技研工業株式会社 | 車両制御システム、車両制御方法、および車両制御プログラム |
US10821987B2 (en) * | 2016-07-20 | 2020-11-03 | Ford Global Technologies, Llc | Vehicle interior and exterior monitoring |
JP6612707B2 (ja) * | 2016-09-30 | 2019-11-27 | 本田技研工業株式会社 | 情報提供装置 |
US20180118218A1 (en) * | 2016-10-27 | 2018-05-03 | Ford Global Technologies, Llc | Method and apparatus for vehicular adaptation to driver state |
US10780896B2 (en) | 2017-01-04 | 2020-09-22 | Joyson Safety Systems Acquisition Llc | Systems and methods of providing haptic feedback |
CN110393003B (zh) | 2017-01-09 | 2022-02-01 | 乔伊森安全系统收购有限责任公司 | 用于乘员监控系统的紧凑型相机模块 |
US10151594B1 (en) * | 2017-01-19 | 2018-12-11 | State Farm Mutual Automobile Insurance Company | Technology for generating alternate navigation directions for vehicles |
DE102017205467A1 (de) * | 2017-02-21 | 2018-08-23 | Deere & Company | Adaptives Lichtsystem eines geländegängigen Fahrzeugs |
CN111033611A (zh) | 2017-03-23 | 2020-04-17 | 乔伊森安全系统收购有限责任公司 | 使嘴部图像与输入指令关联的系统和方法 |
US11713048B2 (en) | 2017-05-08 | 2023-08-01 | Joyson Safety Systems Acquisition Llc | Integration of occupant monitoring systems with vehicle control systems |
JP2018188038A (ja) * | 2017-05-09 | 2018-11-29 | カルソニックカンセイ株式会社 | 車両用撮影装置 |
US11062587B2 (en) * | 2017-05-12 | 2021-07-13 | Ford Global Technologies, Llc | Object detection |
US9953210B1 (en) | 2017-05-30 | 2018-04-24 | Gatekeeper Inc. | Apparatus, systems and methods for improved facial detection and recognition in vehicle inspection security systems |
JP7073640B2 (ja) * | 2017-06-23 | 2022-05-24 | カシオ計算機株式会社 | 電子機器、感情情報取得システム、プログラム及び感情情報取得方法 |
JP6617752B2 (ja) * | 2017-07-19 | 2019-12-11 | 株式会社デンソー | 撮像装置及び車両用表示装置 |
FR3069657A1 (fr) * | 2017-07-31 | 2019-02-01 | Valeo Comfort And Driving Assistance | Dispositif optique pour l'observation d'un habitacle de vehicule |
JP6720952B2 (ja) * | 2017-11-21 | 2020-07-08 | オムロン株式会社 | 乗員監視装置 |
US11538257B2 (en) | 2017-12-08 | 2022-12-27 | Gatekeeper Inc. | Detection, counting and identification of occupants in vehicles |
CN108482124B (zh) * | 2018-02-24 | 2021-01-01 | 宁波科达仪表有限公司 | 一种具有监测功能的机动车仪表及其工作方法 |
JP6780671B2 (ja) * | 2018-03-15 | 2020-11-04 | オムロン株式会社 | 乗員監視装置 |
DE102018205079B4 (de) * | 2018-04-04 | 2021-09-09 | Audi Ag | Vorrichtung zum Erkennen einer Blickrichtung und Kraftfahrzeug |
CN108609018B (zh) * | 2018-05-10 | 2019-11-05 | 郑州天迈科技股份有限公司 | 用于分析危险驾驶行为的预警终端、预警系统及分析算法 |
JPWO2019239812A1 (ja) * | 2018-06-14 | 2021-07-08 | パナソニックIpマネジメント株式会社 | 情報処理方法、情報処理プログラム及び情報処理システム |
JP7101574B2 (ja) * | 2018-09-12 | 2022-07-15 | 三菱電機株式会社 | 乗員状態検出装置一体型ディスプレイ、及びディスプレイ制御装置 |
US11514688B2 (en) * | 2018-10-22 | 2022-11-29 | 5DT, Inc. | Drowsiness detection system |
KR20200048316A (ko) * | 2018-10-29 | 2020-05-08 | 현대자동차주식회사 | 차량 및 그 제어 방법 |
JP7139908B2 (ja) * | 2018-11-19 | 2022-09-21 | トヨタ自動車株式会社 | 運転者監視装置の取付構造 |
EP3891018A4 (en) * | 2018-12-05 | 2022-01-19 | Gentex Corporation | IRIS AUTHENTICATION AND DRIVER MONITORING IMAGING SYSTEM |
DE102018222127A1 (de) * | 2018-12-18 | 2020-06-18 | Volkswagen Aktiengesellschaft | Fahrzeug mit einer Infrarotkamera zur Fahreridentifikation und/oder Fahrerbeobachtung |
US11274800B2 (en) * | 2019-01-11 | 2022-03-15 | Valeo North America, Inc. | IR illuminator with asymetric radiation pattern |
US11887383B2 (en) | 2019-03-31 | 2024-01-30 | Affectiva, Inc. | Vehicle interior object management |
JP7319832B2 (ja) * | 2019-06-06 | 2023-08-02 | 株式会社Subaru | ステアリング装置 |
US10867193B1 (en) | 2019-07-10 | 2020-12-15 | Gatekeeper Security, Inc. | Imaging systems for facial detection, license plate reading, vehicle overview and vehicle make, model, and color detection |
DE102019216328A1 (de) * | 2019-10-23 | 2021-04-29 | Robert Bosch Gmbh | Beobachtungsvorrichtung |
US11196965B2 (en) | 2019-10-25 | 2021-12-07 | Gatekeeper Security, Inc. | Image artifact mitigation in scanners for entry control systems |
US11310466B2 (en) * | 2019-11-22 | 2022-04-19 | Guardian Optical Technologies, Ltd. | Device for monitoring vehicle occupant(s) |
US11769056B2 (en) | 2019-12-30 | 2023-09-26 | Affectiva, Inc. | Synthetic data for neural network training using vectors |
JP2023509146A (ja) * | 2020-01-02 | 2023-03-07 | ジェンテックス コーポレイション | 車両内のレーダーベースの監視 |
KR20210112792A (ko) * | 2020-03-06 | 2021-09-15 | 한화테크윈 주식회사 | 조명광의 난반사를 방지하는 팬 모션 카메라 |
US11912307B2 (en) * | 2020-03-18 | 2024-02-27 | Waymo Llc | Monitoring head movements of drivers tasked with monitoring a vehicle operating in an autonomous driving mode |
WO2021207245A1 (en) | 2020-04-06 | 2021-10-14 | Joyson Safety Systems Acquisition Llc | Systems and methods of ambient gas sensing in a vehicle |
US11527081B2 (en) | 2020-10-20 | 2022-12-13 | Toyota Research Institute, Inc. | Multiple in-cabin cameras and lighting sources for driver monitoring |
US11267499B1 (en) | 2020-12-09 | 2022-03-08 | Autoliv Asp, Inc. | Wrapping for a steering wheel |
US11130443B1 (en) | 2020-12-09 | 2021-09-28 | Autoliv Asp, Inc. | Light bar assemblies for a steering wheel |
US11198387B1 (en) | 2020-12-09 | 2021-12-14 | Autoliv Asp, Inc. | Heat dissipation of a light bar assembly of a steering wheel |
US11312294B1 (en) | 2020-12-10 | 2022-04-26 | Autolive Asp, Inc. | Light bar assemblies for a steering wheel |
US11851080B2 (en) | 2021-02-03 | 2023-12-26 | Magna Mirrors Of America, Inc. | Vehicular driver monitoring system with posture detection and alert |
JP2022146537A (ja) * | 2021-03-22 | 2022-10-05 | 本田技研工業株式会社 | 操舵装置 |
US11766968B2 (en) | 2021-05-18 | 2023-09-26 | Magna Mirrors Of America, Inc. | Vehicular interior rearview mirror assembly with video mirror display and VRLC stack |
US11930264B2 (en) | 2021-05-18 | 2024-03-12 | Magna Electronics Inc. | Vehicular driver monitoring system with camera view optimization |
WO2023034956A1 (en) * | 2021-09-03 | 2023-03-09 | Magna Electronics Inc. | Vehicular interior cabin monitoring system with light emitter that is selectively operable for dms and oms functions |
CN117002600A (zh) * | 2022-04-29 | 2023-11-07 | 奥托立夫开发公司 | 方向盘组件 |
DE102022210376B3 (de) | 2022-09-30 | 2023-12-07 | Volkswagen Aktiengesellschaft | Kraftfahrzeug und Verfahren zum Ausgeben einer Warnung an einen eine Kontaktlinse auf einem Auge tragenden Nutzer eines Kraftfahrzeugs |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030045133A1 (en) * | 2001-02-16 | 2003-03-06 | Leopold Kostal Gmbh & Co. Kg | Steering column module |
US20030067148A1 (en) * | 2001-10-10 | 2003-04-10 | Trw Automotive Safety Systems Gmbh & Co.Kg | Vehicle steering device |
CN101480926A (zh) * | 2008-12-31 | 2009-07-15 | 广州伟韬电子科技有限公司 | 一种驾驶员疲劳智能监控系统和疲劳骚扰器 |
US20100002075A1 (en) * | 2008-07-04 | 2010-01-07 | Hyundai Motor Company | Driver's state monitoring system using a camera mounted on steering wheel |
CN103347446A (zh) * | 2010-12-10 | 2013-10-09 | Tk控股公司 | 用于监控车辆驾驶员的系统 |
CN103442925A (zh) * | 2011-03-25 | 2013-12-11 | Tk控股公司 | 用于确定驾驶员警觉性的系统和方法 |
US20140109719A1 (en) * | 2012-10-23 | 2014-04-24 | Tk Holdings, Inc. | Steering Wheel Light Bar |
CN104112127A (zh) * | 2013-04-18 | 2014-10-22 | 福特环球技术公司 | 用于对车辆的驾驶员成像的系统和方法 |
Family Cites Families (173)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3485974A (en) | 1968-05-20 | 1969-12-23 | Switches Inc | Momentary contact switches for control of accessory circuits |
US6442465B2 (en) * | 1992-05-05 | 2002-08-27 | Automotive Technologies International, Inc. | Vehicular component control systems and methods |
US7164117B2 (en) * | 1992-05-05 | 2007-01-16 | Automotive Technologies International, Inc. | Vehicular restraint system control system and method using multiple optical imagers |
US7415126B2 (en) * | 1992-05-05 | 2008-08-19 | Automotive Technologies International Inc. | Occupant sensing system |
USD276037S (en) | 1982-11-15 | 1984-10-23 | International Harvester Co. | Vehicle steering wheel keyboard housing |
JPS6156629A (ja) | 1984-08-28 | 1986-03-22 | アイシン精機株式会社 | 車上心拍計 |
US4835512A (en) | 1988-03-07 | 1989-05-30 | Bratton Daniel W | Steering wheel high beam headlight indicator |
US4993281A (en) | 1989-05-05 | 1991-02-19 | Miller Jess J | Flexible steering wheel heat shield |
US5203266A (en) | 1989-09-29 | 1993-04-20 | Colgate-Palmolive Co. | Foldable table having centerline folding leaves |
US5203226A (en) | 1990-04-17 | 1993-04-20 | Toyoda Gosei Co., Ltd. | Steering wheel provided with luminous display device |
USD346997S (en) | 1991-04-29 | 1994-05-17 | Kurtis Peter S | Combination vehicle steering wheel unit and telephone |
USD351389S (en) | 1991-11-21 | 1994-10-11 | U.S. Philips Corporation | Infra-red language distribution receiver |
US5364557A (en) | 1991-11-27 | 1994-11-15 | Faris Sades M | Aligned cholesteric liquid crystal inks |
US7983817B2 (en) * | 1995-06-07 | 2011-07-19 | Automotive Technologies Internatinoal, Inc. | Method and arrangement for obtaining information about vehicle occupants |
US7596242B2 (en) | 1995-06-07 | 2009-09-29 | Automotive Technologies International, Inc. | Image processing for vehicular applications |
US8152198B2 (en) | 1992-05-05 | 2012-04-10 | Automotive Technologies International, Inc. | Vehicular occupant sensing techniques |
US5516143A (en) | 1994-06-20 | 1996-05-14 | Morton International, Inc. | Windowed airbag cover |
US5606156A (en) | 1995-02-10 | 1997-02-25 | Eaton Corporation | Steering column switch for automobiles |
US7570785B2 (en) | 1995-06-07 | 2009-08-04 | Automotive Technologies International, Inc. | Face monitoring system and method for vehicular occupants |
US5558364A (en) | 1995-06-07 | 1996-09-24 | Larry J. Winget | Plastic air bag cover having an integrated light source |
US20060284839A1 (en) | 1999-12-15 | 2006-12-21 | Automotive Technologies International, Inc. | Vehicular Steering Wheel with Input Device |
JP3316725B2 (ja) | 1995-07-06 | 2002-08-19 | 三菱電機株式会社 | 顔画像撮像装置 |
JP3350296B2 (ja) | 1995-07-28 | 2002-11-25 | 三菱電機株式会社 | 顔画像処理装置 |
JPH0993475A (ja) | 1995-09-26 | 1997-04-04 | Hitachi Ltd | 映像記録再生装置 |
US5704633A (en) | 1995-12-19 | 1998-01-06 | United Technologies Automotive Systems, Inc. | Modular clock spring arrangement |
US5895115A (en) | 1996-01-16 | 1999-04-20 | Lumitex, Inc. | Light emitting panel assemblies for use in automotive applications and the like |
FR2744976B1 (fr) | 1996-02-19 | 1998-03-20 | Renault | Volant de direction pour vehicule automobile dont un secteur de la jante comporte des moyens d'information |
US6400835B1 (en) | 1996-05-15 | 2002-06-04 | Jerome H. Lemelson | Taillight mounted vehicle security system employing facial recognition using a reflected image |
US5749744A (en) | 1996-06-26 | 1998-05-12 | Henderson; Brent E. | Electrical connector with EMI/RFI shielding |
US5666102A (en) | 1996-07-24 | 1997-09-09 | United Technologies Automotive Systems, Inc. | Vehicle signals incorporated into steering wheel rim |
US6190026B1 (en) | 1997-10-24 | 2001-02-20 | Matthew G. Moore | Illuminated automotive emblem |
DE19803158C1 (de) | 1998-01-28 | 1999-05-06 | Daimler Chrysler Ag | Vorrichtung zur Vigilanzzustandsbestimmung |
JP3549403B2 (ja) | 1998-07-14 | 2004-08-04 | 株式会社リコー | ファイルシステム |
US6668682B1 (en) | 1998-07-23 | 2003-12-30 | Takata-Petri Ag | Steering wheel comprising a decorative covering |
WO2000034106A1 (en) | 1998-12-09 | 2000-06-15 | Delphi Technologies, Inc. | A vehicle steering command module with an adjustable steering rim diameter |
USD415442S (en) | 1999-01-20 | 1999-10-19 | Optex Co., Ltd | Intruder detection sensor |
US6296380B1 (en) | 1999-03-18 | 2001-10-02 | Aboud Dawli | Lighted steering wheel |
JP2001055149A (ja) | 1999-08-17 | 2001-02-27 | Toyoda Gosei Co Ltd | 表示器付きステアリングホイール |
JP3386015B2 (ja) | 1999-09-06 | 2003-03-10 | ヤマハ株式会社 | ステアリングホイールの製法 |
DE20003965U1 (de) | 2000-02-24 | 2000-07-13 | Petri Ag | Einrichtung zur Übertragung elektrischen Stroms zwischen zwei zueinander verdrehbaren Bauelementen einer Lenkeinrichtung für Kraftfahrzeuge |
US6538405B1 (en) | 2000-04-28 | 2003-03-25 | The Cherry Corporation | Accessory control system |
USD464595S1 (en) | 2000-04-28 | 2002-10-22 | Logitech Europe S.A. | Steering wheel |
DE20009877U1 (de) | 2000-05-24 | 2000-08-10 | Petri Ag | Lenkradverkleidung |
US20020068605A1 (en) | 2000-08-03 | 2002-06-06 | Stanley Winfield Scott | Manual mobile-communication interface |
DE20014731U1 (de) | 2000-08-25 | 2002-01-17 | R D I Deutschland Autoteile & | Lenkrad für Kraftfahrzeuge |
JP2002103451A (ja) | 2000-10-03 | 2002-04-09 | Yamaha Corp | 複合成型品およびステアリングホイールならびにその製法 |
JP3842542B2 (ja) | 2000-10-25 | 2006-11-08 | 株式会社東海理化電機製作所 | ステアリングホイール製造方法 |
DE20018732U1 (de) | 2000-10-30 | 2001-01-11 | Petri Ag | Lenkrad für Kraftfahrzeuge |
US6703999B1 (en) | 2000-11-13 | 2004-03-09 | Toyota Jidosha Kabushiki Kaisha | System for computer user interface |
ES2287266T3 (es) | 2001-01-23 | 2007-12-16 | Donnelly Corporation | Sistema de iluminacion de vehiculos mejorado. |
DE10113493A1 (de) | 2001-03-19 | 2002-09-26 | Bayerische Motoren Werke Ag | Lenkhandhabe eines Kraftfahrzeugs, insbesondere Lenkrad |
TW487272U (en) | 2001-03-20 | 2002-05-11 | Polytronics Technology Corp | Multilayer circuit boards |
JP2002352229A (ja) | 2001-05-30 | 2002-12-06 | Mitsubishi Electric Corp | 顔部位検出装置 |
DK200101858A (da) | 2001-05-30 | 2002-12-01 | Joergensen Kenneth | Styreorgan |
JP3942526B2 (ja) | 2002-11-01 | 2007-07-11 | 株式会社東海理化電機製作所 | ステアリングスイッチ装置 |
US6791825B1 (en) | 2002-12-10 | 2004-09-14 | Pro-Design Solutions Llc | Tablet computer housing and method of construction |
DE60319336T2 (de) | 2003-01-30 | 2009-02-19 | Key Safety Systems, Inc., Sterling Heights | Lenkrad mit thermoplastischen Verbundmaterialien |
USD502206S1 (en) | 2003-03-03 | 2005-02-22 | Sungeum Music Co., Ltd. | Bridge for a guitar |
US7138922B2 (en) | 2003-03-18 | 2006-11-21 | Ford Global Technologies, Llc | Drowsy driver monitoring and prevention system |
DE10352733A1 (de) | 2003-04-04 | 2004-10-28 | Takata-Petri Ag | Lenkrad für Kraftfahrzeuge |
US6989754B2 (en) | 2003-06-02 | 2006-01-24 | Delphi Technologies, Inc. | Target awareness determination system and method |
DE10324812A1 (de) | 2003-06-02 | 2004-12-23 | Robert Bosch Gmbh | Anzeigeanordnung für ein Kraftfahrzeug und Verfahren zur Ausgabe von Fahrerinformationen, insbesondere für eine Einparkhilfe |
US20050021190A1 (en) | 2003-07-24 | 2005-01-27 | Worrell Barry C. | Method and apparatus for accessing vehicle systems |
JP3987994B2 (ja) | 2003-09-18 | 2007-10-10 | 冨美雄 渡辺 | 車両用ハンドル |
US7525449B1 (en) | 2003-10-20 | 2009-04-28 | Teleflex Megatech, Inc. | Status light for switch on boat steering wheel |
US7672759B1 (en) | 2004-02-24 | 2010-03-02 | Teleflex Megatech, Inc. | Communication with a steering wheel switch |
US6950309B2 (en) | 2004-02-25 | 2005-09-27 | Motorola, Inc. | Power amplifier module assembly |
US7680574B2 (en) | 2004-03-04 | 2010-03-16 | Gm Global Technology Operations, Inc. | Vehicle information system with steering wheel controller |
US20050243172A1 (en) | 2004-04-30 | 2005-11-03 | Teiichiro Takano | Rear view mirror with built-in camera |
US7377186B2 (en) | 2004-07-26 | 2008-05-27 | Transbiotec, Inc. | Engagement of a sensor system with a vehicle operating device |
ITBO20040484A1 (it) | 2004-07-30 | 2004-10-30 | Ferrari Spa | Volante per un autoveicolo |
DE102004039305A1 (de) | 2004-08-12 | 2006-03-09 | Bayerische Motoren Werke Ag | Vorrichtung zur Auswertung der Aufmerksamkeit eines Fahrers bei einem Kollisionsvermeidungssystem in Kraftfahrzeugen |
JP4130820B2 (ja) | 2004-08-27 | 2008-08-06 | 株式会社豊田中央研究所 | 顔中心位置検出装置及び方法並びにプログラム |
US7173536B2 (en) | 2004-08-28 | 2007-02-06 | Landon Duval | Substance detection and alarm using a spectrometer built into a steering wheel assembly |
US7777778B2 (en) | 2004-10-27 | 2010-08-17 | Delphi Technologies, Inc. | Illumination and imaging system and method |
JP4497305B2 (ja) | 2004-12-08 | 2010-07-07 | 株式会社デンソー | 運転者状態判定装置 |
DE202006019996U1 (de) | 2005-01-19 | 2007-08-23 | Takata-Petri Ag | Lenkradbaugruppe für ein Kraftfahrzeug |
US7427924B2 (en) | 2005-02-11 | 2008-09-23 | Triodyne Inc. | System and method for monitoring driver fatigue |
MX2007010513A (es) | 2005-03-04 | 2008-01-16 | Sleep Diagnostics Pty Ltd | Medicion de estado de alerta. |
DE102005013202B4 (de) | 2005-03-16 | 2006-11-23 | Takata-Petri Ag | Lenkradschalter |
JP4692034B2 (ja) | 2005-03-17 | 2011-06-01 | 豊田合成株式会社 | ステアリングホイール |
US7468656B1 (en) | 2005-03-29 | 2008-12-23 | Frank Donald E | Rear-end collision warning light system |
US8011026B2 (en) | 2005-05-19 | 2011-09-06 | Kee Action Sports I Llc | Face mask and goggle system |
US7987030B2 (en) | 2005-05-25 | 2011-07-26 | GM Global Technology Operations LLC | Vehicle illumination system and method |
US20080202282A1 (en) | 2005-05-25 | 2008-08-28 | Spectrum Cubic, Inc. | Vehicle Steering Wheel and Method For Making Same |
US9193375B2 (en) | 2005-08-10 | 2015-11-24 | Autoliv Asp, Inc. | Steering apparatus |
JP2007094619A (ja) | 2005-09-28 | 2007-04-12 | Omron Corp | 認識装置および方法、記録媒体、並びに、プログラム。 |
US7580545B2 (en) | 2005-10-03 | 2009-08-25 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Method and system for determining gaze direction in a pupil detection system |
WO2007047414A2 (en) | 2005-10-12 | 2007-04-26 | The Penn State Research Foundation | Vigilance monitoring technique for vehicle operators |
US7934439B2 (en) | 2005-11-10 | 2011-05-03 | Tk Holdings Inc. | Back light of steering wheel |
JP2007153048A (ja) | 2005-12-02 | 2007-06-21 | Nippon Plast Co Ltd | 表示器付きステアリングホイール |
US7423540B2 (en) | 2005-12-23 | 2008-09-09 | Delphi Technologies, Inc. | Method of detecting vehicle-operator state |
US8384555B2 (en) | 2006-08-11 | 2013-02-26 | Michael Rosen | Method and system for automated detection of mobile phone usage |
US7605693B2 (en) | 2006-08-30 | 2009-10-20 | Kulas Charles J | Visual indicators on vehicle steering wheel displayed in response to hand position |
EP2059413A4 (en) | 2006-09-04 | 2017-11-08 | Autoliv Development AB | Steering wheel arrangement |
JP2008067219A (ja) * | 2006-09-08 | 2008-03-21 | Sony Corp | 撮像装置、撮像方法 |
JP2008094221A (ja) | 2006-10-11 | 2008-04-24 | Denso Corp | 目状態検出装置および目状態検出装置の取り付け方法 |
JP4331197B2 (ja) | 2006-11-06 | 2009-09-16 | トヨタ自動車株式会社 | 眼開度検出装置及び方法 |
USD613217S1 (en) | 2006-11-27 | 2010-04-06 | Honda Motor Co., Ltd. | Front face of a vehicle steering column display |
JP5495355B2 (ja) | 2006-12-15 | 2014-05-21 | 現代自動車株式会社 | 自動車用ステアリングホイール用ディスプレイシステム |
ATE451286T1 (de) | 2007-01-26 | 2009-12-15 | Bomisa S P A | Abdeckung für fahrzeuglenkrad |
TW200838750A (en) | 2007-03-22 | 2008-10-01 | Univ Chang Gung | Intelligent driving safety monitoring system integrating multiple direction information and method thereof |
JP2009018722A (ja) | 2007-07-12 | 2009-01-29 | Panasonic Corp | 車載情報提示装置 |
DE102007032920A1 (de) | 2007-07-14 | 2009-01-15 | Zf Lenksysteme Gmbh | Lenksäule mit einer für eine Anzeigevorrichtung sichtoptimierten Gestaltung |
USD611211S1 (en) | 2007-07-19 | 2010-03-02 | Michael Waldman | Hamper caddy |
USD571244S1 (en) | 2007-08-08 | 2008-06-17 | Brijot Imaging Systems, Inc. | Security system housing |
US8645001B2 (en) | 2007-09-04 | 2014-02-04 | International Business Machines Corporation | Method and system for blind spot identification and warning utilizing visual indicators |
WO2009030223A2 (de) | 2007-09-06 | 2009-03-12 | Takata-Petri Ag | Lenkradbaugruppe für ein kraftfahrzeug |
EP2195224A2 (en) | 2007-09-06 | 2010-06-16 | Takata-Petri AG | Steering wheel assembly for a motor vehicle |
US9520061B2 (en) | 2008-06-20 | 2016-12-13 | Tk Holdings Inc. | Vehicle driver messaging system and method |
JP4363485B2 (ja) | 2008-01-10 | 2009-11-11 | トヨタ自動車株式会社 | ステアリングコラムカバー構造 |
US7686337B2 (en) | 2008-02-06 | 2010-03-30 | Honda Motor Co., Ltd. | Steering column cover assembly and method |
US7815338B2 (en) | 2008-03-02 | 2010-10-19 | Altair Engineering, Inc. | LED lighting unit including elongated heat sink and elongated lens |
JP2009223752A (ja) | 2008-03-18 | 2009-10-01 | Hyundai Motor Co Ltd | 居眠り運転危険判定装置 |
JP4888838B2 (ja) | 2008-05-12 | 2012-02-29 | トヨタ自動車株式会社 | 運転者撮像装置および運転者撮像方法 |
US8067709B2 (en) | 2008-05-26 | 2011-11-29 | Daesung Electric Co., Ltd | Haptic steering wheel switch device and haptic steering wheel switch system including the same |
US8340368B2 (en) | 2008-06-11 | 2012-12-25 | Hyundai Motor Company | Face detection system |
US8391554B2 (en) | 2008-10-01 | 2013-03-05 | GM Global Technology Operations LLC | Eye detection system using a single camera |
US8316736B2 (en) | 2008-10-06 | 2012-11-27 | Honda Motor Co., Ltd. | Steering column cover |
JP5934508B2 (ja) | 2008-10-20 | 2016-06-15 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | Led照明 |
US8061861B2 (en) | 2008-10-27 | 2011-11-22 | Autoliv Asp, Inc. | Method for illuminating colors in a backlit driver airbag emblem |
US20100104780A1 (en) | 2008-10-27 | 2010-04-29 | Paxton Donald J | Printed el foil for backlit airbag emblem |
DE102008057972A1 (de) | 2008-11-19 | 2010-05-20 | Trw Automotive Safety Systems Gmbh | Fahrzeuginnenraumverkleidungsteil |
CN101494771A (zh) | 2008-11-19 | 2009-07-29 | 广东铁将军防盗设备有限公司 | 倒车辅助装置及其摄像装置以及图像合成显示方法 |
US20100194080A1 (en) | 2009-01-30 | 2010-08-05 | Paxton Donald J | Methods for illumination of driver airbag emblems |
US9517679B2 (en) | 2009-03-02 | 2016-12-13 | Flir Systems, Inc. | Systems and methods for monitoring vehicle occupants |
EP2237237B1 (en) | 2009-03-30 | 2013-03-20 | Tobii Technology AB | Eye closure detection using structured illumination |
US8482626B2 (en) | 2009-04-07 | 2013-07-09 | Mediatek Inc. | Digital camera and image capturing method |
CN101877764B (zh) | 2009-04-29 | 2012-05-30 | 鸿富锦精密工业(深圳)有限公司 | 拍摄系统及使用该拍摄系统进行辅助构图的方法 |
US8957779B2 (en) | 2009-06-23 | 2015-02-17 | L&P Property Management Company | Drowsy driver detection system |
CN101639181A (zh) | 2009-08-07 | 2010-02-03 | 广东昭信光电科技有限公司 | 直下式背光系统 |
CN201487849U (zh) | 2009-09-07 | 2010-05-26 | 南京汉德森科技股份有限公司 | 交流led光源用散热基板 |
TWI488149B (zh) | 2009-09-22 | 2015-06-11 | Automotive Res & Testing Ct | Driver monitoring method and its monitoring system |
TWI405134B (zh) | 2009-10-21 | 2013-08-11 | Automotive Res & Testing Ct | Driver face image recognition system |
CN102317859B (zh) | 2009-10-30 | 2013-07-31 | 晶睿通讯股份有限公司 | 摄影装置 |
CN102055956B (zh) | 2009-11-02 | 2017-05-10 | 通用汽车环球科技运作公司 | 车载三维视频系统及用其监测车辆周围环境的方法 |
TW201126258A (en) | 2010-01-29 | 2011-08-01 | Hon Hai Prec Ind Co Ltd | Camera module and electronic products having same |
US20110187518A1 (en) | 2010-02-02 | 2011-08-04 | Ford Global Technologies, Llc | Steering wheel human/machine interface system and method |
US20110198201A1 (en) | 2010-02-12 | 2011-08-18 | Chuang Chih-Kai | Steering wheel having a direction light button |
USD628523S1 (en) | 2010-04-09 | 2010-12-07 | F3M3 Companies, Inc. | Steering column attachment |
US8260482B1 (en) | 2010-04-28 | 2012-09-04 | Google Inc. | User interface for displaying internal state of autonomous driving system |
USD661211S1 (en) | 2010-05-31 | 2012-06-05 | Cheng Uei Precision Industry Co., Ltd. | Device for human face recognition |
TW201208919A (en) | 2010-08-20 | 2012-03-01 | Hon Hai Prec Ind Co Ltd | Vehicle convenience setting system and method of using the same |
JP2012084967A (ja) | 2010-10-07 | 2012-04-26 | Hyundai Motor Co Ltd | 運転者状態検知カメラ |
US8599027B2 (en) | 2010-10-19 | 2013-12-03 | Deere & Company | Apparatus and method for alerting machine operator responsive to the gaze zone |
USD670628S1 (en) | 2010-12-28 | 2012-11-13 | Clarion Co., Ltd. | Car steering console |
US20120206252A1 (en) | 2011-02-16 | 2012-08-16 | Toyota Motor Engineering & Manufacturing North America, Inc. | Lane departure warning system |
US8698639B2 (en) | 2011-02-18 | 2014-04-15 | Honda Motor Co., Ltd. | System and method for responding to driver behavior |
CN103493097B (zh) | 2011-04-15 | 2015-09-16 | 爱信精机株式会社 | 眼睑检测装置、眼睑检测方法 |
EP2518592B1 (en) | 2011-04-25 | 2017-07-26 | Daesung Electric Co., Ltd | Haptic steering wheel switch apparatus |
USD666934S1 (en) | 2011-06-17 | 2012-09-11 | Enocean Gmbh | Contact sensor |
US10471987B2 (en) | 2011-12-15 | 2019-11-12 | Fca Us Llc | Steering wheel damper and alternate power storage device |
US9230333B2 (en) | 2012-02-22 | 2016-01-05 | Raytheon Company | Method and apparatus for image processing |
USD680459S1 (en) | 2012-03-21 | 2013-04-23 | Robert Bosch Gmbh | Door/window contact |
FR2988652B1 (fr) | 2012-04-02 | 2015-04-10 | Renault Sa | Poste de conduite d'un vehicule automobile comprenant un ecran amovible |
US9058706B2 (en) | 2012-04-30 | 2015-06-16 | Convoy Technologies Llc | Motor vehicle camera and monitoring system |
USD710270S1 (en) | 2012-05-25 | 2014-08-05 | Honda Motor Co., Ltd. | Steering pad for an automobile |
US9223638B2 (en) | 2012-09-24 | 2015-12-29 | Sap Se | Lockless spin buffer |
US9308856B2 (en) | 2012-10-23 | 2016-04-12 | Tk Holdings, Inc. | Steering wheel light bar |
JP6394604B2 (ja) | 2012-10-23 | 2018-09-26 | ティーケー ホールディングス インク.Tk Holdings Inc. | ステアリングホイールライトバー |
JP6101512B2 (ja) | 2013-02-25 | 2017-03-22 | 株式会社日本自動車部品総合研究所 | 運転支援装置 |
KR101982858B1 (ko) | 2013-02-28 | 2019-08-28 | 현대자동차주식회사 | 팝업식 변속레버 |
US20140375785A1 (en) | 2013-06-19 | 2014-12-25 | Raytheon Company | Imaging-based monitoring of stress and fatigue |
US8760489B1 (en) | 2013-06-25 | 2014-06-24 | Vonage Network Llc | Method and apparatus for dynamically adjusting aspect ratio of images during a video call |
FR3011972A1 (fr) | 2013-10-15 | 2015-04-17 | Johnson Contr Automotive Elect | Dispositif de positionnement et de fixation d'un element d'affichage et dispositif d'affichage |
USD737709S1 (en) | 2014-01-16 | 2015-09-01 | Greg Hulan | Personal alert device |
USD713277S1 (en) | 2014-03-21 | 2014-09-16 | Panasonic Corporation | Window sensor |
JP6140653B2 (ja) | 2014-06-20 | 2017-05-31 | 豊田合成株式会社 | ヒータエレメントとステアリングホイール |
US9150165B1 (en) | 2014-11-21 | 2015-10-06 | Nissan North America, Inc. | Vehicle camera assembly |
USD751437S1 (en) | 2014-12-30 | 2016-03-15 | Tk Holdings Inc. | Vehicle occupant monitor |
US10614328B2 (en) | 2014-12-30 | 2020-04-07 | Joyson Safety Acquisition LLC | Occupant monitoring systems and methods |
US10532659B2 (en) | 2014-12-30 | 2020-01-14 | Joyson Safety Systems Acquisition Llc | Occupant monitoring systems and methods |
US9533687B2 (en) * | 2014-12-30 | 2017-01-03 | Tk Holdings Inc. | Occupant monitoring systems and methods |
-
2014
- 2014-12-30 US US14/586,124 patent/US9533687B2/en active Active
-
2015
- 2015-12-17 WO PCT/US2015/066245 patent/WO2016109225A1/en active Application Filing
- 2015-12-17 CN CN201580073108.6A patent/CN107107748B/zh active Active
- 2015-12-17 DE DE112015005432.4T patent/DE112015005432T5/de active Pending
-
2016
- 2016-12-28 US US15/391,887 patent/US10046786B2/en active Active
-
2018
- 2018-08-06 US US16/055,827 patent/US10787189B2/en active Active
-
2020
- 2020-09-28 US US17/034,973 patent/US11667318B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030045133A1 (en) * | 2001-02-16 | 2003-03-06 | Leopold Kostal Gmbh & Co. Kg | Steering column module |
US20030067148A1 (en) * | 2001-10-10 | 2003-04-10 | Trw Automotive Safety Systems Gmbh & Co.Kg | Vehicle steering device |
US20100002075A1 (en) * | 2008-07-04 | 2010-01-07 | Hyundai Motor Company | Driver's state monitoring system using a camera mounted on steering wheel |
CN101480926A (zh) * | 2008-12-31 | 2009-07-15 | 广州伟韬电子科技有限公司 | 一种驾驶员疲劳智能监控系统和疲劳骚扰器 |
CN103347446A (zh) * | 2010-12-10 | 2013-10-09 | Tk控股公司 | 用于监控车辆驾驶员的系统 |
CN103442925A (zh) * | 2011-03-25 | 2013-12-11 | Tk控股公司 | 用于确定驾驶员警觉性的系统和方法 |
US20140109719A1 (en) * | 2012-10-23 | 2014-04-24 | Tk Holdings, Inc. | Steering Wheel Light Bar |
CN104112127A (zh) * | 2013-04-18 | 2014-10-22 | 福特环球技术公司 | 用于对车辆的驾驶员成像的系统和方法 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110021146A (zh) * | 2017-12-14 | 2019-07-16 | 矢崎总业株式会社 | 安装在车辆上的拍摄设备及车辆中的拍摄方法 |
CN110194173A (zh) * | 2018-02-27 | 2019-09-03 | 欧姆龙株式会社 | 乘员监视装置 |
CN110194173B (zh) * | 2018-02-27 | 2022-06-10 | 欧姆龙株式会社 | 乘员监视装置 |
WO2021027701A1 (zh) * | 2019-08-13 | 2021-02-18 | 浙江合众新能源汽车有限公司 | 一种车内摄像头定位人脸位置的方法及结构 |
CN113542529A (zh) * | 2020-04-21 | 2021-10-22 | 安霸国际有限合伙企业 | 用于dms和oms的940nm led闪光同步 |
CN113542529B (zh) * | 2020-04-21 | 2024-03-12 | 安霸国际有限合伙企业 | 用于dms和oms的940nm led闪光同步 |
CN111797755A (zh) * | 2020-06-30 | 2020-10-20 | 东风汽车有限公司 | 一种汽车乘员情绪识别方法及电子设备 |
CN114968428A (zh) * | 2021-02-20 | 2022-08-30 | 上海博泰悦臻网络技术服务有限公司 | 虚拟角色的静默模式设定方法、系统、介质及装置 |
Also Published As
Publication number | Publication date |
---|---|
US10787189B2 (en) | 2020-09-29 |
US20210122404A1 (en) | 2021-04-29 |
DE112015005432T5 (de) | 2017-08-31 |
US20160185354A1 (en) | 2016-06-30 |
US10046786B2 (en) | 2018-08-14 |
US11667318B2 (en) | 2023-06-06 |
WO2016109225A1 (en) | 2016-07-07 |
US9533687B2 (en) | 2017-01-03 |
US20170106892A1 (en) | 2017-04-20 |
US20190135325A1 (en) | 2019-05-09 |
CN107107748B (zh) | 2021-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107107748A (zh) | 乘员监视系统和方法 | |
CN107107953B (zh) | 乘员监视系统和方法 | |
CN107111754A (zh) | 乘员监视系统和方法 | |
US11713048B2 (en) | Integration of occupant monitoring systems with vehicle control systems | |
US11383721B2 (en) | System and method for responding to driver state | |
EP3158392B1 (en) | System and method for responding to driver state | |
EP2040208B1 (en) | Vehicular user hospitality system | |
US20220118985A1 (en) | Cognitive tunneling mitigation device for driving | |
KR20160109243A (ko) | 운전자의 사고를 예방할 수 있는 스마트 감성조명 장치 | |
KR101727466B1 (ko) | 자동차의 스마트 가니쉬 및 자동차 | |
CN114701503A (zh) | 车辆驾驶人员驾驶行为调整方法、装置、设备及存储介质 | |
KR101883208B1 (ko) | 자동차의 도어 트림용 스마트 가니쉬 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |