CN114155592A - 一种多源融合视觉感知座舱系统 - Google Patents
一种多源融合视觉感知座舱系统 Download PDFInfo
- Publication number
- CN114155592A CN114155592A CN202111568544.4A CN202111568544A CN114155592A CN 114155592 A CN114155592 A CN 114155592A CN 202111568544 A CN202111568544 A CN 202111568544A CN 114155592 A CN114155592 A CN 114155592A
- Authority
- CN
- China
- Prior art keywords
- camera
- rgb
- controller
- visual perception
- mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000016776 visual perception Effects 0.000 title claims abstract description 13
- 230000004927 fusion Effects 0.000 title claims abstract description 11
- 230000006870 function Effects 0.000 claims abstract description 14
- 238000004364 calculation method Methods 0.000 claims abstract description 4
- 238000012544 monitoring process Methods 0.000 abstract description 6
- 230000010354 integration Effects 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 description 7
- 238000009434 installation Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 230000000391 smoking effect Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 description 1
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 description 1
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008909 emotion recognition Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Abstract
本发明公开了一种多源融合视觉感知座舱系统。其中，该系统包括：控制器，以及与所述控制器相连的RGB‑IR摄像头；所述RGB‑IR摄像头包括两种识别模式，用于分别获取驾驶员的彩色图像或红外图像；所述控制器用于根据内置的算法对RGB‑IR摄像头工作在不同模式下获取的图像信息进行运算，并根据运算结果驱动对应的功能应用。本发明仅通过控制器和RGB‑IR摄像头，就能全时段实现驾驶员状态监测、人脸识别、安全带未系提醒和手势控制车内影音娱乐系统等多种功能，显著提高座舱系统集成度，降低系统成本，方便布置安装。
Description
技术领域
本发明实施例涉及智能座舱技术领域，尤其涉及一种多源融合视觉感知座舱系统。
背景技术
近年来，自动驾驶技术得到广泛关注的同时也正在飞速发展，自动驾驶辅助功能也在各品牌车型中量产推向市场，使用者的接受度也是越来越高。其中智能座舱技术依据市场需求也成为自动驾驶技术的一个重要分支，基于深度学习的智能视觉的开发将会成为汽车智能化发展的一个重要突破点。
目前车端基于摄像头的智能视觉技术越来越多，常见的有360环视，ADAS等，新技术领域有DMS、抽烟/打电话监测、情绪识别，人脸识别和手势识别等。人机交互技术也从以往的实体按键方式向基于手势识别技术的无接触方式过渡，尽可能方便地传达控制指令，避免注意力分散导致的交通安全隐患。
同时，技术发展也带来了一些问题，单个摄像头功能单一、复用性低，常常需要通过多个摄像头满足不同功能需求，每项功能对摄像头的具体参数和布置要求不同，而且摄像头等零部件的增加导致成本增加，对车内造型布置等都带来一定挑战。
发明内容
本发明提供一种多源融合视觉感知座舱系统，以实现全时段实现驾驶员状态监测、人脸识别、安全带未系提醒和手势控制车内影音娱乐系统等多种功能，显著提高了座舱系统的集成度，降低系统成本，方便布置安装。
本发明实施例提供了一种多源融合视觉感知座舱系统，包括：
控制器，以及与所述控制器相连的RGB-IR摄像头；
所述RGB-IR摄像头包括两种识别模式，用于分别获取驾驶员的彩色图像或红外图像；
所述控制器用于根据内置的算法对RGB-IR摄像头工作在不同模式下获取的图像信息进行运算，并根据运算结果驱动对应的功能应用。
可选的，所述RGB-IR摄像头布置在车辆的中控台区域。
可选的，当所述RGB-IR摄像头工作在IR模式时，用于进行算法识别；
当所述RGB-IR摄像头工作在RGB模式时，用于驱动车内拍照或视频通话功能。
可选的，当所述RGB-IR摄像头工作在IR模式时，采取红外补光曝光模式。
可选的，该装置还包括：与控制相连的显示模块，所述显示模块用于显示RGB-IR摄像头采集的图像相关信息以及视觉感知座舱系统的功能应用信息。
本发明的有益效果：
1.本发明旨在提出一种多源融合视觉感知座舱系统，主要包括控制器和RGB-IR摄像头，全时段实现驾驶员状态监测、人脸识别、安全带未系提醒和手势控制车内影音娱乐系统等多种功能，显著提高了座舱系统集成度，降低系统成本，方便布置安装。
2.本发明减小了摄像头安装视场角(angle of view，FOV)对造型设计的影响和限制，减少摄像头、控制器和线束等零部件数量，便于整车布置，关键硬件共用可大幅降低产品成本。
3.本发明将RGB-IR摄像头曝光模式，应用在手势识别技术，显著提升算法识别准确度，稳定性。
4.本发明实现软硬件分离，图像数据在各类应用之间共享，实现功能可选择、可扩展；可作为模块化产品在不同车型、不同配置上进行灵活搭。
附图说明
图1是本发明实施例中的一种多源融合视觉感知座舱系统；
图2是本发明实施例中的RGB-IR摄像头安装位置示意图；
图3是本发明实施例中的红外补光模式手势效果图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例
参见图1，本发明实施例提供了一种多源融合视觉感知座舱系统，包括：
控制器，以及与所述控制器相连的RGB-IR摄像头；
所述RGB-IR摄像头包括两种识别模式，用于分别获取驾驶员的彩色图像或红外图像；
所述控制器用于根据内置的算法对RGB-IR摄像头工作在不同模式下获取的图像信息进行运算，并根据运算结果驱动对应的功能应用。
上述控制器还与整车相连，与摄像头相连的线束用于供电和传输LVDS视频信号，与整车相连的线束用于给控制器供电、传输视频信号及CAN网络通信。
本实施例中，当所述RGB-IR摄像头工作在红外(IR)模式时，用于进行算法识别；
当所述RGB-IR摄像头工作在RGB模式时，用于驱动车内拍照或视频通话功能。
具体的，当RGB-IR摄像头工作在IR模式时，LED灯发射近红外光照射物体后返回镜头，感光芯片将光信号转变为电信号。电信号经ISP(Internet Service Provider，ISP)处理之后，传入串行器进行低压差分信号(Low Voltage Differential Signaling，LVDS)编码后传输至控制器，解串器对信号解码后得到红外图像，控制器根据算法对红外图像的识别结果驱动相应的功能应用。
RGB-IR摄像头不受白天和黑夜时段的限制，仅通过单一的RGB-IR摄像头采集到的图像信息，就可以全时段实现驾驶员状态监测、人脸识别、安全带未系提醒和手势控制车内影音娱乐系统等多种功能，显著提高集成度，降低系统成本，方便布置安装。
参见图2，本实施例中，摄像头视场角满足HFOV:120°/VFOV:100°，摄像头布局在中控台区域，基本覆盖驾驶员头部、手部、方向盘、安全带、以及其他乘客等区域，摄像头视场角范围内尽量不要有遮挡、反光，最终安装位置以实际校核结果为准。
由于RGB摄像头工作在摄像头视场下时，冗余信息较多，手势识别算法鲁棒性较差，采取红外补光曝光模式，弱化除手部信息外的干扰信息，可以显著提升算法稳定性，红外补光模式手势效果图如图3所示。
接下来介绍一种多源融合视觉感知座舱系统应用案例如下：
1、RGB-IR摄像头安装在中控台上，如图2所示。安装完毕后，上电启动。RGB-IR摄像头可全时段对驾驶员状态(疲劳、抽烟/打电话、注意力分散等)进行监测，支持人脸录入，人脸识别；还包括手势识别、安全带未系提醒、摄像头监测、系统故障检测等应用。
2、可将信号线连接至显示屏查看图像及视频流，手势控制车内影音娱乐系统等多种功能，减少驾驶员因操作车机系统带来的安全隐患。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (5)
1.一种多源融合视觉感知座舱系统，其特征在于，包括：
控制器，以及与所述控制器相连的RGB-IR摄像头；
所述RGB-IR摄像头包括两种识别模式，用于分别获取驾驶员的彩色图像或红外图像；
所述控制器用于根据内置的算法对RGB-IR摄像头工作在不同模式下获取的图像信息进行运算，并根据运算结果驱动对应的功能应用。
2.根据权利要求1所述的系统，其特征在于，所述RGB-IR摄像头布置在车辆的中控台区域。
3.根据权利要求1所述的系统，其特征在于，当所述RGB-IR摄像头工作在IR模式时，用于进行算法识别；
当所述RGB-IR摄像头工作在RGB模式时，用于驱动车内拍照功能或视频通话功能。
4.根据权利要求3所述的系统，其特征在于，当所述RGB-IR摄像头工作在IR模式时，采取红外补光曝光模式。
5.根据权利要求1所述的系统，其特征在于，还包括与控制相连的显示模块，所述显示模块用于显示所述RGB-IR摄像头采集的图像相关信息以及视觉感知座舱系统的功能应用信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111568544.4A CN114155592A (zh) | 2021-12-21 | 2021-12-21 | 一种多源融合视觉感知座舱系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111568544.4A CN114155592A (zh) | 2021-12-21 | 2021-12-21 | 一种多源融合视觉感知座舱系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114155592A true CN114155592A (zh) | 2022-03-08 |
Family
ID=80451721
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111568544.4A Pending CN114155592A (zh) | 2021-12-21 | 2021-12-21 | 一种多源融合视觉感知座舱系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114155592A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108229345A (zh) * | 2017-12-15 | 2018-06-29 | 吉利汽车研究院（宁波）有限公司 | 一种驾驶员检测系统 |
| CN109190600A (zh) * | 2018-10-18 | 2019-01-11 | 知行汽车科技（苏州）有限公司 | 一种基于视觉传感器的驾驶员监控系统 |
| CN112418021A (zh) * | 2020-11-10 | 2021-02-26 | 上海臻面智能信息科技有限公司 | 一种单rgb-ir摄像头的安全模组的实现方法及装置 |
-
2021
- 2021-12-21 CN CN202111568544.4A patent/CN114155592A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108229345A (zh) * | 2017-12-15 | 2018-06-29 | 吉利汽车研究院（宁波）有限公司 | 一种驾驶员检测系统 |
| CN109190600A (zh) * | 2018-10-18 | 2019-01-11 | 知行汽车科技（苏州）有限公司 | 一种基于视觉传感器的驾驶员监控系统 |
| CN112418021A (zh) * | 2020-11-10 | 2021-02-26 | 上海臻面智能信息科技有限公司 | 一种单rgb-ir摄像头的安全模组的实现方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11688162B2 (en) | Drive assist device | |
| CN110794818A (zh) | 一种远程驾驶方法、装置及系统 | |
| US20180015879A1 (en) | Side-view mirror camera system for vehicle | |
| US9563582B2 (en) | Modular device, system, and method for reconfigurable data distribution | |
| CN106251698A (zh) | 用于在自主车辆与乘客之间通信的方法和控制单元 | |
| CN110562271A (zh) | 基于车辆智能座舱的人脸识别装置、车辆智能座舱及车辆 | |
| CN208360161U (zh) | 基于车辆智能座舱的人脸识别装置、车辆智能座舱及车辆 | |
| CN213399299U (zh) | 一种仪表域控制器系统 | |
| WO2024061137A1 (zh) | 车载座舱感知设备及其控制方法 | |
| CN113891039A (zh) | 一种车载环视系统图像采集处理系统及方法 | |
| CN113852795A (zh) | 视频画面调整方法、装置、电子设备及存储介质 | |
| CN114155592A (zh) | 一种多源融合视觉感知座舱系统 | |
| CN112969033A (zh) | 一种智能座舱车内智能感知系统 | |
| KR20190123368A (ko) | 스마트 카 제어 및 디스플레이 시스템 | |
| CN113432614A (zh) | 车辆导航方法、装置、电子设备及计算机可读存储介质 | |
| CN219268923U (zh) | 车载视觉控制器 | |
| CN218228833U (zh) | 车载显示装置及车辆 | |
| KR20220010657A (ko) | 딥러닝 학습을 이용한 사용자 경험 기반의 차량 연동 디스플레이 시스템 및 그 운영 방법 | |
| WO2020149094A1 (ja) | 撮像装置、撮像システムおよび故障検出方法 | |
| KR102439439B1 (ko) | 전자 제어 유닛을 공유하는 차량용 영상 감시 장치 | |
| CN209079835U (zh) | 车载智能互联系统 | |
| CN218006393U (zh) | 一种实现车载视频感知集中化处理的电路结构 | |
| KR20140079235A (ko) | 차량용 영상장치 및 영상 처리방법 | |
| CN216310423U (zh) | 抬头显示装置 | |
| CN115243000B (zh) | 一种汽车座舱监控系统及汽车 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220308 |
|
| RJ01 | Rejection of invention patent application after publication |