CN111152744B - 车载乘客检测设备及其控制方法 - Google Patents

车载乘客检测设备及其控制方法 Download PDF

Info

Publication number
CN111152744B
CN111152744B CN201911077347.5A CN201911077347A CN111152744B CN 111152744 B CN111152744 B CN 111152744B CN 201911077347 A CN201911077347 A CN 201911077347A CN 111152744 B CN111152744 B CN 111152744B
Authority
CN
China
Prior art keywords
passenger
vehicle
control unit
interest
captured image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911077347.5A
Other languages
English (en)
Other versions
CN111152744A (zh
Inventor
鲁承钟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Mobis Co Ltd
Original Assignee
Hyundai Mobis Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Mobis Co Ltd filed Critical Hyundai Mobis Co Ltd
Publication of CN111152744A publication Critical patent/CN111152744A/zh
Application granted granted Critical
Publication of CN111152744B publication Critical patent/CN111152744B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01566—Devices for warning or indicating mode of inhibition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60H—ARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
    • B60H1/00—Heating, cooling or ventilating [HVAC] devices
    • B60H1/00642—Control systems or circuits; Control members or indication devices for heating, cooling or ventilating devices
    • B60H1/00735—Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models
    • B60H1/00742—Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models by detection of the vehicle occupants' presence; by detection of conditions relating to the body of occupants, e.g. using radiant heat detectors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/002—Seats provided with an occupancy detection means mounted therein or thereon
    • B60N2/0021—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/0153—Passenger detection systems using field detection presence sensors
    • B60R21/01538—Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01554—Seat position sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01556—Child-seat detection systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/10—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device
    • B60R25/102—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device a signal being sent to a remote location, e.g. a radio signal being transmitted to a police station, a security company or the owner
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/19—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using infrared-radiation detection systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/22—Status alarms responsive to presence or absence of persons
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0881—Seat occupation; Driver or passenger presence
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2302/00—Responses or measures related to driver conditions
    • B60Y2302/03—Actuating a signal or alarm device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Thermal Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

本文公开了一种车载乘客检测设备及其控制方法。车载乘客检测设备包括：IR相机，被配置为从顶部拍摄车辆中的座椅；行驶状态检测单元，被配置为检测车辆的行驶状态；警告单元，被配置为警告乘客的忽略；以及控制单元，被配置为当确定车辆在从行驶状态检测单元输入的行驶状态下停放或停止时，从IR相机接收车辆内的捕获图像，以将捕获图像分割成受关注区域，以通过针对每个受关注区域的专用神经网络提取乘客的特征来检测所有座椅中的乘客，并且然后根据是否有被忽略的乘客，通过警告单元输出警报。

Description

车载乘客检测设备及其控制方法
相关申请的交叉引用
本申请要求于2018年11月7日在韩国知识产权局提交的韩国专利申请第10-2018-0135689号的优先权，其全部内容通过引用合并于此。
技术领域
本公开的实施方式涉及一种车载乘客检测设备及其控制方法，并且更具体地，涉及一种基于图像检测车辆中的乘客并确定是否忽略乘客以警告该乘客的忽略来检测乘客的车载乘客检测设备及其控制方法。
背景技术
通常，操作各种类型的学校车辆，诸如货车或公共汽车，以在指定地点接取儿童之后将他们送到目的地，同时在诸如幼儿园、托儿设施、学校和学院的教育设施的预定路线上行驶。
顺便提及，这些天，公共汽车在恶劣的环境中操作，其中驾驶员必须执行从出发到到达的所有操作并在特殊情况下充当助手。
由于驾驶员的角色是如此重，驾驶员经常在儿童被忽略在公共汽车中的情况下下车，其发动机已停止。在这种情况下，由于炎热的夏季期间车辆内封闭空间中温度的迅速升高，经常会发生事故。
因此，为了解决该问题，在一些情况下在乘客座椅上安装就座传感器或语音传感器，以在驾驶员离开其中有老人或儿童的车辆时保护乘客。
然而，就座传感器的问题在于，即使当将物体放置在座椅上时，就座传感器也将物体检测为乘客，并且语音传感器的问题在于其可能在检测期间将语音误认为是外部噪声，并且如果没有语音就不能检测检测语音。
另外，存在的问题在于，即使当基于图像执行搜索时，根据乘客的姿势来不同地检测乘客，并且新生儿或未成年不会被检测为乘客。
在韩国专利第10-1478053号(2014年12月24日出版，标题为“Safety System forChildren’s School Vehicle”)中公开了本发明的相关技术。
发明内容
各个实施方式针对一种车载乘客检测设备及其控制方法，当基于图像检测车辆中的乘客时，根据乘客的特征对受关注区域进行分割，通过适合于受关注的分割区域中的特征的专用神经网络提取乘客的特征，并且然后融合提取的特征信息以将乘客检测为最终乘客，从而提高检测性能，并确定是否忽略了该乘客以警告该乘客的忽略。
在实施方式中，提供了一种车载乘客检测设备，包括：红外辐射(IR)相机，被配置为从顶部拍摄车辆的座椅；行驶状态检测单元，被配置为检测车辆的行驶状态；警告单元，被配置为警告乘客的忽略；和控制单元，被配置为当确定车辆在从行驶状态检测单元输入的行驶状态下停放或停止时，从IR相机接收车辆内的捕获图像，将捕获图像分割成受关注区域，通过针对每个受关注区域的专用神经网络提取乘客的特征，从而检测所有座椅中的乘客，并且然后根据是否有被忽略的乘客，通过警告单元输出警报。
IR相机可包括具有广视角的鱼眼镜头。
控制单元可将捕获图像分割为：用于检测不使用安全座椅的乘客和坐在正常位置并处于正常姿势的乘客的正常受关注区域；用于检测处于异常姿势和异常位置的乘客的异常受关注区域；以及用于检测使用安全座椅的乘客的未成年受关注区域。
控制单元可通过将捕获图像的每个座椅图像标准化为预定的正常尺寸来设置正常受关注区域。
控制单元可通过将捕获图像的后座图像标准化为预定的异常尺寸来设置异常受关注区域。
控制单元可通过将捕获图像的后座图像标准化为预定的未成年尺寸来设置未成年受关注区域。
控制单元可通过使用针对每个受关注区域的卷积神经网络提取乘客的特征，并且然后通过使用完全连接的神经网络融合所提取的特征的相关信息，来检测乘客。
当在驾驶员在车辆外的情况下在预定时间内检测到另一个座椅上的乘客时，由于检测到乘客，控制单元可确定该乘客被忽略。
车载乘客检测设备还可包括无线通信单元，无线通信单元被配置为使得当检测到被忽略的乘客时，控制单元通过无线通信单元将警报输出到驾驶员的移动通信终端。
控制单元可将警报输出到车辆控制单元以操作空调。
在实施方式中，提供了一种控制车载乘客检测设备的方法，包括：当确定车辆在输入到控制单元的行驶状态下停车或停止时，将车辆内的捕获图像从IR相机输入到控制单元；通过将捕获图像分割成受关注区域并通过由控制单元通过针对每个受关注区域的专用神经网络提取乘客的特征来检测所有座椅中的乘客；在由控制单元检测到乘客之后，确定是否有被忽略的乘客；以及根据由控制单元确定是否有被忽略的乘客输出警报。
当在所检测的乘客中将捕获图像分割成受关注区域时，控制单元可将捕获图像分割为：用于检测不使用安全座椅的乘客和坐在正常位置并处于正常姿势的乘客的正常受关注区域；用于检测处于异常姿势和异常位置的乘客的异常受关注区域；以及用于检测使用安全座椅的乘客的未成年受关注区域。
可通过由控制单元将捕获图像的每个座椅图像标准化为预定的正常尺寸来设置正常受关注区域。
可通过由控制单元将捕获图像的后座图像标准化为预定的异常尺寸来设置异常受关注区域。
可通过由控制单元将捕获图像的后座图像标准化为预定的未成年尺寸来设置未成年受关注区域。
在检测乘客中，控制单元可通过使用针对每个受关注区域的卷积神经网络提取乘客的特征，并且然后通过使用完全连接的神经网络融合所提取的特征的相关信息，来检测乘客。
在确定是否存在被忽略的乘客中，当在驾驶员在车辆外的情况下在预定时间内检测到另一个座椅上的乘客时，由于检测到乘客，控制单元可确定该乘客被忽略。
在输出警报时，控制单元可通过无线通信单元将警报输出到驾驶员的移动通信终端。
在输出警报时，控制单元可将警报输出到车辆控制单元以操作空调。
从以上描述显而易见的是，根据本发明的示例性实施方式的车载乘客检测设备及其控制方法，当基于图像检测车辆中的乘客时，根据乘客的特征分割受关注区域；通过适合于分割的受关注区域中的特征的专用神经网络提取乘客的特征；并且然后融合提取的特征信息以将乘客检测为最终乘客。因此，不仅可不考虑乘客的姿势或年龄等来提高检测性能，以使错误警报的发生率最小化，而且可准确地确定是否忽略了乘客并且警告乘客的忽略，以防止由被忽略的乘客引起的事故。
附图说明
图1是示出根据本发明的实施方式的车载乘客检测设备的框图。
图2是示出根据本发明的实施方式的车载乘客检测设备中用于检测乘客的受关注区域的视图。
图3是示出在根据本发明的实施方式的车载乘客检测设备中用于检测乘客的神经网络结构的视图。
图4是示出在根据本发明的实施方式的车载乘客检测设备中通过融合乘客的特征信息来检测乘客的过程的视图。
图5是用于说明根据本发明的实施方式的控制车载乘客检测设备的方法的流程图。
具体实施方式
在下文中，以下将通过实施方式的各种示例，参照附图，详细描述根据本发明的车载乘客检测设备及其控制方法。应当注意，附图不一定是按比例绘制的，并且为了清楚和方便描述，可能会夸大线的粗细或组件的尺寸。此外，这里使用的术语是考虑到本发明的功能而定义的术语，并且可根据用户或操作者的意图或实践而改变。因此，应基于本文阐述的全部公开内容来定义这些术语。
图1是示出根据本发明的实施方式的车载乘客检测设备的框图。图2是示出根据本发明的实施方式的车载乘客检测设备中用于检测乘客的受关注区域的视图。图3是示出在根据本发明的实施方式的车载乘客检测设备中用于检测乘客的神经网络结构的视图。图4是示出在根据本发明的实施方式的车载乘客检测设备中通过融合乘客的特征信息来检测乘客的过程的视图。
如图1所示，根据本发明的实施方式的车载乘客检测设备可包括IR相机10、行驶状态检测单元20、警告单元40、控制单元30和无线通信单元50。
IR相机10从顶部拍摄车辆的座椅，并将捕获图像提供给控制单元30。
IR相机10可配备有具有宽视角的鱼眼镜头，以通过单个相机拍摄车辆中的所有座椅。
行驶状态检测单元20检测车辆的行驶状态，以将其提供给控制单元30，使得控制单元30可确定车辆是否是停车或停止。
警告单元40警告驾驶员以识别对乘客的忽略。
警告单元40可设置在车辆的集群中以输出警告屏幕或声音。
当确定车辆在从行驶状态检测单元20输入的行驶状态下停放或停止时，控制单元30可从IR相机10接收车辆内的捕获图像，以将捕获图像分割成受关注区域。
受关注区域可如图2所示来定义。
即，如图2中的(a)所示，控制单元30可通过将捕获图像的每个座椅图像标准化为预定的正常尺寸来设置用于检测不使用安全座椅的乘客以及坐在正常位置并处于正常姿势的乘客的正常受关注区域。
例如，控制单元30可通过将图像标准化为224×224尺寸来设置A到E的五个正常受关注区域。
另外，如图2中的(b)所示，控制单元30可通过将捕获图像的后座图像标准化为预定的异常尺寸来设置用于检测处于异常姿势和异常位置的乘客(例如，坐在两个座椅上或者躺下或站起来的乘客)的异常受关注区域。
例如，控制单元30可通过将图像标准化为448×224尺寸来设置F的异常受关注区域。
另外，如图2中的(c)所示，控制单元30可通过将捕获图像的后座图像标准化为预定的未成年尺寸来设置用于检测小于成人的未成年乘客或使用安全座椅的未成年乘客的未成年受关注区域。
例如，控制单元30可通过将图像标准化为112×112尺寸来设置G和H的未成年受关注区域。
控制单元30可通过设置用于捕获图像的受关注区域，并且然后通过针对每个受关注区域的专用神经网络提取乘客的特征来检测所有座椅中的乘客。
如图3所示，控制单元30可通过使用针对每个受关注区域的卷积神经网络提取乘客的特征，并且然后通过使用完全连接的神经网络融合提取的特征的相关信息来检测乘客。
图3中的(a)示出了通过神经网络输出正常乘客特征图以提取正常受关注区域中的乘客的特征。图3中的(b)示出了输出异常乘客特征图以提取异常受关注区域中的乘客的特征。图3中的(c)示出了输出未成年乘客特征图以提取未成年受关注区域中的乘客的特征。然后，图3中的(d)示出了可通过接收正常乘客特征图、异常乘客特征图和未成年乘客特征图并通过完全连接的神经网络来对相关性信息建模，基于乘客占用情况的概率值来检测所有座椅中的乘客。
即，如图4所示，可通过融合从各个受关注区域提取的特征图并为每个节点定义概率值以确定该乘客是否在车辆中来检测乘客。
控制单元30可如上所述在检测到乘客之后确定乘客是否被忽略，并通过警告单元40输出警报。
当在驾驶员在车外的情况下在预定时间内检测到另一个座椅上的乘客时，由于检测到乘客，控制单元30可确定该乘客被忽略并输出警报。
控制单元30可将警报输出到车辆控制单元60以操作空调等，从而防止由被忽略的乘客引起的二次事故。
当检测到被忽略的乘客时，控制单元30可通过无线通信单元50向驾驶员的移动通信终端输出警报，使得驾驶员即使处于远距离处也可识别并应对车辆的状况。
如上所述，根据本发明的实施方式的车载乘客检测设备，当基于图像检测车辆中的乘客时，根据乘客的特征分割受关注区域，通过适合于分割的受关注区域中特征的专用神经网络来提取乘客的特征，并且然后融合提取的特征信息以将乘客检测为最终乘客。因此，不仅可不考虑乘客的姿势或年龄等来提高检测性能，以使错误警报的发生率最小化，而且可准确地确定是否忽略了乘客并且警告该乘客的忽略，以防止因被忽略的乘客引起的事故。
图5是用于说明根据本发明的实施方式的控制车载乘客检测设备的方法的流程图。
如图5所示，在根据本发明的实施方式的控制车载乘客检测设备的方法中，首先，控制单元30初始化车载乘客检测设备开始操作时的经过时间(S10)。
在步骤S10中初始化经过时间之后，控制单元30从行驶状态检测单元20接收车辆的行驶状态，并确定车辆是否是停车或停止(S20)。
当由于在步骤S20中确定车辆是否是停车或停止而没有停车或停止时，即，当车辆被驾驶时，控制单元30初始化经过时间(S100)。
即，由于可在驾驶车辆时确定乘客没有被忽略，因此可初始化所计数的经过时间。
当在步骤S20中确定车辆是否是停车或停止的结果是车辆停车或停止时，控制单元30从IR相机10接收捕获图像(S30)。
在步骤S30中接收到捕获图像之后，控制单元将捕获图像分割成受关注区域并通过针对每个受关注区域的专用神经网络提取乘客的特征来检测所有座椅中的乘客(S40)。
受关注区域可如图2所示来定义。
即，如图2中的(a)所示，控制单元30可通过将捕获图像的每个座椅图像标准化为预定的正常尺寸来设置用于检测不使用安全座椅的乘客以及坐在正常位置并处于正常姿势的乘客的正常受关注区域。
例如，控制单元30可通过将图像标准化为224×224尺寸来设置A到E的五个正常受关注区域。
另外，如图2中的(b)所示，控制单元30可通过将捕获图像的后座图像标准化为预定的异常尺寸来设置用于检测处于异常姿势和异常位置的乘客(例如，坐在两个座椅上或者躺下或站起来的乘客)的异常受关注区域。
例如，控制单元30可通过将图像标准化为448×224尺寸来设置F的异常受关注区域。
另外，如图2中的(c)所示，控制单元30可通过将捕获图像的后座图像标准化为预定未成年尺寸来设置用于检测小于成人的未成年乘客或使用安全座椅的未成年乘客的未成年受关注区域。
例如，控制单元30可通过将图像标准化为112×112尺寸来设置G和H的未成年受关注区域。
控制单元30可通过如上所述设置捕获图像的受关注区域，并且然后通过针对每个受关注区域的专用神经网络提取乘客的特征来检测所有座椅中的乘客。
如图3所示，控制单元30可通过使用针对每个受关注区域的卷积神经网络提取乘客的特征，并且然后使用完全连接的神经网络融合提取的特征的相关信息来检测乘客。
图3中的(a)示出了通过神经网络输出正常乘客特征图以提取正常受关注区域中的乘客的特征。图3中的(b)示出了输出异常乘客特征图以提取异常受关注区域中的乘客的特征。图3中的(c)示出了输出未成年乘客特征图以提取未成年受关注区域中的乘客的特征。然后，图3中的(d)示出了可通过接收正常乘客特征图、异常乘客特征图和未成年乘客特征图并通过完全连接的神经网络来对相关信息建模，基于乘客占用情况的概率值来检测所有座椅中的乘客。
即，如图4所示，可通过融合从各个受关注区域提取的特征图并为每个节点定义概率值以确定该乘客是否在车辆中来检测乘客。
在步骤S40中检测到乘客之后，控制单元30确定驾驶员是否在车辆中(S50)。
当在步骤S50中确定驾驶员是否在车辆中的结果是驾驶员存在于车辆中时，控制单元30初始化经过时间，并且然后结束处理(S100)。
另一方面，当在步骤S50中确定驾驶员是否在车辆中的结果是驾驶员不存在于车辆中时，控制单元30确定乘客是否存在于另一座椅中(S60)。
当在步骤S60中确定乘客是否在另一个座椅中的结果是乘客不存在时，控制单元30初始化经过时间，并且然后结束处理(S100)。
另一方面，当在步骤S60中确定乘客是否在另一个座椅中的结果是存在乘客时，控制单元30对经过时间进行计数(S70)。
在步骤S70中对经过时间进行计数之后，控制单元30确定经过时间是否超过预定时间(S80)。
当在步骤S80中确定经过时间未超过预定时间时，控制单元30返回到步骤S20以确定车辆的行驶状态，当车辆停放或停止时，控制单元30重复以上处理，以确定在计算经过时间时是否忽略了乘客。
当在步骤S80中确定经过时间超过预定时间时，控制单元30通过警告单元40输出乘客忽略警报(S90)。
当在步骤S90中输出乘客忽略警报时，控制单元30可将警报输出到车辆控制单元60以操作空调等，从而防止由被忽略的乘客引起的二次事故。
同时，当检测到被忽略的乘客时，控制单元30可通过无线通信单元50向驾驶员的移动通信终端输出警报，使得驾驶员即使在远距离处也可识别并应对车辆的状况。
如上所述，根据本发明的实施方式的控制车载乘客检测设备的方法，当基于图像检测车辆中的乘客时，根据乘客的特征分割受关注区域，通过适合于分割的受关注区域中特征的专用神经网络提取乘客的特征，并且然后融合提取的特征信息以将乘客检测为最终乘客。因此，不仅可不考虑乘客的姿势或年龄等来提高检测性能，以使错误警报的发生率最小化，而且可准确地确定是否忽略了乘客并且警告乘客的忽略，以防止因被忽略的乘客引起的事故。
尽管上面已经描述了各种实施方式，但是本领域技术人员将理解，所描述的实施方式仅是示例性的。对于本领域技术人员将显而易见的是，在不脱离本公开的精神和范围的情况下，可进行各种修改和其他等效实施方式。因此，本发明的真正技术保护范围应由所附权利要求书限定。

Claims (17)

1.一种车载乘客检测设备，包括：
红外辐射相机，被配置为从顶部拍摄车辆的座椅；
行驶状态检测单元，被配置为检测所述车辆的行驶状态；
警告单元，被配置为警告乘客的忽略；以及
控制单元，被配置为当确定所述车辆在从所述行驶状态检测单元输入的行驶状态下停放或停止时，从所述红外辐射相机接收所述车辆内的捕获图像，将所述捕获图像分割成受关注区域，以通过针对每个受关注区域的专用神经网络提取所述乘客的特征来检测所有座椅中的乘客，并且然后根据是否有被忽略的乘客，通过所述警告单元输出警报；
其中，所述控制单元将所述捕获图像分割为：用于检测不使用安全座椅的乘客和坐在正常位置并处于正常姿势的乘客的正常受关注区域；用于检测处于异常姿势和异常位置的乘客的异常受关注区域；以及用于检测使用安全座椅的乘客的未成年受关注区域。
2.根据权利要求1所述的车载乘客检测设备，其中，所述红外辐射相机包括具有广视角的鱼眼镜头。
3.根据权利要求1所述的车载乘客检测设备，其中，所述控制单元通过将所述捕获图像的每个座椅图像标准化为预定的正常尺寸来设置所述正常受关注区域。
4.根据权利要求1所述的车载乘客检测设备，其中，所述控制单元通过将所述捕获图像的后座图像标准化为预定的异常尺寸来设置所述异常受关注区域。
5.根据权利要求1所述的车载乘客检测设备，其中，所述控制单元通过将所述捕获图像的后座图像标准化为预定的未成年尺寸来设置所述未成年受关注区域。
6.根据权利要求1所述的车载乘客检测设备，其中，所述控制单元通过使用针对每个受关注区域的卷积神经网络提取所述乘客的特征，并且然后通过使用完全连接的神经网络融合所提取的特征的相关信息，来检测所述乘客。
7.根据权利要求1所述的车载乘客检测设备，其中，当在驾驶员在所述车辆外的情况下在预定时间内检测到另一个座椅上的乘客时，由于检测到乘客，所述控制单元确定所述乘客被忽略。
8.根据权利要求1所述的车载乘客检测设备，还包括无线通信单元，所述无线通信单元被配置为使得当检测到被忽略的乘客时，所述控制单元通过所述无线通信单元将所述警报输出到驾驶员的移动通信终端。
9.根据权利要求1所述的车载乘客检测设备，其中，所述控制单元将所述警报输出到车辆控制单元以操作空调。
10.一种控制车载乘客检测设备的方法，包括：
当确定车辆在输入到控制单元的行驶状态下停车或停止时，将所述车辆内的捕获图像从红外辐射相机输入到所述控制单元；
通过将所述捕获图像分割成受关注区域并通过由所述控制单元通过针对每个受关注区域的专用神经网络提取乘客的特征来检测所有座椅中的所述乘客；
在由所述控制单元检测到所述乘客之后，确定是否有被忽略的乘客；以及
根据由所述控制单元确定是否有被忽略的乘客输出警报；
其中，当在所检测的乘客中将所述捕获图像分割成受关注区域时，所述控制单元将所述捕获图像分割为：用于检测不使用安全座椅的乘客和坐在正常位置并处于正常姿势的乘客的正常受关注区域；
用于检测处于异常姿势和异常位置的乘客的异常受关注区域；以及
用于检测使用安全座椅的乘客的未成年受关注区域。
11.根据权利要求10所述的方法，其中，通过由所述控制单元将所述捕获图像的每个座椅图像标准化为预定的正常尺寸来设置所述正常受关注区域。
12.根据权利要求10所述的方法，其中，通过由所述控制单元将所述捕获图像的后座图像标准化为预定的异常尺寸来设置所述异常受关注区域。
13.根据权利要求10所述的方法，其中，通过由所述控制单元将所述捕获图像的后座图像标准化为预定的未成年尺寸来设置所述未成年受关注区域。
14.根据权利要求10所述的方法，其中，在检测乘客中，所述控制单元通过使用针对每个受关注区域的卷积神经网络提取所述乘客的特征，并且然后通过使用完全连接的神经网络融合所提取的特征的相关信息，来检测所述乘客。
15.根据权利要求10所述的方法，其中，在确定是否存在被忽略的乘客中，当在驾驶员在所述车辆外的情况下在预定时间内检测到另一个座椅上的乘客时，由于检测到乘客，所述控制单元确定所述乘客被忽略。
16.根据权利要求10所述的方法，其中，在输出警报时，所述控制单元通过无线通信单元将所述警报输出到驾驶员的移动通信终端。
17.根据权利要求10所述的方法，其中，在输出警报时，所述控制单元将所述警报输出到车辆控制单元以操作空调。
CN201911077347.5A 2018-11-07 2019-11-06 车载乘客检测设备及其控制方法 Active CN111152744B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0135689 2018-11-07
KR1020180135689A KR102591758B1 (ko) 2018-11-07 2018-11-07 차량 내 승객 감지장치 및 그 제어방법

Publications (2)

Publication Number Publication Date
CN111152744A CN111152744A (zh) 2020-05-15
CN111152744B true CN111152744B (zh) 2022-06-28

Family

ID=70459940

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911077347.5A Active CN111152744B (zh) 2018-11-07 2019-11-06 车载乘客检测设备及其控制方法

Country Status (3)

Country Link
US (1) US20200143182A1 (zh)
KR (1) KR102591758B1 (zh)
CN (1) CN111152744B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110758241B (zh) * 2019-08-30 2022-03-11 华为技术有限公司 乘员保护方法及装置
KR102514574B1 (ko) * 2020-12-30 2023-03-30 아진산업(주) 차량 내 승객 검출 장치 및 그 방법
US11954180B2 (en) * 2021-06-11 2024-04-09 Ford Global Technologies, Llc Sensor fusion area of interest identification for deep learning
US11810439B1 (en) * 2023-06-06 2023-11-07 King Faisal University Student safety tracking system

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10037220B4 (de) * 2000-07-31 2008-08-21 Volkswagen Ag Verfahren und Einrichtung zur situationsgerechten Ansteuerung
TWI269722B (en) * 2005-08-03 2007-01-01 Universal Scient Ind Co Ltd Automobile safety device and method of using the same
JP2008129948A (ja) * 2006-11-22 2008-06-05 Takata Corp 乗員検出装置、作動装置制御システム、シートベルトシステム、車両
US9403437B1 (en) * 2009-07-16 2016-08-02 Scott D. McDonald Driver reminder systems
US8836491B2 (en) * 2010-04-29 2014-09-16 Ford Global Technologies, Llc Occupant detection
DE102011011929A1 (de) * 2011-02-18 2012-08-23 Hella Kgaa Hueck & Co. Verfahren zum Detektieren von Zielobjekten in einem Überwachungsbereich
US20130033373A1 (en) * 2011-08-03 2013-02-07 Sherine Elizabeth Thomas Child car seat safety system and method
JP2013082354A (ja) * 2011-10-11 2013-05-09 Koito Mfg Co Ltd 車両用室内照明灯ユニット
JP6199216B2 (ja) * 2014-03-19 2017-09-20 株式会社日立ビルシステム エレベータ監視装置
CN105501166A (zh) * 2015-12-16 2016-04-20 上海新储集成电路有限公司 一种车内儿童安全座椅报警系统
KR101792949B1 (ko) * 2016-06-10 2017-11-01 선문대학교 산학협력단 차량 탑승자 보호 장치 및 방법
CN107856628A (zh) * 2017-07-07 2018-03-30 安徽摩尼电子科技有限公司 一种车载儿童探测报警装置

Also Published As

Publication number Publication date
CN111152744A (zh) 2020-05-15
US20200143182A1 (en) 2020-05-07
KR20200054378A (ko) 2020-05-20
KR102591758B1 (ko) 2023-10-20

Similar Documents

Publication Publication Date Title
CN111152744B (zh) 车载乘客检测设备及其控制方法
WO2018110605A1 (ja) 画像処理装置、外界認識装置
CN108349507B (zh) 驾驶辅助装置、驾驶辅助方法及移动体
US10369926B2 (en) Driver state sensing system, driver state sensing method, and vehicle including the same
CN111469802A (zh) 座椅安全带状态确定系统和方法
CN108241851B (zh) 信息处理装置、信息处理方法以及程序
CN107428302A (zh) 利用车辆内部相机的占用者尺寸和姿势的检测
JP2018062197A (ja) 車両の安全走行システム
KR101687073B1 (ko) 터널 높이 추정 장치 및 터널 높이 추정 방법
KR102529919B1 (ko) 졸음 운전 관리 장치, 시스템 및 방법
CN108242182B (zh) 信息处理装置、信息处理方法以及记录介质
US9981598B2 (en) Alighting notification device
CN112832615A (zh) 辅助乘员下车的安全开门方法、装置、设备及存储介质
US10565072B2 (en) Signal processing device, signal processing method, and program
KR20210043566A (ko) 정보 처리 장치, 이동체, 정보 처리 방법 및 프로그램
KR20180065527A (ko) 차량 후측방 경고 장치 및 이를 이용한 경고 방법
KR20180060937A (ko) 차량용 도어 제어 장치 및 방법
KR20180094812A (ko) 승차인원 검지방법 및 그 장치
CN114604254A (zh) 保护车辆乘员健康的系统和方法
US10713518B2 (en) System and method for recording and reporting license number violation
US20220038873A1 (en) Emergency reporting device for vehicle
KR102191509B1 (ko) 차량 비상등의 자동 점멸 방법 및 장치
JP5051364B2 (ja) 車輌ドアシステム
US20230295963A1 (en) Door control device, storage medium storing computer program for door control, and method for door control
KR102322815B1 (ko) 카메라 기반의 도로이벤트 점유차로 검출 장치 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant