JP2022548460A - シートベルト装着検知方法、装置、電子デバイス、記憶媒体並びにプログラム - Google Patents
シートベルト装着検知方法、装置、電子デバイス、記憶媒体並びにプログラム Download PDFInfo
- Publication number
- JP2022548460A JP2022548460A JP2021578003A JP2021578003A JP2022548460A JP 2022548460 A JP2022548460 A JP 2022548460A JP 2021578003 A JP2021578003 A JP 2021578003A JP 2021578003 A JP2021578003 A JP 2021578003A JP 2022548460 A JP2022548460 A JP 2022548460A
- Authority
- JP
- Japan
- Prior art keywords
- human body
- seat belt
- center point
- information
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 499
- 238000000034 method Methods 0.000 claims abstract description 66
- 238000010586 diagram Methods 0.000 claims description 55
- 238000011176 pooling Methods 0.000 claims description 55
- 230000008569 process Effects 0.000 claims description 21
- 238000006073 displacement reaction Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 9
- 238000004891 communication Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 230000000875 corresponding effect Effects 0.000 description 149
- 238000000605 extraction Methods 0.000 description 12
- 238000012549 training Methods 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000004397 blinking Effects 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
- B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
- B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
- B60R21/01512—Passenger detection systems
- B60R21/01542—Passenger detection systems detecting passenger motion
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
- B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
- B60R21/01512—Passenger detection systems
- B60R21/01544—Passenger detection systems detecting seat belt parameters, e.g. length, tension or height-adjustment
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R22/00—Safety belts or body harnesses in vehicles
- B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/593—Recognising seat occupancy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R22/00—Safety belts or body harnesses in vehicles
- B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness
- B60R2022/4808—Sensing means arrangements therefor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R22/00—Safety belts or body harnesses in vehicles
- B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness
- B60R2022/4866—Displaying or indicating arrangements thereof
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Transportation (AREA)
- Human Computer Interaction (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Automotive Seat Belt Assembly (AREA)
Abstract
Description
本開示は、出願番号が202010791309.2であり、出願日が2020年8月7日である中国特許出願に基づいて提出され、当該中国特許出願に基づく優先権を主張し、ここで当該中国特許出願の全ての内容が参照として本開示に組み込まれる。
車室環境画像を取得することと、
前記車室環境画像に対して人体検知を行って、車室における少なくとも1つの人体の人体検知情報を得、及び、前記車室環境画像に対してシートベルト検知を行って、車室における少なくとも1本のシートベルトのシートベルト検知情報を得ることと、
前記少なくとも1つの人体の人体検知情報を、前記少なくとも1本のシートベルトのシートベルト検知情報とマッチングして、シートベルト装着検知結果を決定することと、
いずれかの人体にシートベルトが装着されていない場合、警告情報を発することと、を含む。
前記少なくとも1本のシートベルトに対応するシートベルト検知枠の中心点位置と、人体検知枠の中心点位置との相対的なズレ情報を決定することと、
決定された前記相対的なズレ情報に基づいて、前記少なくとも1つの人体に対応する人体検知枠の中心点から、各シートベルトに対応するシートベルト検知枠の中心点に関連する人体検知枠の中心点が存在するか否かを検索することと、を含む
本開示の一部の実施例において、シートベルト装着検知結果を決定することは、
いずれかの人体について、当該人体に対応する人体検知枠の中心点に関連するシートベルト検知枠の中心点が存在していない場合、当該人体がシートベルトを装着していないと決定することを含む。
いずれかの人体について、当該人体に対応する人体検知枠の中心点に関連するシートベルト検知枠の中心点が存在している場合、当該人体がシートベルトを装着していると決定することを含む。
前記車室環境画像に対して人体検知を行って、車室における少なくとも1つの人体の人体検知情報を得ることは、
前記車室環境画像に基づいて、車室特徴図を生成することと、
前記車室特徴図に対して人体検知を行って、車室における少なくとも1つの人体にそれぞれ対応するマルチチャンネル特徴図を得ることであって、前記マルチチャンネル特徴図は、人体中心点特徴図、人体長さ特徴図、及び人体幅特徴図を含むことと、
前記マルチチャンネル特徴図に基づいて、前記少なくとも1つの人体に対応する人体検知枠情報を決定することであって、前記人体検知枠情報は、人体検知枠の中心点位置情報及び人体検知枠のサイズ情報を含むことと、を含む。
前記マルチチャンネル特徴図に含まれる人体中心点特徴図について、プリセットプーリングサイズ及びプリセットプーリングステップ長さ(Step_len)に応じて、前記人体中心点特徴図からプーリング処理対象の人体中心点特徴サブ図を順次切り取ることと、
順次切り取られた各人体中心点特徴サブ図について、当該人体中心点特徴サブ図に対して最大プーリング処理を行って、当該人体中心点特徴サブ図に対応する各人体中心点特徴値における最大人体中心点特徴値、及び前記人体中心点特徴図における当該最大人体中心点特徴値の座標位置情報を決定することと、
複数の前記人体中心点特徴サブ図にそれぞれ対応する最大人体中心点特徴値、及び前記人体中心点特徴図における当該最大人体中心点特徴値の座標位置情報に基づいて、少なくとも1つの人体に対応する人体検知枠の中心点位置情報を決定することと、
各前記人体検知枠の中心点位置情報に基づいて、前記マルチチャンネル特徴図に含まれる人体長さ特徴図及び人体幅特徴図から、当該人体検知枠にマッチングする人体長さ情報及び人体幅情報をそれぞれ決定し、マッチングした前記人体長さ情報及び人体幅情報を、前記人体検知枠の前記サイズ情報とすることと、を含む。
活性化関数によって、人体中心点位置を特徴付ける人体中心点特徴図に対して正規化処理を行って、正規化処理済の人体中心点特徴図を得ることと、
プリセットプーリングサイズ及びプリセットプーリングステップ長さに応じて、前記正規化処理済の人体中心点特徴図からプーリング処理対象の人体中心点特徴サブ図を順次切り取ることと、を含む。
複数の前記人体中心点特徴サブ図における各前記人体中心点特徴サブ図について、当該人体中心点特徴サブ図に対応する最大人体中心点特徴値がプリセット閾値より大きいか否かを判断することと、
前記人体中心点特徴サブ図に対応する最大人体中心点特徴値が前記プリセット閾値より大きい場合、当該最大人体中心点特徴値で示される人体中心点を目標人体中心点に決定することと、
前記人体中心点特徴図における各前記目標人体中心点に対応する座標位置情報に基づいて、少なくとも1つの人体に対応する人体検知枠の中心点位置情報を決定することと、を含む。
前記車室環境画像に対してシートベルト検知を行って、車室における少なくとも1本のシートベルトのシートベルト検知情報を得ることは、
前記車室環境画像に基づいて、車室特徴図を生成することと、
前記車室特徴図に含まれる複数のピクセルにおける各前記ピクセルの属するシートベルト類別情報を決定することであって、前記シートベルト類別情報は、シートベルトに属すること、及びシートベルトに属さないことを含むことと、
シートベルト類別情報がシートベルトに属することであるピクセルを目標シートベルトピクセルに決定することと、
各前記目標シートベルトピクセルとシートベルト中心ピクセルとの相対的なズレ情報を決定することと、
前記相対的なズレ情報に基づいて、各前記目標シートベルトピクセルに対応するシートベルト中心ピクセルを決定することと、
シートベルト中心ピクセルに基づいて、同一のシートベルト中心ピクセルに対応する複数の目標シートベルトピクセルをクラスタリングして、車室における少なくとも1本のシートベルトに対応するシートベルト検知枠情報を得ることであって、前記シートベルト検知枠情報は、シートベルト検知枠の中心点位置情報を含むことと、を含む。
前記車室特徴図に対してシートベルト検知を行って、二チャンネル特徴図を得ることであって、前記二チャンネル特徴図は、背景特徴図及びシートベルト特徴図を含むことと、
前記車室特徴図に含まれる複数のピクセルにおける各ピクセルについて、前記背景特徴図及び前記シートベルト特徴図における、当該ピクセルにそれぞれ対応する特徴値のうちの比較的大きい方の特徴値で示されるシートベルト類別情報に基づいて、当該ピクセルの属するシートベルト類別情報に決定することと、を含む。
車室環境画像を取得するように構成される取得モジュールと、
前記車室特徴図に対して人体検知を行って、車室における少なくとも1つの人体の人体検知情報を得、及び、前記車室特徴図に対してシートベルト検知を行って、車室における少なくとも1本のシートベルトのシートベルト検知情報を得るように構成される検知モジュールと、
前記少なくとも1つの人体の人体検知情報を、前記少なくとも1本のシートベルトのシートベルト検知情報とマッチングして、検知された人体がシートベルトを装着しているか否かを示すシートベルト装着検知結果を決定するように構成されるマッチングモジュールと、
いずれかの人体がシートベルトを装着していない場合、警告情報を発するように構成される警告モジュールと、を備える。
少なくとも1本のシートベルトに対応するシートベルト検知枠の中心点位置と、人体検知枠の中心点位置との相対的なズレ情報を決定することと、
決定された相対的なズレ情報に基づいて、少なくとも1つの人体に対応する人体検知枠の中心点から、各シートベルトに対応するシートベルト検知枠の中心点に関連する人体検知枠の中心点が存在するか否かを検索するように構成される。
いずれかの人体について、当該人体に対応する人体検知枠の中心点に関連するシートベルト検知枠の中心点が存在していない場合、当該人体がシートベルトを装着していないと決定するように構成される。
いずれかの人体について、当該人体に対応する人体検知枠の中心点に関連するシートベルト検知枠の中心点が存在している場合、当該人体がシートベルトを装着していると決定するように構成される。
前記検知モジュールは、
前記車室環境画像に基づいて、車室特徴図を生成し、
前記車室特徴図に対して人体検知を行って、車室における少なくとも1つの人体にそれぞれ対応するマルチチャンネル特徴図を得て、ここで、前記マルチチャンネル特徴図は、人体中心点特徴図、人体長さ特徴図、及び人体幅特徴図を含み、
前記マルチチャンネル特徴図に基づいて、前記少なくとも1つの人体に対応する人体検知枠情報を決定し、ここで、前記人体検知枠情報は、人体検知枠の中心点位置情報及び人体検知枠のサイズ情報を含むように構成される。
前記マルチチャンネル特徴図に含まれる人体中心点特徴図について、プリセットプーリングサイズ及びプリセットプーリングステップ長さに応じて、前記人体中心点特徴図からプーリング処理対象の人体中心点特徴サブ図を順次切り取り、
順次切り取られた各人体中心点特徴サブ図について、当該人体中心点特徴サブ図に対して最大プーリング処理を行って、当該人体中心点特徴サブ図に対応する各人体中心点特徴値における最大人体中心点特徴値、及び前記人体中心点特徴図における当該最大人体中心点特徴値の座標位置情報を決定し、
複数の前記人体中心点特徴サブ図にそれぞれ対応する最大人体中心点特徴値、及び前記人体中心点特徴図における当該最大人体中心点特徴値の座標位置情報に基づいて、少なくとも1つの人体に対応する人体検知枠の中心点位置情報を決定し、
各前記人体検知枠の中心点位置情報に基づいて、前記マルチチャンネル特徴図に含まれる人体長さ特徴図及び人体幅特徴図から、当該人体検知枠にマッチングする人体長さ情報及び人体幅情報をそれぞれ決定し、マッチングした前記人体長さ情報及び人体幅情報を、前記人体検知枠の前記サイズ情報とするように構成される。
活性化関数によって、人体中心点位置を特徴付ける人体中心点特徴図に対して正規化処理を行って、正規化処理済の人体中心点特徴図を得て、
プリセットプーリングサイズ及びプリセットプーリングステップ長さに応じて、前記正規化処理済の人体中心点特徴図からプーリング処理対象の人体中心点特徴サブ図を順次切り取るように構成される。
複数の前記人体中心点特徴サブ図における各前記人体中心点特徴サブ図について、当該人体中心点特徴サブ図に対応する最大人体中心点特徴値がプリセット閾値より大きいか否かを判断し、
前記人体中心点特徴サブ図に対応する最大人体中心点特徴値が前記プリセット閾値より大きい場合、当該最大人体中心点特徴値で示される人体中心点を目標人体中心点に決定し、
前記人体中心点特徴図における各前記目標人体中心点に対応する座標位置情報に基づいて、少なくとも1つの人体に対応する人体検知枠の中心点位置情報を決定するように構成される。
前記検知モジュールは、
前記車室環境画像に基づいて、車室特徴図を生成し、
前記車室特徴図に含まれる複数のピクセルにおける各前記ピクセルの属するシートベルト類別情報を決定し、ここで、前記シートベルト類別情報は、シートベルトに属すること、及びシートベルトに属さないことを含み、
シートベルト類別情報がシートベルトに属することであるピクセルを目標シートベルトピクセルに決定し、
各前記目標シートベルトピクセルとシートベルト中心ピクセルとの相対的なズレ情報を決定し、
前記相対的なズレ情報に基づいて、各前記目標シートベルトピクセルに対応するシートベルト中心ピクセルを決定し、
前記シートベルト中心ピクセルに基づいて、同一のシートベルト中心ピクセルに対応する複数の目標シートベルトピクセルをクラスタリングして、車室における少なくとも1本のシートベルトに対応するシートベルト検知枠情報を得て、ここで、前記シートベルト検知枠情報は、シートベルト検知枠の中心点位置情報を含むように構成される。
前記車室特徴図に対してシートベルト検知を行って、二チャンネル特徴図を得て、ここで、前記二チャンネル特徴図は、背景特徴図及びシートベルト特徴図を含み、
前記車室特徴図に含まれる複数のピクセルにおける各ピクセルについて、前記背景特徴図及び前記シートベルト特徴図における、当該ピクセルにそれぞれ対応する特徴値のうちの比較的大きい方の特徴値で示されるシートベルト類別情報に基づいて、当該ピクセルの属するシートベルト類別情報と決定するように構成される。
ステップS201では、少なくとも1本のシートベルトに対応するシートベルト検知枠の中心点位置と、人体検知枠の中心点位置との相対的なズレ情報を決定する。
即ち、
少なくとも1本のシートベルトに対応するシートベルト検知枠の中心点位置と、人体検知枠の中心点位置との間の相対的なズレ情報を決定し、
決定された相対的なズレ情報に基づいて、少なくとも1つの人体に対応する人体検知枠の中心点から、各シートベルトに対応するシートベルト検知枠の中心点に関連する人体検知枠の中心点が存在するか否かを検索するように構成される。
即ち、
いずれかの人体について、当該人体に対応する人体検知枠の中心点に関連するシートベルト検知枠の中心点が存在していない場合、当該人体がシートベルトを装着していないと決定するように構成される。
即ち、
いずれかの人体について、当該人体に対応する人体検知枠の中心点に関連するシートベルト検知枠の中心点が存在している場合、当該人体がシートベルトを装着していると決定するように構成される。
即ち、
車室環境画像に基づいて、車室特徴図を生成し、
車室特徴図に対して人体検知を行って、車室における少なくとも1つの人体にそれぞれ対応するマルチチャンネル特徴図を得て、ここで、マルチチャンネル特徴図は、人体中心点特徴図、人体長さ特徴図、及び人体幅特徴図を含み、
マルチチャンネル特徴図に基づいて、少なくとも1つの人体に対応する人体検知枠情報を決定し、ここで、人体検知枠情報は、人体検知枠の中心点位置情報及び人体検知枠のサイズ情報を含むように構成される。
即ち、
マルチチャンネル特徴図に含まれる人体中心点特徴図について、プリセットプーリングサイズ及びプリセットプーリングステップ長さに応じて、人体中心点特徴図からプーリング処理対象の人体中心点特徴サブ図を順次切り取り、
順次切り取られた各人体中心点特徴サブ図について、当該人体中心点特徴サブ図に対して最大プーリング処理を行って、当該人体中心点特徴サブ図に対応する各人体中心点特徴値における最大人体中心点特徴値、及び人体中心点特徴図における当該最大人体中心点特徴値の座標位置情報を決定し、
複数の人体中心点特徴サブ図にそれぞれ対応する最大人体中心点特徴値、及び人体中心点特徴図における当該最大人体中心点特徴値の座標位置情報に基づいて、少なくとも1つの人体に対応する人体検知枠の中心点位置情報を決定し、
各人体検知枠の中心点位置情報に基づいて、マルチチャンネル特徴図に含まれる人体長さ特徴図及び人体幅特徴図から、当該人体検知枠にマッチングする人体長さ情報及び人体幅情報をそれぞれ決定し、マッチングした人体長さ情報及び人体幅情報を人体検知枠のサイズ情報とするように構成される。
即ち、
活性化関数によって、人体中心点位置を特徴付ける人体中心点特徴図に対して正規化処理を行って、正規化処理済の人体中心点特徴図を得て、
プリセットプーリングサイズ及びプリセットプーリングステップ長さに応じて、正規化処理済の人体中心点特徴図からプーリング処理対象の人体中心点特徴サブ図を順次切り取るように構成される。
即ち、
複数の人体中心点特徴サブ図における各人体中心点特徴サブ図について、当該人体中心点特徴サブ図に対応する最大人体中心点特徴値がプリセット閾値より大きいか否かを判断し、
人体中心点特徴サブ図に対応する最大人体中心点特徴値がプリセット閾値より大きい場合、当該最大人体中心点特徴値で示される人体中心点を目標人体中心点に決定し、
人体中心点特徴図における各目標人体中心点に対応する座標位置情報に基づいて、少なくとも1つの人体に対応する人体検知枠の中心点位置情報を決定するように構成される。
即ち、
車室環境画像に基づいて、車室特徴図を生成し、
車室特徴図に含まれる複数のピクセルにおける各ピクセルの属するシートベルト類別情報を決定し、ここで、シートベルト類別情報は、シートベルトに属すること、及びシートベルトに属さないことを含み、且つシートベルト類別情報がシートベルトに属することであるピクセルを目標シートベルトピクセルに決定し、
各目標シートベルトピクセルとシートベルト中心ピクセルとの相対的なズレ情報を決定し、相対的なズレ情報に基づいて、各目標シートベルトピクセルに対応するシートベルト中心ピクセルを決定し、
シートベルト中心ピクセルに基づいて、同一のシートベルト中心ピクセルに対応する複数の目標シートベルトピクセルをクラスタリングし、車室における少なくとも1本のシートベルトに対応するシートベルト検知枠情報を得て、ここで、シートベルト検知枠情報は、シートベルト検知枠の中心点位置情報を含むように構成される。
即ち、
車室特徴図に対してシートベルト検知を行って、二チャンネル特徴図を得て、ここで、二チャンネル特徴図は、背景特徴図及びシートベルト特徴図を含み、
車室特徴図に含まれる複数のピクセルにおける各ピクセルについて、背景特徴図及びシートベルト特徴図における、当該ピクセルにそれぞれ対応する特徴値のうちの比較的大きい方の特徴値で示されるシートベルト類別情報に基づいて、当該ピクセルの属するシートベルト類別情報に決定するように構成される。
車室環境画像を取得することと、車室環境画像に対して人体検知を行って、車室における少なくとも1つの人体の人体検知情報を得、及び、車室環境画像に対してシートベルト検知を行って、車室における少なくとも1本のシートベルトのシートベルト検知情報を得ることと、少なくとも1つの人体の人体検知情報を少なくとも1本のシートベルトのシートベルト検知情報とマッチングし、シートベルト装着検知結果を決定することと、いずれかの人体がシートベルトを装着していない場合、警告情報を発することと、を実行する。
例えば、本願は以下の項目を提供する。
(項目1)
車室環境画像を取得することと、
前記車室環境画像に対して検知を行って、車室における少なくとも1つの人体の人体検知情報を得、及び、前記車室環境画像に対してシートベルト検知を行って、車室における少なくとも1本のシートベルトのシートベルト検知情報を得ることと、
前記少なくとも1つの人体の人体検知情報を、前記少なくとも1本のシートベルトのシートベルト検知情報とマッチングして、シートベルト装着検知結果を決定することと、
いずれかの人体がシートベルトを装着していない場合、警告情報を発することと、を含む
シートベルト装着検知方法。
(項目2)
前記少なくとも1つの人体の人体検知情報を、前記少なくとも1本のシートベルトのシートベルト検知情報とマッチングすることは、
前記少なくとも1本のシートベルトに対応するシートベルト検知枠の中心点位置と、人体検知枠の中心点位置との相対的なズレ情報を決定することと、
決定された前記相対的なズレ情報に基づいて、前記少なくとも1つの人体に対応する人体検知枠の中心点から、各シートベルトに対応するシートベルト検知枠の中心点に関連する人体検知枠の中心点が存在するか否かを検索することと、を含む
項目1に記載の方法。
(項目3)
シートベルト装着検知結果を決定することは、
いずれかの人体について、当該人体に対応する人体検知枠の中心点に関連するシートベルト検知枠の中心点が存在していない場合、当該人体がシートベルトを装着していないと決定することを含む
項目2に記載の方法。
(項目4)
シートベルト装着検知結果を決定することは、
いずれかの人体について、当該人体に対応する人体検知枠の中心点に関連するシートベルト検知枠の中心点が存在している場合、当該人体がシートベルトを装着していると決定することを含む
項目2に記載の方法。
(項目5)
前記人体検知情報は人体検知枠情報を含み、
前記車室環境画像に対して検知を行って、車室における少なくとも1つの人体の人体検知情報を得ることは、
前記車室環境画像に基づいて、車室特徴図を生成することと、
前記車室特徴図に対して人体検知を行って、車室における少なくとも1つの人体にそれぞれ対応するマルチチャンネル特徴図を得ることであって、前記マルチチャンネル特徴図は、人体中心点特徴図、人体長さ特徴図、及び人体幅特徴図を含むことと、
前記マルチチャンネル特徴図に基づいて、前記少なくとも1つの人体に対応する人体検知枠情報を決定することであって、前記人体検知枠情報は、人体検知枠の中心点位置情報及び人体検知枠のサイズ情報を含むことと、を含む
項目1~4のいずれか1項に記載の方法。
(項目6)
前記マルチチャンネル特徴図に基づいて、前記少なくとも1つの人体に対応する人体検知枠情報を決定することは、
前記マルチチャンネル特徴図に含まれる人体中心点特徴図について、プリセットプーリングサイズ及びプリセットプーリングステップ長さに応じて、前記人体中心点特徴図からプーリング処理対象の人体中心点特徴サブ図を順次切り取ることと、
順次切り取られた各人体中心点特徴サブ図について、当該人体中心点特徴サブ図に対して最大プーリング処理を行って、当該人体中心点特徴サブ図に対応する各人体中心点特徴値における最大人体中心点特徴値、及び前記人体中心点特徴図における当該最大人体中心点特徴値の座標位置情報を決定することと、
複数の前記人体中心点特徴サブ図にそれぞれ対応する最大人体中心点特徴値、及び前記人体中心点特徴図における当該最大人体中心点特徴値の座標位置情報に基づいて、少なくとも1つの人体に対応する人体検知枠の中心点位置情報を決定することと、
各前記人体検知枠の中心点位置情報に基づいて、前記マルチチャンネル特徴図に含まれる人体長さ特徴図及び人体幅特徴図から、当該人体検知枠にマッチングする人体長さ情報及び人体幅情報をそれぞれ決定し、マッチングした前記人体長さ情報及び人体幅情報を、前記人体検知枠の前記サイズ情報とすることと、を含む
項目5に記載の方法。
(項目7)
前記プリセットプーリングサイズ及びプリセットプーリングステップ長さに応じて、前記人体中心点特徴図からプーリング処理対象の人体中心点特徴サブ図を順次切り取ることは、
活性化関数によって、人体中心点位置を特徴付ける人体中心点特徴図に対して正規化処理を行って、正規化処理済の人体中心点特徴図を得ることと、
プリセットプーリングサイズ及びプリセットプーリングステップ長さに応じて、前記正規化処理済の人体中心点特徴図からプーリング処理対象の人体中心点特徴サブ図を順次切り取ることと、を含む
項目6に記載の方法。
(項目8)
前記複数の前記人体中心点特徴サブ図にそれぞれ対応する最大人体中心点特徴値、及び前記人体中心点特徴図における当該最大人体中心点特徴値の座標位置情報に基づいて、少なくとも1つの人体に対応する人体検知枠の中心点位置情報を決定することは、
複数の前記人体中心点特徴サブ図における各前記人体中心点特徴サブ図について、当該人体中心点特徴サブ図に対応する最大人体中心点特徴値がプリセット閾値より大きいか否かを判断することと、
前記人体中心点特徴サブ図に対応する最大人体中心点特徴値が前記プリセット閾値より大きい場合、当該最大人体中心点特徴値で示される人体中心点を目標人体中心点に決定することと、
前記人体中心点特徴図における各前記目標人体中心点に対応する座標位置情報に基づいて、少なくとも1つの人体に対応する人体検知枠の中心点位置情報を決定することと、を含む
項目6又は7に記載の方法。
(項目9)
前記シートベルト検知情報はシートベルト検知枠情報を含み、
前記車室環境画像に対してシートベルト検知を行って、車室における少なくとも1本のシートベルトのシートベルト検知情報を得ることは、
前記車室環境画像に基づいて、車室特徴図を生成することと、
前記車室特徴図に含まれる複数のピクセルにおける各前記ピクセルの属するシートベルト類別情報を決定することであって、前記シートベルト類別情報は、シートベルトに属すること、及びシートベルトに属さないことを含むことと、
シートベルト類別情報がシートベルトに属することであるピクセルを目標シートベルトピクセルに決定することと、
各前記目標シートベルトピクセルとシートベルト中心ピクセルとの相対的なズレ情報を決定することと、
前記相対的なズレ情報に基づいて、各前記目標シートベルトピクセルに対応するシートベルト中心ピクセルを決定することと、
前記シートベルト中心ピクセルに基づいて、同一のシートベルト中心ピクセルに対応する複数の目標シートベルトピクセルをクラスタリングして、車室における少なくとも1本のシートベルトに対応するシートベルト検知枠情報を得ることであって、前記シートベルト検知枠情報は、シートベルト検知枠の中心点位置情報を含むことと、を含む
項目1に記載の方法。
(項目10)
前記車室特徴図に含まれる複数のピクセルにおける各前記ピクセルの属するシートベルト類別情報を決定することは、
前記車室特徴図に対してシートベルト検知を行って、二チャンネル特徴図を得ることであって、前記二チャンネル特徴図は、背景特徴図及びシートベルト特徴図を含むことと、
前記車室特徴図に含まれる複数のピクセルにおける各ピクセルについて、前記背景特徴図及び前記シートベルト特徴図における、当該ピクセルにそれぞれ対応する特徴値のうちの比較的大きい方の特徴値で示されるシートベルト類別情報に基づいて、当該ピクセルの属するシートベルト類別情報と決定することと、を含む
項目9に記載の方法
(項目11)
車室環境画像を取得するように構成される取得モジュールと、
前記車室環境画像に対して検知を行って、車室における少なくとも1つの人体の人体検知情報を得、及び、前記車室環境画像に対してシートベルト検知を行って、車室における少なくとも1本のシートベルトのシートベルト検知情報を得るように構成される検知モジュールと、
前記少なくとも1つの人体の人体検知情報を、前記少なくとも1本のシートベルトのシートベルト検知情報とマッチングして、シートベルト装着検知結果を決定するように構成されるマッチングモジュールと、
いずれかの人体がシートベルトを装着していない場合、警告情報を発することを実行するように構成される警告モジュールと、を備える
シートベルト装着検知装置
(項目12)
前記マッチングモジュールは、
少なくとも1本のシートベルトに対応するシートベルト検知枠の中心点位置と、人体検知枠の中心点位置との相対的なズレ情報を決定し、
決定された相対的なズレ情報に基づいて、少なくとも1つの人体に対応する人体検知枠の中心点から、各シートベルトに対応するシートベルト検知枠の中心点に関連する人体検知枠の中心点が存在するか否かを検索するように構成される
項目11に記載の装置。
(項目13)
前記マッチングモジュールは、
いずれかの人体について、当該人体に対応する人体検知枠の中心点に関連するシートベルト検知枠の中心点が存在していない場合、当該人体にシートベルトを装着していないと決定するように構成される
項目12に記載の装置。
(項目14)
前記マッチングモジュールは、
いずれかの人体について、当該人体に対応する人体検知枠の中心点に関連するシートベルト検知枠の中心点が存在している場合、当該人体にシートベルトを装着していると決定するように構成される
項目12に記載の装置。
(項目15)
前記人体検知情報は人体検知枠情報を含み、
前記検知モジュールは、
前記車室環境画像に基づいて、車室特徴図を生成し、
前記車室特徴図に対して人体検知を行って、車室における少なくとも1つの人体にそれぞれ対応するマルチチャンネル特徴図を得て、ここで、前記マルチチャンネル特徴図は、人体中心点特徴図、人体長さ特徴図、及び人体幅特徴図を含み、
前記マルチチャンネル特徴図に基づいて、前記少なくとも1つの人体に対応する人体検知枠情報を決定し、ここで、前記人体検知枠情報は、人体検知枠の中心点位置情報及び人体検知枠のサイズ情報を含むように構成される
項目11~14のいずれか1項に記載の装置。
(項目16)
前記検知モジュールは、
前記マルチチャンネル特徴図に含まれる人体中心点特徴図について、プリセットプーリングサイズ及びプリセットプーリングステップ長さに応じて、前記人体中心点特徴図からプーリング処理対象の人体中心点特徴サブ図を順次切り取り、
順次切り取られた各人体中心点特徴サブ図について、当該人体中心点特徴サブ図に対して最大プーリング処理を行って、当該人体中心点特徴サブ図に対応する各人体中心点特徴値における最大人体中心点特徴値、及び前記人体中心点特徴図における当該最大人体中心点特徴値の座標位置情報を決定し、
複数の前記人体中心点特徴サブ図にそれぞれ対応する最大人体中心点特徴値、及び前記人体中心点特徴図における当該最大人体中心点特徴値の座標位置情報に基づいて、少なくとも1つの人体に対応する人体検知枠の中心点位置情報を決定し、
各前記人体検知枠の中心点位置情報に基づいて、前記マルチチャンネル特徴図に含まれる人体長さ特徴図及び人体幅特徴図から、当該人体検知枠にマッチングする人体長さ情報及び人体幅情報をそれぞれ決定し、マッチングした前記人体長さ情報及び人体幅情報を、前記人体検知枠の前記サイズ情報とするように構成される
項目15に記載の装置。
(項目17)
前記検知モジュールは、
活性化関数によって、人体中心点位置を特徴付ける人体中心点特徴図に対して正規化処理を行って、正規化処理済の人体中心点特徴図を得て、
プリセットプーリングサイズ及びプリセットプーリングステップ長さに応じて、前記正規化処理済の人体中心点特徴図からプーリング処理対象の人体中心点特徴サブ図を順次切り取るように構成される
項目16に記載の装置。
(項目18)
前記検知モジュールは、
複数の前記人体中心点特徴サブ図における各前記人体中心点特徴サブ図について、当該人体中心点特徴サブ図に対応する最大人体中心点特徴値がプリセット閾値より大きいか否かを判断し、
前記人体中心点特徴サブ図に対応する最大人体中心点特徴値が前記プリセット閾値より大きい場合、当該最大人体中心点特徴値で示される人体中心点を目標人体中心点に決定し、
前記人体中心点特徴図における各前記目標人体中心点に対応する座標位置情報に基づいて、少なくとも1つの人体に対応する人体検知枠の中心点位置情報を決定するように構成される
項目16又は17に記載の装置。
(項目19)
前記シートベルト検知情報はシートベルト検知枠情報を含み、
前記検知モジュールは、
前記車室環境画像に基づいて、車室特徴図を生成し、
前記車室特徴図に含まれる複数のピクセルにおける各前記ピクセルの属するシートベルト類別情報を決定し、ここで、前記シートベルト類別情報は、シートベルトに属すること、及びシートベルトに属さないことを含み、
シートベルト類別情報がシートベルトに属することであるピクセルを目標シートベルトピクセルに決定し、
各前記目標シートベルトピクセルとシートベルト中心ピクセルとの相対的なズレ情報を決定し、
前記相対的なズレ情報に基づいて、各前記目標シートベルトピクセルに対応するシートベルト中心ピクセルを決定し、
前記シートベルト中心ピクセルに基づいて、同一のシートベルト中心ピクセルに対応する複数の目標シートベルトピクセルをクラスタリングして、車室における少なくとも1本のシートベルトに対応するシートベルト検知枠情報を得て、ここで、前記シートベルト検知枠情報は、シートベルト検知枠の中心点位置情報を含むように構成される
項目11前記的装置。
(項目20)
前記検知モジュールは、
前記車室特徴図に対してシートベルト検知を行って、二チャンネル特徴図を得て、ここで、前記二チャンネル特徴図は、背景特徴図及びシートベルト特徴図を含み、
前記車室特徴図に含まれる複数のピクセルにおける各ピクセルについて、前記背景特徴図及び前記シートベルト特徴図における、当該ピクセルにそれぞれ対応する特徴値のうちの比較的大きい方の特徴値で示されるシートベルト類別情報に基づいて、当該ピクセルの属するシートベルト類別情報と決定するように構成される
項目19に記載の装置。
(項目21)
プロセッサ、メモリ、及びバスを備える電子デバイスであって、
前記メモリには、前記プロセッサによって実行可能な機械可読命令が記憶されており、
前記電子デバイスが稼働するとき、前記プロセッサと前記メモリとは前記バスを介して通信され、
前記プロセッサは、前記メモリに記憶されている機械可読命令を実行するために用いられ、
項目1~10のいずれか1項に記載のシートベルト装着検知方法を実現するように、前記機械可読命令が前記プロセッサによって実行される
電子デバイス。
(項目22)
コンピュータプログラムが記憶されており、
前記コンピュータプログラムが電子デバイスによって実行されるとき、前記電子デバイスが項目1~10のいずれか1項に記載のシートベルト装着検知方法を実行する
コンピュータ可読記憶媒体。
(項目23)
コンピュータ可読コードが含まれており、
前記コンピュータ可読コードが電子デバイスで実行される場合、前記電子デバイスのプロセッサが項目1~10のいずれか1項に記載のシートベルト装着検知方法を実現するように実行する
コンピュータプログラム。
Claims (23)
- 車室環境画像を取得することと、
前記車室環境画像に対して検知を行って、車室における少なくとも1つの人体の人体検知情報を得、及び、前記車室環境画像に対してシートベルト検知を行って、車室における少なくとも1本のシートベルトのシートベルト検知情報を得ることと、
前記少なくとも1つの人体の人体検知情報を、前記少なくとも1本のシートベルトのシートベルト検知情報とマッチングして、シートベルト装着検知結果を決定することと、
いずれかの人体がシートベルトを装着していない場合、警告情報を発することと、を含む
シートベルト装着検知方法。 - 前記少なくとも1つの人体の人体検知情報を、前記少なくとも1本のシートベルトのシートベルト検知情報とマッチングすることは、
前記少なくとも1本のシートベルトに対応するシートベルト検知枠の中心点位置と、人体検知枠の中心点位置との相対的なズレ情報を決定することと、
決定された前記相対的なズレ情報に基づいて、前記少なくとも1つの人体に対応する人体検知枠の中心点から、各シートベルトに対応するシートベルト検知枠の中心点に関連する人体検知枠の中心点が存在するか否かを検索することと、を含む
請求項1に記載の方法。 - シートベルト装着検知結果を決定することは、
いずれかの人体について、当該人体に対応する人体検知枠の中心点に関連するシートベルト検知枠の中心点が存在していない場合、当該人体がシートベルトを装着していないと決定することを含む
請求項2に記載の方法。 - シートベルト装着検知結果を決定することは、
いずれかの人体について、当該人体に対応する人体検知枠の中心点に関連するシートベルト検知枠の中心点が存在している場合、当該人体がシートベルトを装着していると決定することを含む
請求項2に記載の方法。 - 前記人体検知情報は人体検知枠情報を含み、
前記車室環境画像に対して検知を行って、車室における少なくとも1つの人体の人体検知情報を得ることは、
前記車室環境画像に基づいて、車室特徴図を生成することと、
前記車室特徴図に対して人体検知を行って、車室における少なくとも1つの人体にそれぞれ対応するマルチチャンネル特徴図を得ることであって、前記マルチチャンネル特徴図は、人体中心点特徴図、人体長さ特徴図、及び人体幅特徴図を含むことと、
前記マルチチャンネル特徴図に基づいて、前記少なくとも1つの人体に対応する人体検知枠情報を決定することであって、前記人体検知枠情報は、人体検知枠の中心点位置情報及び人体検知枠のサイズ情報を含むことと、を含む
請求項1~4のいずれか1項に記載の方法。 - 前記マルチチャンネル特徴図に基づいて、前記少なくとも1つの人体に対応する人体検知枠情報を決定することは、
前記マルチチャンネル特徴図に含まれる人体中心点特徴図について、プリセットプーリングサイズ及びプリセットプーリングステップ長さに応じて、前記人体中心点特徴図からプーリング処理対象の人体中心点特徴サブ図を順次切り取ることと、
順次切り取られた各人体中心点特徴サブ図について、当該人体中心点特徴サブ図に対して最大プーリング処理を行って、当該人体中心点特徴サブ図に対応する各人体中心点特徴値における最大人体中心点特徴値、及び前記人体中心点特徴図における当該最大人体中心点特徴値の座標位置情報を決定することと、
複数の前記人体中心点特徴サブ図にそれぞれ対応する最大人体中心点特徴値、及び前記人体中心点特徴図における当該最大人体中心点特徴値の座標位置情報に基づいて、少なくとも1つの人体に対応する人体検知枠の中心点位置情報を決定することと、
各前記人体検知枠の中心点位置情報に基づいて、前記マルチチャンネル特徴図に含まれる人体長さ特徴図及び人体幅特徴図から、当該人体検知枠にマッチングする人体長さ情報及び人体幅情報をそれぞれ決定し、マッチングした前記人体長さ情報及び人体幅情報を、前記人体検知枠の前記サイズ情報とすることと、を含む
請求項5に記載の方法。 - 前記プリセットプーリングサイズ及びプリセットプーリングステップ長さに応じて、前記人体中心点特徴図からプーリング処理対象の人体中心点特徴サブ図を順次切り取ることは、
活性化関数によって、人体中心点位置を特徴付ける人体中心点特徴図に対して正規化処理を行って、正規化処理済の人体中心点特徴図を得ることと、
プリセットプーリングサイズ及びプリセットプーリングステップ長さに応じて、前記正規化処理済の人体中心点特徴図からプーリング処理対象の人体中心点特徴サブ図を順次切り取ることと、を含む
請求項6に記載の方法。 - 前記複数の前記人体中心点特徴サブ図にそれぞれ対応する最大人体中心点特徴値、及び前記人体中心点特徴図における当該最大人体中心点特徴値の座標位置情報に基づいて、少なくとも1つの人体に対応する人体検知枠の中心点位置情報を決定することは、
複数の前記人体中心点特徴サブ図における各前記人体中心点特徴サブ図について、当該人体中心点特徴サブ図に対応する最大人体中心点特徴値がプリセット閾値より大きいか否かを判断することと、
前記人体中心点特徴サブ図に対応する最大人体中心点特徴値が前記プリセット閾値より大きい場合、当該最大人体中心点特徴値で示される人体中心点を目標人体中心点に決定することと、
前記人体中心点特徴図における各前記目標人体中心点に対応する座標位置情報に基づいて、少なくとも1つの人体に対応する人体検知枠の中心点位置情報を決定することと、を含む
請求項6又は7に記載の方法。 - 前記シートベルト検知情報はシートベルト検知枠情報を含み、
前記車室環境画像に対してシートベルト検知を行って、車室における少なくとも1本のシートベルトのシートベルト検知情報を得ることは、
前記車室環境画像に基づいて、車室特徴図を生成することと、
前記車室特徴図に含まれる複数のピクセルにおける各前記ピクセルの属するシートベルト類別情報を決定することであって、前記シートベルト類別情報は、シートベルトに属すること、及びシートベルトに属さないことを含むことと、
シートベルト類別情報がシートベルトに属することであるピクセルを目標シートベルトピクセルに決定することと、
各前記目標シートベルトピクセルとシートベルト中心ピクセルとの相対的なズレ情報を決定することと、
前記相対的なズレ情報に基づいて、各前記目標シートベルトピクセルに対応するシートベルト中心ピクセルを決定することと、
前記シートベルト中心ピクセルに基づいて、同一のシートベルト中心ピクセルに対応する複数の目標シートベルトピクセルをクラスタリングして、車室における少なくとも1本のシートベルトに対応するシートベルト検知枠情報を得ることであって、前記シートベルト検知枠情報は、シートベルト検知枠の中心点位置情報を含むことと、を含む
請求項1に記載の方法。 - 前記車室特徴図に含まれる複数のピクセルにおける各前記ピクセルの属するシートベルト類別情報を決定することは、
前記車室特徴図に対してシートベルト検知を行って、二チャンネル特徴図を得ることであって、前記二チャンネル特徴図は、背景特徴図及びシートベルト特徴図を含むことと、
前記車室特徴図に含まれる複数のピクセルにおける各ピクセルについて、前記背景特徴図及び前記シートベルト特徴図における、当該ピクセルにそれぞれ対応する特徴値のうちの比較的大きい方の特徴値で示されるシートベルト類別情報に基づいて、当該ピクセルの属するシートベルト類別情報と決定することと、を含む
請求項9に記載の方法 - 車室環境画像を取得するように構成される取得モジュールと、
前記車室環境画像に対して検知を行って、車室における少なくとも1つの人体の人体検知情報を得、及び、前記車室環境画像に対してシートベルト検知を行って、車室における少なくとも1本のシートベルトのシートベルト検知情報を得るように構成される検知モジュールと、
前記少なくとも1つの人体の人体検知情報を、前記少なくとも1本のシートベルトのシートベルト検知情報とマッチングして、シートベルト装着検知結果を決定するように構成されるマッチングモジュールと、
いずれかの人体がシートベルトを装着していない場合、警告情報を発することを実行するように構成される警告モジュールと、を備える
シートベルト装着検知装置 - 前記マッチングモジュールは、
少なくとも1本のシートベルトに対応するシートベルト検知枠の中心点位置と、人体検知枠の中心点位置との相対的なズレ情報を決定し、
決定された相対的なズレ情報に基づいて、少なくとも1つの人体に対応する人体検知枠の中心点から、各シートベルトに対応するシートベルト検知枠の中心点に関連する人体検知枠の中心点が存在するか否かを検索するように構成される
請求項11に記載の装置。 - 前記マッチングモジュールは、
いずれかの人体について、当該人体に対応する人体検知枠の中心点に関連するシートベルト検知枠の中心点が存在していない場合、当該人体にシートベルトを装着していないと決定するように構成される
請求項12に記載の装置。 - 前記マッチングモジュールは、
いずれかの人体について、当該人体に対応する人体検知枠の中心点に関連するシートベルト検知枠の中心点が存在している場合、当該人体にシートベルトを装着していると決定するように構成される
請求項12に記載の装置。 - 前記人体検知情報は人体検知枠情報を含み、
前記検知モジュールは、
前記車室環境画像に基づいて、車室特徴図を生成し、
前記車室特徴図に対して人体検知を行って、車室における少なくとも1つの人体にそれぞれ対応するマルチチャンネル特徴図を得て、ここで、前記マルチチャンネル特徴図は、人体中心点特徴図、人体長さ特徴図、及び人体幅特徴図を含み、
前記マルチチャンネル特徴図に基づいて、前記少なくとも1つの人体に対応する人体検知枠情報を決定し、ここで、前記人体検知枠情報は、人体検知枠の中心点位置情報及び人体検知枠のサイズ情報を含むように構成される
請求項11~14のいずれか1項に記載の装置。 - 前記検知モジュールは、
前記マルチチャンネル特徴図に含まれる人体中心点特徴図について、プリセットプーリングサイズ及びプリセットプーリングステップ長さに応じて、前記人体中心点特徴図からプーリング処理対象の人体中心点特徴サブ図を順次切り取り、
順次切り取られた各人体中心点特徴サブ図について、当該人体中心点特徴サブ図に対して最大プーリング処理を行って、当該人体中心点特徴サブ図に対応する各人体中心点特徴値における最大人体中心点特徴値、及び前記人体中心点特徴図における当該最大人体中心点特徴値の座標位置情報を決定し、
複数の前記人体中心点特徴サブ図にそれぞれ対応する最大人体中心点特徴値、及び前記人体中心点特徴図における当該最大人体中心点特徴値の座標位置情報に基づいて、少なくとも1つの人体に対応する人体検知枠の中心点位置情報を決定し、
各前記人体検知枠の中心点位置情報に基づいて、前記マルチチャンネル特徴図に含まれる人体長さ特徴図及び人体幅特徴図から、当該人体検知枠にマッチングする人体長さ情報及び人体幅情報をそれぞれ決定し、マッチングした前記人体長さ情報及び人体幅情報を、前記人体検知枠の前記サイズ情報とするように構成される
請求項15に記載の装置。 - 前記検知モジュールは、
活性化関数によって、人体中心点位置を特徴付ける人体中心点特徴図に対して正規化処理を行って、正規化処理済の人体中心点特徴図を得て、
プリセットプーリングサイズ及びプリセットプーリングステップ長さに応じて、前記正規化処理済の人体中心点特徴図からプーリング処理対象の人体中心点特徴サブ図を順次切り取るように構成される
請求項16に記載の装置。 - 前記検知モジュールは、
複数の前記人体中心点特徴サブ図における各前記人体中心点特徴サブ図について、当該人体中心点特徴サブ図に対応する最大人体中心点特徴値がプリセット閾値より大きいか否かを判断し、
前記人体中心点特徴サブ図に対応する最大人体中心点特徴値が前記プリセット閾値より大きい場合、当該最大人体中心点特徴値で示される人体中心点を目標人体中心点に決定し、
前記人体中心点特徴図における各前記目標人体中心点に対応する座標位置情報に基づいて、少なくとも1つの人体に対応する人体検知枠の中心点位置情報を決定するように構成される
請求項16又は17に記載の装置。 - 前記シートベルト検知情報はシートベルト検知枠情報を含み、
前記検知モジュールは、
前記車室環境画像に基づいて、車室特徴図を生成し、
前記車室特徴図に含まれる複数のピクセルにおける各前記ピクセルの属するシートベルト類別情報を決定し、ここで、前記シートベルト類別情報は、シートベルトに属すること、及びシートベルトに属さないことを含み、
シートベルト類別情報がシートベルトに属することであるピクセルを目標シートベルトピクセルに決定し、
各前記目標シートベルトピクセルとシートベルト中心ピクセルとの相対的なズレ情報を決定し、
前記相対的なズレ情報に基づいて、各前記目標シートベルトピクセルに対応するシートベルト中心ピクセルを決定し、
前記シートベルト中心ピクセルに基づいて、同一のシートベルト中心ピクセルに対応する複数の目標シートベルトピクセルをクラスタリングして、車室における少なくとも1本のシートベルトに対応するシートベルト検知枠情報を得て、ここで、前記シートベルト検知枠情報は、シートベルト検知枠の中心点位置情報を含むように構成される
請求項11前記的装置。 - 前記検知モジュールは、
前記車室特徴図に対してシートベルト検知を行って、二チャンネル特徴図を得て、ここで、前記二チャンネル特徴図は、背景特徴図及びシートベルト特徴図を含み、
前記車室特徴図に含まれる複数のピクセルにおける各ピクセルについて、前記背景特徴図及び前記シートベルト特徴図における、当該ピクセルにそれぞれ対応する特徴値のうちの比較的大きい方の特徴値で示されるシートベルト類別情報に基づいて、当該ピクセルの属するシートベルト類別情報と決定するように構成される
請求項19に記載の装置。 - プロセッサ、メモリ、及びバスを備える電子デバイスであって、
前記メモリには、前記プロセッサによって実行可能な機械可読命令が記憶されており、
前記電子デバイスが稼働するとき、前記プロセッサと前記メモリとは前記バスを介して通信され、
前記プロセッサは、前記メモリに記憶されている機械可読命令を実行するために用いられ、
請求項1~10のいずれか1項に記載のシートベルト装着検知方法を実現するように、前記機械可読命令が前記プロセッサによって実行される
電子デバイス。 - コンピュータプログラムが記憶されており、
前記コンピュータプログラムが電子デバイスによって実行されるとき、前記電子デバイスが請求項1~10のいずれか1項に記載のシートベルト装着検知方法を実行する
コンピュータ可読記憶媒体。 - コンピュータ可読コードが含まれており、
前記コンピュータ可読コードが電子デバイスで実行される場合、前記電子デバイスのプロセッサが請求項1~10のいずれか1項に記載のシートベルト装着検知方法を実現するように実行する
コンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010791309.2A CN111931642A (zh) | 2020-08-07 | 2020-08-07 | 一种安全带佩戴检测的方法、装置、电子设备及存储介质 |
CN202010791309.2 | 2020-08-07 | ||
PCT/CN2020/135494 WO2022027893A1 (zh) | 2020-08-07 | 2020-12-10 | 安全带佩戴检测方法、装置、电子设备、存储介质及程序 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022548460A true JP2022548460A (ja) | 2022-11-21 |
JP7288097B2 JP7288097B2 (ja) | 2023-06-06 |
Family
ID=73307124
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021578003A Active JP7288097B2 (ja) | 2020-08-07 | 2020-12-10 | シートベルト装着検知方法、装置、電子デバイス、記憶媒体並びにプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220144206A1 (ja) |
JP (1) | JP7288097B2 (ja) |
KR (1) | KR20220019105A (ja) |
CN (1) | CN111931642A (ja) |
WO (1) | WO2022027893A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111931642A (zh) * | 2020-08-07 | 2020-11-13 | 上海商汤临港智能科技有限公司 | 一种安全带佩戴检测的方法、装置、电子设备及存储介质 |
KR20220095819A (ko) * | 2020-12-30 | 2022-07-07 | 현대자동차주식회사 | 라이다 센서를 이용한 객체 추적 방법 및 장치, 및 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체 |
CN117221983A (zh) * | 2022-06-02 | 2023-12-12 | 中兴通讯股份有限公司 | 座舱单元控制方法、系统及计算机存储介质 |
EP4310799A1 (en) * | 2022-07-19 | 2024-01-24 | Hyundai Mobis Co., Ltd. | Seat belt wearing determination apparatus |
CN117671592A (zh) * | 2023-12-08 | 2024-03-08 | 中化现代农业有限公司 | 危险行为检测方法、装置、电子设备和存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010113506A (ja) * | 2008-11-06 | 2010-05-20 | Aisin Aw Co Ltd | 乗員位置検出装置、乗員位置検出方法及び乗員位置検出プログラム |
JP2010211705A (ja) * | 2009-03-12 | 2010-09-24 | Denso Corp | 乗員姿勢推定装置 |
JP2016522767A (ja) * | 2013-03-06 | 2016-08-04 | クアルコム,インコーポレイテッド | ドライバの注意散漫防止 |
JP2016199208A (ja) * | 2015-04-14 | 2016-12-01 | 株式会社東海理化電機製作所 | シートベルト警告装置 |
CN106709443A (zh) * | 2016-12-19 | 2017-05-24 | 同观科技(深圳)有限公司 | 一种安全带佩戴状态的检测方法及终端 |
CN109086662A (zh) * | 2018-06-19 | 2018-12-25 | 浙江大华技术股份有限公司 | 一种异常行为检测方法及装置 |
JP2021022010A (ja) * | 2019-07-24 | 2021-02-18 | トヨタ自動車株式会社 | 制御装置、車両、制御方法、及び制御プログラム |
CN113269005A (zh) * | 2020-02-14 | 2021-08-17 | 深圳云天励飞技术有限公司 | 一种安全带检测方法、装置及电子设备 |
JP2021152966A (ja) * | 2020-06-29 | 2021-09-30 | ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド | シートベルト着用状態の認識方法、認識装置、電子機器及び記憶媒体 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101655858B1 (ko) * | 2015-02-03 | 2016-09-08 | (주) 미래테크원 | 안전벨트 미착용 단속 시스템 및 그의 운용 방법 |
CN105373779B (zh) * | 2015-11-10 | 2018-09-28 | 北京数字智通科技有限公司 | 一种车辆安全带智能检测方法及智能检测系统 |
CN107529659B (zh) * | 2017-07-14 | 2018-12-11 | 深圳云天励飞技术有限公司 | 安全带佩戴检测方法、装置及电子设备 |
KR101957759B1 (ko) * | 2018-10-12 | 2019-03-14 | 렉스젠(주) | 안전 벨트 검출 시스템 및 그 방법 |
CN109886205B (zh) * | 2019-02-25 | 2023-08-08 | 苏州清研微视电子科技有限公司 | 安全带实时监测方法和系统 |
CN109753903B (zh) * | 2019-02-27 | 2020-09-15 | 北航(四川)西部国际创新港科技有限公司 | 一种基于深度学习的无人机检测方法 |
CN110046557A (zh) * | 2019-03-27 | 2019-07-23 | 北京好运达智创科技有限公司 | 基于深度神经网络判别的安全帽、安全带检测方法 |
CN111178272B (zh) * | 2019-12-30 | 2023-04-18 | 东软集团(北京)有限公司 | 一种识别驾驶员行为的方法、装置及设备 |
CN111476224B (zh) * | 2020-06-28 | 2020-10-09 | 杭州鸿泉物联网技术股份有限公司 | 安全带检测方法、装置、电子设备及系统 |
CN111931642A (zh) * | 2020-08-07 | 2020-11-13 | 上海商汤临港智能科技有限公司 | 一种安全带佩戴检测的方法、装置、电子设备及存储介质 |
-
2020
- 2020-08-07 CN CN202010791309.2A patent/CN111931642A/zh active Pending
- 2020-12-10 KR KR1020217042831A patent/KR20220019105A/ko active Search and Examination
- 2020-12-10 JP JP2021578003A patent/JP7288097B2/ja active Active
- 2020-12-10 WO PCT/CN2020/135494 patent/WO2022027893A1/zh active Application Filing
-
2022
- 2022-01-27 US US17/585,810 patent/US20220144206A1/en not_active Abandoned
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010113506A (ja) * | 2008-11-06 | 2010-05-20 | Aisin Aw Co Ltd | 乗員位置検出装置、乗員位置検出方法及び乗員位置検出プログラム |
JP2010211705A (ja) * | 2009-03-12 | 2010-09-24 | Denso Corp | 乗員姿勢推定装置 |
JP2016522767A (ja) * | 2013-03-06 | 2016-08-04 | クアルコム,インコーポレイテッド | ドライバの注意散漫防止 |
JP2016199208A (ja) * | 2015-04-14 | 2016-12-01 | 株式会社東海理化電機製作所 | シートベルト警告装置 |
CN106709443A (zh) * | 2016-12-19 | 2017-05-24 | 同观科技(深圳)有限公司 | 一种安全带佩戴状态的检测方法及终端 |
CN109086662A (zh) * | 2018-06-19 | 2018-12-25 | 浙江大华技术股份有限公司 | 一种异常行为检测方法及装置 |
JP2021022010A (ja) * | 2019-07-24 | 2021-02-18 | トヨタ自動車株式会社 | 制御装置、車両、制御方法、及び制御プログラム |
CN113269005A (zh) * | 2020-02-14 | 2021-08-17 | 深圳云天励飞技术有限公司 | 一种安全带检测方法、装置及电子设备 |
JP2021152966A (ja) * | 2020-06-29 | 2021-09-30 | ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド | シートベルト着用状態の認識方法、認識装置、電子機器及び記憶媒体 |
Also Published As
Publication number | Publication date |
---|---|
WO2022027893A1 (zh) | 2022-02-10 |
CN111931642A (zh) | 2020-11-13 |
KR20220019105A (ko) | 2022-02-15 |
US20220144206A1 (en) | 2022-05-12 |
JP7288097B2 (ja) | 2023-06-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7288097B2 (ja) | シートベルト装着検知方法、装置、電子デバイス、記憶媒体並びにプログラム | |
CN108764185B (zh) | 一种图像处理方法及装置 | |
CN112590794B (zh) | 确定车辆驾驶员接管车辆控制的能力估计值的方法和装置 | |
Seshadri et al. | Driver cell phone usage detection on strategic highway research program (SHRP2) face view videos | |
CN106682602B (zh) | 一种驾驶员行为识别方法及终端 | |
CN109584507B (zh) | 驾驶行为监测方法、装置、系统、交通工具和存储介质 | |
US8547214B2 (en) | System for preventing handheld device use while operating a vehicle | |
US20220084316A1 (en) | Method and electronic device for recognizing abnormal sitting posture, and storage medium | |
US9330308B2 (en) | Apparatus method and computer-readable medium that detects different regions of user's hand for recognizing gesture for carrying out operation of vehicle | |
CN111931639B (zh) | 驾驶员行为检测方法、装置、电子设备及存储介质 | |
EP3342664B1 (en) | Posture information based pedestrian detection and pedestrian collision prevention apparatus and method | |
US10817751B2 (en) | Learning data creation method, learning method, risk prediction method, learning data creation device, learning device, risk prediction device, and recording medium | |
WO2015076152A1 (ja) | ヘルメット着用判定方法、ヘルメット着用判定システム、ヘルメット着用判定装置及びプログラム | |
CN110997418A (zh) | 车辆占用管理系统和方法 | |
US20160046296A1 (en) | Method and device for assigning a driver of a vehicle to a driver class stored in the vehicle and representing a specific driving behaviour of the driver, and computer program product for that purpose | |
WO2020013035A1 (ja) | 異常判定装置 | |
CN109165607B (zh) | 一种基于深度学习的驾驶员手持电话检测方法 | |
CN111016913A (zh) | 基于图像信息的司机状态控制系统及方法 | |
EP3842998A1 (en) | Driver condition estimating device, vehicle and driver condition estimating method | |
US20180201261A1 (en) | Method for checking the plausibility of a control decision for safety means | |
CN113366493A (zh) | 信息处理方法、以及信息处理系统 | |
US10482320B2 (en) | Device and method for providing moving body information for a vehicle, and recording medium, on which a program for executing the method is recorded | |
KR101664620B1 (ko) | 도로 곡률 안내 장치 및 방법 | |
US9428221B2 (en) | Drive assist control device | |
Chai et al. | Rethinking the Evaluation of Driver Behavior Analysis Approaches |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211228 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221115 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230517 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230525 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7288097 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |