JP2022530605A - 子供状態検出方法及び装置、電子機器、記憶媒体 - Google Patents
子供状態検出方法及び装置、電子機器、記憶媒体 Download PDFInfo
- Publication number
- JP2022530605A JP2022530605A JP2021557464A JP2021557464A JP2022530605A JP 2022530605 A JP2022530605 A JP 2022530605A JP 2021557464 A JP2021557464 A JP 2021557464A JP 2021557464 A JP2021557464 A JP 2021557464A JP 2022530605 A JP2022530605 A JP 2022530605A
- Authority
- JP
- Japan
- Prior art keywords
- child
- target
- information
- face
- center point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 72
- 210000000056 organ Anatomy 0.000 claims description 64
- 230000004044 response Effects 0.000 claims description 42
- 238000013528 artificial neural network Methods 0.000 claims description 30
- 230000036651 mood Effects 0.000 claims description 26
- 230000001815 facial effect Effects 0.000 claims description 24
- 238000000605 extraction Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 17
- 230000001186 cumulative effect Effects 0.000 claims description 17
- 230000009471 action Effects 0.000 claims description 8
- 210000000887 face Anatomy 0.000 claims description 6
- 238000010586 diagram Methods 0.000 abstract description 3
- 238000000034 method Methods 0.000 description 33
- 230000009466 transformation Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 8
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000008921 facial expression Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 206010011469 Crying Diseases 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 201000003465 angular cheilitis Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 208000007287 cheilitis Diseases 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
- B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
- B60N2/24—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles for particular purposes or particular vehicles
- B60N2/26—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles for particular purposes or particular vehicles for children
- B60N2/266—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles for particular purposes or particular vehicles for children with detection or alerting means responsive to presence or absence of children; with detection or alerting means responsive to improper locking or installation of the child seats or parts thereof
- B60N2/267—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles for particular purposes or particular vehicles for children with detection or alerting means responsive to presence or absence of children; with detection or alerting means responsive to improper locking or installation of the child seats or parts thereof alerting means responsive to presence or absence of children
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
- B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
- B60N2/002—Seats provided with an occupancy detection means mounted therein or thereon
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
- B60W40/105—Speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/593—Recognising seat occupancy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
- G08B21/22—Status alarms responsive to presence or absence of persons
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0881—Seat occupation; Driver or passenger presence
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/227—Position in the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30268—Vehicle interior
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Automation & Control Theory (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Ophthalmology & Optometry (AREA)
- Aviation & Aerospace Engineering (AREA)
- Child & Adolescent Psychology (AREA)
- Image Analysis (AREA)
Abstract
Description
本願は、2020年03月30日に中国特許局に提出された、出願番号が202010239259.7である中国特許出願に基づいて提出されるものであり、当該中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が引用によって本願に組み込まれる。
[技術分野]
本発明は、コンピュータビジョンの技術分野に関し、特に、子供状態検出方法及び装置、電子機器、コンピュータ可読記憶媒体に関する。
キャビン内の目標画像を取得することと、
前記目標画像内の子供を認識することと、
前記子供の位置情報に基づいて、前記子供がキャビン内の後部座席にいるかどうかを決定することと、
前記子供がキャビン内の後部座席にいない場合、警告を発することと、を含む。
前記子供の位置情報及び前記目標画像内のチャイルドシートの位置情報に基づいて、前記子供がチャイルドシートにいるかどうかを決定することと、
前記子供がチャイルドシートにいない場合、前記キャビンの移動速度がプリセットされた値より大きいことに応答して、警告を発することと、を更に含む。
前記目標画像内のチャイルドシートを認識することと、
キャビン内にチャイルドシートがないと決定した場合、前記キャビンの移動速度がプリセットされた値より大きいことに応答して、警告を発することと、を更に含む。
前記子供の状態特徴情報を認識することと、
前記状態特徴情報に基づいて、前記キャビン内のキャビン環境を調整することと、を更に含む。
前記目標画像に基づいて、前記目標画像内の各対象の対象情報を決定することであって、1つの対象の対象情報は、前記対象の中心点情報及び前記対象の中心点に対応する対象タイプ情報を含む、ことと、
決定された各対象の対象情報に基づいて、前記目標画像内の子供を決定することと、を含む。
前記目標画像に対して特徴抽出を実行して、前記目標画像に対応する第1特徴マップを取得することと、
前記第1特徴マップの第1プリセットされたチャネルから、前記第1特徴マップの各特徴点を対象の中心点の応答値として取得することと、
前記第1特徴マップを複数のサブ領域に分割し、各サブ領域の最大の応答値及び最大の応答値に対応する特徴点を決定することと、
最大の応答値がプリセットされた閾値より大きい目標特徴点を対象の中心点として使用し、第1特徴マップにおける前記目標特徴点の位置インデックスに基づいて、対象の中心点の位置情報を決定することと、を含む。
前記第1特徴マップの第2プリセットされたチャネルの、前記目標特徴点の位置インデックスに対応する位置から、前記目標特徴点に対応する対象の中心点の長さ情報を取得することと、
前記第1特徴マップ的第3プリセットされたチャネルの、前記目標特徴点の位置インデックスに対応する位置から、前記目標特徴点に対応する対象の中心点の幅情報を取得することと、を更に含む。
前記目標画像に対して特徴抽出を実行して、前記目標画像に対応する第2特徴マップを取得することと、
第1特徴マップにおける前記目標特徴点の位置インデックスに基づいて、前記第2特徴マップにおける前記目標特徴点の位置インデックスを決定することと、
前記第2特徴マップにおける前記目標特徴点の位置インデックスに対応する位置から、前記目標特徴点に対応する対象タイプ情報を取得することと、を更に含む。
前記決定された各対象の対象情報に基づいて、前記目標画像内の子供を決定することは、
各体の中心点に対応する位置オフセット情報に基づいて、各体とマッチングする顔の中心点の予測位置情報をそれぞれ決定することであって、同一人に属する体と顔は互いにマッチングすることと、
決定された予測位置情報及び各顔の中心点の位置情報に基づいて、各体とマッチングする顔を決定することと、
マッチングに成功した体と顔について、マッチングに成功した体の中心点に対応する対象タイプ情報及び顔の中心点に対応する対象タイプ情報を用いて、前記マッチングに成功した体と顔が属する人が子供であるかどうかを決定することと、を含む。
マッチングに成功しなかった体について、前記体の中心点に対応する対象タイプ情報を用いて前記体の中心点が属する人が子供であるかどうかを決定することと、
マッチングに成功しなかった顔について、前記顔の中心点に対応する対象タイプ情報を用いて前記顔の中心点が属する人が子供であるかどうかを決定することと、を更に含む。
前記子供の状態特徴情報を認識することは、
前記目標画像から子供の顔サブ画像を抽出することと、
前記顔サブ画像に基づいて、子供の左目の開閉状態情報及び右目の開閉状態情報を決定することと、
子供の左目の開閉状態情報及び右目の開閉状態情報に基づいて、子供の睡眠状態特徴情報を決定することと、を含む。
連続する複数のフレームの前記目標画像に対応する左目の開閉状態情報及び右目の開閉状態情報に基づいて、前記子供が目を閉じた累積持続時間を決定することと、
前記目を閉じた累積持続時間がプリセットされた閾値より大きい場合、前記睡眠状態特徴情報が睡眠状態であると決定することと、
前記目を閉じた累積持続時間がプリセットされた閾値より小さいか等しい場合、前記睡眠状態特徴情報が非睡眠状態であると決定することと、を含む。
前記子供の状態特徴情報を認識することは、
前記目標画像から子供の顔サブ画像を抽出することと、
前記顔サブ画像によって表される顔の少なくとも2つの器官の各器官の動作を認識することと、
認識された前記各器官の動作に基づいて、前記顔サブ画像によって表される顔の気分状態特徴情報を決定することと、を含む。
顔をしかめること、目を大きく開くこと、口角を上げること、上唇を上げること、口角を下げること、及び口を開くことを含む。
前記顔サブ画像によって表される顔の少なくとも2つの器官の各器官の動作を認識することは、
バックボーンネットワークを用いて前記顔サブ画像に対して特徴抽出を実行して、前記顔サブ画像の特徴マップを取得することと、
各分類ブランチネットワークを用いて、前記顔サブ画像の特徴マップに従って動作認識をそれぞれ実行して、各分類ブランチネットワークによって認識できる動作の発生確率を取得することと、
発生確率がプリセットされた確率より大きい動作を、前記顔サブ画像によって表される顔の器官の動作として決定することと、を含む。
キャビン内の目標画像を取得するように構成される画像取得モジュールと、
前記目標画像内の子供を認識するように構成される子供認識モジュールと、
前記子供の位置情報に基づいて、前記子供がキャビン内の後部座席にいるかどうかを決定するように構成される位置判定モジュールと、
前記子供がキャビン内の後部座席にいない場合、警告を発するように構成される早期警告モジュールと、を備える。
前記子供の位置情報及び前記目標画像内のチャイルドシートの位置情報に基づいて、前記子供がチャイルドシートにいるかどうかを決定することと、前記子供がチャイルドシートにいない場合、前記キャビンの移動速度がプリセットされた値より大きいことに応答して、警告を発することと、を更に含み得る。
連続する複数のフレームの前記目標画像に対応する左目の開閉状態情報及び右目の開閉状態情報に基づいて、前記子供が目を閉じた累積持続時間を決定することと、前記目を閉じた累積持続時間がプリセットされた閾値より大きい場合、前記睡眠状態特徴情報が睡眠状態であると決定することと、前記目を閉じた累積持続時間がプリセットされた閾値より小さいか等しい場合、前記睡眠状態特徴情報が非睡眠状態であると決定することと、を含み得る。
キャビン内の目標画像を取得するように構成される画像取得モジュール510と、
前記目標画像内の子供を認識するように構成される子供認識モジュール520と、
前記子供の位置情報に基づいて、前記子供がキャビン内の後部座席にいるかどうかを決定するように構成される位置判定モジュール530と、
前記子供がキャビン内の後部座席にいない場合、警告を発するように構成される早期警告モジュール540と、を備える。
早期警告モジュール540は、前記子供がチャイルドシートにいない場合、前記キャビンの移動速度がプリセットされた値より大きいことに応答して、警告を発する。
上述早期警告モジュール540は更に、キャビン内にチャイルドシートがないと決定した場合、前記キャビンの移動速度がプリセットされた値より大きいことに応答して、警告を発するように構成される。
前記子供の状態特徴情報を認識し、
前記状態特徴情報に基づいて、前記キャビン内のキャビン環境を調整するように構成される。
前記目標画像に基づいて、前記目標画像内の各対象の対象情報を決定し、ここで、1つの対象の対象情報は、前記対象の中心点情報及び前記対象の中心点に対応する対象タイプ情報を含み、
決定された各対象の対象情報に基づいて、前記目標画像内の子供を決定するように構成される。
前記目標画像に対して特徴抽出を実行して、前記目標画像に対応する第1特徴マップを取得し、
前記第1特徴マップの第1プリセットされたチャネルから、前記第1特徴マップの各特徴点を対象の中心点の応答値として取得し、
前記第1特徴マップを複数のサブ領域に分割し、各サブ領域の最大の応答値及び最大の応答値に対応する特徴点を決定し、
最大の応答値がプリセットされた閾値より大きい目標特徴点を対象の中心点として使用し、第1特徴マップにおける前記目標特徴点の位置インデックスに基づいて、対象の中心点の位置情報を決定するように構成される。
前記第1特徴マップの第2プリセットされたチャネルの、前記目標特徴点の位置インデックスに対応する位置から、前記目標特徴点に対応する対象の中心点の長さ情報を取得し、
前記第1特徴マップ的第3プリセットされたチャネルの、前記目標特徴点の位置インデックスに対応する位置から、前記目標特徴点に対応する対象の中心点の幅情報を取得するように構成される。
前記目標画像に対して特徴抽出を実行して、前記目標画像に対応する第2特徴マップを取得し、
第1特徴マップにおける前記目標特徴点の位置インデックスに基づいて、前記第2特徴マップにおける前記目標特徴点の位置インデックスを決定し、
前記第2特徴マップにおける前記目標特徴点の位置インデックスに対応する位置から、前記目標特徴点に対応する対象タイプ情報を取得するように構成される。
前記子供認識モジュール520は、決定された各対象の対象情報に基づいて、前記目標画像内の子供を決定するとき、
各体の中心点に対応する位置オフセット情報に基づいて、各体とマッチングする顔の中心点の予測位置情報をそれぞれ決定することであって、同一人に属する体と顔は互いにマッチングし、
決定された予測位置情報及び各顔の中心点の位置情報に基づいて、各体とマッチングする顔を決定し、
マッチングに成功した体と顔について、マッチングに成功した体の中心点に対応する対象タイプ情報及び顔の中心点に対応する対象タイプ情報を用いて、前記マッチングに成功した体と顔が属する人が子供であるかどうかを決定するように構成される。
マッチングに成功しなかった体について、前記体の中心点に対応する対象タイプ情報を用いて前記体の中心点が属する人が子供であるかどうかを決定し、
マッチングに成功しなかった顔について、前記顔の中心点に対応する対象タイプ情報を用いて前記顔の中心点が属する人が子供であるかどうかを決定するように構成される。
前記子供認識モジュール520は、前記子供の状態特徴情報を認識するときに、
前記目標画像から子供の顔サブ画像を抽出し、
前記顔サブ画像に基づいて、子供の左目の開閉状態情報及び右目の開閉状態情報を決定し、
子供の左目の開閉状態情報及び右目の開閉状態情報に基づいて、子供の睡眠状態特徴情報を決定するように構成される。
連続する複数のフレームの前記目標画像に対応する左目の開閉状態情報及び右目の開閉状態情報に基づいて、前記子供が目を閉じた累積持続時間を決定し、
前記目を閉じた累積持続時間がプリセットされた閾値より大きい場合、前記睡眠状態特徴情報が睡眠状態であると決定し、
前記目を閉じた累積持続時間がプリセットされた閾値より小さいか等しい場合、前記睡眠状態特徴情報が非睡眠状態であると決定するように構成される。
前記子供認識モジュール520は、前記子供の状態特徴情報を認識するときに、
前記目標画像から子供の顔サブ画像を抽出し、
前記顔サブ画像によって表される顔の少なくとも2つの器官の各器官の動作を認識し、
認識された前記各器官の動作に基づいて、前記顔サブ画像によって表される顔の気分状態特徴情報を決定するように構成される。
顔をしかめること、目を大きく開くこと、口角を上げること、上唇を上げること、口角を下げること、及び口を開くことを含む。
前記顔サブ画像によって表される顔の少なくとも2つの器官の各器官の動作を認識することは、
バックボーンネットワークを用いて前記顔サブ画像に対して特徴抽出を実行して、前記顔サブ画像の特徴マップを取得することと、
各分類ブランチネットワークを用いて、前記顔サブ画像の特徴マップに従って動作認識をそれぞれ実行して、各分類ブランチネットワークによって認識できる動作の発生確率を取得することと、
発生確率がプリセットされた確率より大きい動作を前記顔サブ画像によって表される顔の器官の動作として決定することと、を含む。
キャビン内の目標画像を取得することと、
前記目標画像内の子供を認識することと、
前記子供の位置情報に基づいて、前記子供がキャビン内の後部座席にいるかどうかを決定することと、
前記子供がキャビン内の後部座席にいない場合、警告を発することと、を含む。
例えば、本願は以下の項目を提供する。
(項目1)
子供状態検出方法であって、
キャビン内の目標画像を取得することと、
前記目標画像内の子供を認識することと、
前記子供の位置情報に基づいて、前記子供がキャビン内の後部座席にいるかどうかを決定することと、
前記子供がキャビン内の後部座席にいない場合、警告を発することと、を含む、前記子供状態検出方法。
(項目2)
前記子供状態検出方法は、
前記子供の位置情報及び前記目標画像内のチャイルドシートの位置情報に基づいて、前記子供がチャイルドシートにいるかどうかを決定することと、
前記子供がチャイルドシートにいない場合、前記キャビンの移動速度がプリセットされた値より大きいことに応答して、警告を発することと、を更に含む、
項目1に記載の子供状態検出方法。
(項目3)
前記子供状態検出方法は、
前記目標画像内のチャイルドシートを認識することと、
キャビン内にチャイルドシートがないと決定した場合、前記キャビンの移動速度がプリセットされた値より大きいことに応答して、警告を発することと、を更に含む、
項目1に記載の子供状態検出方法。
(項目4)
前記目標画像内の子供を認識することは、
前記子供の状態特徴情報を認識することと、
前記状態特徴情報に基づいて、前記キャビン内のキャビン環境を調整することと、を更に含む、
項目1に記載の子供状態検出方法。
(項目5)
前記目標画像内の子供を認識することは、
前記目標画像に基づいて、前記目標画像内の各対象の対象情報を決定することであって、1つの対象の対象情報は、前記対象の中心点情報及び前記対象の中心点に対応する対象タイプ情報を含む、ことと、
決定された各対象の対象情報に基づいて、前記目標画像内の子供を決定することと、を含む、
項目1に記載の子供状態検出方法。
(項目6)
前記目標画像に基づいて、前記目標画像内の各対象の対象情報を決定することは、
前記目標画像に対して特徴抽出を実行して、前記目標画像に対応する第1特徴マップを取得することと、
前記第1特徴マップの第1プリセットされたチャネルから、前記第1特徴マップの各特徴点を対象の中心点の応答値として取得することと、
前記第1特徴マップを複数のサブ領域に分割し、各サブ領域の最大の応答値及び最大の応答値に対応する特徴点を決定することと、
最大の応答値がプリセットされた閾値より大きい目標特徴点を対象の中心点として使用し、第1特徴マップにおける前記目標特徴点の位置インデックスに基づいて、対象の中心点の位置情報を決定することと、を含む、
項目5に記載の子供状態検出方法。
(項目7)
前記対象の中心点情報は、対象の中心点の長さ情報及び幅情報を更に含み、前記目標画像に基づいて、前記目標画像内の各対象の対象情報を決定することは、
前記第1特徴マップの第2プリセットされたチャネルの、前記目標特徴点の位置インデックスに対応する位置から、前記目標特徴点に対応する対象の中心点の長さ情報を取得することと、
前記第1特徴マップ的第3プリセットされたチャネルの、前記目標特徴点の位置インデックスに対応する位置から、前記目標特徴点に対応する対象の中心点の幅情報を取得することと、を更に含む、
項目6に記載の子供状態検出方法。
(項目8)
前記目標画像に基づいて、前記目標画像内の各対象の対象情報を決定することは、
前記目標画像に対して特徴抽出を実行して、前記目標画像に対応する第2特徴マップを取得することと、
第1特徴マップにおける前記目標特徴点の位置インデックスに基づいて、前記第2特徴マップにおける前記目標特徴点の位置インデックスを決定することと、
前記第2特徴マップにおける前記目標特徴点の位置インデックスに対応する位置から、前記目標特徴点に対応する対象タイプ情報を取得することと、を更に含む、
項目6に記載の子供状態検出方法。
(項目9)
前記対象は顔及び体を含み、
前記決定された各対象の対象情報に基づいて、前記目標画像内の子供を決定することは、
各体の中心点に対応する位置オフセット情報に基づいて、各体とマッチングする顔の中心点の予測位置情報をそれぞれ決定することであって、同一人に属する体と顔は互いにマッチングする、ことと、
決定された予測位置情報及び各顔の中心点の位置情報に基づいて、各体とマッチングする顔を決定することと、
マッチングに成功した体と顔について、マッチングに成功した体の中心点に対応する対象タイプ情報及び顔の中心点に対応する対象タイプ情報を用いて、前記マッチングに成功した体と顔が属する人が子供であるかどうかを決定することと、を含む、
項目5ないし8のいずれか一項に記載の子供状態検出方法。
(項目10)
前記子供状態検出方法は、
マッチングに成功しなかった体について、前記体の中心点に対応する対象タイプ情報を用いて前記体の中心点が属する人が子供であるかどうかを決定することと、
マッチングに成功しなかった顔について、前記顔の中心点に対応する対象タイプ情報を用いて前記顔の中心点が属する人が子供であるかどうかを決定することと、を更に含む、
項目9に記載の子供状態検出方法。
(項目11)
前記状態特徴情報は、子供の睡眠状態特徴情報を含み、
前記子供の状態特徴情報を認識することは、
前記目標画像から子供の顔サブ画像を抽出することと、
前記顔サブ画像に基づいて、子供の左目の開閉状態情報及び右目の開閉状態情報を決定することと、
子供の左目の開閉状態情報及び右目の開閉状態情報に基づいて、子供の睡眠状態特徴情報を決定することと、を含む、
項目4に記載の子供状態検出方法。
(項目12)
前記子供の左目の開閉状態情報及び右目の開閉状態情報に基づいて、子供の睡眠状態特徴情報を決定することは、
連続する複数のフレームの前記目標画像に対応する左目の開閉状態情報及び右目の開閉状態情報に基づいて、前記子供が目を閉じた累積持続時間を決定することと、
前記目を閉じた累積持続時間がプリセットされた閾値より大きい場合、前記睡眠状態特徴情報が睡眠状態であると決定することと、
前記目を閉じた累積持続時間がプリセットされた閾値より小さいか等しい場合、前記睡眠状態特徴情報が非睡眠状態であると決定することと、を含む、
項目11に記載の子供状態検出方法。
(項目13)
前記状態特徴情報は、子供の気分状態特徴情報を含み、
前記子供の状態特徴情報を認識することは、
前記目標画像から子供の顔サブ画像を抽出することと、
前記顔サブ画像によって表される顔上の少なくとも2つの器官の各器官の動作を認識することと、
認識された前記各器官の動作に基づいて、前記顔サブ画像によって表される顔上の気分状態特徴情報を決定することと、を含む、
項目4に記載の子供状態検出方法。
(項目14)
顔上の器官の動作は、
顔をしかめること、目を大きく開くこと、口角を上げること、上唇を上げること、口角を下げること、及び口を開くことを含む。
項目13に記載の子供状態検出方法。
(項目15)
前記顔サブ画像によって表される顔上の少なくとも2つの器官の各器官の動作を認識するステップは、動作認識用のニューラルネットワークによって実行され、前記動作認識用のニューラルネットワークは、バックボーンネットワーク及び少なくとも2つの分類ブランチネットワークを含み、各分類ブランチネットワークは、顔上の1つの器官の動作を認識するために使用され、
前記顔サブ画像によって表される顔上の少なくとも2つの器官の各器官の動作を認識することは、
バックボーンネットワークを用いて前記顔サブ画像に対して特徴抽出を実行して、前記顔サブ画像の特徴マップを取得することと、
各分類ブランチネットワークを用いて、前記顔サブ画像の特徴マップに従って動作認識をそれぞれ実行して、各分類ブランチネットワークによって認識できる動作の発生確率を取得することと、
発生確率がプリセットされた確率より大きい動作を、前記顔サブ画像によって表される顔上の器官の動作として決定することと、を含む、
項目11又は12に記載の子供状態検出方法。
(項目16)
子供状態検出装置であって、
キャビン内の目標画像を取得するように構成される画像取得モジュールと、
前記目標画像内の子供を認識するように構成される子供認識モジュールと、
前記子供の位置情報に基づいて、前記子供がキャビン内の後部座席にいるかどうかを決定するように構成される位置判定モジュールと、
前記子供がキャビン内の後部座席にいない場合、警告を発するように構成される早期警告モジュールと、を備える、前記子供状態検出装置。
(項目17)
電子機器であって、
プロセッサ、記憶媒体及びバスを備え、前記記憶媒体には、前記プロセッサによって実行可能な機械可読命令が記憶され、電子機器が動作するときに、前記プロセッサと前記記憶媒体は、バスを介して通信し、前記プロセッサは、前記機械可読命令を実行することにより、項目1ないし15のいずれか一項に記載の子供状態検出方法を実行する、前記電子機器。
(項目18)
コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、
前記コンピュータプログラムがプロセッサによって実行されるときに、項目1ないし15のいずれか一項に記載の子供状態検出方法を実行する、前記コンピュータ可読記憶媒体。
(項目19)
コンピュータ可読コードを含むコンピュータプログラム製品あって、
前記コンピュータ可読コードが電子機器で実行されるときに、前記電子機器のプロセッサに、項目1ないし15のいずれか一項に記載の子供状態検出方法を実行させる、前記コンピュータプログラム製品。
Claims (19)
- 子供状態検出方法であって、
キャビン内の目標画像を取得することと、
前記目標画像内の子供を認識することと、
前記子供の位置情報に基づいて、前記子供がキャビン内の後部座席にいるかどうかを決定することと、
前記子供がキャビン内の後部座席にいない場合、警告を発することと、を含む、前記子供状態検出方法。 - 前記子供状態検出方法は、
前記子供の位置情報及び前記目標画像内のチャイルドシートの位置情報に基づいて、前記子供がチャイルドシートにいるかどうかを決定することと、
前記子供がチャイルドシートにいない場合、前記キャビンの移動速度がプリセットされた値より大きいことに応答して、警告を発することと、を更に含む、
請求項1に記載の子供状態検出方法。 - 前記子供状態検出方法は、
前記目標画像内のチャイルドシートを認識することと、
キャビン内にチャイルドシートがないと決定した場合、前記キャビンの移動速度がプリセットされた値より大きいことに応答して、警告を発することと、を更に含む、
請求項1に記載の子供状態検出方法。 - 前記目標画像内の子供を認識することは、
前記子供の状態特徴情報を認識することと、
前記状態特徴情報に基づいて、前記キャビン内のキャビン環境を調整することと、を更に含む、
請求項1に記載の子供状態検出方法。 - 前記目標画像内の子供を認識することは、
前記目標画像に基づいて、前記目標画像内の各対象の対象情報を決定することであって、1つの対象の対象情報は、前記対象の中心点情報及び前記対象の中心点に対応する対象タイプ情報を含む、ことと、
決定された各対象の対象情報に基づいて、前記目標画像内の子供を決定することと、を含む、
請求項1に記載の子供状態検出方法。 - 前記目標画像に基づいて、前記目標画像内の各対象の対象情報を決定することは、
前記目標画像に対して特徴抽出を実行して、前記目標画像に対応する第1特徴マップを取得することと、
前記第1特徴マップの第1プリセットされたチャネルから、前記第1特徴マップの各特徴点を対象の中心点の応答値として取得することと、
前記第1特徴マップを複数のサブ領域に分割し、各サブ領域の最大の応答値及び最大の応答値に対応する特徴点を決定することと、
最大の応答値がプリセットされた閾値より大きい目標特徴点を対象の中心点として使用し、第1特徴マップにおける前記目標特徴点の位置インデックスに基づいて、対象の中心点の位置情報を決定することと、を含む、
請求項5に記載の子供状態検出方法。 - 前記対象の中心点情報は、対象の中心点の長さ情報及び幅情報を更に含み、前記目標画像に基づいて、前記目標画像内の各対象の対象情報を決定することは、
前記第1特徴マップの第2プリセットされたチャネルの、前記目標特徴点の位置インデックスに対応する位置から、前記目標特徴点に対応する対象の中心点の長さ情報を取得することと、
前記第1特徴マップ的第3プリセットされたチャネルの、前記目標特徴点の位置インデックスに対応する位置から、前記目標特徴点に対応する対象の中心点の幅情報を取得することと、を更に含む、
請求項6に記載の子供状態検出方法。 - 前記目標画像に基づいて、前記目標画像内の各対象の対象情報を決定することは、
前記目標画像に対して特徴抽出を実行して、前記目標画像に対応する第2特徴マップを取得することと、
第1特徴マップにおける前記目標特徴点の位置インデックスに基づいて、前記第2特徴マップにおける前記目標特徴点の位置インデックスを決定することと、
前記第2特徴マップにおける前記目標特徴点の位置インデックスに対応する位置から、前記目標特徴点に対応する対象タイプ情報を取得することと、を更に含む、
請求項6に記載の子供状態検出方法。 - 前記対象は顔及び体を含み、
前記決定された各対象の対象情報に基づいて、前記目標画像内の子供を決定することは、
各体の中心点に対応する位置オフセット情報に基づいて、各体とマッチングする顔の中心点の予測位置情報をそれぞれ決定することであって、同一人に属する体と顔は互いにマッチングする、ことと、
決定された予測位置情報及び各顔の中心点の位置情報に基づいて、各体とマッチングする顔を決定することと、
マッチングに成功した体と顔について、マッチングに成功した体の中心点に対応する対象タイプ情報及び顔の中心点に対応する対象タイプ情報を用いて、前記マッチングに成功した体と顔が属する人が子供であるかどうかを決定することと、を含む、
請求項5ないし8のいずれか一項に記載の子供状態検出方法。 - 前記子供状態検出方法は、
マッチングに成功しなかった体について、前記体の中心点に対応する対象タイプ情報を用いて前記体の中心点が属する人が子供であるかどうかを決定することと、
マッチングに成功しなかった顔について、前記顔の中心点に対応する対象タイプ情報を用いて前記顔の中心点が属する人が子供であるかどうかを決定することと、を更に含む、
請求項9に記載の子供状態検出方法。 - 前記状態特徴情報は、子供の睡眠状態特徴情報を含み、
前記子供の状態特徴情報を認識することは、
前記目標画像から子供の顔サブ画像を抽出することと、
前記顔サブ画像に基づいて、子供の左目の開閉状態情報及び右目の開閉状態情報を決定することと、
子供の左目の開閉状態情報及び右目の開閉状態情報に基づいて、子供の睡眠状態特徴情報を決定することと、を含む、
請求項4に記載の子供状態検出方法。 - 前記子供の左目の開閉状態情報及び右目の開閉状態情報に基づいて、子供の睡眠状態特徴情報を決定することは、
連続する複数のフレームの前記目標画像に対応する左目の開閉状態情報及び右目の開閉状態情報に基づいて、前記子供が目を閉じた累積持続時間を決定することと、
前記目を閉じた累積持続時間がプリセットされた閾値より大きい場合、前記睡眠状態特徴情報が睡眠状態であると決定することと、
前記目を閉じた累積持続時間がプリセットされた閾値より小さいか等しい場合、前記睡眠状態特徴情報が非睡眠状態であると決定することと、を含む、
請求項11に記載の子供状態検出方法。 - 前記状態特徴情報は、子供の気分状態特徴情報を含み、
前記子供の状態特徴情報を認識することは、
前記目標画像から子供の顔サブ画像を抽出することと、
前記顔サブ画像によって表される顔上の少なくとも2つの器官の各器官の動作を認識することと、
認識された前記各器官の動作に基づいて、前記顔サブ画像によって表される顔上の気分状態特徴情報を決定することと、を含む、
請求項4に記載の子供状態検出方法。 - 顔上の器官の動作は、
顔をしかめること、目を大きく開くこと、口角を上げること、上唇を上げること、口角を下げること、及び口を開くことを含む。
請求項13に記載の子供状態検出方法。 - 前記顔サブ画像によって表される顔上の少なくとも2つの器官の各器官の動作を認識するステップは、動作認識用のニューラルネットワークによって実行され、前記動作認識用のニューラルネットワークは、バックボーンネットワーク及び少なくとも2つの分類ブランチネットワークを含み、各分類ブランチネットワークは、顔上の1つの器官の動作を認識するために使用され、
前記顔サブ画像によって表される顔上の少なくとも2つの器官の各器官の動作を認識することは、
バックボーンネットワークを用いて前記顔サブ画像に対して特徴抽出を実行して、前記顔サブ画像の特徴マップを取得することと、
各分類ブランチネットワークを用いて、前記顔サブ画像の特徴マップに従って動作認識をそれぞれ実行して、各分類ブランチネットワークによって認識できる動作の発生確率を取得することと、
発生確率がプリセットされた確率より大きい動作を、前記顔サブ画像によって表される顔上の器官の動作として決定することと、を含む、
請求項11又は12に記載の子供状態検出方法。 - 子供状態検出装置であって、
キャビン内の目標画像を取得するように構成される画像取得モジュールと、
前記目標画像内の子供を認識するように構成される子供認識モジュールと、
前記子供の位置情報に基づいて、前記子供がキャビン内の後部座席にいるかどうかを決定するように構成される位置判定モジュールと、
前記子供がキャビン内の後部座席にいない場合、警告を発するように構成される早期警告モジュールと、を備える、前記子供状態検出装置。 - 電子機器であって、
プロセッサ、記憶媒体及びバスを備え、前記記憶媒体には、前記プロセッサによって実行可能な機械可読命令が記憶され、電子機器が動作するときに、前記プロセッサと前記記憶媒体は、バスを介して通信し、前記プロセッサは、前記機械可読命令を実行することにより、請求項1ないし15のいずれか一項に記載の子供状態検出方法を実行する、前記電子機器。 - コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、
前記コンピュータプログラムがプロセッサによって実行されるときに、請求項1ないし15のいずれか一項に記載の子供状態検出方法を実行する、前記コンピュータ可読記憶媒体。 - コンピュータ可読コードを含むコンピュータプログラム製品あって、
前記コンピュータ可読コードが電子機器で実行されるときに、前記電子機器のプロセッサに、請求項1ないし15のいずれか一項に記載の子供状態検出方法を実行させる、前記コンピュータプログラム製品。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010239259.7 | 2020-03-30 | ||
CN202010239259.7A CN111439170B (zh) | 2020-03-30 | 2020-03-30 | 儿童状态检测方法及装置、电子设备、存储介质 |
PCT/CN2020/136250 WO2021196738A1 (zh) | 2020-03-30 | 2020-12-14 | 儿童状态检测方法及装置、电子设备、存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022530605A true JP2022530605A (ja) | 2022-06-30 |
JP7259078B2 JP7259078B2 (ja) | 2023-04-17 |
Family
ID=71649227
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021557464A Active JP7259078B2 (ja) | 2020-03-30 | 2020-12-14 | 子供状態検出方法及び装置、電子機器、記憶媒体 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20220084384A1 (ja) |
JP (1) | JP7259078B2 (ja) |
KR (1) | KR20210142177A (ja) |
CN (1) | CN111439170B (ja) |
SG (1) | SG11202113260SA (ja) |
WO (1) | WO2021196738A1 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111439170B (zh) * | 2020-03-30 | 2021-09-17 | 上海商汤临港智能科技有限公司 | 儿童状态检测方法及装置、电子设备、存储介质 |
WO2021196751A1 (zh) * | 2020-03-30 | 2021-10-07 | 上海商汤临港智能科技有限公司 | 基于数字人的车舱交互方法、装置及车辆 |
CN112085701B (zh) * | 2020-08-05 | 2024-06-11 | 深圳市优必选科技股份有限公司 | 一种人脸模糊度检测方法、装置、终端设备及存储介质 |
CN111931639B (zh) * | 2020-08-07 | 2024-06-11 | 上海商汤临港智能科技有限公司 | 驾驶员行为检测方法、装置、电子设备及存储介质 |
CN111931640B (zh) * | 2020-08-07 | 2022-06-10 | 上海商汤临港智能科技有限公司 | 异常坐姿识别方法、装置、电子设备及存储介质 |
CN112001348A (zh) * | 2020-08-31 | 2020-11-27 | 上海商汤临港智能科技有限公司 | 车舱内的乘员检测方法及装置、电子设备和存储介质 |
CN112418243A (zh) * | 2020-10-28 | 2021-02-26 | 北京迈格威科技有限公司 | 特征提取方法、装置及电子设备 |
CN113581187A (zh) * | 2021-08-06 | 2021-11-02 | 阿尔特汽车技术股份有限公司 | 用于车辆的控制方法及相应的系统、车辆、设备和介质 |
CN113920492A (zh) * | 2021-10-29 | 2022-01-11 | 上海商汤临港智能科技有限公司 | 车内人员检测方法及装置、电子设备和存储介质 |
CN114998871A (zh) * | 2022-06-07 | 2022-09-02 | 东风汽车集团股份有限公司 | 一种车内哄娃模式实现系统及实现方法 |
CN115284976B (zh) * | 2022-08-10 | 2023-09-12 | 东风柳州汽车有限公司 | 车辆座椅自动调节方法、装置、设备及存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11198705A (ja) * | 1998-01-12 | 1999-07-27 | Honda Motor Co Ltd | 乗員検知装置 |
JP2007233475A (ja) * | 2006-02-27 | 2007-09-13 | Toyota Motor Corp | 居眠り判定装置および居眠り運転警告装置 |
CN103359038A (zh) * | 2013-08-05 | 2013-10-23 | 北京汽车股份有限公司 | 一种识别儿童坐副驾驶位置的方法、系统及汽车 |
JP2017110990A (ja) * | 2015-12-16 | 2017-06-22 | アルパイン株式会社 | 走行支援装置および走行支援方法 |
JP2019123354A (ja) * | 2018-01-16 | 2019-07-25 | 株式会社デンソー | 乗員検知装置 |
CN110135300A (zh) * | 2019-04-30 | 2019-08-16 | 信利光电股份有限公司 | 儿童安全监控方法、装置、计算机设备及计算机可读存储介质 |
US20190258263A1 (en) * | 2018-02-21 | 2019-08-22 | Waymo Llc | Determining and responding to an internal status of a vehicle |
WO2019180876A1 (ja) * | 2018-03-22 | 2019-09-26 | 三菱電機株式会社 | 体格推定装置および体格推定方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6578870B2 (en) * | 2000-07-12 | 2003-06-17 | Siemens Ag | Vehicle occupant weight classification system |
US20140361889A1 (en) * | 2012-11-26 | 2014-12-11 | II Billy Russell Wall | Child Occupancy Monitoring System for a Vehicle Seat |
CN103043003B (zh) * | 2012-12-24 | 2016-02-03 | 朱佩芬 | 车载儿童安全保障系统 |
CN107229893A (zh) * | 2016-03-24 | 2017-10-03 | 杭州海康威视数字技术股份有限公司 | 一种检测车辆的副驾驶室中是否存在儿童的方法及装置 |
CN106781282A (zh) * | 2016-12-29 | 2017-05-31 | 天津中科智能识别产业技术研究院有限公司 | 一种智能行车驾驶员疲劳预警系统 |
CN109740516B (zh) * | 2018-12-29 | 2021-05-14 | 深圳市商汤科技有限公司 | 一种用户识别方法、装置、电子设备及存储介质 |
CN110781799B (zh) * | 2019-10-22 | 2022-01-28 | 上海商汤智能科技有限公司 | 车舱内图像处理方法及装置 |
CN110826521A (zh) * | 2019-11-15 | 2020-02-21 | 爱驰汽车有限公司 | 驾驶员疲劳状态识别方法、系统、电子设备和存储介质 |
CN111439170B (zh) * | 2020-03-30 | 2021-09-17 | 上海商汤临港智能科技有限公司 | 儿童状态检测方法及装置、电子设备、存储介质 |
-
2020
- 2020-03-30 CN CN202010239259.7A patent/CN111439170B/zh active Active
- 2020-12-14 WO PCT/CN2020/136250 patent/WO2021196738A1/zh active Application Filing
- 2020-12-14 SG SG11202113260SA patent/SG11202113260SA/en unknown
- 2020-12-14 JP JP2021557464A patent/JP7259078B2/ja active Active
- 2020-12-14 KR KR1020217034715A patent/KR20210142177A/ko unknown
-
2021
- 2021-11-29 US US17/536,802 patent/US20220084384A1/en not_active Abandoned
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11198705A (ja) * | 1998-01-12 | 1999-07-27 | Honda Motor Co Ltd | 乗員検知装置 |
JP2007233475A (ja) * | 2006-02-27 | 2007-09-13 | Toyota Motor Corp | 居眠り判定装置および居眠り運転警告装置 |
CN103359038A (zh) * | 2013-08-05 | 2013-10-23 | 北京汽车股份有限公司 | 一种识别儿童坐副驾驶位置的方法、系统及汽车 |
JP2017110990A (ja) * | 2015-12-16 | 2017-06-22 | アルパイン株式会社 | 走行支援装置および走行支援方法 |
JP2019123354A (ja) * | 2018-01-16 | 2019-07-25 | 株式会社デンソー | 乗員検知装置 |
US20190258263A1 (en) * | 2018-02-21 | 2019-08-22 | Waymo Llc | Determining and responding to an internal status of a vehicle |
WO2019180876A1 (ja) * | 2018-03-22 | 2019-09-26 | 三菱電機株式会社 | 体格推定装置および体格推定方法 |
CN110135300A (zh) * | 2019-04-30 | 2019-08-16 | 信利光电股份有限公司 | 儿童安全监控方法、装置、计算机设备及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
US20220084384A1 (en) | 2022-03-17 |
CN111439170A (zh) | 2020-07-24 |
JP7259078B2 (ja) | 2023-04-17 |
KR20210142177A (ko) | 2021-11-24 |
SG11202113260SA (en) | 2021-12-30 |
WO2021196738A1 (zh) | 2021-10-07 |
CN111439170B (zh) | 2021-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2022530605A (ja) | 子供状態検出方法及び装置、電子機器、記憶媒体 | |
US20210012127A1 (en) | Action recognition method and apparatus, driving action analysis method and apparatus, and storage medium | |
CN108764185B (zh) | 一种图像处理方法及装置 | |
Wang et al. | A survey on driver behavior analysis from in-vehicle cameras | |
CN106682602B (zh) | 一种驾驶员行为识别方法及终端 | |
US20210081754A1 (en) | Error correction in convolutional neural networks | |
CN110427867A (zh) | 基于残差注意力机制的面部表情识别方法及系统 | |
CN111160239A (zh) | 专注度评估方法和装置 | |
Yan et al. | Recognizing driver inattention by convolutional neural networks | |
CN112241667A (zh) | 图像检测方法、装置、设备及存储介质 | |
CN115331205A (zh) | 一种云边协同的驾驶员疲劳检测系统 | |
CN112115790A (zh) | 人脸识别方法、装置、可读存储介质和电子设备 | |
CN111797654A (zh) | 驾驶员疲劳状态检测方法、装置、存储介质及移动终端 | |
EP4064113A1 (en) | User information detection method and system, and electronic device | |
CN115546875B (zh) | 基于多任务的座舱内行为检测方法、装置以及设备 | |
CN116740792A (zh) | 一种观光车作业人员人脸识别方法及系统 | |
CN116486383A (zh) | 吸烟行为识别方法、吸烟检测模型、装置、车辆及介质 | |
JP7469467B2 (ja) | デジタルヒューマンに基づく車室インタラクション方法、装置及び車両 | |
Chuang et al. | Driver behavior recognition using recurrent neural network in multiple depth cameras environment | |
CN113553877B (zh) | 深度手势识别方法及其系统和电子设备 | |
CN210983433U (zh) | 一种基于计算机视觉技术的驾驶员抽烟检测系统 | |
Dehkordi et al. | An effective system to detect face drowsiness status using local features in a hierarchical decision-making structure | |
JP7412514B1 (ja) | キャビンモニタリング方法及び上記キャビンモニタリング方法を実行するキャビンモニタリングシステム | |
CN117755315A (zh) | 基于用户姿态控制设备运行的方法、装置及电子设备 | |
Barhate et al. | Design and Implementation of Facial Expressions Recognition based on LBP & DRLBP with CNN |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210927 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210927 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220916 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230315 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230405 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7259078 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |