JP2021530789A - 動作認識方法、電子機器及び記憶媒体 - Google Patents
動作認識方法、電子機器及び記憶媒体 Download PDFInfo
- Publication number
- JP2021530789A JP2021530789A JP2021500697A JP2021500697A JP2021530789A JP 2021530789 A JP2021530789 A JP 2021530789A JP 2021500697 A JP2021500697 A JP 2021500697A JP 2021500697 A JP2021500697 A JP 2021500697A JP 2021530789 A JP2021530789 A JP 2021530789A
- Authority
- JP
- Japan
- Prior art keywords
- image
- face
- target
- driver
- predetermined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 126
- 230000033001 locomotion Effects 0.000 title claims description 163
- 238000001514 detection method Methods 0.000 claims abstract description 127
- 238000004458 analytical method Methods 0.000 claims abstract description 33
- 238000012545 processing Methods 0.000 claims abstract description 33
- 238000013528 artificial neural network Methods 0.000 claims description 63
- 230000009471 action Effects 0.000 claims description 55
- 230000008569 process Effects 0.000 claims description 35
- 210000004709 eyebrow Anatomy 0.000 claims description 33
- 230000005540 biological transmission Effects 0.000 claims description 30
- 230000000391 smoking effect Effects 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 19
- 230000035622 drinking Effects 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 10
- 230000007937 eating Effects 0.000 claims description 8
- 239000003651 drinking water Substances 0.000 claims description 6
- 235000020188 drinking water Nutrition 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000013519 translation Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 abstract description 24
- 230000006866 deterioration Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 10
- 210000001508 eye Anatomy 0.000 description 9
- 210000000887 face Anatomy 0.000 description 8
- 230000001815 facial effect Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 235000019504 cigarettes Nutrition 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 235000013361 beverage Nutrition 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
- B60W40/105—Speed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/10—Longitudinal speed
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Transportation (AREA)
- Automation & Control Theory (AREA)
- Mechanical Engineering (AREA)
- Databases & Information Systems (AREA)
- Biodiversity & Conservation Biology (AREA)
- Geometry (AREA)
- Medical Informatics (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Emergency Alarm Devices (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
(応用例)
Claims (51)
- 検出画像から顔の目標部位を検出することと、
前記目標部位の検出結果に基づいて前記検出画像から前記目標部位に対応する目標画像を切り出すことと、
前記目標画像に基づいて前記顔の所属する対象者が所定動作を実行しているか否かを認識することと、を含むことを特徴とする動作認識方法。 - 検出画像から顔の目標部位を検出することは、
前記検出画像から顔を検出することと、
顔の検出結果に基づいて顔キーポイントの検出を行うことと、
顔キーポイントの検出結果に基づいて前記検出画像における顔の目標部位を決定することと、を含むことを特徴とする請求項1に記載の方法。 - 前記目標部位は、口部、耳部、鼻部、眼部、眉部のいずれか1つ又はそれらの任意の組合を含むことを特徴とする請求項1又は2に記載の方法。
- 前記所定動作は、喫煙、飲食、マスク着用、水/飲料飲み、電話通話、化粧のいずれか1つ又はそれらの任意の組合を含むことを特徴とする請求項1〜3のいずれか一項に記載の方法。
- 検出画像から顔の目標部位を検出する前に、
可視光カメラ、赤外線カメラ、近赤外線カメラの少なくとも1つを含むカメラにより前記検出画像を取得することを更に含むことを特徴とする請求項1〜4のいずれか一項に記載の方法。 - 前記目標部位は口部を含み、前記顔キーポイントは口部キーポイントを含み、顔キーポイントの検出結果に基づいて前記検出画像における顔の目標部位を決定することは、
口部キーポイントの検出結果に基づいて前記検出画像における顔の口部を決定することを含むことを特徴とする請求項3〜5のいずれか一項に記載の方法。 - 前記目標部位は口部を含み、前記顔キーポイントは口部キーポイントと眉部キーポイントを含み、前記目標部位の検出結果に基づいて前記検出画像から前記目標部位に対応する目標画像を切り出すことは、
前記口部キーポイントと前記眉部キーポイントの検出結果に基づいて前記検出画像における顔の口部から眉間までの距離を決定することと、
前記口部キーポイントと前記距離に基づいて、前記検出画像から口部に対応する目標画像を切り出すことと、を含むことを特徴とする請求項3〜5のいずれか一項に記載の方法。 - 前記目標画像に基づいて前記顔の所属する対象者が所定動作を実行しているか否かを認識することは、
前記目標画像に対して畳み込み処理を行って、前記目標画像の畳み込み特徴を抽出することと、
前記畳み込み特徴に対して分類処理を行って、前記顔の所属する対象者が所定動作を実行しているか否かを決定することと、を含むことを特徴とする請求項1〜7のいずれか一項に記載の方法。 - 前記目標画像に対して畳み込み処理を行って、前記目標画像の畳み込み特徴を抽出することは、
ニューラルネットワークの畳み込み層により前記目標画像に対して畳み込み処理を行って、前記目標画像の畳み込み特徴を抽出することを含み、
前記畳み込み特徴に対して分類処理を行って、前記顔の所属する対象者が所定動作を実行しているか否かを決定することは、
前記ニューラルネットワークの分類層により前記畳み込み特徴に対して分類処理を行って、前記顔の所属する対象者が所定動作を実行しているか否かを決定することを含むことを特徴とする請求項8に記載の方法。 - 前記ニューラルネットワークは、予めラベル付きサンプル画像セットにより教師ありトレーニングを行われたものであり、前記サンプル画像セットは、サンプル画像と、サンプル画像にノイズを加えたノイズ画像と、を含むことを特徴とする請求項9に記載の方法。
- 前記ニューラルネットワークのトレーニングプロセスには、
ニューラルネットワークにより前記サンプル画像及び前記ノイズ画像のそれぞれの所定動作検出結果をそれぞれ取得することと、
前記サンプル画像の所定動作検出結果とそのラベルの第1の損失、及び前記ノイズ画像の所定動作検出結果とそのラベルの第2の損失をそれぞれ決定することと、
前記第1の損失と前記第2の損失に基づいてニューラルネットワークのネットワークパラメータを調整することと、を含むことを特徴とする請求項10に記載の方法。 - 前記サンプル画像に対して回転、平行移動、スケール変更、ノイズ付加のうちの少なくとも1つの処理を行って、ノイズ画像を取得することを更に含むことを特徴とする請求項10又は11に記載の方法。
- 前記顔の所属する対象者が所定動作を実行していると認識した場合に、警報情報を送信することを更に含むことを特徴とする請求項1〜12のいずれか一項に記載の方法。
- 前記顔の所属する対象者が所定動作を実行していると認識した場合に、警報情報を送信することは、
前記顔の所属する対象者が所定動作を実行していると認識され、且つ認識された動作が警報条件を満たす場合に、警報情報を送信することを含むことを特徴とする請求項13に記載の方法。 - 前記動作は動作持続時間を含み、前記警報条件は認識された動作持続時間が時間閾値を超えることを含むことを特徴とする請求項14に記載の方法。
- 前記動作は動作回数を含み、前記警報条件は認識された動作回数が回数閾値を超えることを含むことを特徴とする請求項14に記載の方法。
- 前記動作は動作持続時間と動作回数を含み、前記警報条件は認識された動作持続時間が時間閾値を超え、且つ認識された動作回数が回数閾値を超えることを含むことを特徴とする請求項14に記載の方法。
- 前記顔の所属する対象者が所定動作を実行していると認識した場合に、警報情報を送信することは、
動作の認識結果に基づいて動作レベルを決定することと、
前記動作レベルに対応するレベル対応警報情報を送信することと、を含むことを特徴とする請求項14〜17のいずれか一項に記載の方法。 - 運転者に対する検出画像を取得することと、
請求項1〜18のいずれか一項に記載の動作認識方法を用いて、運転者が所定動作を実行しているか否かを認識することと、
認識された動作に基づいて運転者の状態を決定することと、を含むことを特徴とする運転者状態解析方法。 - 車両状態情報を取得することを更に含み、
請求項1〜18のいずれか一項に記載の動作認識方法を用いて、運転者が所定動作を実行しているか否かを認識することは、
車両状態情報が所定トリガ条件を満たすことに応じて、請求項1〜18のいずれか一項に記載の動作認識方法を用いて、運転者が所定動作を実行しているか否かを認識することを含むことを特徴とする請求項19に記載の方法。 - 車両状態情報は車両点火状態を含み、所定トリガ条件は車両が点火されたことが検出されたことを含むことを特徴とする請求項20に記載の方法。
- 車両状態情報は車両の車速を含み、所定トリガ条件は車両の車速が車速閾値を超えることが検出されたことを含むことを特徴とする請求項20に記載の方法。
- 運転者の状態を設定された連絡先又は指定されたサーバプラットフォームに伝送することを更に含むことを特徴とする請求項19〜22のいずれか一項に記載の方法。
- 前記運転者の動作認識結果を含む検出画像を記憶又は送信すること、又は
前記運転者の動作認識結果を含む検出画像及びこの画像前後の所定数のフレームから構成されるビデオセグメントを記憶又は送信することを更に含むことを特徴とする請求項19〜23のいずれか一項に記載の方法。 - 検出画像から顔の目標部位を検出するための目標部位検出モジュールと、
前記目標部位の検出結果に基づいて前記検出画像から前記目標部位に対応する目標画像を切り出すための目標画像切り出しモジュールと、
前記目標画像に基づいて前記顔の所属する対象者が所定動作を実行しているか否かを認識するための動作認識モジュールと、を含むことを特徴とする動作認識装置。 - 前記目標部位検出モジュールは、
前記検出画像から顔を検出するための顔検出サブモジュールと、
顔の検出結果に基づいて顔キーポイントの検出を行うためのキーポイント検出サブモジュールと、
顔キーポイントの検出結果に基づいて前記検出画像における顔の目標部位を決定するための目標部位検出サブモジュールと、を含むことを特徴とする請求項25に記載の装置。 - 前記目標部位は、口部、耳部、鼻部、眼部、眉部のいずれか1つ又はそれらの任意の組合を含むことを特徴とする請求項25又は26記載の装置。
- 前記所定動作は、喫煙、飲食、マスク着用、水/飲料飲み、電話通話、化粧のいずれか1つ又はそれらの任意の組合を含むことを特徴とする請求項25〜27のいずれか一項に記載された動作認識装置。
- 可視光カメラ、赤外線カメラ、近赤外線カメラの少なくとも1つを含むカメラにより前記検出画像を取得するための検出画像取得モジュールを更に含むことを特徴とする請求項25〜28のいずれか一項に記載の装置。
- 前記目標部位は口部を含み、前記顔キーポイントは口部キーポイントを含み、
前記目標部位検出サブモジュールは、
口部キーポイントの検出結果に基づいて前記検出画像における顔の口部を決定するために用いられることを特徴とする請求項27〜29のいずれか一項に記載の装置。 - 前記目標部位は口部を含み、前記顔キーポイントは口部キーポイントと眉部キーポイントを含み、前記目標画像切り出しモジュールは、
前記口部キーポイントと前記眉部キーポイントの検出結果に基づいて前記検出画像における顔の口部から眉間までの距離を決定するための距離決定サブモジュールと、
前記口部キーポイントと前記距離に基づいて、前記検出画像から口部に対応する目標画像を切り出すための口部画像切り出しサブモジュールと、を含むことを特徴とする請求項27〜29のいずれか一項に記載の装置。 - 前記動作認識モジュールは、
前記目標画像に対して畳み込み処理を行って、前記目標画像の畳み込み特徴を抽出するための特徴抽出サブモジュールと、
前記畳み込み特徴に対して分類処理を行って、前記顔の所属する対象者が所定動作を実行しているか否かを決定するための分類処理サブモジュールと、を含むことを特徴とする請求項25〜31のいずれか一項に記載の装置。 - 前記特徴抽出サブモジュールは、
ニューラルネットワークの畳み込み層により前記目標画像に対して畳み込み処理を行って、前記目標画像の畳み込み特徴を抽出するために用いられ、
前記分類処理サブモジュールは、
前記ニューラルネットワークの分類層により前記畳み込み特徴に対して分類処理を行って、前記顔の所属する対象者が所定動作を実行しているか否かを決定するために用いられることを特徴とする請求項32に記載の装置。 - 前記ニューラルネットワークは、予めラベル付きサンプル画像セットにより教師ありトレーニングを行われたものであり、前記サンプル画像セットは、サンプル画像と、サンプル画像にノイズを加えたノイズ画像と、を含むことを特徴とする請求項33に記載の装置。
- 前記ニューラルネットワークは、トレーニングモジュールを含み、
前記トレーニングモジュールは、
ニューラルネットワークにより前記サンプル画像及び前記ノイズ画像のそれぞれの所定動作検出結果をそれぞれ取得するための検出結果取得サブモジュールと、
前記サンプル画像の所定動作検出結果とそのラベルの第1の損失、及び前記ノイズ画像の所定動作検出結果とそのラベルの第2の損失をそれぞれ決定するための損失決定サブモジュールと、
前記第1の損失と前記第2の損失に基づいてニューラルネットワークのネットワークパラメータを調整するためのパラメータ調整サブモジュールとを備えることを特徴とする請求項34に記載の装置。 - 前記サンプル画像に対して回転、平行移動、スケール変更、ノイズ付加のうちの少なくとも1つの処理を行って、ノイズ画像を取得するためのノイズ画像取得モジュールを更に含むことを特徴とする請求項34又は35に記載の装置。
- 前記顔の所属する対象者が所定動作を実行していると認識した場合に、警報情報を送信するための警報情報送信モジュールを更に含むことを特徴とする請求項25〜36のいずれか一項に記載の装置。
- 前記警報情報送信モジュールは、
前記顔の所属する対象者が所定動作を実行していると認識され、且つ認識された動作が警報条件を満たす場合に、警報情報を送信するための第1の警報情報送信サブモジュールを含むことを特徴とする請求項37前記の装置。 - 前記動作は動作持続時間を含み、前記警報条件は認識された動作持続時間が時間閾値を超えることを含むことを特徴とする請求項38に記載の装置。
- 前記動作は動作回数を含み、前記警報条件は認識された動作回数が回数閾値を超えることを含むことを特徴とする請求項38に記載の装置。
- 前記動作は動作持続時間と動作回数を含み、前記警報条件は認識された動作持続時間が時間閾値を超え、且つ認識された動作回数が回数閾値を超えることを含むことを特徴とする請求項38に記載の装置。
- 前記警報情報送信モジュールは、
動作の認識結果に基づいて動作レベルを決定するための動作レベル決定サブモジュールと、
前記動作レベルに対応するレベル対応警報情報を送信するためのレベル対応警報情報送信サブモジュールと、を含むことを特徴とする請求項38〜41のいずれか一項に記載の装置。 - 運転者に対する検出画像を取得するための運転者画像取得モジュールと、
請求項25〜42のいずれか一項に記載の動作認識装置を用いて、運転者が所定動作を実行しているか否かを認識するための動作認識モジュールと、
認識された動作に基づいて運転者の状態を決定するための状態認識モジュールと、を含むことを特徴とする運転者状態解析装置。 - 車両状態情報を取得するための車両状態取得モジュールを更に含み、
前記動作認識モジュールは、
車両状態情報が所定トリガ条件を満たすことに応じて、請求項25〜42のいずれか一項に記載の動作認識装置を用いて、運転者が所定動作を実行しているか否かを認識するための条件応答サブモジュールを含むことを特徴とする請求項43に記載の装置。 - 車両状態情報は車両点火状態を含み、所定トリガ条件は車両が点火されたことが検出されたことを含むことを特徴とする請求項44に記載の装置。
- 車両状態情報は車両の車速を含み、所定トリガ条件は車両の車速が車速閾値を超えることが検出されたことを含むことを特徴とする請求項44に記載の装置。
- 運転者の状態を設定された連絡先又は指定されたサーバプラットフォームに伝送するための状態伝送モジュールを更に含むことを特徴とする請求項43〜46のいずれか一項に記載の装置。
- 前記運転者の動作認識結果を含む検出画像を記憶又は送信すること、又は前記運転者の動作認識結果を含む検出画像及びこの画像前後の所定数のフレームから構成されるビデオセグメントを記憶又は送信することに用いられる記憶送信モジュールを更に含むことを特徴とする請求項43〜47のいずれか一項に記載の装置。
- プロセッサと、
プロセッサにより実行可能なコマンドを記憶するためのメモリと、を含み、
前記プロセッサは、請求項1〜24のいずれか一項に記載の方法を実行するように構成されることを特徴とする電子機器。 - コンピュータプログラムコマンドが記憶されているコンピュータ読取可能な記憶媒体であって、前記コンピュータプログラムコマンドがプロセッサにより実行されると、請求項1〜24のいずれか一項に記載の方法を実現させることを特徴とするコンピュータ読取可能な記憶媒体。
- コンピュータ読取可能なコードを含むコンピュータプログラムであって、前記コンピュータ読取可能なコードは電子機器で実行されると、前記電子機器のプロセッサに請求項1〜24のいずれか一項に記載の方法を実現するためのコマンドを実行させることを特徴とするコンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811132681.1 | 2018-09-27 | ||
CN201811132681.1A CN110956061B (zh) | 2018-09-27 | 2018-09-27 | 动作识别方法及装置、驾驶员状态分析方法及装置 |
PCT/CN2019/092715 WO2020062969A1 (zh) | 2018-09-27 | 2019-06-25 | 动作识别方法及装置、驾驶员状态分析方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021530789A true JP2021530789A (ja) | 2021-11-11 |
JP7295936B2 JP7295936B2 (ja) | 2023-06-21 |
Family
ID=69950204
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021500697A Active JP7295936B2 (ja) | 2018-09-27 | 2019-06-25 | 動作認識方法、電子機器及び記憶媒体 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20210133468A1 (ja) |
JP (1) | JP7295936B2 (ja) |
KR (1) | KR20210036955A (ja) |
CN (1) | CN110956061B (ja) |
SG (1) | SG11202100356TA (ja) |
WO (1) | WO2020062969A1 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3884426B1 (en) * | 2018-11-20 | 2024-01-03 | DeepMind Technologies Limited | Action classification in video clips using attention-based neural networks |
CN111753602A (zh) * | 2019-03-29 | 2020-10-09 | 北京市商汤科技开发有限公司 | 动作识别方法和装置、电子设备、存储介质 |
KR20210128491A (ko) * | 2020-06-29 | 2021-10-26 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 위험 주행 행위 식별 방법, 장치, 전자 설비 및 저장매체 |
CN112990069A (zh) * | 2021-03-31 | 2021-06-18 | 新疆爱华盈通信息技术有限公司 | 异常驾驶行为检测方法、装置、终端及介质 |
CN113033529A (zh) * | 2021-05-27 | 2021-06-25 | 北京德风新征程科技有限公司 | 基于图像识别的预警方法、装置、电子设备和介质 |
CN113673351A (zh) * | 2021-07-21 | 2021-11-19 | 浙江大华技术股份有限公司 | 一种行为检测方法、设备以及存储介质 |
KR102634012B1 (ko) * | 2021-10-12 | 2024-02-07 | 경북대학교 산학협력단 | 딥러닝 기반 객체 분류를 이용한 운전자 행동 검출 장치 |
CN114005178B (zh) * | 2021-10-29 | 2023-09-01 | 北京百度网讯科技有限公司 | 人物交互检测方法、神经网络及其训练方法、设备和介质 |
CN114255517B (zh) * | 2022-03-02 | 2022-05-20 | 中运科技股份有限公司 | 一种基于人工智能分析的景区游客行为监测系统及方法 |
CN115188148A (zh) * | 2022-07-11 | 2022-10-14 | 卡奥斯工业智能研究院(青岛)有限公司 | 基于5g的安防监控系统、方法、电子设备及存储介质 |
CN116884034A (zh) * | 2023-07-10 | 2023-10-13 | 中电金信软件有限公司 | 对象识别方法及装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000198370A (ja) * | 1999-01-08 | 2000-07-18 | Yazaki Corp | 事故防止システム |
JP2009116693A (ja) * | 2007-11-07 | 2009-05-28 | Toyota Motor Corp | 車線逸脱防止制御装置 |
JP2010271922A (ja) * | 2009-05-21 | 2010-12-02 | Fujifilm Corp | 話中人物検出方法、話中人物検出装置、および話中人物検出プログラム |
JP2015133050A (ja) * | 2014-01-15 | 2015-07-23 | みこらった株式会社 | 自動運転車 |
JP2016031747A (ja) * | 2014-07-30 | 2016-03-07 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
JP2017034567A (ja) * | 2015-08-05 | 2017-02-09 | キヤノン株式会社 | 撮像装置 |
JP2017175220A (ja) * | 2016-03-18 | 2017-09-28 | パナソニックIpマネジメント株式会社 | 記録装置および記録方法 |
JP2017217472A (ja) * | 2016-06-02 | 2017-12-14 | オムロン株式会社 | 状態推定装置、状態推定方法、及び状態推定プログラム |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4898475B2 (ja) * | 2007-02-05 | 2012-03-14 | 富士フイルム株式会社 | 撮影制御装置、撮影装置、及び撮影制御方法 |
CN102436715B (zh) * | 2011-11-25 | 2013-12-11 | 大连海创高科信息技术有限公司 | 疲劳驾驶检测方法 |
CN102799868B (zh) * | 2012-07-10 | 2014-09-10 | 吉林禹硕动漫游戏科技股份有限公司 | 人脸面部关键表情识别方法 |
CN104616437A (zh) * | 2015-02-27 | 2015-05-13 | 浪潮集团有限公司 | 一种车载的疲劳识别系统和方法 |
CN105117681B (zh) * | 2015-06-29 | 2018-06-08 | 电子科技大学 | 基于安卓的多特征疲劳实时检测方法 |
CN105769120B (zh) * | 2016-01-27 | 2019-01-22 | 深圳地平线机器人科技有限公司 | 疲劳驾驶检测方法和装置 |
CN105975935B (zh) * | 2016-05-04 | 2019-06-25 | 腾讯科技(深圳)有限公司 | 一种人脸图像处理方法和装置 |
CN106203293A (zh) * | 2016-06-29 | 2016-12-07 | 广州鹰瞰信息科技有限公司 | 一种检测疲劳驾驶的方法和装置 |
CN107590482A (zh) * | 2017-09-29 | 2018-01-16 | 百度在线网络技术(北京)有限公司 | 信息生成方法和装置 |
CN108446600A (zh) * | 2018-02-27 | 2018-08-24 | 上海汽车集团股份有限公司 | 一种车辆驾驶员疲劳监测预警系统及方法 |
CN108549838B (zh) * | 2018-03-13 | 2022-01-14 | 心科(上海)网络科技有限公司 | 一种基于视觉系统的辅助监督方法 |
-
2018
- 2018-09-27 CN CN201811132681.1A patent/CN110956061B/zh active Active
-
2019
- 2019-06-25 WO PCT/CN2019/092715 patent/WO2020062969A1/zh active Application Filing
- 2019-06-25 SG SG11202100356TA patent/SG11202100356TA/en unknown
- 2019-06-25 KR KR1020217005670A patent/KR20210036955A/ko not_active Application Discontinuation
- 2019-06-25 JP JP2021500697A patent/JP7295936B2/ja active Active
-
2021
- 2021-01-08 US US17/144,989 patent/US20210133468A1/en not_active Abandoned
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000198370A (ja) * | 1999-01-08 | 2000-07-18 | Yazaki Corp | 事故防止システム |
JP2009116693A (ja) * | 2007-11-07 | 2009-05-28 | Toyota Motor Corp | 車線逸脱防止制御装置 |
JP2010271922A (ja) * | 2009-05-21 | 2010-12-02 | Fujifilm Corp | 話中人物検出方法、話中人物検出装置、および話中人物検出プログラム |
JP2015133050A (ja) * | 2014-01-15 | 2015-07-23 | みこらった株式会社 | 自動運転車 |
JP2016031747A (ja) * | 2014-07-30 | 2016-03-07 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
JP2017034567A (ja) * | 2015-08-05 | 2017-02-09 | キヤノン株式会社 | 撮像装置 |
JP2017175220A (ja) * | 2016-03-18 | 2017-09-28 | パナソニックIpマネジメント株式会社 | 記録装置および記録方法 |
JP2017217472A (ja) * | 2016-06-02 | 2017-12-14 | オムロン株式会社 | 状態推定装置、状態推定方法、及び状態推定プログラム |
Also Published As
Publication number | Publication date |
---|---|
US20210133468A1 (en) | 2021-05-06 |
CN110956061B (zh) | 2024-04-16 |
KR20210036955A (ko) | 2021-04-05 |
SG11202100356TA (en) | 2021-02-25 |
JP7295936B2 (ja) | 2023-06-21 |
CN110956061A (zh) | 2020-04-03 |
WO2020062969A1 (zh) | 2020-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2021530789A (ja) | 動作認識方法、電子機器及び記憶媒体 | |
TWI775091B (zh) | 資料更新方法、電子設備和儲存介質 | |
CN109753920B (zh) | 一种行人识别方法及装置 | |
US10469830B2 (en) | Unauthorized viewer detection system and method | |
US10282597B2 (en) | Image classification method and device | |
US11455788B2 (en) | Method and apparatus for positioning description statement in image, electronic device, and storage medium | |
JP6852150B2 (ja) | 生体検知方法および装置、システム、電子機器、記憶媒体 | |
US10007841B2 (en) | Human face recognition method, apparatus and terminal | |
KR20200113195A (ko) | 이미지 클러스터링 방법 및 장치, 전자 기기 및 저장 매체 | |
CN110598504B (zh) | 图像识别方法及装置、电子设备和存储介质 | |
US8600110B1 (en) | Unauthorized viewer detection system and method | |
CN109151719B (zh) | 安全引导方法、装置和存储介质 | |
CN110633700B (zh) | 视频处理方法及装置、电子设备和存储介质 | |
JP2021517747A (ja) | 画像処理方法及び装置、電子機器並びに記憶媒体 | |
CN109165738B (zh) | 神经网络模型的优化方法及装置、电子设备和存储介质 | |
CN111614634A (zh) | 流量检测方法、装置、设备及存储介质 | |
CN109344703B (zh) | 对象检测方法及装置、电子设备和存储介质 | |
CN112188091B (zh) | 人脸信息识别方法、装置、电子设备及存储介质 | |
CN109101542B (zh) | 图像识别结果输出方法及装置、电子设备和存储介质 | |
KR102319437B1 (ko) | 거리 결정 방법 및 디바이스 | |
CN110781975B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
CN112883791B (zh) | 对象识别方法、对象识别装置及存储介质 | |
CN113326938A (zh) | 网络训练、行人重识别方法及装置、电子设备和存储介质 | |
CN110929546B (zh) | 人脸比对方法及装置 | |
CN111507202B (zh) | 图像处理方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210108 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210108 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220329 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220629 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220906 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20221206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230131 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230427 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230523 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230609 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7295936 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |