JP2021034035A - 人面識別に基づいた智能化車載疲労検出システム、方法および装置 - Google Patents
人面識別に基づいた智能化車載疲労検出システム、方法および装置 Download PDFInfo
- Publication number
- JP2021034035A JP2021034035A JP2020131441A JP2020131441A JP2021034035A JP 2021034035 A JP2021034035 A JP 2021034035A JP 2020131441 A JP2020131441 A JP 2020131441A JP 2020131441 A JP2020131441 A JP 2020131441A JP 2021034035 A JP2021034035 A JP 2021034035A
- Authority
- JP
- Japan
- Prior art keywords
- image
- human face
- driver
- fatigue detection
- human
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 85
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000001815 facial effect Effects 0.000 title abstract 3
- 210000001508 eye Anatomy 0.000 claims description 39
- 238000012549 training Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 14
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 238000013136 deep learning model Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000004397 blinking Effects 0.000 claims description 3
- 210000000744 eyelid Anatomy 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000002187 spin decoupling employing ultra-broadband-inversion sequences generated via simulated annealing Methods 0.000 description 2
- 208000000044 Amnesia Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 231100000863 loss of memory Toxicity 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000000059 patterning Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
【課題】人面識別に基づいた智能化車載疲労検出システム、方法および装置を提供する。【解決手段】人面識別に基づいた智能化車載疲労検出システムは、画像取得ユニットと、人面検出ユニットと、疲労検出ユニットと、警戒ユニットと、を含む。画像取得ユニットは、車両内部に設けられ、運転時のドライバーの画像情報をリアルタイムに取得する。人面検出ユニットは、画像取得ユニットが取得した画像情報によって、画像における人面区域を確定する。疲労検出ユニットは、人面検出ユニットが確定した画像の人面区域によって、該人面区域に対し疲労検出を行い、ドラバーが疲労運転状態にあるかどうかを判断する。警戒ユニットは、車両内部に設けられ、疲労検出ユニットの判断結果によって、ドライバーが疲労運転状態にあれば、警戒情報を発信し、ドライバーが疲労運転状態でなければ、注意を与えない。【選択図】図１
Description
本発明は、画像処理技術分野に関し、具体的には、人面識別に基づいた智能化車載疲労検出システム、方法および装置に関する。
疲労状態で運転すると、眠りで体に力が入らなく、精神が集中しにくく、判断力が低下し、重くはぼんやりする又は記憶を失うことがあり、交通事故を起こす可能性が極めて大きい。したがって、疲労運転が禁止されている。
疲労運転を起こす原因は多方面にわたる。ドライバーの疲労は、主に神経および感覚器官による疲労で、長時間に固定姿勢を維持すると、血液循環不良で肢体疲労を引き起こすのである。また、ドライバーは長時間に固定場所に座ると、動作が規制されており、注意力が高度集中し、車外の刺激情報を注意するのに忙しく、精神状態が高度緊張することで、目がはっきり見えなくなり、腰や背が凝り、反応が鈍くなり、霊活に運転できなくなるなどの疲労運転状態になる。疲労を形成する順序は、まずは目、次に頸部、そして肩、最後に腰であり、特に、目や体の疲労および頭の疲労も無視してはいけない。
ドライバーは、疲労状態にあると、判断力が低下し、反応が鈍くなり、誤操作しやすくなる。ドライバーは、軽微疲労状態にあると、ギアチェンジするのが遅くなり、不精確になる。ドライバーは、中度疲労状態にあると、動作が停滞し、更に操作を忘れることもある。ドライバーは、重度疲労状態にあると、無意識的に操作し、短時間睡眠をする可能性が高く、厳重には、車両を扱う能力を失う。無理に運転すると、交通事故を起こす可能性が極めて大きい。
本発明は、上記の問題に解決するために、人面識別に基づいた智能化車載疲労検出システム、方法および装置を提供することを目的とする。本発明の人面識別に基づいた智能化車載疲労検出システム、方法および装置は、検出が正確で、識別率が高く、効率が高いメリットを有する。
上記の目的を実現するために、本発明の人面識別に基づいた智能化車載疲労検出システムは、画像取得ユニットと、人面検出ユニットと、疲労検出ユニットと、警戒ユニットと、を含み、
前記画像取得ユニットは、車両内部に設けられ、運転時のドライバーの画像情報をリアルタイムに取得でき、
前記人面検出ユニットは、前記画像取得ユニットが取得した画像情報によって、画像における人面区域を確定し、
前記疲労検出ユニットは、前記人面検出ユニットが確定した画像の人面区域によって、該人面区域に対し疲労検出を行い、ドラバーが疲労運転状態にあるかどうかを判断し、
前記警戒ユニットは、車両内部に設けられ、前記疲労検出ユニットの判断結果によって、もしドライバーが疲労運転状態にあれば、警戒情報を発信し、もしドライバーが疲労運転状態でなければ、注意を与えない。
前記画像取得ユニットは、車両内部に設けられ、運転時のドライバーの画像情報をリアルタイムに取得でき、
前記人面検出ユニットは、前記画像取得ユニットが取得した画像情報によって、画像における人面区域を確定し、
前記疲労検出ユニットは、前記人面検出ユニットが確定した画像の人面区域によって、該人面区域に対し疲労検出を行い、ドラバーが疲労運転状態にあるかどうかを判断し、
前記警戒ユニットは、車両内部に設けられ、前記疲労検出ユニットの判断結果によって、もしドライバーが疲労運転状態にあれば、警戒情報を発信し、もしドライバーが疲労運転状態でなければ、注意を与えない。
更に、前記人面検出ユニットは、カラーバランスサブユニットと、目位置決めサブユニットと、検出ユニットと、を含み、前記カラーバランスサブユニットと前記目位置決めサブユニットは、それぞれ前記検出ユニットに信号によって接続される。
更に、前記カラーバランスサブユニットは、採取した画像情報に対し、カラーバランス処理を行い、前記カラーバランス処理は、
画像の画素Ｐを明度によって降順に排列して画像画素集合｛Ｐｌ１，Ｐｌ２……Ｐｌｎ｝に形成するステップと、前記画像画素集合の上位５％の要素
を選んで基準白色とするステップと、
基準白色のＲ、Ｇ、Ｂ成分のそれぞれの平均値ｍｅａｎＲと、ｍｅｎａＧと、ｍｅａｎＢとを算出し、そして
と、
と、
とを成立させるＲ、Ｇ、Ｂ成分の調整係数を算出するステップと、
Ｒ、Ｇ、Ｂ成分を変調し、Ｒ'＝Ｒ＊ａＲ、Ｇ'＝Ｇ＊ａＧ、Ｂ'＝Ｂ＊ａＢとし、２５５より大きいＲ'、Ｇ'、Ｂ'の成分値を２５５に調整するステップと、を含み、
前記画像画素集合｛Ｐｌ１，Ｐｌ２……Ｐｌｎ｝におけるｎは、画素の個数を表し、前記画像画素集合｛Ｐｌ１，Ｐｌ２……Ｐｌｎ｝におけるｌｉは、画素に対応する明度値を表し、且つｌ１＞ｌ２＞……＞ｎとし、前記
は、画素の平均階調値を表す。
画像の画素Ｐを明度によって降順に排列して画像画素集合｛Ｐｌ１，Ｐｌ２……Ｐｌｎ｝に形成するステップと、前記画像画素集合の上位５％の要素
を選んで基準白色とするステップと、
基準白色のＲ、Ｇ、Ｂ成分のそれぞれの平均値ｍｅａｎＲと、ｍｅｎａＧと、ｍｅａｎＢとを算出し、そして
と、
と、
とを成立させるＲ、Ｇ、Ｂ成分の調整係数を算出するステップと、
Ｒ、Ｇ、Ｂ成分を変調し、Ｒ'＝Ｒ＊ａＲ、Ｇ'＝Ｇ＊ａＧ、Ｂ'＝Ｂ＊ａＢとし、２５５より大きいＲ'、Ｇ'、Ｂ'の成分値を２５５に調整するステップと、を含み、
前記画像画素集合｛Ｐｌ１，Ｐｌ２……Ｐｌｎ｝におけるｎは、画素の個数を表し、前記画像画素集合｛Ｐｌ１，Ｐｌ２……Ｐｌｎ｝におけるｌｉは、画素に対応する明度値を表し、且つｌ１＞ｌ２＞……＞ｎとし、前記
は、画素の平均階調値を表す。
更に、前記目位置決めサブユニットは、採取した画像情報に対し処理を行い、画像における人の目の部分を位置決めすることができ、
前記、画像における人の目の部分を位置決めすること、のための方法は、
人面区域内に虹彩の位置を探し出し、Ｈｏｕｇｈ（ハフ）変換を用いて検出するステップと、
取得した両虹彩位置を中心として眼部区域を画定し、そして眼部区域を処理して目頭点および目尻点を位置決めするステップと、を含み、
前記目頭点および目尻点を位置決めすることための方法は、
画素半径をｒで表す円形区域マスクによって、数式１
を用いて、画像における各点の値と、該点が該区域範囲内においてのすべての点の画素値と、の一致程度を考察するステップと、
画像における黒色のエッジ部曲線に対し角点抽出を行って目頭点および目尻点の正確な位置を得るステップと、を含み、
前記ｒは、
であり、前記ｔは、画素間の差分閾値を表し、前記ｔの値は、２７となり、前記ｇは、幾何閾値を表す。
前記、画像における人の目の部分を位置決めすること、のための方法は、
人面区域内に虹彩の位置を探し出し、Ｈｏｕｇｈ（ハフ）変換を用いて検出するステップと、
取得した両虹彩位置を中心として眼部区域を画定し、そして眼部区域を処理して目頭点および目尻点を位置決めするステップと、を含み、
前記目頭点および目尻点を位置決めすることための方法は、
画素半径をｒで表す円形区域マスクによって、数式１
を用いて、画像における各点の値と、該点が該区域範囲内においてのすべての点の画素値と、の一致程度を考察するステップと、
画像における黒色のエッジ部曲線に対し角点抽出を行って目頭点および目尻点の正確な位置を得るステップと、を含み、
前記ｒは、
であり、前記ｔは、画素間の差分閾値を表し、前記ｔの値は、２７となり、前記ｇは、幾何閾値を表す。
本発明の人面識別に基づいた智能化車載疲労検出方法は、
ドライバーの運転時の画像情報をリアルタイムに取得するステップ１と、
前記画像取得ユニットによって取得した画像情報に対し、画像中の人面区域を確定するステップ２と、
確定した画像中の人面区域によって、該人面区域に対し疲労検出を行い、ドライバーが疲労運転状態であるかどうかを判断するステップ３と、
前記疲労検出ユニットの判断結果によって、もしドライバーが疲労運転状態であれば、警戒情報を発出し、もしドライバーが疲労運転状態でなければ、注意を出さないステップ４と、を含む。
ドライバーの運転時の画像情報をリアルタイムに取得するステップ１と、
前記画像取得ユニットによって取得した画像情報に対し、画像中の人面区域を確定するステップ２と、
確定した画像中の人面区域によって、該人面区域に対し疲労検出を行い、ドライバーが疲労運転状態であるかどうかを判断するステップ３と、
前記疲労検出ユニットの判断結果によって、もしドライバーが疲労運転状態であれば、警戒情報を発出し、もしドライバーが疲労運転状態でなければ、注意を出さないステップ４と、を含む。
更に、前記ステップ３の方法は、
確定した人面区域における両目の目頭と目尻の間隔Ｗ＝ＬＲ−ＬＬ、および上下瞼の高さＨ＝ＣＵ−ＣＬを確定し、Ｒ＝Ｈ／Ｗで目の開閉程度を確定するステップ３.１と、
ドライバーが単位時間内でのまばたきする回数を統計してまばたき頻度を得るステップ３.２と、
目の開閉程度とまばたき頻度によってドライバーの疲労運転状態を判断するステップ３.３と、を含む。
確定した人面区域における両目の目頭と目尻の間隔Ｗ＝ＬＲ−ＬＬ、および上下瞼の高さＨ＝ＣＵ−ＣＬを確定し、Ｒ＝Ｈ／Ｗで目の開閉程度を確定するステップ３.１と、
ドライバーが単位時間内でのまばたきする回数を統計してまばたき頻度を得るステップ３.２と、
目の開閉程度とまばたき頻度によってドライバーの疲労運転状態を判断するステップ３.３と、を含む。
更に、前記ステップ３の方法は、
深層学習モデルを構築するステップと、
前記深層学習モデルによって、取得した画像情報に対し自動検出を行うステップと、を更に含む。
深層学習モデルを構築するステップと、
前記深層学習モデルによって、取得した画像情報に対し自動検出を行うステップと、を更に含む。
更に、前記深層学習モデルを構築するステップは、
人面画像訓練サンプル集合を入力するステップＳ１と、
入力した人面画像に対し訓練を行い、前方ニューラルネットワークを構築するステップＳ２と、
前方ニューラルネットワークの訓練誤差を計算するステップＳ３と、
重みｗを逆伝播更新するステップ４と、を含み、
前記ステップＳ３において、本回訓練の出力変量Ｅが「画像情報における人面区域」であり、モデル訓練の後には予測値Ｏを生じるため、誤差函数
を得て、
前記ｍは、本回モデリングサンプルの数量を表し、前記ｉは、ｉ個目の変量を表し、
誤差を小さくし、モデル予測の正確度を上げるために、ニューラルネットワークは出力層からデータを入力層に逆伝播し、モデルの誤差を最小にするまで重みｗの値を改めて調整し、モデルの構築を完了とする。
人面画像訓練サンプル集合を入力するステップＳ１と、
入力した人面画像に対し訓練を行い、前方ニューラルネットワークを構築するステップＳ２と、
前方ニューラルネットワークの訓練誤差を計算するステップＳ３と、
重みｗを逆伝播更新するステップ４と、を含み、
前記ステップＳ３において、本回訓練の出力変量Ｅが「画像情報における人面区域」であり、モデル訓練の後には予測値Ｏを生じるため、誤差函数
を得て、
前記ｍは、本回モデリングサンプルの数量を表し、前記ｉは、ｉ個目の変量を表し、
誤差を小さくし、モデル予測の正確度を上げるために、ニューラルネットワークは出力層からデータを入力層に逆伝播し、モデルの誤差を最小にするまで重みｗの値を改めて調整し、モデルの構築を完了とする。
本発明の人面識別に基づいた智能化車載疲労検出装置は、非一時的なコンピュータ可読記憶媒体であり、前記記憶媒体には、演算指令を記憶しており、前記演算指令は、ドライバーの運転時の画像情報をリアルタイムに取得するコードセグメントと、前記画像取得ユニットが取得した画像情報の人面区域を確定するコードセグメントと、確定した人面区域に対し疲労検出を行ってドライバーが疲労運転状態であるかどうかを判断するコードセグメントと、前記疲労検出ユニットの判断結果によって警戒情報を出す又は出さないコードセグメントと、を含む。
本発明に関わる人面識別に基づいた智能化車載疲労検出システム、方法および装置は、従来技術と比べ、下記のメリットを有する。
識別が正確である：カラーバランスによって画像情報を仮処理することで、光線や肌色による検出に対する影響を回避する。また、疲労検出時間を５０ｍｓ以内にすることで、即時性が良好であり、疲労運転検出の正確率が９７．６％に達する。
智能化程度が高い：深層学習によって、ニューラルネットワークを組み立てて、採取した画像情報に対し、知能識別を行い、知能識別過程において、識別の正確性を上げ、検出の正確性を上げる。
下記に、図面と本発明の実施例を合わせて、本発明の方法に対し、詳しく説明する。
実施例１
本発明の人面識別に基づいた智能化車載疲労検出システムは、画像取得ユニットと、人面検出ユニットと、疲労検出ユニットと、警戒ユニットと、を含む。
前記画像取得ユニットは、車両内部に設けられ、運転時のドライバーの画像情報をリアルタイムに取得でき、
前記人面検出ユニットは、前記画像取得ユニットが取得した画像情報によって、画像における人面区域を確定し、
前記疲労検出ユニットは、前記人面検出ユニットが確定した画像の人面区域によって、該人面区域に対し疲労検出を行い、ドラバーが疲労運転状態にあるかどうかを判断し、
前記警戒ユニットは、車両内部に設けられ、前記疲労検出ユニットの判断結果によって、もしドライバーが疲労運転状態にあれば、警戒情報を発信し、もしドライバーが疲労運転状態でなければ、注意を与えない。
前記画像取得ユニットは、車両内部に設けられ、運転時のドライバーの画像情報をリアルタイムに取得でき、
前記人面検出ユニットは、前記画像取得ユニットが取得した画像情報によって、画像における人面区域を確定し、
前記疲労検出ユニットは、前記人面検出ユニットが確定した画像の人面区域によって、該人面区域に対し疲労検出を行い、ドラバーが疲労運転状態にあるかどうかを判断し、
前記警戒ユニットは、車両内部に設けられ、前記疲労検出ユニットの判断結果によって、もしドライバーが疲労運転状態にあれば、警戒情報を発信し、もしドライバーが疲労運転状態でなければ、注意を与えない。
実施例２
前記実施例１に基づき、前記人面検出ユニットは、カラーバランスサブユニットと、目位置決めサブユニットと、検出ユニットと、を含み、前記カラーバランスサブユニットと前記目位置決めサブユニットは、それぞれ前記検出ユニットに信号によって接続される。
実施例３
前記実施例２に基づき、前記カラーバランスサブユニットは、採取した画像情報に対し、カラーバランス処理を行い、
前記カラーバランス処理は、
画像の画素Ｐを明度によって降順に排列して画像画素集合｛Ｐｌ１，Ｐｌ２……Ｐｌｎ｝に形成するステップと、前記画像画素集合の上位５％の要素
を選んで基準白色とするステップと、
基準白色のＲ、Ｇ、Ｂ成分のそれぞれの平均値ｍｅａｎＲと、ｍｅｎａＧと、ｍｅａｎＢとを算出し、そして
と、
と、
とを成立させるＲ、Ｇ、Ｂ成分の調整係数を算出するステップと、
Ｒ、Ｇ、Ｂ成分を変調し、Ｒ'＝Ｒ＊ａＲ、Ｇ'＝Ｇ＊ａＧ、Ｂ'＝Ｂ＊ａＢとし、２５５より大きいＲ'、Ｇ'、Ｂ'の成分値を２５５に調整するステップと、を含む。
前記画像画素集合｛Ｐｌ１，Ｐｌ２……Ｐｌｎ｝におけるｎは、画素の個数を表す。前記画像画素集合｛Ｐｌ１，Ｐｌ２……Ｐｌｎ｝におけるｌｉは、画素に対応する明度値を表し、且つｌ１＞ｌ２＞……＞ｎとする。前記
は、画素の平均階調値を表す。
前記カラーバランス処理は、
画像の画素Ｐを明度によって降順に排列して画像画素集合｛Ｐｌ１，Ｐｌ２……Ｐｌｎ｝に形成するステップと、前記画像画素集合の上位５％の要素
を選んで基準白色とするステップと、
基準白色のＲ、Ｇ、Ｂ成分のそれぞれの平均値ｍｅａｎＲと、ｍｅｎａＧと、ｍｅａｎＢとを算出し、そして
と、
と、
とを成立させるＲ、Ｇ、Ｂ成分の調整係数を算出するステップと、
Ｒ、Ｇ、Ｂ成分を変調し、Ｒ'＝Ｒ＊ａＲ、Ｇ'＝Ｇ＊ａＧ、Ｂ'＝Ｂ＊ａＢとし、２５５より大きいＲ'、Ｇ'、Ｂ'の成分値を２５５に調整するステップと、を含む。
前記画像画素集合｛Ｐｌ１，Ｐｌ２……Ｐｌｎ｝におけるｎは、画素の個数を表す。前記画像画素集合｛Ｐｌ１，Ｐｌ２……Ｐｌｎ｝におけるｌｉは、画素に対応する明度値を表し、且つｌ１＞ｌ２＞……＞ｎとする。前記
は、画素の平均階調値を表す。
具体的には、人面検出とは、入力の画像を処理分析し、人面があるかどうかを判断し、もし人面があれば、その人面の位置を探し出し、そして検出した人面を背景から分離することである。近年、数多く出現した人面検出方法は、大概特徴に基づくものや、画像に基づくものなどの二種類に分けられる。特徴に基づくものは、肌色、顔型、鼻や口などの特徴を最小処理ユニットとする。画像に基づくものは、画像の画素を処理ユニットとし、人面検出を典型的なパターン識別問題とし、訓練アルゴリズムを利用して人面と非人面区域を区別する。肌色に基づいた人面検出は、照明の影響を受けやすいため、まずは画像に対しカラーバランス処理を行うが、実験中に、肌色を抽出した画像には、依然として多くな画像ノイズが存在し、検出の正確度に影響する問題があるため、本発明は、肌色を抽出した画像に対し、モルフォロジカルフィルタを採用して画像ノイズを低減させ、効果がいい。また、目の位置決めに対しては、エッジ検出した何種類かのオペレータを比べた後、ＳＵＳＡＮオペレータが目区域特徴の抽出にふさわしいことが判明されるため、ＳＵＳＡＮオペレータを採用して目頭点を位置決めすることにする。人面に対するカラーバランス処理によって、後続の画像識別効果を顕著に向上させ、最終的に識別正確率を上げることができる。
実施例４
前記実施例３に基づき、前記目位置決めサブユニットは、採取した画像情報に対し処理を行い、画像における人の目の部分を位置決めすることができ、
前記、画像における人の目の部分を位置決めすること、のための方法は、
人面区域内に虹彩の位置を探し出し、Ｈｏｕｇｈ（ハフ）変換を用いて検出するステップと、
取得した両虹彩位置を中心として眼部区域を画定し、そして眼部区域を処理して目頭点および目尻点を位置決めするステップと、を含む。
前記目頭点および目尻点を位置決めすることための方法は、
画素半径をｒで表す円形区域マスクによって、数式１
を用いて、画像における各点の値と、該点が該区域範囲内においてのすべての点の画素値と、の一致程度を考察するステップと、
画像における黒色のエッジ部曲線に対し角点抽出を行って目頭点および目尻点の正確な位置を得るステップと、を含み、前記ｒは、
であり、前記ｔは、画素間の差分閾値を表し、前記ｔの値は、２７となり、前記ｇは、幾何閾値を表す。
前記、画像における人の目の部分を位置決めすること、のための方法は、
人面区域内に虹彩の位置を探し出し、Ｈｏｕｇｈ（ハフ）変換を用いて検出するステップと、
取得した両虹彩位置を中心として眼部区域を画定し、そして眼部区域を処理して目頭点および目尻点を位置決めするステップと、を含む。
前記目頭点および目尻点を位置決めすることための方法は、
画素半径をｒで表す円形区域マスクによって、数式１
を用いて、画像における各点の値と、該点が該区域範囲内においてのすべての点の画素値と、の一致程度を考察するステップと、
画像における黒色のエッジ部曲線に対し角点抽出を行って目頭点および目尻点の正確な位置を得るステップと、を含み、前記ｒは、
であり、前記ｔは、画素間の差分閾値を表し、前記ｔの値は、２７となり、前記ｇは、幾何閾値を表す。
具体的には、肌色は、人面の一番重要な特徴の一つであり、面部の細部特徴に頼らず、旋転や表情などの変化に対応でき、相対的な安定性を有し、しかも大部分の背景物の色と区別しやすい。従来の研究成果によって、生物と物理上の肌色分布の一致性が証明され、人間の肌色が人種によって異なるが、明度などによる肌色への影響を排除すると、肌の色調が基本的に一致になり、これによって肌色情報を利用して肌検出を行う可能性に新しい有効な証拠を提供する。
実施例５
本発明の人面識別に基づいた智能化車載疲労検出方法は、
ドライバーの運転時の画像情報をリアルタイムに取得するステップ１と、
前記画像取得ユニットによって取得した画像情報に対し、画像中の人面区域を確定するステップ２と、
確定した画像中の人面区域によって、該人面区域に対し疲労検出を行い、ドライバーが疲労運転状態であるかどうかを判断するステップ３と、
前記疲労検出ユニットの判断結果によって、もしドライバーが疲労運転状態であれば、警戒情報を発出し、もしドライバーが疲労運転状態でなければ、注意を出さないステップ４と、を含む。
ドライバーの運転時の画像情報をリアルタイムに取得するステップ１と、
前記画像取得ユニットによって取得した画像情報に対し、画像中の人面区域を確定するステップ２と、
確定した画像中の人面区域によって、該人面区域に対し疲労検出を行い、ドライバーが疲労運転状態であるかどうかを判断するステップ３と、
前記疲労検出ユニットの判断結果によって、もしドライバーが疲労運転状態であれば、警戒情報を発出し、もしドライバーが疲労運転状態でなければ、注意を出さないステップ４と、を含む。
実施例６
前記実施例５に基づき、前記ステップ３の方法は、
確定した人面区域における両目の目頭と目尻の間隔Ｗ＝ＬＲ−ＬＬ、および上下瞼の高さＨ＝ＣＵ−ＣＬを確定し、Ｒ＝Ｈ／Ｗで目の開閉程度を確定するステップ３.１と、
ドライバーが単位時間内でのまばたきする回数を統計してまばたき頻度を得るステップ３.２と、
目の開閉程度とまばたき頻度によってドライバーの疲労運転状態を判断するステップ３.３と、を含む。
確定した人面区域における両目の目頭と目尻の間隔Ｗ＝ＬＲ−ＬＬ、および上下瞼の高さＨ＝ＣＵ−ＣＬを確定し、Ｒ＝Ｈ／Ｗで目の開閉程度を確定するステップ３.１と、
ドライバーが単位時間内でのまばたきする回数を統計してまばたき頻度を得るステップ３.２と、
目の開閉程度とまばたき頻度によってドライバーの疲労運転状態を判断するステップ３.３と、を含む。
具体的には、色空間の選択が肌色の検出結果に直接的な影響を与え、肌色検出によく用いられる色空間は、ＨＩＳと、ＹＩＱと、ＹＵＶと、ＹＣｂＣｒと、などある。ＹＣｂＣｒ色空間を使用して肌色に対する各画素点の従属度を得ることで、複雑な背景でも良好な人面検出効果を実現する手段もあるが、ＹＣｂＣｒ色空間において、肌色クラスタが紡錘状をなすため、Ｙ値の大き目の部分又はＹ値の小さ目の部分において、肌色クラスタ区域もしたがって縮減することから、単にＹ成分を排除してはいけなく、三つの成分を考慮しなければならなくなり、仕事量が多くなる。
実施例７
前記実施例６に基づき、前記ステップ３の方法は、
深層学習モデルを構築するステップと、
前記深層学習モデルによって、取得した画像情報に対し自動検出を行うステップと、を更に含む。
深層学習モデルを構築するステップと、
前記深層学習モデルによって、取得した画像情報に対し自動検出を行うステップと、を更に含む。
前記深層学習モデルは、従来技術の一般方法を採用してディープニューラルネットワークを構築し、サンプルデータを使用して訓練を行い、画像の特徴を自動的に抽出することで、いい識別効果を実現する。畳み込みニューラルネットワークは、深層学習を画像識別に応用するための肝心なネットワークであり、畳み込みニューラルネットワークを構築することで、画像の特徴を一層ずつ抽出できる。ネットワークの構築と訓練の方法は、ディープニューラルネットワークの識別効果のかなめであり、優秀なネットワークデザインは、少ないパラメータで良い訓練結果を得られ、特殊なネットワーク構成要素は訓練過程を速めることができ、適切な訓練方法は、十分にネットワークの能力を発揮できる。深層学習は、一般、モデルつなぎ合わせの方法を採用し、複数のネットワークを整合し、ネットワーク訓練のパラメータを調整することで、いい結果を得る。画像目標識別に基づき、後処理方法をデザインし、二つの目標の各種位置関係とサイズ関係を計算し、分類ヒストグラムを制作することで、目標間の論理関係を分析することや、目標を識別する合理性を計算することに用いられ、識別結果を修正することができる。深層学習画像識別のパターン化操作界面をデザイン且つ実現し、支援システムによってネットワークを訓練するパラメータを選択し、訓練の進行度をリアルタイムにフィードバックし、画像のテスト結果を確認するために専門的な界面分類を提供する。最後に、画像を識別するプログラムをネットワークサービスとして使用者に画像識別サービスを提供し、該画像識別サービスによって街道画像に対し識別分析を行う。
実施例８
前記実施例７に基づき、前記深層学習モデルを構築するステップは、
人面画像訓練サンプル集合を入力するステップＳ１と、
入力した人面画像に対し訓練を行い、前方ニューラルネットワークを構築するステップＳ２と、
前方ニューラルネットワークの訓練誤差を計算するステップＳ３と、
重みｗを逆伝播更新するステップ４と、を含み、
前記ステップＳ３において、本回訓練の出力変量Ｅが「画像情報における人面区域」であり、モデル訓練の後には予測値Ｏを生じるため、誤差函数
を得て、前記ｍは、本回モデリングサンプルの数量を表し、前記ｉは、ｉ個目の変量を表す。
人面画像訓練サンプル集合を入力するステップＳ１と、
入力した人面画像に対し訓練を行い、前方ニューラルネットワークを構築するステップＳ２と、
前方ニューラルネットワークの訓練誤差を計算するステップＳ３と、
重みｗを逆伝播更新するステップ４と、を含み、
前記ステップＳ３において、本回訓練の出力変量Ｅが「画像情報における人面区域」であり、モデル訓練の後には予測値Ｏを生じるため、誤差函数
を得て、前記ｍは、本回モデリングサンプルの数量を表し、前記ｉは、ｉ個目の変量を表す。
誤差を小さくし、モデル予測の正確度を上げるために、ニューラルネットワークは出力層からデータを入力層に逆伝播し、モデルの誤差を最小にするまで重みｗの値を改めて調整し、モデルの構築を完了とする。
実施例９
本発明の人面識別に基づいた智能化車載疲労検出方法を使用して構築する人面識別に基づいた智能化車載疲労検出装置は、非一時的なコンピュータ可読記憶媒体であり、該記憶媒体には、演算指令を記憶しており、前記演算指令は、ドライバーの運転時の画像情報をリアルタイムに取得するコードセグメントと、前記画像取得ユニットが取得した画像情報の人面区域を確定するコードセグメントと、確定した人面区域に対し疲労検出を行ってドライバーが疲労運転状態であるかどうかを判断するコードセグメントと、前記疲労検出ユニットの判断結果によって警戒情報を出す又は出さないコードセグメントと、を含む。
上記はあくまでも本発明の一実施例であるが、これにより本発明の範囲を限定するものではなく、本発明に従ってなされる構成上の変化は、本発明の趣旨を逸脱しない限り、本発明の技術的範囲に属するものと見なされるべきである。
当業者であれば、説明の便宜上、簡潔にするために、上述したシステムの具体的な動作手順及び関連する説明は、前述した方法の実施例における対応する手順を参照することができ、ここでは説明を省略する。
なお、上述した実施の形態が提供するシステムは、上述した各機能モジュールの分割のみを例に挙げて説明したが、実際の適用においては、必要に応じて、上述した機能の割り当てを異なる機能ブロックで完了させるようにしてもよく、すなわち、本発明の実施の形態におけるモジュールやステップを再分解したり、組み合わせたりすることも可能であり、例えば、上述した実施の形態のモジュールを一つのモジュールに統合してもよいし、さらに複数のサブモジュールに分割して、上述した全部または一部の機能を完結させるようにしてもよい。本発明の実施例に係るモジュール、ステップの名称は、個々のモジュール又はステップを区別するためだけであり、本発明を不当に限定するものではない。
本文に開示されている実施例に記載の各モジュール、方法ステップは、電子的なハードウェア、コンピュータソフトウェア、または両者の組み合わせとして実装され得る。ソフトウェアモジュールや方法・ステップの対応プログラムは、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）や、フラッシュメモリや、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）や、ＥＰＲＯＭ（ＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲＯＭ）や、ＥＥＰＲＯＭ（ＥｌｅｃｔｒｏｎｉｃａｌｌｙＥｒａｓａｂｌｅａｎｄＰｒｏｇｒａｍｍａｂｌｅＲＯＭ）や、レジスタや、ハードディスクや、リムーバブルディスクや、ＣＤ−ＲＯＭといった任意形式の記憶媒体内に設けられていてもよい。以上の説明では、電子ハードウェアとソフトウェアとの互換性を明確に説明するために、機能に応じて各実施例の構成及び工程を一般的に説明した。これらの機能が電子ハードウェアであるかソフトウェア方式で実行されるかは、技術的解決手段の特定用途や設計制約条件に依存する。当業者であれば特定のアプリケーション毎に異なる方法を用いて説明された機能を実現することができるが，このような実現は本発明の範囲を超えると考えられるべきではない。
なお、「第１」、「第２」等は、特定の順序や前後順序を説明するためのものではなく、同様の対象を区別するためのものである。
「含む」又は他の類似用語は、非排他的な包含を意味するものであり、一連の要素を含む過程、方法、物品又は装置・装置にはそれらの要素のみならず、明示的に列挙されていない他の要素も含まれ、或いはこれらの過程、方法、物品又は設備・装置に固有の要素も含まれる。
以上、添付図面に示す好適な実施形態を参照しながら本発明の技術的解決手段を説明したが、本発明の技術的範囲はこれらの実施形態に限定されるものではないことは当業者には容易に理解できるであろう。本発明の原理から逸脱することなく、当業者であれば、関連する技術的特徴に均等な変更又は置換を加えることが可能であり、それらの修正又は置換後の技術的解決手段はいずれも本発明の保護範囲内に含まれる。
以上の説明は、本発明の好適な実施例に過ぎず、本発明の技術的範囲を限定するものではない。
Claims (9)
- 人面識別に基づいた智能化車載疲労検出システムであって、
前記システムは、画像取得ユニットと、人面検出ユニットと、疲労検出ユニットと、警戒ユニットと、を含み、
前記画像取得ユニットは、車両内部に設けられ、運転時のドライバーの画像情報をリアルタイムに取得でき、
前記人面検出ユニットは、前記画像取得ユニットが取得した画像情報によって、画像における人面区域を確定し、
前記疲労検出ユニットは、前記人面検出ユニットが確定した画像の人面区域によって、該人面区域に対し疲労検出を行い、ドラバーが疲労運転状態にあるかどうかを判断し、
前記警戒ユニットは、車両内部に設けられ、前記疲労検出ユニットの判断結果によって、もしドライバーが疲労運転状態にあれば、警戒情報を発信し、もしドライバーが疲労運転状態でなければ、注意を与えない、
ことを特徴とする人面識別に基づいた智能化車載疲労検出システム。 - 前記人面検出ユニットは、カラーバランスサブユニットと、目位置決めサブユニットと、検出ユニットと、を含み、
前記カラーバランスサブユニットと前記目位置決めサブユニットは、それぞれ前記検出ユニットに信号によって接続される、
ことを特徴とする請求項１に記載の人面識別に基づいた智能化車載疲労検出システム。 - 前記カラーバランスサブユニットは、採取した画像情報に対し、カラーバランス処理を行い、
前記カラーバランス処理は、
画像の画素Ｐを明度によって降順に排列して画像画素集合｛Ｐｌ１，Ｐｌ２……Ｐｌｎ｝に形成するステップと、前記画像画素集合の上位５％の要素
を選んで基準白色とするステップと、
基準白色のＲ、Ｇ、Ｂ成分のそれぞれの平均値ｍｅａｎＲと、ｍｅｎａＧと、ｍｅａｎＢとを算出し、そして
と、
と、
とを成立させるＲ、Ｇ、Ｂ成分の調整係数を算出するステップと、
Ｒ、Ｇ、Ｂ成分を変調し、Ｒ'＝Ｒ＊ａＲ、Ｇ'＝Ｇ＊ａＧ、Ｂ'＝Ｂ＊ａＢとし、２５５より大きいＲ'、Ｇ'、Ｂ'の成分値を２５５に調整するステップと、を含み、
前記画像画素集合｛Ｐｌ１，Ｐｌ２……Ｐｌｎ｝におけるｎは、画素の個数を表し、
前記画像画素集合｛Ｐｌ１，Ｐｌ２……Ｐｌｎ｝におけるｌｉは、画素に対応する明度値を表し、且つｌ１＞ｌ２＞……＞ｎとし、
前記
は、画素の平均階調値を表す、
ことを特徴とする請求項２に記載の人面識別に基づいた智能化車載疲労検出システム。 - 前記目位置決めサブユニットは、採取した画像情報に対し処理を行い、画像における人の目の部分を位置決めすることができ、
前記、画像における人の目の部分を位置決めすること、のための方法は、
人面区域内に虹彩の位置を探し出し、Ｈｏｕｇｈ（ハフ）変換を用いて検出するステップと、
取得した両虹彩位置を中心として眼部区域を画定し、そして眼部区域を処理して目頭点および目尻点を位置決めするステップと、を含み、
前記目頭点および目尻点を位置決めすることための方法は、
画素半径をｒで表す円形区域マスクによって、数式１
を用いて、画像における各点の値と、該点が該区域範囲内においてのすべての点の画素値と、の一致程度を考察するステップと、
画像における黒色のエッジ部曲線に対し角点抽出を行って目頭点および目尻点の正確な位置を得るステップと、を含み、
前記ｒは、
であり、
前記ｔは、画素間の差分閾値を表し、
前記ｔの値は、２７となり、
前記ｇは、幾何閾値を表す、
ことを特徴とする請求項３に記載の人面識別に基づいた智能化車載疲労検出システム。 - 人面識別に基づいた智能化車載疲労検出方法であって、
ドライバーの運転時の画像情報をリアルタイムに取得するステップ１と、
前記画像取得ユニットによって取得した画像情報に対し、画像中の人面区域を確定するステップ２と、
確定した画像中の人面区域によって、該人面区域に対し疲労検出を行い、ドライバーが疲労運転状態であるかどうかを判断するステップ３と、
前記疲労検出ユニットの判断結果によって、もしドライバーが疲労運転状態であれば、警戒情報を発出し、もしドライバーが疲労運転状態でなければ、注意を出さないステップ４と、を含む、
ことを特徴とする請求項１又は請求項２又は請求項３又は請求項４に記載の人面識別に基づいた智能化車載疲労検出方法。 - 前記ステップ３の方法は、
確定した人面区域における両目の目頭と目尻の間隔Ｗ＝ＬＲ−ＬＬ、および上下瞼の高さＨ＝ＣＵ−ＣＬを確定し、Ｒ＝Ｈ／Ｗで目の開閉程度を確定するステップ３.１と、
ドライバーが単位時間内でのまばたきする回数を統計してまばたき頻度を得るステップ３.２と、
目の開閉程度とまばたき頻度によってドライバーの疲労運転状態を判断するステップ３.３と、を含む、
ことを特徴とする請求項５に記載の人面識別に基づいた智能化車載疲労検出方法。 - 前記ステップ３の方法は、
深層学習モデルを構築するステップと、
前記深層学習モデルによって、取得した画像情報に対し自動検出を行うステップと、を更に含む、
ことを特徴とする請求項６に記載の人面識別に基づいた智能化車載疲労検出方法。 - 前記深層学習モデルを構築するステップは、
人面画像訓練サンプル集合を入力するステップＳ１と、
入力した人面画像に対し訓練を行い、前方ニューラルネットワークを構築するステップＳ２と、
前方ニューラルネットワークの訓練誤差を計算するステップＳ３と、
重みｗを逆伝播更新するステップ４と、を含み、
前記ステップＳ３において、本回訓練の出力変量Ｅが「画像情報における人面区域」であり、モデル訓練の後には予測値Ｏを生じるため、誤差函数
を得て、
前記ｍは、本回モデリングサンプルの数量を表し、
前記ｉは、ｉ個目の変量を表し、
誤差を小さくし、モデル予測の正確度を上げるために、ニューラルネットワークは出力層からデータを入力層に逆伝播し、モデルの誤差を最小にするまで重みｗの値を改めて調整し、モデルの構築を完了とする、
ことを特徴とする請求項７に記載の人面識別に基づいた智能化車載疲労検出方法。 - 人面識別に基づいた智能化車載疲労検出装置であって、
前記装置は、非一時的なコンピュータ可読記憶媒体であり、
前記記憶媒体には、演算指令を記憶しており、
前記演算指令は、
ドライバーの運転時の画像情報をリアルタイムに取得するコードセグメントと、前記画像取得ユニットが取得した画像情報の人面区域を確定するコードセグメントと、確定した人面区域に対し疲労検出を行ってドライバーが疲労運転状態であるかどうかを判断するコードセグメントと、前記疲労検出ユニットの判断結果によって警戒情報を出す又は出さないコードセグメントと、を含む、
ことを特徴とする請求項５又は請求項６又は請求項７又は請求項８に記載の人面識別に基づいた智能化車載疲労検出方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910801123.8A CN110807351A (zh) | 2019-08-28 | 2019-08-28 | 一种基于人脸识别的智能化车载疲劳检测系统、方法及装置 |
| CN201910801123.8 | 2019-08-28 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2021034035A true JP2021034035A (ja) | 2021-03-01 |
Family
ID=69487460
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020131441A Ceased JP2021034035A (ja) | 2019-08-28 | 2020-08-03 | 人面識別に基づいた智能化車載疲労検出システム、方法および装置 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP2021034035A (ja) |
| CN (1) | CN110807351A (ja) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112959966A (zh) * | 2021-04-26 | 2021-06-15 | 积善云科技(武汉)有限公司 | 基于互联网出行和用户习惯深度学习的车载多媒体调控方法、系统、设备和计算机存储介质 |
| CN113239729A (zh) * | 2021-04-08 | 2021-08-10 | 南京交通职业技术学院 | 一种基于数据融合的疲劳驾驶识别方法 |
| CN113269069A (zh) * | 2021-05-18 | 2021-08-17 | 青岛科技大学 | 一种基于卡车司机面部特征的困倦辨识方法及装置 |
| CN113449678A (zh) * | 2021-07-14 | 2021-09-28 | 宝能(广州)汽车研究院有限公司 | 驾驶状态的检测方法、装置、计算机设备及存储介质 |
| CN113591533A (zh) * | 2021-04-27 | 2021-11-02 | 浙江工业大学之江学院 | 基于道路监控的防疲劳驾驶方法、装置、设备及存储介质 |
| CN113602287A (zh) * | 2021-08-13 | 2021-11-05 | 吉林大学 | 一种面向低驾龄女性驾驶员的人机共驾系统 |
| CN114299756A (zh) * | 2021-12-29 | 2022-04-08 | 盐城工学院 | 一种基于物联网和大数据分析的公交车智慧安全管理系统 |
| CN114373535A (zh) * | 2022-01-13 | 2022-04-19 | 刘威 | 基于互联网的新型医患机制系统 |
| CN114821757A (zh) * | 2022-06-24 | 2022-07-29 | 北京鹰之眼智能健康科技有限公司 | 一种获取视疲劳状态的数据处理系统 |
| CN114821713A (zh) * | 2022-04-08 | 2022-07-29 | 湖南大学 | 一种基于Video Transformer的疲劳驾驶检测方法 |
| CN115107915A (zh) * | 2022-06-10 | 2022-09-27 | 西北工业大学 | 一种自行车车载系统及其使用方法 |
| CN115798019A (zh) * | 2023-01-06 | 2023-03-14 | 山东星科智能科技股份有限公司 | 基于计算机视觉的实训驾驶平台智能预警方法 |
| CN116831581A (zh) * | 2023-06-15 | 2023-10-03 | 中南大学 | 一种基于远程生理体征提取的驾驶员状态监测方法及系统 |
| CN117079255A (zh) * | 2023-10-17 | 2023-11-17 | 江西开放大学 | 一种基于人脸识别和语音交互的疲劳驾驶检测方法 |
| CN117115894A (zh) * | 2023-10-24 | 2023-11-24 | 吉林省田车科技有限公司 | 一种非接触式驾驶员疲劳状态分析方法、装置和设备 |
| CN117789181A (zh) * | 2024-02-27 | 2024-03-29 | 暨南大学 | 基于轻量级神经网络图像增强的驾驶疲劳检测方法与系统 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111634233A (zh) * | 2020-05-25 | 2020-09-08 | 杭州鸿泉物联网技术股份有限公司 | 一种安全驾驶系统和方法 |
| CN112954848A (zh) * | 2021-03-10 | 2021-06-11 | 深圳市大鑫浪电子科技有限公司 | 一种智能灯光控制方法、装置、计算机设备及存储介质 |
| CN115171082B (zh) * | 2022-06-29 | 2024-01-19 | 北京百度网讯科技有限公司 | 驾驶行为的检测方法、装置、电子设备及可读存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09301011A (ja) * | 1996-05-20 | 1997-11-25 | Honda Motor Co Ltd | 車両用運転状況監視装置 |
| WO2008088070A1 (ja) * | 2007-01-19 | 2008-07-24 | Asahi Kasei Kabushiki Kaisha | 覚醒状態判定モデル生成装置、覚醒状態判定装置及び警告装置 |
| JP2009166783A (ja) * | 2008-01-18 | 2009-07-30 | Toyota Motor Corp | 症状推定装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104240446A (zh) * | 2014-09-26 | 2014-12-24 | 长春工业大学 | 基于人脸识别的疲劳驾驶预警系统 |
| CN107595307A (zh) * | 2017-10-23 | 2018-01-19 | 湖南科技大学 | 基于机器视觉人眼识别的疲劳驾驶检测装置及检测方法 |
| CN109308445B (zh) * | 2018-07-25 | 2019-06-25 | 南京莱斯电子设备有限公司 | 一种基于信息融合的固定岗位人员疲劳检测方法 |
| CN109190468A (zh) * | 2018-07-26 | 2019-01-11 | 深圳市赛亿科技开发有限公司 | 一种疲劳驾驶监测方法及系统 |
-
2019
- 2019-08-28 CN CN201910801123.8A patent/CN110807351A/zh active Pending
-
2020
- 2020-08-03 JP JP2020131441A patent/JP2021034035A/ja not_active Ceased
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09301011A (ja) * | 1996-05-20 | 1997-11-25 | Honda Motor Co Ltd | 車両用運転状況監視装置 |
| WO2008088070A1 (ja) * | 2007-01-19 | 2008-07-24 | Asahi Kasei Kabushiki Kaisha | 覚醒状態判定モデル生成装置、覚醒状態判定装置及び警告装置 |
| JP2009166783A (ja) * | 2008-01-18 | 2009-07-30 | Toyota Motor Corp | 症状推定装置 |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113239729A (zh) * | 2021-04-08 | 2021-08-10 | 南京交通职业技术学院 | 一种基于数据融合的疲劳驾驶识别方法 |
| CN113239729B (zh) * | 2021-04-08 | 2024-02-27 | 南京交通职业技术学院 | 一种基于数据融合的疲劳驾驶识别方法 |
| CN112959966A (zh) * | 2021-04-26 | 2021-06-15 | 积善云科技(武汉)有限公司 | 基于互联网出行和用户习惯深度学习的车载多媒体调控方法、系统、设备和计算机存储介质 |
| CN113591533A (zh) * | 2021-04-27 | 2021-11-02 | 浙江工业大学之江学院 | 基于道路监控的防疲劳驾驶方法、装置、设备及存储介质 |
| CN113269069A (zh) * | 2021-05-18 | 2021-08-17 | 青岛科技大学 | 一种基于卡车司机面部特征的困倦辨识方法及装置 |
| CN113449678A (zh) * | 2021-07-14 | 2021-09-28 | 宝能(广州)汽车研究院有限公司 | 驾驶状态的检测方法、装置、计算机设备及存储介质 |
| CN113602287B (zh) * | 2021-08-13 | 2024-01-26 | 吉林大学 | 一种面向低驾龄驾驶员的人机共驾系统 |
| CN113602287A (zh) * | 2021-08-13 | 2021-11-05 | 吉林大学 | 一种面向低驾龄女性驾驶员的人机共驾系统 |
| CN114299756A (zh) * | 2021-12-29 | 2022-04-08 | 盐城工学院 | 一种基于物联网和大数据分析的公交车智慧安全管理系统 |
| CN114373535A (zh) * | 2022-01-13 | 2022-04-19 | 刘威 | 基于互联网的新型医患机制系统 |
| CN114821713A (zh) * | 2022-04-08 | 2022-07-29 | 湖南大学 | 一种基于Video Transformer的疲劳驾驶检测方法 |
| CN115107915A (zh) * | 2022-06-10 | 2022-09-27 | 西北工业大学 | 一种自行车车载系统及其使用方法 |
| CN114821757B (zh) * | 2022-06-24 | 2022-09-16 | 北京鹰之眼智能健康科技有限公司 | 一种获取视疲劳状态的数据处理系统 |
| CN114821757A (zh) * | 2022-06-24 | 2022-07-29 | 北京鹰之眼智能健康科技有限公司 | 一种获取视疲劳状态的数据处理系统 |
| CN115798019A (zh) * | 2023-01-06 | 2023-03-14 | 山东星科智能科技股份有限公司 | 基于计算机视觉的实训驾驶平台智能预警方法 |
| CN116831581A (zh) * | 2023-06-15 | 2023-10-03 | 中南大学 | 一种基于远程生理体征提取的驾驶员状态监测方法及系统 |
| CN117079255A (zh) * | 2023-10-17 | 2023-11-17 | 江西开放大学 | 一种基于人脸识别和语音交互的疲劳驾驶检测方法 |
| CN117079255B (zh) * | 2023-10-17 | 2024-01-05 | 江西开放大学 | 一种基于人脸识别和语音交互的疲劳驾驶检测方法 |
| CN117115894A (zh) * | 2023-10-24 | 2023-11-24 | 吉林省田车科技有限公司 | 一种非接触式驾驶员疲劳状态分析方法、装置和设备 |
| CN117789181A (zh) * | 2024-02-27 | 2024-03-29 | 暨南大学 | 基于轻量级神经网络图像增强的驾驶疲劳检测方法与系统 |
| CN117789181B (zh) * | 2024-02-27 | 2024-06-04 | 暨南大学 | 基于轻量级神经网络图像增强的驾驶疲劳检测方法与系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110807351A (zh) | 2020-02-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2021034035A (ja) | 人面識別に基づいた智能化車載疲労検出システム、方法および装置 | |
| CN107704805B (zh) | 疲劳驾驶检测方法、行车记录仪及存储装置 | |
| Ji et al. | Fatigue state detection based on multi-index fusion and state recognition network | |
| CN106965675B (zh) | 一种货车集群智能安全作业系统 | |
| WO2021004138A1 (zh) | 一种屏幕显示方法、终端设备及存储介质 | |
| CN106599804B (zh) | 基于多特征模型的视网膜中央凹检测方法 | |
| CN104063700B (zh) | 自然光照正面人脸图像中的眼睛中心点定位的方法 | |
| CN111460950B (zh) | 自然驾驶通话行为中基于头-眼证据融合的认知分心方法 | |
| Batista | A drowsiness and point of attention monitoring system for driver vigilance | |
| CN109460703B (zh) | 一种基于心率和面部特征的非侵入式疲劳驾驶识别方法 | |
| CN103902958A (zh) | 人脸识别的方法 | |
| CN109389806A (zh) | 基于多信息融合的疲劳驾驶检测预警方法、系统及介质 | |
| CN101201893A (zh) | 一种基于灰度信息的虹膜识别预处理方法 | |
| CN104200192A (zh) | 驾驶员注视检测系统 | |
| CN108734086A (zh) | 基于眼部区域生成网络的眨眼频率和视线估计方法 | |
| WO2018218839A1 (zh) | 一种活体识别方法和系统 | |
| CN106980852A (zh) | 基于角点检测与匹配的药品识别系统及其识别方法 | |
| CN111062292A (zh) | 一种疲劳驾驶检测装置与方法 | |
| CN106214166A (zh) | 一种戴眼镜驾驶员疲劳检测方法 | |
| CN109284778A (zh) | 人脸颜值计算方法、计算装置及电子设备 | |
| CN113591763B (zh) | 人脸脸型的分类识别方法、装置、存储介质及计算机设备 | |
| CN106960199B (zh) | 一种真彩色眼象图白睛区域的完整提取方法 | |
| Abdelwahed et al. | Segmentation approach for a noisy iris images based on hybrid techniques | |
| Panicker et al. | Open-eye detection using iris–sclera pattern analysis for driver drowsiness detection | |
| Ribarić et al. | A neural-network-based system for monitoring driver fatigue |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200805 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200923 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201118 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201124 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201231 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210319 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210326 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210727 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20210908 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210908 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20210910 |
|
| A045 | Written measure of dismissal of application [lapsed due to lack of payment] |
Free format text: JAPANESE INTERMEDIATE CODE: A045 Effective date: 20230718 |