JP2016057839A - 顔向き検出装置及び車両用警告システム - Google Patents
顔向き検出装置及び車両用警告システム Download PDFInfo
- Publication number
- JP2016057839A JP2016057839A JP2014183587A JP2014183587A JP2016057839A JP 2016057839 A JP2016057839 A JP 2016057839A JP 2014183587 A JP2014183587 A JP 2014183587A JP 2014183587 A JP2014183587 A JP 2014183587A JP 2016057839 A JP2016057839 A JP 2016057839A
- Authority
- JP
- Japan
- Prior art keywords
- face
- angle
- driver
- subject
- angular velocity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 100
- 230000001815 facial effect Effects 0.000 title abstract 9
- 238000003384 imaging method Methods 0.000 claims description 6
- 230000002123 temporal effect Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 23
- 239000013598 vector Substances 0.000 description 15
- 238000000034 method Methods 0.000 description 13
- 238000012790 confirmation Methods 0.000 description 8
- 210000001508 eye Anatomy 0.000 description 4
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Instrument Panels (AREA)
- Traffic Control Systems (AREA)
Abstract
【解決手段】運転者の顔向き角度が検知範囲を超える直前の顔向き角速度Fθv(t−1)が保存される。さらに、運転者の顔向き角度が検知範囲を超えてからの経過時間Tをタイマーにてカウントする。そして、運転者の顔領域の動きが停止したとみなされた時点で、保存されている顔向き角速度Fθv(t−1)と経過時間Tとに基づいて、顔向き角度の推定値Rθを算出する。
【選択図】図3
Description
対象者の顔を含む画像を撮像する撮像手段(10)と、
撮像手段によって撮像された画像において対象者の顔を認識する顔認識手段(S100)と、
顔認識手段の認識結果から、対象者の顔が向いている角度を算出する角度算出手段(S110)と、
対象者の顔が向いている角度の時間的な変化の大きさを示す、対象者の顔の向きの角速度を算出する角速度算出手段(S120)と、
対象者の顔もしくは視線の向きの角度が所定角度範囲を超えて、顔認識手段が対象者の顔を認識できなくなった場合に、角速度算出手段が算出済みの角速度に基づき、対象者の顔の向きの角度を推定する角度推定手段と、を備えることを特徴とする。
上述した顔向き検出装置(14)と、
対象者は、車両の運転者であり、当該運転者が車両を発進させようとしていることを検出する発進検出手段と、
発進検出手段により運転者が車両を発進させようとしていることが検出されたとき、顔向き検出装置による検出結果に基づいて、運転者が車両の左右方向を確認したか否かを判定する判定手段と、
判定手段によって、運転者は車両の左右方向を確認していないと判定された場合、運転者に警告を与える警告手段(20)と、を備えることを特徴とする。
(数1)
Rθ=Fθ(t−1)+Fθv(t−1)×T
12 顔向き検知部
14 顔向き検出装置
16 処理装置
18 車両情報取得部
20 警報装置
Claims (8)
- 対象者の顔を含む画像を撮像する撮像手段(10)と、
前記撮像手段によって撮像された画像において前記対象者の顔を認識する顔認識手段(S100)と、
前記顔認識手段の認識結果から、前記対象者の顔が向いている角度を算出する角度算出手段(S110)と、
前記対象者の顔が向いている角度の時間的な変化の大きさを示す、前記対象者の顔向きの角速度を算出する角速度算出手段(S120)と、
前記対象者の顔向きの角度が所定角度範囲を超えて、前記顔認識手段が前記対象者の顔を認識できなくなった場合に、前記角速度算出手段が算出済みの角速度に基づき、前記対象者の顔向きの角度を推定する角度推定手段(S200)と、を備えることを特徴とする顔向き検出装置。 - 前記角度推定手段は、前記対象者の顔向きの角度が所定角度範囲を超えて、前記顔認識手段が前記対象者の顔を認識できなくなった以降の経過時間分だけ、前記角速度にて顔向きの角度を変化させたものとして、前記対象者の顔向きの角度を推定することを特徴とする請求項1に記載の顔向き検出装置。
- 前記撮像手段によって撮像された前記画像において、前記対象者の顔領域の動きを検出する動き検出手段(S180)を備え、
前記角度推定手段は、前記動き検出手段により検出される前記対象者の顔領域の動きが止まったときに、前記経過時間と前記角速度とに基づき、前記対象者の顔向きの角度を推定することを特徴とする請求項2に記載の顔向き検出装置。 - 前記撮像手段によって撮像された前記画像において、前記対象者の顔領域の動きを検出する動き検出手段(S180)と、
前記角度推定手段が前記対象者の顔向きの角度は前記所定角度範囲を一方向に越えた角度と推定しているとき、前記動き検出手段により、その角度を前記所定角度範囲の方向に戻す動きが検出され、その後、その動きが止まったことが検出されたときに、前記顔認識手段が前記対象者の顔を認識できない場合、前記対象者は左右に首を振る動作を行ったことを検出する首振り動作検出手段と、を備えることを特徴とする請求項1乃至3のいずれか1項に記載の顔向き検出装置。 - 前記対象者は、車両の運転者であり、
前記撮像手段は、ステアリングホイールを間に挟んで、前記運転者に正対する位置に配置され、
前記ステアリングホイールの操舵角度を検出する検出手段を備え、
前記動き検出手段は、前記検出手段によって検出される操舵角度に応じて、前記画像に前記ステアリングホイールの一部が映し出される領域を特定し、その領域を除外した残りの領域において、前記対象者の顔領域の動きを検出することを特徴とする請求項3又は4に記載の顔向き検出装置。 - 前記動き検出手段は、前記運転者の顔領域のほぼ全体が、前記ステアリングホイールの影に隠れてしまう角度範囲において、前記対象者の顔領域の動きの検出を中止することを特徴とする請求項5に記載の顔向き検出装置。
- 前記角度推定手段は、前記顔認識手段が前記対象者の顔を認識できなくなった直前の、前記対象者の顔向きの角度が所定の角度閾値よりも大きく、かつ、顔向きの角速度が所定の角速度閾値よりも大きい場合に、前記対象者の顔向きの角度が所定角度範囲を超えたことによって、前記顔認識手段が前記対象者の顔を認識できなくなったものとみなすことを特徴とする請求項1乃至6のいずれか1項に記載の顔向き検出装置。
- 請求項1乃至7のいずれか1項に記載の顔向き検出装置(14)と、
前記対象者は、車両の運転者であり、当該運転者が車両を発進させようとしていることを検出する発進検出手段と、
前記発進検出手段により前記運転者が車両を発進させようとしていることが検出されたとき、前記顔向き検出装置による検出結果に基づいて、前記運転者が前記車両の左右方向を確認したか否かを判定する判定手段と、
前記判定手段によって、前記運転者は前記車両の左右方向を確認していないと判定された場合、前記運転者に警告を与える警告手段(20)と、を備えることを特徴とする車両用警告システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014183587A JP6350145B2 (ja) | 2014-09-09 | 2014-09-09 | 顔向き検出装置及び車両用警告システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014183587A JP6350145B2 (ja) | 2014-09-09 | 2014-09-09 | 顔向き検出装置及び車両用警告システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016057839A true JP2016057839A (ja) | 2016-04-21 |
JP6350145B2 JP6350145B2 (ja) | 2018-07-04 |
Family
ID=55758628
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014183587A Expired - Fee Related JP6350145B2 (ja) | 2014-09-09 | 2014-09-09 | 顔向き検出装置及び車両用警告システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6350145B2 (ja) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3348453A1 (en) | 2017-01-17 | 2018-07-18 | Toyota Jidosha Kabushiki Kaisha | Control system of vehicle |
DE102018102431A1 (de) | 2017-02-08 | 2018-08-09 | Toyota Jidosha Kabushiki Kaisha | Fahrerzustandserkennungssystem |
WO2018163492A1 (ja) * | 2017-03-09 | 2018-09-13 | オムロン株式会社 | 運転モード切替制御装置、方法、及びプログラム |
US10166918B2 (en) | 2016-10-20 | 2019-01-01 | Yazaki Corporation | Drive assisting apparatus |
US20190138790A1 (en) * | 2017-11-09 | 2019-05-09 | Toyota Jidosha Kabushiki Kaisha | Driver monitoring system |
JP2019079285A (ja) * | 2017-10-25 | 2019-05-23 | いすゞ自動車株式会社 | 安全運転促進装置及び安全運転促進方法 |
JP2019091256A (ja) * | 2017-11-15 | 2019-06-13 | オムロン株式会社 | 警報制御装置、警報制御方法、および警報制御のためのプログラム |
JP2019091258A (ja) * | 2017-11-15 | 2019-06-13 | オムロン株式会社 | 警報制御装置、警報制御方法、および警報制御のためのプログラム |
JP2019159741A (ja) * | 2018-03-13 | 2019-09-19 | オムロン株式会社 | 運転評価装置、運転評価方法、及び運転評価プログラム |
US10525981B2 (en) | 2017-01-17 | 2020-01-07 | Toyota Jidosha Kabushiki Kaisha | Driver condition detection system |
US10706301B2 (en) | 2017-03-31 | 2020-07-07 | Panasonic Intellectual Property Managment Co., Ltd. | Detection device, learning device, detection method, learning method, and recording medium |
JP2020184137A (ja) * | 2019-05-07 | 2020-11-12 | マツダ株式会社 | ドライバ姿勢検出装置 |
JP2021018665A (ja) * | 2019-07-22 | 2021-02-15 | トヨタ自動車株式会社 | 運転支援装置 |
CN112541473A (zh) * | 2020-12-24 | 2021-03-23 | 华南理工大学 | 基于人脸面部向量时空域特征的换脸视频检测方法及应用 |
CN114643934A (zh) * | 2020-12-18 | 2022-06-21 | 丰田自动车株式会社 | 车辆车门倚靠检测系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000142282A (ja) * | 1998-11-11 | 2000-05-23 | Nissan Motor Co Ltd | 自動車用の安全促進装置 |
JP2005352531A (ja) * | 2004-06-08 | 2005-12-22 | Toshiba Corp | ジェスチャ検出方法、ジェスチャ検出プログラムおよびジェスチャ検出装置 |
JP2008021266A (ja) * | 2006-07-14 | 2008-01-31 | Matsushita Electric Ind Co Ltd | 顔向き検出装置、顔向き検出方法、および顔向き検出プログラム |
JP2008226163A (ja) * | 2007-03-15 | 2008-09-25 | Honda Motor Co Ltd | 車両の安全装置 |
WO2009091029A1 (ja) * | 2008-01-16 | 2009-07-23 | Asahi Kasei Kabushiki Kaisha | 顔姿勢推定装置、顔姿勢推定方法、及び、顔姿勢推定プログラム |
JP2010225089A (ja) * | 2009-03-25 | 2010-10-07 | Toyota Motor Corp | 運転者監視装置 |
-
2014
- 2014-09-09 JP JP2014183587A patent/JP6350145B2/ja not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000142282A (ja) * | 1998-11-11 | 2000-05-23 | Nissan Motor Co Ltd | 自動車用の安全促進装置 |
JP2005352531A (ja) * | 2004-06-08 | 2005-12-22 | Toshiba Corp | ジェスチャ検出方法、ジェスチャ検出プログラムおよびジェスチャ検出装置 |
JP2008021266A (ja) * | 2006-07-14 | 2008-01-31 | Matsushita Electric Ind Co Ltd | 顔向き検出装置、顔向き検出方法、および顔向き検出プログラム |
JP2008226163A (ja) * | 2007-03-15 | 2008-09-25 | Honda Motor Co Ltd | 車両の安全装置 |
WO2009091029A1 (ja) * | 2008-01-16 | 2009-07-23 | Asahi Kasei Kabushiki Kaisha | 顔姿勢推定装置、顔姿勢推定方法、及び、顔姿勢推定プログラム |
JP2010225089A (ja) * | 2009-03-25 | 2010-10-07 | Toyota Motor Corp | 運転者監視装置 |
Cited By (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10166918B2 (en) | 2016-10-20 | 2019-01-01 | Yazaki Corporation | Drive assisting apparatus |
JP2018114804A (ja) * | 2017-01-17 | 2018-07-26 | トヨタ自動車株式会社 | 車両の制御装置 |
US10706299B2 (en) | 2017-01-17 | 2020-07-07 | Toyota Jidosha Kabushiki Kaisha | Control system of vehicle |
US10525981B2 (en) | 2017-01-17 | 2020-01-07 | Toyota Jidosha Kabushiki Kaisha | Driver condition detection system |
EP3348453A1 (en) | 2017-01-17 | 2018-07-18 | Toyota Jidosha Kabushiki Kaisha | Control system of vehicle |
US10970572B2 (en) | 2017-02-08 | 2021-04-06 | Toyota Jidosha Kabushiki Kaisha | Driver condition detection system |
US10769460B2 (en) | 2017-02-08 | 2020-09-08 | Toyota Jidosha Kabushiki Kaisha | Driver condition detection system |
DE102018102431A1 (de) | 2017-02-08 | 2018-08-09 | Toyota Jidosha Kabushiki Kaisha | Fahrerzustandserkennungssystem |
JP2018149821A (ja) * | 2017-03-09 | 2018-09-27 | オムロン株式会社 | 運転モード切替制御装置、方法、及びプログラム |
WO2018163492A1 (ja) * | 2017-03-09 | 2018-09-13 | オムロン株式会社 | 運転モード切替制御装置、方法、及びプログラム |
US10706301B2 (en) | 2017-03-31 | 2020-07-07 | Panasonic Intellectual Property Managment Co., Ltd. | Detection device, learning device, detection method, learning method, and recording medium |
JP2019079285A (ja) * | 2017-10-25 | 2019-05-23 | いすゞ自動車株式会社 | 安全運転促進装置及び安全運転促進方法 |
JP7091632B2 (ja) | 2017-10-25 | 2022-06-28 | いすゞ自動車株式会社 | 安全運転促進装置及び安全運転促進方法 |
US20190138790A1 (en) * | 2017-11-09 | 2019-05-09 | Toyota Jidosha Kabushiki Kaisha | Driver monitoring system |
US10803294B2 (en) * | 2017-11-09 | 2020-10-13 | Toyota Jidosha Kabushiki Kaisha | Driver monitoring system |
JP2019091256A (ja) * | 2017-11-15 | 2019-06-13 | オムロン株式会社 | 警報制御装置、警報制御方法、および警報制御のためのプログラム |
JP2019091258A (ja) * | 2017-11-15 | 2019-06-13 | オムロン株式会社 | 警報制御装置、警報制御方法、および警報制御のためのプログラム |
JP2019159741A (ja) * | 2018-03-13 | 2019-09-19 | オムロン株式会社 | 運転評価装置、運転評価方法、及び運転評価プログラム |
JP7060841B2 (ja) | 2018-03-13 | 2022-04-27 | オムロン株式会社 | 運転評価装置、運転評価方法、及び運転評価プログラム |
JP2020184137A (ja) * | 2019-05-07 | 2020-11-12 | マツダ株式会社 | ドライバ姿勢検出装置 |
JP7320187B2 (ja) | 2019-05-07 | 2023-08-03 | マツダ株式会社 | ドライバ姿勢検出装置 |
JP2021018665A (ja) * | 2019-07-22 | 2021-02-15 | トヨタ自動車株式会社 | 運転支援装置 |
JP7346969B2 (ja) | 2019-07-22 | 2023-09-20 | トヨタ自動車株式会社 | 運転支援装置 |
CN114643934A (zh) * | 2020-12-18 | 2022-06-21 | 丰田自动车株式会社 | 车辆车门倚靠检测系统 |
CN114643934B (zh) * | 2020-12-18 | 2024-04-09 | 丰田自动车株式会社 | 车辆车门倚靠检测系统 |
CN112541473B (zh) * | 2020-12-24 | 2023-01-24 | 华南理工大学 | 基于人脸面部向量时空域特征的换脸视频检测方法及应用 |
CN112541473A (zh) * | 2020-12-24 | 2021-03-23 | 华南理工大学 | 基于人脸面部向量时空域特征的换脸视频检测方法及应用 |
Also Published As
Publication number | Publication date |
---|---|
JP6350145B2 (ja) | 2018-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6350145B2 (ja) | 顔向き検出装置及び車両用警告システム | |
CN106463065B (zh) | 驾驶员的驾驶不能状态检测装置 | |
EP1961622B1 (en) | Safety-travel assistance device | |
JP4926437B2 (ja) | 車両の運転支援装置 | |
JP4872245B2 (ja) | 歩行者認識装置 | |
JP5966640B2 (ja) | 漫然運転検出装置及びプログラム | |
US9202106B2 (en) | Eyelid detection device | |
US20150229885A1 (en) | Method for supplementing a piece of object information assigned to an object and method for selecting objects in surroundings of a vehicle | |
JP7099037B2 (ja) | データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム | |
JP2009294753A (ja) | 画像処理装置および画像処理方法 | |
JP6213435B2 (ja) | 注意過多状態判定装置及び注意過多状態判定プログラム | |
JP6187155B2 (ja) | 注視対象物推定装置 | |
JP2015102498A (ja) | 視認領域推定装置 | |
JP2010191793A (ja) | 警告表示装置及び警告表示方法 | |
JP2007072570A (ja) | 脇見判定装置 | |
JP4795281B2 (ja) | 車両の安全装置 | |
WO2019155914A1 (ja) | データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、データ処理プログラム、及び記憶媒体 | |
JP4701961B2 (ja) | 歩行者検知装置 | |
JP7276082B2 (ja) | 運転者状態推定装置 | |
JP4305057B2 (ja) | 脇見検出装置 | |
US20230394702A1 (en) | Device, method, and computer program for estimating seat position | |
JP2009110065A (ja) | 運転支援装置 | |
JP6429101B2 (ja) | 画像判定装置、画像処理装置、画像判定プログラム、画像判定方法、移動体 | |
JP7259957B2 (ja) | 判定システム、処理方法、プログラム | |
JP7164275B2 (ja) | 集中状態推定装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161109 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171006 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171024 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180508 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180521 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6350145 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |