JP2013109430A - 顔方向の検出方法および情報処理機器 - Google Patents
顔方向の検出方法および情報処理機器 Download PDFInfo
- Publication number
- JP2013109430A JP2013109430A JP2011252153A JP2011252153A JP2013109430A JP 2013109430 A JP2013109430 A JP 2013109430A JP 2011252153 A JP2011252153 A JP 2011252153A JP 2011252153 A JP2011252153 A JP 2011252153A JP 2013109430 A JP2013109430 A JP 2013109430A
- Authority
- JP
- Japan
- Prior art keywords
- face
- face recognition
- image data
- display
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims description 31
- 238000001514 detection method Methods 0.000 title description 6
- 238000000034 method Methods 0.000 claims description 96
- 230000008569 process Effects 0.000 claims description 28
- 230000008859 change Effects 0.000 claims description 26
- 230000007704 transition Effects 0.000 claims description 16
- 238000012544 monitoring process Methods 0.000 claims description 15
- 230000007423 decrease Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 230000003247 decreasing effect Effects 0.000 claims 2
- 238000011156 evaluation Methods 0.000 claims 2
- 238000004891 communication Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 210000000887 face Anatomy 0.000 description 7
- 230000001815 facial effect Effects 0.000 description 6
- 238000010606 normalization Methods 0.000 description 6
- 238000012546 transfer Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 210000001508 eye Anatomy 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 238000003909 pattern recognition Methods 0.000 description 3
- 210000005069 ears Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 210000000214 mouth Anatomy 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 208000029152 Small face Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 230000037308 hair color Effects 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012559 user support system Methods 0.000 description 1
Images
Abstract
【解決手段】カメラ・モジュールが撮像した画像データからディスプレイの正面方向に対する顔の方向を判断する(403)。斜め顔を検出したときは、ディスプレイのバックライトをオフにする(407)。入力デバイスからの入力がある間は、正面顔を検出しない場合であってもバックライトをオフにしない(421、423)。斜め顔(405)または非顔を検出してバックライトをオフにしても(407)、入力デバイスが操作されたとき(409)はバックライトをオンにする(431)。そのとき、一定時間以上連続して正面顔を認識しない限りディスプレイのオン状態を維持する(433)。バックライトがオフになってから正面顔を検出したときはバックライトを点灯する(411)。
【選択図】図8
Description
図1は、本実施の形態にかかるノートブック型パーソナル・コンピュータ(ノートPC)10のハードウェアおよびソフトウェアの構成を示す機能ブロック図である。図1において、カメラ・モジュール11、入力デバイス13、ディスプレイ25およびディスプレイに付随するバックライトはハードウェアであり、その他の要素はプロセッサおよびメイン・メモリなどのハードウェア資源とソフトウェア資源との協働作業により実現される。ソフトウェア資源は、OSおよびデバイス・ドライバなどの周知のプログラムと、本実施の形態にかかる新規な顔検出プログラムおよび電力制御プログラムで構成される。
つぎに、顔認識部15が画像データから顔認識強度絶対値を生成する方法を説明する。顔認識強度絶対値は、カメラ・モジュール11が撮影した画像から抽出した特徴情報を、複数のサンプル顔を撮影した画像データから抽出した特徴情報と比較したときに、当該画像がいずれかのサンプル顔に一致する割合を示す確率的な特性値をいう。顔認識強度絶対値は、顔の方向が基準方向のときに最大値となり、基準方向から頭部の垂直軸を中心にした左右方向、頭部の水平軸を中心にした上下方向、または斜め方向のいずれの方向であってもシフトするに従って小さくなる特性を備える。基準方向は一例として、カメラ・モジュール11の正面方向とすることができる。
顔認識強度絶対値には個人差があり、さらに、カメラ・モジュール11が撮影した画像の輝度でも変化する。顔認識強度絶対値を利用してディスプレイ25の動作を制御するときは、ユーザおよび撮影画像の輝度を限定することはできない。本実施の形態ではユーザの個人差および撮影画像の輝度が顔認識強度絶対値に与える影響を排除して、共通のアルゴリズムで顔の方向を認識できるようにするために顔認識強度絶対値を正規化する。
顔の方向を検出してバックライト26の動作を制御する場合は、ユーザが正面を向いてディスプレイ25を注視しているにもかかわらず、範囲Yまたは範囲Zの方向を向いていると認識する(よそ見をしていないのによそ見をしている)肯定的誤認識の確率を低減しないと実用に供することは困難である。つぎに、肯定的誤認識の確率を低減する手順を説明する。図6は、顔の方向を認識する際に肯定的誤認識の確率を低減する方法を説明する図である。図6は、カメラ・モジュール11から一定のフレーム・レートで受け取った画像データのそれぞれから計算した顔認識強度相対値を時間毎にプロットしている。図6(A)〜(C)にはそれぞれの画像データから計算した顔認識強度相対値の実測値と直近の過去2個の実測値を含めた3個の実測値から計算した移動平均値をプロットしている。
図8は、顔の方向を判断してバックライト26の動作を制御する手順を示すフローチャートで、図9はそのときの状態遷移図である。図9で各ステートまたはステート間の遷移に記載した番号は、図8のブロックの番号に対応している。図9において、ステート451はバックライト26が点灯した状態を示している。この状態は、顔認識部15がカメラ・モジュール11から受け取った画像データから計算した顔認識強度相対値が範囲Xに入ると認識した状態に対応する。ステート451では、ユーザの顔の方向がディスプレイ25の正面方向であると認識している状態なのでバックライト26は点灯する。
100、250、500 強識別器
101、101a〜101d 矩形特徴
151 認識対象の画像
155 小ウィンドウ
200、200a〜200d 識別パターン
C1〜Cn 弱識別器
P 顔認識強度相対値
Pz、Py 顔認識強度絶対値
S1〜S5 顔認識強度絶対値
Claims (23)
- カメラ・モジュールおよびディスプレイとの通信が可能な情報処理機器において消費電力を制御する方法であって、
前記情報処理機器がパワー・オン状態に遷移するステップと、
前記カメラ・モジュールから定期的に受け取った画像データから、前記情報処理機器が人物の顔の方向を判断するステップと、
顔の方向が前記ディスプレイの正面方向からシフトしていると判断したことに応答して、前記情報処理機器が前記パワー・オン状態からロー・パワー状態に遷移するステップと
を有する方法。 - 前記顔の方向を判断するステップが、
各画像データから顔の方向が前記カメラ・モジュールの正面に対して所定の方向のときに最大値となり、前記所定の方向からシフトするに伴って低下する特性を備えた顔認識強度値を計算するステップを有する請求項1に記載の方法。 - 各画像データについて今回の画像データと過去の画像データを比較して今回の画像データから計算した前記顔認識強度値の単位時間当たりの変化量が所定値を越えたか否かを判断するステップと、
前記所定値を越えた今回の画像データを顔の方向の判断対象から除外するステップと
を有する請求項2に記載の方法。 - 前記顔認識強度値が最大となる所定の方向が前記ディスプレイの正面方向である請求項2または請求項3に記載の方法。
- 前記顔の方向を判断するステップが、入力デバイスが入力イベントを生成するタイミングで前記カメラ・モジュールから受け取った画像データが示す顔の方向を正面顔に設定するステップを有する請求項4に記載の方法。
- 前記顔認識強度値が最大となる所定の方向が前記ディスプレイの正面方向に対して所定の角度だけシフトした方向を含む請求項4に記載の方法。
- 前記画像データから顔を認識しないときに入力デバイスが操作されたか否かを判断するステップと、
所定の時間以内に入力デバイスが操作されている間は前記パワー・オン状態を維持するステップと
を有する請求項1から請求項6のいずれかに記載の方法。 - 前記ロー・パワー状態に遷移している間に入力デバイスが操作されたか否かを判断するステップと、
前記入力デバイスが操作されたと判断したときに前記パワー・オン状態に復帰するステップと
を有する請求項1から請求項7のいずれかに記載の方法。 - 前記パワー・オン状態に復帰してから顔が所定時間連続して前記ディスプレイの正面方向を向いているか否かを判断するステップと、
顔が所定時間連続して前記ディスプレイの正面方向を向いていると判断しない間は前記パワー・オン状態を維持するステップと
を有する請求項8に記載の方法。 - 前記ロー・パワー状態に遷移している間に顔が前記ディスプレイの正面方向を向いているか否かを判断するステップと、
前記ディスプレイの正面方向を向いていると判断したときに前記ロー・パワー状態から前記パワー・オン状態に復帰するステップと
を有する請求項8または請求項9に記載の方法。 - 前記ロー・パワー状態が前記ディスプレイのバックライトが消灯した状態である請求項1から請求項10のいずれかに記載の方法。
- カメラから取得した画像データから前記カメラに対する顔の方向を判断する方法であって、
前記カメラから定期的に画像データを取得するステップと、
前記カメラに対する顔の方向が所定の方向のときに最大値となり、前記所定の方向からシフトするに伴って低下する特性を備えた顔認識強度値を各画像データから計算するステップと、
各画像データについて前記顔認識強度値の単位時間当たりの変化量が所定値以下であるか否かを判断するステップと、
前記変化量が所定値以下であると判断した前記画像データから計算した前記顔認識強度値と閾値を比較して顔の方向を判断するステップと
を有する方法。 - 前記顔認識強度値が、複数のピーク値を含む特性を備えている請求項12に記載の方法。
- 前記顔認識強度値が、顔が左右方向に所定の角度だけ向いたときのピーク値と上下方向に所定の角度だけ向いたときのピーク値を含む請求項13に記載の方法。
- カメラ・モジュールとディスプレイとの通信が可能な情報処理機器であって、
前記カメラ・モジュールから定期的に受け取った画像データが前記ディスプレイに対する人物の顔の方向から正面顔、斜め顔、または非顔のいずれを含むかを判断する顔認識部と、
前記画像データが斜め顔または非顔を含むと判断した前記顔認識部の指示により前記ディスプレイの動作を停止する電力制御部と
を有する情報処理機器。 - 前記顔認識部は、カスケード接続されそれぞれ入力された画像データから顔を認識する確率で重み付けされた評価値を備える識別器を有し、前記画像データが通過する前記識別器の評価値から計算した顔認識強度値で顔の方向を判断する請求項15に記載の情報処理機器。
- 前記顔認識部は、単位時間当たりの変化量が所定値以内の前記顔認識強度値だけを使用して顔の方向を判断する請求項16に記載の情報処理機器。
- ユーザが操作する入力デバイスと、
前記入力デバイスからの入力を検出して前記顔識別部に入力イベントを送る入力デバイス監視部とを有し、
前記顔認識部は、前記入力デバイス監視部から所定の時間以内に前記入力イベントを受け取っている間は、前記顔認識部が非顔を検出しても前記ロー・パワー状態への遷移を停止する請求項15から請求項17のいずれかに記載の情報処理機器。 - 前記顔認識部は、前記ディスプレイの動作が停止している間に正面顔を検出したときは前記ディスプレイを動作させる請求項18に記載の情報処理機器。
- 前記顔認識部は、前記ディスプレイの動作が停止している間に前記入力デバイス監視部から前記入力イベントを受け取ったときは前記ディスプレイを動作させる請求項18または請求項19に記載の情報処理機器。
- 前記顔認識部は、前記情報処理機器が前記ディスプレイを動作させたあとに一定時間連続して正面顔を検出しない限り前記ディスプレイの動作を維持する請求項20に記載の情報処理機器。
- カメラ・モジュールおよびディスプレイとの通信が可能な顔方向認識装置であって、
前記カメラ・モジュールから所定のフレーム・レートで画像データを取得するデータ取得部と、
前記カメラ・モジュールに対する顔の方向が所定の方向のときに最大値となり、前記所定の方向からシフトするに伴って低下する特性を備えた顔認識強度値を各画像データから計算する顔認識強度値計算部と、
各画像データについて前記顔認識強度値の単位時間当たりの変化量を計算する変化量計算部と、
前記変化量が所定値以下であると判断した画像データから計算した前記顔認識強度値と閾値を比較して顔の方向を判断する判断部と、
を有する顔方向認識装置。 - カメラ・モジュールとの通信が可能なコンピュータに、
前記カメラ・モジュールから所定のフレーム・レートで画像データを取得するステップと、
前記カメラ・モジュールに対する顔の方向が所定の方向のときに最大値となり、前記所定の方向からシフトするに伴って低下する特性を備えた顔認識強度値を各画像データから計算するステップと、
各画像データについて前記顔認識強度値の単位時間当たりの変化量を計算するステップと、
前記変化量が所定値以下であると判断した画像データから計算した前記顔認識強度値と閾値を比較して顔の方向を判断するステップと、
を有する処理を実行させるためのコンピュータ・プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011252153A JP5529103B2 (ja) | 2011-11-18 | 2011-11-18 | 顔方向の検出方法および情報処理機器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011252153A JP5529103B2 (ja) | 2011-11-18 | 2011-11-18 | 顔方向の検出方法および情報処理機器 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013109430A true JP2013109430A (ja) | 2013-06-06 |
JP5529103B2 JP5529103B2 (ja) | 2014-06-25 |
Family
ID=48706145
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011252153A Active JP5529103B2 (ja) | 2011-11-18 | 2011-11-18 | 顔方向の検出方法および情報処理機器 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5529103B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015146389A1 (ja) * | 2014-03-26 | 2015-10-01 | 株式会社メガチップス | 物体検出装置 |
JP2017505156A (ja) * | 2013-12-09 | 2017-02-16 | ゼンソモトリック インストゥルメンツ ゲゼルシャフト ヒューア イノベイティブ ゼンソリック エムベーハーSENSOMOTORIC INSTRUMENTS Gesellschaft fur innovative Sensorik mbH | 目追跡装置動作方法及び能動的電力管理を行う目追跡装置 |
JP2020091595A (ja) * | 2018-12-04 | 2020-06-11 | 日本電気株式会社 | 情報処理システム、認証対象の管理方法、及びプログラム |
WO2021070980A1 (ko) * | 2019-10-08 | 2021-04-15 | 엘지전자 주식회사 | 이동단말기 및 그 제어 방법 |
CN113015302A (zh) * | 2021-04-01 | 2021-06-22 | 易强 | 一种基于智慧城市的数字化调光系统及其调控方法 |
JP7454635B1 (ja) | 2022-12-14 | 2024-03-22 | レノボ・シンガポール・プライベート・リミテッド | 情報処理装置、及び制御方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11288259A (ja) * | 1998-02-06 | 1999-10-19 | Sanyo Electric Co Ltd | 省電力制御方法及びその装置 |
JP2007226512A (ja) * | 2006-02-23 | 2007-09-06 | Fujifilm Corp | 特定向き顔判定方法および装置並びにプログラム |
JP2011123763A (ja) * | 2009-12-11 | 2011-06-23 | Lenovo Singapore Pte Ltd | 電力制御装置、電力制御方法、およびコンピュータが実行可能なプログラム |
-
2011
- 2011-11-18 JP JP2011252153A patent/JP5529103B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11288259A (ja) * | 1998-02-06 | 1999-10-19 | Sanyo Electric Co Ltd | 省電力制御方法及びその装置 |
JP2007226512A (ja) * | 2006-02-23 | 2007-09-06 | Fujifilm Corp | 特定向き顔判定方法および装置並びにプログラム |
JP2011123763A (ja) * | 2009-12-11 | 2011-06-23 | Lenovo Singapore Pte Ltd | 電力制御装置、電力制御方法、およびコンピュータが実行可能なプログラム |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017505156A (ja) * | 2013-12-09 | 2017-02-16 | ゼンソモトリック インストゥルメンツ ゲゼルシャフト ヒューア イノベイティブ ゼンソリック エムベーハーSENSOMOTORIC INSTRUMENTS Gesellschaft fur innovative Sensorik mbH | 目追跡装置動作方法及び能動的電力管理を行う目追跡装置 |
WO2015146389A1 (ja) * | 2014-03-26 | 2015-10-01 | 株式会社メガチップス | 物体検出装置 |
JP2015187782A (ja) * | 2014-03-26 | 2015-10-29 | 株式会社メガチップス | 物体検出装置 |
JP2020091595A (ja) * | 2018-12-04 | 2020-06-11 | 日本電気株式会社 | 情報処理システム、認証対象の管理方法、及びプログラム |
US11410461B2 (en) | 2018-12-04 | 2022-08-09 | Nec Corporation | Information processing system, method for managing object to be authenticated, and program |
US11915519B2 (en) | 2018-12-04 | 2024-02-27 | Nec Corporation | Information processing system, method for managing object to be authenticated, and program |
WO2021070980A1 (ko) * | 2019-10-08 | 2021-04-15 | 엘지전자 주식회사 | 이동단말기 및 그 제어 방법 |
CN113015302A (zh) * | 2021-04-01 | 2021-06-22 | 易强 | 一种基于智慧城市的数字化调光系统及其调控方法 |
JP7454635B1 (ja) | 2022-12-14 | 2024-03-22 | レノボ・シンガポール・プライベート・リミテッド | 情報処理装置、及び制御方法 |
Also Published As
Publication number | Publication date |
---|---|
JP5529103B2 (ja) | 2014-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11616906B2 (en) | Electronic system with eye protection in response to user distance | |
US8942434B1 (en) | Conflict resolution for pupil detection | |
US11650659B2 (en) | User input processing with eye tracking | |
JP5529103B2 (ja) | 顔方向の検出方法および情報処理機器 | |
US11715231B2 (en) | Head pose estimation from local eye region | |
US8379059B2 (en) | Portable electronic device and method for adjusting display orientation of the portable electronic device | |
US9792494B2 (en) | Image processing apparatus, method, and program capable of recognizing hand gestures | |
KR100947990B1 (ko) | 차영상 엔트로피를 이용한 시선 추적 장치 및 그 방법 | |
US9646200B2 (en) | Fast pose detector | |
Kim et al. | An empirical study on iris recognition in a mobile phone | |
US20140055350A1 (en) | Enhanced detection of gesture | |
US11163995B2 (en) | User recognition and gaze tracking in a video system | |
US20130057553A1 (en) | Smart Display with Dynamic Font Management | |
EP2336949B1 (en) | Apparatus and method for registering plurality of facial images for face recognition | |
TW201306573A (zh) | 具有影像擷取及分析模組之顯示裝置 | |
Wang et al. | Your eyes reveal your secrets: An eye movement based password inference on smartphone | |
US11681371B2 (en) | Eye tracking system | |
JP7404958B2 (ja) | 入力装置、入力方法、及びプログラム | |
Lewis et al. | Smart scrolling based on eye tracking | |
CN117711054A (zh) | 一种数据的检验方法、电子设备及介质 | |
Lissoboi et al. | Development of an efficient method for eye detection on mobile CE devices | |
S Choras et al. | Markerless head gesture recognition for human computer interaction | |
Rupit et al. | Hand Gesture Recognition for Computer-Vision Technology |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131017 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131029 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140113 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140415 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140416 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5529103 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |