JP2013069286A

JP2013069286A - 正しい機器使用姿勢誘導装置及び方法

Info

Publication number: JP2013069286A
Application number: JP2012206804A
Authority: JP
Inventors: Kosho Lee; 昊燮李
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2011-09-20
Filing date: 2012-09-20
Publication date: 2013-04-18
Anticipated expiration: 2032-09-20
Also published as: JP6050069B2; CN103021140A; EP2573696A2; EP2573696B1; KR20130031120A; KR101868597B1; EP2573696A3; US20130072820A1; US9141761B2

Abstract

【課題】ユーザが正しい姿勢を保持するように補助する装置及び方法を提供する。
【解決手段】正しい機器使用姿勢誘導装置は、携帯端末で撮影されたユーザの顔映像、携帯端末の傾斜角度またはその組み合わせのうちの少なくとも１つを用いて、ユーザが、携帯端末を正しい姿勢で使っているか否かを判断する判断部と、判断部の判断の結果によって、ユーザが、携帯端末を正しい姿勢で使っていない場合、所定の警報を発する警報実行部と、を含む。
【選択図】図１

Description

本発明は、ユーザが正しい姿勢を保持するように補助する装置及び方法に関する。

スマートフォン／タブレットＰＣなどの移動端末を通じて、ＤＭＢ放送、電子ブック、ゲーム・映画などの多様なコンテンツを楽しむユーザが増加している。コンテンツは、デジタルメディア放送、ゲーム、映画などを含みうる。特に、若いユーザは、電車やバスで移動するとき、スマートフォン／タブレットＰＣを腰の付近やヒザ上に載せ、頭を下げたまま使う場合が多いが、この姿勢でスマートフォン／タブレットＰＣを使用し続ければ、頸骨（頸椎）に無理がかかる。例えば、基本的に、頸骨は、Ｃ状であるが、うつむいて画面を見続ければ、頭が前方に出る‘頭部前方位姿勢（ｆｏｒｗａｒｄｈｅａｄｐｏｓｔｕｒｅ）’にかかる危険性が高くなる。頭を前に出す期間が長くなれば、ユーザは、ストレートネック（ｓｔｒａｉｇｈｔｃｅｒｖｉｃａｌｓｐｉｎｅ）を有するようになる。頸骨が一字状になれば、首の衝撃緩和能力が減少する。したがって、頚椎椎間板が誘発される確率が高くなる。

ある報道によれば、脊椎痛症専門病院でスマートフォン販売時点（２００９年１０月）と幅広く利用された時点（２０１０年４月）との頚椎椎間板患者を月別に比較分析した結果、３０代以下の患者の場合、１か月に３８人から１４９人に３９０％以上急増したと言う。４０代もスマートフォン販売時点に、１か月に６９人発生した頚椎椎間板患者が２０１０年４月には１２９人に増え、代わりに５０代と６０代の患者の増加幅は、それぞれ３９％、３７％線に留まった。

また、スマートフォン使用時に顔を画面に近づけるユーザは、‘眼球乾燥症’にかかる危険がある。眼球乾燥症は、画面に過度に近接して視聴することで発生する。眼球乾燥症は、目がしびれ、ちくちく痛む感じがある。また、目が疲れやすく、目をよく開きにくくなる。この症状を起こす原因のうちの１つは、涙の分泌が円滑ではないためである。人がＴＶや本などを集中して見れば、目の瞬きが足りなくなることで涙の分泌が少なくなる。したがって、スマートフォンの場合、画面が小さくて近距離でさらに集中するので、眼球乾燥症にかかる危険が高い。

このような亀目症侯群や眼球乾燥症を予防するためには、できるだけスマートフォンの使用時間を減らし、使用時には少しぎこちなくて大変でも、スマートフォンを視線のような高さに上げ、１０分以上使用時には、周期的にストレッチングをするか、目を意図的にしばしば瞬きをしなければならない。

しかし、移動性に優れ、機能とコンテンツとが多いスマートフォン／タブレットＰＣの特性上、使用時間を減らすことが容易ではなく、このような危険に対して最初から認知できないか、認知するとしても、正しい使用姿勢を取らないユーザが多い実情である。したがって、機器が能動的に適切な措置を取るか、ユーザに前記危険を警告する必要がある。

本発明は、正しい機器使用姿勢誘導装置及び方法を提供することである。

本発明の一側面によれば、正しい機器使用姿勢誘導装置が開示される。正しい機器使用姿勢誘導装置は、携帯端末で撮影されたユーザの顔映像、前記携帯端末の傾斜角度またはその組み合わせのうちの少なくとも１つを用いて、前記ユーザが、前記携帯端末を正しい姿勢で使っているか否かを判断する判断部と、前記判断部の判断の結果によって、前記ユーザが、前記携帯端末を正しい姿勢で使っていない場合、所定の警報を発する警報実行部と、を含む。

前記判断部は、前記正しい姿勢に関する判断基準として、前記ユーザの頸椎状態、前記ユーザの携帯端末注視状態またはその組み合わせのうちの少なくとも１つを推定することができる。

前記判断部は、前記ユーザの顔映像、前記携帯端末の傾斜角度またはその組み合わせのうちの少なくとも１つを用いて、前記頸椎状態をもって、前記ユーザの頸椎の傾いた程度を推定する頸椎状態推定部を含みうる。

前記判断部は、前記ユーザの顔映像を用いて、前記携帯端末注視状態をもって、前記ユーザの目と前記携帯端末との距離または前記ユーザの前記携帯端末に対する注視集中程度を推定する注視状態推定部を含みうる。

本発明の他の側面によれば、正しい機器使用姿勢誘導装置が開示される。正しい機器使用姿勢誘導装置は、携帯端末で撮影されたユーザの顔映像及び前記携帯端末の傾斜角度を収集するセンサー部と、前記ユーザの顔映像、前記携帯端末の傾斜角度またはその組み合わせのうちの少なくとも１つを用いて、前記ユーザの頸椎状態を推定する頸椎状態推定部と、前記頸椎状態推定部の推定の結果によって、所定の警報を発する警報実行部と、を含む。

前記頸椎状態推定部は、あらかじめ保存された基準顔映像と現在撮影された顔映像とを比較して、前記頸椎状態が、正常範囲であるか否かを決定することができる。

前記頸椎状態推定部は、定められた臨界値と前記携帯端末の傾斜角度とを比較して、前記頸椎状態が、正常範囲であるか否かを決定することができる。

前記頸椎状態推定部は、あらかじめ保存された基準顔映像と現在撮影された顔映像とを比較して、前記頸椎状態が、正常範囲であるか否かを予備的に決定し、定められた臨界値と前記携帯端末の傾斜角度とを比較して、前記頸椎状態が、正常範囲であるか否かを最終的に決定することができる。

前記装置は、前記センサー部から前記ユーザの顔映像及び前記携帯端末の傾斜角度を受信し、前記顔映像から特徴点を抽出し、該抽出された特徴点と前記携帯端末の傾斜角度とをマッチングして保存するパターン保存部をさらに含みうる。

前記装置は、前記ユーザの入力に応答して、前記頸椎状態推定部のパラメータ及び前記警報実行部が実行する警報の種類を設定するユーザ設定部をさらに含みうる。

本発明のさらに他の側面によれば、正しい機器使用姿勢誘導装置が開示される。正しい機器使用姿勢誘導装置は、携帯端末で撮影されたユーザの顔映像及び前記携帯端末の傾斜角度を収集するセンサー部と、前記ユーザの顔映像及び前記携帯端末の傾斜角度のうちの少なくとも１つを用いて、前記ユーザの頸椎状態が、正常であるか否かを推定する頸椎状態推定部と、前記頸椎状態が、正常である場合、前記ユーザの顔映像を用いて、前記ユーザの前記携帯端末注視状態が、正常であるか否かを推定する注視状態推定部と、前記頸椎状態または前記携帯端末注視状態が、正常ではない場合、所定の警報を発する警報実行部と、を含む。

前記注視状態推定部は、前記ユーザの顔映像で全体画面に比べて顔部分のサイズ比率を用いて、前記ユーザの目と前記携帯端末との距離を計算し、該計算された前記距離によって、前記注視状態が、正常範囲であるか否かを決定することができる。

前記注視状態推定部は、前記ユーザの顔映像で目の動き情報を用いて、前記ユーザの前記携帯端末に対する注視集中程度を計算し、該計算された前記注視集中程度によって、前記注視状態が、正常範囲であるか否かを決定することができる。

前記注視状態推定部は、前記ユーザの顔映像で全体画面に比べて顔部分のサイズ比率を用いて、前記ユーザの目と前記携帯端末との距離を計算し、該計算された前記距離によって、前記注視状態が、正常範囲であるか否かを予備的に決定し、前記ユーザの顔映像で目の動き情報を用いて、前記ユーザの前記携帯端末に対する注視集中程度を計算し、該計算された前記注視集中程度によって、前記注視状態が、正常範囲であるか否かを最終的に決定することができる。

前記装置は、前記ユーザの入力に応答して、前記頸椎状態推定部のパラメータ、前記注視状態推定部のパラメータ及び前記警報実行部が実行する警報の種類を設定するユーザ設定部をさらに含みうる。

本発明のさらに他の側面によれば、正しい機器使用姿勢誘導方法が開示される。正しい機器使用姿勢誘導方法は、ユーザの顔映像、携帯端末の傾斜角度またはその組み合わせのうちの少なくとも１つを用いて、前記ユーザの頸椎状態または前記ユーザの携帯端末注視状態が、正常範囲であるか否かを決定する段階と、前記頸椎状態または前記携帯端末注視状態が、正常範囲ではない場合、所定の警報を発する段階と、を含む。

前記決定する段階は、あらかじめ保存された基準顔映像と現在撮影された顔映像とを比較して、前記頸椎状態が、正常範囲であるか否かを決定することができる。

前記決定する段階は、定められた臨界値と前記携帯端末の傾斜角度とを比較して、前記頸椎状態が、正常範囲であるか否かを決定することができる。

前記決定する段階は、あらかじめ保存された基準顔映像と現在撮影された顔映像とを比較して、前記頸椎状態が、正常範囲であるか否かを予備的に決定し、定められた臨界値と前記携帯端末の傾斜角度とを比較して、前記頸椎状態が、正常範囲であるか否かを最終的に決定することができる。

前記決定する段階は、前記ユーザの顔映像で全体画面に比べて顔部分のサイズ比率を用いて、前記ユーザの目と前記携帯端末との距離を計算し、該計算された前記距離によって、前記注視状態が、正常範囲であるか否かを決定することができる。

前記決定する段階は、前記ユーザの顔映像で目の動き情報を用いて、前記ユーザの前記携帯端末に対する注視集中程度を計算し、該計算された前記注視集中程度によって、前記注視状態が、正常範囲であるか否かを決定することができる。

前記決定する段階は、前記ユーザの顔映像で全体画面に比べて顔部分のサイズ比率を用いて、前記ユーザの目と前記携帯端末との距離を計算し、該計算された前記距離によって、前記注視状態が、正常範囲であるか否かを予備的に決定し、前記ユーザの顔映像で目の動き情報を用いて、前記ユーザの前記携帯端末に対する注視集中程度を計算し、該計算された前記注視集中程度によって、前記注視状態が、正常範囲であるか否かを最終的に決定することができる。

本発明のさらに他の側面によれば、正しい機器使用姿勢誘導装置が開示される。正しい機器使用姿勢誘導装置は、携帯端末で撮影されたユーザの顔映像、前記携帯端末の傾斜角度またはその組み合わせを用いて得られた、前記ユーザが、前記携帯端末を正しい姿勢で使っているか否かについての判断の結果によって、所定の警報を発する警報実行部と、を含む。

本発明の第１実施形態による正しい機器使用姿勢誘導装置を示す図である。頸椎状態を推定する方法の一例を示す図である。頸椎状態を推定する方法の他の例を示す図である。携帯端末注視状態を推定する方法の一例を示す図である。携帯端末注視状態を推定する方法の他の例を示す図である。本発明の第２実施形態による正しい機器使用姿勢誘導装置を示す図である。本発明の第３実施形態による正しい機器使用姿勢誘導装置を示す図である。本発明の第４実施形態による正しい機器使用姿勢誘導装置を示す図である。本発明の第５実施形態による正しい機器使用姿勢誘導装置を示す図である。本発明の一実施形態による正しい機器使用姿勢誘導方法を示す図である。

以下、添付した図面を参照して、本発明の実施のための具体的な例を詳しく説明する。

図１は、本発明の一実施形態による正しい機器使用姿勢誘導装置を示す図である。図１を参照すると、本実施形態による装置１００は、携帯端末に適用可能である。携帯端末は、携帯電話、スマートフォン、ｍｐ３プレーヤー、ＰＭＰ、タブレットなどになりうる。携帯端末は、各種センサーを含みうる。

図１で、本実施形態による装置１００は、判断部１０１及び警報実行部１０２を含みうる。本実施形態で、それぞれの判断部１０１及び警報実行部１０２は、携帯端末の内部に設けられるハードウェアまたは携帯端末に搭載されるハードウェアによって実行されるソフトウェアの形態で具現可能である。ハードウェアは、プロセッサを含みうる。また、それぞれの判断部１０１及び警報実行部１０２は、図１で示したものと異なって、統合されて具現されることもあり、何れか１つの機能ユニットで行われる機能の一部が、１つまたはそれ以上の他の機能ユニットで行われることも可能である。他の例で、判断部１０１及び警報実行部１０２は、区分されたユニットとして具現されることもある。

判断部１０１は、携帯端末で撮影されたユーザの顔映像及び携帯端末の傾斜角度のうちの少なくとも１つの情報を受信する。例えば、判断部１０１は、携帯端末に搭載された前面カメラからユーザの顔映像情報を受信し、携帯端末の傾斜角度情報を受信することができる。携帯端末に配された方向センサー、加速度センサーまたは磁気センサーは、傾斜角度情報を提供することができる。

判断部１０１は、受信されたユーザの顔映像、携帯端末の傾斜角度またはその組み合わせを用いて、ユーザが携帯端末を正しい姿勢で使っているか否かを判断する。例えば、判断部１０１は、正しい姿勢に関する判断基準として、ユーザの頸椎状態及びユーザの携帯端末注視状態のうちの少なくとも１つを推定することが可能である。頸椎状態は、ユーザの頭と胴体との間の角度を示す。すなわち、頸椎状態は、首の傾いた程度を示す。携帯端末注視状態とは、ユーザの目と携帯端末との距離または携帯端末に対するユーザの注視集中程度を意味する。

本発明の一態様によって、判断部１０１は、ユーザの頸椎状態が定められた正常範囲を外れる場合に、ユーザの姿勢が正しくないと決定することができる。例えば、携帯端末を使うユーザの首の傾いた角度が定められた臨界値を超え、その状態が長期間持続される場合、ユーザの姿勢が正しくないと決定することができる。

また、本発明の他の態様によって、判断部１０１は、ユーザの携帯端末注視状態が定められた正常範囲を外れる場合に、ユーザの姿勢が正しくないと決定することができる。例えば、ユーザが、携帯端末を臨界値以下の距離で近接するように見つめるか、携帯端末の特定部分を集中して長期間見つめる場合、判断部１０１は、ユーザの姿勢が正しくないと決定することができる。

また、本発明のさらに他の態様によって、判断部１０１は、前述した頸椎状態と携帯端末注視状態いずれをも用いて、正しい使用姿勢の如何を判断することもできる。例えば、頸椎状態または携帯端末注視状態のうちの何れか１つでも正常範囲を外れれば、判断部１０１は、正しい姿勢ではないと決定することもあり、頸椎状態を予備的に先に判断して、正しい姿勢ではない可能性がある場合に、判断部１０１は、携帯端末注視状態を最終的に判断することもできる。また、反対に携帯端末注視状態を予備的に先に判断して、正しい姿勢ではない可能性がある場合に、頸椎状態を最終的に判断することもできることはいうまでもない。

警報実行部１０２は、判断部１０１によってユーザが携帯端末を正しい姿勢で使っていないと判断されれば、その判断結果に基づいて所定の警報を発する。実行される警報の種類は、制限されるものではない。例えば、警報実行部１０２は、映像、文字、音、振動などの警報を発することができる。また、警告文句を携帯端末のディスプレイ窓に表示するか、警告サウンドまたは振動を発生させるか、またはディスプレイ窓の電力を減少させることが可能である。また、特定動作（例えば、体操動作）を携帯端末の画面に表示するか、携帯端末の画面表示方法（例えば、立体効果）を調節して、ユーザの姿勢変更を誘導することもできる。

図２は、頸椎状態を推定する方法の一例を示す図である。

図１及び図２を参照すると、判断部１０１は、あらかじめ保存された基準顔映像２０１と現在撮影された顔映像２０２とを比較して、頸椎状態が、正常範囲であるか否かを決定することができる。

本発明の一態様によって、基準顔映像２０１は、正しい姿勢で撮影されたユーザの顔映像になりうる。判断部１０１は、基準顔映像２０１の特徴情報と撮影された顔映像２０２の特徴情報とを比較して、頸椎状態が、正常範囲であるか否かを決定することができる。特徴情報としては、顔の輪郭、顔面積と首面積との比率、顔の明るさなどが使われる。例えば、ユーザが頭を下げている場合、撮影された顔映像２０２は、基準顔映像２０１に比べて顔の輪郭が長細くなるか、首の面積が減るか、または顔の明るさが暗いことがある。もし、撮影された顔映像２０２の特徴情報が、定められた臨界範囲を外れる場合（すなわち、基準顔映像と類似していないと判断される場合）、判断部１０１は、ユーザの頸椎状態が、正常範囲ではないと決定することができる。また、ユーザの頸椎状態が、非正常な範囲である場合、判断部１０１は、ユーザが正しい姿勢で携帯端末を使っていないと決定することができる。

本発明の他の態様によって、基準顔映像２０１は、それぞれの頸椎傾斜角度別にあらかじめ保存された多数の映像である場合がある。判断部１０１は、撮影された顔映像２０２の特徴情報と最も類似度が高い特徴情報を有する基準顔映像２０１を抽出し、該抽出された基準顔映像２０１に対応する頸椎傾斜角度を現在頸椎傾斜角度として推定することが可能である。もし、推定された頸椎傾斜角度が、定められた臨界範囲を外れる場合、判断部１０１は、ユーザの頸椎状態が正常範囲ではないと決定することができる。すなわち、判断部１０１は、撮影された顔映像２０２が基準顔映像２０１と類似していないと決定することができる。また、ユーザの頸椎状態が非正常な範囲である場合、判断部１０１は、ユーザが不適切な姿勢で携帯端末を使っていると決定することができる。

図３は、頸椎状態を推定する方法の他の例を示す図である。

図１及び図３を参照すると、携帯端末の使用特性を考慮する時、ユーザの視野角によって、携帯端末３０１の傾いた程度３１０とユーザ首の傾いた程度３２０は、実質的に同一であると見ても良い。したがって、判断部１０１は、携帯端末３０１の傾斜角度３１０とユーザ頸椎の傾斜角度３２０とを同一であると判断することができる。例えば、判断部１０１は、携帯端末３０１に搭載された方向センサー、加速度センサー、磁気センサーなどからセンサー情報を受信し、該受信されたセンサー情報に基づいて、携帯端末３０１の傾斜角度３１０を計算し、該計算された傾斜角度３１０を用いて、ユーザ頸椎の傾斜角度３２０を計算することができる。もし、ユーザ頸椎の傾斜角度３２０が、定められた臨界範囲を外れる場合、判断部１０１は、ユーザの頸椎状態が正常範囲ではないと決定することができる。また、ユーザの頸椎状態が、正常範囲ではない場合、判断部１０１は、ユーザが不適切な姿勢で携帯端末を使っていると決定することができる。

図２及び図３では、顔映像及び携帯端末の傾斜角度のそれぞれを用いて、ユーザの頸椎状態を推定する方法を説明した。しかし、これは理解を助けるための例示に過ぎないものであって、本発明による頸椎状態推定方法が、必ずしもこれに限定されるものではない。例えば、図２のように、顔映像に基づいて予備的に頸椎状態を判断し、もし、頸椎状態が正常範囲にいない可能性がある場合に、図３のように、携帯端末の傾斜角度に基づいて、最終的に頸椎状態を判断することもできる。また、頸椎状態が、正常範囲ではないとしても、その状態が臨界時間以上持続されるかを追加的に判断した後に、ユーザが正しい姿勢で携帯端末を使うか否かを決定することもできる。

図４は、携帯端末注視状態を推定する方法の一例を示す図である。

図１及び図４を参照すると、判断部１０１は、あらかじめ保存された基準顔映像４０１と現在撮影された顔映像４０２とを比較し、判断部１０１は、その比較に基づいてユーザ目と携帯端末との距離に対応する携帯端末注視状態を推定することができる。

本発明の一態様によって、基準顔映像４０１は、正しい姿勢で撮影されたユーザの顔映像になりうる。判断部１０１は、基準顔映像４０１で顔部分４１０が占める比率と撮影された顔映像４０２で顔部分４２０が占める比率とを比較して、携帯端末注視状態が、正常範囲であるか否かを決定することができる。基準顔映像４０１で顔部分４１０の占める比率は、基準顔映像４０１が多数個である場合、その平均値が使われることもある。ユーザの目と携帯端末との距離が近いほど全体画面で顔部分４１０、４２０が占める比率が大きくなるので、判断部１０１は、撮影された顔映像４０２で顔部分４２０が占める比率が定められた臨界範囲を外れれば、例えば、あまりにも近くで携帯端末を見ているので、携帯端末注視状態が、正常範囲ではないと決定することができる。また、ユーザの携帯端末注視状態が、正常範囲ではない場合、判断部１０１は、ユーザが不適切な姿勢で携帯端末を使っていると決定することができる。

図５は、携帯端末注視状態を推定する方法の他の例を示す図である。

図１及び図５を参照すると、判断部１０１は、撮影された顔映像で目の動き情報を用いて、携帯端末注視状態が、正常範囲であるか否かを決定することができる。判断部１０１は、視線追跡（ｅｙｅｔｒａｃｋｉｎｇ）技法に基づいてユーザの目が携帯端末のどちらを見つめているか、または目の瞬き回数の変化は如何なるかなどを把握することができる。例えば、判断部１０１は、ユーザが携帯端末の画面５０１の特定地点５０２を眺めている場合、その地点５０２を連続して眺めている時間（すなわち、注視時間）と、その地点５０２を連続して眺める間に発生した目の瞬き回数を測定することができる。もし、注視時間が臨界時間以上に持続されるか、または目の瞬き回数が臨界回数以下に落ちる場合、判断部１０１は、携帯端末注視状態が正常範囲ではないと決定することができる。また、ユーザの携帯端末注視状態が、正常範囲ではない場合、判断部１０１は、ユーザが不適切な姿勢で携帯端末を使っていると決定することができる。

図４及び図５では、ユーザ目と携帯端末との距離及び目の動き情報のそれぞれを用いて、携帯端末注視状態を推定する方法を説明した。しかし、これは理解を助けるための例示に過ぎないものであって、本発明による携帯端末注視状態の推定方法が、必ずしもこれに限定されるものではない。例えば、図４のように、ユーザ目と携帯端末との距離に基づいて予備的に携帯端末注視状態を判断し、もし、携帯端末注視状態が、非正常範囲にある可能性がある場合に、図５のように、目の動き情報に基づいて最終的に携帯端末注視状態を判断することもできる。また、携帯端末注視状態が、正常範囲ではないとしても、その状態が臨界時間以上持続されるかを追加的に判断した後に、ユーザが正しい姿勢で携帯端末を使うか否かを決定することもできる。

図６は、本発明の他の実施形態による正しい機器使用姿勢誘導装置を示す図である。図６を参照すると、本実施形態による装置６００は、センサー部６０１、頸椎状態推定部６０２、及び警報実行部６０３を含む。

センサー部６０１は、ユーザの顔映像と携帯端末の傾斜角度情報とを収集する。センサー部６０１は、携帯端末に備えられた多様なセンサーを含む。多様なセンサーは、前面カメラ及び方向センサー、加速度センサー、磁気センサーなどのセンサーを含みうる。前面カメラは、携帯端末の前面に配され、ユーザの顔を撮影する。方向センサーは、携帯端末の内部に配され、携帯端末の方位角（ａｚｉｍｕｔｈ）、ピッチ（ｐｉｔｃｈ）、ロール（ｒｏｌｌ）を測定する。加速度センサーと磁気センサーは、携帯端末の内部に配され、携帯端末が移動する時の加速度や磁場の強さを３次元軸方向に測定する。ユーザの顔映像は、前面カメラから獲得されうる。携帯端末の傾斜角度情報としては、方向センサーのピッチ値が利用される。また、携帯端末の傾斜角度情報としては、加速度センサーと磁気センサーとの測定値を回転行列（ｒｏｔａｔｉｏｎｍａｔｒｉｘ）に適用した結果が利用されることもある。

頸椎状態推定部６０２は、ユーザの頸椎状態を推定する。例えば、頸椎状態推定部６０２は、ユーザの頸椎状態が正常であるか否かを決定することができる。

頸椎状態推定に使われる情報は、ユーザの顔映像、携帯端末傾斜角度またはその結合が使われる。

顔映像のみ利用される場合を例示的に説明する。図２のように、頸椎状態推定部６０２は、あらかじめ保存された基準顔映像２０１と現在受信された顔映像２０２とを比較して、ユーザが頭を下げているか否かを判断する。例えば、顔の輪郭、顔と首との面積、顔の明るさなどが特徴情報として比較されうる。ユーザが頭を下げている場合、その頭を下げている時間が定められた臨界時間以上に持続されれば、頸椎状態が正常ではないと決定することができる。

携帯端末傾斜角度のみ利用される場合を例示的に説明する。図３のように、頸椎状態推定部６０２は、携帯端末の傾斜角度３１０が頭を下げた角度３２０と実質的に同一であると見做し、携帯端末の傾斜角度３１０が定められた臨界値以下であるか否かを判断する。もし、携帯端末の傾斜角度３１０が定められた臨界値以下であり、その状態が臨界時間以上に持続されれば、頸椎状態を非正常であると決定することができる。

また、前述した例と異なって、顔映像と携帯端末傾斜角度が、いずれも利用されることもある。例えば、顔映像を用いて、概略的な頸椎状態を推定し、携帯端末傾斜角度を用いて、具体的な頸椎状態を推定することもできる。言い換えれば、顔映像に基づいて、現在ユーザの状態が頸椎に無理がかかる可能性がある姿勢であるか否かを概略的に判断し、もし、そうであれば、現在の携帯端末傾斜角度と正しい姿勢での携帯端末傾斜角度との平均値を比較して、頸椎状態推定部６０２が、最終的に頸椎状態が正常範囲であるか否かを判断することもできる。

頸椎状態推定部６０２によって、ユーザの頸椎状態が正常ではないと決定されれば、警報実行部６０３は、所定の警報を発する。実行される警報の種類には制限もない、例えば、文字、音、振動、表示画面変更などのユーザに姿勢の変更を知らせるあらゆる方法が可能である。

図７は、本発明のさらに他の実施形態による正しい機器使用姿勢誘導装置を示す。図７を参照すると、本実施形態による装置７００は、センサー部６０１、頸椎状態推定部６０２、及び警報実行部６０３を含み、パターン保存部７０１、及びユーザ設定部７０２をさらに含む。センサー部６０１、頸椎状態推定部６０２、及び警報実行部６０３は、図６で説明したものと実質的に同一である。

パターン保存部７０１は、推定された頸椎状態、推定当時の頸椎の傾斜角度、及び推定当時の顔映像の特徴情報などを保存することができる。パターン保存部７０１は、センサー部６０１からユーザの顔映像と携帯端末傾斜角度とを受信する。パターン保存部７０１は、受信されたユーザの顔映像から特徴点を抽出し、該抽出された特徴点を携帯端末傾斜角度と共にデータベースに保存する。データベースの例は、表１のようである。

ユーザ／撮影状態ごとに頸椎状態別の顔映像の特徴点が異なるので、ユーザによる基準顔映像撮影（例えば、良い姿勢または悪い姿勢）を通じて学習データが生成されうる。パターン保存部７０１によって保存されたデータベース（学習データ含み）は、頸椎状態推定部６０２による映像分類に活用されうる。

ユーザ設定部７０２は、ユーザの入力に応答して、頸椎状態推定部６０２のパラメータ及び／または警報実行部６０３が実行する警報の種類を設定する。頸椎状態推定部６０２のパラメータは、頸椎状態が正常であるか否かを判断する時に使われる各種の臨界値、臨界時間または映像の比較で使われる特徴点の種類などになりうる。

図８は、本発明のさらに他の実施形態による正しい機器使用姿勢誘導装置を示す図である。図８を参照すると、本実施形態による装置８００は、センサー部６０１、頸椎状態推定部６０２、注視状態推定部８０１、及び警報実行部８０２を含みうる。センサー部６０１及び頸椎状態推定部６０２は、図６で説明したものと実質的に同一である。したがって、センサー部６０１及び頸椎状態推定部６０２に関する重複的な説明は省略する。

注視状態推定部８０１は、ユーザの携帯端末注視状態を推定する。携帯端末注視状態は、ユーザ目と携帯端末との距離、携帯端末凝視の集中度程度が正常範囲であるか否か、またはその組み合わせを表すことができる。

ユーザ目と携帯端末との距離を用いて、携帯端末注視状態を決定する例を説明する。例えば、注視状態推定部８０１は、図４のように、撮影された映像４０２で顔部分４２０が占める比率に基づいて、ユーザ目と携帯端末との距離を推定することができる。もし、推定された距離が臨界範囲を外れ、その状態が臨界時間以上に持続されれば、注視状態推定部８０１は、携帯端末注視状態が正常範囲ではないと決定することができる。

携帯端末凝視の集中度程度を用いて、携帯端末注視状態を決定する例を説明する。例えば、注視状態推定部８０１は、図５のように、撮影された映像で目の動き情報（例えば、注視時間または瞬き回数／時間などについての情報）に基づいて、携帯端末凝視の集中度程度を推定することができる。もし、推定された携帯端末凝視の集中度程度が臨界範囲を外れ、その状態が臨界時間以上に持続されれば、注視状態推定部８０１は、携帯端末注視状態が正常範囲ではないと決定することができる。

また、ユーザ目と携帯端末との距離と携帯端末凝視の集中度程度とをいずれも把握して、２つのうちに１つでも臨界範囲を外れれば、携帯端末注視状態が正常範囲ではないと決定することもあり、ユーザ目と携帯端末との距離に基づいて、予備的に携帯端末注視状態を決定した後、携帯端末凝視の集中度程度に基づいて、最終的に携帯端末注視状態を決定することもできる。

警報実行部８０２は、頸椎状態推定部６０２によってユーザの頸椎状態が正常範囲ではないと決定されるか、または注視状態推定部８０１によってユーザの携帯端末注視状態が正常範囲ではないと決定されれば、所定の警報を発する。実行される警報の種類には制限もない。

図９は、本発明のさらに他の実施形態による正しい機器使用姿勢誘導装置を示す図である。図９を参照すると、本実施形態による装置９００は、センサー部６０１、頸椎状態推定部６０２、注視状態推定部８０１、警報実行部８０２、パターン保存部７０１、及びユーザ設定部７０２を含みうる。図９で、それぞれの構成及び機能は、前述した図６ないし図８と実質的に同一なので、同じ参照符号を併記し、詳しい説明は省略する。但し、図７と異なって、ユーザ設定部７０２は、注視状態推定部８０１のパラメータも追加的に設定することができる。

図１０は、本発明の一実施形態による正しい機器使用姿勢誘導方法を示す。図１０を参照すると、まず携帯端末のセンシングデータが収集される（１００１）。収集されるセンシングデータは、別途のセンサーを付け加えず、携帯端末の自体機能から得られるデータになりうる。例えば、センシングデータは、前面映像、すなわち、ユーザの顔映像、携帯端末の姿勢情報、すなわち、方向センサー、加速度センサー、磁気センサーなどのセンシング情報になりうる。

センシングデータが収集されれば、ユーザの頸椎状態またはユーザの携帯端末注視状態が正常であるか否かが判断される（１００２）。頸椎状態とは、ユーザの頭と胴体とが成す角度、すなわち、頸椎の傾いた程度が正常範囲であるか否かを示す。携帯端末注視状態とは、ユーザが携帯端末を見つめる時、目または姿勢に無理がかかる程度が正常範囲であるか否かを示す。頸椎状態は、図２及び／または図３のように、顔映像及び／または携帯端末の傾斜角度を用いて推定されうる。携帯端末注視状態は、図４及び／または図５のように、ユーザ目と携帯端末との距離及び／または携帯端末凝視の集中度程度を用いて推定されうる。

頸椎状態または携帯端末注視状態が、非正常である場合、所定の警報が発せられる（１００３）。実行される警報には制限もない。例えば、ユーザの姿勢変更を誘導できるように、各種の映像、文字、音声、振動などの警報を発することが可能である。

前述したように、開示された実施形態によれば、別途のセンサーなしも、携帯端末自体のセンシングデータを用いて、ユーザが正しい姿勢で携帯端末を使っているか否かを判断し、その使用姿勢が正しくなければ、姿勢変更を誘導する警報を発生させることによって、携帯端末の使用による各種の疾患を予め予防することができる。

一方、本発明の実施形態は、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現しうる。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取れるデータが保存されるあらゆる種類の記録装置を含む。

コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがあり、またキャリアウェーハ（例えば、インターネットを介した伝送）の形態で具現することを含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークで連結されたコンピュータシステムに分散されて、分散方式でコンピュータで読み取り可能なコードとして保存されて実行可能である。そして、本発明を具現するための機能的な（ｆｕｎｃｔｉｏｎａｌ）プログラム、コード及びコードセグメントは、本発明が属する技術分野のプログラマーによって容易に推論されうる。

さらに、前述した実施形態は、本発明を例示的に説明するためのものであって、本発明の権利範囲が、特定の実施形態に限定されるものではない。

本発明は、正しい機器使用姿勢誘導装置及び方法関連の技術分野に適用されうる。

１００、６００、７００、９００装置
１０１判断部
１０２警報実行部
２０１、４０１基準顔映像
２０２、４０２顔映像
３０１携帯端末
３１０、３２０傾斜角度
４１０顔部分
５０１画面
５０２特定地点
６０１センサー部
６０２頸椎状態推定部
６０３、８０２警報実行部
７０１パターン保存部
７０２ユーザ設定部
８０１注視状態推定部

Claims

携帯端末で撮影されたユーザの顔映像、前記携帯端末の傾斜角度またはその組み合わせのうちの少なくとも１つを用いて、前記ユーザが、前記携帯端末を正しい姿勢で使っているか否かを判断する判断部と、
前記判断部の判断の結果によって、前記ユーザが、前記携帯端末を正しい姿勢で使っていない場合、所定の警報を発する警報実行部と、
を含む正しい機器使用姿勢誘導装置。
前記判断部は、
前記正しい姿勢に関する判断基準として、前記ユーザの頸椎状態、前記ユーザの携帯端末注視状態またはその組み合わせのうちの少なくとも１つを推定する請求項１に記載の正しい機器使用姿勢誘導装置。
前記判断部は、
前記ユーザの顔映像、前記携帯端末の傾斜角度またはその組み合わせのうちの少なくとも１つを用いて、前記頸椎状態をもって、前記ユーザの頸椎の傾いた程度を推定する頸椎状態推定部を含む請求項２に記載の正しい機器使用姿勢誘導装置。
前記判断部は、
前記ユーザの顔映像を用いて、前記携帯端末注視状態をもって、前記ユーザの目と前記携帯端末との距離または前記ユーザの前記携帯端末に対する注視集中程度を推定する注視状態推定部を含む請求項２に記載の正しい機器使用姿勢誘導装置。
携帯端末で撮影されたユーザの顔映像及び前記携帯端末の傾斜角度を収集するセンサー部と、
前記ユーザの顔映像、前記携帯端末の傾斜角度またはその組み合わせのうちの少なくとも１つを用いて、前記ユーザの頸椎状態を推定する頸椎状態推定部と、
前記頸椎状態推定部の推定の結果によって、所定の警報を発する警報実行部と、
を含む正しい機器使用姿勢誘導装置。
前記頸椎状態推定部は、
あらかじめ保存された基準顔映像と現在撮影された顔映像とを比較して、前記頸椎状態が、正常範囲であるか否かを決定する請求項５に記載の正しい機器使用姿勢誘導装置。
前記頸椎状態推定部は、
定められた臨界値と前記携帯端末の傾斜角度とを比較して、前記頸椎状態が、正常範囲であるか否かを決定する請求項５に記載の正しい機器使用姿勢誘導装置。
前記頸椎状態推定部は、
あらかじめ保存された基準顔映像と現在撮影された顔映像とを比較して、前記頸椎状態が、正常範囲であるか否かを予備的に決定し、
定められた臨界値と前記携帯端末の傾斜角度とを比較して、前記頸椎状態が、正常範囲であるか否かを最終的に決定する請求項５に記載の正しい機器使用姿勢誘導装置。
前記センサー部から前記ユーザの顔映像及び前記携帯端末の傾斜角度を受信し、
前記顔映像から特徴点を抽出し、該抽出された特徴点と前記携帯端末の傾斜角度とをマッチングして保存するパターン保存部をさらに含む請求項５に記載の正しい機器使用姿勢誘導装置。
前記ユーザの入力に応答して、前記頸椎状態推定部のパラメータ及び前記警報実行部が実行する警報の種類を設定するユーザ設定部をさらに含む請求項５に記載の正しい機器使用姿勢誘導装置。
携帯端末で撮影されたユーザの顔映像及び前記携帯端末の傾斜角度を収集するセンサー部と、
前記ユーザの顔映像及び前記携帯端末の傾斜角度のうちの少なくとも１つを用いて、前記ユーザの頸椎状態が、正常であるか否かを推定する頸椎状態推定部と、
前記頸椎状態が、正常である場合、前記ユーザの顔映像を用いて、前記ユーザの前記携帯端末注視状態が、正常であるか否かを推定する注視状態推定部と、
前記頸椎状態または前記携帯端末注視状態が、正常ではない場合、所定の警報を発する警報実行部と、
を含む正しい機器使用姿勢誘導装置。
前記頸椎状態推定部は、
あらかじめ保存された基準顔映像と現在撮影された顔映像とを比較して、前記頸椎状態が、正常範囲であるか否かを決定する請求項１１に記載の正しい機器使用姿勢誘導装置。
前記頸椎状態推定部は、
定められた臨界値と前記携帯端末の傾斜角度とを比較して、前記頸椎状態が、正常範囲であるか否かを決定する請求項１１に記載の正しい機器使用姿勢誘導装置。
前記頸椎状態推定部は、
あらかじめ保存された基準顔映像と現在撮影された顔映像とを比較して、前記頸椎状態が、正常範囲であるか否かを予備的に決定し、
定められた臨界値と前記携帯端末の傾斜角度とを比較して、前記頸椎状態が、正常範囲であるか否かを最終的に決定する請求項１１に記載の正しい機器使用姿勢誘導装置。
前記注視状態推定部は、
前記ユーザの顔映像で全体画面に比べて顔部分のサイズ比率を用いて、前記ユーザの目と前記携帯端末との距離を計算し、該計算された前記距離によって、前記注視状態が、正常範囲であるか否かを決定する請求項１１に記載の正しい機器使用姿勢誘導装置。
前記注視状態推定部は、
前記ユーザの顔映像で目の動き情報を用いて、前記ユーザの前記携帯端末に対する注視集中程度を計算し、該計算された前記注視集中程度によって、前記注視状態が、正常範囲であるか否かを決定する請求項１１に記載の正しい機器使用姿勢誘導装置。
前記注視状態推定部は、
前記ユーザの顔映像で全体画面に比べて顔部分のサイズ比率を用いて、前記ユーザの目と前記携帯端末との距離を計算し、該計算された前記距離によって、前記注視状態が、正常範囲であるか否かを予備的に決定し、
前記ユーザの顔映像で目の動き情報を用いて、前記ユーザの前記携帯端末に対する注視集中程度を計算し、該計算された前記注視集中程度によって、前記注視状態が、正常範囲であるか否かを最終的に決定する請求項１１に記載の正しい機器使用姿勢誘導装置。
前記センサー部から前記ユーザの顔映像及び前記携帯端末の傾斜角度を受信し、
前記顔映像から特徴点を抽出し、該抽出された特徴点と前記携帯端末の傾斜角度とをマッチングして保存するパターン保存部をさらに含む請求項１１に記載の正しい機器使用姿勢誘導装置。
前記ユーザの入力に応答して、前記頸椎状態推定部のパラメータ、前記注視状態推定部のパラメータ及び前記警報実行部が実行する警報の種類を設定するユーザ設定部をさらに含む請求項１１に記載の正しい機器使用姿勢誘導装置。
ユーザの顔映像、携帯端末の傾斜角度またはその組み合わせのうちの少なくとも１つを用いて、前記ユーザの頸椎状態または前記ユーザの携帯端末注視状態が、正常範囲であるか否かを決定する段階と、
前記頸椎状態または前記携帯端末注視状態が、正常範囲ではない場合、所定の警報を発する段階と、
を含む正しい機器使用姿勢誘導方法。
前記決定する段階は、
あらかじめ保存された基準顔映像と現在撮影された顔映像とを比較して、前記頸椎状態が、正常範囲であるか否かを決定する請求項２０に記載の正しい機器使用姿勢誘導方法。
前記決定する段階は、
定められた臨界値と前記携帯端末の傾斜角度とを比較して、前記頸椎状態が、正常範囲であるか否かを決定する請求項２０に記載の正しい機器使用姿勢誘導方法。
前記決定する段階は、
あらかじめ保存された基準顔映像と現在撮影された顔映像とを比較して、前記頸椎状態が、正常範囲であるか否かを予備的に決定し、
定められた臨界値と前記携帯端末の傾斜角度とを比較して、前記頸椎状態が、正常範囲であるか否かを最終的に決定する請求項２０に記載の正しい機器使用姿勢誘導方法。
前記決定する段階は、
前記ユーザの顔映像で全体画面に比べて顔部分のサイズ比率を用いて、前記ユーザの目と前記携帯端末との距離を計算し、該計算された前記距離によって、前記注視状態が、正常範囲であるか否かを決定する請求項２０に記載の正しい機器使用姿勢誘導方法。
前記決定する段階は、
前記ユーザの顔映像で目の動き情報を用いて、前記ユーザの前記携帯端末に対する注視集中程度を計算し、該計算された前記注視集中程度によって、前記注視状態が、正常範囲であるか否かを決定する請求項２０に記載の正しい機器使用姿勢誘導方法。
前記決定する段階は、
前記ユーザの顔映像で全体画面に比べて顔部分のサイズ比率を用いて、前記ユーザの目と前記携帯端末との距離を計算し、該計算された前記距離によって、前記注視状態が、正常範囲であるか否かを予備的に決定し、
前記ユーザの顔映像で目の動き情報を用いて、前記ユーザの前記携帯端末に対する注視集中程度を計算し、該計算された前記注視集中程度によって、前記注視状態が、正常範囲であるか否かを最終的に決定する請求項２０に記載の正しい機器使用姿勢誘導方法。
携帯端末で撮影されたユーザの顔映像、前記携帯端末の傾斜角度またはその組み合わせを用いて得られた、前記ユーザが、前記携帯端末を正しい姿勢で使っているか否かについての判断の結果によって、所定の警報を発する警報実行部を含む正しい機器使用姿勢誘導装置。
前記頸椎状態は、前記ユーザの上半身に対する前記ユーザの頭の角度である請求項１１に記載の正しい機器使用姿勢誘導装置。
前記所定の警報は、前記携帯端末のディスプレイ上の警報メッセージ、警報音、振動または前記ディスプレイへの電力減少を含む請求項１に記載の正しい機器使用姿勢誘導装置。