JP2013114691A - 視線追跡に基づくユーザ機能運用方法及びこれを支援する端末機 - Google Patents

視線追跡に基づくユーザ機能運用方法及びこれを支援する端末機 Download PDF

Info

Publication number
JP2013114691A
JP2013114691A JP2012258515A JP2012258515A JP2013114691A JP 2013114691 A JP2013114691 A JP 2013114691A JP 2012258515 A JP2012258515 A JP 2012258515A JP 2012258515 A JP2012258515 A JP 2012258515A JP 2013114691 A JP2013114691 A JP 2013114691A
Authority
JP
Japan
Prior art keywords
function
terminal
angle information
line
sight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012258515A
Other languages
English (en)
Other versions
JP6138465B2 (ja
Inventor
jing da Park
景 大 朴
Ji Young Kang
志 營 姜
Sang Hyuk Ko
祥 赫 高
Mi Jung Park
美 貞 朴
Sae Gee Oh
セ ギ 呉
Zhi Xun Li
致 勳 李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2013114691A publication Critical patent/JP2013114691A/ja
Application granted granted Critical
Publication of JP6138465B2 publication Critical patent/JP6138465B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Position Input By Displaying (AREA)
  • Power Sources (AREA)
  • Selective Calling Equipment (AREA)

Abstract

【課題】視線追跡に基づくユーザ機能運用方法及びこれを支援する端末機を提供する。
【解決手段】本発明の視線追跡に基づくユーザ機能運用方法は、特定のユーザ機能を遂行するステップと、ユーザ機能が維持された状態でカメラ部を活性化するステップと、カメラ部が収集した映像で瞳の視線角度情報を取得するステップと、瞳の視線角度情報により、ユーザ機能の状態を変更するか又は現在の状態を維持するように制御する視線追跡機能を遂行するステップと、を有する。
【選択図】図６

Description

本発明は、端末機のユーザ機能運用に関し、より詳細には、ユーザの瞳を追跡して、ユーザの視線により、現在運用されているユーザ機能の状態を切り替えるように制御する視線追跡に基づくユーザ機能運用方法及びこれを支援する端末機に関する。
携帯端末機は、特定のユーザ機能を支援〔サポート〕しながらも、その大きさが携帯できるほど小さく、多くの産業及び生活分野で脚光を浴びている。そして、近年、多様なユーザ機能を統合的に支援する携帯端末機が登場している。例えば、従来の携帯端末機は、カメラ部が装着されてユーザの制御により被写体に対する映像を収集する機能と、収集された映像を格納する機能と、格納された映像をすぐに検索できる機能と、を支援する。このような携帯端末機は、静止画だけでなく、動画の撮影機能も支援している。
一方、携帯端末機の表示部が大型化されながら携帯は可能であるが、制御において多少不便さが発生する場合がある。例えば、ノート型の携帯端末機の場合、タッチ機能を行うために片手で端末機を把持するようになるが、このとき、端末機の重さを片手で支えることが容易ではないだけでなく、安定性にも脆弱であるため、多様な問題が発生している。例えば、端末機の転倒や落下が発生して破損する場合があり、ユーザの筋肉に無理が行くなどの問題がある。
また、従来の携帯端末機の場合、環境設定により一定の条件下で端末機の状態を制御する機能を提供しているが、このとき、一定の条件が端末機を利用する条件と適切に符合しない場合が多い。例えば、端末機のスリープモードの切り替えの場合、一定の条件は一定時間であってもよいが、この一定時間は、ユーザの状態や環境によって適応的に変わるものではなく、固定された値である。これにより、従来の端末機の使用時、ユーザが所望しない時点に端末機がスリープモードに切り替えられる場合が発生し、端末機をスリープモードから復帰させるための不必要な追加動作が要求されている。このような追加動作は、上述した大画面端末機の利用時に、更に大きな不便さをユーザに与えるようになる。また、従来の端末機の使用時に、スリープモードに切り替えられても構わない時点であっても、一定の条件に該当する時間を待機しなければならないため、不必要な電源の浪費が発生している。
本発明は、上記従来の問題点に鑑みてなされたものであって、本発明の目的は、ユーザの瞳を追跡する視線追跡機能に基づき、端末機のユーザ機能をより効率的且つ適応的に運用できるように支援する視線追跡に基づくユーザ機能運用方法及びこれを支援する端末機を提供することにある。
上記目的を達成するためになされた本発明の視線追跡に基づくユーザ機能運用方法は、特定のユーザ機能を遂行するステップと、前記ユーザ機能が維持された状態でカメラ部を活性化するステップと、前記カメラ部が収集した映像で瞳の視線角度情報を取得するステップと、前記瞳の視線角度情報により、前記ユーザ機能の状態を変更するか又は現在の状態を維持するように制御する視線追跡機能を遂行するステップと、を有することを特徴とする。
前記視線追跡に基づくユーザ機能運用方法は、前記活性化されたユーザ機能が視線追跡機能と連係したユーザ機能の場合、視線追跡設定モードが活性化されているか否かを確認するステップを更に含むことができる。
前記視線追跡機能を遂行するステップは、瞳の視線角度情報が端末機の表示部を注視しない第１視線角度情報の場合、前記表示部の照度を調節するステップと、前記表示部をターンオフするステップと、前記ユーザ機能を終了するステップと、前記ユーザ機能を一時停止するステップと、前記表示部に含まれるタッチパネルのタッチロック機能を設定又は解除するステップと、のうちの少なくとも一つのステップを含むことができる。
前記視線追跡機能を遂行するステップは、前記表示部がターンオフされるか又は前記ユーザ機能が終了した場合、前記カメラ部を非活性化するステップを含むことができる。
前記視線追跡機能を遂行するステップは、瞳の視線角度情報が前記端末機の表示部を注視する第２視線角度情報の場合、前記表示部の照度を本来の照度に調整するステップと、前記表示部をターンオンするステップと、前記ユーザ機能を再び活性化するステップと、前記ユーザ機能の一時停止を解除するステップと、前記ロック設定されたタッチパネルのロック機能を解除又は設定するステップと、のうちのいずれか一つのステップを更に含むことができる。
前記視線追跡機能を遂行するステップは、前記瞳の視線角度情報が端末機の表示部を注視する第２視線角度情報の場合、表示部の現在の画面を維持するステップであり得る。
前記視線角度情報を取得するステップは、被写体の顔を認識するステップと、認識された顔の瞳部位を自動フォーカシングするステップと、自動フォーカスされた被写体の映像を収集するステップと、を含むことができる。
前記視線追跡機能を遂行するステップは、通話連結要請メッセージが受信された状態で、瞳の視線角度情報が端末機の表示部を注視する第２視線角度情報として取得された場合、前記通話連結を自動で行うステップと、電子ブックコンテンツが再生された画面状態で、瞳の視線角度情報が端末機の表示部のうちの一定の地点を注視する視線角度情報として取得された場合、前記電子ブックコンテンツのページめくりを行うステップと、前記一定の地点における視線角度情報の検出時間の累積により、前記電子ブックコンテンツのページめくりの速度を変えて調節するステップと、のうちの少なくとも一つのステップを含むことができる。
上記目的を達成するためになされた本発明の視線追跡に基づくユーザ機能運用を支援する端末機は、被写体の映像を収集するカメラ部と、前記カメラ部が収集した映像で瞳の視線角度情報を取得し、前記瞳の視線角度情報により、ユーザ機能の状態を変更するか又は現在の状態を維持するように制御する視線追跡機能を支援する制御部と、前記ユーザ機能に該当するデータ及び前記瞳の視線角度を追跡するためのデータを格納する格納部と、を備えることを特徴とする。
前記格納部は、前記視線追跡機能と連係したユーザ機能の目録を含むことができる。
前記視線追跡に基づくユーザ機能運用を支援する端末機は、前記瞳の視線角度情報が端末機の表示部を注視しない第１視線角度情報の場合に、照度が変更されるか又はターンオフされる表示部を更に含むことができる。
前記制御部は、前記表示部がターンオフされるか又は前記ユーザ機能が終了した場合、前記カメラ部を非活性化することができる。
前記制御部は、前記瞳の視線角度情報が端末機の表示部を注視しない第１視線角度情報として一定時間以上取得された場合、前記活性化されたユーザ機能を一時停止するか又は終了するように制御するか、或いはタッチパネルのロックを解除するか又はロック設定するように制御し、前記瞳の視線角度情報が端末機の表示部を注視する第２視線角度情報の場合、前記タッチパネルのロックを設定又は解除した状態に維持することができる。
前記カメラは、被写体の映像を収集する際に瞳部位を自動フォーカシングして収集することができる。
前記制御部は、通話連結要請メッセージが受信された状態で、瞳の視線角度情報が端末機の表示部を注視する第２視線角度情報として取得された場合、前記通話連結を自動で行い、電子ブックコンテンツが再生された画面状態で、瞳の視線角度情報が端末機の表示部のうちの一定の地点を注視する視線角度情報として取得された場合、前記電子ブックコンテンツのページめくりを行い、前記一定の地点における視線角度情報の検出時間の累積により、前記電子ブックコンテンツのページめくりの速度を変えて調節することができる。
本発明による視線追跡に基づくユーザ機能運用方法及びこれを支援する端末機によれば、端末機が提供する機能をより適応的に運用できるようにすることで、ユーザの端末機使用の便宜性を増大させることができる。
本発明の一実施形態による視線追跡機能を含む端末機の構成を概略的に示す図である。 図１の制御部の構成をより詳細に示す図である。 本発明の一実施形態による視線追跡機能支援の画面インターフェースの一例を示す図である。 本発明の一実施形態による視線追跡機能支援の画面インターフェースの他の例を示す図である。 本発明の一実施形態による視線追跡機能支援の画面インターフェースの更に他の例を示す図である。 本発明の一実施形態による視線追跡機能に基づくユーザ機能運用方法を説明するフローチャートである。 本発明の一実施形態による視線追跡機能支援のうちの通話連係機能を説明する図である。
以下、本発明を実施するための形態の具体例を、図面を参照しながら詳細に説明する。
本実施形態の説明において、本発明が属する技術分野で当業者に十分に知られており、本発明と直接的に関連のない技術内容に対しては説明を省略する。また、実質的に同一の構成及び機能を有する構成要素に対しては詳細な説明を省略する。
同様の理由で、図面において一部の構成要素は誇張又は省略するか、或いは概略的に示しており、各構成要素の大きさは実際の大きさを全面的に反映するものではない。従って、本発明は、図面に描かれた相対的な大きさや間隔によって制限されない。
図１は、本発明の一実施形態による視線追跡機能を含む端末機の構成を概略的に示す図であり、視線追跡に基づくユーザ機能運用を支援する端末機１００の構成を概略的に示したブロック図である。
図１を参照すると、本実施形態の端末機１００は、通信部１１０、入力部１２０、表示部１４０、格納部１５０、カメラ部１７０、及び制御部１６０の各構成を含む。
このような構成を有する本実施形態の端末機１００は、特定のユーザ機能又は特定の端末機状態が活性化されると、カメラ部１７０を自動で活性化して一定の角度で映像を収集する。このとき、収集される映像に基づいて、端末機１００は、視線追跡を行って現在のユーザ視線方向を確認する。そして、端末機１００は、視線方向が既設定された方向の場合、該当方向に対応する命令語を生成し、これに基づいて端末機１００の状態を切り替えるか、現在の状態を維持するか、或いは特定機能を行うように制御する。これにより、本発明は、ユーザの視線による端末機１００の駆動制御を行うことで、より適応的な機能運用を行うと共に、端末機１００の管理をより効果的に行うことができるように支援する。
通信部１１０は、端末機１００の通信機能を支援する。特に、通信部１１０は、端末機１００が通信機能を支援する端末機の形態で製作される場合に追加される構成である。従って、本発明が適用される端末機１００が通信機能を支援しない場合、通信部１１０は、端末機１００の構成から省略してもよい。一方、通信部１１０は、端末機１００の通信機能、特に移動通信機能を支援するために、移動通信モジュールの形態で設けられる。このような通信部１１０は、移動通信システムと通信チャネルを形成して端末機１００の移動通信機能を行うための信号の送受信を支援する。例えば、通信部１１０は、移動通信システムと音声サービスチャネル、映像サービスチャネル、データサービスチャネルのうちの少なくとも一つを形成し、該当サービスチャネルによる特定信号の送受信を支援する。特に、本発明の通信部１１０は、機能運用過程でカメラ部１７０と連係した動作を行う。
例えば、通信部１１０は、他の端末機から通話呼の連結要請メッセージを受信するか、或いはメッセージサービス受信に対応するメッセージを受信した場合、これを通知するために情報を制御部１６０の制御により表示部１４０及びオーディオ処理部１３０のうちの少なくとも一つに出力する。このとき、通信部１１０のメッセージ受信イベントは、制御部１６０の制御によりカメラ部１７０に伝達され、カメラ部１７０は、通信部１１０がメッセージを受信した場合、予め設定された一定時間の間に活性化され、既設定された一定の角度で映像を撮影し、撮影された映像に対する視線追跡機能を支援する。制御部１６０は、カメラ部１７０が収集した映像で視線追跡による瞳検出及び瞳の角度検出に基づいて、通信部１１０の運用を制御する。即ち、通信部１１０は、ユーザが端末機１００を注視した場合、受信した通話連結要請メッセージに対応する通話連結要請メッセージを他の端末機に伝達することにより通話連結を行う。即ち、本実施形態の端末機１００は、通話連結要請が受信された場合、別途の動作制御なしに端末機１００を注視するだけでも、通話連結を行うことができるように支援する。このとき、端末機１００は、顔認識を通じて事前に定義されたユーザの顔である場合にのみ、自動通話連結を行うように支援することも可能である。
入力部１２０は、端末機１００の運用に必要な多様な入力信号を生成する。このような入力部１２０は、端末機１００の互換可能の有無により、キーボードやキーパッド、キーボタンなどの多様な入力手段で構成される。また、入力部１２０は、表示部１４０がタッチスクリーンで提供される場合、タッチスクリーンに出力されるタッチマップの形態で構成されてもよい。本実施形態の入力部１２０は、視線追跡機能支援のための多様な入力信号を生成することができる。例えば、入力部１２０は、視線追跡機能の適用モード及び解除モードを設定するための入力信号、端末機が提供する機能のうちの視線追跡機能と連係した特定のユーザ機能を呼び出す入力信号、特定のユーザ機能に視線追跡機能を連係させるための入力信号などをユーザの要請により生成する。生成された入力信号は、制御部１６０に伝達され、該当機能を行うための命令語に切り替えられる。
オーディオ処理部１３０は、端末機１００の運用過程で設定された多様なオーディオデータ及び格納部１５０に格納されたオーディオファイル再生によるオーディオデータ、外部から受信したオーディオデータなどを出力する。また、オーディオ処理部１３０は、オーディオデータ収集機能を支援する。このために、オーディオ処理部１３０は、スピーカー（ＳＰＫ）とマイク（ＭＩＣ）を含む。特に、オーディオ処理部１３０は、視線追跡機能が設定されているユーザ機能の活性化時に、視線追跡機能が運用中であることを案内する案内音を出力する。また、オーディオ処理部１３０の視線追跡機能支援が可能であるが、設定されていない場合、該当視線追跡機能設定を案内する案内音を出力する。案内音の出力機能は、ユーザの設定により省略してもよい。
一方、オーディオ処理部１３０を介して出力されるオーディオ信号の出力時点も視線追跡機能によって制御される。例えば、オーディオ処理部１３０は、カメラ部１７０を介してユーザが現在の既設定された角度で端末機１００を注視している場合にのみ、現在運用中の機能のオーディオ信号出力を支援し、既設定された他の角度で端末機１００を注視する場合、オーディオ信号出力を中止するように制御する。
表示部１４０は、端末機１００の運用に必要な多様な画面インターフェースを提供する。例えば、表示部１４０は、端末機１００の運用に必要な待機画面、メニュー画面などを支援する。特に、本実施形態の表示部１４０は、視線追跡機能が連係されたユーザ機能の活性化による画面、視線追跡機能を特定のユーザ機能と連係させるための設定画面、視線追跡機能の活性化又は非活性化を制御するための画面などを出力する。
このような表示部１４０は、表示パネル１４１とタッチパネル１４３が重なった形態のタッチスクリーンの形態で設けられる。表示パネル１４１には、上述した多様な画面に対応するイメージとテキストなどが出力される。タッチパネル１４３は、表示パネル１４１に出力される画面の特性に応じてタッチ有効領域とタッチ無効領域を設定し、タッチ有効領域で発生するタッチイベントを制御部１６０に伝達する。特に、タッチパネル１４３は、視線追跡機能によって活性化が制御される。例えば、ユーザが端末機１００を既設定された角度で注視する場合、タッチパネル１４３は活性化されて、タッチ動作によるタッチイベントの生成を支援する。そして、タッチパネル１４３は、ユーザが端末機１００を既設定された他の角度で注視する場合、非活性化されて、タッチ動作が発生してもタッチイベントの取得を行わない場合がある。このように、本発明の端末機１００は、タッチパネル１４３の一時的なロック（Ｌｏｃｋ）機能及びロック解除機能を視線追跡機能により支援することも可能である。
格納部１５０は、端末機１００の運用に必要な多様な基本オペレーティングシステム及び多様なユーザ機能に該当するデータ又はアプリケーションと、アルゴリズムなどを格納する。特に、格納部１５０は、本発明の視線追跡機能を支援するための視線追跡支援プログラム１５１を格納し、視線追跡支援プログラム１５１を支援するためのデータ、例えば、瞳の視線角度を追跡するための視線追跡アルゴリズム１５３を格納する。
視線追跡支援プログラム１５１は、本発明の視線追跡機能運用に関連する多様なルーチンを定義するものである。このような視線追跡支援プログラム１５１は、視線追跡機能が連係された特定のユーザ機能が活性化された場合、カメラ部１７０を活性化するように制御するルーチン、活性化されたカメラ部１７０を利用して映像を収集するルーチン、収集された映像の顔認識と瞳認識を行うルーチン、認識の結果によって瞳の視線角度を確認するルーチン、瞳の視線角度により現在活性化されたユーザ機能の状態を変更するルーチンを含む。ここで、特定のユーザ機能は、端末機１００が提供する多様な機能であって、上述した通信部１１０、表示部１４０、オーディオ処理部１３０等に基づいて運用される機能である。例えば、ユーザ機能は、通話機能、コンテンツファイル再生機能、ファイル検索機能、ウェブ接続機能、待機画面出力機能、メニュー画面出力機能、放送受信機能などである。
視線追跡アルゴリズム１５３は、視線追跡支援プログラム１５１によって活性化されるカメラ部１７０の収集映像の分析に利用されるアルゴリズムである。このような視線追跡アルゴリズム１５３は、顔認識アルゴリズムと、瞳認識アルゴリズムとを含む。視線追跡支援プログラム１５１は、カメラ部１７０が映像を収集すると、視線追跡アルゴリズム１５３のうち顔認識アルゴリズムに基づいて優先的に一定形態の顔を認識する。そして、視線追跡支援プログラム１５１は、認識された顔で目の部位を抽出し、該当する目の部位で瞳の視線角度に対する情報を取得する。その後、視線追跡支援プログラム１５１は、取得した瞳の視線角度と事前に定義された情報とを比較して、現在活性化されたユーザ機能の状態変更を支援する。ユーザ機能の状態変更に対しては、後述する画面例示図を参照してより詳細に説明する。
カメラ部１７０は、制御部１６０の制御により活性化され、被写体に対する映像を収集する。このようなカメラ部１７０は、視線追跡機能と連係したユーザ機能が活性化されるか、或いはデフォルトで視線追跡機能を活性化するように設定された場合、端末機１００の活性化により活性化されて映像を収集する。カメラ部１７０が収集した収集映像が制御部１６０に伝達され、視線追跡機能により分析される。ここで、カメラ部１７０が収集する映像は、一定時間の間隔で周期的に収集される静止画であるか、又はリアルタイム動画のいずれか一つである。カメラ部１７０は、該当視線追跡機能が連係されたユーザ機能が終了すると、自動で終了する。
制御部１６０は、本発明による映像の視線追跡機能を支援するために、多様な信号の流れを制御し、情報収集及び出力などを制御する。このような制御部１６０は、映像の視線追跡機能を支援するために、映像収集機能と情報分析機能を含み、二つの機能によるユーザ機能の運用制御を行う。このために、制御部１６０は、図２に示すような構成を含むことができる。
図２は、図１の制御部１６０の構成をより詳細に示す図である。
図２を参照すると、本実施形態の制御部１６０は、カメラ情報収集部１６１、視線追跡決定部１６３、機能実行部１６５の各構成を含む。
カメラ情報収集部１６１は、特定のユーザ機能が活性化されると、該当ユーザ機能が視線追跡機能と連係した機能であるか否かを確認する。そして、カメラ情報収集部１６１は、該当ユーザ機能が視線追跡機能と連係した機能の場合、カメラ部１７０を活性化するように制御する。これと共に、カメラ情報収集部１６１は、カメラ部１７０の設定を事前に定義された設定値により調整し、映像を収集するように制御する。このとき、カメラ情報収集部１６１は、ユーザの顔認識を行いながら、顔の瞳の部分に自動フォーカシングを行う。自動フォーカシングが完了すると、カメラ情報収集部１６１は、瞳を含む顔映像を収集し、これを視線追跡決定部１６３に伝達する。視線追跡機能と連係したユーザ機能の活性化の有無を確認するために、端末機１００の格納部１５０は、視線追跡機能と連係したユーザ機能の目録を格納する。これにより、カメラ情報収集部１６１は、特定のユーザ機能が活性化されると、該当機能目録の確認を通じて視線追跡機能を支援するためのカメラ部１７０の活性化を制御する。
視線追跡決定部１６３は、カメラ情報収集部１６１が伝達する映像を分析し、瞳の視線角度を分析し、その結果を機能実行部１６５に伝達する。このために、視線追跡決定部１６３は、格納部１５０に格納された視線追跡アルゴリズム１５３を参照する。先ず、視線追跡決定部１６３は、伝達された映像の顔分析を行う。この過程を通じて視線追跡決定部１６３は、顔の瞳部位の抽出を行う。そして、視線追跡決定部１６３は、瞳部位で瞳が注視する視線角度を確認する。瞳の視線角度情報が取得されると、視線追跡決定部１６３は、該当視線角度情報が端末機１００の表示部１４０の領域のうちのいずれの部位を注視するかを確認する。或いは、視線追跡決定部１６３は、視線角度情報そのものを機能実行部１６５に伝達する。
機能実行部１６５は、視線追跡決定部１６３から伝達された視線角度情報に基づいて、現在活性化されたユーザ機能の状態切り替え又は状態維持を決める。このために、機能実行部１６５は、現在活性化されたユーザ機能を確認し、視線角度情報による命令語を生成する。命令語が生成された機能実行部１６５は、該当命令語によるユーザ機能運用を制御する。本発明の視線追跡機能の適用は、一定の周期により運用されるか又はリアルタイムで運用される。これにより、機能実行部１６５は、一定の周期により伝達される視線角度情報に対応するユーザ機能の切り替え又は維持を制御するか、或いは以前の視線角度情報と異なる視線角度情報が伝達された場合にユーザ機能を切り替え、同一の視線角度情報が伝達された場合にユーザ機能維持を制御する。
上述したように、本発明による視線追跡に基づくユーザ機能運用を支援する端末機１００は、特定のユーザ機能を行う過程において視線追跡を行い、特別なタッチ動作や入力ボタンの制御動作を行わなくても、ユーザ機能をより効果的且つ適応的に制御できるように支援することができる。このような視線追跡に基づく機能運用に対して、以下の画面例示図を参照して、より詳細に説明する。
図３は、本発明の一実施形態による視線追跡機能支援の画面インターフェースの一例を示す図であり、視線追跡に基づくユーザ機能運用のうち、表示部の照明機能の切り替えとスリープモードの切り替え機能の例を説明する図である。
図３を参照すると、先ず、ユーザは、端末機１００の運用中に特定のユーザ機能、例えば、コンテンツ視聴機能を活性化するための制御を行う。そうすると、端末機１００は、ユーザが選択した視聴機能を支援するために、端末機１００の表示部１４０の照明機能を活性化するように制御する。例えば、端末機１００は、表示部１４０がバックライトユニットで構成された場合、バックライトユニットの電源供給を通じて、一定の照度で発光されるように支援する。また、端末機１００は、表示部１４０がＯＬＥＤ（Ｏｒｇａｎｉｃ ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）などで構成された場合、該当発光ダイオードに電流又は電圧の供給を通じて、一定照度の光で発光されるように支援する。これと共に、端末機１００は、ユーザが選択したコンテンツを呼び出して、該当コンテンツを表示パネル１４１に出力するように支援する。これにより、端末機１００は、３０１画面のようにコンテンツ出力画面を表示部１４０に出力する。
一方、端末機１００は、コンテンツ視聴機能が視線追跡機能と連係した機能であることが確認されると、カメラ部１７０を活性化してユーザの瞳認識を行う。そして、ユーザの瞳認識の結果、視線角度情報が表示部１４０を見ていないと判断された場合、端末機１００は、３０３、３０５、３０７画面のように、段階的に表示部１４０の照明機能を、状態が切り替えられるように制御する。例えば、端末機１００は、視線角度情報が表示部１４０を見ていない第１視線角度情報の場合、３０３画面のように一定時間の間、表示部１４０の一定照度を維持するように制御する。そして、端末機１００は、第１視線角度情報が第１時間の間に維持された場合、即ち、ユーザが第１時間の間に持続的に表示部１４０を見ていない場合、３０５画面のように照度を一定の段階に下げるように制御する。また、端末機１００は、第１視線角度情報が第２時間の間に継続して維持された場合、即ち、ユーザが第１時間の後に第２時間の間、持続的に表示部１４０を見ていない場合、３０７画面のように、照明機能は、ターンオフするように制御される。このとき、端末機１００は、照明機能のターンオフ後の一定時間の間に第１視線角度情報が取得された場合、スリープモードに自動で切り替えるように制御する。
ここで、端末機１００は、３０５画面又は３０７画面で表示部１４０を注視する第２視線角度情報が取得された場合、再び３０３画面に復帰して照明が本来の照度になるように制御する。しかし、端末機１００は、３０７ステップの後、スリープモードに切り替えた後、一定時間以内に表示部１４０を注視する第２視線角度情報が取得された場合、予め設定されたルーチンによって、スリープモード進入過程において、自動で設定されたロック機能を解除する画面を出力するように制御することができる。このために、端末機１００は、３０７画面のように表示部１４０がターンオフされた状態、スリープモードの進入状態、スリープモードの進入後に一定時間が経過した状態のうちのいずれか一つの状態までは、視線追跡支援のためにカメラ部１７０を活性化状態に維持するように制御する。そして、端末機１００は、３０７画面、スリープモードの進入状態、スリープモードの進入後に一定時間が経過した状態のうちのいずれか一つの状態により、視線追跡機能を中止させることができる。即ち、端末機１００は、表示部１４０がターンオフされるか、スリープモードに進入するか、スリープモードに進入した後に一定時間が経過した場合、視線追跡機能の中止と共にカメラ部１７０を非活性化するように制御する。
一方、端末機１００は、３０１画面状態でユーザが持続的に表示部１４０を注視している場合、即ち、表示部１４０を注視する第２視線角度情報が取得された場合、３０２、３０４、３０６ステップのように時間が経過しても持続的に同一状態を維持するように制御する。これにより、本実施形態の端末機１００は、一定時間の間に特別な入力信号の発生がない場合、自動で機能切り替え状態になるように、設定されたモードを一定の条件下で行わないように支援する。これにより、ユーザが長時間表示部１４０に出力されたコンテンツを特別な入力信号の生成動作なしに閲覧しても、端末機１００は、不必要にスリープモードに切り替えるか、或いは照度調整の機能により照度を低くするなどの機能を行わないように支援する。また、ユーザは、持続的にコンテンツ視聴機能を維持したまま、端末機１００の利用を行うことができる。
図４は、本発明の一実施形態による視線追跡機能支援の画面インターフェースの他の例を示す図であり、ユーザ機能の運用中にコンテンツ再生機能における視線追跡機能の適用を説明する図である。
図４を参照すると、ユーザは、端末機１００のユーザ機能のうちのコンテンツ再生機能を活性化するように制御する。このために、ユーザは、格納部１５０に格納された特定コンテンツを選択し、該当コンテンツを再生要請する命令語生成のための入力信号生成動作を実行する。例えば、ユーザが動画コンテンツを再生要請する場合、端末機１００は、４０１画面のように、選択されたコンテンツを再生するためのアプリケーションを呼び出し、該当コンテンツ再生による画面を表示部１４０に出力するように支援する。
一方、端末機１００は、該当ユーザ機能、即ちコンテンツ再生機能が視線追跡機能と連係した機能であるか否かを確認する。コンテンツ再生機能が視線追跡機能と連係した機能に設定された場合、端末機１００は、４０１画面でカメラ部１７０を活性化して映像を一定周期又はリアルタイムで撮影し、視線追跡機能が支援されるように制御する。
端末機１００は、視線追跡機能支援の過程において、ユーザの視線角度が表示部１４０を注視しない第１視線角度情報に該当する場合、４０３画面に進入してコンテンツ再生を一時中止するように制御することができる。このとき、端末機１００は、ユーザが表示部１４０を注視しないために第１視線角度情報がすぐに検出された場合、４０３画面の一時停止状態に進入するように制御する。このために、視線追跡機能は、リアルタイムで実行される。また、設定により、端末機１００は、第１視線角度情報が一定時間の間に取得された場合、４０３画面の一時停止状態に進入するように制御することも可能である。
４０３画面の以後にユーザが再び画面を注視する場合、即ち視線追跡機能によりユーザの視線角度が表示部１４０を注視する第２視線角度情報が取得された場合、端末機１００は、４０５画面のように一時中止された状態を解除し、コンテンツを再生するように制御することができる。これにより、本実施形態の端末機１００は、特別な動作制御なしに、ユーザがコンテンツ再生による表示部１４０を凝視しない時には再生を中止し、再び表示部１４０を凝視する場合には再生するように制御する。
一方、端末機１００は、４０３画面で第１視線角度情報が一定時間の間に持続的に取得された場合、端末機１００は、表示部１４０をターンオフして電源節約機能を行うように制御する。また、端末機１００は、表示部１４０のターンオフと共にコンテンツ再生機能を終了するか、或いはターンオフの後に一定時間が経過した後、コンテンツ再生機能を終了するように制御する。そして、端末機１００は、表示部１４０のターンオフ時点に視線追跡機能を終了させるか、或いはコンテンツ再生機能の終了時点に視線追跡機能を終了するように制御し、カメラ部１７０の活性化に必要とされる電源を節約するように制御する。視線追跡機能終了の前まで、端末機１００は、視線追跡機能を支援し、第２視線角度情報が取得された場合、４０５画面に進むように制御する。
図５は、本発明の一実施形態による視線追跡機能支援の画面インターフェースの更に他の例を示す図であり、ユーザ機能のうちの電子ブックコンテンツ視聴機能における視線追跡機能の適用を説明する図である。
図５を参照すると、ユーザは、端末機１００が提供するユーザ機能のうちの電子ブックコンテンツ視聴機能を選択する。このために、端末機１００は、電子ブックコンテンツを格納部１５０に格納し、電子ブックコンテンツ再生のためのアプリケーションを格納する。そして、ユーザは、該当電子ブックコンテンツの選択のための入力信号と、再生のための入力信号とを生成する。そうすると、端末機１００は、選択された電子ブックコンテンツを再生し、再生された電子ブックコンテンツ画面を５０１画面のように出力するように支援する。これと共に、端末機１００は、電子ブックコンテンツ視聴機能が、視線追跡機能が適用されるように設定された機能であるか否かを確認する。該当電子ブックコンテンツ視聴機能が視線追跡の連係機能である場合、端末機１００は、視線追跡モードが活性化されるように設定されているか否かを確認する。そして、視線追跡モードが活性化されている場合、端末機１００は、カメラ部１７０を活性化して、一定周期又はリアルタイムで視線追跡機能を行うように支援する。
特に、端末機１００は、ユーザの瞳位置の追跡を行い、瞳が事前に定義された一定の視線角度情報の場合、５０３ステップに分岐してページめくりを行うように支援する。例えば、端末機１００は、ユーザの視線角度が表示部１４０の右側下端の隅領域を注視する視線角度情報に該当する場合、電子ブックコンテンツのページめくりを行うように制御する。このとき、端末機１００は、該当視線角度情報が一定時間の間に維持された場合、ページめくりを行うように制御する。
これにより、本発明の端末機１００は、ページめくりのための別途のタッチ動作や入力信号生成動作が発生しなくても、便利にページめくりを行うように支援することができる。ここで、端末機１００は、視線追跡機能の適用周期を適応的に変化させることができる。即ち、端末機１００は、ユーザのページめくりの速度を累積して格納し、累積された情報によりページめくりのためのイベント発生予測時点前の一定時間の間に、視線追跡機能支援のためのカメラ部１７０の活性化を支援する。例えば、ユーザが１ページから他のページに切り替えるのに平均２分が所要されると仮定した場合、端末機１００は、ページめくりが発生した後、カメラ部１７０を非活性化状態に維持し、１分３０秒ないし１分４０秒が経過した後、カメラ部１７０を活性化して視線追跡機能を行うように制御する。ここで、端末機１００は、ページの切り替えに所要される時間が徐々に速くなる場合、それに対応して視線追跡機能を支援できるように、ページの切り替え時点からカメラ部１７０の活性化時間をより短く定義してもよい。このために、端末機１００は、ページ切り替えの平均時間算定を一定のページ数に限定することができる。例えば、端末機１００は、前のページ数を３ページに制限し、３ページのページ切り替えの平均時間に基づいて視線追跡機能遂行のためのカメラ部１７０の活性化時間を定めることができる。これを通じて端末機１００は、ページ切り替え時点の付近にカメラ部１７０を活性化して視線追跡を行うことにより、電源使用をより効率的に支援することができる。
そして、端末機１００は、電子ブックコンテンツの最後のページが出力された場合、視線追跡機能を自動で終了するように制御する。また、前のページ選択のための視線角度、例えば、左下側の隅領域に対応する視線角度情報が取得された場合、端末機１００は、前のページへのページめくりを制御する。そして、端末機１００は、左下側又は右下側の隅領域で発生する視線角度情報の累積時間により、ページめくりの速度を変えてその値を決める。即ち、ユーザが左下側又は右下側の隅領域を一定時間の間に持続的に注視した場合、端末機１００は、徐々にページめくりの速度をより早く調整するか、或いは一定値以上の速度でページめくりが発生するようにして、ユーザが検索しようとするページをより早く検索できるように支援する。即ち、端末機１００は、ページめくりの視線角度の累積時間により、ページめくりの速度を変えてその値を調整することができ、このとき、ページめくりの視線角度に変更が発生すると、ページめくりを中止するように制御する。
図６は、本発明の一実施形態による視線追跡に基づくユーザ機能運用方法を説明するフローチャートである。
図６を参照すると、本実施形態の視線追跡に基づくユーザ機能運用方法は、先ず、６０１ステップで、端末機１００の制御部１６０が、供給された電源を利用して端末機１００の各構成の運用に必要な電源配分を行う。特に、本発明の視線追跡機能支援のために、ユーザ機能運用のための準備を行う。そして、ユーザが特定のユーザ機能を活性化するための入力信号を生成すると、生成された入力信号により該当ユーザ機能の活性化を支援する。
この過程で、制御部１６０は、６０３ステップで視線追跡モードが設定されているか否かを確認する。即ち、制御部１６０は、該当ユーザ機能が視線追跡連係機能であるか否か、そして視線追跡連係機能の場合に、視線追跡モードが活性化されているか否かなどを確認する。このステップで視線追跡モードが設定されていない場合、制御部１６０は、６０５ステップに分岐して活性化されたユーザ機能遂行のための信号制御を行う。
一方、６０３ステップで視線追跡モードが活性化されている場合、制御部１６０は、６０７ステップに分岐してカメラ部１７０を活性化するように制御する。そして、制御部１６０は、活性化されたカメラ部１７０を利用して映像を撮影するように制御する。映像撮影による映像が収集されると、制御部１６０は、６０９ステップに分岐して視線追跡機能を行うように制御する。即ち、制御部１６０は、ユーザの瞳視線がどこに向かうかを確認し、それによる視線角度情報を取得する。
その後、制御部１６０は、６１１ステップで取得された視線角度情報による機能遂行を制御する。例えば、制御部１６０は、コンテンツ視聴機能又は再生機能などが行われる場合、視線角度情報が表示部１４０を注視する視線角度情報の場合に、コンテンツ視聴機能及び再生機能を維持するように制御する。即ち、制御部１６０は、表示部１４０の電源供給及びコンテンツ出力を維持するように制御する。そして、制御部１６０は、視線角度情報が表示部１４０を注視しない視線角度情報の場合、表示部１４０の照度を減らすか又はターンオフするように制御し、また再生中であるコンテンツを一時停止させるか又は終了させるように制御する。また、上述したように、電子ブックコンテンツ再生機能の場合、制御部１６０は、視線角度情報によりページめくりを制御することも可能である。
また、制御部１６０は、通話連結要請メッセージの受信過程において、表示部１４０を注視する視線角度情報が取得された場合、自動で通話連結を要請するように制御する。これをより詳細に説明すると、図７に示すように、他の端末機などから通話連結を要請するメッセージが受信された場合、制御部１６０は、スリープモード状態から目覚めるか、又は待機状態で通話連結要請メッセージの受信を知らせる画面を７０１画面のように表示部１４０に出力する。このとき、制御部１６０は、該当通話連結機能が視線追跡機能と連係した機能であることを確認して、カメラ部１７０を活性化するように制御する。ここで、制御部１６０は、カメラ部１７０を一定時間の間に活性化し、撮影された映像で既設定された瞳視線角度に該当する視線角度情報が取得されるか否かを確認する。そして、制御部１６０は、該当視線角度情報が取得されると、７０３画面のように自動で通話連結を行うように支援する。
ここで、制御部１６０は、視線追跡機能を持続させる一方、通話連結要請が終了すると、視線追跡機能を終了するように制御する。また、制御部１６０は、視線追跡機能を既設定された一定時間の間にのみ維持し、一定時間が経過すると、該当機能を終了するように制御する。そして、制御部１６０は、通話連結以後の通話機能が終了すると、視線追跡機能を終了するように制御する。或いは、制御部１６０は、視線追跡機能によって通話連結が行われた後、一定時間の経過後に表示部１４０を注視する瞳視線の角度情報が取得された場合、通話連結を終了するように制御する。そして、制御部１６０は、瞳視線の角度情報だけでなく、顔認識を通じて既設定されたユーザ情報とマッチさせて通話連結を行う。例えば、制御部１６０は、端末機１００に所持者として登録されたユーザの顔が認識される場合にのみ、瞳視線の角度情報により通話連結を行うように支援する。
次に、制御部１６０は、６１３ステップでモード解除のためのイベント発生を確認し、視線追跡モード解除のためのイベント発生時に６１５ステップに分岐して制御部１６０の終了有無を確認する。ここで、モード解除のためのイベントは、表示部１４０を注視しない視線角度情報が一定時間の間に持続的に検出された場合であるか、或いは視線追跡モード解除のためのタッチイベント又は入力信号の発生などを含む。モード解除のためのイベント発生がない場合、制御部１６０は、６０７ステップの前に分岐して以降のステップを再遂行するように支援する。また、６１５ステップで制御部１６０の終了のための入力信号の発生がない場合、６０３ステップの前に分岐して制御部１６０の運用を支援する。
一方、上述した説明では、視線追跡モードが活性化されているか否かを確認するステップを行うものとして説明したが、本発明の視線追跡モードは、デフォルト機能として提供されてもよい。
上述したように、本発明による視線追跡機能に基づく機能運用方法は、端末機の運用において、特別なタッチ入力制御や入力信号生成動作なしに、ユーザ機能の状態変更を支援するか又は現在の状態を維持するように制御することで、より便利な端末機１００の運用を支援することができる。特に、大画面端末機の場合、タッチ入力制御のために片手把持、片手制御が要求されるが、本発明の視線追跡機能の適用時に更に便利な端末機運用制御を支援することができる。
一方、上述した端末機１００は、その提供形態により、多様な追加モジュールを更に含んでもよい。即ち、端末機１００は、近距離通信のための近距離通信モジュール、端末機１００の有線通信方式又は無線通信方式によるデータ送受信のためのインターフェース、インターネットのネットワークと通信してインターネット機能を行うインターネット通信モジュール、及びデジタル放送受信と再生機能を行うデジタル放送モジュールなどのように、上記で言及していない構成を更に含んでもよい。このような構成要素は、デジタル機器のコンバージェンス（ｃｏｎｖｅｒｇｅｎｃｅ）傾向により変形が非常に多様であって、全て列挙することはできないが、上記で言及した構成要素と同等な水準の構成要素がデバイスに更に含まれて構成され得る。また、本発明の端末機１００は、その提供形態により、上記の構成から特定構成が除外されるか、他の構成に代替され得ることは勿論である。これは、本技術分野の通常の知識を有する者には、容易に理解されるはずである。
また、本発明による端末機１００は、多様な通信システムに対応する通信プロトコル（ｃｏｍｍｕｎｉｃａｔｉｏｎ ｐｒｏｔｏｃｏｌｓ）に基づき作動する全ての移動通信端末機（ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ ｔｅｒｍｉｎａｌｓ）をはじめとして、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、デジタル放送プレーヤー、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、音楽再生機（例えば、ＭＰ３プレーヤー）、携帯ゲーム端末、スマートフォン（Ｓｍａｒｔ Ｐｈｏｎｅ）、ノート型パソコン（Ｎｏｔｅｂｏｏｋ）、ハンドヘルドＰＣなど全ての情報通信機器とマルチメディア機器及びそれに対する応用機器を含んでもよい。
以上、図面を参照しながら本発明の実施形態について説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の技術的範囲を逸脱しない範囲内で多様に変更実施することが可能である。
１００ 端末機
１１０ 通信部
１２０ 入力部
１３０ オーディオ処理部
１４０ 表示部
１４１ 表示パネル
１４３ タッチパネル
１５０ 格納部
１５１ 視線追跡支援プログラム
１５３ 視線追跡アルゴリズム
１６０ 制御部
１６１ カメラ情報収集部
１６３ 視線追跡決定部
１６５ 機能実行部

Claims (15)

  1. 特定のユーザ機能を遂行するステップと、
    前記ユーザ機能が維持された状態でカメラ部を活性化するステップと、
    前記カメラ部が収集した映像で瞳の視線角度情報を取得するステップと、
    前記瞳の視線角度情報により、前記ユーザ機能の状態を変更するか又は現在の状態を維持するように制御する視線追跡機能を遂行するステップと、を有することを特徴とする視線追跡に基づくユーザ機能運用方法。
  2. 前記活性化されたユーザ機能が視線追跡機能と連係したユーザ機能の場合、視線追跡設定モードが活性化されているか否かを確認するステップを更に含むことを特徴とする請求項１に記載の視線追跡に基づくユーザ機能運用方法。
  3. 前記視線追跡機能を遂行するステップは、
    瞳の視線角度情報が端末機の表示部を注視しない第１視線角度情報の場合、前記表示部の照度を調節するステップと、
    前記表示部をターンオフするステップと、
    前記ユーザ機能を終了するステップと、
    前記ユーザ機能を一時停止するステップと、
    前記表示部に含まれるタッチパネルのタッチロック機能を設定又は解除するステップと、のうちの少なくとも一つのステップを含むことを特徴とする請求項１に記載の視線追跡に基づくユーザ機能運用方法。
  4. 前記視線追跡機能を遂行するステップは、
    前記表示部がターンオフされるか又は前記ユーザ機能が終了した場合、前記カメラ部を非活性化するステップを含むことを特徴とする請求項３に記載の視線追跡に基づくユーザ機能運用方法。
  5. 前記視線追跡機能を遂行するステップは、
    瞳の視線角度情報が前記端末機の表示部を注視する第２視線角度情報の場合、前記表示部の照度を本来の照度に調整するステップと、
    前記表示部をターンオンするステップと、
    前記ユーザ機能を再び活性化するステップと、
    前記ユーザ機能の一時停止を解除するステップと、
    前記ロック設定されたタッチパネルのロック機能を解除又は設定するステップと、のうちのいずれか一つのステップを更に含むことを特徴とする請求項３に記載の視線追跡に基づくユーザ機能運用方法。
  6. 前記視線追跡機能を遂行するステップは、
    前記瞳の視線角度情報が端末機の表示部を注視する第２視線角度情報の場合、表示部の現在の画面を維持するステップであることを特徴とする請求項１に記載の視線追跡に基づくユーザ機能運用方法。
  7. 前記視線角度情報を取得するステップは、
    被写体の顔を認識するステップと、
    認識された顔の瞳部位を自動フォーカシングするステップと、
    自動フォーカスされた被写体の映像を収集するステップと、を含むことを特徴とする請求項１に記載の視線追跡に基づくユーザ機能運用方法。
  8. 前記視線追跡機能を遂行するステップは、
    通話連結要請メッセージが受信された状態で、瞳の視線角度情報が端末機の表示部を注視する第２視線角度情報として取得された場合、前記通話連結を自動で行うステップと、
    電子ブックコンテンツが再生された画面状態で、瞳の視線角度情報が端末機の表示部のうちの一定の地点を注視する視線角度情報として取得された場合、前記電子ブックコンテンツのページめくりを行うステップと、
    前記一定の地点における視線角度情報の検出時間の累積により、前記電子ブックコンテンツのページめくりの速度を変えて調節するステップと、のうちの少なくとも一つのステップを含むことを特徴とする請求項１に記載の視線追跡に基づくユーザ機能運用方法。
  9. 被写体の映像を収集するカメラ部と、
    前記カメラ部が収集した映像で瞳の視線角度情報を取得し、前記瞳の視線角度情報により、ユーザ機能の状態を変更するか又は現在の状態を維持するように制御する視線追跡機能を支援する制御部と、
    前記ユーザ機能に該当するデータ及び前記瞳の視線角度追跡のためのデータを格納する格納部と、を備えることを特徴とする視線追跡に基づくユーザ機能運用を支援する端末機。
  10. 前記格納部は、
    前記視線追跡機能と連係したユーザ機能の目録を含むことを特徴とする請求項９に記載の視線追跡に基づくユーザ機能運用を支援する端末機。
  11. 前記瞳の視線角度情報が端末機の表示部を注視しない第１視線角度情報の場合に、照度が変更されるか又はターンオフされる表示部を更に含むことを特徴とする請求項９に記載の視線追跡に基づくユーザ機能運用を支援する端末機。
  12. 前記制御部は、
    前記表示部がターンオフされるか又は前記ユーザ機能が終了した場合、前記カメラ部を非活性化することを特徴とする請求項１１に記載の視線追跡に基づくユーザ機能運用を支援する端末機。
  13. 前記制御部は、
    前記瞳の視線角度情報が端末機の表示部を注視しない第１視線角度情報として一定時間以上取得された場合、前記活性化されたユーザ機能を一時停止するか又は終了するように制御するか、或いはタッチパネルのロックを解除するか又はロック設定するように制御し、
    前記瞳の視線角度情報が端末機の表示部を注視する第２視線角度情報の場合、前記タッチパネルのロックを設定又は解除した状態に維持することを特徴とする請求項９に記載の視線追跡に基づくユーザ機能運用を支援する端末機。
  14. 前記カメラは、
    被写体の映像を収集する際に瞳部位を自動フォーカシングして収集することを特徴とする請求項９に記載の視線追跡に基づくユーザ機能運用を支援する端末機。
  15. 前記制御部は、
    通話連結要請メッセージが受信された状態で、瞳の視線角度情報が端末機の表示部を注視する第２視線角度情報として取得された場合、前記通話連結を自動で行い、
    電子ブックコンテンツが再生された画面状態で、瞳の視線角度情報が端末機の表示部のうちの一定の地点を注視する視線角度情報として取得された場合、前記電子ブックコンテンツのページめくりを行い、
    前記一定の地点における視線角度情報の検出時間の累積により、前記電子ブックコンテンツのページめくりの速度を変えて調節することを特徴とする請求項９に記載の視線追跡に基づくユーザ機能運用を支援する端末機。
JP2012258515A 2011-11-29 2012-11-27 視線追跡に基づくユーザ機能運用方法及びこれを支援する端末機 Active JP6138465B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2011-0125911 2011-11-29
KR1020110125911A KR101891786B1 (ko) 2011-11-29 2011-11-29 아이 트래킹 기반의 사용자 기능 운용 방법 및 이를 지원하는 단말기

Publications (2)

Publication Number Publication Date
JP2013114691A true JP2013114691A (ja) 2013-06-10
JP6138465B2 JP6138465B2 (ja) 2017-05-31

Family

ID=47522291

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012258515A Active JP6138465B2 (ja) 2011-11-29 2012-11-27 視線追跡に基づくユーザ機能運用方法及びこれを支援する端末機

Country Status (5)

Country Link
US (2) US9092051B2 (ja)
EP (1) EP2600220B1 (ja)
JP (1) JP6138465B2 (ja)
KR (1) KR101891786B1 (ja)
CN (1) CN103135762B (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015011352A (ja) * 2013-06-28 2015-01-19 楽天株式会社 表示画面を備えた端末装置を用いた周囲雑音による注意散漫の低減
JP2015210716A (ja) * 2014-04-28 2015-11-24 富士通株式会社 目検出装置、目検出方法及び目検出プログラム
JP2016010237A (ja) * 2014-06-24 2016-01-18 Kddi株式会社 監視装置、端末装置、通信システムおよび監視プログラム
JP2016539434A (ja) * 2013-09-17 2016-12-15 ノキア テクノロジーズ オサケユイチア 操作の決定
JP2018107816A (ja) * 2018-02-08 2018-07-05 株式会社ニコン 電子機器
JP2019135881A (ja) * 2019-05-10 2019-08-15 富士ゼロックス株式会社 表示制御装置およびプログラム
JPWO2018186031A1 (ja) * 2017-04-03 2020-04-23 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10936057B2 (en) 2019-04-09 2021-03-02 Samsung Electronics Co., Ltd. System and method for natural three-dimensional calibration for robust eye tracking
JP2021056987A (ja) * 2019-09-27 2021-04-08 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド スマートデバイスの制御方法、スマートデバイスの制御装置、電子機器及び記憶媒体
WO2023079941A1 (ja) * 2021-11-08 2023-05-11 ソニーグループ株式会社 情報処理装置および情報処理方法

Families Citing this family (131)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10127480B1 (en) 2007-03-09 2018-11-13 R. B. III Associates, Inc. System for automated decoration
KR101891786B1 (ko) * 2011-11-29 2018-08-27 삼성전자주식회사 아이 트래킹 기반의 사용자 기능 운용 방법 및 이를 지원하는 단말기
US9367951B1 (en) * 2012-03-21 2016-06-14 Amazon Technologies, Inc. Creating realistic three-dimensional effects
US20150356655A1 (en) * 2012-05-31 2015-12-10 Matthew Nathan Lehrer System and method for automated design element translation
CN103809737A (zh) * 2012-11-13 2014-05-21 华为技术有限公司 一种人机交互方法及装置
US20140218281A1 (en) 2012-12-06 2014-08-07 Eyefluence, Inc. Systems and methods for eye gaze determination
US20140168054A1 (en) * 2012-12-14 2014-06-19 Echostar Technologies L.L.C. Automatic page turning of electronically displayed content based on captured eye position data
KR101480594B1 (ko) * 2012-12-18 2015-01-08 현대자동차주식회사 시선기반 착신 제어 방법과 이를 위한 이동통신 단말
US8854447B2 (en) * 2012-12-21 2014-10-07 United Video Properties, Inc. Systems and methods for automatically adjusting audio based on gaze point
GB2509323B (en) 2012-12-28 2015-01-07 Glide Talk Ltd Reduced latency server-mediated audio-video communication
WO2014111924A1 (en) 2013-01-15 2014-07-24 Poow Innovation Ltd. Dynamic icons
US9829971B2 (en) 2013-01-21 2017-11-28 Facebook, Inc. Systems and methods of eye tracking control
EP2962175B1 (en) 2013-03-01 2019-05-01 Tobii AB Delay warp gaze interaction
US9864498B2 (en) 2013-03-13 2018-01-09 Tobii Ab Automatic scrolling based on gaze detection
KR102081930B1 (ko) * 2013-03-21 2020-02-26 엘지전자 주식회사 시선 위치를 디텍트하는 디스플레이 디바이스 및 제어 방법
DE102013009568B3 (de) * 2013-06-07 2014-12-11 Audi Ag Verfahren zum blickrichtungsabhängigen Betreiben eines Anzeigesystems und Anzeigesystem sowie dessen Verwendung
JP6044472B2 (ja) * 2013-06-28 2016-12-14 富士ゼロックス株式会社 情報処理装置及びプログラム
CN103338331A (zh) * 2013-07-04 2013-10-02 上海斐讯数据通信技术有限公司 一种采用眼球控制对焦的图像采集系统
KR102065407B1 (ko) 2013-07-11 2020-01-13 엘지전자 주식회사 디지털 디바이스 및 그 제어 방법
US9113036B2 (en) * 2013-07-17 2015-08-18 Ebay Inc. Methods, systems, and apparatus for providing video communications
US9575721B2 (en) 2013-07-25 2017-02-21 Lg Electronics Inc. Head mounted display and method of controlling therefor
KR102086511B1 (ko) * 2013-07-25 2020-03-09 엘지전자 주식회사 헤드 마운티드 디스플레이 및 그 제어 방법
DE102013013698A1 (de) * 2013-08-16 2015-02-19 Audi Ag Verfahren zum Betreiben einer elektronischen Datenbrille und elektronische Datenbrille
KR20150027614A (ko) * 2013-09-04 2015-03-12 엘지전자 주식회사 이동 단말기
JP6115418B2 (ja) 2013-09-11 2017-04-19 富士通株式会社 情報処理装置、方法及びプログラム
US20160224307A1 (en) * 2013-09-20 2016-08-04 Siemens Aktiengesellschaft Device, system having such devices, method for implementing the system and computer program product for implementing the method
EP3063606A4 (en) * 2013-10-30 2017-08-09 Technology Against ALS Communication and control system and method
CN104636051B (zh) * 2013-11-14 2018-04-27 华为技术有限公司 一种用户界面解除锁定的方法及电子设备
US10558262B2 (en) 2013-11-18 2020-02-11 Tobii Ab Component determination and gaze provoked interaction
US10317995B2 (en) 2013-11-18 2019-06-11 Tobii Ab Component determination and gaze provoked interaction
US9971413B2 (en) * 2013-11-27 2018-05-15 Huawei Technologies Co., Ltd. Positioning method and apparatus
WO2015089011A1 (en) * 2013-12-09 2015-06-18 Agco Corporation Method and apparatus for improving user interface visibility in agricultural machines
US20150169048A1 (en) * 2013-12-18 2015-06-18 Lenovo (Singapore) Pte. Ltd. Systems and methods to present information on device based on eye tracking
JP6260255B2 (ja) * 2013-12-18 2018-01-17 株式会社デンソー 表示制御装置およびプログラム
US9633252B2 (en) 2013-12-20 2017-04-25 Lenovo (Singapore) Pte. Ltd. Real-time detection of user intention based on kinematics analysis of movement-oriented biometric data
KR102153435B1 (ko) * 2013-12-20 2020-09-08 엘지전자 주식회사 이동 단말기 및 이의 제어방법
US10180716B2 (en) 2013-12-20 2019-01-15 Lenovo (Singapore) Pte Ltd Providing last known browsing location cue using movement-oriented biometric data
CN105934764A (zh) * 2013-12-23 2016-09-07 眼锁有限责任公司 用于功率高效的虹膜识别的方法和装置
US9836639B2 (en) * 2014-01-10 2017-12-05 Facebook, Inc. Systems and methods of light modulation in eye tracking devices
KR102254169B1 (ko) 2014-01-16 2021-05-20 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
KR20150093013A (ko) * 2014-02-06 2015-08-17 삼성전자주식회사 사용자 단말 장치, 디스플레이 장치 및 그 제어 방법
US9542844B2 (en) * 2014-02-11 2017-01-10 Google Inc. Providing navigation directions in view of device orientation relative to user
JP6343953B2 (ja) * 2014-02-13 2018-06-20 オムロン株式会社 プログラマブル表示器、携帯端末装置、データ処理方法、およびプログラム
US9829972B2 (en) * 2014-03-12 2017-11-28 Lenovo (Singapore) Pte. Ltd. Eye tracking for automatically updating document status
WO2016018488A2 (en) 2014-05-09 2016-02-04 Eyefluence, Inc. Systems and methods for discerning eye signals and continuous biometric identification
US10564714B2 (en) 2014-05-09 2020-02-18 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
US9514784B2 (en) * 2014-05-09 2016-12-06 Lg Electronics Inc. Terminal and operating method thereof
CN104065880A (zh) * 2014-06-05 2014-09-24 惠州Tcl移动通信有限公司 一种基于眼球跟踪技术进行自动拍照的处理方法及系统
US20150358594A1 (en) * 2014-06-06 2015-12-10 Carl S. Marshall Technologies for viewer attention area estimation
CN105204603A (zh) * 2014-06-16 2015-12-30 中兴通讯股份有限公司 一种移动终端拍照方法、装置及移动拍照终端
DE102014211823A1 (de) * 2014-06-20 2015-12-24 Robert Bosch Gmbh Verfahren zur Personenidentifizierung
CN104090657A (zh) * 2014-06-27 2014-10-08 小米科技有限责任公司 控制翻页的方法及装置
WO2016017945A1 (en) * 2014-07-29 2016-02-04 Samsung Electronics Co., Ltd. Mobile device and method of pairing the same with electronic device
US10540907B2 (en) * 2014-07-31 2020-01-21 Intelligent Technologies International, Inc. Biometric identification headpiece system for test taking
WO2016029422A1 (en) 2014-08-29 2016-03-03 Hewlett-Packard Development Company, L.P. Touchscreen gestures
WO2016036862A1 (en) * 2014-09-02 2016-03-10 Tobii Ab Gaze based text input systems and methods
KR102167141B1 (ko) * 2014-10-22 2020-10-19 엘지디스플레이 주식회사 표시장치와 이의 구동방법
KR101637538B1 (ko) * 2014-10-23 2016-07-07 (주)웅진씽크빅 독서 패턴 분석 장치 및 방법
US20160142684A1 (en) * 2014-11-15 2016-05-19 Robert Gruder Camera apparatus and method
US10474228B2 (en) * 2014-11-17 2019-11-12 Yanmar Co., Ltd. Display system for remote control of working machine
US9535497B2 (en) 2014-11-20 2017-01-03 Lenovo (Singapore) Pte. Ltd. Presentation of data on an at least partially transparent display based on user focus
KR101619651B1 (ko) * 2014-11-26 2016-05-10 현대자동차주식회사 운전자 감시장치 및 그의 조명제어방법
JP2016115028A (ja) * 2014-12-12 2016-06-23 富士通株式会社 情報処理装置および情報処理装置の制御方法
US9851790B2 (en) * 2015-02-27 2017-12-26 Lenovo (Singapore) Pte. Ltd. Gaze based notification reponse
CN104754497B (zh) * 2015-04-02 2018-10-16 清华大学 一种视觉注意力驱动的通信连接建立方法
CN104836900A (zh) * 2015-04-02 2015-08-12 来安县新元机电设备设计有限公司 一种移动终端解锁的方法及移动终端
CN106155288B (zh) * 2015-04-10 2019-02-12 北京智谷睿拓技术服务有限公司 信息获取方法、信息获取装置及用户设备
CN104808946A (zh) * 2015-04-29 2015-07-29 天脉聚源(北京)传媒科技有限公司 图像播放控制方法及装置
CN105809101A (zh) * 2015-06-30 2016-07-27 维沃移动通信有限公司 一种眼白纹理识别方法及终端
CN108027929A (zh) * 2015-07-30 2018-05-11 奥兹格·布邓 根据消费者偏好确定并播放所有适销产品的商业广告片的媒体管理系统和方法
CN105128862A (zh) * 2015-08-18 2015-12-09 上海擎感智能科技有限公司 一种车载终端眼球识别控制方法及系统
CN105100503B (zh) * 2015-09-02 2018-06-08 广东欧珀移动通信有限公司 一种驾驶时移动终端的安全便捷使用方法及装置
US9857871B2 (en) 2015-09-04 2018-01-02 Sony Interactive Entertainment Inc. Apparatus and method for dynamic graphics rendering based on saccade detection
US20170094159A1 (en) * 2015-09-24 2017-03-30 The Eye Tribe Method for initiating photographic image capture using eyegaze technology
EP3358443A4 (en) 2015-09-30 2018-08-08 Huawei Technologies Co., Ltd. Method and mobile device for activating eye tracking function
WO2017069324A1 (ko) * 2015-10-22 2017-04-27 엘지전자 주식회사 이동단말기 및 그 제어방법
US10444972B2 (en) 2015-11-28 2019-10-15 International Business Machines Corporation Assisting a user with efficient navigation between a selection of entries with elements of interest to the user within a stream of entries
US10134188B2 (en) * 2015-12-21 2018-11-20 Intel Corporation Body-centric mobile point-of-view augmented and virtual reality
US10198233B2 (en) * 2016-03-01 2019-02-05 Microsoft Technology Licensing, Llc Updating displays based on attention tracking data
EP3424038A4 (en) * 2016-03-04 2019-10-23 Magic Leap, Inc. ABSORBED CURRENT REDUCTION IN AR / VR DISPLAY SYSTEMS
CN105843376A (zh) * 2016-03-07 2016-08-10 乐视移动智能信息技术（北京）有限公司 一种移动终端应用操作方法及移动终端
CN109154723B (zh) 2016-03-25 2021-08-17 奇跃公司 虚拟和增强现实系统和方法
US10372205B2 (en) * 2016-03-31 2019-08-06 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
US10192528B2 (en) 2016-03-31 2019-01-29 Sony Interactive Entertainment Inc. Real-time user adaptive foveated rendering
US10401952B2 (en) 2016-03-31 2019-09-03 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
US10169846B2 (en) 2016-03-31 2019-01-01 Sony Interactive Entertainment Inc. Selective peripheral vision filtering in a foveated rendering system
WO2017180563A1 (en) 2016-04-11 2017-10-19 Carrier Corporation Capturing user intent when interacting with multiple access controls
WO2017180454A1 (en) 2016-04-11 2017-10-19 Carrier Corporation Capturing communication user intent when interacting with multiple access controls
CN109074691B (zh) * 2016-04-11 2022-07-29 开利公司 在与多个访问控制装置交互时捕获个人用户意图
US11341795B2 (en) 2016-04-11 2022-05-24 Carrier Corporation Capturing behavioral user intent when interacting with multiple access controls
WO2017205789A1 (en) 2016-05-27 2017-11-30 Pelz Jeff B System and method for eye tracking
CN105955600B (zh) * 2016-05-30 2019-03-05 维沃移动通信有限公司 一种调节移动终端显示界面的方法和移动终端
US10223067B2 (en) 2016-07-15 2019-03-05 Microsoft Technology Licensing, Llc Leveraging environmental context for enhanced communication throughput
US11076261B1 (en) 2016-09-16 2021-07-27 Apple Inc. Location systems for electronic device communications
US10709867B2 (en) * 2016-11-10 2020-07-14 Ramot At Tel-Aviv University Ltd. Gaze-contingent music reward therapy
CN106920092A (zh) * 2016-12-23 2017-07-04 阿里巴巴集团控股有限公司 一种虚拟资源分配方法、客户端及服务器
US20180225477A1 (en) * 2017-02-07 2018-08-09 International Business Machines Corporation Device display security with user-specified filtering of display contents
CN107197092A (zh) * 2017-05-19 2017-09-22 深圳天珑无线科技有限公司 流量控制方法、装置、存储介质及电子设备
CN107395862B (zh) * 2017-06-27 2021-03-05 Oppo广东移动通信有限公司 来电处理方法、电子装置和计算机可读存储介质
US10616470B2 (en) 2017-08-31 2020-04-07 Snap Inc. Wearable electronic device with hardware secured camera
CN107608514A (zh) * 2017-09-20 2018-01-19 维沃移动通信有限公司 信息处理方法及移动终端
US10484530B2 (en) 2017-11-07 2019-11-19 Google Llc Sensor based component activation
US10732826B2 (en) * 2017-11-22 2020-08-04 Microsoft Technology Licensing, Llc Dynamic device interaction adaptation based on user engagement
EP3503539B1 (en) 2017-12-21 2020-08-12 Axis AB Operation control of battery-powered devices
CN108198553B (zh) * 2018-01-23 2021-08-06 北京百度网讯科技有限公司 语音交互方法、装置、设备和计算机可读存储介质
EP3755204B1 (en) 2018-02-22 2024-04-03 Innodem Neurosciences Eye tracking method and system
CN111867447B (zh) * 2018-03-26 2023-12-05 三星电子株式会社 用于监测用户眼部健康的电子设备及其操作方法
US10928900B2 (en) 2018-04-27 2021-02-23 Technology Against Als Communication systems and methods
US11262839B2 (en) 2018-05-17 2022-03-01 Sony Interactive Entertainment Inc. Eye tracking with prediction and late update to GPU for fast foveated rendering in an HMD environment
US10942564B2 (en) 2018-05-17 2021-03-09 Sony Interactive Entertainment Inc. Dynamic graphics rendering based on predicted saccade landing point
CN108829242A (zh) * 2018-05-22 2018-11-16 深圳奥比中光科技有限公司 智能终端及其非触控式操作方法
JP2021140195A (ja) * 2018-05-31 2021-09-16 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
WO2020018938A1 (en) 2018-07-19 2020-01-23 Magic Leap, Inc. Content interaction driven by eye metrics
CN109101110A (zh) * 2018-08-10 2018-12-28 北京七鑫易维信息技术有限公司 一种操作指令执行方法、装置、用户终端及存储介质
KR102100397B1 (ko) * 2018-08-28 2020-04-13 서미현 디지털 악보 스트리밍 시스템
US10719127B1 (en) * 2018-08-29 2020-07-21 Rockwell Collins, Inc. Extended life display by utilizing eye tracking
US11158206B2 (en) 2018-09-20 2021-10-26 International Business Machines Corporation Assisting learners based on analytics of in-session cognition
CN109618200A (zh) * 2018-12-24 2019-04-12 上海闻泰电子科技有限公司 Vr视频播放控制方法与装置
US10928898B2 (en) 2019-01-03 2021-02-23 International Business Machines Corporation Augmented reality safety
US10921883B2 (en) 2019-01-17 2021-02-16 International Business Machines Corporation Eye tracking for management of mobile device
CN110534073A (zh) * 2019-07-30 2019-12-03 华为技术有限公司 一种屏幕亮度调节方法及装置
JP2021131441A (ja) * 2020-02-19 2021-09-09 キヤノン株式会社 電子機器
CN111399626B (zh) * 2020-03-05 2022-01-04 Tcl移动通信科技（宁波）有限公司 一种屏幕控制方法、装置、存储介质及移动终端
JP7463155B2 (ja) * 2020-03-25 2024-04-08 キヤノン株式会社 撮像制御装置およびその制御方法
CN113626778B (zh) * 2020-05-08 2024-04-02 百度在线网络技术（北京）有限公司 用于唤醒设备的方法、装置、电子设备和计算机存储介质
CN111694434B (zh) * 2020-06-15 2023-06-30 掌阅科技股份有限公司 电子书评论信息的交互展示方法、电子设备及存储介质
KR20230013772A (ko) * 2021-07-20 2023-01-27 주식회사 비주얼캠프 콘텐츠 표시 장치 및 방법
US11776166B2 (en) * 2021-10-08 2023-10-03 Sony Interactive Entertainment LLC Discrimination between virtual objects and real objects in a mixed reality scene
WO2023129380A1 (en) * 2021-12-30 2023-07-06 Snap Inc. Enhanced reading with ar glasses
US11861801B2 (en) 2021-12-30 2024-01-02 Snap Inc. Enhanced reading with AR glasses
CN116225209A (zh) * 2022-11-03 2023-06-06 溥畅(杭州)智能科技有限公司 一种基于眼动追踪的人机交互方法及系统

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07146433A (ja) * 1993-11-25 1995-06-06 Canon Inc 視線検出機能付光学装置及びカメラ
JPH11136551A (ja) * 1997-10-28 1999-05-21 Kyocera Corp 液晶表示機能付き電子スチルカメラ
JP2000020534A (ja) * 1998-06-30 2000-01-21 Sharp Corp 電子ブック装置
JP2004032305A (ja) * 2002-06-25 2004-01-29 Matsushita Electric Ind Co Ltd 画像通信携帯端末機
JP2004135174A (ja) * 2002-10-11 2004-04-30 Sharp Corp 携帯型電子機器
JP2007136000A (ja) * 2005-11-21 2007-06-07 Nippon Telegr & Teleph Corp <Ntt> 視線検出装置、視線検出方法、および視線検出プログラム
JP2008219286A (ja) * 2007-03-01 2008-09-18 Sharp Corp スライドショー装置
JP2009251658A (ja) * 2008-04-01 2009-10-29 Fujifilm Corp 携帯型電子装置及びその制御方法
US20100079508A1 (en) * 2008-09-30 2010-04-01 Andrew Hodge Electronic devices with gaze detection capabilities
JP2010271339A (ja) * 2009-05-19 2010-12-02 Hitachi Ltd 映像表示装置
JP2011059798A (ja) * 2009-09-07 2011-03-24 Nec Personal Products Co Ltd 自動販売機及びその制御方法
JP2011076387A (ja) * 2009-09-30 2011-04-14 Fujitsu Frontech Ltd 省電力モードを有する端末装置における省電力制御装置、方法、及びプログラム
JP2011113108A (ja) * 2009-11-24 2011-06-09 Nec Access Technica Ltd 携帯電子表示装置、携帯電子表示装置の制御方法、及び携帯電子表示装置の制御プログラム

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5850211A (en) 1996-06-26 1998-12-15 Sun Microsystems, Inc. Eyetrack-driven scrolling
US6665805B1 (en) * 1999-12-27 2003-12-16 Intel Corporation Method and apparatus for real time monitoring of user presence to prolong a portable computer battery operation time
JP2001228848A (ja) * 2000-02-15 2001-08-24 Matsushita Electric Ind Co Ltd 視線検出機能を有する表示素子
US20070078552A1 (en) * 2006-01-13 2007-04-05 Outland Research, Llc Gaze-based power conservation for portable media players
GB0117543D0 (en) * 2001-07-18 2001-09-12 Hewlett Packard Co Document viewing device
US20030052903A1 (en) * 2001-09-20 2003-03-20 Weast John C. Method and apparatus for focus based lighting
JP2004213486A (ja) * 2003-01-07 2004-07-29 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
US20060192775A1 (en) * 2005-02-25 2006-08-31 Microsoft Corporation Using detected visual cues to change computer system operating states
FR2887655B1 (fr) * 2005-06-27 2007-10-05 Archos Sa Procede et dispositif d'aide a la recherche d'un element dans une liste par defilement accelere sur un dispositif d'affichage
EP1943583B1 (en) * 2005-10-28 2019-04-10 Tobii AB Eye tracker with visual feedback
US7429108B2 (en) * 2005-11-05 2008-09-30 Outland Research, Llc Gaze-responsive interface to enhance on-screen user reading tasks
US7667686B2 (en) * 2006-02-01 2010-02-23 Memsic, Inc. Air-writing and motion sensing input for portable devices
US8225229B2 (en) * 2006-11-09 2012-07-17 Sony Mobile Communications Ab Adjusting display brightness and/or refresh rates based on eye tracking
US8340365B2 (en) * 2006-11-20 2012-12-25 Sony Mobile Communications Ab Using image recognition for controlling display lighting
US8159551B2 (en) 2007-09-26 2012-04-17 Sony Ericsson Mobile Communications Ab Portable electronic equipment with automatic control to keep display turned on and method
TWI379655B (en) * 2007-12-21 2012-12-21 Wistron Corp Digital photo frame with power saving function and related power saving method
TWI450178B (zh) * 2008-04-25 2014-08-21 Wistron Corp 驅動電子裝置顯示頁面捲動之方法與裝置
US20090273562A1 (en) * 2008-05-02 2009-11-05 International Business Machines Corporation Enhancing computer screen security using customized control of displayed content area
US8788977B2 (en) * 2008-11-20 2014-07-22 Amazon Technologies, Inc. Movement recognition as input mechanism
KR101351487B1 (ko) 2009-08-13 2014-01-14 엘지전자 주식회사 휴대 단말기 및 그 제어방법
US8762846B2 (en) * 2009-11-16 2014-06-24 Broadcom Corporation Method and system for adaptive viewport for a mobile device based on viewing angle
KR101626301B1 (ko) * 2010-05-28 2016-06-01 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
KR101729023B1 (ko) * 2010-10-05 2017-04-21 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US8717393B2 (en) * 2010-11-03 2014-05-06 Blackberry Limited System and method for controlling a display of a mobile device
US8594374B1 (en) * 2011-03-30 2013-11-26 Amazon Technologies, Inc. Secure device unlock with gaze calibration
US20130057573A1 (en) * 2011-09-02 2013-03-07 DigitalOptics Corporation Europe Limited Smart Display with Dynamic Face-Based User Preference Settings
US8643680B2 (en) * 2011-04-08 2014-02-04 Amazon Technologies, Inc. Gaze-based content display
US8687840B2 (en) * 2011-05-10 2014-04-01 Qualcomm Incorporated Smart backlights to minimize display power consumption based on desktop configurations and user eye gaze
US20120293528A1 (en) * 2011-05-18 2012-11-22 Larsen Eric J Method and apparatus for rendering a paper representation on an electronic display
US8970452B2 (en) * 2011-11-02 2015-03-03 Google Inc. Imaging method
US8929589B2 (en) * 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
KR101891786B1 (ko) * 2011-11-29 2018-08-27 삼성전자주식회사 아이 트래킹 기반의 사용자 기능 운용 방법 및 이를 지원하는 단말기

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07146433A (ja) * 1993-11-25 1995-06-06 Canon Inc 視線検出機能付光学装置及びカメラ
JPH11136551A (ja) * 1997-10-28 1999-05-21 Kyocera Corp 液晶表示機能付き電子スチルカメラ
JP2000020534A (ja) * 1998-06-30 2000-01-21 Sharp Corp 電子ブック装置
JP2004032305A (ja) * 2002-06-25 2004-01-29 Matsushita Electric Ind Co Ltd 画像通信携帯端末機
JP2004135174A (ja) * 2002-10-11 2004-04-30 Sharp Corp 携帯型電子機器
JP2007136000A (ja) * 2005-11-21 2007-06-07 Nippon Telegr & Teleph Corp <Ntt> 視線検出装置、視線検出方法、および視線検出プログラム
JP2008219286A (ja) * 2007-03-01 2008-09-18 Sharp Corp スライドショー装置
JP2009251658A (ja) * 2008-04-01 2009-10-29 Fujifilm Corp 携帯型電子装置及びその制御方法
US20100079508A1 (en) * 2008-09-30 2010-04-01 Andrew Hodge Electronic devices with gaze detection capabilities
JP2010271339A (ja) * 2009-05-19 2010-12-02 Hitachi Ltd 映像表示装置
JP2011059798A (ja) * 2009-09-07 2011-03-24 Nec Personal Products Co Ltd 自動販売機及びその制御方法
JP2011076387A (ja) * 2009-09-30 2011-04-14 Fujitsu Frontech Ltd 省電力モードを有する端末装置における省電力制御装置、方法、及びプログラム
JP2011113108A (ja) * 2009-11-24 2011-06-09 Nec Access Technica Ltd 携帯電子表示装置、携帯電子表示装置の制御方法、及び携帯電子表示装置の制御プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
板倉 直明: "特集２ 各種原理を応用した入力機器", 月刊ディスプレイ, vol. 第12巻第4号（通巻131号）, JPN6016038129, 1 April 2006 (2006-04-01), JP, pages 29 - 36, ISSN: 0003413905 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015011352A (ja) * 2013-06-28 2015-01-19 楽天株式会社 表示画面を備えた端末装置を用いた周囲雑音による注意散漫の低減
US10497096B2 (en) 2013-09-17 2019-12-03 Nokia Technologies Oy Determination of a display angle of a display
JP2016539434A (ja) * 2013-09-17 2016-12-15 ノキア テクノロジーズ オサケユイチア 操作の決定
US9947080B2 (en) 2013-09-17 2018-04-17 Nokia Technologies Oy Display of a visual event notification
US10013737B2 (en) 2013-09-17 2018-07-03 Nokia Technologies Oy Determination of an operation
US11410276B2 (en) 2013-09-17 2022-08-09 Nokia Technologies Oy Determination of an operation
JP2015210716A (ja) * 2014-04-28 2015-11-24 富士通株式会社 目検出装置、目検出方法及び目検出プログラム
JP2016010237A (ja) * 2014-06-24 2016-01-18 Kddi株式会社 監視装置、端末装置、通信システムおよび監視プログラム
JP7099444B2 (ja) 2017-04-03 2022-07-12 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
JPWO2018186031A1 (ja) * 2017-04-03 2020-04-23 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2018107816A (ja) * 2018-02-08 2018-07-05 株式会社ニコン 電子機器
US10936057B2 (en) 2019-04-09 2021-03-02 Samsung Electronics Co., Ltd. System and method for natural three-dimensional calibration for robust eye tracking
JP2019135881A (ja) * 2019-05-10 2019-08-15 富士ゼロックス株式会社 表示制御装置およびプログラム
US11126260B2 (en) 2019-09-27 2021-09-21 Baidu Online Network Technology (Beijing) Co., Ltd. Control method and apparatus of intelligent device, and storage medium
JP2021056987A (ja) * 2019-09-27 2021-04-08 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド スマートデバイスの制御方法、スマートデバイスの制御装置、電子機器及び記憶媒体
JP7231535B2 (ja) 2019-09-27 2023-03-01 バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド スマートデバイスの制御方法、スマートデバイスの制御装置、電子機器及び記憶媒体
WO2023079941A1 (ja) * 2021-11-08 2023-05-11 ソニーグループ株式会社 情報処理装置および情報処理方法

Also Published As

Publication number Publication date
CN103135762B (zh) 2017-06-06
US9092051B2 (en) 2015-07-28
US20130135196A1 (en) 2013-05-30
US20150316983A1 (en) 2015-11-05
EP2600220B1 (en) 2019-07-03
JP6138465B2 (ja) 2017-05-31
EP2600220A2 (en) 2013-06-05
KR20130059768A (ko) 2013-06-07
EP2600220A3 (en) 2015-05-27
KR101891786B1 (ko) 2018-08-27
CN103135762A (zh) 2013-06-05

Similar Documents

Publication Publication Date Title
JP6138465B2 (ja) 視線追跡に基づくユーザ機能運用方法及びこれを支援する端末機
EP3179474B1 (en) User focus activated voice recognition
AU2013213707B2 (en) Power saving control method and electronic device supporting the same
US11568868B2 (en) Voice control method and apparatus, and computer storage medium
CN107103906B (zh) 一种唤醒智能设备进行语音识别的方法、智能设备和介质
CN112740626B (zh) 用于通过使多个电子装置协同工作来提供通知的方法和设备
CN105208191B (zh) 模式切换方法及装置
CN110730115B (zh) 语音控制方法及装置、终端、存储介质
US20190370525A1 (en) Fingerprint recognition method, electronic device, and storage medium
CN104506586A (zh) 一种通过手势调节音量的智能耳机系统及调节方法
WO2015043200A1 (en) Method and apparatus for controlling applications and operations on a terminal
CN114125143B (zh) 一种语音交互方法及电子设备
WO2023088209A1 (zh) 一种跨设备音频数据传输的方法和电子设备
US10088897B2 (en) Method and electronic device for improving performance of non-contact type recognition function
CN114422686B (zh) 参数调整方法及相关装置
US20230216702A1 (en) Processing method, device and storage medium
CN113039518B (zh) 播放控制方法和装置、计算机可读存储介质、电子设备
CN113894783A (zh) 机器人的交互方法、装置、设备及计算机可读存储介质
KR102093353B1 (ko) 서비스 제공 장치 및 방법
WO2023005844A1 (zh) 设备唤醒方法、相关装置及通信系统
WO2024032014A1 (zh) 降低设备功耗方法、电子设备及其介质
CN117014547A (zh) 一种设备音量控制方法及相关装置
CN104519394B (zh) 节目播放方法及装置
CN117785312A (zh) 音频播放方法、电子设备以及存储介质
CN116030804A (zh) 一种语音唤醒方法、语音唤醒装置及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160912

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161004

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170426

R150 Certificate of patent or registration of utility model

Ref document number: 6138465

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250