JP2015508539A - 表示装置及びその制御方法 - Google Patents

表示装置及びその制御方法 Download PDF

Info

Publication number
JP2015508539A
JP2015508539A JP2014551200A JP2014551200A JP2015508539A JP 2015508539 A JP2015508539 A JP 2015508539A JP 2014551200 A JP2014551200 A JP 2014551200A JP 2014551200 A JP2014551200 A JP 2014551200A JP 2015508539 A JP2015508539 A JP 2015508539A
Authority
JP
Japan
Prior art keywords
pointer
screen
movement
display device
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014551200A
Other languages
English (en)
Other versions
JP2015508539A5 (ja
Inventor
ギュ ペ，デ
ギュ ペ，デ
ジョン ユ，ホ
ジョン ユ，ホ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2015508539A publication Critical patent/JP2015508539A/ja
Publication of JP2015508539A5 publication Critical patent/JP2015508539A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Position Input By Displaying (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

表示装置は、ユーザ映像を取得する映像取得部と、前記ユーザ映像からユーザの動きを感知する映像処理部と、前記感知されたユーザの動きに対応して、前記表示装置の画面に表示されるポインタが目標位置に移動するように制御し、前記目標位置によって前記画面がスクロールされるように制御する制御部と、を含む。

Description

本発明は、画面上にポインタを表示し、ユーザの動きによってポインタを移動させる表示装置及びその制御方法に関する。
一般に、表示装置は、映像信号を処理して映像を表示する装置で、表示装置の代表としてＴＶを挙げることができる。最近では、スマートＴＶの発展と伴って、ＴＶを介して、ＴＶ番組の他、ＶＯＤ（Ｖｉｄｅｏ Ｏｎ Ｄｅｍａｎｄ）、ゲーム、映像通話、アプリケーションなどのコンピュータ機能もユーザに提供することが可能になった。
ユーザ便宜のための遠隔制御装置としてはリモコンが用いられるが、ユーザは、ＴＶと無線で接続されるリモコンを用いて、ＴＶのチャネルを切り替えたり、ボリュームを調節したりすることができる。また、ユーザは、リモコンに代えて、ＴＶと無線で接続されるスマートフォン、ＰＣなどの電子機器を用いてＴＶを制御することもできる。また、遠隔制御技術の発展に伴って、ＴＶにも、ユーザの音声を認識したり、ユーザの動きによるジェスチャを認識する機能が備えられている。
一方、スマートＴＶは、ユーザがＴＶを制御するようにＧＵＩ（Ｇｒａｐｈｉｃ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を支援し、ユーザによる遠隔制御装置などの操作に応じて、ＴＶ画面に表示されるポインタが移動する。これによって、ユーザは、ＴＶ画面に表示されるチャネルボタン又はボリュームボタンなどの位置にポインタを移動させてチャネルボタン又はボリュームボタンなどを選択して、ＴＶのチャネル、ボリュームなどを調節することができる。
ここに開示される実施例の一側面は、ユーザの動きに対応してポインタを移動させ、該ポインタが少なくとも一つの移動領域で移動する表示装置及びその制御方法を提供する。
また、ここに開示される実施例の他の側面は、ポインタの位置及び移動方向によってホイール機能を実行する表示装置及びその制御方法を提供する。
本発明の追加の特徴及び利点は、一部は下記に説明され、一部は下記から明らかになり、又は、発明の実施から学習可能となるであろう。本発明の上記目的及び他の利点は、図面と明細書及びその請求項で特別に指し示す構造により実現及び達成されるであろう。
一実施例によれば、表示装置は、映像取得部、映像処理部及び制御部を備えることができる。前記映像取得部はユーザ映像を取得することができる。前記映像処理部は、前記ユーザ映像からユーザの動きを感知することができる。前記制御部は、前記感知されたユーザの動きに対応して、前記表示装置の画面に表示されるポインタが目標位置に移動するように制御することができ、また、前記目標位置によって前記画面がスクロールされるように制御することができる。
さらに、前記制御部は、前記ポインタが前記画面の基準領域で前記目標位置が基準時間を経過する時間の間に位置すると、前記目標位置によって前記画面がスクロールされるように制御することもできる。
また、前記制御部は、前記ポインタの位置を固定するように構成され、前記目標位置によって前記画面がスクロールされるように制御する。
他の実施例によれば、表示装置は、映像取得部、映像処理部及び制御部を備えることができる。前記映像取得部は、ユーザ映像を取得することができ、前記映像処理部は、前記ユーザ映像からユーザの動きを感知することができる。また、前記制御部は、前記感知されたユーザの動きに対応して、前記表示装置の画面に表示されるポインタが目標位置に移動するように制御することができる。
また、前記目標位置が前記ポインタの位置する少なくとも一つの移動領域を離れると、前記制御部は、前記ポインタが少なくとも一つの他の移動領域へ移動するように制御することができる。
また、前記目標位置が前記少なくとも一つの移動領域の外側部分に位置する複数の基準領域のうち一つの基準領域に位置すると、前記制御部は、前記目標位置が位置する前記少なくとも一つの基準領域の位置によって前記ポインタの移動方向を決定する。
また、前記目標位置が前記少なくとも一つの移動領域の内部に位置する基準領域の縁上に位置すると、前記制御部は、前記基準領域の縁の位置によって前記ポインタの移動方向を決定する。
他の実施例によれば、表示装置は、映像取得部、映像処理部及び制御部を備える。前記映像取得部はユーザ映像を取得し、前記映像処理部は、前記ユーザ映像からユーザの動きを感知することができる。また、前記制御部は、前記感知されたユーザの動きに対応して、前記表示装置の画面に表示されるポインタが前記画面の縁上の目標位置に移動するように制御し、さらに、前記ポインタが前記画面の縁上に位置すると、前記画面のページが移動するようにすることができる。
また、前記制御部は、前記ポインタが基準時間を経過する時間の間に前記画面の縁上に位置すると、前記ポインタの位置によって前記画面のページが移動するように制御することもできる。
また、前記ポインタが前記画面の左側又は上側の縁上に位置すると、前記制御部は、前記画面のページが前のページに移動するように制御し、前記ポインタが前記画面の右側又は下側の縁上に位置すると、前記画面のページが次のページに移動するように制御することもできる。
他の実施例によれば、表示装置は、映像取得部、映像処理部及び制御部を備える。前記映像取得部はユーザ映像を取得することができ、前記映像処理部は、前記ユーザ映像からユーザの動きを感知することができる。また、前記制御部は、前記感知されたユーザの動きに対応して、前記表示装置の画面に表示されるポインタが第１基準領域における目標位置に移動するように制御し、また、前記ポインタが前記画面の第１基準領域に位置すると、前記第１基準領域に少なくとも一つのボタンが表示されるように制御することができる。
また、前記少なくとも一つのボタンが選択された後、前記ポインタが前記画面の第２基準領域に位置すると、前記制御部は、前記目標位置によって前記画面がズームされるように制御することもできる。
また、前記ポインタが基準時間を経過する時間の間に前記画面の第２基準領域に位置すると、前記制御部は、前記目標位置によって前記画面がズームされるように制御することもできる。
また、前記制御部は、前記ポインタの位置を固定し、前記目標位置によって前記画面がズームされるように制御することもできる。
一実施例によれば、表示装置の制御方法は、ユーザ映像からユーザの動きを感知するステップ、前記感知されたユーザの動きに対応して、画面に表示されるポインタを目標位置に移動させるステップ、及び前記目標位置が少なくとも一つの移動領域を離れると、前記ポインタを少なくとも一つの他の移動領域に移動させるステップと、を含む。
また、前記ポインタを少なくとも一つの他の移動領域に移動させるステップは、前記目標位置が前記少なくとも一つの移動領域の外側に位置する複数の基準領域のうち少なくとも一つの基準領域に位置すると、前記少なくとも一つの基準領域の位置によって前記ポインタの移動方向を決定する。
また、前記ポインタを少なくとも一つの他の移動領域に移動させるステップは、前記目標位置が前記少なくとも一つの移動領域の内部に位置する基準領域の縁上に位置すると、前記縁の位置によって前記ポインタの移動方向を決定する。
他の実施例によれば、表示装置の制御方法は、ユーザ映像からユーザの動きを感知するステップ、前記感知されたユーザの動きに対応して、画面に表示されるポインタを前記画面の縁上の目標位置に移動させるステップ、及び前記ポインタが前記画面の縁上に位置すると、前記画面のページを移動させるステップを含む。
また、前記画面のページを移動するステップは、前記ポインタが基準時間を経過する時間の間に前記画面の縁上に位置すると、前記ポインタの位置によって前記画面のページを移動させる。
他の実施例によれば、表示装置の制御方法は、ユーザ映像からユーザの動きを感知するステップ、前記感知された前記ユーザの動きに対応して、画面に表示されるポインタを目標位置に移動させるステップ、及び前記目標位置によって前記画面をスクロールするステップを含む。
また、前記画面をスクロールするステップは、前記ポインタの位置を固定することを含む。
他の実施例によれば、表示装置の制御方法は、ユーザ映像からユーザの動きを感知するステップ、前記感知されたユーザの動きに対応して、画面に表示されるポインタを第１基準領域における目標位置に移動させるステップ、前記ポインタが前記画面の第１基準領域に位置すると、前記第１基準領域に少なくとも一つのボタンを表示するステップ、及び前記少なくとも一つのボタンが選択された後、前記ポインタが基準時間を経過する時間の間に前記画面の第２基準領域に位置すると、他の目標位置によって前記画面をズームするステップを含む。
また、前記画面をズームするステップは、前記ポインタの位置を固定することを含む。
上述したように、ポインタが少なくとも一つの移動領域で移動し、目標位置が少なくとも一つの移動領域を離れると、前記ポインタを少なくとも一つの他の移動領域に速かに移動させるため、ユーザが表示装置を操作するためにポインタを移動させる労力や時間を軽減することができる。また、ポインタの位置及び移動方向によってホイール機能を実行するため、表示装置にマウスなどの周辺機器を連結しない場合にも、ユーザの簡単な動きによってページスクロール、ホイールスクロール、及びズーム機能などを実行することができる。
実施例の上記の及び／又は他の側面は、添付の図面と併せて説明される実施例に関する下記の説明から明らかになると共により容易に理解されるであろう。
一実施例に係る表示装置の外観を示す正面図である。 一実施例に係る図１の表示装置の構成を示すブロック図である。 一実施例に係る図１の表示装置のユーザの動きを感知する方法を示すフローチャートである。 一実施例に係る図１の表示装置においてポインタを移動させる一例を示す図である。 一実施例に係る図１の表示装置のポインタを移動する方法を示すフローチャートである。 一実施例に係る図１の表示装置においてポインタを移動領域で移動させる一例を示す図である。 一実施例に係る図１の表示装置においてポインタのジャンプ移動方向を決定する一例を示す図である。 一実施例に係る図１の表示装置においてポインタのジャンプ移動方向を決定する他の例を示す図である。 一実施例に係る図１の表示装置においてポインタがジャンプ移動する場合のグラフィック効果を示す図である。 一実施例に係る図１の表示装置においてポインタがジャンプ移動する場合のグラフィック効果を示す図である。 一実施例に係る図１の表示装置の画面のページを移動させる方法を示すフローチャートである。 一実施例に係る図１の表示装置においてポインタが画面の縁上に位置する一例を示す図である。 一実施例に係る図１の表示装置において画面のページが移動する場合のグラフィック効果を示す図である。 一実施例に係る図１の表示装置において画面のページが移動する場合のグラフィック効果を示す図である。 一実施例に係る図１の表示装置の画面をスクロールする方法を示すフローチャートである。 一実施例に係る図１の表示装置においてポインタが基準領域に位置する一例を示す図である。 一実施例に係る表示装置において画面がスクロールされる場合のグラフィック効果を示す図である。 一実施例に係る表示装置において画面がスクロールされる場合のグラフィック効果を示す図である。 一実施例に係る図１の表示装置のボタンが選択された状態でホイールスクロール機能を実行する方法を示すフローチャートである。 一実施例に係る図１の表示装置においてポインタが頻繁に位置しない第１基準領域を示す図である。 一実施例に係る図１の表示装置において画面に表示されるボタンを示す図である。 一実施例に係る図１の表示装置においてポインタのズーム機能が実行される一例を示す図である。 一実施例に係る図１の表示装置においてポインタのズーム機能が実行される一例を示す図である。
以下、添付の図面を参照して実施例を詳しく説明する。図面中、同一の構成要素には同一の参照符号を付する。
図１は、一実施例に係る表示装置の外観を示す正面図である。図１を参照すると、表示装置１の前面には映像が表示される画面５１が設けられている。表示装置１の上端にはイメージセンサー６１が取り付けられており、イメージセンサー６１は表示装置１の前方に対する映像を取得する。実施例によれば、イメージセンサー６１は、デジタル映像データを取得するＣＭＯＳセンサー、又はＣＣＤセンサーなどとすることができる。また、イメージセンサー６１は、アナログ映像データを取得するカメラ、及びアナログ映像データをデジタル映像データに変換するアナログ−デジタル変換器などで構成することができる。イメージセンサー６１は、表示装置１の上端に内蔵されてもよく、外装品として表示装置１の上端に取り付けられてもよい。
図２は、一実施例に係る表示装置の構成を示すブロック図である。図２を参照すると、表示装置１は、放送受信部１０１、信号処理部１０２、ディスプレイ部１０３、コンテンツ生成部１０４、映像取得部１０５、映像処理部１０６、メモリ部１０７、及び制御部１０８を備えている。
放送受信部１０１は放送信号を受信する。実施例によれば、放送信号は、映像信号、音声信号及びデータ信号のうち少なくとも一つを含むもので、電波として送出される地上波放送信号であってもよく、ケーブルを通して送出されるケーブル放送信号であってもよく、衛星を介して送出される衛星放送信号であってもよい。
信号処理部１０２は、受信された信号を処理して映像データ及び音声データに復元する。例えば、信号処理部１０２は、受信された放送信号に対してデコーティング作業又はスケーリング作業などの処理作業を行う。そして、信号処理部１０２は、表示装置１の画面５１にポインタが表示され得るように映像データを処理する。また、信号処理部１０２は、ＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを生成して表示装置１の画面５１に共に表示されるようにする。
ディスプレイ部１０３は、受信された映像データに基づいて表示装置１の画面５１に映像、ポインタ、及びＵＩなどを表示する。実施例によれば、画面５１に表示されるポインタ１１（図４）は、ユーザの手の位置と対応する位置に表示される。ディスプレイ部１０３は、例えば、ＣＲＴ、ＬＣＤ、ＰＤＰなどの様々な形態にすることができる。
コンテンツ生成部１０４は、表示装置１に保存されたデータ、又はネットワークを介して接続されたサーバーに保存されているデータに基づいてコンテンツ信号を生成する。実施例によれば、コンテンツは、映画、ＴＶ番組、他の類型の動画、ゲーム、漫画、文書、又はイメージなどを含む。コンテンツ信号は信号処理部１０２によって映像データ及び音声データに復元される。復元された映像データはディスプレイ部１０３によって表示装置１の画面５１に表示することができる。
映像取得部１０５は、イメージセンサー６１を駆動して表示装置１の前方に位置しているユーザ映像を取得する。映像取得部１０５で取得したユーザ映像はフレーム単位の映像データとして映像処理部１０６に送信される。
映像処理部１０６は、ユーザ映像を分析してユーザの動きを感知する。ユーザ映像を分析するために、実施例によれば、映像処理部１０６は、ユーザ映像において動きが存在する領域の動きベクトルを検出する。動きベクトルを検出する方法は、周知の様々な方法とすればよく、一例として、映像処理部１０６は、連続する２つの映像フレームの差分演算を用いて動きベクトルを検出することができる。
実施例によれば、ユーザは、大きくて自然な動きを表現できるように手で動きを表現することができる。以下、実施例において、ユーザの手の動きを感知する場合について説明する。しかし、他の実施例によって手の動きに代えて又は加えて他の形態の動きが用いられてもよいことが理解できる。
映像処理部１０６は、手と手以外の身体部位の動きを区別するために、動きベクトルを検出するための領域の大きさを手の大きさに制限し、動きベクトルが検出される領域が２つ以上であれば、手の大きさに該当しない領域を手以外の身体部位と見なすことができる。
また、映像処理部１０６は、検出された動きベクトルの大きさとあらかじめ定められた臨界値とを比較し、比較の結果、検出された動きベクトルの大きさがあらかじめ定められた臨界値よりも大きいと、検出された動きベクトルが有効であると判断できる。これによって、映像処理部１０６は、ユーザの手が所定の範囲よりも大きい範囲で動いた場合のみを有効な動きと感知することができる。
映像処理部１０６は、有効な動きベクトルを分析してユーザの手の動きの大きさ及び方向を決定する。そのために、映像処理部１０６は動きベクトルを垂直成分と水平成分とに区別することができる。ここで、垂直成分は座標系においてＹ軸成分に該当し、水平成分は座標系においてＸ軸成分に該当する。そして、映像処理部１０６は、垂直成分及び水平成分の大きさを算出して、ユーザの手の動きの大きさを決定することができる。また、映像処理部１０６は、垂直成分及び水平成分の和からユーザの手の動きの方向を決定することができる。
メモリ部１０７には、表示装置１を駆動するための制御プログラムと、制御プログラムの実行によって発生するデータが格納される。実施例によって、メモリ部１０７は、ＥＥＰＲＯＭ、ＥＰＲＯＭ、フラッシュメモリなどの不揮発性メモリ機器のいずれか一つとすることができる。
制御部１０８は、制御プログラムによって表示装置１の動作全般を制御する。制御部１０８は、ユーザ映像を分析し、ユーザの手２１の位置と対応する位置にポインタ１１が表示されるようにする。そして、制御部１０８は、ユーザの手２１の動きに対応して、画面５１に表示されるポインタ１１が目標位置に移動するようにする。そして、制御部１０８は、ポインタ１１の位置を分析して、ポインタ１１が画面５１の縁上に位置しているのか、又は、現在ポインタ１１の位置を基準にして一定の範囲の基準領域に位置しているのかなどを判断することができる。
以下では、一実施例に係る表示装置１の制御方法を詳しく説明する。
図３は、一実施例に係る図１の表示装置のユーザの動きを感知する方法を示すフローチャートである。図３を参照すると、動作２０１において、映像取得部１０５は表示装置１の前方に位置しているユーザ映像を取得する。
次に、動作２０２において、映像処理部１０６は、取得されたユーザ映像において動きが存在する領域の動きベクトルを検出する。このとき、ユーザの動きは、上述した通り、ユーザの手２１の動きであると好ましい。
次に、動作２０３において、映像処理部１０６は、検出された動きベクトルの大きさをあらかじめ定められた臨界値と比較し、検出された動きベクトルの大きさがあらかじめ定められた臨界値よりも大きいか否か判断する。そして、動作２０４において、映像処理部１０６は、検出された動きベクトルの大きさがあらかじめ定められた臨界値よりも大きいと、動きベクトルを分析してユーザの手２１の動きの大きさ及び方向を決定する。
図４は、一実施例に係る図１の表示装置においてポインタの移動を示す図である。図４を参照すると、ユーザの手２１が動く場合、イメージセンサー６１は、ユーザの手２１が動く映像を取得する。そして、映像処理部１０６は、取得されたユーザ映像からユーザの手２１の動きを感知する。一例として、映像処理部１０６は、ユーザの手２１の動きの水平方向の大きさｍＸ、及び垂直方向の大きさｍＹを感知することができる。
そして、制御部１０８は、ユーザの手２１の動きに対応してポインタ１１の目標位置を算出する。一例として、制御部１０８は、ポインタ１１を現在位置から目標位置まで移動するための水平方向の大きさｎＸ及び垂直方向の大きさｎＹを算出することができる。このとき、水平方向において右側に、又は垂直方向において上側に移動する場合に対する大きさを正の値と定義し、水平方向において左側に、又は垂直方向において下側に移動する場合に対する大きさを負の値と定義する。
そして、制御部１０８は、ユーザの手２１の動きに対応して、現在画面５１に表示されているポインタ１１が目標位置に移動するように制御する。ここで、ユーザの手２１の位置は一般的にユーザの手の平の中心２２に関連し、ポインタ１１の位置は一般的にポインタ１１の左側上端の縁の位置１２に関連する。
図４ではポインタ１１を矢印の形態で表しているが、ポインタ１１の形態は矢印に限定されず、ペン、人間の手、又は砂時計などの様々な形態で表してもよい。
図５は、一実施例に係る図１の表示装置のポインタを移動する方法を示すフローチャートである。図５を参照すると、動作３０１において、映像処理部１０６はユーザの動きを感知する。
次に、動作３０２において、制御部１０８は、感知されたユーザの動きに応じて画面５１上のポインタ１１が目標位置に移動するように制御する。そして、制御部１０８は、ポインタ１１があらかじめ定められた少なくとも一つの移動領域でのみ移動するように制御することもできる。ここで、ポインタ１１が少なくとも一つの移動領域でのみ移動する場合をポインタ１１のジャンプモードと、ポインタ１１が画面５１の全体位置で移動する場合をポインタ１１の自由モードと定義することができる。そして、ジャンプモードでのポインタ１１の形態と自由モードでのポインタ１１の形態を別々にして表示することもできる。
そして、制御部１０８は、ポインタ１１をジャンプモードで動作させるに先立ってまず、表示装置１がターンオン（ｔｕｒｎ−ｏｎ）されて基準時間が経過するとポインタ１１を自由モードで動作させる。そして、ポインタ１１が自由に移動してからあらかじめ定められた少なくとも一つの移動領域に位置すると、その時点からポインタ１１をジャンプモードで動作させる。
ポインタ１１のジャンプモードにおいて、制御部１０８は、ポインタ１１の移動速度が基本速度よりも遅くなるように制御することができる。また、制御部１０８は、ユーザの動きの大きさに対応するポインタ１１の移動の大きさを減らすこともできる。これによって、ポインタ１１がジャンプモードで動作する場合にもユーザの動きに対する敏感度が調節されて、ポインタ１１が自然に移動することができる。
一実施例によってポインタ１１を移動領域で移動させる具体的な方法を、図６を参照してより詳しく説明する。
図６を参照すると、画面５１に表示されるポインタ１１は、上述した通り、あらかじめ定められた少なくとも一つの移動領域でのみ移動する。一例として、移動領域は、表示装置１の画面５１に表示される少なくとも一つのグラフィックイメージであって、ボリュームボタン３１，３２、又はチャネルボタン３３，３４などの領域であってもよい。
そして、制御部１０８は、少なくとも一つの移動領域から少なくとも一つの他の移動領域にポインタ１１が移動する場合、ポインタ１１がジャンプして移動するように制御する。図６に示すように、制御部１０８は、現在ポインタ１１がボリューム増加ボタン３１の領域に位置している場合、ユーザの手２１の水平方向の動き（ａ）によってポインタ１１がチャネル増加ボタン３３の領域にジャンプして移動（ａ’）したり、ユーザの手２１の垂直方向の動き（ｂ）によってポインタ１１がボリューム減少ボタン３２の領域にジャンプして移動（ｂ’）したり、又はユーザの手２１の対角方向の動き（ｃ）によってポインタ１１がチャネル減少ボタン３４の領域にジャンプして移動（ｃ’）したりするように制御することができる。
ここで、ポインタ１１がジャンプして移動することは、一般的なポインタ１１の移動と区別される。さらにいうと、制御部１０８は、少なくとも一つの移動領域でポインタ１１が移動するときは、ユーザの手２１の動きを追従してユーザの手２１の位置と対応する目標位置にポインタ１１が移動するように制御するが、ポインタ１１がジャンプして移動するときは、ユーザの手２１の動きを追従しないで任意に少なくとも一つの他の移動領域の任意の位置にポインタ１１が移動するように制御する。
次に、動作３０３において、制御部１０８は、ポインタ１１の目標位置が少なくとも一つの移動領域を離れるか否かを判断し、ポインタ１１の目標位置が少なくとも一つの移動領域を離れると判断されると、動作３０４において、ポインタ１１の移動方向を決定する。動作３０４でポインタ１１の移動方向を決定することによって、制御部１０８は、ポインタ１１が移動すべき移動領域を決定する。実施例によって、ポインタ１１の目標位置が移動領域を離れるか否かを判断し、ポインタ１１の移動方向を決定する方法を、図７及び図８を参照してより詳しく説明する。
図７を参照すると、少なくとも一つの移動領域の外側には、ポインタ１１のジャンプ移動方向を決定するための少なくとも一つの基準領域が位置する。
一例として、現在ポインタ１１が位置するボリューム増加ボタン３１の領域の外側には四角形の基準領域が位置する。具体的に、ボリューム増加ボタン３１の領域の水平方向には第１基準領域ＡＡが位置し、ボリューム増加ボタン３１の領域の垂直方向には第２基準領域ＡＢが位置し、ボリューム増加ボタン３１の領域の対角方向には第３基準領域ＡＣが位置する。
ユーザの手２１の水平方向の動き（ａ）によってポインタ１１が移動（ａ’）すべき目標位置１２が第１基準領域ＡＡである場合、制御部１０８は、ポインタ１１のジャンプ移動方向を右側の水平方向と決定し、ポインタ１１がチャネル増加ボタン３３の領域にジャンプ移動するように制御する。同様に、ユーザの手２１の垂直方向の動き（ｂ）によってポインタ１１が移動（ｂ’）すべき目標位置１２が第２基準領域ＡＢである場合、制御部１０８は、ポインタ１１のジャンプ移動方向を下側の垂直方向と決定し、ポインタ１１がボリューム減少ボタン３２の領域にジャンプ移動するように制御する。そして、ユーザの手２１の対角方向の動き（ｃ）によってポインタ１１が移動（ｃ’）すべき目標位置１２が第３基準領域ＡＣである場合、制御部１０８は、ポインタ１１のジャンプ移動方向を右下側の対角方向と決定し、ポインタ１１がチャネル減少ボタン３４の領域にジャンプ移動するように制御する。
図８を参照すると、少なくとも一つの移動領域の内部に、ポインタ１１がジャンプモードで移動する基準領域が位置している。制御部１０８は、ポインタ１１が移動領域だけでなく基準領域内でも移動するように制御する。
一例として、現在ポインタ１１が位置するボリューム増加ボタン３１の領域の内部には四角形の基準領域ＡＩが位置する。そのため、ポインタ１１は移動領域だけでなく、移動領域の内部に位置する基準領域ＡＩでも移動することができる。
そして、ユーザの手２１の水平方向の動き（ａ）によってポインタ１１の位置１２が移動（ａ’）して基準領域ＡＩの右側縁に位置すると、制御部１０８は、ポインタ１１のジャンプ移動方向を右側水平方向と決定し、ポインタ１１をチャネル増加ボタン３３の領域にジャンプ移動するように制御することができる。同様の方式で、ユーザの手２１の垂直方向の動き（ｂ）に対しても制御部１０８は、ポインタ１１のジャンプ移動方向を下側垂直方向と決定することができる。
また、制御部１０８は、ユーザの手２１の対角方向の動き（ｃ）によってポインタ１１の位置が移動（ｃ’）して基準領域ＡＩの右下側の頂点に位置すると、制御部１０８は、ポインタ１１のジャンプ移動方向を右下側の対角方向と決定することができる。また、制御部１０８は、ポインタ１１の位置が基準領域ＡＩの右側縁の下段における所定の範囲、及び下側縁の右段における所定の範囲に位置する場合にも、ポインタ１１のジャンプ移動方向を右下側の対角方向と決定することができる。
また、制御部１０８は、ポインタ１１が水平方向にジャンプ移動する時の移動速度と垂直方向にジャンプ移動する時の移動速度とを異なるように調節することもできる。例えば、ポインタ１１がボリューム増加ボタン３１の領域からチャネル増加ボタン３３の領域にジャンプ移動する場合は、移動距離が相対的に遠いため移動速度を相対的に速くし、ボリューム増加ボタン３１の領域からボリューム減少ボタン３２の領域にジャンプ移動する場合は、移動距離が相対的に近いため移動速度を相対的に遅くすることもできる。
次に、動作３０５において、制御部１０８は、決定された移動方向に沿ってポインタ１１が少なくとも一つの他の移動領域の任意の位置に移動するように制御する。一例として、少なくとも一つの他の移動領域の任意の位置は移動領域の中心であってよい。そして、ポインタ１１が少なくとも一つの他の移動領域へ移動する際に少なくとも一つのグラフィック効果が用いられてもよい。
一例として、図９及び図１０を参照すると、ポインタ１１がボリューム増加ボタン３１領域からチャネル増加ボタン３３領域にジャンプして移動する際に、次のようなグラフィック効果が用いられてもよい。すなわち、ポインタ１１が水平方向に移動（ａ’）する際、図９に示すように、画面５１にポインタ１１の跡１５を表示しながら移動したり、図１０に示すように、画面５１にポインタ１１の影１６を表示しながら移動してもよい。また、他の実施例によれば、ポインタ１１が移動しながら用いられるグラフィック効果は、周知の技術によって生成できる様々なグラフィック効果にしてもよい。
図１１は、一実施例に係る図１の表示装置の画面のページを移動する方法を示すフローチャートである。図５と重複するプロセスについては詳細な説明を省略する。
図１１を参照すると、動作４０３において、制御部１０８は、ポインタ１１が画面５１の縁上に位置するか否か判断する。このとき、ポインタ１１は、画面５１の左側縁、右側縁、上側縁、又は下側縁上に位置することができる。
図１２を参照すると、ユーザの手２１の動きの方向に沿ってポインタ１１が画面５１の少なくとも一つの縁上に位置することができる。一例として、ユーザの手２１が現在位置から左側に動く場合（ｅ）、ユーザの手２１の動きの大きさによってポインタ１１が水平方向に移動（ｅ’）して画面５１の左側縁４３上に位置することがある。同様に、ユーザの手２１が現在位置から右側に動く場合（ｄ）、ユーザの手２１の動きの大きさによってポインタ１１が水平方向に移動（ｄ’）して画面５１の右側縁４４上に位置してもよい。そして、ユーザの手２１が現在位置から上側に動く場合（ｆ）、ユーザの手２１の動きの大きさによってポインタ１１が垂直方向に移動（ｆ’）して画面５１の上側縁４１上に位置してもよい。そして、ユーザの手２１が現在位置から下側に動く場合（ｇ）、ユーザの手２１の動きの大きさによってポインタ１１が垂直方向に移動（ｇ’）して画面５１の下側縁４２上に位置してもよい。
実施例によれば、上述した通り、ポインタ１１の位置はポインタ１１の左側上端の縁の位置と関連するため、ポインタ１１が画面５１の右側縁４４、又は下側縁４２上に位置する場合には画面５１に表示されなくてもよい。また、ポインタ１１の位置は、ポインタ１１の左側上端の位置と関連することに限定されず、ポインタ１１の他の部分の位置に関連してもよいことが理解できる。
次に、ポインタ１１がスクリーン５１の縁上に位置していると判断されると、動作４０４において制御部１０８は、ポインタ１１が画面５１の縁上に位置している時間が基準時間を経過したか否か判断する。そして、基準時間を経過したら、動作４０５において制御部１０８は、基準時間を越えてからはポインタ１１の位置に応じて画面５１のページが移動するように制御する。すなわち、ポインタ１１はページスクロール動作を行う（ページスクロールモードに入る）。一例として、ポインタ１１が画面５１の左側縁、又は上側縁上に位置すると、制御部１０８は、画面５１の現在ページを前のページへ移動させ、ポインタ１１が画面５１の右側縁、又は下側縁上に位置すると、画面５１の現在ページを次のページへ移動させることができる。このとき、一実施例に係る画面５１のページを移動させる方法を、図１３及び図１４を参照して詳しく説明する。
図１３及び図１４を参照すると、表示装置１の画面５１には様々なコンテンツを表示することができる。実施例によれば、コンテンツは、図面、文書又はイメージなどを含み、また、移動可能なページを含むように構成することができる。例えば、コンテンツが文書の場合、文書の規格によってページが定義されており、コンテンツが図面又はイメージ集合の場合は、現在の図面又はイメージの前の図面又はイメージを前のページ、そして、現在の図面又はイメージの次の図面又はイメージを次のページと定義することができる。
そして、画面５１に表示されるコンテンツのページが前のページ又は次のページに移動しながら少なくとも一つのグラフィック効果が用いられてもよい。一例として、ポインタ１１が画面５１の左側縁４３上に基準時間位置してコンテンツのページが移動する際、次のようなグラフィック効果が用いられてもよい。
コンテンツのページが前のページに移動しながら、図１３に示すように、コンテンツの現在ページ５２は画面５１の右側にスライドして消え、コンテンツの前のページ５３は画面５１の左側からスライドして現れる方式で表示される。このとき、コンテンツの現在ページ５２と前のページ５３との間にはページを区別するための領域５４が画面５１に表示されてもよい。そして、図１４に示すように、コンテンツの現在ページ５２が画面５１から消えると同時に、コンテンツの前のページ５３が画面５１に表示されてもよい。他の実施例によれば、コンテンツのページが移動しながら用いられるグラフィック効果は、周知の技術によって具現できる様々な他の形態のグラフィック効果を用いてもよいことが理解できる。
図１５は、一実施例に係る図１の表示装置の画面をスクロールする方法を示すフローチャートである。図５乃至図１１と重複するプロセスについては詳細な説明を省略する。図１５を参照すると、動作５０３において、制御部１０８は、ポインタ１１が基準領域に位置しているか否か判断する。制御部１０８は、ポインタ１１が基準領域に位置していると判断すると、動作５０４において、ポインタ１１の基準領域に位置している時間が基準時間を経過したか否か判断する。
図１６を参照すると、ユーザの手２１が動かないか、又は一定の範囲２３で動くと、画面５１に表示されるポインタ１１も移動しないか、又は一定の範囲１３で移動するようになる。そして、ポインタ１１が基準時間の間に、現在ポインタ１１の位置を基準にして一定の範囲に該当する基準領域１３に位置すると、基準時間以降にはポインタ１１の目標位置に応じて画面５１をスクロールすることができる。このとき、画面５１の右側又は下側には、画面５１をスクロールするためのスクロールバー５５、５６を表示することができる。
次に、動作５０５において、基準時間以降には、映像処理部１０６はユーザの動きを感知し、動作５０６において、制御部１０８は、ポインタ１１の目標位置に応じて画面５１がスクロールされるように制御する。一例として、ポインタ１１の目標位置がポインタ１１の現在位置から左側方向であれば、制御部１０８は画面５１を左側にスクロールし、ポインタ１１の目標位置がポインタ１１の現在位置から右側方向であれば、制御部１０８は画面５１を右側にスクロールすることができる。同様にして、制御部１０８は画面５１を上側にも下側にもスクロールすることができる。
そして、ポインタ１１の目標位置に応じて画面５１がスクロールされながら少なくとも一つのグラフィック効果が用いられてもよい。一例として、図１７及び図１８を参照すると、ポインタ１１の目標位置がポインタ１１の現在位置から左側方向（ｈ’）であり、ユーザの手２１の動き（ｈ）によってポインタ１１が左側方向に動く際、次のようなグラフィック効果が用いられてもよい。
画面５１が左側にスクロールされながら、図１７に示すように、画面５１に表示されていなかったコンテンツの左側映像５７が現れ、画面５１に表示されたコンテンツの右側映像が消えるようにすることができる。また、ユーザに、現在ポインタ１１がホイールスクロールモードを実行していることを知らせるように、ポインタ１１の形態をホイールスクロールモードに対応する他の形態１７で表示することもできる。他の形態のポインタ１７は、ユーザの手２１の動きによって目標位置に移動（ｈ’）することができる。
また、図１８に示すように、現在ポインタ１１の形態を維持しながら、ユーザの手２１の左側方向の動き（ｈ）によって画面５１のみが左側にスクロールされるようにしてもよい。このとき、画面５１の下側に表示されるスクロールバー５６は、画面５１のスクロール方向、すなわち、ユーザの手２１の動き（ｈ）と反対方向に移動する。また、他の実施例によれば、様々なグラフィック効果が周知の技術によって画面５１のスクロール時に用いられてもよい。
図１９は、一実施例に係る図１の表示装置のズーム機能を実行する方法を示すフローチャートである。図５、及び図１１乃至図１５と重複するプロセスについては詳細な説明を省略する。図１９を参照すると、動作６０３において、制御部１０８は、ポインタ１１が第１基準領域に位置しているか否か判断する。ポインタ１１が第１基準領域に位置していると判断すると、動作６０４において制御部１０８は、ポインタ１１が第１基準領域に位置している時間が基準時間を経過したか否か判断する。第１基準領域は、図２０に示すように、ポインタ１１がよく位置しない、画面５１の外側部に位置する領域１４であってよい。
次に、ポインタ１１が基準時間の間に第１基準領域に位置すると、動作６０５において制御部１０８は、画面５１の少なくとも一つの領域に少なくとも一つのグラフィックイメージとして所定のボタンを表示することができる。
図２１に示すように、制御部１０８は、グラフィックイメージ５８がポインタ１１の位置する第１基準領域１４に表示されるようにすることができる。ここで、所定のボタンは、例えば、ショートカットキー機能のために使われるＳｈｉｆｔ、Ｃｔｒｌ、又はＡｌｔキーボタンなどであってもよい。以下、下記の実施例では所定のボタンがＣｔｒｌキーボタンである場合について説明する。
次に、動作６０６において、ユーザの手２１の動きによって少なくとも一つのボタンが選択（ｃｌｉｃｋ）される。実施例によれば、ユーザの手２１があらかじめ保存された選択動作と同じ動作を取る場合に、ボタンが選択されるようにすることができる。又は、その他の方法が周知の技術によってボタンの選択に用いられてもよい。
次に、動作６０７において、映像処理部１０６はユーザの動きを感知し、動作６０８において、制御部１０８は、感知された動きに応じてポインタ１１を目標位置に移動させる。動作６０９において、制御部１０８は、ポインタ１１が第２基準領域に位置しているか否か判断する。ここで、第２基準領域は、図１６で上述した通り、表示装置１の画面５１をスクロールするか否かを判断するための基準領域１３と同一であってもよい。ポインタ１１が第２基準領域に位置していると判断すると、動作６１０において制御部１０８は、ポインタ１１が基準領域１３に位置している時間が基準時間を経過したか否か判断する。
次に、制御部１０８が、ポインタ１１が基準領域１３に位置している時間が基準時間を経過したと判断すると、動作６１１において、基準時間が経過してからは、映像処理部１０６はユーザの動きを感知し、動作６１２において制御部１０８は、ポインタ１１の目標位置に基づいてボタンが選択された状態でポインタ１１のホイールスクロール機能を実行する。一例として、Ｃｔｒｌキーボタンが選択された場合は、ポインタ１１のホイールスクロール動作によってズーム機能を実行することができる。
これによって、図２２に示すように、ユーザの手２１の上側方向への動き（ｉ）によって画面５１には拡大されたコンテンツの映像５８を表示することができる。このとき、ポインタ１１は、ユーザにズームインモードを実行していることを知らせるために、ズームインモードに対応する形態１８で表示されてもよい。また、図２３に示すように、ユーザの手２１の下側方向への動き（ｊ）によって画面５１には縮小されたコンテンツの映像５９が表示されてもよい。このとき、ポインタ１１は、ユーザにズームアウトモードを実行していることを知らせるために、ズームアウトモードに対応する形態１９で表示されてもよい。
以上、諸実施例を図示及び記述してきたが、当該技術の分野における通常の知識を有する者には、本開示の原理及び精神から逸脱することなくそれらの実施例が変更されてもよく、その範囲は請求項及びその均等物によって定義されるということが理解できる。
１０１ 放送受信部
１０２ 信号処理部
１０３ ディスプレイ部
１０４ コンテンツ生成部
１０５ 映像取得部
１０６ 映像処理部
１０７ メモリ部
１０８ 制御部

Claims (15)

  1. ユーザ映像を取得する映像取得部と、
    前記ユーザ映像からユーザの動きを感知する映像処理部と、
    前記感知されたユーザの動きに対応して、画面に表示されるポインタが目標位置に移動するように制御する制御部と、
    を備える、表示装置。
  2. 前記制御部は、前記目標位置が少なくとも一つの移動領域を離れると、前記ポインタが少なくとも一つの他の移動領域に移動するように制御する、請求項１に記載の表示装置。
  3. 前記制御部は、前記目標位置が前記少なくとも一つの移動領域の外側に位置する少なくとも一つの基準領域に位置すると、前記少なくとも一つの基準領域の位置によって前記ポインタの移動方向を決定し、又は
    前記制御部は、前記目標位置が前記少なくとも一つの移動領域の内部に位置する基準領域の縁上に位置すると、前記縁の位置によって前記ポインタの移動方向を決定する、請求項２に記載の表示装置。
  4. 前記制御部は、前記ポインタが前記画面の縁上に位置すると、前記画面のページが移動するように制御する、請求項１に記載の表示装置。
  5. 前記制御部は、前記ポインタが基準時間の間に前記画面の縁上に位置すると、前記ポインタの位置によって前記画面のページが移動するように制御する、請求項４に記載の表示装置。
  6. 前記制御部は、前記ポインタが前記画面の左側又は上側の縁上に位置すると、前記画面のページが前のページに移動するように制御し、前記ポインタが前記画面の右側又は下側の縁上に位置すると、前記画面のページが次のページに移動するように制御する、請求項５に記載の表示装置。
  7. 前記制御部は、前記ポインタが前記画面の基準領域に位置すると、前記目標位置によって前記画面がスクロールされるように制御する、請求項１に記載の表示装置。
  8. 前記制御部は、前記ポインタが基準時間の間に前記画面の基準領域に位置すると、前記目標位置によって前記画面がスクロールされるように制御する、請求項７に記載の表示装置。
  9. 前記制御部は、前記ポインタの位置を固定し、前記目標位置によって前記画面がスクロールされるように制御する、請求項８に記載の表示装置。
  10. 前記制御部は、前記ポインタが前記画面の第１基準領域に位置すると、前記第１基準領域に少なくとも一つのボタンが表示されるように制御する、請求項１に記載の表示装置。
  11. 前記制御部は、前記少なくとも一つのボタンが選択された後、前記ポインタが前記画面の第２基準領域に位置すると、前記目標位置によって前記画面がズームされるように制御する、請求項１０に記載の表示装置。
  12. 前記制御部は、前記ポインタが基準時間の間に前記画面の第２基準領域に位置すると、前記目標位置によって前記画面がズームされるように制御する、請求項１１に記載の表示装置。
  13. 前記制御部は、前記ポインタの位置を固定し、前記目標位置によって前記画面がズームされるように制御する、請求項１２に記載の表示装置。
  14. ユーザ映像からユーザの動きを感知することと、
    前記感知されたユーザの動きに対応して、画面に表示されるポインタを目標位置に移動することと、
    前記目標位置が少なくとも一つの移動領域を離れると、前記ポインタを少なくとも一つの他の移動領域に移動することと、
    を含む、表示装置の制御方法。
  15. 前記ポインタを少なくとも一つの他の移動領域に移動することは、前記目標位置が前記少なくとも一つの移動領域の外側に位置する少なくとも一つの基準領域に位置すると、前記少なくとも一つの基準領域の位置によって前記ポインタの移動方向を決定し、又は
    前記ポインタを少なくとも一つの他の移動領域に移動することは、前記目標位置が前記少なくとも一つの移動領域の内部に位置する基準領域の縁上に位置すると、前記縁の位置によって前記ポインタの移動方向を決定する、請求項１４に記載の表示装置の制御方法。
JP2014551200A 2012-01-09 2013-01-08 表示装置及びその制御方法 Pending JP2015508539A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020120002639A KR20130081580A (ko) 2012-01-09 2012-01-09 표시 장치 및 그 제어 방법
KR10-2012-0002639 2012-01-09
PCT/KR2013/000121 WO2013105765A1 (en) 2012-01-09 2013-01-08 Display apparatus and controlling method thereof

Publications (2)

Publication Number Publication Date
JP2015508539A true JP2015508539A (ja) 2015-03-19
JP2015508539A5 JP2015508539A5 (ja) 2016-03-03

Family

ID=47845704

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014551200A Pending JP2015508539A (ja) 2012-01-09 2013-01-08 表示装置及びその制御方法

Country Status (8)

Country Link
US (1) US20130176219A1 (ja)
EP (1) EP2613243A3 (ja)
JP (1) JP2015508539A (ja)
KR (1) KR20130081580A (ja)
CN (1) CN103200439A (ja)
AU (2) AU2013208426A1 (ja)
MX (1) MX2014008355A (ja)
WO (1) WO2013105765A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020171107A1 (ja) * 2019-02-19 2020-08-27 株式会社Ｎｔｔドコモ 情報処理装置
JPWO2020179813A1 (ja) * 2019-03-05 2020-09-10

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9405375B2 (en) * 2013-09-13 2016-08-02 Qualcomm Incorporated Translation and scale invariant features for gesture recognition
CN103488296B (zh) * 2013-09-25 2016-11-23 华为软件技术有限公司 体感交互手势控制方法及装置
CN103677992B (zh) * 2013-12-20 2017-02-22 深圳泰山在线科技有限公司 体感方式的页面切换方法及系统
CN105302404A (zh) * 2014-07-25 2016-02-03 深圳Tcl新技术有限公司 鼠标指针快速移动的方法及系统
CN105307014A (zh) * 2014-07-29 2016-02-03 冠捷投资有限公司 基于手势辨识的密码输入方法
KR102227088B1 (ko) * 2014-08-11 2021-03-12 엘지전자 주식회사 전자기기 및 그것의 제어방법
US20160092726A1 (en) * 2014-09-30 2016-03-31 Xerox Corporation Using gestures to train hand detection in ego-centric video
KR102502577B1 (ko) * 2018-08-30 2023-02-22 삼성전자주식회사 외부 전자 장치 내에서 멀티미디어 콘텐트를 이어서 재생하기 위한 전자 장치 및 방법
WO2020153232A1 (ja) * 2019-01-24 2020-07-30 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理装置の制御方法、及びプログラム
USD900129S1 (en) * 2019-03-12 2020-10-27 AIRCAP Inc. Display screen or portion thereof with graphical user interface
CN110418059B (zh) * 2019-07-30 2021-12-24 联想(北京)有限公司 应用于电子设备的图像处理方法、装置、电子设备、介质
US11983380B2 (en) 2021-12-09 2024-05-14 Samsung Electronics Co., Ltd. Electronic device having a flexible display
WO2023106622A1 (ko) * 2021-12-09 2023-06-15 삼성전자주식회사 플렉서블 디스플레이를 가지는 전자 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000089884A (ja) * 1998-09-09 2000-03-31 Hitachi Business Solution Kk 情報処理システム
JP2002123369A (ja) * 2000-10-11 2002-04-26 Internatl Business Mach Corp <Ibm> データ処理装置、入出力装置、タッチパネルの制御方法、記憶媒体及びプログラム伝送装置
JP2003114750A (ja) * 2001-10-04 2003-04-18 Sony Corp 表示装置及びスクロール制御方法
US20060250372A1 (en) * 2005-05-05 2006-11-09 Jia-Yih Lii Touchpad with smart automatic scroll function and control method therefor
JP2006330848A (ja) * 2005-05-23 2006-12-07 Nec Corp 画像編集システム、画像編集方法及び画像編集プログラム
JP2010250492A (ja) * 2009-04-14 2010-11-04 Sony Corp 情報処理装置、情報処理方法及び情報処理プログラム

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5454043A (en) * 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US6014140A (en) * 1997-01-10 2000-01-11 International Business Machines Corporation Method and system for locating and displaying the position of a cursor contained within a page of a compound document
KR19990011180A (ko) * 1997-07-22 1999-02-18 구자홍 화상인식을 이용한 메뉴 선택 방법
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US6147683A (en) * 1999-02-26 2000-11-14 International Business Machines Corporation Graphical selection marker and method for lists that are larger than a display window
US6707449B2 (en) * 2000-08-30 2004-03-16 Microsoft Corporation Manual controlled scrolling
JP4172198B2 (ja) * 2002-04-17 2008-10-29 日本電気株式会社 携帯電話機
CN100432912C (zh) * 2004-05-07 2008-11-12 索尼株式会社 便携式电子设备及其显示方法和图形用户接口装置
JP2006068315A (ja) * 2004-09-02 2006-03-16 Sega Corp ポーズ検出プログラム、ビデオゲーム装置、ポーズ検出方法、および、プログラムを記録したコンピュータ読み取り可能な記録媒体
JP4405430B2 (ja) * 2005-05-12 2010-01-27 任天堂株式会社 ゲームプログラムおよびゲーム装置
US8726194B2 (en) * 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
US8487881B2 (en) * 2007-10-17 2013-07-16 Smart Technologies Ulc Interactive input system, controller therefor and method of controlling an appliance
KR101079598B1 (ko) * 2007-12-18 2011-11-03 삼성전자주식회사 디스플레이장치 및 그 제어방법
US9772689B2 (en) * 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
KR20100009023A (ko) * 2008-07-17 2010-01-27 (주)마이크로인피니티 움직임을 인식하는 장치 및 방법
WO2010103482A2 (en) * 2009-03-13 2010-09-16 Primesense Ltd. Enhanced 3d interfacing for remote devices
EP2256590A1 (en) * 2009-05-26 2010-12-01 Topspeed Technology Corp. Method for controlling gesture-based remote control system
TWI411946B (zh) * 2009-11-06 2013-10-11 Elan Microelectronics Corp The touchpad controls how the cursor on the display is on the screen
US8843857B2 (en) * 2009-11-19 2014-09-23 Microsoft Corporation Distance scalable no touch computing
CN102096549A (zh) * 2011-01-05 2011-06-15 深圳桑菲消费通信有限公司 一种在触屏手机界面实现动态快捷按钮的系统及方法
US8497838B2 (en) * 2011-02-16 2013-07-30 Microsoft Corporation Push actuation of interface controls
US8654219B2 (en) * 2011-04-26 2014-02-18 Lg Electronics Inc. Method and apparatus for restoring dead pixel using light intensity map in a time-of-flight camera
US8769409B2 (en) * 2011-05-27 2014-07-01 Cyberlink Corp. Systems and methods for improving object detection
KR101794000B1 (ko) * 2011-06-13 2017-11-06 삼성전자주식회사 터치 스크린을 구비하는 기기에서 스크롤 장치 및 방법
CN102306065A (zh) * 2011-07-20 2012-01-04 无锡蜂巢创意科技有限公司 交互式光感触摸微型投影系统的实现方法
JP5649535B2 (ja) * 2011-08-05 2015-01-07 株式会社東芝 コマンド発行装置、コマンド発行方法およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000089884A (ja) * 1998-09-09 2000-03-31 Hitachi Business Solution Kk 情報処理システム
JP2002123369A (ja) * 2000-10-11 2002-04-26 Internatl Business Mach Corp <Ibm> データ処理装置、入出力装置、タッチパネルの制御方法、記憶媒体及びプログラム伝送装置
JP2003114750A (ja) * 2001-10-04 2003-04-18 Sony Corp 表示装置及びスクロール制御方法
US20060250372A1 (en) * 2005-05-05 2006-11-09 Jia-Yih Lii Touchpad with smart automatic scroll function and control method therefor
JP2006330848A (ja) * 2005-05-23 2006-12-07 Nec Corp 画像編集システム、画像編集方法及び画像編集プログラム
JP2010250492A (ja) * 2009-04-14 2010-11-04 Sony Corp 情報処理装置、情報処理方法及び情報処理プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
フィンローダ: ""使いやすいユーザインタフェイスを求めて"", Ｃ ＭＡＧＡＺＩＮＥ, vol. 第13巻, 第6号, JPN6017022136, 1 June 2001 (2001-06-01), JP, pages 12 - 31, ISSN: 0003579986 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020171107A1 (ja) * 2019-02-19 2020-08-27 株式会社Ｎｔｔドコモ 情報処理装置
JPWO2020171107A1 (ja) * 2019-02-19 2021-11-18 株式会社Ｎｔｔドコモ 情報処理装置
JP7090790B2 (ja) 2019-02-19 2022-06-24 株式会社Ｎｔｔドコモ 情報処理装置
JPWO2020179813A1 (ja) * 2019-03-05 2020-09-10
WO2020179813A1 (ja) * 2019-03-05 2020-09-10 株式会社Ｎｔｔドコモ 情報処理装置
JP7105984B2 (ja) 2019-03-05 2022-07-25 株式会社Ｎｔｔドコモ 情報処理装置

Also Published As

Publication number Publication date
EP2613243A2 (en) 2013-07-10
EP2613243A3 (en) 2014-02-19
AU2013208426A1 (en) 2014-07-24
KR20130081580A (ko) 2013-07-17
WO2013105765A1 (en) 2013-07-18
MX2014008355A (es) 2015-05-15
AU2016202282A1 (en) 2016-05-05
US20130176219A1 (en) 2013-07-11
CN103200439A (zh) 2013-07-10

Similar Documents

Publication Publication Date Title
JP2015508539A (ja) 表示装置及びその制御方法
US10761610B2 (en) Vehicle systems and methods for interaction detection
KR101710972B1 (ko) 논-터치 제스처를 사용하여 단말 기기를 제어하는 방법 및 장치
US9791918B2 (en) Breath-sensitive digital interface
US9582096B2 (en) Information processing apparatus, information processing method, and program
US20130321261A1 (en) Recognition apparatus
JP5304577B2 (ja) 携帯情報端末および表示制御方法
CN106105247B (zh) 显示装置及其控制方法
WO2012104288A1 (en) A device having a multipoint sensing surface
US20090284469A1 (en) Video based apparatus and method for controlling the cursor
US20150339026A1 (en) User terminal device, method for controlling user terminal device, and multimedia system thereof
JP2008070968A (ja) 表示処理装置
US20190318169A1 (en) Method for Generating Video Thumbnail on Electronic Device, and Electronic Device
KR20140116656A (ko) 기기의 화면제어장치 및 방법
JP2008040576A (ja) 画像処理システム及び該システムを備えた映像表示装置
KR20140085061A (ko) 디스플레이 장치 및 이의 제어 방법
US10095384B2 (en) Method of receiving user input by detecting movement of user and apparatus therefor
JP5220157B2 (ja) 情報処理装置及びその制御方法、プログラム、並びに記憶媒体
EP3057313A1 (en) Display apparatus and display method
KR101134245B1 (ko) 3차원 가상 리모콘을 포함한 전자기기 및 그의 구동 방법
KR101890140B1 (ko) 카메라 장치를 이용하여 디스플레이 장치를 제어하는 방법 및 이를 적용한 모바일 장치, 디스플레이 장치, 그리고 시스템
JP2011107738A (ja) ポインティング装置、入力処理装置、入力処理方法、及び、プログラム
KR101320236B1 (ko) 휴대용 단말기 및 그를 이용한 가상 화면 제어방법
US20190310750A1 (en) Electronic device, method for controlling the same, and storage medium
JP2016071558A (ja) 表示制御装置、制御方法、制御プログラム、および記録媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160108

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161101

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170201

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170620