JP2012146304A - モーションによって制御されるディスプレイ装置及びそのモーション制御方法 - Google Patents

モーションによって制御されるディスプレイ装置及びそのモーション制御方法 Download PDF

Info

Publication number
JP2012146304A
JP2012146304A JP2012000696A JP2012000696A JP2012146304A JP 2012146304 A JP2012146304 A JP 2012146304A JP 2012000696 A JP2012000696 A JP 2012000696A JP 2012000696 A JP2012000696 A JP 2012000696A JP 2012146304 A JP2012146304 A JP 2012146304A
Authority
JP
Japan
Prior art keywords
motion
change unit
unit amount
distance
speed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012000696A
Other languages
English (en)
Other versions
JP2012146304A5 (ja
Inventor
Hee-Seob Ryu
熙 渉 柳
Seung-Kwon Park
勝 權 朴
Seong-Hun Jeong
聖 勳 鄭
Teshome Mikiyas
テショーム ミキヤス
Sojun Kim
相 潤 金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2012146304A publication Critical patent/JP2012146304A/ja
Publication of JP2012146304A5 publication Critical patent/JP2012146304A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/06—Receivers
    • H04B1/16—Circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4383—Accessing a communication channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/50—Tuning indicators; Automatic tuning control

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Circuits Of Receivers In General (AREA)
  • Details Of Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】 ディスプレイ装置が開示される。
【解決手段】 本装置は、ディスプレイ装置の外部に位置した客体のモーションを認識するモーション認識部及び客体のモーションが認識されると、客体のモーション速度またはモーション距離に応じて多様に決定される変更単位量だけ、客体のモーションに対応する動作を行なう制御部とを含む。これにより、チャネル変更やページ切替を容易に行なうことができるようになる。
【選択図】 図２

Description

本発明は、ディスプレイ装置及びそのモーション制御方法に関し、より詳細には、動作実行程度を多様に調整できるディスプレイ装置及びそのモーション制御方法に関する。
電子技術の発達により、様々な最新の電子機器が開発され普及されている。最新製品には、ユーザが当該製品をより便利にかつ効果的に利用できるようにするための最新技術が適用されている。そのような技術には、例えば、モーション認識技術や音声認識技術などがある。
この中のモーション認識技術とは、モーションセンサなどを用いてユーザの動き、即ち、モーションをセンシングした後、そのセンシング結果を用いる技術のことを意味する。
このような認識技術は、ユーザが便利に利用することはできるものの、モーションや音声命令語を正確に入力しなければ、意図しない機能を起動させたり、入力そのものが行なわれず、数回繰り返し入力しなければならないという不便さがあった。
従って、ユーザが無意識によく取る動作よりは、普段はあまり取らないモーションや、識別力の高いモーションを命令語として設定することが望ましい。
一方、ディスプレイ装置の場合、チャネル変更や、ボリューム調整や、ページ切替、その他の属性変更などのように、予め設定された単位（例えば、１つ）に調整可能なメニューが存在する。このようなメニューの場合、複数の単位を一度に調整するためには複数回のモーションを取らなければならないろいう困難さがあった。
例えば、チャネル変更の場合、ユーザがディスプレイ装置の前方で手を一方向に移動させると、移動方向に沿ってチャネルが変更されて次のチャネルが選局されてよい。通常、チャネル変更は１のチャネル単位で行なわれる。即ち、１０番チャネルを視聴中にユーザが左側に手を移動させるモーションと取ると、１１番チャネルが選局されて表示される。従って、ユーザが１０番チャネルを視聴中に、５０番チャネルを選局しようとする際は、４０回モーションを取らなければならないという不便さがあった。
このように、全チャネルの数が多かったり、ページの数が多いコンテンツの場合には、モーション認識技術を用いて自分が望むサービスを受けるために、ユーザは数多いモーションを取らなければならず、これにより腕の疲れを感じやすくなるよいう問題があった。
日本特開第２００９−０７０４１６号公報 日本特開第２００４−３４８７５５号公報 韓国登録第０４８６７１１号 韓国特開２０１０−００３３２４２号公報
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、動作実行単位を調整して制御できるディスプレイ装置及びそのモーション制御方法を提供することにある。
以上のような目的を達成するための本発明の一実施形態に係るディスプレイ装置は、前記ディスプレイ装置の外部に位置した客体のモーションを認識するモーション認識部と、前記客体のモーションが認識されると、前記客体のモーション速度またはモーション距離に応じて多様に決定される変更単位量だけ、前記客体のモーションに対応する動作を行なう制御部とを含む。
本ディスプレイ装置は、放送チャネルを選局するチューナ部と、前記チューナ部で選局された放送チャネルを通じて受信される放送信号を処理する信号処理部と、前記信号処理部で処理された放送データを出力する出力部とを更に含んでよい。ここで、放送チャネル変更を指示する第１モーションが認識されると、前記制御部は前記第１モーションのモーション速度またはモーション距離に応じて多様に決定される変更単位量だけ、前記第１モーションのモーション方向に前記放送チャネルを変更して選局するように、前記チューナ部を制御してよい。
一方、前記制御部は、前記モーション速度または前記モーション距離が予め設定された閾値以上である場合、第１変更単位量で前記放送チャネルを変更し、前記閾値未満である場合、前記第１変更単位量より小さい第２変更単位量で前記放送チャネルを変更してよい。
なお、前記制御部は、前記変更単位量を前記モーション速度または前記モーション距離に比例して漸進的にまたは段階的に増大するように調整してよい。
別の実施形態によると、本ディスプレイ装置は、複数のページを含むコンテンツを表示する出力部を更に含んでよい。ここで、前記制御部は、ページ切替を指示する第２モーションが認識されると、前記第２モーションのモーション速度またはモーション距離に比例して多様に決定される変更単位量だけ、前記第２モーションのモーション方向へページを切り替えるように、前記出力部を制御してよい。
そして、前記制御部は、前記モーション速度または前記モーション距離が閾値以上である場合、第１変更単位量で前記コンテンツページを切り替え、前記モーション速度または前記モーション距離が前記閾値未満である場合、前記第１変更単位量より小さい第２変更単位量で前記コンテンツページを切り替えてよい。
なお、前記制御部は、前記変更単位量を前記モーション速度または前記モーション距離に比例して漸進的にまたは段階的に増大するように調整してよい。
一方、本発明の一実施形態によると、ディスプレイ装置のモーション制御方法は、前記ディスプレイ装置の外部に位置した客体のモーションを認識するステップと、前記客体のモーション速度またはモーション距離に応じて変更単位量を決定するステップと、前記客体のモーションに対応する動作を前記変更単位量だけ行なう実行ステップとを含む。
この場合、放送チャネルを選局して放送データを出力するステップを更に含んでよい。そして、前記実行ステップは、前記認識されたモーションが放送チャネル変更を指示するための第１モーションである場合、前記第１モーションのモーション速度またはモーション距離の大きさに応じて多様に決定される変更単位量だけ、前記第１モーションのモーション方向に前記放送チャネルを変更して選局してよい。
または、前記実行ステップは、前記モーション速度または前記モーション距離が閾値以上である場合、第１変更単位量で前記放送チャネルを変更し、前記モーション速度または前記モーション距離が前記閾値未満である場合、前記第１変更単位量より小さい第２変更単位量で前記放送チャネルを変更してよい。
なお、前記変更単位量を決定するステップは、前記変更単位量を前記モーション速度または前記モーション距離に比例して漸進的にまたは段階的に増大するように調整してよい。
一方、本モーション制御方法は、複数のページを含むコンテンツを表示するステップを更に含んでよい。ここで、前記実行ステップは、前記認識されたモーションがページ切替を指示する第２モーションである場合、前記第２モーションのモーション速度またはモーション距離に比例して調整された変更単位量だけ、前記第２モーションのモーション方向へページを切り替えてよい。
そして、前記実行ステップは、前記モーション速度または前記モーション距離が閾値以上である場合、第１変更単位量で前記ページを切り替え、前記モーション速度または前記モーション距離が前記閾値未満である場合、前記第１変更単位量より小さい第２変更単位量で前記ページを切り替えてよい。
なお、前記変更単位量を決定するステップは、前記変更単位量を前記モーション速度または前記モーション距離に比例して漸進的にまたは段階的に増大するように調整してよい。
以上のような本発明の多様な実施形態によると、ユーザはモーション速度やモーション距離のような属性を違うようにモーションを取っても、相違した動作実行単位でモーション制御を行なうことができるようになる。
本発明の一実施形態に係るディスプレイ装置の構成を示すブロック図である。 本発明の多様な実施形態を説明するためのディスプレイ装置の細部構成を示すブロック図である。 ムービングモーションのモーション速度を計算する過程を説明するための図である。 スイングモーションのモーション速度を計算する過程を説明するための図である。 モーション距離を変化させて動作実行程度を多様にする過程を説明するための図である。 モーション認識モードを開始するためのプッシュモーションを説明するための図である。 モーション認識モードを終了するための終了モーションの多様な例を示す図である。 モーション認識モードを終了するための終了モーションの多様な例を示す図である。 本発明の多様な実施形態に係るディスプレイ装置のモーション制御方法を説明するためのフローチャートである。 本発明の多様な実施形態に係るディスプレイ装置のモーション制御方法を説明するためのフローチャートである。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。
図１は、本発明の一実施形態に係るディスプレイ装置の構成を示すブロック図である。本ディスプレイ装置は、テレビや携帯電話やモニタ、ノートパソコン、ＰＣ、デジタルフォトフレーム、電子書籍、ＰＤＡ及びナビゲーションなどで実現できる。図１に示すように、本ディスプレイ装置１００は、モーション認識部１１０及び制御部１２０を含む。
モーション認識部１１０は、ディスプレイ装置１００の外部に位置した客体のモーションを認識する構成である。具体的には、モーション認識部１１０はディスプレイ装置１００を使用しようとするユーザの動きをセンシングし、どのようなモーションが行なわれたか認識する。
このために、モーション認識部１１０は、カメラのような撮影手段を含んでよい。モーション認識部１１０は、撮影手段の撮影範囲内に存在するユーザなどを撮影し、その撮影イメージデータを分析してユーザがどのようなモーションを取ったかを認識し、その結果を制御部１２０に提供する。
制御部１２０は、モーション認識部１１０で認識されたモーションに対応する動作を行なう。ここで、制御部１２０が行なう動作は、ディスプレイ装置１００そのもののパワーオン／オフや、ディスプレイ装置１００が備えられた各種機能の実行、属性調整などであってよい。
特に、制御部１２０は、チャネルやボリューム、各種属性設定メニュー、ページ切替などのように予め設定された単位で調整される動作を行なってよい。このような動作を行なうことにおいて、制御部１２０はユーザのモーションの特性を考慮し、動作の実行単位の大きさを多様に適用してよい。
具体的に、モーション速度や、モーション距離、モーション強度、モーションを取る客体の形態、客体の大きさなどのように、多様な値がモーションの特性として考慮されてよい。制御部１２０は、これらの特性の変化度合いに応じて、実行単位の大きさを多様に調整する。即ち、制御部は、これら特性の変化度合いに基づいて、変更単位量を決定し、その決定された変更単位量で動作を行なう。
第１例として、モーション速度やモーション距離を閾値と比較して段階的に変更単位量を決定することができる。具体的に、チャネル変更を指示するモーションが認識される場合を参考に説明すると、以下のとおりである。
この場合、制御部１２０はチャネル変更を指示するモーションの速度と予め設定された閾値、即ち、臨界速度とを比較する。比較の結果、閾値以上である場合、複数個のチャネル単位でチャネル変更を行なう。説明の便宜上、閾値以上である場合の変更単位量を第１変更単位量という。第１変更単位量はユーザの任意で、またはデフォルトで設定されて保存されていてよい。例えば、５、１０のチャネル数が第１変更単位量で使われることができる。即ち、１０のチャネル数が第１変更単位量で決められた場合なら、２０番チャネルを視聴中のユーザが右側から左側に素早く手を振ると、その方向にチャネル変更が行なわれて３０番チャネルに直ちに変更される。チャネル変更の単位数は１０に限られず多様に変更されてよい。即ち、５や２０であってよい。
一方、閾値未満である場合、第２変更単位量だけチャネル変更を行なう。第２変更単位量もユーザの任意で、またはデフォルトで設定されてよいが、従来のチャネル変更の場合と同様に１のチャネル単位で変更するのが一般的である。
一方、無意味なモーションをフィルタリングするための最小閾値も設定して用いてよい。即ち、最小閾値の第１閾値未満の速度でモーションが行なわれた場合にはモーションを無視して何の動作も取らず、第１閾値以上第２閾値未満である場合には、１のチャネルずつ変更することができる。一方、第２閾値以上である場合は、予め設定された個数、即ち、５や１０、２０の単位でチャネルが変更されてよい。
なお、第２閾値より更に上位の閾値を含む複数の閾値を用いてモーション制御を行なうこともできる。この場合、モーション速度の範囲に応じて、チャネル変更単位量が段階的に変更されてよい。即ち、上述の第２閾値以上第３閾値未満である場合には５のチャネル変更単位量、第３閾値以上第４閾値未満である場合には１０のチャネル変更単位量、第４閾値以上である場合には２０のチャネル変更単位量などで決定されてよい。このように、チャネル変更単位量は多様な閾値との比較結果に応じて決定されてよい。
チャネル変更以外に、ページ切替の場合も同様に適用されることができる。即ち、ユーザが複数のページを含むコンテンツを視聴している状態で、ページ切替を指示するモーションを閾値、即ち、臨界速度未満で行なう場合には、予め設定されたページ単位、仮に、１ページ単位でページ切替を行なう。
一方、上述のように、最小閾値が活用されて無意味なモーションをフィルタリングすることもできる。なお、複数の閾値が適用されて段階的にページ切替の変更単位量が調整されてよい。例えば、第１閾値以上第２閾値未満である場合には１ページ単位で切り替え、第２閾値以上第３閾値未満である場合には５ページ単位で切り替え、第３閾値以上第４閾値未満である場合には１０ページ単位、それ以上の場合には２０ページ単位などで変更単位量が調整されてよい。
本明細書では、説明の便宜上、チャネル変更のためのモーションを第１モーション、ページ切替のためのモーションを第２モーションと称する。
第２実施形態によると、変更単位量はモーション速度やモーション距離に応じて漸進的に変更されてよい。
例えば、チャネル変更の場合、チャネル変更を指示するモーションが基準速度以下で行なわれると、制御部１２０は１のチャネル単位でチャネル変更を行なう。一方、チャネル変更を指示するモーションが基準速度より更に早くなると、その速度の差に比例するように漸進的に変更単位量を増大させる。即ち、速度の大きさに線形的に比例して２、３、４、…ｎのチャネル変更単位などでチャネル変更動作が行なわれてよい。
ページ切替の場合も同様に、変更単位量が決定されてよい。即ち、通常の速さの場合は１ページ、やや早くなると２ページ、更に速くなるほど３、４、５、…ｎページ単位でページ切替が行なわれてよい。
一方、以上では、チャネル変更とページ切替を例に挙げて説明したが、その他に、ボリュームや、輝度や、鮮明度、カラーバランスなどのような出力属性の調整に対しても、モーション速度やモーション距離に基づいて多様な変更単位量で動作が行なわれることができる。
図２は、本発明の多様な実施形態に係るディスプレイ装置の構成を説明するためのブロック図である。図２に示すように、ディスプレイ装置は、モーション認識部１１０及び制御部１２０の他に、チューナ部１３０と、信号処理部１４０と、出力部１５０と、入力部１６０と、保存部１７０などを含む。
チューナ部１３０は、放送信号チャネルを選局し、それに応じた放送信号を受信し、ダウンコンバートして信号処理部１４０に提供する構成を意味する。
信号処理部１４０は、チューナ部１３０から提供される信号に対して複合化、等化（Ｅｑｕａｌｉｚｉｎｇ）、デコーディング、スケーリングなどの信号処理を行い、出力部１５０に提供する。
出力部１５０は、信号処理部１４０で処理された映像信号及び音声信号などをディスプレイユニットやスピーカなどのような出力素子を用いて出力する構成である。
入力部１６０は、電子機器１００の本体に備えられたキーまたは外部リモコンに備えられたキーの操作によるユーザ選択信号を入力される構成である。具体的には、入力部１６０はキーパッド及びＩＲ信号受信ランプなどを含んでよい。
保存部１７０は、ディスプレイ装置で使用される各種プログラムや、データなどを保存する構成要素である。具体的に、保存部１７０はモーション制御のために設定された各種モーションとそのモーションにマッチングする動作に対する情報を保存することができる。
例えば、保存部１７０には、次の表１のようなデータベースが保存されてよい。
Figure 2012146304
 表１におけるプッシュモーションとは、ディスプレイ装置１００の前方に位置したユーザがディスプレイ装置１００に向かって手を押す動作を意味する。プッシュモーションが認識されると、制御部１２０はその後に行なわれる後続モーションを認識し、それによる動作を行なう。
終了モーションとは、モーション認識モードを終了させるためのモーションを意味する。終了モーションは多様に決められてよい。一例としては、客体がユーザの手のひらである場合、終了モーションは手のひらの部分がそれ以上認識されないように、客体がユーザの身体や他物に接触するようになるモーションが終了モーションであってよい。それについては後述で図を参照して説明する。
ムービングモーションとは、手のひらのような客体を一方向に移動させるモーションを意味する。ムービングモーションが行なわれると、制御部１２０はその方向及び速度に応じてカーソルやメニューフォーカス状態などを移動させる。
スイングモーションとは、ディスプレイ装置１００に向かって伸ばした手を一方向にスイングさせるモーションを意味する。制御部１２０は、スイング方向に沿って現在のページまたは現在のチャネルから次のページまたは次のチャネルに変更する。
シェイクモーションとは、ディスプレイ装置１００に向かって伸ばした手を振るモーションを意味する。その他にウェーブモーションと称してよい。制御部１２０は、シェイクモーションが認識されると、現在表示されているページまたは放送画面の以前ページまたは以前放送画面に切り替えたり、現在のページの上位ページが存在する場合は上位ページに切り替える動作を行なってよい。
その他に、ホールドとは、手を一定時間以上動かさずに置くモーションを意味する。カーソルやフォーカスが特定メニュー上に位置した状態でホールドが行なわれると、制御部１２０は当該メニューが選択されたと認識してそのメニューを選択し、その機能を行なってよい。
以上のようなモーション及び動作間のマッチング関係は一例に過ぎず、このマッチング関係は必要に応じて変更されてよい。なお、円やその他の文字、数字、記号を描くモーションのように、多様な類型のモーションとそれに対する動作が更に追加されてもよく、上記の表のモーションで一部が省略されてよい。
一方、上述のモーションのうち、プッシュモーションや終了モーション、ホールドモーションを除く残りのモーションに対しては、そのモーションの速度や移動範囲などに応じて多様な変更単位量で動作してよい。
即ち、ムービングモーションの場合、速く移動すれば、カーソルやフォーカス移動量または速度がより速くなることができる。スーイングモーションが速くなったり大幅に行なわれると、上述のようにページやチャネル変更量を更に大きく増大させることができる。シェイクモーションも同様に、シェイクの速度やシェイク幅に応じて切替量がより増大されることは言うまでもない。
一方、保存部１７０には、モーション認識のための客体に対する情報が別途に保存されてよい。客体に対する情報とは、客体の形態や大きさなどであってよく、ユーザによって適切に変更されてよい。上述のように、ユーザの手のひらが客体として使われる場合、ユーザは自分の手のひらを予めモーション認識部１１０を介して撮影し、その形態や大きさに対する情報を保存部１７０に登録しておいてよい。それにより、客体登録されていない他のユーザに対しては、モーション認識制御ができないように設定しておいてよい。これにより、ディスプレイ装置１００に対する使用権限または制御権限をユーザのみが有するように実現することができる。
または、別の実施形態によると、保存部１７０に保存される客体関連情報は、ディスプレイ装置１００を製作する際にデフォルトで決定されて保存部１７０に保存されてよく、それに対しては変更が不可能であってよい。
一方、図２では示されていないが、ディスプレイ装置１００が音声入力モードもサポートする場合であれば、音声入力部が更に含まれてよい。音声入力部（図示せず）はユーザの発音する音声入力を受信する構成である。一例として、単語認識技術が使われる場合、音声入力部は音声入力を収集するマイク部と、収集された音声入力に対して周波数分析などを行なって特徴を抽出する分析部と、抽出された特徴を用いて音声信号をセグメンテーション（Ｓｅｇｍｅｎｔａｔｉｏｎ）して子音及び母音を認識する音韻認識部と、認識された子音及び母音を単語辞書に基づいて組み合わせて単語を抽出する単語認識部などを含んでよい。
一方、別の実施形態では、保存部１７０に予め客体関連情報を保存しておかず、撮影イメージデータ内でまずプッシュモーションを取った部分を追跡し、その部分のモーションによる動作のみを行なうこともできる。これにより、複数のユーザが一緒に視聴する環境で、無闇な制御が行なわれることを防止できるようになる。
一方、図２に示すように、モーション認識部１１０は撮影部１１１及び判断部１１２を含む。
撮影部１１１は、ディスプレイ装置１００の画面前方を撮影するカメラを含む。カメラは前方に置かれた各種客体から反射される光を受光し、撮影イメージデータを生成する。上述の実施形態のように、プッシュモーションに対する認識が必要な場合であれば、撮影部１１１は３次元深さカメラ（３Ｄ Ｄｅｐｔｈ Ｃａｍｅｒａ）を用いてもよい。３次元深さカメラは赤外線を放射し、その赤外線が物体に触れてから戻ってくる時間を測定して物体までの距離を算出する。深さカメラより得られたイメージはグレイレベルで出力され、各ピクセル毎に横、縦、距離のような座標値が表現される。即ち、ピクセル毎にデプス情報が設けられた撮影イメージデータを生成する。
判断部１１２は、撮影イメージデータを分析して客体のモーションを認識する。上述の実施形態のように、プッシュモーションによってモーション認識モードが開始される場合であれば、判断部１１２はプッシュモーションを行なった客体の移動状態を追跡する。具体的には、上述の客体に該当するピクセル群を探索し、当該ピクセル群のデプス情報が変更されたか否かを判断する。この場合、判断部１１２は客体との距離が電子機器から遠く離れる場合であると判断されると、プッシュモーションと判断せずに、電子機器に近づく場合と判断される場合にのみプッシュモーションであると判断する。
別の実施形態によると、判断部１１２は撮影イメージデータ中に深さ情報の変更された部分があるかを判断する。これにより、深さ情報が変更されてＺ軸方向に移動した状態であると判断されると、プッシュモーションが行なわれたと直ちに判断することができる。または、この場合、判断部１１２は予め登録された客体関連情報があれば、深さ情報の変更されたピクセル群の大きさ及び形態を登録された客体関連情報と比較して類似性の有無について判断する。これにより、マッチングすると見なせるくらいの類似性があればプッシュモーションと判断する。
制御部１２０は、一旦プッシュモーションが認識されてモーション認識モードが開始されると、撮影部１１１から提供される各フレームを比較し、プッシュモーションを行なった客体の移動距離を確認し、モーション速度やモーション距離などのような属性を分析する。このような分析は実施形態によっては、判断部１１２で行なわれてもよいが、本明細書では制御部１２０が行なうものとして説明する。
上述のように、制御部１２０はモーション認識部１１０で認識されるモーションのモーション速度やモーション距離などに応じて多様な変更単位量で動作を行なうように、チューナ部１３０と、信号処理部１４０と、出力部１５０などの構成要素を制御する。
上述のように、変更単位量はモーション速度やモーション距離に応じて、段階的または漸進的に調整されてよい。一例として、チャネル変更の場合、モーションの速度が閾値以上である場合、制御部１２０は複数のチャネル単位（例えば、５や１０など）にジャンプして次のチャネルを選局するようにチューナ部１３０を制御する。
チューナ部１３０で選局された放送信号が信号処理部１４０で処理されて出力部１５０によって出力されると、ユーザはその画面を見ながら次のモーションを取ってチャネル変更を引き続き行なうか、現在のチャネルをそのまま選択して視聴することができる。例えば、１０番チャネルを視聴中に、ユーザが３３番チャネルを選局しようとする場合、ユーザは手を上げてプッシュモーションを取ってモーション認識モードに進入し、右側から左側方向に手を素早く移動させるモーションを２回、右側から左側方向に手を一般的な速度で移動させるモーションを３回行ない、計５回のモーションだけで３３番チャネルを選局できるようになる。従来技術では、２３回のモーションを取らなければならず、相対的にモーション制御がずっと容易になったことが確認できる。
ページ切替の場合にも同様であるため、それに対する説明については省略する。
図３は、ムービングモーションのモーション速度を計算する過程を説明するための図である。図３に示すように、ユーザはディスプレイ装置１００に向かって客体１１、即ち、手を伸ばしてから、チャネル変更やページ切替を行なおうとする方向に客体１１を移動させる。このような移動は、モーション認識部１１０内の撮影部１１１によって撮影される。
撮影部１１１の撮影速度が６０Ｈｚの場合を例えて説明すると、制御部１２０は、一番目のフレームで（１）番の位置にあった客体が二番目のフレームでは（２）番の位置に存在すると、その移動速度Ｖ１は、その移動距離のＸ１ピクセルに時間の１／６０を割った値であるため、Ｖ１＝６０Ｘ１になる。三番目のフレームで再び（３）番の位置に客体が存在する場合、（２）番の位置から（３）番の位置への移動速度はＶ２＝６０Ｘ２になる。このような制御部は、フレーム当たりのイメージの変化量をチェックして計算することができる。
図３で客体の移動距離は、現在のフレームと次のフレームをそれぞれ複数のブロックで区分した後、各ブロックの平均ピクセル値や代表ピクセル値などを用いてマッチングするブロックを探索し、その探索されたブロックの位置移動状態を確認して移動距離を演算することができる。
図４は、スイングモーションの移動速度を計算する過程を説明するための図である。図４では、（１）のように手のひらがディスプレイ装置１００を向くように配置された状態で回転が行なわれつつ、（２）のように手の甲がディスプレイ装置１００を向くようになるモーションをスイングモーションとして示したが、その反対の場合もスイングモーションに該当する。なお、手のひらや手の甲が完全にディスプレイ装置１００を向かないように回転されるとしてもスイングモーションと見なしてよい。
一方、図３や図４において、客体の移動距離は客体の一地点を基準に計算することができる。即ち、現在のフレームの全ブロック中で、客体に該当するピクセル群またはブロック中の中心ピクセルまたは中心ブロックと、次のフレームにおける対応する中心ピクセルまたは中心ブロックとの距離を演算することができる。
図５は、モーション距離を多様にし、変更単位量を調整する実施形態を示す図である。図５に示すように、（a）分の距離だけ移動する際は、基本単位量だけチャネルまたはページなどを変更し、(b)のように相対的に更に長い距離を移動する際には、予め設定された複数の変更単位量だけチャネルまたはページなどを変更することができる。
一方、以上ではモーション速度とモーション距離を相違する属性として説明したが、モーション速度とモーション距離は実質的にかなりの関連性を有する属性である。即ち、通常、ユーザはモーション距離を更に長くするために更に早く客体を移動させる傾向がある。なお、一つのモーションを認識する単位時間を固定しておくと、その単位時間内に更に遠くに客体を移動させるためには更に早い速度で移動させなければならない。従って、実施形態によっては、モーション速度やモーション距離の双方を考慮して変更単位量を決定することもできる。
一方、本ディスプレイ装置１００は、その他の多様なモーションを用いてモーションを制御することができる。
図６は、このようなモーション認識モードを開始するためのモーションの一例であるプッシュモーションを示す図である。
モーション認識部１１０は、撮影範囲内のユーザ１０の一客体１１がディスプレイ装置１００に向かって移動するプッシュモーションを認識することができる。具体的には、図６に示すように、客体が置かれた地点に３次元座標系を適用すると、ディスプレイ装置１００を基準に上側を向くように配置されるＹ軸、Ｙ軸と直交しつつ右側を向くように配置されるＸ軸と、Ｘ軸及びＹ軸がなす平面からディスプレイ装置１００を向くように配置されるＺ軸で説明できる。プッシュモーションとは、Ｚ軸方向へのモーションを意味する。
このように、プッシュモーションはＺ軸方向への移動であるため、一般モード下でモーション認識部１１０は撮影イメージデータの深さ情報変化の有無のみをチェックし、プッシュモーションが行なわれたか否かを判断する。これにより、プッシュモーションが行なわれてモーション認識モードに切り替えられると、そこからはモーション認識部１１０はＺ軸だけでなくＸ軸及びＹ軸方向への動きも全てチェックして、客体の動きを分析する。
制御部１２０は、プッシュモーションが認識されると、モーション認識モードで動作すると判断し、モーション認識モードに切り替える。即ち、プッシュモーションが認識される前までは一般モードで動作し、ユーザのリモコン操作やディスプレイ装置１００本体に備えられたキー操作によるユーザ選択信号を入力部１６０を介して受信し、それに対応する制御動作を行なう。このような状態で、モーション認識モードに切り替えられると、制御部１２０はそこからはユーザのモーションを認識してそのモーションに符合する動作を行なう。
この場合、制御部１２０は最初にプッシュモーションを行なった客体の動きを追跡し、当該客体のモーションを認識し、その認識されたモーションに対応する動作を行なう。
モーション認識モードに切り替えられた場合、制御部１２０はモーション以外の入力は収容しなくてもよいが、別の実施形態ではモーション認識モードに切り替えられた状態でも、制御部１２０はリモコンや本体キー操作があれば、そのキー操作による動作も同時に行なってよい。即ち、モーション認識モードが必ずしもモーションのみによって制御されるモードであるわけではない。
図７及び図８は、モーション認識モードを終了させるための終了モーションの多様な例を示す図である。制御部１２０は、予め設定された特定モーションがモーション認識部１１０によって認識されると、モーション認識モードを終了する。モーション認識モードを終了させるためのモーションを以下では終了モードと称する。終了モーションは多様に決められてよい。一例としては、客体がユーザの手のひらである場合、終了モーションは手のひらの部分がそれ以上認識されないように、客体がユーザの身体や他物に接触するようになるモーションであってよい。
図７は、ユーザが手１１を下ろしてユーザの膝のような身体の一部に接触するモーションが終了モーションとして使用される場合を示す。なお、図８は、ユーザの手１１を下ろして椅子の肘掛のようなモノに接触するようにする終了モーションを示す。その他に、終了モーションは多様な形態に設定されてよい。
上述のように、プッシュモーションを用いてモーション認識モードを開始して手を下ろしつつ終了すると、より便利かつ正確にユーザの意図を理解してモーション認識制御を行なうことができるようになる。このようなプッシュモーションは、手を前に伸ばしてから元に戻すプッシュ／プルモーションや、手を前に伸ばした状態をそのまま維持するプッシュ／ストップモーションなどを含んでよい。
その他にも、多様な種類のモーションが使われてよい。即ち、円を描くモーションや、特定のアルファベットなどのような文字を描くモーションを取って、それによる動作を行なうことができる。
このような文字は、製作者によってデフォルトで定められたり、ユーザが自分のモーションをモーション認識部１１０を用いて登録させ、自分だけのモーション命令語として使用することもできる。
図９は、本発明の一実施形態に係るディスプレイ装置のモーション制御方法を説明するためのフローチャートである。図９によると、モーションが認識されると（Ｓ９１０）、そのモーションのモーション速度やモーション距離などのような属性を確認して変更単位量を決定する（Ｓ９２０）。ここで、変更単位量は上述のように閾値に比べて段階的に増大するように決定したり、モーション速度やモーション距離の大きさに線形的に比例するように漸進的に増大するように決定することができる。
それから、決定された変更単位量だけ、そのモーションに対応する動作を行なう（Ｓ９３０）。例えば、チャネル変更の場合、変更単位量に応じて１、５、１０のチャネル単位で変更したり、１、２、３、…、ｎのように漸進的に多くのチャネル単位で変更を行なうことができる。ページ切替や、ボリューム調整などのような別の動作も同様に変更単位量に応じてその制御程度が変化するのは言うまでもない。
図１０は、本発明の一実施形態に係るディスプレイ装置のモーション制御方法をより具体的に説明するためのフローチャートである。図１０によると、モーション認識が行なわれると（Ｓ１０１０）、そのモーションの速度や距離などが予め設定された第１閾値以上であるか否かを判断する（Ｓ１０２０）。ここにおける第１閾値は判断対象に応じて多様に決定されてよい。即ち、速度を判断する場合には第１臨界速度であってよく、距離を判断する場合には第１臨界距離であってよい。
これにより、第１閾値未満であると判断されると、何の動作も行なわずにモーションを無視する。
一方、第１閾値以上である場合は再び第２閾値以上であるか否かを判断する（Ｓ１０３０）。第２閾値は、第１閾値より大きい値に設定される。
判断の結果、モーション速度やモーション距離が第２閾値以上である場合、変更単位量を増大させて決定する（Ｓ１０４０）。この場合、上述のように段階的に決定してよく、第２閾値との差に比例して漸進的に増大するように決定してよい。
一方、モーション速度やモーション距離が第２閾値未満である場合は、変更単位量を基本単位であるデフォルト値に決定できる（Ｓ１０５０）。
このように、変更単位量が決定されると、その決定された変更単位量だけモーションに対応する動作を行なう（Ｓ１０６０）。動作の実行方向は、モーション方向と一致してよい。
本モーション制御方法に対する実施形態で認識するモーションは、上述の図３ないし図８に示された多様な種類のモーションであってよい。
なお、図９及び図１０は、モーション認識モードに進入した後に行なわれるステップに対するフローチャートである。従って、上述の実施形態に係るモーション制御方法では、一般モードで動作中にプッシュモーションが行なわれたか否かを判断してプッシュモーションが行なわれるとモーション認識モードに進入するステップ、終了モーションが認識されるとモーション認識モードを終了するステップなどが更に含まれてよい。
一方、以上のようなモーション制御方法を行なうためのプログラムコードは多様な類型の記録媒体に保存されることができる。具体的には、上述の電源提供方法を行なうためのコードは、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｏｎｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、レジスタ、ハードディスク、リムーバブルディスク、メモリカード、ＵＳＢメモリ、ＣＤ−ＲＯＭなどのように、端末機で読取可能な多様な記録媒体に保存されていてよい。
これにより、モーション認識が可能な各種装置に、上述のプログラムコードの記録された記録媒体が接続されたり搭載されるものなら、上述のモーション制御方法がサポートできるようになる。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
１１０ モーション認識部
１２０ 制御部
１３０ チューナ部
１４０ 信号処理部
１５０ 出力部
１６０ 入力部
１７０ 保存部

Claims (14)

  1. ディスプレイ装置において、
    前記ディスプレイ装置の外部に位置した客体のモーションを認識するモーション認識部と、
    前記客体のモーションが認識されると、前記客体のモーション速度またはモーション距離に応じて多様に決定される変更単位量だけ、前記客体のモーションに対応する動作を行なう制御部と
    を含むディスプレイ装置。
  2. 放送チャネルを選局するチューナ部と、
    前記チューナ部で選局された放送チャネルを通じて受信される放送信号を処理する信号処理部と、
    前記信号処理部で処理された放送データを出力する出力部と
    を更に含み、
    放送チャネル変更を指示する第１モーションが認識されると、前記制御部は前記第１モーションのモーション速度またはモーション距離に応じて多様に決定される変更単位量だけ、前記第１モーションのモーション方向に前記放送チャネルを変更して選局するように、前記チューナ部を制御することを特徴とする請求項１に記載のディスプレイ装置。
  3. 前記制御部は、
    前記モーション速度または前記モーション距離が予め設定された閾値以上である場合、第１変更単位量で前記放送チャネルを変更し、前記閾値未満である場合、前記第１変更単位量より小さい第２変更単位量で前記放送チャネルを変更することを特徴とする請求項２に記載のディスプレイ装置。
  4. 前記制御部は、
    前記変更単位量を前記モーション速度または前記モーション距離に比例して漸進的にまたは段階的に増大するように調整することを特徴とする請求項２に記載のディスプレイ装置。
  5. 複数のページを含むコンテンツを表示する出力部を更に含み、
    前記制御部は、
    ページ切替を指示する第２モーションが認識されると、前記第２モーションのモーション速度またはモーション距離に比例して多様に決定される変更単位量だけ、前記第２モーションのモーション方向へページを切り替えるように、前記出力部を制御することを特徴とする請求項１に記載のディスプレイ装置。
  6. 前記制御部は、
    前記モーション速度または前記モーション距離が閾値以上である場合、第１変更単位量で前記コンテンツページを切り替え、前記モーション速度または前記モーション距離が前記閾値未満である場合、前記第１変更単位量より小さい第２変更単位量で前記コンテンツページを切り替えることを特徴とする請求項５に記載のディスプレイ装置。
  7. 前記制御部は、
    前記変更単位量を前記モーション速度または前記モーション距離に比例して漸進的にまたは段階的に増大するように調整することを特徴とする請求項５に記載のディスプレイ装置。
  8. ディスプレイ装置のモーション制御方法において、
    前記ディスプレイ装置の外部に位置した客体のモーションを認識するステップと、
    前記客体のモーション速度またはモーション距離に応じて変更単位量を決定するステップと、
    前記客体のモーションに対応する動作を前記変更単位量だけ行なう実行ステップと
    を含むモーション制御方法。
  9. 放送チャネルを選局して放送データを出力するステップを更に含み、
    前記実行ステップは、
    前記認識されたモーションが放送チャネル変更を指示するための第１モーションである場合、前記第１モーションのモーション速度またはモーション距離の大きさに応じて多様に決定される変更単位量だけ、前記第１モーションのモーション方向に前記放送チャネルを変更して選局することを特徴とする請求項８に記載のモーション制御方法。
  10. 前記実行ステップは、
    前記モーション速度または前記モーション距離が閾値以上である場合、第１変更単位量で前記放送チャネルを変更し、前記モーション速度または前記モーション距離が前記閾値未満である場合、前記第１変更単位量より小さい第２変更単位量で前記放送チャネルを変更することを特徴とする請求項９に記載のモーション制御方法。
  11. 前記変更単位量を決定するステップは、
    前記変更単位量を前記モーション速度または前記モーション距離に比例して漸進的にまたは段階的に増大するように調整することを特徴とする請求項９に記載のモーション制御方法。
  12. 複数のページを含むコンテンツを表示するステップを更に含み、
    前記実行ステップは、
    前記認識されたモーションがページ切替を指示する第２モーションである場合、前記第２モーションのモーション速度またはモーション距離に比例して調整された変更単位量だけ、前記第２モーションのモーション方向へページを切り替えることを特徴とする請求項８に記載のモーション制御方法。
  13. 前記実行ステップは、
    前記モーション速度または前記モーション距離が閾値以上である場合、第１変更単位量で前記ページを切り替え、前記モーション速度または前記モーション距離が前記閾値未満である場合、前記第１変更単位量より小さい第２変更単位量で前記ページを切り替えることを特徴とする請求項１２に記載のモーション制御方法。
  14. 前記変更単位量を決定するステップは、
    前記変更単位量を前記モーション速度または前記モーション距離に比例して漸進的にまたは段階的に増大するように調整することを特徴とする請求項１２に記載のモーション制御方法。
JP2012000696A 2011-01-06 2012-01-05 モーションによって制御されるディスプレイ装置及びそのモーション制御方法 Pending JP2012146304A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2011-0001526 2011-01-06
KR1020110001526A KR101858531B1 (ko) 2011-01-06 2011-01-06 모션에 의해 제어되는 디스플레이 장치 및 그 모션 제어 방법

Publications (2)

Publication Number Publication Date
JP2012146304A true JP2012146304A (ja) 2012-08-02
JP2012146304A5 JP2012146304A5 (ja) 2013-05-02

Family

ID=45464414

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012000696A Pending JP2012146304A (ja) 2011-01-06 2012-01-05 モーションによって制御されるディスプレイ装置及びそのモーション制御方法

Country Status (5)

Country Link
US (2) US20120176552A1 (ja)
EP (1) EP2475183A1 (ja)
JP (1) JP2012146304A (ja)
KR (1) KR101858531B1 (ja)
CN (1) CN102681658B (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014085964A (ja) * 2012-10-25 2014-05-12 Nec Personal Computers Ltd 情報処理方法、情報処理装置、及びプログラム
JP2014085965A (ja) * 2012-10-25 2014-05-12 Nec Personal Computers Ltd 情報処理装置、情報処理方法、及びプログラム
JP2014177819A (ja) * 2013-03-15 2014-09-25 Aisin Seiki Co Ltd 報知音量制御装置及び開閉体装置
JP2015225493A (ja) * 2014-05-28 2015-12-14 京セラ株式会社 携帯端末、ジェスチャ制御プログラムおよびジェスチャ制御方法
JP2017194767A (ja) * 2016-04-19 2017-10-26 株式会社東海理化電機製作所 ジェスチャ判定装置

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8751191B2 (en) * 2009-12-22 2014-06-10 Panasonic Corporation Action analysis device and action analysis method
JP2013250637A (ja) * 2012-05-30 2013-12-12 Toshiba Corp 認識装置
KR101510747B1 (ko) * 2012-12-10 2015-04-10 박정호 모션 센싱 및 감성광고 기능을 구비한 스마트 ｔｖ
KR101510737B1 (ko) * 2012-12-10 2015-04-10 박정호 모션 센싱 및 스마트 ｔｖ 기반의 감성광고 방법
KR101453822B1 (ko) * 2012-12-11 2014-11-05 박수조 감성광고 기능을 구비한 스마트 ｔｖ 기반의 모션 결제 방법
KR101360063B1 (ko) * 2012-12-18 2014-02-12 현대자동차 주식회사 제스처 인식 방법 및 시스템
KR20140126807A (ko) * 2013-04-22 2014-11-03 한국전자통신연구원 동작 인식을 위해 패턴을 투사하는 프로젝터, 이를 이용한 동작 인식 장치 및 방법
US10152136B2 (en) * 2013-10-16 2018-12-11 Leap Motion, Inc. Velocity field interaction for free space gesture interface and control
US9891712B2 (en) 2013-12-16 2018-02-13 Leap Motion, Inc. User-defined virtual interaction space and manipulation of virtual cameras with vectors
KR102171817B1 (ko) 2014-03-14 2020-10-29 삼성전자주식회사 디스플레이 장치 및 제어 방법
KR102265143B1 (ko) 2014-05-16 2021-06-15 삼성전자주식회사 입력 처리 장치 및 방법
PT107791A (pt) * 2014-07-21 2016-01-21 Ricardo José Carrondo Paulino Sistema integrado de divulgação multimeios com capacidade de interação em tempo real por comando natural e capacidade de acionamento e controlo de motores e atuadores elétricos e eletrónicos
ES2912139T3 (es) * 2014-08-13 2022-05-24 Rakuten Group Inc Sistema de entrada de operación, método de entrada de operación y programa
KR101609263B1 (ko) * 2014-12-04 2016-04-05 현대모비스 주식회사 적외선을 이용하여 제스쳐를 인식하기 위한 장치 및 그 방법
US9696795B2 (en) 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
CN105182766A (zh) * 2015-08-12 2015-12-23 小米科技有限责任公司 设备控制方法及装置
CN105245814B (zh) * 2015-10-29 2019-04-12 天脉聚源（北京）科技有限公司 一种录制多媒体数据的方法及装置
DK3466068T3 (da) * 2016-06-03 2021-02-15 Utku Buyuksahin Et system og en metode til at tage og generere 3d-billeder
CN106303746A (zh) * 2016-08-17 2017-01-04 乐视控股（北京）有限公司 弹幕数据的处理方法及装置
US11875012B2 (en) 2018-05-25 2024-01-16 Ultrahaptics IP Two Limited Throwable interface for augmented reality and virtual reality environments
KR102155378B1 (ko) * 2018-09-19 2020-09-14 주식회사 브이터치 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08315154A (ja) * 1995-02-21 1996-11-29 Mitsubishi Electric Res Lab Inc ジェスチャ認識システム
JPH1144703A (ja) * 1997-07-25 1999-02-16 Matsushita Electric Ind Co Ltd 手振り入力装置
JP2006209563A (ja) * 2005-01-31 2006-08-10 Victor Co Of Japan Ltd インターフェース装置
JP2010045730A (ja) * 2008-08-18 2010-02-25 Sony Corp 情報処理装置、情報処理方法、遠隔制御装置及び情報処理システム
JP2010079771A (ja) * 2008-09-29 2010-04-08 Hitachi Ltd 入力装置
JP2010250757A (ja) * 2009-04-20 2010-11-04 Toshiba Corp 携帯端末およびデータ表示方法

Family Cites Families (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08211979A (ja) 1995-02-02 1996-08-20 Canon Inc 手振り入力装置及び方法
KR19990008158A (ko) * 1995-04-28 1999-01-25 모리시타요우이치 인터페이스 장치
US5767457A (en) 1995-11-13 1998-06-16 Cirque Corporation Apparatus and method for audible feedback from input device
US6950534B2 (en) * 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6501515B1 (en) * 1998-10-13 2002-12-31 Sony Corporation Remote control system
US6351222B1 (en) * 1998-10-30 2002-02-26 Ati International Srl Method and apparatus for receiving an input by an entertainment device
US6952803B1 (en) 1998-12-29 2005-10-04 Xerox Corporation Method and system for transcribing and editing using a structured freeform editor
KR100446612B1 (ko) * 2001-07-24 2004-09-04 삼성전자주식회사 다차원 공간상에서의 정보 선택 방법 및 장치
US20030233237A1 (en) 2002-06-17 2003-12-18 Microsoft Corporation Integration of speech and stylus input to provide an efficient natural input experience
JP2004246814A (ja) 2003-02-17 2004-09-02 Takenaka Komuten Co Ltd 指示動作認識装置
US7665041B2 (en) 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
US8684839B2 (en) 2004-06-18 2014-04-01 Igt Control of wager-based game using gesture recognition
JP4005061B2 (ja) * 2004-06-30 2007-11-07 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、プログラム、および、情報処理装置におけるオブジェクト制御方法
SG153805A1 (en) * 2004-07-19 2009-07-29 Creative Tech Ltd Method and apparatus for touch scrolling
EP1645944B1 (en) 2004-10-05 2012-08-15 Sony France S.A. A content-management interface
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
US7551779B2 (en) 2005-03-17 2009-06-23 Microsoft Corporation Word or character boundary-based scratch-out gesture recognition
WO2007097548A1 (en) * 2006-02-20 2007-08-30 Cheol Woo Kim Method and apparatus for user-interface using the hand trace
US8249334B2 (en) 2006-05-11 2012-08-21 Primesense Ltd. Modeling of humanoid forms from depth maps
US7721207B2 (en) * 2006-05-31 2010-05-18 Sony Ericsson Mobile Communications Ab Camera based control
KR20080006393A (ko) 2006-07-12 2008-01-16 삼성전자주식회사 디스플레이장치, 그 제어방법 및 이를 이용한 신호처리장치
CN101558367A (zh) * 2006-12-05 2009-10-14 索尼爱立信移动通讯有限公司 用于检测物体移动的方法和系统
US20080134102A1 (en) * 2006-12-05 2008-06-05 Sony Ericsson Mobile Communications Ab Method and system for detecting movement of an object
JP5030580B2 (ja) 2006-12-27 2012-09-19 タカタ株式会社 車両用作動システム、車両
US8144148B2 (en) 2007-02-08 2012-03-27 Edge 3 Technologies Llc Method and system for vision-based interaction in a virtual environment
US20080221882A1 (en) 2007-03-06 2008-09-11 Bundock Donald S System for excluding unwanted data from a voice recording
JP2008269174A (ja) 2007-04-18 2008-11-06 Fujifilm Corp 制御装置、方法およびプログラム
JP4625831B2 (ja) 2007-08-01 2011-02-02 シャープ株式会社 表示装置および表示方法
US20110210931A1 (en) 2007-08-19 2011-09-01 Ringbow Ltd. Finger-worn device and interaction methods and communication methods
US20090070109A1 (en) 2007-09-12 2009-03-12 Microsoft Corporation Speech-to-Text Transcription for Personal Communication Devices
US8555207B2 (en) 2008-02-27 2013-10-08 Qualcomm Incorporated Enhanced input using recognized gestures
US20110029869A1 (en) 2008-02-29 2011-02-03 Mclennan Hamish Method and system responsive to intentional movement of a device
US8380119B2 (en) 2008-05-15 2013-02-19 Microsoft Corporation Gesture-related feedback in eletronic entertainment system
US8566717B2 (en) 2008-06-24 2013-10-22 Microsoft Corporation Rendering teaching animations on a user-interface display
US20110115702A1 (en) 2008-07-08 2011-05-19 David Seaberg Process for Providing and Editing Instructions, Data, Data Structures, and Algorithms in a Computer System
EP2180395A1 (en) * 2008-10-24 2010-04-28 Himax Media Solutions, Inc. Display control device and display control method
KR101737829B1 (ko) 2008-11-10 2017-05-22 삼성전자주식회사 휴대 단말기의 모션 입력 장치 및 그의 운용 방법
CN201294582Y (zh) * 2008-11-11 2009-08-19 天津三星电子有限公司 通过用户手势动作来进行功能控制的电视机
KR20100056838A (ko) 2008-11-20 2010-05-28 주식회사 대우일렉트로닉스 사용자 동작 기반의 전자기기 제어 장치 및 방법
US8543415B2 (en) 2008-11-26 2013-09-24 General Electric Company Mobile medical device image and series navigation
CN101437124A (zh) * 2008-12-17 2009-05-20 三星电子（中国）研发中心 面向电视控制的动态手势识别信号处理方法
CN101751206A (zh) * 2008-12-19 2010-06-23 英华达股份有限公司 电子书装置及其操作方法
JP5175755B2 (ja) 2009-02-04 2013-04-03 株式会社東芝 ジェスチャ認識装置、その方法及びそのプログラム
US8517834B2 (en) 2009-02-17 2013-08-27 Softkinetic Studios Sa Computer videogame system with body position detector that requires user to assume various body positions
WO2010103482A2 (en) 2009-03-13 2010-09-16 Primesense Ltd. Enhanced 3d interfacing for remote devices
JP5256109B2 (ja) 2009-04-23 2013-08-07 株式会社日立製作所 表示装置
US20100277470A1 (en) 2009-05-01 2010-11-04 Microsoft Corporation Systems And Methods For Applying Model Tracking To Motion Capture
US9377857B2 (en) 2009-05-01 2016-06-28 Microsoft Technology Licensing, Llc Show body position
US8619029B2 (en) 2009-05-22 2013-12-31 Motorola Mobility Llc Electronic device with sensing assembly and method for interpreting consecutive gestures
US9400559B2 (en) 2009-05-29 2016-07-26 Microsoft Technology Licensing, Llc Gesture shortcuts
KR20110003146A (ko) 2009-07-03 2011-01-11 한국전자통신연구원 제스쳐 인식 장치, 이를 구비한 로봇 시스템 및 이를 이용한 제스쳐 인식 방법
US9400548B2 (en) 2009-10-19 2016-07-26 Microsoft Technology Licensing, Llc Gesture personalization and profile roaming
KR101612788B1 (ko) 2009-11-05 2016-04-18 엘지전자 주식회사 이동 단말기 및 그 제어 방법
WO2011066343A2 (en) 2009-11-24 2011-06-03 Next Holdings Limited Methods and apparatus for gesture recognition mode control
US20110161889A1 (en) 2009-12-30 2011-06-30 Motorola, Inc. User Interface for Electronic Devices
US9268404B2 (en) 2010-01-08 2016-02-23 Microsoft Technology Licensing, Llc Application gesture interpretation
US20130120282A1 (en) 2010-05-28 2013-05-16 Tim Kukulski System and Method for Evaluating Gesture Usability
US8836643B2 (en) 2010-06-10 2014-09-16 Qualcomm Incorporated Auto-morphing adaptive user interface device and methods
US8296151B2 (en) 2010-06-18 2012-10-23 Microsoft Corporation Compound gesture-speech commands
US20120096345A1 (en) 2010-10-19 2012-04-19 Google Inc. Resizing of gesture-created markings for different display sizes
US9348417B2 (en) 2010-11-01 2016-05-24 Microsoft Technology Licensing, Llc Multimodal input system
US8786547B2 (en) 2010-12-23 2014-07-22 Microsoft Corporation Effects of gravity on gestures
US20130246063A1 (en) 2011-04-07 2013-09-19 Google Inc. System and Methods for Providing Animated Video Content with a Spoken Language Segment
DE112011105305T5 (de) 2011-06-03 2014-03-13 Google, Inc. Gesten zur Textauswahl
US8442970B2 (en) 2011-08-05 2013-05-14 Microsoft Corporation Creating and editing user search queries
US20130067411A1 (en) 2011-09-08 2013-03-14 Google Inc. User gestures indicating rates of execution of functions

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08315154A (ja) * 1995-02-21 1996-11-29 Mitsubishi Electric Res Lab Inc ジェスチャ認識システム
JPH1144703A (ja) * 1997-07-25 1999-02-16 Matsushita Electric Ind Co Ltd 手振り入力装置
JP2006209563A (ja) * 2005-01-31 2006-08-10 Victor Co Of Japan Ltd インターフェース装置
JP2010045730A (ja) * 2008-08-18 2010-02-25 Sony Corp 情報処理装置、情報処理方法、遠隔制御装置及び情報処理システム
JP2010079771A (ja) * 2008-09-29 2010-04-08 Hitachi Ltd 入力装置
JP2010250757A (ja) * 2009-04-20 2010-11-04 Toshiba Corp 携帯端末およびデータ表示方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014085964A (ja) * 2012-10-25 2014-05-12 Nec Personal Computers Ltd 情報処理方法、情報処理装置、及びプログラム
JP2014085965A (ja) * 2012-10-25 2014-05-12 Nec Personal Computers Ltd 情報処理装置、情報処理方法、及びプログラム
JP2014177819A (ja) * 2013-03-15 2014-09-25 Aisin Seiki Co Ltd 報知音量制御装置及び開閉体装置
JP2015225493A (ja) * 2014-05-28 2015-12-14 京セラ株式会社 携帯端末、ジェスチャ制御プログラムおよびジェスチャ制御方法
US10037083B2 (en) 2014-05-28 2018-07-31 Kyocera Corporation Mobile electronic device and method
JP2017194767A (ja) * 2016-04-19 2017-10-26 株式会社東海理化電機製作所 ジェスチャ判定装置

Also Published As

Publication number Publication date
US20120176552A1 (en) 2012-07-12
EP2475183A1 (en) 2012-07-11
US20150156441A1 (en) 2015-06-04
US9398243B2 (en) 2016-07-19
CN102681658B (zh) 2016-03-09
CN102681658A (zh) 2012-09-19
KR101858531B1 (ko) 2018-05-17
KR20120080074A (ko) 2012-07-16

Similar Documents

Publication Publication Date Title
JP2012146304A (ja) モーションによって制御されるディスプレイ装置及びそのモーション制御方法
CN106341522B (zh) 移动终端及其控制方法
JP2012146303A (ja) モーションによって制御されるディスプレイ装置及びそのモーション制御方法
JP6143975B1 (ja) 画像の取り込みを支援するためにハプティックフィードバックを提供するためのシステムおよび方法
CN109257645B (zh) 视频封面生成方法及装置
AU2014221568B2 (en) Apparatus and method for positioning image area using image sensor location
US9513711B2 (en) Electronic device controlled by a motion and controlling method thereof using different motions to activate voice versus motion recognition
KR102114377B1 (ko) 전자 장치에 의해 촬영된 이미지들을 프리뷰하는 방법 및 이를 위한 전자 장치
EP3226537A1 (en) Mobile terminal and method for controlling the same
CN111970456B (zh) 拍摄控制方法、装置、设备及存储介质
JP6091669B2 (ja) 撮像装置、撮像アシスト方法及び撮像アシストプログラムを記録した記録媒体
EP2712176B1 (en) Method and apparatus for photography
KR20160088719A (ko) 이미지를 촬영하는 전자 장치 및 방법
KR102070598B1 (ko) 카메라 장치 및 그의 제어 방법
CN116188343B (zh) 一种图像融合方法、装置、电子设备、芯片及介质
US10437330B2 (en) Gaze detection, identification and control method
CN106921826B (zh) 拍照模式的处理方法及装置
KR101720607B1 (ko) 영상 촬영 장치 및 그 동작 방법
CN106708268B (zh) 一种实现应用交互处理的方法及装置
KR101895865B1 (ko) 랜드스케이프 동영상 컨텐츠의 적응적 재생 시스템 및 재생방법
CN114594853B (zh) 动态交互设备及屏幕控制方法
KR101324809B1 (ko) 휴대용 단말기 및 그 제어방법
US20230291998A1 (en) Electronic apparatus, method for controlling the same, and computer-readable storage medium storing program
EP3826282A1 (en) Image capturing method and device
KR20140096250A (ko) 모션에 의해 제어되는 전자기기 및 그 제어 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130318

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160129

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160823