JP2009075685A - 画像処理装置および画像処理方法、並びにプログラム - Google Patents

画像処理装置および画像処理方法、並びにプログラム Download PDF

Info

Publication number
JP2009075685A
JP2009075685A JP2007241679A JP2007241679A JP2009075685A JP 2009075685 A JP2009075685 A JP 2009075685A JP 2007241679 A JP2007241679 A JP 2007241679A JP 2007241679 A JP2007241679 A JP 2007241679A JP 2009075685 A JP2009075685 A JP 2009075685A
Authority
JP
Japan
Prior art keywords
feature point
unit
image
command
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007241679A
Other languages
English (en)
Other versions
JP4569613B2 (ja
Inventor
Shingo Tsurumi
辰吾 鶴見
Shoichi Doi
正一 土居
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007241679A priority Critical patent/JP4569613B2/ja
Priority to EP08252314.3A priority patent/EP2040156B1/en
Priority to US12/211,651 priority patent/US8643598B2/en
Priority to CN2008102115447A priority patent/CN101393477B/zh
Priority to CN201110049131.5A priority patent/CN102141839B/zh
Publication of JP2009075685A publication Critical patent/JP2009075685A/ja
Application granted granted Critical
Publication of JP4569613B2 publication Critical patent/JP4569613B2/ja
Priority to US13/777,823 priority patent/US8896535B2/en
Priority to US14/519,478 priority patent/US20150035752A1/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】ポインティングデバイスにおいて、少ない処理量で、ロバスト性の高い認識と高精度の位置検出を行う。
【解決手段】特徴点抽出部３４は、撮像画像から特徴点を抽出する。計算部３５は、特徴点の位置を認識する。合成部３９は、特徴点の位置に基づいて、特徴点を表す特徴点ポインタを表示させる。コマンド発行部３８は、特徴点の位置に基づいて、特徴点の位置または動きに対応するコマンドを発行する。本発明は、例えば、ポインティングデバイスを提供する画像処理装置に適用することができる。
【選択図】図２

Description

本発明は、画像処理装置および画像処理方法、並びにプログラムに関し、特に、ポインティングデバイスにおいて、少ない処理量で、ロバスト性の高い認識と高精度の位置検出を行うことができるようにした画像処理装置および画像処理方法、並びにプログラムに関する。
近年、カメラでポインティングデバイスとしての手のジェスチャを認識し、それを機器制御と結びつけたインターフェースが複数提案されている。
例えば、CCD（Charge Coupled Device）カメラから入力された撮像画像から、ユーザの手に相当する部分を抽出し、手の形状や位置に基づいて制御を行うインターフェースがある(例えば、特許文献１参照)。
特開平８−４４４９０号公報
しかしながら、撮像画像からユーザの手に相当する部分を抽出する場合、例えば撮像画像から全ての輪郭を抽出し、その輪郭の形状から手に相当する部分をマッチングなどによって選択する必要があるため、処理量が多く、処理時間は比較的長くなってしまう。また、手の形状は多様であるため、輪郭の形状から手を認識する場合、手の認識に対するロバスト性が低く、手の位置検出の精度も低い。
本発明は、このような状況に鑑みてなされたものであり、ポインティングデバイスにおいて、少ない処理量で、ロバスト性の高い認識と高精度の位置検出を行うことができるようにするものである。
本発明の一側面の画像処理装置は、撮像画像から特徴点を抽出する抽出手段と、前記特徴点の位置を認識する認識手段と、前記特徴点の位置に基づいて、前記特徴点を表す特徴点ポインタを表示させる表示制御手段と、前記特徴点の位置に基づいて、前記特徴点の位置または動きに対応するコマンドを発行する発行手段とを備える。
本発明の一側面の画像処理装置においては、前記表示制御手段は、前記特徴点の位置に基づいて、前記特徴点ポインタとともに所定のユーザインターフェースを表示させ、前記発行手段は、前記特徴点の位置に基づいて、その位置に表示されているユーザインターフェースに対応するコマンドを発行することができる。
本発明の一側面の画像処理装置においては、前記抽出手段は、前記撮像画像から複数の特徴点を抽出し、前記発行手段は、前記特徴点ごとに、前記特徴点の位置に基づいて、前記特徴点の位置または動きに対応するコマンドをそれぞれ発行することができる。
本発明の一側面の画像処理装置においては、前記表示制御手段は、前記特徴点ごとに、前記特徴点の位置に基づいて、前記特徴点ポインタとともに所定のユーザインターフェースを表示させ、前記発行手段は、前記特徴点ごとに、前記特徴点の位置に基づいて、その位置に表示されているユーザインターフェースに対応するコマンドを発行することができる。
本発明の一側面の画像処理装置においては、前記表示制御手段は、前記特徴点ごとに、前記特徴点の位置に基づいて前記特徴点ポインタを表示させるとともに、複数の前記特徴点に共通の所定のユーザインターフェースを表示させ、前記発行手段は、前記特徴点ごとに、前記特徴点の位置に基づいて、その位置に表示されているユーザインターフェースに対応するコマンドを発行することができる。
本発明の一側面の画像処理装置においては、前記抽出手段は、前記撮像画像から複数の特徴点を抽出し、前記発行手段は、複数の前記特徴点の位置または動きに対応するコマンドを発行することができる。
本発明の一側面の画像処理方法は、撮像画像から特徴点を抽出する画像処理装置の画像処理方法において、前記撮像画像から前記特徴点を抽出し、前記特徴点の位置を認識し、前記特徴点の位置に基づいて、前記特徴点を表す特徴点ポインタを表示させ、前記特徴点の位置に基づいて、前記特徴点の位置または動きに対応するコマンドを発行するステップを含む。
本発明の一側面のプログラムは、撮像画像から特徴点を抽出する画像処理を、コンピュータに行わせるプログラムにおいて、前記撮像画像から前記特徴点を抽出し、前記特徴点の位置を認識し、前記特徴点の位置に基づいて、前記特徴点を表す特徴点ポインタを表示させ、前記特徴点の位置に基づいて、前記特徴点の位置または動きに対応するコマンドを発行するステップを含む画像処理をコンピュータに行わせる。
本発明の一側面においては、撮像画像から特徴点が抽出され、特徴点の位置が認識され、特徴点の位置に基づいて、特徴点を表す特徴点ポインタが表示され、特徴点の位置に基づいて、特徴点の位置または動きに対応するコマンドが発行される。
以上のように、本発明の一側面によれば、ポインティングデバイスにおいて、少ない処理量で、ロバスト性の高い認識と高精度の位置検出を行うことができる。
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
本発明の一側面の画像処理装置(例えば、図２の画像処理装置１１)は、
撮像画像から特徴点を抽出する抽出手段(例えば、図２の特徴点抽出部３４)と、
前記特徴点の位置を認識する認識手段(例えば、図２の計算部３５)と、
前記特徴点の位置に基づいて、前記特徴点を表す特徴点ポインタを表示させる表示制御手段(例えば、図２の合成部３９)と、
前記特徴点の位置に基づいて、前記特徴点の位置または動きに対応するコマンドを発行する発行手段(例えば、図２のコマンド発行部３８)と
を備える。
本発明の一側面の画像処理方法は、
撮像画像から特徴点を抽出する画像処理装置(例えば、図２の画像処理装置１１)の画像処理方法において、
前記撮像画像から前記特徴点を抽出し（例えば、図２１のステップＳ１３）、
前記特徴点の位置を認識し(例えば、図２１のステップＳ１６)、
前記特徴点の位置に基づいて、前記特徴点を表す特徴点ポインタを表示させ(例えば、図２１のステップＳ１４)、
前記特徴点の位置に基づいて、前記特徴点の位置または動きに対応するコマンドを発行する(例えば、図２１のステップＳ１８)
ステップを含む。
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
図１は、本発明を適用した画像処理装置の第１の実施の形態の概要を示している。
図１の画像処理装置１１に設けられたカメラ１２は、ユーザを撮像する。画像処理装置１１は、その結果得られるユーザの撮像画像を解析し、その解析結果に対応する画像などを、画像処理装置１１に設けられたディスプレイなどの表示部１３に表示させる。
図１の例では、ユーザは、１チャンネル(ch)のテレビジョン番組を視聴している。ここで、ユーザは、視聴対象とするテレビジョン番組のチャンネルを変更する場合、まず最初に、カメラ１２に向かって手を振る。
このとき、画像処理装置１１は、図１に示すように、１チャンネルのテレビジョン番組の画像上に、撮像画像の特徴点を表す特徴点ポインタ１４と、各チャンネルを選択するときに操作されるUI（ユーザインターフェース）１５−１乃至１５−７とを表示部１３に表示させるとともに、左右の画像を反転させる鏡面処理後の撮像画像を半透明で表示部１３に表示させる。なお、UI１５−１乃至１５−７は、最初の特徴点ポインタ１４の位置を囲む所定の円の円周上に並べられ、UI１５−１乃至１５−７には、選択するチャンネルの番号が記載される。
次に、ユーザは、表示部１３に半透明で表示されている撮像画像を見ながら、特徴点ポインタ１４に対応する現実世界の空間を指で左右から包み込み、その空間を手の中に収める動作を行う。以下では、この動作を「掴む」という。ユーザは、特徴点ポインタ１４を掴んだ状態で、特徴点ポインタ１４が、視聴対象としたいテレビジョン番組のチャンネルの番号が記載されたUI１５−１乃至１５−７のいずれかに重なるように移動させる。
このとき、画像処理装置１１は、カメラ１２により撮像された撮像画像から、ユーザにより掴まれた特徴点ポインタ１４が表す特徴点の位置を検出し、その特徴点の位置に配置されているUI１５−１乃至１５−７に対応するコマンドを発行する。
例えば、図１において、ユーザが、表示部１３に表示された、チャンネルの番号として「６」が記載されたUI１５−４に、特徴点ポインタ１４が重なるように、特徴点ポインタ１４を指で掴んだ状態の手を移動させると、６チャンネルのテレビジョン番組の画像を表示させるためのコマンドが発行される。その結果、ユーザは、６チャンネルのテレビジョン番組を視聴することができる。
なお、以下では、UI１５−１乃至１５−７を特に区別する必要がない場合、それらをまとめてUI１５という。
図２は、図１の画像処理装置１１の構成例を示すブロック図である。
図２の画像処理装置１１は、カメラ１２、表示部１３、画像取得部３１、フレームバッファ３２、トリガ検出部３３、特徴点抽出部３４、計算部３５、UI描画部３６、コマンド判定部３７、コマンド発行部３８、および合成部３９により構成される。
カメラ１２は、例えばCCD，CMOS（Coplementary Metal-Oxide Semiconductor）センサなどの光学的な画像を電気信号に変換する光電変換素子を有するビデオカメラなどからなり、ユーザを撮像する。カメラ１２は、その結果得られるフレーム単位の撮像画像を、画像取得部３１に供給する。
画像取得部３１は、カメラ１２から供給される撮像画像を、フレームバッファ３２と合成部３９に供給する。フレームバッファ３２は、画像取得部３１から供給される撮像画像を、所定のフレーム数分だけフレーム単位で蓄積する。
トリガ検出部３３は、フレームバッファ３２から撮像画像を読み出す。トリガ検出部３３は、その撮像画像から、ユーザがカメラ１２に向かって手を振ったことをトリガとして検出する。この検出方法としては、時間方向の周波数を解析する方法やフレーム間差分で動領域の動きを解析する方法などがある。トリガ検出部３３は、撮像画像中のユーザの手振りが検出された領域を表す領域情報を、特徴点抽出部３４に供給する。
特徴点抽出部３４は、フレームバッファ３２から撮像画像を読み出す。特徴点抽出部３４は、その撮像画像の、トリガ検出部３３から供給される領域情報が表す領域における輝度成分を用いて、１つのコーナ点を特徴点として抽出する。なお、コーナ点とは、Ｘ方向（水平方向）にもＹ方向（垂直方向）にも輝度の勾配が大きい点のことである。
コーナ点としては、Harris Corner、スーザンオペレータ（SUSAN Operator）を用いて抽出されるコーナ点などがある。スーザンオペレータ（SUSAN Operator）を用いてコーナ点を抽出する手法については、例えばホームページ(http://www.oita-ri.go.jp/report/2002/2002_12.pdf)に掲載された論文「SUSANオペレータを用いた画像特徴点の抽出」に記載されている。
以上のように、特徴点抽出部３４は、撮像画像の輝度成分を用いて特徴点を抽出するので、特徴点の抽出において照明環境に対するロバスト性が高い。
特徴点抽出部３４は、抽出した特徴点の位置を表す抽出位置情報を計算部３５とUI描画部３６に供給する。
計算部３５は、フレームバッファ３２から、連続する２フレームの撮像画像を読み出す。計算部３５は、読み出した２フレームの撮像画像と、特徴点抽出部３４から供給される抽出位置情報または特徴点の現在の位置を表す特徴点情報とに基づいて、特徴点に対するオプティカルフローを、フレームごとに計算する。
なお、オプティカルフローの計算には、例えば、ブロックマッチングや勾配法などが用いられる。また、上述したように、コーナ点は、Ｘ方向にもＹ方向にも輝度の勾配が大きい点であるので、オプティカルフローの計算精度は高い。
さらに、計算部３５は、オプティカルフローに基づいて、特徴点の現在の位置を認識し、特徴点情報を更新する。計算部３５は、特徴点情報をUI描画部３６とコマンド判定部３７に供給する。
UI描画部３６は、特徴点ポインタとUIの画像を予め記憶している。UI描画部３６は、特徴点抽出部３４から供給される抽出位置情報に基づいて、特徴点の位置の周囲にUIが配置されるように、UIの配置を決定する。UI描画部３６は、そのUIの配置を表すUI情報と、予め記憶しているUIの画像を合成部３９に供給する。また、UI描画部３６は、抽出位置情報または計算部３５から供給される特徴点情報と、予め記憶している特徴点ポインタの画像とを、合成部３９に供給する。さらに、UI描画部３６は、UI情報をコマンド判定部３７に供給する。
コマンド判定部３７は、計算部３５から供給される特徴点情報、および、UI描画部３６から供給されるUI情報に基づいて、特徴点の位置に表示されているUIを検出する。そして、コマンド判定部３７は、そのUIが操作されたというイベントと、そのUIを特定する情報である特定情報をコマンド発行部３８に供給する。
また、コマンド判定部３７は、特徴点の動きとイベントまたはコマンドを対応付けたテーブルを予め記憶している。コマンド判定部３７は、計算部３５から供給される特徴点情報に基づいて特徴点の位置の軌跡を認識し、その軌跡が表す動きに対応するイベントまたはコマンドを、予め記憶しているテーブルから読み出す。コマンド判定部３７は、読み出したイベントまたはコマンドをコマンド発行部３８に供給する。
コマンド発行部３８は、特定情報と、その特定情報により特定されるUIに対応するコマンドを対応付けたテーブルを予め記憶している。コマンド発行部３８は、コマンド判定部３７から供給されるイベントと特定情報に基づいて、その特定情報により特定されるUIに対応するコマンドを、予め記憶しているテーブルから読み出し、発行する。また、コマンド発行部３８は、コマンド判定部３７から供給されるイベントまたはコマンドを、コマンドとして発行する。
合成部３９は、チューナやネットワークを介して接続された装置などの外部の装置(図示せず)から、視聴対象のコンテンツの画像を取得する。そして、合成部３９は、視聴対象の画像を、視聴対象の画像が表示される画面(以下、視聴対象画面という)の画像として、そのまま表示部１３に供給して表示させる。
また、合成部３９は、UI描画部３６から供給されるUI情報およびUIの画像、並びに、抽出位置情報または特徴点情報、および特徴点ポインタの画像に基づいて、視聴対象画面の画像にUIの画像と特徴点ポインタの画像を合成し、その結果得られる合成画像を表示部１３に供給して表示させる。
さらに、合成部３９は、画像取得部３１から供給される撮像画像に対して鏡面処理を行う。合成部３９は、UIの画像と特徴点ポインタが合成された視聴対象画面上に、鏡面処理後の撮像画像が半透明で表示されるように、その合成された視聴対象画面の画像に、鏡面処理後の撮像画像をさらに合成し、その結果得られる合成画像を表示部１３に供給して表示させる。
次に、図３を参照して、特徴点ポインタ１４を掴むという動作について説明する。
図３において、空間５１は、図１の表示部１３に表示されている特徴点ポインタ１４の位置に対応する空間である。図３に示すように、ユーザが、その空間５１を指で左右から包み込み、空間５１を手の中に収めることにより、特徴点ポインタ１４を掴むと、特徴点は、特徴点ポインタ１４を掴んだ手の画像中に存在するようになる。
従って、ユーザが特徴点ポインタ１４を掴んだ状態で手を動かすと、その手の動きを表すオプティカルフローが、特徴点に対するオプティカルフローとして計算される。その結果、ユーザは、特徴点ポインタ１４を掴んだ手をポインティングデバイスとして使用することができる。
以上のように、画像処理装置１１は、ユーザの手を形状などから認識して手の動きを検出するのではなく、ユーザの手により掴まれた特徴点ポインタ１４が表す特徴点であって、ユーザの手と一体化して移動する特徴点を認識して、その特徴点の動きを手の動きとして検出する。従って、ユーザの手を形状などから認識して手の動きを検出する場合に比べて、少ない処理量で、ポインティングデバイスの認識のロバスト性と位置検出の精度を高めることができる。
また、画像処理装置１１では、ユーザが特徴点ポインタ１４を掴むことにより、手の動きを検出することができるので、ユーザが手を動かすだけで手の動きが検出される検出方法を、全自動のハンドジェスチャの検出方法とすると、画像処理装置１１における検出方法は、半自動のハンドジェスチャの検出方法であるといえる。
次に、図４乃至図１１を参照して、画像処理装置１１におけるポインティングデバイスの使用について説明する。
まず最初に、ユーザは、図４に示すように、例えば１チャンネルのテレビジョン番組の視聴中に、カメラ１２に向かって手を振る。これにより、画像処理装置１１では、領域６１において、ユーザによる手振りがトリガとして検出され、領域６１において特徴点が抽出される。
そして、図５に示すように、表示部１３において、鏡面処理後の撮像画像が、１チャンネルのテレビジョン番組の画像が表示された視聴対象画面上に、半透明で表示されるとともに、特徴点に基づいて特徴点ポインタ１４とUI１５が表示される。これにより、ユーザは、視聴対象である１チャンネルのテレビジョン番組の画像、カメラ１２に対峙しているユーザ自身の画像、特徴点ポインタ、およびUI１５を同時に見ることができる。
ここで、ユーザは、図６に示すように、表示部１３に表示されている特徴点ポインタ１４を見ながら、その特徴点ポインタ１４に対応する空間を右手の指で左右から包み込み、図７に示すように、その空間を右手の中に収める。即ち、ユーザは、特徴点ポインタ１４を掴む。
その後、ユーザは、表示部１３に表示されている特徴点ポインタ１４とUI１５を見ながら、例えば図８に示すように、表示部１３の視聴対象画面上で、特徴点ポインタ１４が、UI１５−２に重なるように、特徴点ポインタ１４を掴んだ右手を、カメラ１２に向かって左方向に移動させる。
これにより、UI１５−２に対応するコマンドとして、３チャンネルのテレビジョン番組を視聴対象とするコマンドが発行される。その結果、図８に示すように、表示部１３に表示される視聴対象の画像は、１チャンネルのテレビジョン番組の画像から、３チャンネルのテレビジョン番組の画像に変更される。
次に、図９に示すように、ユーザが、特徴点ポインタ１４を掴んだ右手をカメラ１２に向かって右方向に移動させ、図１０に示すように、特徴点ポインタ１４が、UI１５が並べられた円外に移動するように、特徴点ポインタ１４を掴んだ右手をカメラ１２に向かって下方向に移動させると、インターフェースに関する表示を終了するコマンドが発行される。
その結果、図１１に示すように、表示部１３から、撮像画像、特徴点ポインタ１４、およびUI１５が削除される。即ち、表示部１３の視聴対象画面には、視聴対象である３チャンネルのテレビジョン番組の画像だけが表示される。
なお、ユーザが、インターフェースに関する表示を終了させるのではなく、再度、視聴対象とするテレビジョン番組のチャンネルを変更したい場合、ユーザは、図９に示したように、特徴点ポインタ１４を掴んだ右手をカメラ１２に向かって右方向に移動させて、特徴点ポインタ１４をUI１５が並べられた円内に戻し、その後所望のチャンネルの数字が記載されたUI１５に、特徴点ポインタ１４が重なるように、特徴点ポインタ１４を掴んだ右手を移動させる。その結果、表示部１３には、ユーザの所望のチャンネルのテレビジョン番組の画像が表示され、その画像上には撮像画像、特徴点ポインタ１４、およびUI１５が表示される。
また、図４乃至図１１では、視聴対象がテレビジョン番組であり、視聴対象とするテレビジョン番組のチャンネルを変更するときのポインティングデバイスの使用について説明したが、視聴対象はテレビジョン番組に限定されない。
例えば、図１２乃至図２０に示すように、視聴対象はWebページであってもよい。この場合、まず最初に、ユーザは、図１２に示すように、例えばリンク８２が張られたWebページ（WebPage1）の視聴中に、カメラ１２に向かって手を振る。これにより、画像処理装置１１では、領域８１において、ユーザによる手振りがトリガとして検出され、領域８１において特徴点が抽出される。
そして、図１３に示すように、表示部１３において、鏡面処理後の撮像画像が、リンク８２が張られたWebページ上に半透明で表示されるとともに、特徴点に基づいて特徴点ポインタ８３とUI９１乃至９３が表示される。UI９１は、前のWebページを視聴対象とするときに操作され、UI９２は、次のWebページを視聴対象とするときに操作される。また、UI９３は、インターフェースに関する表示を終了するときに操作される。
ここで、ユーザは、図１４に示すように、表示部１３に表示されている特徴点ポインタ８３を見ながら、その特徴点ポインタ８３に対応する空間を右手の指で左右から包み込み、図１５に示すように、その空間を右手の中に収める。即ち、ユーザは、特徴点ポインタ８３を掴む。
その後、図１６に示すように、ユーザは、特徴点ポインタ８３を掴んだ右手を、カメラ１２に向かって時計回りに２回転させ、その後２秒以上静止する。この動作(以下、２回転静止動作という)は、マウスのクリックに相当する。画像処理装置１１は、２回転静止動作に対応するコマンドとして、特徴点ポインタ８３の色を変更するコマンドを発行する。
そして、ユーザは、表示部１３に表示されているリンク８２、色が変更された特徴点ポインタ８３、およびUI９１乃至９３を見ながら、例えば図１７に示すように、表示部１３の視聴対象画面上で、色が変更された特徴点ポインタ８３が、リンク８２に重なるように、特徴点ポインタ８３を掴んだ右手を、カメラ１２に向かって右方向に移動させ、数秒間静止する。
これにより、画像処理装置１１では、リンク８２上でのマウスのクリックに相当するイベントがコマンドとして発行されるとともに、特徴点ポインタ８３の色を元に戻すコマンドが発行される。その結果、図１８に示すように、表示部１３に表示される視聴対象の画像は、リンク８２が張られたWebページ（WebPage1）から、リンク８２に対応するWebページ（WebPage2）に変更され、特徴点ポインタ８３の色は元に戻る。
次に、図１９に示すように、ユーザが、表示部１３の視聴対象画面上で、特徴点ポインタ８３がUI９３に重なるように、特徴点ポインタ８３を掴んだ右手を、カメラ１２に向かって下方向に移動させると、インターフェースに関する表示を終了するコマンドが発行される。
その結果、図２０に示すように、表示部１３から、撮像画像、特徴点ポインタ８３、およびUI９１乃至９３が削除される。即ち、表示部１３の視聴対象画面には、視聴対象であるWebページ（WebPage2）だけが表示される。
以上のように、画像処理装置１１では、特徴点ポインタ８３を用いてフリーカーソルポインティングと、マウスのクリックに相当するイベントの発行が可能である。従って、画像処理装置１１は、特徴点の位置を、マウスの位置として認識することにより、Webブラウザ用のUI９１乃至９３を表示させずに、既存のブラウザを制御してWebページを表示させることもできる。
次に、図２１を参照して、図２の画像処理装置１１における画像処理について説明する。この画像処理は、例えば、ユーザがリモートコントローラなどの操作部（図示せず）を操作することにより、視聴の開始が指令されたとき、開始される。
ステップＳ１０において、合成部３９は、視聴対象の画像の表示部１３への表示を開始させる。具体的には、合成部３９は、図示せぬ外部の装置からの視聴対象の画像の取得を開始し、その視聴対象の画像の表示部１３への供給を開始する。
ステップＳ１１において、カメラ１２は、フレーム単位の撮像画像の取得を開始する。この撮像画像は、フレームバッファ３２に供給されて記憶される。また、撮像画像は、合成部３９にも供給される。
ステップＳ１２において、トリガ検出部３３は、フレームバッファ３２に記憶されている撮像画像から、ユーザがカメラ１２に向かって手を振ったことをトリガとして検出したかを判定する。ステップＳ１２でトリガを検出したと判定されない場合、処理はステップＳ２２に進む。
一方、ステップＳ１２でトリガを検出したと判定された場合、トリガ検出部３３は、領域情報を特徴点抽出部３４に供給する。そして、ステップＳ１３において、特徴点抽出部３４は、フレームバッファ３２に記憶されている撮像画像の、トリガ検出部３３から供給される領域情報が表す領域における輝度成分を用いて、１つのコーナ点を特徴点として抽出する。
例えば、図４の領域６１の領域情報が、トリガ検出部３３から特徴点抽出部３４に供給された場合、特徴点抽出部３４は、その領域６１における輝度成分を用いて、１つの特徴点を抽出する。特徴点抽出部３４は、抽出した特徴点の位置を表す抽出位置情報を計算部３５とUI描画部３６に供給する。
ステップＳ１４において、UI描画部３６は、特徴点抽出部３４から供給される抽出位置情報に基づいて、特徴点の位置の周囲にUIが配置されるように、UIの配置を決定する。UI描画部３６は、そのUIのUI情報と、予め記憶しているUIの画像を合成部３９に供給する。また、UI描画部３６は、抽出位置情報または計算部３５から供給される特徴点情報と、予め記憶している特徴点ポインタの画像とを、合成部３９に供給する。さらに、UI描画部３６は、UI情報をコマンド判定部３７に供給する。
ステップＳ１５において、合成部３９は、UI描画部３６から供給されるUI情報およびUIの画像、並びに、抽出位置情報または特徴点情報、および特徴点ポインタの画像に基づく、１つの特徴点ポインタとUIの表示を開始させる。
具体的には、合成部３９は、視聴対象の画像の表示部１３への供給を終了する。そして、合成部３９は、UI情報およびUIの画像、並びに、抽出位置情報または特徴点情報、および特徴点ポインタの画像に基づいて、視聴対象画面の画像に１つの特徴点ポインタの画像とUIの画像を合成し、その結果得られる合成画像を表示部１３に供給することを開始する。これにより、例えば、図５の特徴点ポインタ１４とUI１５が、表示部１３の視聴対象画面に表示される。
ステップＳ１６において、合成部３９は、画像取得部３１から供給される撮像画像を用いた半透明の撮像画像の表示を開始させる。
具体的には、合成部３９は、撮像画像に対する鏡面処理を開始し、１つの特徴点ポインタの画像とUIの画像が視聴対象画面の画像に合成された合成画像の表示部１３への供給を終了する。また、合成部３９は、１つの特徴点ポインタの画像とUIの画像が合成された視聴対象画面上に、鏡面処理後の撮像画像が半透明で表示されるように、ステップＳ１５で開始された合成の結果得られる合成画像と、鏡面処理後の撮像画像をさらに合成し、その結果得られる合成画像を表示部１３に供給することを開始する。これにより、例えば、図５に示したように、撮像画像が、左右反転されて半透明で表示部１３の視聴対象画面に表示される。
ステップＳ１７において、計算部３５は、フレームバッファ３２に記憶されている連続する２フレームの撮像画像と、特徴点抽出部３４から供給される抽出位置情報または特徴点情報とに基づいて、１つの特徴点に対するオプティカルフローを計算する。そして、計算部３５は、オプティカルフローに基づいて、特徴点の現在の位置を認識し、特徴点情報を更新する。計算部３５は、特徴点情報をUI描画部３６とコマンド判定部３７に供給する。
ステップＳ１８において、コマンド判定部３７は、計算部３５から供給される特徴点情報、および、UI描画部３６から供給されるUI情報に基づいて、コマンド発行部３８によりコマンドを発行させるかを判定する。
具体的には、例えば、コマンド判定部３７は、特徴点情報とUI情報に基づいて、特徴点の位置に表示されているUIがあるかを判定する。そして、特徴点の位置に表示されているUIがあると判定された場合、コマンド判定部３７は、コマンドを発行させると判定し、UIがあると判定されない場合、コマンドを発行させると判定しない。
また、例えば、コマンド判定部３７は、特徴点情報に基づいて、図１６に示したように、特徴点ポインタ８３を掴んだ右手が、２回転静止動作したかを判定する。そして、２回転静止動作したと判定された場合、コマンド判定部３７は、コマンドを発行させると判定し、２回転静止動作したと判定されない場合、コマンドを発行させると判定しない。
ステップＳ１８でコマンドを発行させると判定された場合、コマンド判定部３７は、発行させるコマンドに対応するイベントと特定情報、もしくは、コマンドとして発行させるイベントまたはコマンドをコマンド発行部３８に供給する。そして、ステップＳ１９において、コマンド発行部３８は、コマンド判定部３７から供給されるイベントと特定情報に基づくコマンド、または、コマンド判定部３７から供給されるイベントまたはコマンドであるコマンドを発行する。
例えば、図８に示したように特徴点ポインタ１４がUI１５を操作したというイベントと、操作されたUI１５−２を特定する特定情報が、コマンド判定部３７から供給される場合、コマンド発行部３８は、そのイベントと特定情報に基づいて、３チャンネルのテレビジョン番組を視聴対象とするコマンドを発行する。
また、図１６に示したように２回転動作が行われた後に、図１７に示したようにリンク８２に特徴点ポインタ８３が重ねられ、リンク８２上でのマウスのクリックに相当するイベントと、特徴点ポインタ８３の色を元に戻すコマンドが、コマンド判定部３７に供給される場合、コマンド発行部３８は、そのイベントとコマンドをコマンドとして発行する。ステップＳ１９の処理後、処理はステップＳ２０に進む。
一方、ステップＳ１８でコマンドを発行させると判定されない場合、処理はステップＳ１９をスキップしてステップＳ２０に進む。ステップＳ２０において、合成部３９は、インターフェースに関する画像の表示を終了するかを判定する。具体的には、合成部３９は、コマンド発行部３８から、インターフェースに関する画像の表示を終了するコマンドが供給されたかを判定する。
ステップＳ２０で、インターフェースに関する画像の表示を終了すると判定されない場合、処理はステップＳ１７に戻り、フレームバッファ３２に記憶されている、前回用いた後ろの１フレームの撮像画像、および、それに連続する１フレームの撮像画像と、前回更新された特徴点情報とに基づいて、特徴点に対するオプティカルフローが計算され、以降の処理が行われる。
また、ステップＳ２０で、インターフェースに関する画像の表示を終了すると判定された場合、ステップＳ２１において、合成部３９は、特徴点ポインタ、UI、および撮像画像の表示を終了させる。具体的には、合成部３９は、ステップＳ１６で開始された合成画像の表示部１３への供給を終了し、視聴対象の画像の表示部１３への供給を開始する。その結果、例えば図１１に示したように、視聴対象である３チャンネルのテレビジョン番組の画像のみが表示部１３に表示される。そして、処理はステップＳ２２に進む。
ステップＳ２２において、合成部３９は、ユーザによる図示せぬ操作部の操作に応じて、視聴を終了するかを判定する。ステップＳ２２で視聴を終了すると判定されない場合、処理はステップＳ１２に戻り、視聴を終了すると判定されるまで、ステップＳ１２乃至Ｓ２２の処理を繰り返す。
一方、ステップＳ２２で視聴を終了すると判定された場合、ステップＳ２３において、画像取得部３１は、撮像画像の取得を終了する。ステップＳ２４において、合成部３９は、視聴対象の画像の表示を終了させる。具体的には、合成部３９は、図示せぬ他の装置からの視聴対象の画像の取得を終了する。そして、処理は終了する。
なお、上述した説明では、１人のユーザが、画像処理装置１１に対して操作を行ったが、複数のユーザが操作を行うようにすることもできる。
図２２は、２人のユーザが操作を行う場合の画像処理装置の構成例を示している。
図２２の画像処理装置１１１は、カメラ１２、表示部１３、画像取得部３１、フレームバッファ３２、トリガ検出部１２１、特徴点抽出部１２２、計算部１２３、UI描画部１２４、コマンド判定部１２５、コマンド発行部１２６、および合成部１２７により構成される。なお、図２２において、図２と同一のものには同一のものには同一の符号を付してあり、説明は繰り返しになるので省略する。
画像処理装置１１１のトリガ検出部１２１は、図２のトリガ検出部３３と同様に、フレームバッファ３２から撮像画像を読み出す。トリガ検出部１２１は、その撮像画像から、１人のユーザがカメラ１２に向かって手を振ったことを、１人目のトリガとして検出する。そして、トリガ検出部１２１は、１人目のトリガに対応する領域情報を、特徴点抽出部１２２に供給する。
また、トリガ検出部１２１は、１人目のトリガの検出後所定の時間内に、さらに１人のユーザがカメラ１２に向かって手を振ったことを２人目のトリガとして検出する。そして、トリガ検出部１２１は、２人目のトリガに対応する領域情報を、特徴点抽出部１２２に供給する。
特徴点抽出部１２２は、図２の特徴点抽出部３４と同様に、フレームバッファ３２から撮像画像を読み出す。特徴点抽出部１２２は、その撮像画像の、トリガ検出部１２１から供給される１人目のトリガに対応する領域情報が表す領域における輝度成分を用いて、１つのコーナ点を１人目の特徴点として抽出し、その特徴点の抽出位置情報を計算部１２３とUI描画部１２４に供給する。
また、特徴点抽出部１２２は、１人目の場合と同様に、撮像画像の２人目のトリガに対応する領域情報が表す領域における輝度成分を用いて、２人目の特徴点を抽出し、その特徴点の抽出位置情報を計算部１２３とUI描画部１２４に供給する。
計算部１２３は、図２の計算部３５と同様に、フレームバッファ３２から、連続する２フレームの撮像画像を読み出す。計算部１２３は、読み出した２フレームの撮像画像と、特徴点抽出部１２２から供給される１人目の特徴点の抽出位置情報または特徴点情報とに基づいて、１人目の特徴点に対するオプティカルフローを、フレームごとに計算する。そして、計算部１２３は、そのオプティカルフローに基づいて、１人目の特徴点の現在の位置を認識し、１人目の特徴点の特徴点情報を更新する。
また、計算部１２３は、１人目の場合と同様に、２フレームの撮像画像と、２人目の特徴点の抽出位置情報または特徴点情報とに基づいて、オプティカルフローを計算し、２人目の特徴点の特徴点情報を更新する。計算部１２３は、１人目の特徴点と２人目の特徴点の特徴点情報をUI描画部１２４とコマンド判定部１２５に供給する。
UI描画部１２４は、１人目と２人目の特徴点ポインタとUIの画像を予め記憶している。UI描画部１２４は、特徴点抽出部３４から供給される１人目の特徴点の抽出位置情報に基づいて、１人目の特徴点の位置の周囲に、1人目のUIが配置されるように、１人目のUIの配置を決定する。UI描画部１２４は、その１人目のUIのUI情報と、予め記憶している１人目のUIの画像を、合成部１２７に供給する。
また、UI描画部１２４は、１人目の特徴点の抽出位置情報または計算部１２３から供給される１人目の特徴点の特徴点情報と、予め記憶している１人目の特徴点の特徴点ポインタの画像とを、合成部１２７に供給する。UI描画部１２４は、１人目のUIのUI情報をコマンド判定部１２５に供給する。
さらに、UI描画部１２４は、１人目の場合と同様に、２人目のUIのUI情報および画像、並びに、２人目の特徴点の抽出位置情報または特徴点情報、および、特徴点ポインタの画像を、合成部１２７に供給する。また、UI描画部１２４は、１人目の場合と同様に、２人目のUIのUI情報をコマンド判定部１２５に供給する。
コマンド判定部１２５は、計算部１２３から供給される１人目の特徴点の特徴点情報、および、UI描画部１２４から供給される１人目のUIのUI情報に基づいて、１人目の特徴点の位置に表示されている１人目のUIを検出する。そして、コマンド判定部１２５は、その１人目のUIが操作されたというイベントと、その１人目のUIの特定情報を、コマンド発行部１２６に供給する。
また、コマンド判定部１２５は、図２のコマンド判定部３７と同様に、特徴点の動きとイベントまたはコマンドを対応付けたテーブルを予め記憶している。コマンド判定部１２５は、計算部１２３から供給される１人目の特徴点情報に基づいて特徴点の位置の軌跡を認識し、その軌跡が表す動きに対応するイベントまたはコマンドを、予め記憶しているテーブルから読み出す。コマンド判定部１２５は、読み出したイベントまたはコマンドを、１人目のイベントまたはコマンドとしてコマンド発行部１２６に供給する。
さらに、コマンド判定部１２５は、１人目の場合と同様に、２人目のイベントと特定情報、もしくは、２人目のイベントまたはコマンドをコマンド発行部１２６に供給する。
コマンド発行部１２６は、図２のコマンド発行部３８と同様に、特定情報と、その特定情報により特定されるUIに対応するコマンドを対応付けたテーブルを予め記憶している。コマンド発行部１２６は、コマンド判定部１２５から供給される１人目のイベントと特定情報に基づいて、その特定情報により特定される１人目のUIに対応するコマンドを、１人目のコマンドとして発行する。
また、コマンド発行部１２６は、コマンド判定部１２５から供給される１人目のイベントまたはコマンドを、１人目のコマンドとして発行する。さらに、コマンド発行部１２６は、１人目の場合と同様に、２人目のコマンドを発行する。
合成部１２７は、図示せぬ外部の装置から、１人目の視聴対象の画像と２人目の視聴対象の画像を取得する。そして、合成部１２７は、１人目の視聴対象の画像と２人目の視聴対象の画像が、視聴対象画面の半分ずつに表示されるように、1人目の視聴対象の画像と２人目の視聴対象の画像を合成し、その結果得られる合成画像を視聴対象画面の画像とする。
また、合成部１２７は、視聴対象画面の画像を表示部１３に供給して表示させる。その結果、表示部１３の視聴対象画面の半分に、１人目の視聴対象が表示され、他の半分に、２人目の視聴対象が表示される。
さらに、合成部１２７は、UI描画部１２４から供給される１人目と２人目のUI情報およびUIの画像、並びに、抽出位置情報または特徴点情報、および特徴点ポインタの画像に基づいて、視聴対象画面の画像に、１人目のUIの画像および特徴点ポインタ、並びに、２人目のUIの画像および特徴点ポインタの画像をさらに合成する。
また、合成部１２７は、図２の合成部３９と同様に、画像取得部３１から供給される撮像画像に対して鏡面処理を行う。合成部１２７は、１人目と２人目のUIの画像および特徴点ポインタが合成された視聴対象画面上に、鏡面処理後の撮像画像が半透明で表示されるように、その合成された視聴対象画面の画像に、鏡面処理後の撮像画像をさらに合成する。そして、合成部１２７は、合成の結果得られる合成画像を表示部１３に供給して表示させる。
次に、図２３を参照して、図２２の画像処理装置１１１におけるポインティングデバイスの使用について説明する。
図２３の例では、１人目のユーザの視聴対象が３チャンネルのテレビジョン番組であり、２人目のユーザの視聴対象が８チャンネルのテレビジョン番組である。従って、図２３では、表示部１３の視聴対象画面の左半分に３チャンネルのテレビジョン番組の画像が表示され、右半分に８チャンネルのテレビジョン番組の画像が表示されている。
２人のユーザのうちの１人が、カメラ１２に向かって左側で、カメラ１２に向かって手を振り、もう１人が、カメラ１２に向かって右側で、カメラ１２に向かって手を振ると、手振りが検出された各領域において、１人目と２人目の特徴点が抽出される。そして、図２３に示すように、表示部１３の視聴対象画面の左半分に１人目の特徴点の特徴点ポインタ１４１が表示され、視聴対象画面の右半分に２人目の特徴点の特徴点ポインタ１４２が表示される。
また、図２３に示すように、１人目の特徴点の抽出位置情報に基づいて、表示部１３の視聴対象画面の左半分に１人目のUI１５１が表示されるとともに、２人目の特徴点の抽出位置情報に基づいて、視聴対象画面の右半分に２人目のUI１５２が表示される。さらに、表示部１３には、図２３に示すように、撮像画像が半透明で表示される。なお、図２３の例では、UI１５１とUI１５２は、それぞれ、図１のUI１５−１乃至１５−７と同様により構成され、各チャンネルを選択するときに操作される。
以上のように、表示部１３には、２人分の特徴点ポインタ１４１および１４２と、２人分のUI１５１および１５２が表示されるので、２人のユーザのうちの１人は、１人目の特徴点ポインタ１４１を掴んで、自分の視聴対象とするテレビジョン番組のチャンネルの選択操作を行い、もう１人は、２人目の特徴点ポインタ１４２を掴んで、自分の視聴対象とするテレビジョン番組のチャンネルの選択操作を行うことができる。
次に、図２４を参照して、図２２の画像処理装置１１１による画像処理について説明する。この画像処理は、例えば、ユーザがリモートコントローラなどの操作部（図示せず）を操作することにより、視聴の開始が指令されたとき、開始される。
ステップＳ４０において、合成部１２７は、２人分の視聴対象の画像の表示を開始させる。具体的には、合成部１２７は、図示せぬ外部の装置から、１人目のユーザの視聴対象の画像と２人目のユーザの視聴対象の画像の取得し、それらの画像を合成して視聴対象画面の画像を表示部１３に供給することを開始する。これにより、例えば、図２３に示したように、表示部１３の視聴対象画面の左半分に、１人目の視聴対象の画像が表示され、右半分に、２人目の視聴対象の画像が表示される。
ステップＳ４１において、カメラ１２は、図２１のステップＳ１１と同様に、フレーム単位の撮像画像の取得を開始する。この撮像画像は、フレームバッファ３２に供給されて記憶される。また、撮像画像は合成部１２７にも供給される。
ステップＳ４２において、トリガ検出部１２１は、フレームバッファ３２に記憶されている撮像画像から、１人のユーザがカメラ１２に向かって手を振ったことを１人目のトリガとして検出したかを判定する。ステップＳ４２で１人目のトリガを検出したと判定されない場合、処理はステップＳ５３に進む。
一方、ステップＳ４２で１人目のトリガを検出したと判定された場合、トリガ検出部１２１は、１人目のトリガに対応する領域情報を特徴点抽出部１２２に供給する。そして、ステップＳ４３において、トリガ検出部１２１は、１人目のトリガの検出後所定の時間内に２人目のトリガを検出したかを判定する。ステップＳ４３で２人目のトリガを検出したと判定されない場合、処理はステップＳ５３に進む。
また、ステップＳ４３で２人目のトリガを検出したと判定された場合、トリガ検出部１２１は、２人目のトリガに対応する領域情報を特徴点抽出部１２２に供給する。
そして、ステップＳ４４において、特徴点抽出部１２２は、フレームバッファ３２に記憶されている撮像画像の、トリガ検出部１２１から供給される１人目のトリガに対応する領域情報が表す領域における輝度成分と、２人目のトリガに対応する領域情報が表す領域における輝度成分とを用いて、１人目の特徴点と２人目の特徴点の２人分の特徴点を抽出する。特徴点抽出部１２２は、１人目の特徴点と２人目の特徴点の位置を表す抽出位置情報を計算部１２３とUI描画部１２４に供給する。
ステップＳ４５において、UI描画部１２４は、特徴点抽出部１２２から供給される２人分の抽出位置情報に基づいて、２人分の各特徴点の位置の周囲に、２人分の各UIが配置されるように、２人分のUIの配置を決定する。UI描画部１２４は、その２人分のUIのUI情報と、予め記憶している２人分のUIの画像を合成部１２７に供給する。また、UI描画部１２４は、抽出位置情報または計算部１２３から供給される２人分の特徴点の特徴点情報と、予め記憶している２人分の特徴点ポインタの画像とを、合成部１２７に供給する。さらに、UI描画部１２４は、２人分のUI情報をコマンド判定部１２５に供給する。
ステップＳ４６において、合成部１２７は、UI描画部１２４から供給される２人分のUI情報およびUIの画像、並びに、抽出位置情報または特徴点情報、および特徴点ポインタの画像に基づく、２人分の特徴点ポインタと２人分のUIの表示を開始させる。
ステップＳ４７乃至Ｓ５５の処理は、図２１のステップＳ１６乃至Ｓ２４の処理と同様であるので説明は省略する。なお、ステップＳ４８乃至Ｓ５０の処理は、各特徴点に対してそれぞれ行われる。
なお、上述した説明では、２人のユーザが、それぞれ特徴点ポインタ１４１または１４２を掴んで、表示部１３の視聴対象画面全体のうちの自分用の画面に表示させる視聴対象のチャンネルの選択操作を行ったが、図２５に示すように、２人のユーザが、表示部１３の視聴対象画面全体に表示させる視聴対象のチャンネルの選択操作を行ってもよい。
図２５の例では、表示部１３の視聴対象画面全体に３チャンネルのテレビジョン番組の画像が、視聴対象の画像として表示されており、ユーザは、特徴点ポインタ１４１および１４２を掴んで操作することにより、表示部１３の視聴対象画面全体に表示させるテレビジョン番組のチャンネルを選択する。
また、図２６に示すように、UIは、２人のユーザに共通のものであってもよい。図２６の例では、視聴対象の画像である、３つのリンク１６１乃至１６３が張られているWebページ（WebPage3）上に、２つの特徴点ポインタ１７１および１７２、２人のユーザに共通の３つのUI１８１乃至１８３、並びに半透明の撮像画像が表示されている。これにより、ユーザは、特徴点ポインタ１７１と１７２のいずれを用いても、UI１８１乃至１８３を操作することができる。
さらに、図２２の画像処理装置１１１では、２人のユーザが２つの特徴点ポインタを用いて操作を行ったが、１人のユーザが複数の特徴点ポインタを用いて操作することもできる。
図２７は、１人のユーザが２つの特徴点ポインタを用いて操作する場合の画像処理装置の構成例を示している。
図２７の画像処理装置２１１は、カメラ１２、表示部１３、画像取得部３１、フレームバッファ３２、トリガ検出部３３、特徴点抽出部２２１、計算部２２２、コマンド判定部２２３、コマンド発行部２２４、および合成部２２５により構成される。なお、図２７において、図２と同一のものには同一のものには同一の符号が付してあり、説明は繰り返しになるので省略する。
画像処理装置２１１の特徴点抽出部２２１は、図２の特徴点抽出部３４と同様に、フレームバッファ３２から撮像画像を読み出す。特徴点抽出部２２１は、その撮像画像の、トリガ検出部３３から供給される領域情報が表す領域における輝度成分を用いて、２つのコーナ点を特徴点として抽出し、その２つの特徴点の抽出位置情報を計算部２２２と合成部２２５に供給する。
計算部２２２は、図２の計算部３５と同様に、フレームバッファ３２から、連続する２フレームの撮像画像を読み出す。計算部２２２は、読み出した２フレームの撮像画像と、特徴点抽出部２２１から供給される２つの特徴点の抽出位置情報または特徴点情報とに基づいて、２つの特徴点に対するオプティカルフローを、フレームごとに計算する。そして、計算部２２２は、その２つのオプティカルフローに基づいて、２つの特徴点の特徴点情報を更新し、その特徴点情報をコマンド判定部２２３と合成部２２５に供給する。
コマンド判定部２２３は、２つの特徴点の動きとコマンドを対応付けたテーブルを予め記憶している。コマンド判定部２２３は、２つの特徴点の特徴点情報に基づいて、２つの特徴点の位置の軌跡を認識し、その軌跡が表わす動きに対応するコマンドを、予め記憶しているテーブルから読み出す。コマンド判定部２２３は、読み出したコマンドと２つの特徴点の特徴点情報を、コマンド発行部２２４に供給する。
コマンド発行部２２４は、コマンド判定部２２３から供給されるコマンドに応じて、特徴点情報を用いたコマンドまたは特徴点情報を用いないコマンドを発行する。
合成部２２５は、図２の合成部３９と同様に、図示せぬ外部の装置から、視聴対象のコンテンツの画像を取得する。そして、合成部２２５は、合成部３９と同様に、視聴対象の画像を含む画像を、視聴対象画面の画像として、そのまま表示部１３に供給して表示させる。
また、合成部２２５は、特徴点抽出部２２１から供給される抽出位置情報、または、計算部２２２から供給される特徴点情報、および、予め記憶している特徴点ポインタの画像に基づいて、視聴対象画面の画像に特徴点ポインタの画像を合成する。
さらに、合成部２２５は、図２の合成部３９と同様に、画像取得部３１から供給される撮像画像に対して鏡面処理を行う。合成部２２５は、特徴点ポインタが合成された視聴対象画面に、鏡面処理後の撮像画像が半透明で表示されるように、その合成された視聴対象画面の画像に、鏡面処理後の撮像画像をさらに合成し、その結果得られる合成画像を表示部１３に供給して表示させる。
次に、図２８乃至図３８を参照して、画像処理装置２１１におけるポインティングデバイスの使用について説明する。
まず最初に、ユーザは、図２８に示すように、視聴対象の写真２５１の表示中に、カメラ１２に向かって手を振る。これにより、画像処理装置２１１では、領域２５２において、ユーザによる手振りがトリガとして検出され、領域２５２において２つの特徴点が抽出される。
そして、図２９に示すように、表示部１３において、鏡面処理後の撮像画像が、写真２５１が表示された視聴対象画面上に半透明で表示されるとともに、２つの特徴点に基づいて特徴点ポインタ２６１と２６２が表示される。
ここで、ユーザは、図３０に示すように、表示部１３に表示されている特徴点ポインタ２６１と２６２を見ながら、その特徴点ポインタ２６１に対応する空間を左手の指で左右から包み込むとともに、特徴点ポインタ２６２に対応する空間を右手の指で左右から包み込む。
そして、ユーザは、図３１に示すように、特徴点ポインタ２６１に対応する空間を左手の中に収め、特徴点ポインタ２６２に対応する空間を右手の中に収める。即ち、ユーザは、特徴点ポインタ２６１を左手で掴み、特徴点ポインタ２６２を右手で掴む。
その後、ユーザは、表示部１３に表示されている特徴点ポインタ２６１と２６２が左右方向に並ぶように両手を移動し、例えば図３２に示すように、特徴点ポインタ２６１と２６２を掴んだ両手を、２回転静止動作する。これにより、画像処理装置２１１は、両手の２回転静止動作に対応するコマンドとして、特徴点ポインタ２６１および２６２の色を変更するコマンドと、写真２５１並びに特徴点ポインタ２６１および２６２の位置関係を固定するコマンドを発行する。
その結果、図３２に示すように、特徴点ポインタ２６１および２６２の色は変更され、まず最初に、例えば赤色になる。そして、図３３に示すように、特徴点ポインタ２６１および２６２が写真２５１をキャプチャした状態になり、特徴点ポインタ２６１および２６２の色は変更され、例えば青色になる。
次に、ユーザが、図３４に示すように、特徴点ポインタ２６１を掴んだ左手を、カメラ１２に向かって左方向に移動させ、特徴点ポインタ２６２を掴んだ右手を、カメラ１２に向かって右方向に移動させることにより両手を左右方向に遠ざけると、写真２５１並びに特徴点ポインタ２６１および２６２の位置関係が変化しないように、写真２５１を拡大するコマンドが発行される。
その結果、図３４に示すように、図３３に示した移動前の特徴点ポインタ２６１と２６２の間の距離に対する、図３４に示した移動後の特徴点ポインタ２６１と２６２の間の距離の割合で、写真２５１が左右方向に拡大される。
一方、図示は省略するが、ユーザは、写真２５１を左右方向に縮小させる場合、特徴点ポインタ２６１を掴んだ左手をカメラ１２に向かって右方向に移動させ、特徴点ポインタ２６２を掴んだ右手をカメラ１２に向かって左方向に移動させることにより、両手を左右方向に近づける。この場合、移動前の特徴点ポインタ２６１と２６２の間の距離に対する、移動後の特徴点ポインタ２６１と２６２の間の距離の割合で、写真２５１が左右方向に縮小される。
また、図示は省略するが、ユーザは、特徴点ポインタ２６１を掴んだ左手と特徴点ポインタ２６２を掴んだ右手を上下方向に並べて２回転静止動作し、その後両手を上下方向に遠ざけたり、近づけたりすることにより、写真２５１を上下方向に拡大させたり、縮小させたりすることができる。
次に、ユーザが、図３５に示すように、特徴点ポインタ２６１を掴んだ左手と特徴点ポインタ２６２を掴んだ右手を、時計回りに所定の角度だけ回転させると、写真２５１並びに特徴点ポインタ２６１および２６２の位置関係が変化しないように、写真２５１を回転するコマンドが発行される。
その結果、図３５に示すように、図３４に示した回転前の特徴点ポインタ２６１と２６２を結ぶ線である特徴線２６３と、図３５に示した回転後の特徴線２６４の角度θで、写真２５１が時計回りに回転される。なお、特徴線２６３と２６４は、表示部１３に表示されてもよいし、表示されなくてもよい。
次に、ユーザは、図３６に示すように、図３５に示した状態で２秒間静止すると、その動作に対応するコマンドとして、特徴点ポインタ２６１および２６２の色を最初の色に変更するコマンドと、写真２５１並びに特徴点ポインタ２６１および２６２の位置関係の固定を解除するコマンドを発行する。
その結果、図３６に示すように、特徴点ポインタ２６１および２６２の色は、最初の色に戻る。そして、特徴点ポインタ２６１および２６２が写真２５１をキャプチャした状態が終了する。
次に、ユーザは、図３７に示すように、特徴点ポインタ２６１および２６２が、表示部１３の視聴対象画面外に移動するように、特徴点ポインタ２６１を掴んだ左手と特徴点ポインタ２６２を掴んだ右手を、カメラ１２に向かって下方向に移動させると、インターフェースに関する表示を終了するコマンドが発行される。
その結果、図３８に示すように、表示部１３から、撮像画像と特徴点ポインタ２６１および２６２が削除される。即ち、表示部１３の視聴対象画面には、視聴対象である写真２５１だけが表示される。
なお、図２８乃至図３８では、ユーザが、写真２５１を拡大または縮小もしくは回転させる場合について説明したが、特徴点ポインタ２６１を掴んだ左手と特徴点ポインタ２６２を掴んだ右手の距離を変更せずに、両手を移動させることにより、写真２５１を移動させることもできる。
また、特徴点ポインタ２６１および２６２が写真２５１をキャプチャした状態にさせるトリガは、両手を２回転静止動作させること以外のものであってもよい。例えば、表示部１３に表示された所定のUIに特徴点ポインタ２６１および２６２の少なくとも１つが重なるように、特徴点ポインタ２６１および２６２の少なくとも１つを掴んだ手を移動させることでもよい。
次に、図３９を参照して、図２７の画像処理装置２１１における画像処理について説明する。この画像処理は、例えば、ユーザがリモートコントローラなどの操作部（図示せず）を操作することにより、視聴の開始が指令されたとき、開始される。
ステップＳ６０乃至Ｓ６２の処理は、図２１のステップＳ１０乃至Ｓ１２の処理と同様であるので、説明は省略する。
ステップＳ６３において、特徴点抽出部２２１は、フレームバッファ３２に記憶されている撮像画像の、トリガ検出部３３から供給される領域情報が表す領域における輝度成分を用いて、２つのコーナ点を特徴点として抽出する。特徴点抽出部２２１は、抽出した特徴点の位置を表す抽出位置情報を計算部２２２と合成部２２５に供給する。
ステップＳ６４において、合成部２２５は、特徴点抽出部２２１から供給される２つの特徴点の抽出位置情報、または計算部２２２から供給される２つの特徴点の特徴点情報、および特徴点ポインタの画像に基づく、２つの特徴点ポインタの表示を開始させる。その結果、例えば、図２９に示したように、２つの特徴点ポインタ２６１と２６２が、表示部１３の視聴対象画面に表示される。
ステップＳ６５において、合成部２２５は、図２１のステップＳ１６の処理と同様に、画像取得部３１から供給される撮像画像を用いた半透明の撮像画像の表示を開始させる。その結果、例えば、図２９に示したように、撮像画像が、左右反転されて半透明で表示部１３の視聴対象画面に表示される。
ステップＳ６６において、計算部２２２は、フレームバッファ３２に記憶されている２フレームの撮像画像と、特徴点抽出部２２１から供給される２つの特徴点の抽出位置情報または特徴点情報とに基づいて、２つの特徴点に対するオプティカルフローを計算する。そして、計算部２２２は、各特徴点に対するオプティカルフローに基づいて、各特長点の特徴点情報を更新する。計算部２２２は、２つの特徴点の特徴点情報をコマンド判定部２２３と合成部２２５に供給する。
ステップＳ６７において、コマンド判定部２２３は、計算部２２２から供給される２つの特徴点の特徴点情報に基づいて、コマンド発行部２２３によりコマンドを発行させるかを判定する。
具体的には、コマンド判定部２２３は、２つの特徴点の特徴点情報に基づいて、２つの特徴点の位置の軌跡を認識し、その軌跡が表わす動きに対応するコマンドが、予め記憶されているテーブルに存在するかを判定する。そして、予め記憶されているテーブルに存在すると判定された場合、コマンド判定部２２３は、コマンドを発行させると判定し、テーブルに存在しないと判定された場合、コマンドを発行しないと判定する。
ステップＳ６７でコマンドを発行させると判定された場合、コマンド判定部２２３は、２つの特徴点の動きに対応するコマンドと特徴点情報をコマンド発行部２２３に供給する。そして、ステップＳ６８において、コマンド発行部２２４は、コマンド判定部２２３から供給されるコマンドに応じて、特徴点情報を用いたコマンドまたは特徴点情報を用いないコマンドを発行する。
具体的には、例えば、図３２に示したように、ユーザが特徴点ポインタ２６１と２６２を掴んだ両手を２回転静止動作した場合、コマンド発行部２２４は、コマンド判定部２２３から供給される、その特徴点ポインタ２６１と２６２の動きに対応する、特徴点ポインタ２６１および２６２の色を変更するコマンドと、写真２５１並びに特徴点ポインタ２６１および２６２の位置関係を固定するコマンドを、特徴点情報を用いないコマンドとしてそのまま発行する。
また、例えば、図３４に示したように、ユーザが、特徴点ポインタ２６１を掴んだ左手と特徴点ポインタ２６２を掴んだ右手を左右方向に遠ざけた場合、コマンド発行部２２４は、コマンド判定部２２３から供給される、その特徴点ポインタ２６１と２６２の動きに対応する、写真２５１並びに特徴点ポインタ２６１および２６２の位置関係が変化しないように、写真２５１を拡大するコマンドに応じて、特徴点情報に基づく割合で写真２５１を左右方向に拡大するコマンドを、特徴点情報を用いたコマンドとして発行する。
一方、ステップＳ６７でコマンドを発行させると判定されない場合、処理はステップＳ６８をスキップしてステップＳ６９に進む。ステップＳ６９において、合成部２２５は、図２１のステップＳ２０の処理と同様に、インターフェースに関する画像の表示を終了するかを判定する。具体的には、合成部２２５は、コマンド発行部２２４から、インターフェースに関する画像の表示を終了するコマンドが供給されたかを判定する。
ステップＳ６９で、インターフェースに関する画像の表示を終了すると判定されない場合、処理はステップＳ６６に戻り、フレームバッファ３２に記憶されている、前回用いた後ろの１フレームの撮像画像、および、それに連続する１フレームの撮像画像と、前回更新された２つの特徴点の特徴点情報とに基づいて、２つの特徴点に対するオプティカルフローが計算され、以降の処理が行われる。
また、ステップＳ６９で、インターフェースに関する画像の表示を終了すると判定された場合、ステップＳ７０において、合成部２２５は、特徴点ポインタと撮像画像の表示を終了させる。
ステップＳ７１乃至Ｓ７３の処理は、図２１のステップＳ２２乃至Ｓ２４の処理と同様であるので説明は省略する。
なお、上述した説明では、ユーザがカメラ１２に向かって手を振ったことがトリガとして検出されたが、トリガとして検出されるものは、これに限定されない。例えば、画像処理装置１１（１１１，２１１）にリモートコントローラが備えられている場合、そのリモートコントローラの所定のボタンを操作したことが、トリガとして検出されるようにしてもよい。この場合、領域情報として、所定の領域を表す領域情報が出力される。
また、上述した説明では、コーナ点が特徴点として抽出されたが、輪郭線上の点などが特徴点として抽出されるようにしてもよい。この場合、輪郭線上のどの点が特徴点として抽出されるか決まってないため、コーナ点が特徴点として抽出される場合に比べて、特徴点ポインタの位置は安定しにくい。しかしながら、ユーザの手により特徴点が掴まれた後は、その手の中に特徴点が存在するようになるので、コーナ点が特徴点として抽出される場合と同様に、画像処理装置１１（１１１，２１１）は、少ない処理量で、ロバスト性の高い認識と高精度の位置検出を行うことができる。
さらに、上述した説明では、特徴点の動きを検出する方法として、特徴点のオプティカルフローを計算する方法が用いられたが、テンプレートマッチングにより特徴点の動きを検出する方法などが用いられるようにしてもよい。
また、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
さらに、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
本発明を適用した画像処理装置の第１の実施の形態の概要を示す図である。 図１の画像処理装置の構成例を示すブロック図である。 特徴点ポインタを掴むという動作について説明する図である。 図２の画像処理装置におけるポインティングデバイスの使用について説明する図である。 図２の画像処理装置におけるポインティングデバイスの使用について説明する図である。 図２の画像処理装置におけるポインティングデバイスの使用について説明する図である。 図２の画像処理装置におけるポインティングデバイスの使用について説明する図である。 図２の画像処理装置におけるポインティングデバイスの使用について説明する図である。 図２の画像処理装置におけるポインティングデバイスの使用について説明する図である。 図２の画像処理装置におけるポインティングデバイスの使用について説明する図である。 図２の画像処理装置におけるポインティングデバイスの使用について説明する図である。 図２の画像処理装置におけるポインティングデバイスの他の使用について説明する図である。 図２の画像処理装置におけるポインティングデバイスの他の使用について説明する図である。 図２の画像処理装置におけるポインティングデバイスの他の使用について説明する図である。 図２の画像処理装置におけるポインティングデバイスの他の使用について説明する図である。 図２の画像処理装置におけるポインティングデバイスの他の使用について説明する図である。 図２の画像処理装置におけるポインティングデバイスの他の使用について説明する図である。 図２の画像処理装置におけるポインティングデバイスの他の使用について説明する図である。 図２の画像処理装置におけるポインティングデバイスの他の使用について説明する図である。 図２の画像処理装置におけるポインティングデバイスの他の使用について説明する図である。 図２の画像処理装置における画像処理について説明するフローチャートである。 本発明を適用した画像処理装置の第２の実施の形態の構成例を示すブロック図である。 図２２の画像処理装置におけるポインティングデバイスの使用について説明する図である。 図２２の画像処理装置による画像処理について説明するフローチャートである。 ２人のユーザが操作を行う場合の他の操作例について説明する図である。 ２人のユーザが操作を行う場合のさらに他の操作例について説明する図である。 本発明を適用した画像処理装置の第３の実施の形態の構成例を示すブロック図である。 図２７の画像処理装置２１１におけるポインティングデバイスの使用について説明する図である。 図２７の画像処理装置２１１におけるポインティングデバイスの使用について説明する図である。 図２７の画像処理装置２１１におけるポインティングデバイスの使用について説明する図である。 図２７の画像処理装置２１１におけるポインティングデバイスの使用について説明する図である。 図２７の画像処理装置２１１におけるポインティングデバイスの使用について説明する図である。 図２７の画像処理装置２１１におけるポインティングデバイスの使用について説明する図である。 図２７の画像処理装置２１１におけるポインティングデバイスの使用について説明する図である。 図２７の画像処理装置２１１におけるポインティングデバイスの使用について説明する図である。 図２７の画像処理装置２１１におけるポインティングデバイスの使用について説明する図である。 図２７の画像処理装置２１１におけるポインティングデバイスの使用について説明する図である。 図２７の画像処理装置２１１におけるポインティングデバイスの使用について説明する図である。 図２７の画像処理装置による画像処理について説明するフローチャートである。
符号の説明
１１ 画像処理装置， ３４ 特徴点抽出部， ３５ 計算部， ３８ コマンド発行部， ３９ 合成部， １１１ 画像処理装置， １２２ 特徴点抽出部， １２３ 計算部， １２６ コマンド発行部， １２７ 合成部， ２１１ 画像処理装置， ２２１ 特徴点抽出部， ２２２ 計算部， ２２４ コマンド発行部， ２２５ 合成部

Claims (8)

  1. 撮像画像から特徴点を抽出する抽出手段と、
    前記特徴点の位置を認識する認識手段と、
    前記特徴点の位置に基づいて、前記特徴点を表す特徴点ポインタを表示させる表示制御手段と、
    前記特徴点の位置に基づいて、前記特徴点の位置または動きに対応するコマンドを発行する発行手段と
    を備える画像処理装置。
  2. 前記表示制御手段は、前記特徴点の位置に基づいて、前記特徴点ポインタとともに所定のユーザインターフェースを表示させ、
    前記発行手段は、前記特徴点の位置に基づいて、その位置に表示されているユーザインターフェースに対応するコマンドを発行する
    請求項１に記載の画像処理装置。
  3. 前記抽出手段は、前記撮像画像から複数の特徴点を抽出し、
    前記発行手段は、前記特徴点ごとに、前記特徴点の位置に基づいて、前記特徴点の位置または動きに対応するコマンドをそれぞれ発行する
    請求項１に記載の画像処理装置。
  4. 前記表示制御手段は、前記特徴点ごとに、前記特徴点の位置に基づいて、前記特徴点ポインタとともに所定のユーザインターフェースを表示させ、
    前記発行手段は、前記特徴点ごとに、前記特徴点の位置に基づいて、その位置に表示されているユーザインターフェースに対応するコマンドを発行する
    請求項３に記載の画像処理装置。
  5. 前記表示制御手段は、前記特徴点ごとに、前記特徴点の位置に基づいて前記特徴点ポインタを表示させるとともに、複数の前記特徴点に共通の所定のユーザインターフェースを表示させ、
    前記発行手段は、前記特徴点ごとに、前記特徴点の位置に基づいて、その位置に表示されているユーザインターフェースに対応するコマンドを発行する
    請求項３に記載の画像処理装置。
  6. 前記抽出手段は、前記撮像画像から複数の特徴点を抽出し、
    前記発行手段は、複数の前記特徴点の位置または動きに対応するコマンドを発行する
    請求項１に記載の画像処理装置。
  7. 撮像画像から特徴点を抽出する画像処理装置の画像処理方法において、
    前記撮像画像から前記特徴点を抽出し、
    前記特徴点の位置を認識し、
    前記特徴点の位置に基づいて、前記特徴点を表す特徴点ポインタを表示させ、
    前記特徴点の位置に基づいて、前記特徴点の位置または動きに対応するコマンドを発行する
    ステップを含む画像処理方法。
  8. 撮像画像から特徴点を抽出する画像処理を、コンピュータに行わせるプログラムにおいて、
    前記撮像画像から前記特徴点を抽出し、
    前記特徴点の位置を認識し、
    前記特徴点の位置に基づいて、前記特徴点を表す特徴点ポインタを表示させ、
    前記特徴点の位置に基づいて、前記特徴点の位置または動きに対応するコマンドを発行する
    ステップを含む画像処理をコンピュータに行わせるプログラム。
JP2007241679A 2007-09-19 2007-09-19 画像処理装置および画像処理方法、並びにプログラム Expired - Fee Related JP4569613B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2007241679A JP4569613B2 (ja) 2007-09-19 2007-09-19 画像処理装置および画像処理方法、並びにプログラム
EP08252314.3A EP2040156B1 (en) 2007-09-19 2008-07-07 Image processing for issuing commands
US12/211,651 US8643598B2 (en) 2007-09-19 2008-09-16 Image processing apparatus and method, and program therefor
CN201110049131.5A CN102141839B (zh) 2007-09-19 2008-09-17 图像处理设备和方法
CN2008102115447A CN101393477B (zh) 2007-09-19 2008-09-17 图像处理设备和方法
US13/777,823 US8896535B2 (en) 2007-09-19 2013-02-26 Image processing apparatus and method, and program therefor
US14/519,478 US20150035752A1 (en) 2007-09-19 2014-10-21 Image processing apparatus and method, and program therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007241679A JP4569613B2 (ja) 2007-09-19 2007-09-19 画像処理装置および画像処理方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2009075685A true JP2009075685A (ja) 2009-04-09
JP4569613B2 JP4569613B2 (ja) 2010-10-27

Family

ID=39745285

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007241679A Expired - Fee Related JP4569613B2 (ja) 2007-09-19 2007-09-19 画像処理装置および画像処理方法、並びにプログラム

Country Status (4)

Country Link
US (3) US8643598B2 (ja)
EP (1) EP2040156B1 (ja)
JP (1) JP4569613B2 (ja)
CN (2) CN101393477B (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010257093A (ja) * 2009-04-23 2010-11-11 Hitachi Ltd 入力装置
WO2012011263A1 (ja) * 2010-07-20 2012-01-26 パナソニック株式会社 ジェスチャ入力装置およびジェスチャ入力方法
WO2012133962A1 (ko) * 2011-03-25 2012-10-04 (주)아이티엑스시큐리티 스테레오 카메라를 이용한 3차원 동작 인식장치 및 인식방법
JP2012256098A (ja) * 2011-06-07 2012-12-27 Sony Corp 画像処理装置および方法、並びにプログラム
WO2013084821A1 (ja) * 2011-12-09 2013-06-13 ソニー株式会社 情報処理装置、情報処理方法、および記録媒体
JP2013140582A (ja) * 2011-12-30 2013-07-18 Samsung Electronics Co Ltd 電子装置およびその制御方法
JP2013257762A (ja) * 2012-06-13 2013-12-26 Sony Corp 画像処理装置、画像処理方法、およびプログラム
KR20150084792A (ko) * 2012-09-19 2015-07-22 인사 - 앵스티튜트 나쇼날 데 씨앙세 아플리께즈 상호 작용 모드 선택 방법
US9465433B2 (en) 2010-03-05 2016-10-11 Sony Corporation Information processing device, method and program
WO2016185541A1 (ja) * 2015-05-18 2016-11-24 三菱電機株式会社 表示制御装置および画像表示装置
CN106481902A (zh) * 2015-08-27 2017-03-08 株式会社普利司通 树脂管、树脂管的制造方法及配管构造
JPWO2016051521A1 (ja) * 2014-09-30 2017-04-27 三菱電機エンジニアリング株式会社 画面操作装置及び画面操作方法
JP2017524216A (ja) * 2014-07-10 2017-08-24 アイコンモバイル・ゲーエムベーハーＩｃｏｎｍｏｂｉｌｅ Ｇｍｂｈ 対話型ミラー
JP2018077876A (ja) * 2013-04-02 2018-05-17 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2023017628A1 (ja) * 2021-08-10 2023-02-16 ソニーグループ株式会社 情報処理システム、制御方法

Families Citing this family (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7459624B2 (en) 2006-03-29 2008-12-02 Harmonix Music Systems, Inc. Game controller simulating a musical instrument
JP2010531159A (ja) 2007-06-14 2010-09-24 ハーモニックス・ミュージック・システムズ・インコーポレイテッド ロックバンド疑似体験システム及び方法。
US8678896B2 (en) 2007-06-14 2014-03-25 Harmonix Music Systems, Inc. Systems and methods for asynchronous band interaction in a rhythm action game
US8933876B2 (en) 2010-12-13 2015-01-13 Apple Inc. Three dimensional user interface session control
US9035876B2 (en) 2008-01-14 2015-05-19 Apple Inc. Three-dimensional user interface session control
US20110102570A1 (en) * 2008-04-14 2011-05-05 Saar Wilf Vision based pointing device emulation
US20090310027A1 (en) * 2008-06-16 2009-12-17 James Fleming Systems and methods for separate audio and video lag calibration in a video game
WO2010006054A1 (en) 2008-07-08 2010-01-14 Harmonix Music Systems, Inc. Systems and methods for simulating a rock and band experience
US8146020B2 (en) * 2008-07-24 2012-03-27 Qualcomm Incorporated Enhanced detection of circular engagement gesture
WO2010038822A1 (ja) * 2008-10-01 2010-04-08 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理方法、情報記憶媒体及びプログラム
US20120202569A1 (en) * 2009-01-13 2012-08-09 Primesense Ltd. Three-Dimensional User Interface for Game Applications
US8465366B2 (en) 2009-05-29 2013-06-18 Harmonix Music Systems, Inc. Biasing a musical performance input to a part
US8176442B2 (en) * 2009-05-29 2012-05-08 Microsoft Corporation Living cursor control mechanics
US8566713B2 (en) 2009-08-20 2013-10-22 Samsung Electronics Co., Ltd. Data transfer method and system
GB2474536B (en) 2009-10-13 2011-11-02 Pointgrab Ltd Computer vision gesture based control of a device
US20140053115A1 (en) * 2009-10-13 2014-02-20 Pointgrab Ltd. Computer vision gesture based control of a device
US10357714B2 (en) 2009-10-27 2019-07-23 Harmonix Music Systems, Inc. Gesture-based user interface for navigating a menu
US9981193B2 (en) 2009-10-27 2018-05-29 Harmonix Music Systems, Inc. Movement based recognition and evaluation
JP5617246B2 (ja) * 2010-01-12 2014-11-05 ソニー株式会社 画像処理装置、物体選択方法及びプログラム
KR20110084653A (ko) * 2010-01-18 2011-07-26 삼성전자주식회사 휴대단말에서 프라이버시 보호 방법 및 장치
US8874243B2 (en) 2010-03-16 2014-10-28 Harmonix Music Systems, Inc. Simulating musical instruments
WO2011148607A1 (ja) 2010-05-28 2011-12-01 パナソニック株式会社 ジェスチャ認識装置及びジェスチャ認識方法
US9358456B1 (en) 2010-06-11 2016-06-07 Harmonix Music Systems, Inc. Dance competition game
WO2011155958A1 (en) 2010-06-11 2011-12-15 Harmonix Music Systems, Inc. Dance game and tutorial
US8562403B2 (en) 2010-06-11 2013-10-22 Harmonix Music Systems, Inc. Prompting a player of a dance game
JP5621421B2 (ja) * 2010-09-06 2014-11-12 ソニー株式会社 画像処理装置、プログラム及び画像処理方法
US9024166B2 (en) 2010-09-09 2015-05-05 Harmonix Music Systems, Inc. Preventing subtractive track separation
KR20120029228A (ko) * 2010-09-16 2012-03-26 엘지전자 주식회사 투명 디스플레이 장치 및 객체 정보 제공 방법
KR101364571B1 (ko) * 2010-10-06 2014-02-26 한국전자통신연구원 영상 기반의 손 검출 장치 및 그 방법
EP2455841A3 (en) * 2010-11-22 2015-07-15 Samsung Electronics Co., Ltd. Apparatus and method for selecting item using movement of object
TW201222429A (en) * 2010-11-23 2012-06-01 Inventec Corp Web camera device and operating method thereof
US8872762B2 (en) 2010-12-08 2014-10-28 Primesense Ltd. Three dimensional user interface cursor control
US9575561B2 (en) * 2010-12-23 2017-02-21 Intel Corporation Method, apparatus and system for interacting with content on web browsers
JP5653206B2 (ja) 2010-12-27 2015-01-14 日立マクセル株式会社 映像処理装置
WO2012093394A2 (en) * 2011-01-06 2012-07-12 Pointgrab Ltd. Computer vision based two hand control of content
WO2012108552A1 (en) * 2011-02-08 2012-08-16 Lg Electronics Inc. Display device and control method thereof
WO2012116464A1 (en) * 2011-02-28 2012-09-07 Hewlett-Packard Company User interfaces based on positions
EP2703971A4 (en) * 2011-04-27 2014-11-12 Nec Solution Innovators Ltd INPUT DEVICE, INPUT METHOD AND RECORDING MEDIUM
US20150117712A1 (en) * 2011-05-31 2015-04-30 Pointgrab Ltd. Computer vision based control of a device using machine learning
GB2491473B (en) * 2011-05-31 2013-08-14 Pointgrab Ltd Computer vision based control of a device using machine learning
JP5840399B2 (ja) * 2011-06-24 2016-01-06 株式会社東芝 情報処理装置
US9377865B2 (en) 2011-07-05 2016-06-28 Apple Inc. Zoom-based gesture user interface
US9459758B2 (en) 2011-07-05 2016-10-04 Apple Inc. Gesture-based interface with enhanced features
US8881051B2 (en) 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US9030498B2 (en) 2011-08-15 2015-05-12 Apple Inc. Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface
US9218063B2 (en) 2011-08-24 2015-12-22 Apple Inc. Sessionless pointing user interface
US9142182B2 (en) * 2011-10-07 2015-09-22 Lg Electronics Inc. Device and control method thereof
JP5202712B2 (ja) * 2011-10-28 2013-06-05 株式会社東芝 表示装置、及び情報送信方法
KR20130047890A (ko) * 2011-11-01 2013-05-09 삼성전기주식회사 원격 조정 장치 및 원격 조정 장치의 제스처 인식 방법
JP2013097646A (ja) * 2011-11-02 2013-05-20 Fujitsu Mobile Communications Ltd 情報処理装置及びその方法
KR101237472B1 (ko) * 2011-12-30 2013-02-28 삼성전자주식회사 전자 장치 및 그의 제어 방법
US9229534B2 (en) 2012-02-28 2016-01-05 Apple Inc. Asymmetric mapping for tactile and non-tactile user interfaces
TWI454966B (zh) * 2012-04-24 2014-10-01 Wistron Corp 手勢控制方法及手勢控制裝置
KR101370022B1 (ko) * 2012-05-02 2014-03-25 주식회사 매크론 동작 인식 리모트 컨트롤러
US8938124B2 (en) 2012-05-10 2015-01-20 Pointgrab Ltd. Computer vision based tracking of a hand
CN103455253B (zh) * 2012-06-04 2018-06-08 乐金电子(中国)研究开发中心有限公司 一种与视频设备交互的方法及用于交互的视频设备
WO2014010059A1 (ja) 2012-07-12 2014-01-16 Ｎｅｃディスプレイソリューションズ株式会社 画像表示装置、画像表示システム及び画像表示方法
CN104508599A (zh) * 2012-07-13 2015-04-08 株式会社果汁 要素选择装置、要素选择方法、及程序
TW201405443A (zh) * 2012-07-17 2014-02-01 Wistron Corp 手勢輸入系統及方法
US10220303B1 (en) * 2013-03-15 2019-03-05 Harmonix Music Systems, Inc. Gesture-based music game
US9625995B2 (en) 2013-03-15 2017-04-18 Leap Motion, Inc. Identifying an object in a field of view
JP2014191688A (ja) 2013-03-28 2014-10-06 Sony Corp 情報処理装置、情報処理方法、及び、記憶媒体
GB2513200A (en) * 2013-04-21 2014-10-22 Biogaming Ltd Kinetic user interface
CN103226389B (zh) * 2013-04-27 2017-05-03 苏州佳世达电通有限公司 依据手势执行应用程序的方法
US10620775B2 (en) * 2013-05-17 2020-04-14 Ultrahaptics IP Two Limited Dynamic interactive objects
US9436288B2 (en) 2013-05-17 2016-09-06 Leap Motion, Inc. Cursor mode switching
US9529513B2 (en) * 2013-08-05 2016-12-27 Microsoft Technology Licensing, Llc Two-hand interaction with natural user interface
CN103793922B (zh) * 2013-09-12 2016-07-06 电子科技大学 一种特定姿态实时检测方法
US20150123890A1 (en) * 2013-11-04 2015-05-07 Microsoft Corporation Two hand natural user input
US9740923B2 (en) * 2014-01-15 2017-08-22 Lenovo (Singapore) Pte. Ltd. Image gestures for edge input
KR20150110032A (ko) * 2014-03-24 2015-10-02 삼성전자주식회사 영상데이터 처리 전자장치 및 방법
US10782787B2 (en) * 2014-06-06 2020-09-22 Adobe Inc. Mirroring touch gestures
CN104049760B (zh) * 2014-06-24 2017-08-25 深圳先进技术研究院 一种人机交互命令的获取方法及系统
US11258983B2 (en) * 2014-09-25 2022-02-22 Steve H. McNelley Immersive communication terminals
DE102014014498A1 (de) * 2014-09-25 2016-03-31 Wavelight Gmbh Mit einem Touchscreen ausgestattetes Gerät sowie Verfahren zur Steuerung eines derartigen Geräts
US9619049B2 (en) * 2015-02-18 2017-04-11 International Business Machines Corporation One-handed operation of mobile electronic devices
CN107199888A (zh) * 2016-03-18 2017-09-26 松下知识产权经营株式会社 姿势输入系统和姿势输入方法
USD800755S1 (en) * 2016-06-08 2017-10-24 Stripe, Inc. Display screen or portion thereof with animated graphical user interface
US10678327B2 (en) * 2016-08-01 2020-06-09 Microsoft Technology Licensing, Llc Split control focus during a sustained user interaction
CN109643165A (zh) * 2016-09-01 2019-04-16 三菱电机株式会社 手势判定装置、手势操作装置和手势判定方法
FR3068803A1 (fr) * 2017-09-19 2019-01-11 Orange Procede et dispositif de traitement de donnees d'un environnement de realite virtuelle.
CN108062525B (zh) * 2017-12-14 2021-04-23 中国科学技术大学 一种基于手部区域预测的深度学习手部检测方法
JP2022122637A (ja) * 2021-02-10 2022-08-23 シャープ株式会社 表示装置、表示方法、及び表示プログラム

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04127674A (ja) * 1990-09-18 1992-04-28 Sony Corp 画像処理装置及び画像処理方法
JPH04271423A (ja) * 1991-02-27 1992-09-28 Nippon Telegr & Teleph Corp <Ntt> 情報入力方法
JPH05260379A (ja) * 1992-03-12 1993-10-08 Sony Corp タイトル入力装置とその方法
JPH06301476A (ja) * 1993-04-09 1994-10-28 Casio Comput Co Ltd 位置検出装置
JPH06301474A (ja) * 1993-04-14 1994-10-28 Casio Comput Co Ltd 位置検出装置
JPH07141101A (ja) * 1993-11-19 1995-06-02 Hitachi Ltd 画像を用いた入力システム
JPH0935066A (ja) * 1995-07-25 1997-02-07 Hitachi Ltd 手形状認識機能付き情報処理装置
JPH09128141A (ja) * 1995-11-07 1997-05-16 Sony Corp 制御装置および制御方法
JPH09237151A (ja) * 1996-03-01 1997-09-09 Gijutsu Kenkyu Kumiai Shinjoho Shiyori Kaihatsu Kiko グラフィカルユーザインタフェース
JPH09265346A (ja) * 1996-03-29 1997-10-07 Bijiyuaru Sci Kenkyusho:Kk 空間マウス及びマウス位置検出装置及び映像化装置
JPH11305895A (ja) * 1998-04-21 1999-11-05 Toshiba Corp 情報処理装置
JP2002306846A (ja) * 2001-04-12 2002-10-22 Saibuaasu:Kk ゲーム装置用コントローラ
JP2004110513A (ja) * 2002-09-19 2004-04-08 Gen Tec:Kk ポインタ移動制御システム
JP2004356819A (ja) * 2003-05-28 2004-12-16 Sharp Corp リモート操作装置
WO2005073838A2 (en) * 2004-01-16 2005-08-11 Sony Computer Entertainment Inc. Method and apparatus for light input device
WO2006104132A1 (ja) * 2005-03-28 2006-10-05 Matsushita Electric Industrial Co., Ltd. ユーザインタフェイスシステム
JP2006338328A (ja) * 2005-06-02 2006-12-14 Fuji Xerox Co Ltd 操作システム、処理装置、指示装置、操作方法およびプログラム
JP2007087100A (ja) * 2005-09-22 2007-04-05 Victor Co Of Japan Ltd 電子機器システム
WO2007078639A1 (en) * 2005-12-12 2007-07-12 Sony Computer Entertainment Inc. Methods and systems for enabling direction detection when interfacing with a computer program

Family Cites Families (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US73838A (en) * 1868-01-28 eivot
US128141A (en) * 1872-06-18 Assiqffoe to himself
US301474A (en) * 1884-07-08 Celestin bergeron
US265346A (en) * 1882-10-03 Edwaed thielb
US301476A (en) * 1884-07-08 brown
US127674A (en) * 1872-06-11 Improvement in cultivators
US141101A (en) * 1873-07-22 Improvement in hot-air flues for heating-furnaces
US104132A (en) * 1870-06-14 Improved wood-box
US237151A (en) * 1881-02-01 Kettle-holder
US35066A (en) * 1862-04-22 Snow-plow
US305895A (en) * 1884-09-30 Distributing-roller for mucilage
US271423A (en) * 1883-01-30 Machine for clipping hats
US260379A (en) * 1882-07-04 Albert feabnaught
US78639A (en) * 1868-06-09 Improved evapoeatoe
US110513A (en) * 1870-12-27 Improvement in carriage-bows
US338328A (en) * 1886-03-23 Louis winterhalder
US306846A (en) * 1884-10-21 Bell-plate and card-receiver
US4988981B1 (en) * 1987-03-17 1999-05-18 Vpl Newco Inc Computer data entry and manipulation apparatus and method
JP2873338B2 (ja) * 1991-09-17 1999-03-24 富士通株式会社 動物体認識装置
US20020126161A1 (en) * 1994-07-05 2002-09-12 Hitachi, Ltd. Information processing system
JPH0844490A (ja) 1994-07-28 1996-02-16 Matsushita Electric Ind Co Ltd インターフェイス装置
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
WO1996034332A1 (fr) * 1995-04-28 1996-10-31 Matsushita Electric Industrial Co., Ltd. Dispositif d'interface
US6501515B1 (en) * 1998-10-13 2002-12-31 Sony Corporation Remote control system
US6624833B1 (en) * 2000-04-17 2003-09-23 Lucent Technologies Inc. Gesture-based input interface system with shadow detection
FI20001429A (fi) * 2000-06-15 2001-12-16 Nokia Corp Vaihtoehdon valitseminen
US7391409B2 (en) * 2002-07-27 2008-06-24 Sony Computer Entertainment America Inc. Method and system for applying gearing effects to multi-channel mixed input
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
DE602004006190T8 (de) * 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
US20050162402A1 (en) * 2004-01-27 2005-07-28 Watanachote Susornpol J. Methods of interacting with a computer using a finger(s) touch sensing input device with visual feedback
US7686692B2 (en) * 2004-05-10 2010-03-30 Sony Computer Entertainment Inc. Pattern codes used for interactive control of computer applications and video game applications
US7519223B2 (en) * 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
US7743348B2 (en) * 2004-06-30 2010-06-22 Microsoft Corporation Using physical objects to adjust attributes of an interactive display application
JP3746060B2 (ja) * 2004-07-20 2006-02-15 コナミ株式会社 ゲーム装置、コンピュータの制御方法及びプログラム
JP4419768B2 (ja) * 2004-09-21 2010-02-24 日本ビクター株式会社 電子機器の制御装置
KR20060070280A (ko) * 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
CN100345085C (zh) * 2004-12-30 2007-10-24 中国科学院自动化研究所 基于玩家姿势和语音的电子游戏场景和角色控制方法
KR100687737B1 (ko) * 2005-03-19 2007-02-27 한국전자통신연구원 양손 제스쳐에 기반한 가상 마우스 장치 및 방법
KR100643306B1 (ko) * 2005-06-13 2006-11-10 삼성전자주식회사 리모트 컨트롤에서의 선택 위치 또는 방향과 동일한 위치또는 방향의 메뉴를 선택할 수 있는 사용자 인터페이스를제공하는 장치 및 방법
US8018579B1 (en) * 2005-10-21 2011-09-13 Apple Inc. Three-dimensional imaging and display system
EP2296079A3 (en) * 2005-10-26 2011-04-13 Sony Computer Entertainment Inc. System and method for interfacing with a computer program
US7869646B2 (en) * 2005-12-01 2011-01-11 Electronics And Telecommunications Research Institute Method for estimating three-dimensional position of human joint using sphere projecting technique
KR100682987B1 (ko) * 2005-12-08 2007-02-15 한국전자통신연구원 선형판별 분석기법을 이용한 3차원 동작인식 장치 및 그방법
US8549442B2 (en) * 2005-12-12 2013-10-01 Sony Computer Entertainment Inc. Voice and video control of interactive electronically simulated environment
WO2007097548A1 (en) * 2006-02-20 2007-08-30 Cheol Woo Kim Method and apparatus for user-interface using the hand trace
JP4621157B2 (ja) 2006-03-09 2011-01-26 富士フイルム株式会社 携帯型画像通信システムならびにそのシステムを構成する送信装置および受信装置ならびにそれらの制御方法
JP2007272488A (ja) * 2006-03-31 2007-10-18 Yokogawa Electric Corp 画像処理装置、監視カメラ及び画像監視システム
US8086971B2 (en) * 2006-06-28 2011-12-27 Nokia Corporation Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications
US7907117B2 (en) * 2006-08-08 2011-03-15 Microsoft Corporation Virtual controller for visual displays
US20080231926A1 (en) * 2007-03-19 2008-09-25 Klug Michael A Systems and Methods for Updating Dynamic Three-Dimensional Displays with User Input
US7979809B2 (en) * 2007-05-11 2011-07-12 Microsoft Corporation Gestured movement of object to display edge
US8726194B2 (en) * 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
US9772689B2 (en) * 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
JP5183398B2 (ja) * 2008-09-29 2013-04-17 株式会社日立製作所 入力装置
JP5256109B2 (ja) * 2009-04-23 2013-08-07 株式会社日立製作所 表示装置
JP2011081469A (ja) * 2009-10-05 2011-04-21 Hitachi Consumer Electronics Co Ltd 入力装置
US8305188B2 (en) * 2009-10-07 2012-11-06 Samsung Electronics Co., Ltd. System and method for logging in multiple users to a consumer electronics device by detecting gestures with a sensory device
US20110107216A1 (en) * 2009-11-03 2011-05-05 Qualcomm Incorporated Gesture-based user interface

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04127674A (ja) * 1990-09-18 1992-04-28 Sony Corp 画像処理装置及び画像処理方法
JPH04271423A (ja) * 1991-02-27 1992-09-28 Nippon Telegr & Teleph Corp <Ntt> 情報入力方法
JPH05260379A (ja) * 1992-03-12 1993-10-08 Sony Corp タイトル入力装置とその方法
JPH06301476A (ja) * 1993-04-09 1994-10-28 Casio Comput Co Ltd 位置検出装置
JPH06301474A (ja) * 1993-04-14 1994-10-28 Casio Comput Co Ltd 位置検出装置
JPH07141101A (ja) * 1993-11-19 1995-06-02 Hitachi Ltd 画像を用いた入力システム
JPH0935066A (ja) * 1995-07-25 1997-02-07 Hitachi Ltd 手形状認識機能付き情報処理装置
JPH09128141A (ja) * 1995-11-07 1997-05-16 Sony Corp 制御装置および制御方法
JPH09237151A (ja) * 1996-03-01 1997-09-09 Gijutsu Kenkyu Kumiai Shinjoho Shiyori Kaihatsu Kiko グラフィカルユーザインタフェース
JPH09265346A (ja) * 1996-03-29 1997-10-07 Bijiyuaru Sci Kenkyusho:Kk 空間マウス及びマウス位置検出装置及び映像化装置
JPH11305895A (ja) * 1998-04-21 1999-11-05 Toshiba Corp 情報処理装置
JP2002306846A (ja) * 2001-04-12 2002-10-22 Saibuaasu:Kk ゲーム装置用コントローラ
JP2004110513A (ja) * 2002-09-19 2004-04-08 Gen Tec:Kk ポインタ移動制御システム
JP2004356819A (ja) * 2003-05-28 2004-12-16 Sharp Corp リモート操作装置
WO2005073838A2 (en) * 2004-01-16 2005-08-11 Sony Computer Entertainment Inc. Method and apparatus for light input device
WO2006104132A1 (ja) * 2005-03-28 2006-10-05 Matsushita Electric Industrial Co., Ltd. ユーザインタフェイスシステム
JP2006338328A (ja) * 2005-06-02 2006-12-14 Fuji Xerox Co Ltd 操作システム、処理装置、指示装置、操作方法およびプログラム
JP2007087100A (ja) * 2005-09-22 2007-04-05 Victor Co Of Japan Ltd 電子機器システム
WO2007078639A1 (en) * 2005-12-12 2007-07-12 Sony Computer Entertainment Inc. Methods and systems for enabling direction detection when interfacing with a computer program

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9411424B2 (en) 2009-04-23 2016-08-09 Hitachi Maxell, Ltd. Input device for operating graphical user interface
JP2010257093A (ja) * 2009-04-23 2010-11-11 Hitachi Ltd 入力装置
US11036301B2 (en) 2009-04-23 2021-06-15 Maxell, Ltd. Input device for motion operating graphical user interface
US9164578B2 (en) 2009-04-23 2015-10-20 Hitachi Maxell, Ltd. Input device for operating graphical user interface
US9465433B2 (en) 2010-03-05 2016-10-11 Sony Corporation Information processing device, method and program
WO2012011263A1 (ja) * 2010-07-20 2012-01-26 パナソニック株式会社 ジェスチャ入力装置およびジェスチャ入力方法
US9134800B2 (en) 2010-07-20 2015-09-15 Panasonic Intellectual Property Corporation Of America Gesture input device and gesture input method
JP5802667B2 (ja) * 2010-07-20 2015-10-28 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ ジェスチャ入力装置およびジェスチャ入力方法
WO2012133962A1 (ko) * 2011-03-25 2012-10-04 (주)아이티엑스시큐리티 스테레오 카메라를 이용한 3차원 동작 인식장치 및 인식방법
JP2012256098A (ja) * 2011-06-07 2012-12-27 Sony Corp 画像処理装置および方法、並びにプログラム
US9916012B2 (en) 2011-06-07 2018-03-13 Sony Corporation Image processing apparatus, image processing method, and program
US9785245B2 (en) 2011-06-07 2017-10-10 Sony Corporation Image processing apparatus, image processing method, and program for recognizing a gesture
JP2013140568A (ja) * 2011-12-09 2013-07-18 Sony Corp 情報処理装置、情報処理方法、および記録媒体
US10564827B2 (en) 2011-12-09 2020-02-18 Sony Corporation Information processing apparatus, information processing method, and recording medium
WO2013084821A1 (ja) * 2011-12-09 2013-06-13 ソニー株式会社 情報処理装置、情報処理方法、および記録媒体
JP2013140582A (ja) * 2011-12-30 2013-07-18 Samsung Electronics Co Ltd 電子装置およびその制御方法
JP2013257762A (ja) * 2012-06-13 2013-12-26 Sony Corp 画像処理装置、画像処理方法、およびプログラム
US10671175B2 (en) 2012-06-13 2020-06-02 Sony Corporation Image processing apparatus, image processing method, and program product to control a display to display an image generated based on a manipulation target image
US10073534B2 (en) 2012-06-13 2018-09-11 Sony Corporation Image processing apparatus, image processing method, and program to control a display to display an image generated based on a manipulation target image
KR20150084792A (ko) * 2012-09-19 2015-07-22 인사 - 앵스티튜트 나쇼날 데 씨앙세 아플리께즈 상호 작용 모드 선택 방법
KR102142328B1 (ko) * 2012-09-19 2020-08-07 인사 - 앵스티튜트 나쇼날 데 씨앙세 아플리께즈 상호 작용 모드 선택 방법
JP2018077876A (ja) * 2013-04-02 2018-05-17 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10514767B2 (en) 2013-04-02 2019-12-24 Sony Corporation Information processing apparatus and information processing method
JP2017524216A (ja) * 2014-07-10 2017-08-24 アイコンモバイル・ゲーエムベーハーＩｃｏｎｍｏｂｉｌｅ Ｇｍｂｈ 対話型ミラー
JPWO2016051521A1 (ja) * 2014-09-30 2017-04-27 三菱電機エンジニアリング株式会社 画面操作装置及び画面操作方法
JPWO2016185541A1 (ja) * 2015-05-18 2017-08-10 三菱電機株式会社 表示制御装置および画像表示装置
WO2016185541A1 (ja) * 2015-05-18 2016-11-24 三菱電機株式会社 表示制御装置および画像表示装置
CN106481902A (zh) * 2015-08-27 2017-03-08 株式会社普利司通 树脂管、树脂管的制造方法及配管构造
WO2023017628A1 (ja) * 2021-08-10 2023-02-16 ソニーグループ株式会社 情報処理システム、制御方法

Also Published As

Publication number Publication date
EP2040156A3 (en) 2013-01-16
US20090073117A1 (en) 2009-03-19
EP2040156B1 (en) 2020-06-17
US8643598B2 (en) 2014-02-04
JP4569613B2 (ja) 2010-10-27
US20150035752A1 (en) 2015-02-05
EP2040156A2 (en) 2009-03-25
US20130169537A1 (en) 2013-07-04
CN102141839A (zh) 2011-08-03
CN101393477B (zh) 2013-10-30
US8896535B2 (en) 2014-11-25
CN102141839B (zh) 2015-04-29
CN101393477A (zh) 2009-03-25

Similar Documents

Publication Publication Date Title
JP4569613B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
US20220303454A1 (en) Method and apparatus for supporting image processing, and computer-readable recording medium for executing the method
JP5014848B2 (ja) 映像パターンを利用したポインティング入力装置、方法、およびシステム
JP5258399B2 (ja) 画像投影装置及びその制御方法
JP6390799B2 (ja) 入力装置、入力方法、及びプログラム
US20070216642A1 (en) System For 3D Rendering Applications Using Hands
JP2008040576A (ja) 画像処理システム及び該システムを備えた映像表示装置
WO2015159548A1 (ja) 投影制御装置、投影制御方法及び投影制御プログラムを記録した記録媒体
JP2007086995A (ja) ポインティング装置
JP2018112894A (ja) システムおよび制御方法
KR101227875B1 (ko) 사용자 동작 기반 디스플레이 장치
JP2011100396A (ja) 映像表示装置
KR20110049162A (ko) 휴대용 영상 처리기에서 가상 입출력 장치 및 방법
JP7261261B2 (ja) 情報処理装置、スイッチングシステム、プログラム及び方法
TW202412516A (zh) 遠端視訊系統以及遠端視訊方法
JP6120541B2 (ja) 表示制御装置及びその制御方法
JP2005260672A (ja) 携帯端末装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090123

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090604

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091208

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100316

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100616

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20100623

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100713

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100726

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130820

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4569613

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130820

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees