JP2002196855A - 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス - Google Patents
画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイスInfo
- Publication number
- JP2002196855A JP2002196855A JP2001295098A JP2001295098A JP2002196855A JP 2002196855 A JP2002196855 A JP 2002196855A JP 2001295098 A JP2001295098 A JP 2001295098A JP 2001295098 A JP2001295098 A JP 2001295098A JP 2002196855 A JP2002196855 A JP 2002196855A
- Authority
- JP
- Japan
- Prior art keywords
- image
- target
- moving
- moving image
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
- H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
- H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
- Studio Devices (AREA)
- Studio Circuits (AREA)
Abstract
(57)【要約】
【課題】 撮影装置等により撮影された撮影画像をコマ
ンド等を入力するための入力インタフェースとして利用
するための画像処理装置を提供する。 【解決手段】 動きのあるターゲットをその一部に含む
鏡面動画像を取り込む画像取込手段と、所定のオブジェ
クトを表すオブジェクト画像を、画像取込手段で取り込
んだ鏡面動画像に含まれるターゲットの動きに応じて生
成する画像生成手段と、この画像生成手段で生成したオ
ブジェクト画像を取り込んだ鏡面動画像と合成して所定
のディスプレイ装置３に表示させる制御手段とを備える
画像処理装置２を提供する。
ンド等を入力するための入力インタフェースとして利用
するための画像処理装置を提供する。 【解決手段】 動きのあるターゲットをその一部に含む
鏡面動画像を取り込む画像取込手段と、所定のオブジェ
クトを表すオブジェクト画像を、画像取込手段で取り込
んだ鏡面動画像に含まれるターゲットの動きに応じて生
成する画像生成手段と、この画像生成手段で生成したオ
ブジェクト画像を取り込んだ鏡面動画像と合成して所定
のディスプレイ装置３に表示させる制御手段とを備える
画像処理装置２を提供する。
Description
【０００１】
【発明の属する技術分野】本発明は、ビデオカメラなど
の撮影装置により撮影された撮影画像を、コマンド等の
入力インタフェースとして利用するための画像処理技術
に関する。
の撮影装置により撮影された撮影画像を、コマンド等の
入力インタフェースとして利用するための画像処理技術
に関する。
【０００２】
【発明の背景】コンピュータ、ビデオゲーム機などによ
く用いられる入力装置として、キーボード、マウス、コ
ントローラ等がある。操作者は、これらの入力装置を操
作することにより所望のコマンドを入力して、入力され
たコマンドに応じた処理をコンピュータ等に行わせる。
そして操作者は、処理結果として得られた画像、音など
を、ディスプレイ装置やスピーカにより視聴する。操作
者は、入力装置に備えられる多くのボタンを操作した
り、ディスプレイ装置に表示されたカーソルなどを見な
がら操作することにより、コマンドの入力を行うことと
なる。このような操作は、操作者の慣れに依存する部分
が大きい。例えばキーボードを全く触ったことのない者
にとって、キーボードを用いて所望のコマンドを入力す
ることは面倒な操作であり、入力に時間がかかったり、
キーボードの打ち間違いによる入力ミスを起こしやす
い。そのために、操作者が操作しやすいマンマシンイン
タフェースに対する要望がある。
く用いられる入力装置として、キーボード、マウス、コ
ントローラ等がある。操作者は、これらの入力装置を操
作することにより所望のコマンドを入力して、入力され
たコマンドに応じた処理をコンピュータ等に行わせる。
そして操作者は、処理結果として得られた画像、音など
を、ディスプレイ装置やスピーカにより視聴する。操作
者は、入力装置に備えられる多くのボタンを操作した
り、ディスプレイ装置に表示されたカーソルなどを見な
がら操作することにより、コマンドの入力を行うことと
なる。このような操作は、操作者の慣れに依存する部分
が大きい。例えばキーボードを全く触ったことのない者
にとって、キーボードを用いて所望のコマンドを入力す
ることは面倒な操作であり、入力に時間がかかったり、
キーボードの打ち間違いによる入力ミスを起こしやす
い。そのために、操作者が操作しやすいマンマシンイン
タフェースに対する要望がある。
【０００３】一方、マルチメディア技術の発達により、
ビデオカメラにより撮影した撮影画像を、コンピュータ
などに取り込んで編集し、これをディスプレイ装置に表
示して楽しむことが、一般の家庭でも手軽に行えるよう
になっている。また、顔などの身体の撮影画像を解析し
て特徴部分を抽出し、個人の特定を行うなどの個人認証
にも用いられている。従来、このような撮影画像は、編
集又は解析といった、コンピュータによって処理される
ための情報として用いられている。しかし、撮影画像
が、例えばコンピュータにコマンドを入力するといった
目的で用いられることはなかった。
ビデオカメラにより撮影した撮影画像を、コンピュータ
などに取り込んで編集し、これをディスプレイ装置に表
示して楽しむことが、一般の家庭でも手軽に行えるよう
になっている。また、顔などの身体の撮影画像を解析し
て特徴部分を抽出し、個人の特定を行うなどの個人認証
にも用いられている。従来、このような撮影画像は、編
集又は解析といった、コンピュータによって処理される
ための情報として用いられている。しかし、撮影画像
が、例えばコンピュータにコマンドを入力するといった
目的で用いられることはなかった。
【０００４】本発明の課題は、撮影装置等により撮影さ
れた撮影画像をコマンド等を入力するための入力インタ
フェースとして利用するための画像処理技術を提供する
ことにある。
れた撮影画像をコマンド等を入力するための入力インタ
フェースとして利用するための画像処理技術を提供する
ことにある。
【０００５】
【課題を解決するための手段】上記の課題を解決する本
発明の画像処理装置は、動きのあるターゲットをその一
部に含む鏡面動画像を取り込む画像取込手段と、所定の
オブジェクトを表すオブジェクト画像を、前記画像取込
手段で取り込んだ鏡面動画像に含まれるターゲットの動
きに応じて生成する画像生成手段と、この画像生成手段
で生成したオブジェクト画像を前記取り込んだ鏡面動画
像と合成して所定のディスプレイ装置に表示させる制御
手段とを備えてなる。「ターゲット」とは、例えば画像
処理装置に画像を供給する撮影装置による撮影対象体
（人物又は物体等）のうち注目する部分をいう。
発明の画像処理装置は、動きのあるターゲットをその一
部に含む鏡面動画像を取り込む画像取込手段と、所定の
オブジェクトを表すオブジェクト画像を、前記画像取込
手段で取り込んだ鏡面動画像に含まれるターゲットの動
きに応じて生成する画像生成手段と、この画像生成手段
で生成したオブジェクト画像を前記取り込んだ鏡面動画
像と合成して所定のディスプレイ装置に表示させる制御
手段とを備えてなる。「ターゲット」とは、例えば画像
処理装置に画像を供給する撮影装置による撮影対象体
（人物又は物体等）のうち注目する部分をいう。
【０００６】本発明の他の画像処理装置は、動きのある
ターゲットをその一部に含む鏡面動画像を取り込む画像
取込手段と、現時点の鏡面動画像と直前の鏡面動画像と
の間の画像特徴を検出することにより前記ターゲット及
びその動き成分を検出する検出手段と、所定のオブジェ
クトを表すオブジェクト画像を、前記検出手段で検出さ
れたターゲットの動き成分に応じて変化するように生成
する画像生成手段と、この画像生成手段で生成したオブ
ジェクト画像を前記取り込んだ鏡面動画像と合成して所
定のディスプレイ装置に表示させる制御手段とを備え
る。
ターゲットをその一部に含む鏡面動画像を取り込む画像
取込手段と、現時点の鏡面動画像と直前の鏡面動画像と
の間の画像特徴を検出することにより前記ターゲット及
びその動き成分を検出する検出手段と、所定のオブジェ
クトを表すオブジェクト画像を、前記検出手段で検出さ
れたターゲットの動き成分に応じて変化するように生成
する画像生成手段と、この画像生成手段で生成したオブ
ジェクト画像を前記取り込んだ鏡面動画像と合成して所
定のディスプレイ装置に表示させる制御手段とを備え
る。
【０００７】これらの画像処理装置は、鏡面動画像に含
まれるターゲットの動きに応じて、オブジェクト画像を
生成する。つまり、ターゲットの動きにより、ディスプ
レイ装置に表示されるオブジェクト画像の動きや色、
形、オブジェクト画像が複数ある場合にはどのオブジェ
クト画像を表示するか等が決められる。例えば、ターゲ
ットが操作者である場合には、操作者の動作に応じてオ
ブジェクトが決まることになる。このように、鏡面動画
像を入力インタフェースの一種として利用可能となる。
まれるターゲットの動きに応じて、オブジェクト画像を
生成する。つまり、ターゲットの動きにより、ディスプ
レイ装置に表示されるオブジェクト画像の動きや色、
形、オブジェクト画像が複数ある場合にはどのオブジェ
クト画像を表示するか等が決められる。例えば、ターゲ
ットが操作者である場合には、操作者の動作に応じてオ
ブジェクトが決まることになる。このように、鏡面動画
像を入力インタフェースの一種として利用可能となる。
【０００８】これらの画像処理装置において、前記画像
生成手段が、前記検出されたターゲットの動きに追従す
るように前記オブジェクト画像を生成するようにしても
よい。また、前記ターゲットの動き成分に応じて、前記
生成されたオブジェクト画像に基づく所要の処理の実行
準備を行う手段をさらに備えるようにしてもよい。前記
画像生成手段で生成されたオブジェクト画像と前記現時
点の鏡面動画像とが合成された合成画像と、前記直前の
鏡面動画像に含まれるターゲットの部分の画像であるテ
ンプレート画像と、を比較して、前記テンプレート画像
と画像特徴が最も類似する前記合成画像の部分の画像を
検出すると共に、この検出した前記合成画像の前記部分
の画像に前記オブジェクト画像が含まれているときに、
このオブジェクト画像に基づく所要の処理の実行準備を
行う手段をさらに備えるようにしてもよい。
生成手段が、前記検出されたターゲットの動きに追従す
るように前記オブジェクト画像を生成するようにしても
よい。また、前記ターゲットの動き成分に応じて、前記
生成されたオブジェクト画像に基づく所要の処理の実行
準備を行う手段をさらに備えるようにしてもよい。前記
画像生成手段で生成されたオブジェクト画像と前記現時
点の鏡面動画像とが合成された合成画像と、前記直前の
鏡面動画像に含まれるターゲットの部分の画像であるテ
ンプレート画像と、を比較して、前記テンプレート画像
と画像特徴が最も類似する前記合成画像の部分の画像を
検出すると共に、この検出した前記合成画像の前記部分
の画像に前記オブジェクト画像が含まれているときに、
このオブジェクト画像に基づく所要の処理の実行準備を
行う手段をさらに備えるようにしてもよい。
【０００９】前記オブジェクト画像を所定の処理に対応
付けしておき、前記検出手段で検出された前記ターゲッ
トの動き成分が所定の条件を満たすときに前記オブジェ
クト画像に対応付けされた前記処理を実行する手段をさ
らに備えるようにすると、ターゲットの動きに応じて、
処理の実行が可能となる。また、鏡面動画像に含まれる
前記ターゲットを複数とし、前記検出手段を、前記複数
のターゲットの各々についてその動き成分を検出して、
検出した前記複数のターゲットの各々の動き成分に基づ
いて一のターゲットを検出するように構成し、前記画像
生成手段を、前記オブジェクト画像を、前記検出手段で
検出された前記一のターゲットの前記動き成分に応じて
変化するように生成するように構成してもよい。
付けしておき、前記検出手段で検出された前記ターゲッ
トの動き成分が所定の条件を満たすときに前記オブジェ
クト画像に対応付けされた前記処理を実行する手段をさ
らに備えるようにすると、ターゲットの動きに応じて、
処理の実行が可能となる。また、鏡面動画像に含まれる
前記ターゲットを複数とし、前記検出手段を、前記複数
のターゲットの各々についてその動き成分を検出して、
検出した前記複数のターゲットの各々の動き成分に基づ
いて一のターゲットを検出するように構成し、前記画像
生成手段を、前記オブジェクト画像を、前記検出手段で
検出された前記一のターゲットの前記動き成分に応じて
変化するように生成するように構成してもよい。
【００１０】本発明は、また、以下のような画像処理方
法を提供する。この画像処理方法は、動きのあるターゲ
ットをその一部に含む鏡面動画像を画像処理装置に取り
込み、前記画像処理装置で、所定のオブジェクトを表す
オブジェクト画像を、前記取り込んだ鏡面動画像に含ま
れるターゲットの動きに応じて生成するとともに、生成
した前記オブジェクト画像を前記取り込んだ鏡面動画像
と合成して所定のディスプレイ装置に表示させることを
特徴とする、画像処理方法である。
法を提供する。この画像処理方法は、動きのあるターゲ
ットをその一部に含む鏡面動画像を画像処理装置に取り
込み、前記画像処理装置で、所定のオブジェクトを表す
オブジェクト画像を、前記取り込んだ鏡面動画像に含ま
れるターゲットの動きに応じて生成するとともに、生成
した前記オブジェクト画像を前記取り込んだ鏡面動画像
と合成して所定のディスプレイ装置に表示させることを
特徴とする、画像処理方法である。
【００１１】本発明は、また、以下のようなコンピュー
タプログラムを提供する。このコンピュータプログラム
は、ディスプレイ装置が接続されたコンピュータに、動
きのあるターゲットをその一部に含む鏡面動画像を取り
込む処理、所定のオブジェクトを表すオブジェクト画像
を、前記取り込んだ鏡面動画像に含まれるターゲットの
動きに応じて生成する処理、生成した前記オブジェクト
画像を前記取り込んだ鏡面動画像と合成して前記ディス
プレイ装置に表示させる処理、を実行させるためのコン
ピュータプログラムである。
タプログラムを提供する。このコンピュータプログラム
は、ディスプレイ装置が接続されたコンピュータに、動
きのあるターゲットをその一部に含む鏡面動画像を取り
込む処理、所定のオブジェクトを表すオブジェクト画像
を、前記取り込んだ鏡面動画像に含まれるターゲットの
動きに応じて生成する処理、生成した前記オブジェクト
画像を前記取り込んだ鏡面動画像と合成して前記ディス
プレイ装置に表示させる処理、を実行させるためのコン
ピュータプログラムである。
【００１２】本発明は、また、以下のような半導体デバ
イスを提供する。この半導体デバイスは、ディスプレイ
装置が接続されたコンピュータに搭載された装置に組み
込まれることにより、前記コンピュータに、動きのある
ターゲットをその一部に含む鏡面動画像を取り込む手
段、所定のオブジェクトを表すオブジェクト画像を、前
記取り込んだ鏡面動画像に含まれるターゲットの動きに
応じて生成する手段、生成した前記オブジェクト画像を
前記取り込んだ鏡面動画像と合成して前記ディスプレイ
装置に表示させる手段、の機能を形成させる半導体デバ
イスである。
イスを提供する。この半導体デバイスは、ディスプレイ
装置が接続されたコンピュータに搭載された装置に組み
込まれることにより、前記コンピュータに、動きのある
ターゲットをその一部に含む鏡面動画像を取り込む手
段、所定のオブジェクトを表すオブジェクト画像を、前
記取り込んだ鏡面動画像に含まれるターゲットの動きに
応じて生成する手段、生成した前記オブジェクト画像を
前記取り込んだ鏡面動画像と合成して前記ディスプレイ
装置に表示させる手段、の機能を形成させる半導体デバ
イスである。
【００１３】
【発明の実施の形態】以下、本発明の実施形態を詳細に
説明する。図１は、本発明を適用した画像処理システム
の構成例を示した図である。この画像処理システムは、
ディスプレイ装置３に対座する操作者をアナログ又はデ
ジタルのビデオカメラ１で撮影し、これにより得られた
動画像を画像処理装置２に時系列的に連続に取り込んで
鏡面動画像を生成するとともに、この鏡面動画像のう
ち、操作者の目、手などの注目対象部分（以下、注目対
象部分を「ターゲット」と称する）が存在する部位にメ
ニューやカーソル等のオブジェクトを表すオブジェクト
画像を合成して合成画像（これも動画像となる）を生成
し、この合成画像をディスプレイ装置３上にリアルタイ
ムに表示させるものである。鏡面動画像は、ビデオカメ
ラ１から取り込んだ動画像を画像処理装置２で鏡面処理
（画像の左右反転処理）することにより生成することが
できるが、ビデオカメラ１の前に鏡を置き、操作者を映
した鏡面の動画像をビデオカメラ１で撮影することによ
って鏡面動画像を生成するようにしてもよい。いずれに
しても、ディスプレイ装置３上には、ターゲットの動き
に応じてその表示形態がリアルタイムに変化する合成画
像が表示されるようにする。
説明する。図１は、本発明を適用した画像処理システム
の構成例を示した図である。この画像処理システムは、
ディスプレイ装置３に対座する操作者をアナログ又はデ
ジタルのビデオカメラ１で撮影し、これにより得られた
動画像を画像処理装置２に時系列的に連続に取り込んで
鏡面動画像を生成するとともに、この鏡面動画像のう
ち、操作者の目、手などの注目対象部分（以下、注目対
象部分を「ターゲット」と称する）が存在する部位にメ
ニューやカーソル等のオブジェクトを表すオブジェクト
画像を合成して合成画像（これも動画像となる）を生成
し、この合成画像をディスプレイ装置３上にリアルタイ
ムに表示させるものである。鏡面動画像は、ビデオカメ
ラ１から取り込んだ動画像を画像処理装置２で鏡面処理
（画像の左右反転処理）することにより生成することが
できるが、ビデオカメラ１の前に鏡を置き、操作者を映
した鏡面の動画像をビデオカメラ１で撮影することによ
って鏡面動画像を生成するようにしてもよい。いずれに
しても、ディスプレイ装置３上には、ターゲットの動き
に応じてその表示形態がリアルタイムに変化する合成画
像が表示されるようにする。
【００１４】画像処理装置２は、コンピュータプログラ
ムにより所要の機能を形成するコンピュータにより実現
される。この実施形態によるコンピュータは、例えば図
２にそのハードウエア構成を示すように、それぞれ固有
の機能を有する複数の半導体デバイスが接続されたメイ
ンバスＢ１とサブバスＢ２の２本のバスを有している。
これらのバスＢ１、Ｂ２は、バスインタフェースＩＮＴ
を介して互いに接続され又は切り離されるようになって
いる。
ムにより所要の機能を形成するコンピュータにより実現
される。この実施形態によるコンピュータは、例えば図
２にそのハードウエア構成を示すように、それぞれ固有
の機能を有する複数の半導体デバイスが接続されたメイ
ンバスＢ１とサブバスＢ２の２本のバスを有している。
これらのバスＢ１、Ｂ２は、バスインタフェースＩＮＴ
を介して互いに接続され又は切り離されるようになって
いる。
【００１５】メインバスＢ１には、主たる半導体デバイ
スであるメインＣＰＵ１０と、ＲＡＭで構成されるメイ
ンメモリ１１と、メインＤＭＡＣ（Direct Memory Acce
ss Controller）１２と、ＭＰＥＧ（Moving Picture Ex
perts Group）デコーダ（ＭＤＥＣ）１３と、描画用メ
モリとなるフレームメモリ１５を内蔵する描画処理装置
（Graphic Processing Unit、以下、「ＧＰＵ」）１４
が接続される。ＧＰＵ１４には、フレームメモリ１５に
描画されたデータをディスプレイ装置３で表示できるよ
うにするためのビデオ信号を生成するＣＲＴＣ（CRT Co
ntroller）１６が接続される。
スであるメインＣＰＵ１０と、ＲＡＭで構成されるメイ
ンメモリ１１と、メインＤＭＡＣ（Direct Memory Acce
ss Controller）１２と、ＭＰＥＧ（Moving Picture Ex
perts Group）デコーダ（ＭＤＥＣ）１３と、描画用メ
モリとなるフレームメモリ１５を内蔵する描画処理装置
（Graphic Processing Unit、以下、「ＧＰＵ」）１４
が接続される。ＧＰＵ１４には、フレームメモリ１５に
描画されたデータをディスプレイ装置３で表示できるよ
うにするためのビデオ信号を生成するＣＲＴＣ（CRT Co
ntroller）１６が接続される。
【００１６】メインＣＰＵ１０は、コンピュータの起動
時にサブバスＢ２上のＲＯＭ２３から、バスインタフェ
ースＩＮＴを介して起動プログラムを読み込み、その起
動プログラムを実行してオペレーティングシステムを動
作させる。また、メディアドライブ２７を制御するとと
もに、このメディアドライブ２７に装着されたメディア
２８からアプリケーションプログラムやデータを読み出
し、これをメインメモリ１１に記憶させる。さらに、メ
ディア２８から読み出した各種データ、例えば複数の基
本図形（ポリゴン）で構成された３次元オブジェクトデ
ータ（ポリゴンの頂点（代表点）の座標値など）に対し
て、オブジェクトの形状や動き等を表現するためのジオ
メトリ処理（座標値演算処理）を行い、そして、ジオメ
トリ処理によるポリゴン定義情報（使用するポリゴンの
形状及びその描画位置、ポリゴンを構成する素材の種
類、色調、質感等の指定）をその内容とするディスプレ
イリストを生成する。
時にサブバスＢ２上のＲＯＭ２３から、バスインタフェ
ースＩＮＴを介して起動プログラムを読み込み、その起
動プログラムを実行してオペレーティングシステムを動
作させる。また、メディアドライブ２７を制御するとと
もに、このメディアドライブ２７に装着されたメディア
２８からアプリケーションプログラムやデータを読み出
し、これをメインメモリ１１に記憶させる。さらに、メ
ディア２８から読み出した各種データ、例えば複数の基
本図形（ポリゴン）で構成された３次元オブジェクトデ
ータ（ポリゴンの頂点（代表点）の座標値など）に対し
て、オブジェクトの形状や動き等を表現するためのジオ
メトリ処理（座標値演算処理）を行い、そして、ジオメ
トリ処理によるポリゴン定義情報（使用するポリゴンの
形状及びその描画位置、ポリゴンを構成する素材の種
類、色調、質感等の指定）をその内容とするディスプレ
イリストを生成する。
【００１７】ＧＰＵ１４は、描画コンテクスト（ポリゴ
ン素材を含む描画用のデータ）を保持しており、メイン
ＣＰＵ１０から通知されるディスプレイリストに従って
必要な描画コンテクストを読み出してレンダリング処理
（描画処理）を行い、フレームメモリ１５にポリゴンを
描画する機能を有する半導体デバイスである。フレーム
メモリ１５は、これをテクスチャメモリとしても使用で
きる。そのため、フレームメモリ上のピクセルイメージ
をテクスチャとして、描画するポリゴンに貼り付けるこ
とができる。
ン素材を含む描画用のデータ）を保持しており、メイン
ＣＰＵ１０から通知されるディスプレイリストに従って
必要な描画コンテクストを読み出してレンダリング処理
（描画処理）を行い、フレームメモリ１５にポリゴンを
描画する機能を有する半導体デバイスである。フレーム
メモリ１５は、これをテクスチャメモリとしても使用で
きる。そのため、フレームメモリ上のピクセルイメージ
をテクスチャとして、描画するポリゴンに貼り付けるこ
とができる。
【００１８】メインＤＭＡＣ１２は、メインバスＢ１に
接続されている各回路を対象としてＤＭＡ転送制御を行
うとともに、バスインタフェースＩＮＴの状態に応じ
て、サブバスＢ２に接続されている各回路を対象として
ＤＭＡ転送制御を行う半導体デバイスであり、ＭＤＥＣ
１３は、メインＣＰＵ１０と並列に動作し、ＭＰＥＧ
（Moving Picture Experts Group）方式あるいはＪＰＥ
Ｇ（Joint Photographic Experts Group）方式等で圧縮
されたデータを伸張する機能を有する半導体デバイスで
ある。
接続されている各回路を対象としてＤＭＡ転送制御を行
うとともに、バスインタフェースＩＮＴの状態に応じ
て、サブバスＢ２に接続されている各回路を対象として
ＤＭＡ転送制御を行う半導体デバイスであり、ＭＤＥＣ
１３は、メインＣＰＵ１０と並列に動作し、ＭＰＥＧ
（Moving Picture Experts Group）方式あるいはＪＰＥ
Ｇ（Joint Photographic Experts Group）方式等で圧縮
されたデータを伸張する機能を有する半導体デバイスで
ある。
【００１９】サブバスＢ２には、マイクロプロセッサな
どで構成されるサブＣＰＵ２０、ＲＡＭで構成されるサ
ブメモリ２１、サブＤＭＡＣ２２、オペレーティングシ
ステムなどの制御プログラムが記憶されているＲＯＭ２
３、サウンドメモリ２５に蓄積された音データを読み出
してオーディオ出力として出力する音声処理用半導体デ
バイス（ＳＰＵ（Sound Processing Unit））２４、図
示しないネットワークを介して外部装置と情報の送受信
を行う通信制御部（ＡＴＭ）２６、ＣＤ−ＲＯＭやＤＶ
Ｄ−ＲＯＭなどのメディア２８を装着するためのメディ
アドライブ２７及び入力部３１が接続されている。
どで構成されるサブＣＰＵ２０、ＲＡＭで構成されるサ
ブメモリ２１、サブＤＭＡＣ２２、オペレーティングシ
ステムなどの制御プログラムが記憶されているＲＯＭ２
３、サウンドメモリ２５に蓄積された音データを読み出
してオーディオ出力として出力する音声処理用半導体デ
バイス（ＳＰＵ（Sound Processing Unit））２４、図
示しないネットワークを介して外部装置と情報の送受信
を行う通信制御部（ＡＴＭ）２６、ＣＤ−ＲＯＭやＤＶ
Ｄ−ＲＯＭなどのメディア２８を装着するためのメディ
アドライブ２７及び入力部３１が接続されている。
【００２０】サブＣＰＵ２０は、ＲＯＭ２３に記憶され
ている制御プログラムに従って各種動作を行う。サブＤ
ＭＡＣ２２は、バスインタフェースＩＮＴがメインバス
Ｂ１とサブバスＢ２を切り離している状態においての
み、サブバスＢ２に接続されている各回路を対象として
ＤＭＡ転送などの制御を行う半導体デバイスである。入
力部３１は、操作装置３５からの入力信号が入力される
接続端子３２、ビデオカメラ１からの画像信号が入力さ
れる接続端子３３、及びビデオカメラ１からの音声信号
が入力される接続端子３４を備える。なお、本明細書で
は、画像についてのみ説明を行い、便宜上、音声につい
ての説明は省略する。
ている制御プログラムに従って各種動作を行う。サブＤ
ＭＡＣ２２は、バスインタフェースＩＮＴがメインバス
Ｂ１とサブバスＢ２を切り離している状態においての
み、サブバスＢ２に接続されている各回路を対象として
ＤＭＡ転送などの制御を行う半導体デバイスである。入
力部３１は、操作装置３５からの入力信号が入力される
接続端子３２、ビデオカメラ１からの画像信号が入力さ
れる接続端子３３、及びビデオカメラ１からの音声信号
が入力される接続端子３４を備える。なお、本明細書で
は、画像についてのみ説明を行い、便宜上、音声につい
ての説明は省略する。
【００２１】このように構成されるコンピュータは、メ
インＣＰＵ１０、サブＣＰＵ２０、ＧＰＵ１４が、ＲＯ
Ｍ２３及びメディア２８等の記録媒体から所要のコンピ
ュータプログラムを読み込んで実行することにより、画
像処理装置２として動作するうえで必要な機能ブロッ
ク、すなわち、図３に示すような、画像入力部１０１、
画像反転部１０２、オブジェクトデータ記憶部１０３、
オブジェクトデータ入力部１０４、オブジェクト制御部
１０５、重畳画像生成部１０６、差分値検出部１０７、
表示制御部１０８を形成する。図１に示したハードウエ
アとの関係では、画像入力部１０１は入力部３１及びそ
の動作を制御するサブＣＰＵ２０により形成され、画像
反転部１０２、オブジェクトデータ入力部１０４、オブ
ジェクト制御部１０５及び差分値検出部１０７はメイン
ＣＰＵ１０により形成され、重畳画像生成部１０６はＧ
ＰＵ１４により形成され、表示制御部１０８はＧＰＵ１
４とＣＲＴＣ１６との協働により形成される。オブジェ
クトデータ記憶部１０３は、メインＣＰＵ１０がアクセ
ス可能なメモリ領域、例えばメインメモリ１１に形成さ
れる。
インＣＰＵ１０、サブＣＰＵ２０、ＧＰＵ１４が、ＲＯ
Ｍ２３及びメディア２８等の記録媒体から所要のコンピ
ュータプログラムを読み込んで実行することにより、画
像処理装置２として動作するうえで必要な機能ブロッ
ク、すなわち、図３に示すような、画像入力部１０１、
画像反転部１０２、オブジェクトデータ記憶部１０３、
オブジェクトデータ入力部１０４、オブジェクト制御部
１０５、重畳画像生成部１０６、差分値検出部１０７、
表示制御部１０８を形成する。図１に示したハードウエ
アとの関係では、画像入力部１０１は入力部３１及びそ
の動作を制御するサブＣＰＵ２０により形成され、画像
反転部１０２、オブジェクトデータ入力部１０４、オブ
ジェクト制御部１０５及び差分値検出部１０７はメイン
ＣＰＵ１０により形成され、重畳画像生成部１０６はＧ
ＰＵ１４により形成され、表示制御部１０８はＧＰＵ１
４とＣＲＴＣ１６との協働により形成される。オブジェ
クトデータ記憶部１０３は、メインＣＰＵ１０がアクセ
ス可能なメモリ領域、例えばメインメモリ１１に形成さ
れる。
【００２２】画像入力部１０１は、ビデオカメラ１によ
り撮影された撮影画像を入力部３１の接続端子３３を介
して取り込む。入力される撮影画像がデジタル画像の場
合は、そのまま取り込む。入力される撮影画像がアナロ
グ画像の場合は、Ａ／Ｄ変換を行ってデジタル画像に変
換して取り込む。画像反転部１０２は、画像入力部１０
１により取り込んだ撮影画像を鏡面処理、すなわち左右
反転処理して鏡面動画像を生成する。
り撮影された撮影画像を入力部３１の接続端子３３を介
して取り込む。入力される撮影画像がデジタル画像の場
合は、そのまま取り込む。入力される撮影画像がアナロ
グ画像の場合は、Ａ／Ｄ変換を行ってデジタル画像に変
換して取り込む。画像反転部１０２は、画像入力部１０
１により取り込んだ撮影画像を鏡面処理、すなわち左右
反転処理して鏡面動画像を生成する。
【００２３】オブジェクトデータ記憶部１０３は、メニ
ュー（サブメニューを含む）、マッチ棒、カーソル等の
オブジェクトを表現するためのオブジェクトデータをそ
の識別データと共に保持する。オブジェクトデータ入力
部１０４は、オブジェクトデータ記憶部１０３から必要
なオブジェクトデータを取り込んで、オブジェクト制御
部１０５へ送る。取り込むべきオブジェクトデータは、
オブジェクト制御部１０５により指示される。オブジェ
クト制御部１０５は、指示内容に応じてオブジェクトデ
ータ入力部１０４より取り込んだオブジェクトデータに
基づいてオブジェクト画像を生成する。特に、オブジェ
クト制御部１０５は、差分値検出部１０７から送られる
差分値に基づいてオブジェクトの表示状態を決定し、そ
の表示状態を実現するためのオブジェクト画像を生成す
る。差分値については後述する。
ュー（サブメニューを含む）、マッチ棒、カーソル等の
オブジェクトを表現するためのオブジェクトデータをそ
の識別データと共に保持する。オブジェクトデータ入力
部１０４は、オブジェクトデータ記憶部１０３から必要
なオブジェクトデータを取り込んで、オブジェクト制御
部１０５へ送る。取り込むべきオブジェクトデータは、
オブジェクト制御部１０５により指示される。オブジェ
クト制御部１０５は、指示内容に応じてオブジェクトデ
ータ入力部１０４より取り込んだオブジェクトデータに
基づいてオブジェクト画像を生成する。特に、オブジェ
クト制御部１０５は、差分値検出部１０７から送られる
差分値に基づいてオブジェクトの表示状態を決定し、そ
の表示状態を実現するためのオブジェクト画像を生成す
る。差分値については後述する。
【００２４】重畳画像生成部１０６は、画像反転部１０
２から出力された鏡面動画像とオブジェクト制御部１０
５により生成されるオブジェクト画像とを重畳した合成
画像をフレームメモリ１５に描画する。なお、オブジェ
クト画像を重畳して合成画像を生成するほかに、公知の
インポーズ処理により、鏡面動画像上にオブジェクト画
像を表示するようにしてもよい。
２から出力された鏡面動画像とオブジェクト制御部１０
５により生成されるオブジェクト画像とを重畳した合成
画像をフレームメモリ１５に描画する。なお、オブジェ
クト画像を重畳して合成画像を生成するほかに、公知の
インポーズ処理により、鏡面動画像上にオブジェクト画
像を表示するようにしてもよい。
【００２５】差分値検出部１０７は、重畳画像生成部１
０６により生成される合成画像のうち、鏡面動画像の画
像特徴を１フレーム毎に比較し、前後のフレームの鏡面
動画像間における画像特徴の差分値を導出する。また、
差分値検出部１０７は、必要に応じて、前後のフレーム
の鏡面動画像間の差分画像を生成する。画像特徴の差分
値は、鏡面動画像に含まれるターゲットの動き成分のフ
レーム毎の変化を定量的に表す値となる。例えば、鏡面
動画像内でターゲットが動いた距離や、動いた先の領域
と動く前の領域との間の面積を表すことになる。一つの
鏡面動画像内に複数のターゲットが含まれる場合には、
画像特徴の差分値が各々のターゲットの動きの変化を表
すようになるので、この差分値を求めることにより、個
々のターゲットの動きの変化を定量的に求めることがで
きる。差分画像は、その時点における鏡面動画像に含ま
れるターゲットのフレーム毎の動きの変化を表す画像と
なる。例えば、２つの鏡面動画像間でターゲットが動い
たときの、動く前のターゲットの画像と動いた後のター
ゲットの画像とからなる画像である。差分値及び差分画
像を導出するために、差分値検出部１０７は、ある鏡面
動画像を他のフレームの鏡面動画像との間の「参照用画
像」としてメインメモリ１１に記憶する。記憶しておく
鏡面動画像は、１フレーム分の鏡面動画像の全体でもよ
いが、画像特徴の差分値を導出できれば足りるので、タ
ーゲットの部分のみであってもよい。以後の説明におい
て、ターゲットの部分の画像を他の部分の画像と区別す
る必要がある場合は、それを「テンプレート画像」とい
う。差分値検出部１０７で検出した差分値は、オブジェ
クト制御部１０５に送られ、オブジェクト画像の動きを
制御するために用いられる。
０６により生成される合成画像のうち、鏡面動画像の画
像特徴を１フレーム毎に比較し、前後のフレームの鏡面
動画像間における画像特徴の差分値を導出する。また、
差分値検出部１０７は、必要に応じて、前後のフレーム
の鏡面動画像間の差分画像を生成する。画像特徴の差分
値は、鏡面動画像に含まれるターゲットの動き成分のフ
レーム毎の変化を定量的に表す値となる。例えば、鏡面
動画像内でターゲットが動いた距離や、動いた先の領域
と動く前の領域との間の面積を表すことになる。一つの
鏡面動画像内に複数のターゲットが含まれる場合には、
画像特徴の差分値が各々のターゲットの動きの変化を表
すようになるので、この差分値を求めることにより、個
々のターゲットの動きの変化を定量的に求めることがで
きる。差分画像は、その時点における鏡面動画像に含ま
れるターゲットのフレーム毎の動きの変化を表す画像と
なる。例えば、２つの鏡面動画像間でターゲットが動い
たときの、動く前のターゲットの画像と動いた後のター
ゲットの画像とからなる画像である。差分値及び差分画
像を導出するために、差分値検出部１０７は、ある鏡面
動画像を他のフレームの鏡面動画像との間の「参照用画
像」としてメインメモリ１１に記憶する。記憶しておく
鏡面動画像は、１フレーム分の鏡面動画像の全体でもよ
いが、画像特徴の差分値を導出できれば足りるので、タ
ーゲットの部分のみであってもよい。以後の説明におい
て、ターゲットの部分の画像を他の部分の画像と区別す
る必要がある場合は、それを「テンプレート画像」とい
う。差分値検出部１０７で検出した差分値は、オブジェ
クト制御部１０５に送られ、オブジェクト画像の動きを
制御するために用いられる。
【００２６】表示制御部１０８は、重畳画像生成部１０
６で生成された合成画像をビデオ信号に変換してディス
プレイ装置３に出力する。ディスプレイ装置３は、この
ビデオ信号により、画面上に合成画像（動画像）を表示
させる。
６で生成された合成画像をビデオ信号に変換してディス
プレイ装置３に出力する。ディスプレイ装置３は、この
ビデオ信号により、画面上に合成画像（動画像）を表示
させる。
【００２７】＜画像処理方法＞次に、上記のような画像
処理システムにより行われる画像処理方法の実施例を説
明する。
処理システムにより行われる画像処理方法の実施例を説
明する。
【００２８】［実施例１］ディスプレイ装置３には、図
６に示すように、ビデオカメラ１により撮影され、鏡面
処理された操作者の鏡面動画像に、オブジェクト画像の
一例となるメニュー画像が重畳された合成画像が画像処
理装置２によって表示されているものとする。ターゲッ
トとしては、操作者の目、口、手など、種々のものを選
定することができるが、ここでは、操作者の手をターゲ
ットとし、メニュー画像が表示されている領域内におけ
る手の動き量を検出することによって、メニュー画像に
対する指示入力を行う場合の例を挙げる。メニュー画像
は図７に示すように階層的になっており、操作者によっ
て最上位層の「menu」が選択されると、その下位層の
「select1」、「select2」、「select3」のいずれかを
表すプルダウン画像が表示され、プルダウン画像の中か
らいずれかが選択されると、選択されたプルダウン画像
の下位層のメニューの処理決定画像（例えば「処理２
１」、「処理２２」、「処理２３」、「処理２４」）が
表示されるようになっている。処理決定画像は、決定し
た処理（イベント）をメインＣＰＵ１０に実行させるた
めのプログラムと対応付けられてオブジェクトデータ記
憶部１０３に記憶されており、ある処理決定画像が選択
されると、それに対応付けられたプログラムが起動し
て、該当する処理（イベント）が実行されるようになっ
ている。
６に示すように、ビデオカメラ１により撮影され、鏡面
処理された操作者の鏡面動画像に、オブジェクト画像の
一例となるメニュー画像が重畳された合成画像が画像処
理装置２によって表示されているものとする。ターゲッ
トとしては、操作者の目、口、手など、種々のものを選
定することができるが、ここでは、操作者の手をターゲ
ットとし、メニュー画像が表示されている領域内におけ
る手の動き量を検出することによって、メニュー画像に
対する指示入力を行う場合の例を挙げる。メニュー画像
は図７に示すように階層的になっており、操作者によっ
て最上位層の「menu」が選択されると、その下位層の
「select1」、「select2」、「select3」のいずれかを
表すプルダウン画像が表示され、プルダウン画像の中か
らいずれかが選択されると、選択されたプルダウン画像
の下位層のメニューの処理決定画像（例えば「処理２
１」、「処理２２」、「処理２３」、「処理２４」）が
表示されるようになっている。処理決定画像は、決定し
た処理（イベント）をメインＣＰＵ１０に実行させるた
めのプログラムと対応付けられてオブジェクトデータ記
憶部１０３に記憶されており、ある処理決定画像が選択
されると、それに対応付けられたプログラムが起動し
て、該当する処理（イベント）が実行されるようになっ
ている。
【００２９】このような動作を可能にするための画像処
理装置２による処理手順を図４及び図５に示す。まず、
図４を参照する。差分値検出部１０７は、鏡面動画像が
次のフレームのものに更新され、それによって重畳画像
生成部１０６により生成される合成画像が更新されると
（ステップＳ１０１）、更新する前後の合成画像に含ま
れる鏡面動画像の画像特徴を比較し、その差分値を算出
する（ステップＳ１０２）。ここで算出される差分値
は、メニュー画像が表示されている領域内における操作
者の１回の手の動きを表す値である。算出された差分値
はメインメモリ１１に記録され、一定期間累積加算され
る（ステップＳ１０３）。差分値を累積加算するのは、
操作者による複数回の手の動きによって操作者の操作指
示の意志を画像処理装置２において検知するためであ
る。１回の手の動き量によって操作者の操作指示の意志
を確認できる場合は、必ずしも累積加算を行う必要はな
い。差分値検出部１０７は、差分値（累積値）をオブジ
ェクト制御部１０５へ送る。
理装置２による処理手順を図４及び図５に示す。まず、
図４を参照する。差分値検出部１０７は、鏡面動画像が
次のフレームのものに更新され、それによって重畳画像
生成部１０６により生成される合成画像が更新されると
（ステップＳ１０１）、更新する前後の合成画像に含ま
れる鏡面動画像の画像特徴を比較し、その差分値を算出
する（ステップＳ１０２）。ここで算出される差分値
は、メニュー画像が表示されている領域内における操作
者の１回の手の動きを表す値である。算出された差分値
はメインメモリ１１に記録され、一定期間累積加算され
る（ステップＳ１０３）。差分値を累積加算するのは、
操作者による複数回の手の動きによって操作者の操作指
示の意志を画像処理装置２において検知するためであ
る。１回の手の動き量によって操作者の操作指示の意志
を確認できる場合は、必ずしも累積加算を行う必要はな
い。差分値検出部１０７は、差分値（累積値）をオブジ
ェクト制御部１０５へ送る。
【００３０】オブジェクト制御部１０５は、差分値検出
部１０７から受け取った差分値（累積値）に応じてメニ
ュー画像の色を決定する（ステップＳ１０４）。例えば
メニュー画像の色を複数色用意しておき、手の動きが検
出されるたびにその色を逐次変えていく。透明から半透
明、不透明のように変えるようにしてもよい。また、現
時点での差分値（累積値）を予め定められているしきい
値と比較し（ステップＳ１０５）、累積値がしきい値よ
り小さい場合は（ステップＳ１０５：N）、メニュー画
面の「menu」が選択されたとするには十分ではないとし
て、ステップＳ１０１に戻る。累積値がしきい値以上に
なった場合（ステップＳ１０５：Y）、オブジェクト制
御部１０５は、メニュー画面の「menu」が選択されたと
判断して、プルダウン画像を表示させると共にその旨を
差分値検出部１０７に報告する（ステップＳ１０６）。
部１０７から受け取った差分値（累積値）に応じてメニ
ュー画像の色を決定する（ステップＳ１０４）。例えば
メニュー画像の色を複数色用意しておき、手の動きが検
出されるたびにその色を逐次変えていく。透明から半透
明、不透明のように変えるようにしてもよい。また、現
時点での差分値（累積値）を予め定められているしきい
値と比較し（ステップＳ１０５）、累積値がしきい値よ
り小さい場合は（ステップＳ１０５：N）、メニュー画
面の「menu」が選択されたとするには十分ではないとし
て、ステップＳ１０１に戻る。累積値がしきい値以上に
なった場合（ステップＳ１０５：Y）、オブジェクト制
御部１０５は、メニュー画面の「menu」が選択されたと
判断して、プルダウン画像を表示させると共にその旨を
差分値検出部１０７に報告する（ステップＳ１０６）。
【００３１】このように、メニュー画像が表示された領
域内で検出した操作者の手の動き量の累積値がしきい値
以上になることをもって、メニュー画像の「menu」が選
択されたことを検知し、プルダウン画像を表示させる。
手の動き量の累積値によってメニュー画像の色が変わる
ので、操作者は、あとどの程度手を動かせば「menu」が
選択されるようになるかがわかるようになっている。ま
た、ディスプレイ装置３には鏡面動画像が表示されるた
めに、操作者は、鏡を見ている感覚で上記の操作ができ
るために、操作者が操作し易いマンマシンインタフェー
スを実現することができる。
域内で検出した操作者の手の動き量の累積値がしきい値
以上になることをもって、メニュー画像の「menu」が選
択されたことを検知し、プルダウン画像を表示させる。
手の動き量の累積値によってメニュー画像の色が変わる
ので、操作者は、あとどの程度手を動かせば「menu」が
選択されるようになるかがわかるようになっている。ま
た、ディスプレイ装置３には鏡面動画像が表示されるた
めに、操作者は、鏡を見ている感覚で上記の操作ができ
るために、操作者が操作し易いマンマシンインタフェー
スを実現することができる。
【００３２】図５に移り、メニュー画面の「menu」が選
択されたこと、すなわち差分値（累積値）がしきい値以
上になったことがわかると、差分値検出部１０７は、そ
のときの操作者の手（ターゲット）の画像をテンプレー
ト画像として保持する（ステップＳ１０７）。フレーム
更新によってメニュー画像がその下位層のプルダウン画
像に切り替わった合成画像が表示されると（ステップＳ
１０８）、操作者の手の画像が切り替わった合成画像の
どこにあるかを探索する。すなわち、差分値検出部１０
７は、合成画像の中から、テンプレート画像とマッチン
グする画像を探索する（ステップＳ１０９）。具体的に
は、その合成画像をテンプレート画像と同じ大きさの領
域毎に分割し、分割した各領域の画像のうち、テンプレ
ート画像に最も類似する領域の画像を探索する。テンプ
レート画像に最も類似する領域の画像は、例えば比較す
る画像の画素間の差分の絶対値（又は２乗）の総和を距
離として表すことができるときに、テンプレート画像と
の距離が最小となる画像である。
択されたこと、すなわち差分値（累積値）がしきい値以
上になったことがわかると、差分値検出部１０７は、そ
のときの操作者の手（ターゲット）の画像をテンプレー
ト画像として保持する（ステップＳ１０７）。フレーム
更新によってメニュー画像がその下位層のプルダウン画
像に切り替わった合成画像が表示されると（ステップＳ
１０８）、操作者の手の画像が切り替わった合成画像の
どこにあるかを探索する。すなわち、差分値検出部１０
７は、合成画像の中から、テンプレート画像とマッチン
グする画像を探索する（ステップＳ１０９）。具体的に
は、その合成画像をテンプレート画像と同じ大きさの領
域毎に分割し、分割した各領域の画像のうち、テンプレ
ート画像に最も類似する領域の画像を探索する。テンプ
レート画像に最も類似する領域の画像は、例えば比較す
る画像の画素間の差分の絶対値（又は２乗）の総和を距
離として表すことができるときに、テンプレート画像と
の距離が最小となる画像である。
【００３３】マッチングする画像があった場合は（ステ
ップＳ１１０：Y）、それがプルダウン画像かどうかを
判定する（ステップＳ１１１）。プルダウン画像であっ
た場合は（ステップＳ１１１：Y）、それが、「select
1」、「select2」、「select3」のどの領域のプルダウ
ン画像かを検出する（ステップＳ１１２）。検出したプ
ルダウン画像が、操作者によって指示された選択された
プルダウン画像となる。選択されたプルダウン画像に関
する情報は、差分値検出部１０７からオブジェクト制御
部１０５へ報告される。オブジェクト制御部１０５は、
選択されたプルダウン画像に付随する処理決定画像をオ
ブジェクトデータ記憶部１０３から読み出し、この処理
決定画像が付されたオブジェクト画像を生成する（ステ
ップＳ１１３）。このようにして、ディスプレイ装置３
には操作者によって逐次選択されていくメニューの様子
が表示される。図７の例では、最上位層のメニュー画像
から「select2」のプルダウン画像が選択され、その「s
elect2」のブルダウン画像に付随する処理決定画像
（「処理２１」、「処理２２」、「処理２３」、「処理
２４」）が表示されている。
ップＳ１１０：Y）、それがプルダウン画像かどうかを
判定する（ステップＳ１１１）。プルダウン画像であっ
た場合は（ステップＳ１１１：Y）、それが、「select
1」、「select2」、「select3」のどの領域のプルダウ
ン画像かを検出する（ステップＳ１１２）。検出したプ
ルダウン画像が、操作者によって指示された選択された
プルダウン画像となる。選択されたプルダウン画像に関
する情報は、差分値検出部１０７からオブジェクト制御
部１０５へ報告される。オブジェクト制御部１０５は、
選択されたプルダウン画像に付随する処理決定画像をオ
ブジェクトデータ記憶部１０３から読み出し、この処理
決定画像が付されたオブジェクト画像を生成する（ステ
ップＳ１１３）。このようにして、ディスプレイ装置３
には操作者によって逐次選択されていくメニューの様子
が表示される。図７の例では、最上位層のメニュー画像
から「select2」のプルダウン画像が選択され、その「s
elect2」のブルダウン画像に付随する処理決定画像
（「処理２１」、「処理２２」、「処理２３」、「処理
２４」）が表示されている。
【００３４】テンプレート画像は、フレーム毎に、逐次
新しいものに置き換えられる。すなわち、差分値検出部
１０７は、前のフレームで使用したテンプレート画像を
破棄し、上記のマッチングした画像（プルダウン画像の
選択に用いた操作者の手の画像）を新たなテンプレート
画像として保持する（ステップＳ１１４）。その後、上
記と同様にして処理決定画像（「処理２１」、「処理２
２」、「処理２３」、「処理２４」）のいずれかを特定
するために、ステップＳ１０８に戻る。
新しいものに置き換えられる。すなわち、差分値検出部
１０７は、前のフレームで使用したテンプレート画像を
破棄し、上記のマッチングした画像（プルダウン画像の
選択に用いた操作者の手の画像）を新たなテンプレート
画像として保持する（ステップＳ１１４）。その後、上
記と同様にして処理決定画像（「処理２１」、「処理２
２」、「処理２３」、「処理２４」）のいずれかを特定
するために、ステップＳ１０８に戻る。
【００３５】ステップＳ１１１において、マッチングす
る画像がプルダウン画像の領域外であるが、処理決定画
像領域内のいずれかの処理決定画像であった場合は（ス
テップＳ１１１：N、Ｓ１１５：Y）、その処理決定画像
が選択されたとして、これに対応付けられた処理の内容
を決定し、すなわちプログラムを実行可能にし、メニュ
ー画像による処理を終える（ステップＳ１１８）。マッ
チングする画像がプルダウン画像及び処理決定画像領域
外であるが、メニュー画像領域内であった場合は（ステ
ップＳ１１１：N、Ｓ１１５：N、Ｓ１１６：Y）、操作
者が他のプルダウン画像を選択しようとすることなの
で、テンプレート画像を破棄し、マッチングした画像を
新たなテンプレート画像として保持したうえで、ステッ
プＳ１０８に戻る（ステップＳ１１７）。ステップＳ１
１０においてマッチングする比較対象画像がなかった場
合（ステップＳ１１０：N）、あるいはマッチングする
画像はあるが、それがメニュー画像領域外の画像であっ
た場合は、その時点でメニュー画像による処理を終える
（ステップＳ１１１：N、Ｓ１１５：N、Ｓ１１６：
N）。
る画像がプルダウン画像の領域外であるが、処理決定画
像領域内のいずれかの処理決定画像であった場合は（ス
テップＳ１１１：N、Ｓ１１５：Y）、その処理決定画像
が選択されたとして、これに対応付けられた処理の内容
を決定し、すなわちプログラムを実行可能にし、メニュ
ー画像による処理を終える（ステップＳ１１８）。マッ
チングする画像がプルダウン画像及び処理決定画像領域
外であるが、メニュー画像領域内であった場合は（ステ
ップＳ１１１：N、Ｓ１１５：N、Ｓ１１６：Y）、操作
者が他のプルダウン画像を選択しようとすることなの
で、テンプレート画像を破棄し、マッチングした画像を
新たなテンプレート画像として保持したうえで、ステッ
プＳ１０８に戻る（ステップＳ１１７）。ステップＳ１
１０においてマッチングする比較対象画像がなかった場
合（ステップＳ１１０：N）、あるいはマッチングする
画像はあるが、それがメニュー画像領域外の画像であっ
た場合は、その時点でメニュー画像による処理を終える
（ステップＳ１１１：N、Ｓ１１５：N、Ｓ１１６：
N）。
【００３６】以上の手順でメニュー画像による処理を行
うことにより、操作者は、ディスプレイ装置３の画面に
映し出される自分の鏡面動画像を見ながら、容易に自分
の欲する内容の処理を選択可能となる。また、自分の挙
動を画面上で随時確認しながら指示の入力を行えるため
に、キーボードなどの入力装置を用いる場合のように、
目をディスプレイ装置３からそらすことがなくなる。
うことにより、操作者は、ディスプレイ装置３の画面に
映し出される自分の鏡面動画像を見ながら、容易に自分
の欲する内容の処理を選択可能となる。また、自分の挙
動を画面上で随時確認しながら指示の入力を行えるため
に、キーボードなどの入力装置を用いる場合のように、
目をディスプレイ装置３からそらすことがなくなる。
【００３７】［実施例２］本実施形態の画像処理システ
ムにより、オブジェクト画像に、画像処理の対象となる
イベントをメインＣＰＵ１０に実行させるためのプログ
ラムを対応付けして、オブジェクト画像に対する鏡面動
画像内の操作者の動きに応じて、該当するイベントのた
めの処理が実行されるようにすることも可能である。こ
こでは、鏡面動画像に重畳するオブジェクト画像の一例
として、マッチ棒の画像と、そのマッチ棒が発火して火
が燃える様子を表す炎画像とを用いる場合の例を示す。
前提として、事前に、オブジェクト画像であるマッチ棒
の画像に、マッチが発火したことを表す着火アニメーシ
ョンをディスプレイ装置３に表示するためのプログラム
を対応付けしておく。そして、合成画像内で、マッチ棒
の画像を、鏡面動画像内の操作者が擦るように挙動する
ことにより、マッチ棒の画像の着火部分に、着火アニメ
ーションが表示されるようにする。炎画像は、操作者が
マッチ棒の画像を擦ったときに表示される。
ムにより、オブジェクト画像に、画像処理の対象となる
イベントをメインＣＰＵ１０に実行させるためのプログ
ラムを対応付けして、オブジェクト画像に対する鏡面動
画像内の操作者の動きに応じて、該当するイベントのた
めの処理が実行されるようにすることも可能である。こ
こでは、鏡面動画像に重畳するオブジェクト画像の一例
として、マッチ棒の画像と、そのマッチ棒が発火して火
が燃える様子を表す炎画像とを用いる場合の例を示す。
前提として、事前に、オブジェクト画像であるマッチ棒
の画像に、マッチが発火したことを表す着火アニメーシ
ョンをディスプレイ装置３に表示するためのプログラム
を対応付けしておく。そして、合成画像内で、マッチ棒
の画像を、鏡面動画像内の操作者が擦るように挙動する
ことにより、マッチ棒の画像の着火部分に、着火アニメ
ーションが表示されるようにする。炎画像は、操作者が
マッチ棒の画像を擦ったときに表示される。
【００３８】炎画像は、例えば再帰テクスチャ描画の手
法により生成することができる。「再帰テクスチャ描
画」とは、テクスチャマッピングでレンダリングした物
体の画像を他の画像のテクスチャとして参照し、再帰的
にテクスチャマッピングしていく描画手法をいう。「テ
クスチャマッピング」とは、ある物体の画像の質感を高
めるために、その物体の表面にテクスチャのビットマッ
プデータを貼り付けてレンダリングする手法であり、フ
レームメモリ１５をテクスチャメモリとしても使用する
ことにより実現可能となる。このような再帰テクスチャ
描画を行う際には、テクスチャが描画されるポリゴンに
グーローシェーディング（gouraud shading）を行う。
すなわち、ポリゴンの頂点における輝度を計算し、ポリ
ゴン内部の輝度を各頂点の輝度から補間して求める（こ
のような手法は、「グーローテクスチャ描画」と呼ばれ
る）ようにする。炎画像の表現には、まず、図１０に示
すように、炎画像の基となるメッシュの各頂点の位置を
乱数によりずらして、新たな頂点の位置を決める。ま
た、頂点の輝度も乱数に基づいて決める。頂点の位置及
び頂点の輝度は、フレーム更新の度に決められる。炎画
像の基となるメッシュの一マスがポリゴンとなる。各ポ
リゴンに、フレームメモリ１５に描画された炎の基とな
る画像を上記の再帰テクスチャ描画により形成し、ポリ
ゴンの各頂点の輝度に基づいて上記のグーローシェーデ
ィングを施す。これにより、炎による上昇気流、炎のゆ
らぎ、減衰の様子が、より現実の炎に近い内容で表現さ
れる。
法により生成することができる。「再帰テクスチャ描
画」とは、テクスチャマッピングでレンダリングした物
体の画像を他の画像のテクスチャとして参照し、再帰的
にテクスチャマッピングしていく描画手法をいう。「テ
クスチャマッピング」とは、ある物体の画像の質感を高
めるために、その物体の表面にテクスチャのビットマッ
プデータを貼り付けてレンダリングする手法であり、フ
レームメモリ１５をテクスチャメモリとしても使用する
ことにより実現可能となる。このような再帰テクスチャ
描画を行う際には、テクスチャが描画されるポリゴンに
グーローシェーディング（gouraud shading）を行う。
すなわち、ポリゴンの頂点における輝度を計算し、ポリ
ゴン内部の輝度を各頂点の輝度から補間して求める（こ
のような手法は、「グーローテクスチャ描画」と呼ばれ
る）ようにする。炎画像の表現には、まず、図１０に示
すように、炎画像の基となるメッシュの各頂点の位置を
乱数によりずらして、新たな頂点の位置を決める。ま
た、頂点の輝度も乱数に基づいて決める。頂点の位置及
び頂点の輝度は、フレーム更新の度に決められる。炎画
像の基となるメッシュの一マスがポリゴンとなる。各ポ
リゴンに、フレームメモリ１５に描画された炎の基とな
る画像を上記の再帰テクスチャ描画により形成し、ポリ
ゴンの各頂点の輝度に基づいて上記のグーローシェーデ
ィングを施す。これにより、炎による上昇気流、炎のゆ
らぎ、減衰の様子が、より現実の炎に近い内容で表現さ
れる。
【００３９】ディスプレイ装置３には、図９に示すよう
な、操作者の鏡面動画像にマッチ棒の画像が重畳された
合成画像が、画像処理装置２によって表示されているも
のとする。ここでは、操作者の手をターゲットとする。
マッチ棒の画像が表示されている領域内における手の動
き量を検出することによって、マッチ棒の画像に対応付
けされたプログラムが実行され、着火アニメーションが
ディスプレイ装置３に表示される。
な、操作者の鏡面動画像にマッチ棒の画像が重畳された
合成画像が、画像処理装置２によって表示されているも
のとする。ここでは、操作者の手をターゲットとする。
マッチ棒の画像が表示されている領域内における手の動
き量を検出することによって、マッチ棒の画像に対応付
けされたプログラムが実行され、着火アニメーションが
ディスプレイ装置３に表示される。
【００４０】このような動作を可能にするための画像処
理装置２による処理手順を図８に示す。差分値検出部１
０７は、鏡面動画像が次のフレームのものに更新され、
それによって重畳画像生成部１０６により生成される合
成画像が更新されると（ステップＳ２０１）、更新する
前後の合成画像に含まれる鏡面動画像の画像特徴を比較
して、マッチ棒の画像の着火部分における画像の差分値
を算出するとともに、マッチ棒の画像の着火部分の差分
画像を生成する（ステップＳ２０２）。ここで算出され
る差分値は、操作者が手を動かしたときの、マッチ棒の
画像の着火部分における手の動きを定量的に表す値であ
る。また、生成される差分画像は、ターゲットである操
作者の手が動いたときの、マッチ棒の画像の着火部分に
おける、動かす前の手の画像と動かした後の手の画像と
からなる画像となる。算出された差分値はメインメモリ
１１に記録され、一定期間累積加算される（ステップ２
０３）。差分値検出部１０７は、差分画像及び差分値の
累積加算された値である累積値をオブジェクト制御部１
０５へ送る。
理装置２による処理手順を図８に示す。差分値検出部１
０７は、鏡面動画像が次のフレームのものに更新され、
それによって重畳画像生成部１０６により生成される合
成画像が更新されると（ステップＳ２０１）、更新する
前後の合成画像に含まれる鏡面動画像の画像特徴を比較
して、マッチ棒の画像の着火部分における画像の差分値
を算出するとともに、マッチ棒の画像の着火部分の差分
画像を生成する（ステップＳ２０２）。ここで算出され
る差分値は、操作者が手を動かしたときの、マッチ棒の
画像の着火部分における手の動きを定量的に表す値であ
る。また、生成される差分画像は、ターゲットである操
作者の手が動いたときの、マッチ棒の画像の着火部分に
おける、動かす前の手の画像と動かした後の手の画像と
からなる画像となる。算出された差分値はメインメモリ
１１に記録され、一定期間累積加算される（ステップ２
０３）。差分値検出部１０７は、差分画像及び差分値の
累積加算された値である累積値をオブジェクト制御部１
０５へ送る。
【００４１】オブジェクト制御部１０５は、差分値検出
部１０７から受け取った累積値に応じて差分画像の色を
決定し、この差分画像に基づいて炎画像を生成する（ス
テップＳ２０４）。炎画像は、例えば、差分画像をメッ
シュに分け、このメッシュに基づいて、前述の再帰テク
スチャを用いた手法により生成される。炎画像の色は、
差分画像の色に応じて決められる。生成された炎画像
は、マッチ棒の画像の着火部分に重ねられる。これによ
り、手が動いた量に応じた色が付された炎画像が、マッ
チ棒の画像の着火部分の手の動きを表す領域内に表示さ
れることになる。炎画像の色を差分値の累積値に応じて
決めることにより、例えば、マッチ棒の着火部分に表示
される炎画像の色が、手の動いた量に応じて次第に変化
していく様子が表現できる。
部１０７から受け取った累積値に応じて差分画像の色を
決定し、この差分画像に基づいて炎画像を生成する（ス
テップＳ２０４）。炎画像は、例えば、差分画像をメッ
シュに分け、このメッシュに基づいて、前述の再帰テク
スチャを用いた手法により生成される。炎画像の色は、
差分画像の色に応じて決められる。生成された炎画像
は、マッチ棒の画像の着火部分に重ねられる。これによ
り、手が動いた量に応じた色が付された炎画像が、マッ
チ棒の画像の着火部分の手の動きを表す領域内に表示さ
れることになる。炎画像の色を差分値の累積値に応じて
決めることにより、例えば、マッチ棒の着火部分に表示
される炎画像の色が、手の動いた量に応じて次第に変化
していく様子が表現できる。
【００４２】次いで、オブジェクト制御部１０５は、炎
画像の色を示す値と、予め定められるしきい値とを比較
する（ステップＳ２０５）。例えば炎画像の色をＲ値、
Ｇ値、Ｂ値で表している場合には、それぞれの値の合計
を用いることができる。色を示す値がしきい値以上の場
合は（ステップＳ２０５：Y）、オブジェクト制御部１
０５は、マッチが発火したことを表す着火アニメーショ
ンを表示するプロプログラムの実行を決定する（ステッ
プＳ２０６）。つまり、炎画像の色が何色かに応じて着
火アニメーションを開始するか否かを決定する。例え
ば、炎画像の色が手の動き量に応じて赤色から黄色に変
化する場合、炎画像が黄色になることにより、着火アニ
メーションを開始する。操作者は、炎画像の色により、
あとどの程度手を動かせば着火アニメーションが開始さ
れるかを知ることができる。重畳画像生成部１０６は、
マッチ棒の画像及び炎画像を含むオブジェクト画像に着
火アニメーションを重ねた画像を、ビデオカメラ１から
得られた鏡面動画像に重畳して合成画像を生成する（ス
テップＳ２０７）。着火アニメーションは、マッチ棒の
画像の着火部分に表示される。
画像の色を示す値と、予め定められるしきい値とを比較
する（ステップＳ２０５）。例えば炎画像の色をＲ値、
Ｇ値、Ｂ値で表している場合には、それぞれの値の合計
を用いることができる。色を示す値がしきい値以上の場
合は（ステップＳ２０５：Y）、オブジェクト制御部１
０５は、マッチが発火したことを表す着火アニメーショ
ンを表示するプロプログラムの実行を決定する（ステッ
プＳ２０６）。つまり、炎画像の色が何色かに応じて着
火アニメーションを開始するか否かを決定する。例え
ば、炎画像の色が手の動き量に応じて赤色から黄色に変
化する場合、炎画像が黄色になることにより、着火アニ
メーションを開始する。操作者は、炎画像の色により、
あとどの程度手を動かせば着火アニメーションが開始さ
れるかを知ることができる。重畳画像生成部１０６は、
マッチ棒の画像及び炎画像を含むオブジェクト画像に着
火アニメーションを重ねた画像を、ビデオカメラ１から
得られた鏡面動画像に重畳して合成画像を生成する（ス
テップＳ２０７）。着火アニメーションは、マッチ棒の
画像の着火部分に表示される。
【００４３】色を示す値がしきい値より小さい場合は
（ステップＳ２０５：N）、オブジェクト制御部１０５
は、マッチ棒の画像に、炎画像を重ねたオブジェクト画
像を重畳画像生成部１０６へ送る。重畳画像生成部１０
６は、このようなオブジェクト画像を、ビデオカメラ１
から得られた鏡面動画像に重畳して合成画像を生成する
（ステップＳ２０８）。
（ステップＳ２０５：N）、オブジェクト制御部１０５
は、マッチ棒の画像に、炎画像を重ねたオブジェクト画
像を重畳画像生成部１０６へ送る。重畳画像生成部１０
６は、このようなオブジェクト画像を、ビデオカメラ１
から得られた鏡面動画像に重畳して合成画像を生成する
（ステップＳ２０８）。
【００４４】その後、例えば操作装置３５から処理を終
了する旨の指示があると、処理を終了する（ステップＳ
２０９：Y）。処理を終了する旨の指示がなければ（ス
テップＳ２０９：N）、ステップＳ２０１に戻って、表
示制御部１０８は、ステップＳ２０７又はステップＳ２
０８で生成された合成画像をディスプレイ装置３に表示
する。
了する旨の指示があると、処理を終了する（ステップＳ
２０９：Y）。処理を終了する旨の指示がなければ（ス
テップＳ２０９：N）、ステップＳ２０１に戻って、表
示制御部１０８は、ステップＳ２０７又はステップＳ２
０８で生成された合成画像をディスプレイ装置３に表示
する。
【００４５】以上のように、操作者がマッチ棒の画像の
着火部分で手を動かす量に応じて、マッチ棒の画像に対
応付けされた着火アニメーションを表示するプログラム
を実行するか否かを決める処理が実行される。操作者
が、自分の鏡面動画像を見ながら種々のイベントを実行
させるための操作を行えるので、従来のキーボードやマ
ウスなどの入力装置を用いた操作よりも、簡単に処理を
実行させるための入力を行うことができる。
着火部分で手を動かす量に応じて、マッチ棒の画像に対
応付けされた着火アニメーションを表示するプログラム
を実行するか否かを決める処理が実行される。操作者
が、自分の鏡面動画像を見ながら種々のイベントを実行
させるための操作を行えるので、従来のキーボードやマ
ウスなどの入力装置を用いた操作よりも、簡単に処理を
実行させるための入力を行うことができる。
【００４６】［実施例３］他の実施例について説明す
る。前提として、ディスプレイ装置３には、図１３
（ａ）に示すように、操作者の鏡面動画像に、オブジェ
クト画像の一例となるカーソル（ポインタ）画像が重畳
された合成画像が画像処理装置２によって表示されてお
り、鏡面動画像内には、操作者の手、目、口などの複数
のターゲットが含まれているものとする。ここでは、こ
れらの複数のターゲットの中から操作者の手に注目し
て、カーソル画像に、この手の動きを追従させるような
場合の例を挙げる。カーソル画像は、図１３（ａ）に示
すように、目の部分が強調された顔のような画像であ
り、目を、ターゲットの方向を向くように動かすことが
可能である。またカーソル画像は、ターゲットの動きに
追従して動く。つまり、カーソル画像がターゲットから
離れている場合には、カーソル画像がターゲットに向か
って移動し、カーソル画像がターゲットを捕捉している
場合には、カーソル画像がターゲットの動きに追従する
ようにする。
る。前提として、ディスプレイ装置３には、図１３
（ａ）に示すように、操作者の鏡面動画像に、オブジェ
クト画像の一例となるカーソル（ポインタ）画像が重畳
された合成画像が画像処理装置２によって表示されてお
り、鏡面動画像内には、操作者の手、目、口などの複数
のターゲットが含まれているものとする。ここでは、こ
れらの複数のターゲットの中から操作者の手に注目し
て、カーソル画像に、この手の動きを追従させるような
場合の例を挙げる。カーソル画像は、図１３（ａ）に示
すように、目の部分が強調された顔のような画像であ
り、目を、ターゲットの方向を向くように動かすことが
可能である。またカーソル画像は、ターゲットの動きに
追従して動く。つまり、カーソル画像がターゲットから
離れている場合には、カーソル画像がターゲットに向か
って移動し、カーソル画像がターゲットを捕捉している
場合には、カーソル画像がターゲットの動きに追従する
ようにする。
【００４７】このような動作を可能にするための画像処
理装置２による処理手順を図１１及び図１２に示す。ま
ず図１１を参照し、差分値検出部１０７は、鏡面動画像
が次のフレームのものに更新され、それによって重畳画
像生成部１０６により生成される合成画像が更新される
と（ステップＳ３０１）、更新する前後の合成画像に含
まれる鏡面動画像の画像特徴を比較し、その差分値を算
出する（ステップＳ３０２）。ここで算出される差分値
は、鏡面動画像内の、ターゲットの候補となる操作者の
手、目、口等の動きを定量化した値である。差分値検出
部１０７は、各ターゲットの差分値をオブジェクト制御
部１０５へ送る。オブジェクト制御部１０５は、差分値
検出部１０７から送られた各ターゲットの差分値に基づ
いて一のターゲットを検出する（ステップＳ３０３）。
例えば、差分値が最大となるターゲットを検出する。こ
の例では、操作者の手をターゲットとして検出する。
理装置２による処理手順を図１１及び図１２に示す。ま
ず図１１を参照し、差分値検出部１０７は、鏡面動画像
が次のフレームのものに更新され、それによって重畳画
像生成部１０６により生成される合成画像が更新される
と（ステップＳ３０１）、更新する前後の合成画像に含
まれる鏡面動画像の画像特徴を比較し、その差分値を算
出する（ステップＳ３０２）。ここで算出される差分値
は、鏡面動画像内の、ターゲットの候補となる操作者の
手、目、口等の動きを定量化した値である。差分値検出
部１０７は、各ターゲットの差分値をオブジェクト制御
部１０５へ送る。オブジェクト制御部１０５は、差分値
検出部１０７から送られた各ターゲットの差分値に基づ
いて一のターゲットを検出する（ステップＳ３０３）。
例えば、差分値が最大となるターゲットを検出する。こ
の例では、操作者の手をターゲットとして検出する。
【００４８】ターゲットを検出すると、オブジェクト制
御部１０５は、ターゲットに応じてカーソル画像の表示
状態を決定する。まず、オブジェクト制御部１０５は、
ステップＳ３０１で更新された合成画像内でターゲット
がカーソル画像外にあるか否かを判定する（ステップＳ
３０４）。ターゲットがカーソル画像内にあるときには
（ステップＳ３０４：N）、オブジェクト制御部１０５
は、カーソル画像がターゲットを捕捉していると判断す
る（ステップＳ３０８）。
御部１０５は、ターゲットに応じてカーソル画像の表示
状態を決定する。まず、オブジェクト制御部１０５は、
ステップＳ３０１で更新された合成画像内でターゲット
がカーソル画像外にあるか否かを判定する（ステップＳ
３０４）。ターゲットがカーソル画像内にあるときには
（ステップＳ３０４：N）、オブジェクト制御部１０５
は、カーソル画像がターゲットを捕捉していると判断す
る（ステップＳ３０８）。
【００４９】ターゲットがカーソル画像外にあるときに
は（ステップＳ３０４：Y）、オブジェクト制御部１０
５は、カーソル画像がターゲットを捕捉していないと判
断して、カーソル画像の表示状態を決める処理を行う。
つまりオブジェクト制御部１０５は、カーソル画像内の
目がターゲットの方向を向くようなカーソル画像を生成
する。また、カーソル画像とターゲットの距離に応じ
て、カーソル画像がターゲットへ向かう速度を決める
（ステップＳ３０６）。この速度は、例えば、カーソル
画像がターゲットから遠いほど高速になるようにする。
このようにすると、カーソル画像がターゲットから遠方
にあるほど、早急にカーソル画像がターゲットへ向かう
ような画像が得られる。
は（ステップＳ３０４：Y）、オブジェクト制御部１０
５は、カーソル画像がターゲットを捕捉していないと判
断して、カーソル画像の表示状態を決める処理を行う。
つまりオブジェクト制御部１０５は、カーソル画像内の
目がターゲットの方向を向くようなカーソル画像を生成
する。また、カーソル画像とターゲットの距離に応じ
て、カーソル画像がターゲットへ向かう速度を決める
（ステップＳ３０６）。この速度は、例えば、カーソル
画像がターゲットから遠いほど高速になるようにする。
このようにすると、カーソル画像がターゲットから遠方
にあるほど、早急にカーソル画像がターゲットへ向かう
ような画像が得られる。
【００５０】以上のようなカーソル画像を、重畳画像生
成部１０６により、次のフレームの鏡面動画像に重畳す
ることにより、図１３（ａ）に示すような合成画像を生
成する（ステップＳ３０７）。そしてステップＳ３０１
に戻り、生成した合成画像について、同様の動作を行
う。ステップＳ３０１乃至ステップＳ３０７の動作を、
カーソル画像がターゲットを捕捉するまで、つまりステ
ップＳ３０４でターゲットがカーソル画像内にあると判
定されるまで、行うことになる。このような動作によ
り、図１３（ａ）に示すように、カーソル画像内の目が
ターゲット（手）の方向を見て、カーソル画像がターゲ
ットを追いかけるような画像を提供することができる。
成部１０６により、次のフレームの鏡面動画像に重畳す
ることにより、図１３（ａ）に示すような合成画像を生
成する（ステップＳ３０７）。そしてステップＳ３０１
に戻り、生成した合成画像について、同様の動作を行
う。ステップＳ３０１乃至ステップＳ３０７の動作を、
カーソル画像がターゲットを捕捉するまで、つまりステ
ップＳ３０４でターゲットがカーソル画像内にあると判
定されるまで、行うことになる。このような動作によ
り、図１３（ａ）に示すように、カーソル画像内の目が
ターゲット（手）の方向を見て、カーソル画像がターゲ
ットを追いかけるような画像を提供することができる。
【００５１】図１２に移り、カーソル画像がターゲット
を捕捉すると、差分値検出部１０７は、そのときのター
ゲットの画像をテンプレート画像として保持する（ステ
ップＳ３０９）。例えば、鏡面動画像のカーソル画像に
重なる部分をテンプレート画像として保持する。次い
で、差分値検出部１０７は、次のフレームの鏡面動画像
を画像反転部１０２から入手する（ステップＳ３１
０）。差分値検出部１０７は、入手した鏡面動画像のう
ち、保持しているテンプレート画像とマッチングする画
像の位置を探索する（ステップＳ３１１）。具体的に
は、入手した鏡面動画像をテンプレート画像と同じ大き
さの領域に分割し、分割した各領域の画像のうち、テン
プレート画像に最も類似する領域の画像を探索する。探
索の結果、マッチングする画像を検出すると、検出した
画像の位置をオブジェクト制御部１０５に報告する。オ
ブジェクト制御部１０５は、差分値検出部１０７から報
告のあった位置を、次の合成画像におけるカーソル画像
の位置に決める（ステップＳ３１２）。
を捕捉すると、差分値検出部１０７は、そのときのター
ゲットの画像をテンプレート画像として保持する（ステ
ップＳ３０９）。例えば、鏡面動画像のカーソル画像に
重なる部分をテンプレート画像として保持する。次い
で、差分値検出部１０７は、次のフレームの鏡面動画像
を画像反転部１０２から入手する（ステップＳ３１
０）。差分値検出部１０７は、入手した鏡面動画像のう
ち、保持しているテンプレート画像とマッチングする画
像の位置を探索する（ステップＳ３１１）。具体的に
は、入手した鏡面動画像をテンプレート画像と同じ大き
さの領域に分割し、分割した各領域の画像のうち、テン
プレート画像に最も類似する領域の画像を探索する。探
索の結果、マッチングする画像を検出すると、検出した
画像の位置をオブジェクト制御部１０５に報告する。オ
ブジェクト制御部１０５は、差分値検出部１０７から報
告のあった位置を、次の合成画像におけるカーソル画像
の位置に決める（ステップＳ３１２）。
【００５２】重畳画像生成部１０６は、ステップＳ３１
０で差分値検出部１０７が入手した鏡面動画像と同じ鏡
面動画像上の、ステップＳ３１２でオブジェクト制御部
１０５が決めた位置にカーソル画像を重畳することによ
り、図１３（ｂ）に示すような合成画像を生成する（ス
テップＳ３１３）。次いで、フレームを更新して、表示
制御部１０８により、生成した合成画像をディスプレイ
装置３に表示する（ステップＳ３１４）。
０で差分値検出部１０７が入手した鏡面動画像と同じ鏡
面動画像上の、ステップＳ３１２でオブジェクト制御部
１０５が決めた位置にカーソル画像を重畳することによ
り、図１３（ｂ）に示すような合成画像を生成する（ス
テップＳ３１３）。次いで、フレームを更新して、表示
制御部１０８により、生成した合成画像をディスプレイ
装置３に表示する（ステップＳ３１４）。
【００５３】以上のようなターゲット捕捉後の動作（ス
テップＳ３０９〜ステップＳ３１４）を繰り返すことに
より、カーソル画像が、ターゲットに追従するような画
像が得られる。つまり、カーソル画像が、図１３（ｂ）
に示すようにターゲット（手）を捕捉すると、その後
は、ターゲットが移動しても、その移動先にカーソル画
像が表示されることになる。図１３（ｂ）から図１３
（ｃ）のように、操作者が手を伸ばしても、カーソル画
像は、ターゲットとして認識した手の動きに合わせて、
操作者が伸ばした手の先に表示される。
テップＳ３０９〜ステップＳ３１４）を繰り返すことに
より、カーソル画像が、ターゲットに追従するような画
像が得られる。つまり、カーソル画像が、図１３（ｂ）
に示すようにターゲット（手）を捕捉すると、その後
は、ターゲットが移動しても、その移動先にカーソル画
像が表示されることになる。図１３（ｂ）から図１３
（ｃ）のように、操作者が手を伸ばしても、カーソル画
像は、ターゲットとして認識した手の動きに合わせて、
操作者が伸ばした手の先に表示される。
【００５４】カーソル画像を用いることにより、例えば
実施例１のようにメニュー画像から処理を選択する場合
などに、操作者が、自分のどの部位が処理選択の際のカ
ーソルとして機能しているかが、一目でわかるようにな
る。また、例えば、カーソル画像が移動した軌跡を残し
て表示するようにすると、ターゲットが移動した軌跡を
ディスプレイ装置３に表示できるようになる。これによ
り例えば、空間上に描いた絵や文字などが、ディスプレ
イ装置３に表示可能となる。
実施例１のようにメニュー画像から処理を選択する場合
などに、操作者が、自分のどの部位が処理選択の際のカ
ーソルとして機能しているかが、一目でわかるようにな
る。また、例えば、カーソル画像が移動した軌跡を残し
て表示するようにすると、ターゲットが移動した軌跡を
ディスプレイ装置３に表示できるようになる。これによ
り例えば、空間上に描いた絵や文字などが、ディスプレ
イ装置３に表示可能となる。
【００５５】
【発明の効果】以上の説明から明らかなように、本発明
によれば、操作者がデータ等を入力する必要がある場合
は、鏡面動画像を用いることにより、ディスプレイ装置
に表示された合成画像を見ながら容易に入力や選択が可
能となり、慣れを必要とせず、より使い勝手のよい入力
インタフェースを実現することができる。
によれば、操作者がデータ等を入力する必要がある場合
は、鏡面動画像を用いることにより、ディスプレイ装置
に表示された合成画像を見ながら容易に入力や選択が可
能となり、慣れを必要とせず、より使い勝手のよい入力
インタフェースを実現することができる。
【図１】本発明を適用した画像処理システムの全体構成
図。
図。
【図２】本実施形態による画像処理装置の構成図。
【図３】本実施形態の画像処理装置が具備する機能ブロ
ック図。
ック図。
【図４】実施例１の処理手順を示すフローチャート。
【図５】実施例１の処理手順を示すフローチャート。
【図６】実施例１による合成画像を例示した図。
【図７】メニュー画像を例示した図。
【図８】実施例２の処理手順を示すフローチャート。
【図９】実施例２による合成画像を例示した図。
【図１０】再帰テクスチャによる描画の説明図。
【図１１】実施例３の処理手順を示すフローチャート。
【図１２】実施例３の処理手順を示すフローチャート。
【図１３】実施例３による合成画像を例示した図。
１ ビデオカメラ ２ 画像処理装置 ３ ディスプレイ装置 １０１ 画像入力部 １０２ 画像反転部 １０３ オブジェクトデータ記憶部 １０４ オブジェクトデータ入力部 １０５ オブジェクト制御部 １０６ 重畳画像生成部 １０７ 差分値検出部 １０８ 表示制御部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 13/00 Ｇ０６Ｔ 13/00 Ａ Ｆターム(参考） 2C001 CA08 5B050 AA10 BA06 BA08 BA12 BA18 CA06 CA07 EA04 EA18 EA19 EA24 FA13 5B057 BA02 BA23 CA01 CA12 CA16 CB01 CB12 CB16 CE08 CE16 DB02 DB06 DC30 DC32 DC33 5L096 AA02 CA04 GA06 HA02 HA07 JA09
Claims (11)
- 【請求項１】 動きのあるターゲットをその一部に含む
鏡面動画像を取り込む画像取込手段と、 所定のオブジェクトを表すオブジェクト画像を、前記画
像取込手段で取り込んだ鏡面動画像に含まれるターゲッ
トの動きに応じて生成する画像生成手段と、 この画像生成手段で生成したオブジェクト画像を前記取
り込んだ鏡面動画像と合成して所定のディスプレイ装置
に表示させる制御手段とを備えてなる、 画像処理装置。 - 【請求項２】 動きのあるターゲットをその一部に含む
鏡面動画像を時系列的に取り込む画像取込手段と、 現時点の鏡面動画像と直前の鏡面動画像との間の画像特
徴を検出することにより前記ターゲット及びその動き成
分を検出する検出手段と、 所定のオブジェクトを表すオブジェクト画像を、前記検
出手段で検出されたターゲットの動き成分に応じて変化
するように生成する画像生成手段と、 この画像生成手段で生成したオブジェクト画像を前記取
り込んだ鏡面動画像と合成して所定のディスプレイ装置
に表示させる制御手段とを備える、 画像処理装置。 - 【請求項３】 前記画像生成手段は、前記検出されたタ
ーゲットの動きに追従するように前記オブジェクト画像
を生成するように構成されている、 請求項２記載の画像処理装置。 - 【請求項４】 前記ターゲットの動き成分に応じて、前
記生成されたオブジェクト画像に基づく所要の処理の実
行準備を行う手段をさらに備えてなる、 請求項２記載の画像処理装置。 - 【請求項５】 前記画像生成手段で生成されたオブジェ
クト画像と前記現時点の鏡面動画像とが合成された合成
画像と、前記直前の鏡面動画像に含まれるターゲットの
部分の画像であるテンプレート画像とを比較して、前記
テンプレート画像と画像特徴が最も類似する前記合成画
像の部分の画像を検出すると共に、この検出した前記合
成画像の前記部分の画像に前記オブジェクト画像が含ま
れているときに、このオブジェクト画像に基づく所要の
処理の実行準備を行う手段をさらに備えてなる、 請求項２記載の画像処理装置。 - 【請求項６】 前記オブジェクト画像は所定の処理に対
応付けされており、 前記検出手段で検出された前記ターゲットの動き成分が
所定の条件を満たすときに前記オブジェクト画像に対応
付けされた前記処理を実行する手段をさらに備える、 請求項２記載の画像処理装置。 - 【請求項７】 前記鏡面動画像には、複数の前記ターゲ
ットが含まれており、 前記検出手段は、前記複数のターゲットの各々について
その動き成分を検出して、検出した前記複数のターゲッ
トの各々の動き成分に基づいて一のターゲットを検出す
るように構成されており、 前記画像生成手段は、前記オブジェクト画像を、前記検
出手段で検出された前記一のターゲットの前記動き成分
に応じて変化するように生成するように構成されてい
る、 請求項２記載の画像処理装置。 - 【請求項８】 動きのあるターゲットをその一部に含む
鏡面動画像を画像処理装置に取り込み、 前記画像処理装置で、 所定のオブジェクトを表すオブジェクト画像を、前記取
り込んだ鏡面動画像に含まれるターゲットの動きに応じ
て生成するとともに、生成した前記オブジェクト画像を
前記取り込んだ鏡面動画像と合成して所定のディスプレ
イ装置に表示させることを特徴とする、 画像処理方法。 - 【請求項９】 ディスプレイ装置が接続されたコンピュ
ータに、 動きのあるターゲットをその一部に含む鏡面動画像を取
り込む処理、 所定のオブジェクトを表すオブジェクト画像を、前記取
り込んだ鏡面動画像に含まれるターゲットの動きに応じ
て生成する処理、 生成した前記オブジェクト画像を前記取り込んだ鏡面動
画像と合成して前記ディスプレイ装置に表示させる処
理、 を実行させるためのコンピュータプログラム。 - 【請求項１０】 請求項９に記載されたコンピュータプ
ログラムを記録してなる、コンピュータ読み取り可能な
記録媒体。 - 【請求項１１】 ディスプレイ装置が接続されたコンピ
ュータに搭載された装置に組み込まれることにより、前
記コンピュータに、 動きのあるターゲットをその一部に含む鏡面動画像を取
り込む手段、 所定のオブジェクトを表すオブジェクト画像を、前記取
り込んだ鏡面動画像に含まれるターゲットの動きに応じ
て生成する手段、 生成した前記オブジェクト画像を前記取り込んだ鏡面動
画像と合成して前記ディスプレイ装置に表示させる手
段、 の機能を形成させる半導体デバイス。
Priority Applications (13)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001295098A JP3725460B2 (ja) | 2000-10-06 | 2001-09-26 | 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス |
| CNB018030432A CN1279761C (zh) | 2000-10-06 | 2001-10-04 | 图像处理机和图像处理方法 |
| PCT/JP2001/008762 WO2002031773A1 (fr) | 2000-10-06 | 2001-10-04 | Appareil et procede de traitement d'image, support d'enregistrement, programme informatique et dispositif a semiconducteurs |
| KR1020027007197A KR100845390B1 (ko) | 2000-10-06 | 2001-10-04 | 영상 처리기, 영상 처리 방법, 기록 매체, 및 반도체 장치 |
| MXPA02005288A MXPA02005288A (es) | 2000-10-06 | 2001-10-04 | Procesador de imagen, metodo de procesamiento de imagen, medio de registro, programa de computadora y dispositivo esmi conductor. |
| AU94187/01A AU9418701A (en) | 2000-10-06 | 2001-10-04 | Image processing apparatus, image processing method, record medium, computer program, and semiconductor device |
| BR0107310-9A BR0107310A (pt) | 2000-10-06 | 2001-10-04 | Processador de imagem, método de processamento de imagem, programa de computador, mìdia de gravação e dispositivo semicondutor |
| EP01974693.2A EP1324269B1 (en) | 2000-10-06 | 2001-10-04 | Image processing apparatus, image processing method, record medium, computer program, and semiconductor device |
| CA002392725A CA2392725A1 (en) | 2000-10-06 | 2001-10-04 | Image processing apparatus, image processing method, record medium, computer program, and semiconductor device |
| US09/971,962 US6771277B2 (en) | 2000-10-06 | 2001-10-05 | Image processor, image processing method, recording medium, computer program and semiconductor device |
| TW090124674A TWI231445B (en) | 2000-10-06 | 2001-10-05 | Image processor, image processing method, recording medium and semiconductor device |
| US10/872,917 US7176945B2 (en) | 2000-10-06 | 2004-06-21 | Image processor, image processing method, recording medium, computer program and semiconductor device |
| US11/522,775 US20070013718A1 (en) | 2000-10-06 | 2006-09-18 | Image processor, image processing method, recording medium, computer program and semiconductor device |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000307574 | 2000-10-06 | ||
| JP2000-307574 | 2000-10-06 | ||
| JP2001295098A JP3725460B2 (ja) | 2000-10-06 | 2001-09-26 | 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004154575A Division JP4615252B2 (ja) | 2000-10-06 | 2004-05-25 | 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2002196855A true JP2002196855A (ja) | 2002-07-12 |
| JP2002196855A5 JP2002196855A5 (ja) | 2005-04-07 |
| JP3725460B2 JP3725460B2 (ja) | 2005-12-14 |
Family
ID=26601678
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001295098A Expired - Lifetime JP3725460B2 (ja) | 2000-10-06 | 2001-09-26 | 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス |
Country Status (11)
| Country | Link |
|---|---|
| US (3) | US6771277B2 (ja) |
| EP (1) | EP1324269B1 (ja) |
| JP (1) | JP3725460B2 (ja) |
| KR (1) | KR100845390B1 (ja) |
| CN (1) | CN1279761C (ja) |
| AU (1) | AU9418701A (ja) |
| BR (1) | BR0107310A (ja) |
| CA (1) | CA2392725A1 (ja) |
| MX (1) | MXPA02005288A (ja) |
| TW (1) | TWI231445B (ja) |
| WO (1) | WO2002031773A1 (ja) |
Cited By (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004246578A (ja) * | 2003-02-13 | 2004-09-02 | Nippon Telegr & Teleph Corp <Ntt> | 自己画像表示を用いたインタフェース方法、装置、およびプログラム |
| WO2005078559A1 (ja) | 2004-01-30 | 2005-08-25 | Sony Computer Entertainment Inc. | 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス |
| JP2005261643A (ja) * | 2004-03-18 | 2005-09-29 | Sony Computer Entertainment Inc | 情報処理装置およびエンタテインメント装置 |
| JP2005301479A (ja) * | 2004-04-08 | 2005-10-27 | Akinori Yoshino | 投影された提示者の動作による命令入力装置 |
| JP2006091948A (ja) * | 2004-09-21 | 2006-04-06 | Victor Co Of Japan Ltd | 電子機器の制御装置 |
| JP2006190091A (ja) * | 2005-01-06 | 2006-07-20 | Namco Bandai Games Inc | 画像処理システム、ゲーム装置、プログラム、情報記憶媒体および画像処理方法 |
| WO2006098255A1 (ja) * | 2005-03-15 | 2006-09-21 | Shunsuke Nakamura | 画像表示方法およびその装置 |
| JP2006259966A (ja) * | 2005-03-16 | 2006-09-28 | Ricoh Co Ltd | 画像処理装置 |
| JP2006294066A (ja) * | 2006-07-19 | 2006-10-26 | Sony Computer Entertainment Inc | 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス |
| WO2007001050A1 (ja) * | 2005-06-29 | 2007-01-04 | Konami Digital Entertainment Co., Ltd. | ネットワークゲームシステム、ネットワークゲームシステムの制御方法、ゲーム装置、ゲーム装置の制御方法及び情報記憶媒体 |
| WO2007029393A1 (ja) * | 2005-09-05 | 2007-03-15 | Sony Computer Entertainment Inc. | マルチメディア再生装置、メニュー操作受付方法およびコンピュータプログラム |
| JP2007087100A (ja) * | 2005-09-22 | 2007-04-05 | Victor Co Of Japan Ltd | 電子機器システム |
| JPWO2005065798A1 (ja) * | 2004-01-06 | 2007-07-26 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理システム、エンタテインメントシステム、および情報処理システムの入力受け付け方法 |
| JP2007189664A (ja) * | 2005-12-14 | 2007-07-26 | Victor Co Of Japan Ltd | 電子機器 |
| JP2008015915A (ja) * | 2006-07-07 | 2008-01-24 | Sony Computer Entertainment Inc | 画像処理方法、入力インタフェース装置 |
| JP2008065663A (ja) * | 2006-09-08 | 2008-03-21 | Victor Co Of Japan Ltd | 電子機器 |
| JP2009519552A (ja) * | 2005-12-12 | 2009-05-14 | 株式会社ソニー・コンピュータエンタテインメント | 相互対話的な電子的にシミュレートされた環境の音声および映像制御 |
| JP2009123242A (ja) * | 2009-03-10 | 2009-06-04 | Sony Computer Entertainment Inc | 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス |
| US7586502B2 (en) | 2003-02-21 | 2009-09-08 | Sony Computer Entertainment Europe Ltd. | Control of data processing |
| JP2009537923A (ja) * | 2006-05-24 | 2009-10-29 | ソニー コンピュータ エンタテインメント ヨーロッパ リミテッド | データ処理の制御 |
| JP2009265709A (ja) * | 2008-04-22 | 2009-11-12 | Hitachi Ltd | 入力装置 |
| JP2010003303A (ja) * | 2009-07-21 | 2010-01-07 | Victor Co Of Japan Ltd | 電子機器の制御装置 |
| US7679689B2 (en) | 2005-05-16 | 2010-03-16 | Victor Company Of Japan, Limited | Electronic appliance |
| JP2010142592A (ja) * | 2008-12-22 | 2010-07-01 | Nintendo Co Ltd | ゲームプログラムおよびゲーム装置 |
| JP2010176510A (ja) * | 2009-01-30 | 2010-08-12 | Sanyo Electric Co Ltd | 情報表示装置 |
| WO2010095191A1 (ja) * | 2009-02-19 | 2010-08-26 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置および情報処理方法 |
| JP2010277197A (ja) * | 2009-05-26 | 2010-12-09 | Sony Corp | 情報処理装置、情報処理方法およびプログラム |
| JP2010541398A (ja) * | 2007-09-24 | 2010-12-24 | ジェスチャー テック，インコーポレイテッド | 音声及びビデオ通信のための機能向上したインタフェース |
| US7911447B2 (en) | 2004-06-30 | 2011-03-22 | Sony Computer Entertainment Inc. | Information processing device for controlling object by using player image and object control method in the information processing device |
| US7959511B2 (en) | 2004-06-30 | 2011-06-14 | Sony Computer Entertainment Inc. | Information processing device for controlling movement of a game character by using a player image and game character movement control method |
| WO2011148449A1 (ja) * | 2010-05-24 | 2011-12-01 | 株式会社ソニー・コンピュータエンタテインメント | 映像処理装置、映像処理方法、および映像通信システム |
| JP2013048924A (ja) * | 2012-11-07 | 2013-03-14 | Nintendo Co Ltd | ゲームプログラムおよびゲーム装置 |
| JP2013515318A (ja) * | 2009-12-29 | 2013-05-02 | ビズモードライン カンパニー リミテッド | パスワード処理方法および機器 |
| JP2013156939A (ja) * | 2012-01-31 | 2013-08-15 | Toshiba Tec Corp | 情報処理装置及びプログラム |
| JP2014237016A (ja) * | 2014-07-28 | 2014-12-18 | 株式会社クラス・マイスター | ゲーム装置の制御プログラム |
| JP5709227B2 (ja) * | 2011-04-28 | 2015-04-30 | Ｎｅｃソリューションイノベータ株式会社 | 情報処理装置、情報処理方法及びプログラム |
| JP5709228B2 (ja) * | 2011-04-28 | 2015-04-30 | Ｎｅｃソリューションイノベータ株式会社 | 情報処理装置、情報処理方法及びプログラム |
| CN106057171A (zh) * | 2016-07-21 | 2016-10-26 | 广东欧珀移动通信有限公司 | 控制方法及控制装置 |
Families Citing this family (138)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8956228B2 (en) * | 1999-12-03 | 2015-02-17 | Nike, Inc. | Game pod |
| US6585622B1 (en) | 1999-12-03 | 2003-07-01 | Nike, Inc. | Interactive use an athletic performance monitoring and reward method, system, and computer program product |
| JP4615252B2 (ja) * | 2000-10-06 | 2011-01-19 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス |
| WO2004007034A1 (en) * | 2002-07-12 | 2004-01-22 | Awaba Group Pty Ltd | A dance training device |
| AU2003288938A1 (en) | 2002-10-30 | 2004-06-07 | Nike International Ltd. | Clothes with tracking marks for computer games |
| US8206219B2 (en) | 2002-10-30 | 2012-06-26 | Nike, Inc. | Interactive gaming apparel for interactive gaming |
| JP3854229B2 (ja) * | 2003-01-07 | 2006-12-06 | 株式会社東芝 | 画像処理装置 |
| DE20300882U1 (de) * | 2003-01-21 | 2003-03-13 | Fraunhofer Ges Forschung | Vorrichtung zur interaktiven Steuerung eines Mauszeigers einer graphischen Benutzerschnittstelle |
| GB2398690B (en) * | 2003-02-21 | 2006-05-10 | Sony Comp Entertainment Europe | Control of data processing |
| ATE378759T1 (de) | 2003-05-06 | 2007-11-15 | Cvon Innovations Ltd | Nachrichtenübertragungssystem und nachrichtendienst |
| US7982751B2 (en) * | 2003-07-11 | 2011-07-19 | The University Of North Carolina | Methods and systems for controlling a computer using a video image and for combining the video image with a computer desktop |
| US7453158B2 (en) * | 2003-07-31 | 2008-11-18 | Nvidia Corporation | Pad over active circuit system and method with meshed support structure |
| US7495343B1 (en) * | 2003-07-31 | 2009-02-24 | Nvidia Corporation | Pad over active circuit system and method with frame support structure |
| GB0321337D0 (en) * | 2003-09-11 | 2003-10-15 | Massone Mobile Advertising Sys | Method and system for distributing advertisements |
| GB2415639B (en) * | 2004-06-29 | 2008-09-17 | Sony Comp Entertainment Europe | Control of data processing |
| US20060019746A1 (en) * | 2004-07-22 | 2006-01-26 | Atlantic City Coin & Slot Service Company, Inc | Gaming device utilizing player image |
| JP4433948B2 (ja) * | 2004-09-02 | 2010-03-17 | 株式会社セガ | 背景画像取得プログラム、ビデオゲーム装置、背景画像取得方法、および、プログラムを記録したコンピュータ読み取り可能な記録媒体 |
| CN100412908C (zh) * | 2005-03-07 | 2008-08-20 | 腾讯科技（深圳）有限公司 | 一种多个动画文件的合并显示方法 |
| US7877387B2 (en) | 2005-09-30 | 2011-01-25 | Strands, Inc. | Systems and methods for promotional media item selection and promotional program unit generation |
| US20070109600A1 (en) * | 2005-11-15 | 2007-05-17 | Lexmark International, Inc. | Printer optimization method and system |
| JP2007272067A (ja) * | 2006-03-31 | 2007-10-18 | Brother Ind Ltd | 画像表示装置 |
| JP4742976B2 (ja) * | 2006-05-12 | 2011-08-10 | 富士ゼロックス株式会社 | 遠隔指示システム、遠隔指示方法及びプログラム |
| KR100801087B1 (ko) * | 2006-07-05 | 2008-02-11 | 삼성전자주식회사 | 스트럭처드 라이트를 이용한 이동체 감지 시스템 및 방법,상기 시스템을 포함하는 이동 로봇 |
| US8144121B2 (en) * | 2006-10-11 | 2012-03-27 | Victor Company Of Japan, Limited | Method and apparatus for controlling electronic appliance |
| JP2008146243A (ja) * | 2006-12-07 | 2008-06-26 | Toshiba Corp | 情報処理装置、情報処理方法、及びプログラム |
| JP4720738B2 (ja) * | 2006-12-20 | 2011-07-13 | 日本ビクター株式会社 | 電子機器 |
| GB2438475A (en) | 2007-03-07 | 2007-11-28 | Cvon Innovations Ltd | A method for ranking search results |
| KR20080088802A (ko) * | 2007-03-30 | 2008-10-06 | 삼성전자주식회사 | 디스플레이 상에서 포인터 이동속도가 가변적인 ｇｕｉ제공방법 및 이를 적용한 영상기기 |
| GB2441399B (en) | 2007-04-03 | 2009-02-18 | Cvon Innovations Ltd | Network invitation arrangement and method |
| KR101328950B1 (ko) | 2007-04-24 | 2013-11-13 | 엘지전자 주식회사 | 화상 디스플레이 방법 및 이를 구현할 수 있는 화상통신용단말기 |
| US8671000B2 (en) | 2007-04-24 | 2014-03-11 | Apple Inc. | Method and arrangement for providing content to multimedia devices |
| US8726194B2 (en) * | 2007-07-27 | 2014-05-13 | Qualcomm Incorporated | Item selection using enhanced control |
| JP4415198B2 (ja) * | 2007-08-30 | 2010-02-17 | カシオ計算機株式会社 | 画像合成装置及びプログラム |
| WO2009099446A1 (en) * | 2008-02-08 | 2009-08-13 | Hewlett-Packard Development Company, L.P. | Printing method using multiple processors |
| JP5116514B2 (ja) * | 2008-03-11 | 2013-01-09 | キヤノン株式会社 | 撮像装置および表示制御方法 |
| US8073203B2 (en) * | 2008-04-15 | 2011-12-06 | Cyberlink Corp. | Generating effects in a webcam application |
| US8514251B2 (en) * | 2008-06-23 | 2013-08-20 | Qualcomm Incorporated | Enhanced character input using recognized gestures |
| US8133119B2 (en) * | 2008-10-01 | 2012-03-13 | Microsoft Corporation | Adaptation for alternate gaming input devices |
| KR20100039017A (ko) * | 2008-10-07 | 2010-04-15 | 한국전자통신연구원 | 메뉴 마크업 언어를 이용한 원격 제어 장치 |
| US20100091085A1 (en) * | 2008-10-15 | 2010-04-15 | Sony Corporation And Sony Electronics Inc. | Augmenting tv menu icon with images in front of tv |
| US8295546B2 (en) | 2009-01-30 | 2012-10-23 | Microsoft Corporation | Pose tracking pipeline |
| US8866821B2 (en) | 2009-01-30 | 2014-10-21 | Microsoft Corporation | Depth map movement tracking via optical flow and velocity prediction |
| US8294767B2 (en) | 2009-01-30 | 2012-10-23 | Microsoft Corporation | Body scan |
| US9652030B2 (en) * | 2009-01-30 | 2017-05-16 | Microsoft Technology Licensing, Llc | Navigation of a virtual plane using a zone of restriction for canceling noise |
| US8732623B2 (en) * | 2009-02-17 | 2014-05-20 | Microsoft Corporation | Web cam based user interaction |
| US8773355B2 (en) * | 2009-03-16 | 2014-07-08 | Microsoft Corporation | Adaptive cursor sizing |
| US8988437B2 (en) * | 2009-03-20 | 2015-03-24 | Microsoft Technology Licensing, Llc | Chaining animations |
| US9256282B2 (en) | 2009-03-20 | 2016-02-09 | Microsoft Technology Licensing, Llc | Virtual object manipulation |
| US8194101B1 (en) | 2009-04-01 | 2012-06-05 | Microsoft Corporation | Dynamic perspective video window |
| US8314832B2 (en) | 2009-04-01 | 2012-11-20 | Microsoft Corporation | Systems and methods for generating stereoscopic images |
| US8253746B2 (en) * | 2009-05-01 | 2012-08-28 | Microsoft Corporation | Determine intended motions |
| US8503720B2 (en) | 2009-05-01 | 2013-08-06 | Microsoft Corporation | Human body pose estimation |
| US9377857B2 (en) | 2009-05-01 | 2016-06-28 | Microsoft Technology Licensing, Llc | Show body position |
| US9498718B2 (en) * | 2009-05-01 | 2016-11-22 | Microsoft Technology Licensing, Llc | Altering a view perspective within a display environment |
| US8181123B2 (en) * | 2009-05-01 | 2012-05-15 | Microsoft Corporation | Managing virtual port associations to users in a gesture-based computing environment |
| US8638985B2 (en) | 2009-05-01 | 2014-01-28 | Microsoft Corporation | Human body pose estimation |
| US8340432B2 (en) | 2009-05-01 | 2012-12-25 | Microsoft Corporation | Systems and methods for detecting a tilt angle from a depth image |
| US8649554B2 (en) | 2009-05-01 | 2014-02-11 | Microsoft Corporation | Method to control perspective for a camera-controlled computer |
| US8942428B2 (en) | 2009-05-01 | 2015-01-27 | Microsoft Corporation | Isolate extraneous motions |
| US9898675B2 (en) | 2009-05-01 | 2018-02-20 | Microsoft Technology Licensing, Llc | User movement tracking feedback to improve tracking |
| US20100277470A1 (en) * | 2009-05-01 | 2010-11-04 | Microsoft Corporation | Systems And Methods For Applying Model Tracking To Motion Capture |
| US9015638B2 (en) * | 2009-05-01 | 2015-04-21 | Microsoft Technology Licensing, Llc | Binding users to a gesture based system and providing feedback to the users |
| US20100295771A1 (en) * | 2009-05-20 | 2010-11-25 | Microsoft Corporation | Control of display objects |
| US20100295782A1 (en) | 2009-05-21 | 2010-11-25 | Yehuda Binder | System and method for control based on face ore hand gesture detection |
| EP2256590A1 (en) * | 2009-05-26 | 2010-12-01 | Topspeed Technology Corp. | Method for controlling gesture-based remote control system |
| US8112719B2 (en) * | 2009-05-26 | 2012-02-07 | Topseed Technology Corp. | Method for controlling gesture-based remote control system |
| US20100302138A1 (en) * | 2009-05-29 | 2010-12-02 | Microsoft Corporation | Methods and systems for defining or modifying a visual representation |
| US8379101B2 (en) * | 2009-05-29 | 2013-02-19 | Microsoft Corporation | Environment and/or target segmentation |
| US8542252B2 (en) | 2009-05-29 | 2013-09-24 | Microsoft Corporation | Target digitization, extraction, and tracking |
| US8509479B2 (en) | 2009-05-29 | 2013-08-13 | Microsoft Corporation | Virtual object |
| US8176442B2 (en) * | 2009-05-29 | 2012-05-08 | Microsoft Corporation | Living cursor control mechanics |
| US8744121B2 (en) * | 2009-05-29 | 2014-06-03 | Microsoft Corporation | Device for identifying and tracking multiple humans over time |
| US8856691B2 (en) * | 2009-05-29 | 2014-10-07 | Microsoft Corporation | Gesture tool |
| US20100302365A1 (en) * | 2009-05-29 | 2010-12-02 | Microsoft Corporation | Depth Image Noise Reduction |
| US8418085B2 (en) * | 2009-05-29 | 2013-04-09 | Microsoft Corporation | Gesture coach |
| US20100306685A1 (en) * | 2009-05-29 | 2010-12-02 | Microsoft Corporation | User movement feedback via on-screen avatars |
| US20100306716A1 (en) * | 2009-05-29 | 2010-12-02 | Microsoft Corporation | Extending standard gestures |
| US8320619B2 (en) * | 2009-05-29 | 2012-11-27 | Microsoft Corporation | Systems and methods for tracking a model |
| US9400559B2 (en) | 2009-05-29 | 2016-07-26 | Microsoft Technology Licensing, Llc | Gesture shortcuts |
| US8625837B2 (en) * | 2009-05-29 | 2014-01-07 | Microsoft Corporation | Protocol and format for communicating an image from a camera to a computing environment |
| US8145594B2 (en) | 2009-05-29 | 2012-03-27 | Microsoft Corporation | Localized gesture aggregation |
| US9182814B2 (en) * | 2009-05-29 | 2015-11-10 | Microsoft Technology Licensing, Llc | Systems and methods for estimating a non-visible or occluded body part |
| US9383823B2 (en) | 2009-05-29 | 2016-07-05 | Microsoft Technology Licensing, Llc | Combining gestures beyond skeletal |
| US8803889B2 (en) * | 2009-05-29 | 2014-08-12 | Microsoft Corporation | Systems and methods for applying animations or motions to a character |
| US7914344B2 (en) * | 2009-06-03 | 2011-03-29 | Microsoft Corporation | Dual-barrel, connector jack and plug assemblies |
| US20110010497A1 (en) * | 2009-07-09 | 2011-01-13 | Sandisk Il Ltd. | A storage device receiving commands and data regardless of a host |
| US8390680B2 (en) | 2009-07-09 | 2013-03-05 | Microsoft Corporation | Visual representation expression based on player expression |
| US9159151B2 (en) * | 2009-07-13 | 2015-10-13 | Microsoft Technology Licensing, Llc | Bringing a visual representation to life via learned input from the user |
| GB2471905B (en) * | 2009-07-17 | 2011-08-31 | Sony Comp Entertainment Europe | User interface and method of user interaction |
| US8847984B2 (en) * | 2009-07-27 | 2014-09-30 | Disney Enterprises, Inc. | System and method for forming a composite image in a portable computing device having a dual screen display |
| US20110025689A1 (en) * | 2009-07-29 | 2011-02-03 | Microsoft Corporation | Auto-Generating A Visual Representation |
| US9141193B2 (en) * | 2009-08-31 | 2015-09-22 | Microsoft Technology Licensing, Llc | Techniques for using human gestures to control gesture unaware programs |
| JP5343773B2 (ja) * | 2009-09-04 | 2013-11-13 | ソニー株式会社 | 情報処理装置、表示制御方法及び表示制御プログラム |
| US9633476B1 (en) * | 2009-10-29 | 2017-04-25 | Intuit Inc. | Method and apparatus for using augmented reality for business graphics |
| US20110109617A1 (en) * | 2009-11-12 | 2011-05-12 | Microsoft Corporation | Visualizing Depth |
| JP5659510B2 (ja) * | 2010-03-10 | 2015-01-28 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
| WO2011115572A1 (en) * | 2010-03-19 | 2011-09-22 | Xyz Wave Pte Ltd | An apparatus for enabling control of content on a display device using at least one gesture, consequent methods enabled by the apparatus and applications of the apparatus |
| US9367847B2 (en) | 2010-05-28 | 2016-06-14 | Apple Inc. | Presenting content packages based on audience retargeting |
| EP2400379A1 (en) * | 2010-06-23 | 2011-12-28 | MFA Informatik AG | Graphical control of a computer by a user |
| EP2421251A1 (en) * | 2010-08-17 | 2012-02-22 | LG Electronics | Display device and control method thereof |
| JP5327211B2 (ja) * | 2010-12-28 | 2013-10-30 | カシオ計算機株式会社 | 撮像装置、撮像制御方法及びプログラム |
| US8942917B2 (en) | 2011-02-14 | 2015-01-27 | Microsoft Corporation | Change invariant scene recognition by an agent |
| CN102645970B (zh) | 2011-02-22 | 2015-10-28 | 鸿富锦精密工业（深圳）有限公司 | 移动向量触发控制方法及使用其的电子装置 |
| JP5585505B2 (ja) * | 2011-03-17 | 2014-09-10 | セイコーエプソン株式会社 | 画像供給装置、画像表示システム、画像供給装置の制御方法、画像表示装置、及び、プログラム |
| WO2012123033A1 (de) * | 2011-03-17 | 2012-09-20 | Ssi Schaefer Noell Gmbh Lager Und Systemtechnik | Steuerung und überwachung einer lager- und kommissionieranlage durch bewegung und sprache |
| US8928589B2 (en) * | 2011-04-20 | 2015-01-06 | Qualcomm Incorporated | Virtual keyboards and methods of providing the same |
| US8873841B2 (en) * | 2011-04-21 | 2014-10-28 | Nokia Corporation | Methods and apparatuses for facilitating gesture recognition |
| US8620113B2 (en) | 2011-04-25 | 2013-12-31 | Microsoft Corporation | Laser diode modes |
| US8760395B2 (en) | 2011-05-31 | 2014-06-24 | Microsoft Corporation | Gesture recognition techniques |
| US9727132B2 (en) * | 2011-07-01 | 2017-08-08 | Microsoft Technology Licensing, Llc | Multi-visor: managing applications in augmented reality environments |
| GB2493906A (en) * | 2011-08-15 | 2013-02-27 | Moheb Milad | Superimposed images for revealing changes in the settings of an analogue control console |
| JP2013080413A (ja) * | 2011-10-05 | 2013-05-02 | Sony Corp | 入力装置、入力認識方法 |
| US8635637B2 (en) | 2011-12-02 | 2014-01-21 | Microsoft Corporation | User interface presenting an animated avatar performing a media reaction |
| US9100685B2 (en) | 2011-12-09 | 2015-08-04 | Microsoft Technology Licensing, Llc | Determining audience state or interest using passive sensor data |
| US9043766B2 (en) * | 2011-12-16 | 2015-05-26 | Facebook, Inc. | Language translation using preprocessor macros |
| KR101410410B1 (ko) * | 2011-12-21 | 2014-06-27 | 주식회사 케이티 | 체감형 학습 장치 및 방법 |
| US8898687B2 (en) | 2012-04-04 | 2014-11-25 | Microsoft Corporation | Controlling a media program based on a media reaction |
| CA2775700C (en) | 2012-05-04 | 2013-07-23 | Microsoft Corporation | Determining a future portion of a currently presented media program |
| GB2501925B (en) * | 2012-05-11 | 2015-04-29 | Sony Comp Entertainment Europe | Method and system for augmented reality |
| JP5507773B1 (ja) | 2012-07-13 | 2014-05-28 | 太郎 諌山 | 要素選択装置、要素選択方法、および、プログラム |
| TWI488069B (zh) * | 2012-10-08 | 2015-06-11 | Qisda Corp | 光學繪圖方法 |
| TWI455044B (zh) * | 2012-10-31 | 2014-10-01 | Hwa Hsia Inst Of Technology | 應用影像辨識之反應訓練系統及方法 |
| JPWO2014103732A1 (ja) * | 2012-12-26 | 2017-01-12 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
| US9857470B2 (en) | 2012-12-28 | 2018-01-02 | Microsoft Technology Licensing, Llc | Using photometric stereo for 3D environment modeling |
| JP6048189B2 (ja) * | 2013-02-08 | 2016-12-21 | 株式会社リコー | 投影システム、画像生成プログラム、情報処理装置及び画像生成方法 |
| US9940553B2 (en) | 2013-02-22 | 2018-04-10 | Microsoft Technology Licensing, Llc | Camera/object pose from predicted coordinates |
| WO2014201347A1 (en) | 2013-06-14 | 2014-12-18 | Intercontinental Great Brands Llc | Interactive video games |
| CN103428551A (zh) * | 2013-08-24 | 2013-12-04 | 渭南高新区金石为开咨询有限公司 | 一种手势遥控系统 |
| US9609236B2 (en) | 2013-09-16 | 2017-03-28 | Kyle L. Baltz | Camera and image processing method |
| WO2015072604A1 (ko) * | 2013-11-15 | 2015-05-21 | 엘지전자(주) | 투명 디스플레이 장치와 그의 제어방법 |
| KR20150110032A (ko) * | 2014-03-24 | 2015-10-02 | 삼성전자주식회사 | 영상데이터 처리 전자장치 및 방법 |
| US9977565B2 (en) | 2015-02-09 | 2018-05-22 | Leapfrog Enterprises, Inc. | Interactive educational system with light emitting controller |
| CN104680477A (zh) * | 2015-03-04 | 2015-06-03 | 江西科技学院 | 一种图像镜像算法 |
| CN106022887A (zh) * | 2016-05-26 | 2016-10-12 | 江阴迈德机械有限公司 | 一种仿真穿戴试镜 |
| JP6892498B2 (ja) * | 2016-09-07 | 2021-06-23 | イ, チョル ウLEE, Chul Woo | 多次元反応型映像生成装置、方法及びプログラム、並びに多次元反応型映像再生方法及びプログラム |
| CN111034377B (zh) * | 2017-07-06 | 2021-09-03 | 惠普发展公司，有限责任合伙企业 | 用于外围模块的安装组件 |
| JP7305401B2 (ja) * | 2018-09-06 | 2023-07-10 | キヤノン株式会社 | 画像処理装置、画像処理装置の作動方法、及びプログラム |
| WO2020190996A1 (en) * | 2019-03-18 | 2020-09-24 | Google Llc | Frame overlay for disparities between frames of a game stream |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01315884A (ja) * | 1988-06-16 | 1989-12-20 | Sony Corp | パターン追跡方法 |
| JPH06102993A (ja) * | 1992-09-22 | 1994-04-15 | Nippon Telegr & Teleph Corp <Ntt> | 指示入力装置 |
| JPH06153017A (ja) * | 1992-11-02 | 1994-05-31 | Sanyo Electric Co Ltd | 機器の遠隔制御装置 |
| JPH07155467A (ja) * | 1993-12-02 | 1995-06-20 | Sega Enterp Ltd | 遊戯者の画像入力を有するビデオゲーム装置 |
| JPH07281666A (ja) * | 1994-04-05 | 1995-10-27 | Casio Comput Co Ltd | 画像制御装置 |
| JPH08315154A (ja) * | 1995-02-21 | 1996-11-29 | Mitsubishi Electric Res Lab Inc | ジェスチャ認識システム |
| JPH09128141A (ja) * | 1995-11-07 | 1997-05-16 | Sony Corp | 制御装置および制御方法 |
| JPH09265538A (ja) * | 1996-03-29 | 1997-10-07 | Matsushita Electric Works Ltd | 自動追尾装置 |
| JPH11282622A (ja) * | 1998-03-30 | 1999-10-15 | Nec Corp | ポインティングデバイスおよびポインティングデバイスを用いる情報処理装置 |
| US6072494A (en) * | 1997-10-15 | 2000-06-06 | Electric Planet, Inc. | Method and apparatus for real-time gesture recognition |
| US6088018A (en) * | 1998-06-11 | 2000-07-11 | Intel Corporation | Method of using video reflection in providing input data to a computer system |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5261041A (en) * | 1990-12-28 | 1993-11-09 | Apple Computer, Inc. | Computer controlled animation system based on definitional animated objects and methods of manipulating same |
| US5936610A (en) * | 1993-07-27 | 1999-08-10 | Canon Kabushiki Kaisha | Control device for image input apparatus |
| JP3419050B2 (ja) * | 1993-11-19 | 2003-06-23 | 株式会社日立製作所 | 入力装置 |
| US5732227A (en) * | 1994-07-05 | 1998-03-24 | Hitachi, Ltd. | Interactive information processing system responsive to user manipulation of physical objects and displayed images |
| JPH086708A (ja) * | 1994-04-22 | 1996-01-12 | Canon Inc | 表示装置 |
| KR19990011180A (ko) * | 1997-07-22 | 1999-02-18 | 구자홍 | 화상인식을 이용한 메뉴 선택 방법 |
| KR100553671B1 (ko) * | 1998-06-27 | 2006-05-10 | 삼성전자주식회사 | 컴퓨터 시스템의 포인팅 장치 구동 방법 |
| US6392675B1 (en) * | 1999-02-24 | 2002-05-21 | International Business Machines Corporation | Variable speed cursor movement |
-
2001
- 2001-09-26 JP JP2001295098A patent/JP3725460B2/ja not_active Expired - Lifetime
- 2001-10-04 BR BR0107310-9A patent/BR0107310A/pt not_active Application Discontinuation
- 2001-10-04 AU AU94187/01A patent/AU9418701A/en not_active Abandoned
- 2001-10-04 EP EP01974693.2A patent/EP1324269B1/en not_active Expired - Lifetime
- 2001-10-04 CN CNB018030432A patent/CN1279761C/zh not_active Expired - Lifetime
- 2001-10-04 WO PCT/JP2001/008762 patent/WO2002031773A1/ja active Application Filing
- 2001-10-04 CA CA002392725A patent/CA2392725A1/en not_active Abandoned
- 2001-10-04 MX MXPA02005288A patent/MXPA02005288A/es unknown
- 2001-10-04 KR KR1020027007197A patent/KR100845390B1/ko active IP Right Grant
- 2001-10-05 TW TW090124674A patent/TWI231445B/zh not_active IP Right Cessation
- 2001-10-05 US US09/971,962 patent/US6771277B2/en not_active Expired - Lifetime
-
2004
- 2004-06-21 US US10/872,917 patent/US7176945B2/en not_active Expired - Lifetime
-
2006
- 2006-09-18 US US11/522,775 patent/US20070013718A1/en not_active Abandoned
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01315884A (ja) * | 1988-06-16 | 1989-12-20 | Sony Corp | パターン追跡方法 |
| JPH06102993A (ja) * | 1992-09-22 | 1994-04-15 | Nippon Telegr & Teleph Corp <Ntt> | 指示入力装置 |
| JPH06153017A (ja) * | 1992-11-02 | 1994-05-31 | Sanyo Electric Co Ltd | 機器の遠隔制御装置 |
| JPH07155467A (ja) * | 1993-12-02 | 1995-06-20 | Sega Enterp Ltd | 遊戯者の画像入力を有するビデオゲーム装置 |
| JPH07281666A (ja) * | 1994-04-05 | 1995-10-27 | Casio Comput Co Ltd | 画像制御装置 |
| JPH08315154A (ja) * | 1995-02-21 | 1996-11-29 | Mitsubishi Electric Res Lab Inc | ジェスチャ認識システム |
| JPH09128141A (ja) * | 1995-11-07 | 1997-05-16 | Sony Corp | 制御装置および制御方法 |
| JPH09265538A (ja) * | 1996-03-29 | 1997-10-07 | Matsushita Electric Works Ltd | 自動追尾装置 |
| US6072494A (en) * | 1997-10-15 | 2000-06-06 | Electric Planet, Inc. | Method and apparatus for real-time gesture recognition |
| JPH11282622A (ja) * | 1998-03-30 | 1999-10-15 | Nec Corp | ポインティングデバイスおよびポインティングデバイスを用いる情報処理装置 |
| US6088018A (en) * | 1998-06-11 | 2000-07-11 | Intel Corporation | Method of using video reflection in providing input data to a computer system |
Cited By (67)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004246578A (ja) * | 2003-02-13 | 2004-09-02 | Nippon Telegr & Teleph Corp <Ntt> | 自己画像表示を用いたインタフェース方法、装置、およびプログラム |
| US7586502B2 (en) | 2003-02-21 | 2009-09-08 | Sony Computer Entertainment Europe Ltd. | Control of data processing |
| US8345001B2 (en) | 2004-01-06 | 2013-01-01 | Sony Computer Entertainment Inc. | Information processing system, entertainment system, and information processing system input accepting method |
| JP4824409B2 (ja) * | 2004-01-06 | 2011-11-30 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理システム、エンタテインメントシステム、および情報処理システムの入力受け付け方法 |
| JPWO2005065798A1 (ja) * | 2004-01-06 | 2007-07-26 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理システム、エンタテインメントシステム、および情報処理システムの入力受け付け方法 |
| WO2005078559A1 (ja) | 2004-01-30 | 2005-08-25 | Sony Computer Entertainment Inc. | 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス |
| EP2544073A2 (en) | 2004-01-30 | 2013-01-09 | Sony Computer Entertainment Inc. | Image processing device, image processing method, recording medium, computer program, and semiconductor device |
| US7999843B2 (en) | 2004-01-30 | 2011-08-16 | Sony Computer Entertainment Inc. | Image processor, image processing method, recording medium, computer program, and semiconductor device |
| US8508578B2 (en) | 2004-01-30 | 2013-08-13 | Sony Corporation | Image processor, image processing method, recording medium, computer program and semiconductor device |
| JP2005261643A (ja) * | 2004-03-18 | 2005-09-29 | Sony Computer Entertainment Inc | 情報処理装置およびエンタテインメント装置 |
| JP2005301479A (ja) * | 2004-04-08 | 2005-10-27 | Akinori Yoshino | 投影された提示者の動作による命令入力装置 |
| US7911447B2 (en) | 2004-06-30 | 2011-03-22 | Sony Computer Entertainment Inc. | Information processing device for controlling object by using player image and object control method in the information processing device |
| US7959511B2 (en) | 2004-06-30 | 2011-06-14 | Sony Computer Entertainment Inc. | Information processing device for controlling movement of a game character by using a player image and game character movement control method |
| US7629959B2 (en) | 2004-09-21 | 2009-12-08 | Victor Company Of Japan, Limited | Controller for electronic appliance |
| JP2006091948A (ja) * | 2004-09-21 | 2006-04-06 | Victor Co Of Japan Ltd | 電子機器の制御装置 |
| JP4717445B2 (ja) * | 2005-01-06 | 2011-07-06 | 株式会社バンダイナムコゲームス | 画像処理システム、画像処理装置、ゲーム装置、プログラム、情報記憶媒体および画像処理方法 |
| JP2006190091A (ja) * | 2005-01-06 | 2006-07-20 | Namco Bandai Games Inc | 画像処理システム、ゲーム装置、プログラム、情報記憶媒体および画像処理方法 |
| WO2006098255A1 (ja) * | 2005-03-15 | 2006-09-21 | Shunsuke Nakamura | 画像表示方法およびその装置 |
| JP4583981B2 (ja) * | 2005-03-16 | 2010-11-17 | 株式会社リコー | 画像処理装置 |
| JP2006259966A (ja) * | 2005-03-16 | 2006-09-28 | Ricoh Co Ltd | 画像処理装置 |
| US7679689B2 (en) | 2005-05-16 | 2010-03-16 | Victor Company Of Japan, Limited | Electronic appliance |
| WO2007001050A1 (ja) * | 2005-06-29 | 2007-01-04 | Konami Digital Entertainment Co., Ltd. | ネットワークゲームシステム、ネットワークゲームシステムの制御方法、ゲーム装置、ゲーム装置の制御方法及び情報記憶媒体 |
| JP2007037970A (ja) * | 2005-06-29 | 2007-02-15 | Konami Digital Entertainment:Kk | ネットワークゲームシステム、ネットワークゲームシステムの制御方法、ゲーム装置、ゲーム装置の制御方法及びプログラム |
| WO2007029393A1 (ja) * | 2005-09-05 | 2007-03-15 | Sony Computer Entertainment Inc. | マルチメディア再生装置、メニュー操作受付方法およびコンピュータプログラム |
| JP2007072564A (ja) * | 2005-09-05 | 2007-03-22 | Sony Computer Entertainment Inc | マルチメディア再生装置、メニュー操作受付方法およびコンピュータプログラム |
| JP2007087100A (ja) * | 2005-09-22 | 2007-04-05 | Victor Co Of Japan Ltd | 電子機器システム |
| JP2009519552A (ja) * | 2005-12-12 | 2009-05-14 | 株式会社ソニー・コンピュータエンタテインメント | 相互対話的な電子的にシミュレートされた環境の音声および映像制御 |
| JP2007189664A (ja) * | 2005-12-14 | 2007-07-26 | Victor Co Of Japan Ltd | 電子機器 |
| JP4569555B2 (ja) * | 2005-12-14 | 2010-10-27 | 日本ビクター株式会社 | 電子機器 |
| JP2009537924A (ja) * | 2006-05-24 | 2009-10-29 | ソニー コンピュータ エンタテインメント ヨーロッパ リミテッド | データ処理の制御 |
| US8654099B2 (en) | 2006-05-24 | 2014-02-18 | Sony Computer Entertainment Europe Limited | Control of data processing based on inter-image motion detection |
| JP2009537923A (ja) * | 2006-05-24 | 2009-10-29 | ソニー コンピュータ エンタテインメント ヨーロッパ リミテッド | データ処理の制御 |
| JP2008015915A (ja) * | 2006-07-07 | 2008-01-24 | Sony Computer Entertainment Inc | 画像処理方法、入力インタフェース装置 |
| US8241122B2 (en) | 2006-07-07 | 2012-08-14 | Sony Computer Entertainment Inc. | Image processing method and input interface apparatus |
| JP4707034B2 (ja) * | 2006-07-07 | 2011-06-22 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理方法、入力インタフェース装置 |
| JP2006294066A (ja) * | 2006-07-19 | 2006-10-26 | Sony Computer Entertainment Inc | 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス |
| JP2008065663A (ja) * | 2006-09-08 | 2008-03-21 | Victor Co Of Japan Ltd | 電子機器 |
| JP4650381B2 (ja) * | 2006-09-08 | 2011-03-16 | 日本ビクター株式会社 | 電子機器 |
| JP2010541398A (ja) * | 2007-09-24 | 2010-12-24 | ジェスチャー テック，インコーポレイテッド | 音声及びビデオ通信のための機能向上したインタフェース |
| US8830292B2 (en) | 2007-09-24 | 2014-09-09 | Qualcomm Incorporated | Enhanced interface for voice and video communications |
| JP2009265709A (ja) * | 2008-04-22 | 2009-11-12 | Hitachi Ltd | 入力装置 |
| US9220976B2 (en) | 2008-12-22 | 2015-12-29 | Nintendo Co., Ltd. | Storage medium storing game program, and game device |
| JP2010142592A (ja) * | 2008-12-22 | 2010-07-01 | Nintendo Co Ltd | ゲームプログラムおよびゲーム装置 |
| JP2010176510A (ja) * | 2009-01-30 | 2010-08-12 | Sanyo Electric Co Ltd | 情報表示装置 |
| WO2010095191A1 (ja) * | 2009-02-19 | 2010-08-26 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置および情報処理方法 |
| US8879787B2 (en) | 2009-02-19 | 2014-11-04 | Sony Corporation | Information processing device and information processing method |
| CN102317888A (zh) * | 2009-02-19 | 2012-01-11 | 索尼计算机娱乐公司 | 信息处理装置以及信息处理方法 |
| JP2009123242A (ja) * | 2009-03-10 | 2009-06-04 | Sony Computer Entertainment Inc | 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス |
| JP2010277197A (ja) * | 2009-05-26 | 2010-12-09 | Sony Corp | 情報処理装置、情報処理方法およびプログラム |
| JP2010003303A (ja) * | 2009-07-21 | 2010-01-07 | Victor Co Of Japan Ltd | 電子機器の制御装置 |
| US9146669B2 (en) | 2009-12-29 | 2015-09-29 | Bizmodeline Co., Ltd. | Password processing method and apparatus |
| JP2013515318A (ja) * | 2009-12-29 | 2013-05-02 | ビズモードライン カンパニー リミテッド | パスワード処理方法および機器 |
| US9830444B2 (en) | 2009-12-29 | 2017-11-28 | Bizmodeline Co., Ltd. | Password processing device |
| US9444626B2 (en) | 2009-12-29 | 2016-09-13 | Bizmodeline Co., Ltd. | Password processing device |
| US9225973B2 (en) | 2010-05-24 | 2015-12-29 | Sony Corporation | Image processing apparatus, image processing method, and image communication system |
| WO2011148449A1 (ja) * | 2010-05-24 | 2011-12-01 | 株式会社ソニー・コンピュータエンタテインメント | 映像処理装置、映像処理方法、および映像通信システム |
| JP2011248466A (ja) * | 2010-05-24 | 2011-12-08 | Sony Computer Entertainment Inc | 映像処理装置、映像処理方法、および映像通信システム |
| US9798920B2 (en) | 2010-05-24 | 2017-10-24 | Sony Interactive Entertainment Inc. | Image processing apparatus, image processing method, and image communication system |
| US10235560B2 (en) | 2010-05-24 | 2019-03-19 | Sony Interactive Entertainment Inc. | Image processing apparatus, image processing method, and image communication system |
| JP5709227B2 (ja) * | 2011-04-28 | 2015-04-30 | Ｎｅｃソリューションイノベータ株式会社 | 情報処理装置、情報処理方法及びプログラム |
| JP5709228B2 (ja) * | 2011-04-28 | 2015-04-30 | Ｎｅｃソリューションイノベータ株式会社 | 情報処理装置、情報処理方法及びプログラム |
| US9329673B2 (en) | 2011-04-28 | 2016-05-03 | Nec Solution Innovators, Ltd. | Information processing device, information processing method, and recording medium |
| US9367732B2 (en) | 2011-04-28 | 2016-06-14 | Nec Solution Innovators, Ltd. | Information processing device, information processing method, and recording medium |
| JP2013156939A (ja) * | 2012-01-31 | 2013-08-15 | Toshiba Tec Corp | 情報処理装置及びプログラム |
| JP2013048924A (ja) * | 2012-11-07 | 2013-03-14 | Nintendo Co Ltd | ゲームプログラムおよびゲーム装置 |
| JP2014237016A (ja) * | 2014-07-28 | 2014-12-18 | 株式会社クラス・マイスター | ゲーム装置の制御プログラム |
| CN106057171A (zh) * | 2016-07-21 | 2016-10-26 | 广东欧珀移动通信有限公司 | 控制方法及控制装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR100845390B1 (ko) | 2008-07-09 |
| BR0107310A (pt) | 2002-08-27 |
| US20070013718A1 (en) | 2007-01-18 |
| MXPA02005288A (es) | 2002-12-11 |
| US6771277B2 (en) | 2004-08-03 |
| US20020097247A1 (en) | 2002-07-25 |
| JP3725460B2 (ja) | 2005-12-14 |
| KR20020059844A (ko) | 2002-07-13 |
| EP1324269B1 (en) | 2017-01-25 |
| WO2002031773A1 (fr) | 2002-04-18 |
| TWI231445B (en) | 2005-04-21 |
| CN1279761C (zh) | 2006-10-11 |
| US7176945B2 (en) | 2007-02-13 |
| EP1324269A4 (en) | 2006-02-08 |
| AU9418701A (en) | 2002-04-22 |
| CA2392725A1 (en) | 2002-04-18 |
| CN1393003A (zh) | 2003-01-22 |
| US20040233224A1 (en) | 2004-11-25 |
| EP1324269A1 (en) | 2003-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2002196855A (ja) | 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス | |
| JP3847753B2 (ja) | 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス | |
| WO2018077206A1 (zh) | 增强现实场景生成方法、装置、系统及设备 | |
| CN107851299B (zh) | 信息处理装置、信息处理方法以及程序 | |
| JP5256269B2 (ja) | データ生成装置、データ生成装置の制御方法、及びプログラム | |
| US11380021B2 (en) | Image processing apparatus, content processing system, and image processing method | |
| JP2002247602A (ja) | 画像生成装置及びその制御方法並びにそのコンピュータプログラム | |
| US8643679B2 (en) | Storage medium storing image conversion program and image conversion apparatus | |
| JP2001178963A (ja) | ビデオゲーム装置、画像表示装置及び方法、動画表示装置及び方法並びに記録媒体 | |
| JP4689548B2 (ja) | 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス | |
| JP4824409B2 (ja) | 情報処理システム、エンタテインメントシステム、および情報処理システムの入力受け付け方法 | |
| JP4615252B2 (ja) | 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス | |
| US20220118358A1 (en) | Computer-readable recording medium, and image generation system | |
| KR100694283B1 (ko) | 이미지 프로세싱을 이용한 ｐｃ 기반의 영상 인식 방법 | |
| JP4767331B2 (ja) | 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス | |
| CN111167115A (zh) | 交互式游戏系统 | |
| JP2003099806A (ja) | ３次元ゲーム装置、プログラム及びゲーム装置の制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040525 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040525 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20040525 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20040921 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040928 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041126 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050705 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050825 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050920 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050921 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3725460 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080930 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090930 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090930 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100930 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100930 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110930 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120930 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130930 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |