JP2007189664A - 電子機器 - Google Patents
電子機器 Download PDFInfo
- Publication number
- JP2007189664A JP2007189664A JP2006297432A JP2006297432A JP2007189664A JP 2007189664 A JP2007189664 A JP 2007189664A JP 2006297432 A JP2006297432 A JP 2006297432A JP 2006297432 A JP2006297432 A JP 2006297432A JP 2007189664 A JP2007189664 A JP 2007189664A
- Authority
- JP
- Japan
- Prior art keywords
- detection
- detector
- hand
- axis
- detectors
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/39—Control of the bit-mapped memory
- G09G5/395—Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen
- G09G5/397—Arrangements specially adapted for transferring the contents of two or more bit-mapped memories to the screen simultaneously, e.g. for mixing or overlay
Abstract
【解決手段】ビデオカメラ2より出力された画像の画面を水平方向にN分割、垂直方向にM分割した複数の検出領域に、それぞれ対応して設けられた複数の検出器を有する検出部19は、操作者が行う動作に基づいた第1の検出信号を発生させる。生成器は第1の検出信号に基づいて第2の検出信号を生成する。第2の検出信号を累積加算した値が閾値を超え、フラグが生成された検出器を少なくとも含む複数の検出器に対して、タイミングパルス発生器12は、選択的にタイミングパルスを供給する。
【選択図】図2
Description
(a)電子機器において、表示装置23と、前記表示装置の前に位置する操作者3を撮影するビデオカメラ2と、前記ビデオカメラより出力された画像の画面を水平方向にN(Nは2以上の整数)分割、垂直方向にM(Mは2以上の整数)分割した複数の検出領域それぞれに対応して設けた複数の検出器を有し、前記複数の検出器を用いて前記ビデオカメラによって撮影された前記操作者が行う動作に基づいた第1の検出信号を発生する検出部19と、前記複数の検出器それぞれを前記複数の検出領域に対応させて動作させるためのタイミングパルスを供給するタイミングパルス発生器12と、前記第1の検出信号に基づいて第2の検出信号を生成する生成器20−1〜20−5と、前記第2の検出信号それぞれを所定の期間累積加算した加算値が、予め定めた閾値を超えるとフラグを生成するフラグ生成器20と前記複数の検出器の内、前記複数の検出領域の内の一部の検出領域に対応する検出器から出力された第1の検出信号に基づく第2の検出信号を有効とすると共に、他の検出器から出力された第1の検出信号に基づく第2の検出信号を無効とするよう制御する制御器20とを備え、前記タイミングパルス発生器は、前記フラグ生成器が前記フラグを生成した後の所定の期間、前記複数の検出器の内、前記フラグが生成された特定の検出器と、前記特定の検出器に対応した特定の検出領域に隣接する検出領域を少なくとも含む前記特定の検出領域の近傍の検出領域に対応する検出器とに対して選択的に前記タイミングパルスを供給することを特徴とする電子機器。
(b)前記ビデオカメラより出力された画像の画面を水平方向にN分割した検出領域に対応したN個の第1の検出器317〜325と、垂直方向にM分割した検出領域に対応したM個の第2の検出器301〜316とを備え、前記タイミングパルス発生器は、前記フラグ生成器が前記フラグを生成した後の所定の期間、前記制御器の制御に基づいて前記N個の第1の検出器または前記M個の第2の検出器に供給するタイミングパルスの幅を前記操作者が行う動作に応じて狭くすることを特徴とする(a)記載の電子機器。
(c)前記ビデオカメラより出力された画像の画面を水平方向にN分割、垂直方向にM分割して設けたN×M個の検出領域に対応したN×M個の検出器を備え、前記制御器は、前記フラグ生成器が前記フラグを生成した後の所定の期間、前記N×M個の検出器の内、前記フラグが生成された特定の検出器から出力された第1の検出信号に基づく第2の検出信号と、前記特定の検出器に対応した特定の検出領域に隣接する検出領域を少なくとも含む前記特定の検出領域の近傍の検出領域に対応する検出器から出力された第1の検出信号に基づく第2の検出信号とを有効とし、他の検出器から出力された第1の検出信号に基づく第2の検出信号を無効とするように制御することを特徴とする(a)記載の電子機器。
(d)前記電子機器は、前記ビデオカメラで撮影された画像の鏡像変換を行う鏡像変換器14と、少なくとも1つの操作用画像を生成する操作用画像生成器16と、前記鏡像変換器より出力された鏡像変換画像信号と前記操作用画像生成器より出力された操作用画像信号とを混合する混合器17とを備え、前記検出部は、前記混合器により混合された画像を前記表示装置に表示させた状態で、前記表示装置に表示された前記操作者が前記操作用画像を操作する所定の動作に対応した前記第1の検出信号を発生することを特徴とする(a)ないし(c)のいずれか一項に記載の電子機器。
(e)前記検出部は、前記ビデオカメラによって撮影された対象物を縦方向に移動させる第1の動作を検出した際に生成される第1の基準信号波形に対応するタップ係数と前記第2の検出信号とを乗算するデジタルフィルタknと、前記デジタルフィルタより出力される信号波形に基づいて前記操作者が行う動作が前記第1の動作であるか否かを検出する動作検出器20−1〜20−5とを備えることを特徴とする(a)ないし(d)のいずれか一項に記載の電子機器。
(f)前記検出部は、前記ビデオカメラによって撮影された対象物を横方向に移動させる第2の動作を検出した際に生成される第2の基準信号波形に対応するタップ係数と前記第2の検出信号とを乗算するデジタルフィルタknと、前記デジタルフィルタより出力される信号波形に基づいて前記操作者が行う動作が前記第2の動作であるか否かを検出する動作検出器20−1〜20−5とを備えることを特徴とする(a)ないし(d)のいずれか一項に記載の電子機器。
図1は、従来のリモコン装置による操作形態と、本発明の操作形態との違いを説明するための図である。ユーザ(操作者)3が、テレビジョン受像機1を操作する場合、従来はユーザ3がリモコン装置4を手に持って所望の機能を働かせるキーをテレビジョン受像機1に向けて押下することによって操作がなされる。従って、リモコン装置4が無ければ操作が出来ず、不便を強いられる場合を時々経験する。
検出されるユーザ3の動作とは、具体的にはテレビジョン受像機1の電源ON/OFF制御やメニュー画面の表示/非表示の制御、メニュー画面から所望のボタンを選択する制御に対応した、ユーザ3の身体(手、足、顔など)を使った特定の動作であり、この特定の動作を検出することで電子機器の操作を行う。本実施形態ではもっとも現実的な手の動きで操作する方法について、説明する。
ビデオカメラ2は、図1に示すようにテレビジョン受像機1の前面に位置してユーザ(操作者)3、またはテレビジョン受像機1の前の映像を撮影する。ビデオカメラ2の出力信号は、輝度(Y)信号、及び色差(R−Y、B−Y)信号で、基準同期発生器11から出力される水平周期パルス及び垂直周期パルスに同期している。また、本実施形態では、ビデオカメラ2で撮像される画像の画素数は、表示装置23の画素数と一致しているものとする。なお、画素数が一致していない場合は画素数変換器を挿入し画素数を一致させればよい。
表示装置23としてCRT(Cathode Ray Tube、陰極線管)を用いる場合には、水平偏向を逆に操作することで同様の効果が得られる。その場合には、グラフィックスやその他混合する側の画像をあらかじめ水平方向に左右逆転しておく必要がある。
画素数は、本実施形態では表示装置23の画素数に一致させるようにしている。一致していない場合は、画素数変換器を入れて一致させる必要がある。
M1o=α1・S1+(1−α1)・Gs
制御値α1は、「0」から「1」の間の値に設定され、制御値α1を大きくするとスケーラ14の出力信号S1の割合が大きくなり、グラフィックス生成器16の出力信号Gsの割合が小さくなる。混合器の例としてはこれに限らないが、本実施形態では、入力される2系統の信号情報が入っていれば同様の効果が得られる。
検出器の数はこれに限定されるものではなく、検出精度を上げるためには検出器の数は多いほどよいが、処理規模との関係で数を調整することが好ましい。第1実施形態では25個、第2実施形態では144個の検出器を用いる。
M2o=α2・M1o+(1−α2)・S2
制御値α2は、「0」から「1」の間の値に設定され、制御値α2を大きくすると第1の混合器17の出力信号M1oの割合が大きくなり、画素数変換器21の出力信号S2の割合が小さくなる。混合器の例としてはこれに限らないが、本実施形態では、入力される2系統の信号情報が入っていれば同様の効果が得られる。
図3(B)(1)〜(B)(3)(以降、(B)(1)をB−1と示す。他も同様)は、ユーザ3が行う手の動作に対応した制御が実行されたテレビジョン受像機1の、表示装置23に表示される内容の移り変わりをそれぞれ示す。本実施形態の場合、テレビジョン受像機1に対する制御内容は、「電源をOFFからONにする」、「メニュー画面を表示させる」、「メニュー画面を消す」、「電源をONからOFFにする」の3つの制御である。
ユーザ3が行う手の動作とテレビジョン受像機1の制御内容との対応関係は、ユーザ3が「手を縦に振る」動作は、「テレビジョン受像機1の電源がOFFの場合、電源がONになる」及び「テレビジョン受像機1の電源がONの場合、メニュー画面が表示される」制御に対応する。「手を横に振る」動作は、「テレビジョン受像機1がどのような画面状態であっても電源をOFFにする」制御に対応する。
最初、図3(B−1)に示すとおり、表示装置23には何も表示されていないので、ユーザ3はビデオカメラ2によって撮影された自身の映像を確認することができない。そのためユーザ3は、ビデオカメラ2に必ず写る位置に立っていることが必須であり、テレビジョン受像機1は、ビデオカメラ2によって撮影されたビデオ画像内のどこにユーザ3がとらえられても、ユーザ3の動作を認識できる必要がある。この場合、表示装置23とグラフィックス生成器16は無くても支障はない。
表示装置23がテレビ画面を表示している状態(図3(B−2))で、ユーザ3が手を横(左右)に振った時は、テレビジョン受像機1の電源がOFFになり、図3(B−1)に示す状態になる。メニュー・データ放送・EPGなどのあらゆる画面を表示している状態(図3(B−3))で、ユーザ3が手を横に振った時は、図3(B−2)に示す状態、あるいは図3(B−1)に示す状態になる。
また、ビデオカメラ2の撮影範囲は、テレビジョン受像機1の電源をOFFからONにさせる場合は、ユーザ3が最適視聴ポイントから離れている場合を考慮し、広角にして出来るだけ動作を認識する範囲を広くすることが好ましい。そしてテレビ番組を視聴している状態からメニュー画面などに表示画面を変えるときは、ユーザ3は最適視聴ポジションに近い位置に位置していることが考えられるので、ビデオカメラ2の撮影範囲はある程度絞ることが可能である。
ユーザ3による手の動作を検出する際に、画面をx軸方向に分割して設けた16個の検出領域と、y軸方向に分割して設けた9個の検出領域との、全25個の検出領域(1次元)を用いる場合と、画面をx軸方向に16分割、y軸方向に9分割して、これらの分割によって形成された1つの区画を1つの検出領域とする、全144個の検出領域(2次元)を用いる場合とが考えられる。検出領域が25個であれば、ハードの規模を削減でき好ましい。また、検出領域を144個として処理する場合でも、各検出領域からの情報をx軸とy軸それぞれの情報に変換すれば検出領域が25個のときと同様な処理が適応できる。
各検出領域にはy軸方向の画面の中心を0として、−4〜+4までの位置関係を示す座標が付されている。y軸の座標が−4の検出領域には第17の検出器317、−3の検出領域には第18の検出器318、−2の検出領域には第19の検出器319がそれぞれ対応し、y軸の座標が−1〜+4の各検出領域には、第20の検出器320〜第25の検出器325がそれぞれ対応する。各y軸検出器317〜325は、ユーザ3が行う手の動作に基づいた検出信号を発生する検出器である。
x軸方向に示すタイミングパルスは有効映像期間の水平方向の幅に相当する幅を有するパルスとなり、y軸方向に示すタイミングパルスは有効映像期間の垂直方向の幅を9個に分割した幅に相当するパルスである。その他の各y軸検出器にも、同様のタイミングパルスがそれぞれ入力される。
各検出領域にはx軸方向の画面のほぼ中心を0として、−8〜+7までの位置関係を示す座標が付されている。x軸の座標が−8の検出領域には第1の検出器301、−7の検出領域には第2の検出器302、−6の検出領域には第3の検出器303がそれぞれ対応し、x軸の座標が−5〜+7の各検出領域には、第4の検出器304〜第16の検出器316がそれぞれ対応する。各x軸検出器301〜316は、ユーザ3が行う手の動作に基づいた検出信号を発生する検出器である。
画像信号が通過する領域は、図5及び図6に破線の四角形で示す各検出領域内になる。この検出領域内に限定した信号に、後述するさまざまなフィルタ処理を行い、ビデオカメラ2で捉えたユーザ3の手を抽出する。
特定色フィルタ71について図9を参照して説明する。図9は、色差平面図で、縦軸をR−Y、横軸をB−Yとしたものである。テレビ信号のすべての色信号はこの座標上のベクトルで表すことができ、極座標で評価することができる。特定色フィルタ71は、色差信号で入力される色信号の色相と色の濃さ(飽和度)を限定するものである。これを特定するために色相は、第1象限のB−Y軸を基準(0度)として左回りの角度で表現するものとする。また飽和度は、ベクトルのスカラ量となり、色差平面の原点が飽和度0(零)で色がない状態となり、原点から離れるにしたがい飽和度が大きくなり色が濃いことを示す。
特定色フィルタ71は、ビデオカメラ2から入力される色差信号(R−Y、B−Y)から角度と飽和度を算出し、色差信号が等色相線と等飽和度線で囲まれた領域に入っているか否かを検出する。
初めに図10に示すステップS401にて、入力画素それぞれの色差信号R−Y,B−Y成分の符号より、入力画素の色相が、色差平面上の第何象限に位置しているかを検出する。
次にステップS402にて、色差信号R−Y,B−Y成分それぞれの絶対値|R−Y|、|B−Y|を比較して、大きいほうをA、小さいほうをBとして算出する。
ステップS404にて、Aが|R−Y|であるか、即ち、|R−Y|>|B−Y|であるか否かを判定する。判定がNO、つまり|R−Y|>|B−Y|でなければ、そのままステップS406に進む。判定がYES、つまり|R−Y|>|B−Y|であれば、ステップS405に進み、角度T1を、(90−T1)なる角度Tに置き換える。これによって、tan-1((R−Y)/(B−Y))が求められる。
さらに、ステップS406にて、ステップS401にて検出した象限のデータを用いて第2象限か否かを判定し、第2象限であれば、ステップS407に進み、T=180−T1を算出する。第2象限でなければ、ステップS408に進み、第3象限か否かを判定し、第3象限であれば、ステップS409に進み、T=180+T1を算出する。
第3象限でなければ、ステップS410に進み、第4象限か否かを判定し、第4象限であれば、ステップS411に進み、T=360−T1を算出する。第4象限でもない、すなわち第1象限であるときは、ステップS412にて角度TをT1とする。そして、最終的に、ステップS413にて、入力画素それぞれの図9の色差平面上でなす角度Tを出力する。
Vc=sqrt(Cr×Cr+Cb×Cb)
Vcはベクトルのスカラ量であり、ここでは飽和度を表す。Crは、図9に示すように色信号の(R−Y)軸成分であり、Cbは(B−Y)軸成分である。またsqrt( )は平方根の演算を行う演算子である。
Vc=max(|Cr|,|Cb|)+0.4×min(|Cr|,|Cb|)
ただし、max(|Cr|,|Cb|)は、|Cr|と|Cb|のうち、大きいほうを選択する演算処理であり、min(|Cr|,|Cb|)は、|Cr|と|Cb|のうち、小さいほうを選択する演算処理である。
1フレーム遅延器75−1でビデオカメラ2からの画像信号は1フレーム遅延され、減算器75−2に入力される。減算器75−2は、ビデオカメラ2からの画像信号と1フレーム遅延器75−1からの画像信号との差分を算出し、絶対値器75−3に出力する。減算の符号の向きは、特に規定するものではない。差分信号は信号のレベルによって正負の両方の値が出力されるため、絶対値器75−3は、減算器75−2から入力される差分値を絶対値化して、非線形処理器75−4に出力する。
非線形処理器75−4の出力信号は量子化器75−5に入力され、図13(B)に示す所定の閾値に基づいて2値化される。
特定色フィルタ71で色相と飽和度を限定することで、人の肌色に絞ることはできるが、人の肌は日焼け具合で変化し、また人種によっても異なるため、肌色といってもさまざまである。従って、制御情報判断器20より入力される制御信号によって、特定色フィルタ71で色相、飽和度を調整し、階調限定器72で輝度信号の階調限定の範囲を調整すれば、槻ね人の手を検出することができる。更に、動作検出フィルタ75によって、画像の動きに基づいて人の手を抽出し、識別することができる。
図14(B)には、各検出領域に対応して設けられた各検出器を動作させるためのタイミングパルスに基づいて、図7のタイミングゲート器52でゲートされた映像信号による映像を示す。ここには代表例として、y軸座標が0(零)の検出領域に対応する第21の検出器321と、y軸座標が−1の検出領域に対応する第20の検出器320それぞれの、タイミングゲート器52からの出力信号を示す。
制御情報判断器20は、各検出器61〜65から送られたデータをソフトウェア上で変数として格納し、データ処理を行う。
高域発生量検出器63は、空間フィルタ(2次元フィルタ)にて高域成分を抽出し、1画面内における高域成分の発生量を第3の動作検出器20−3に出力する。最小値検出器64は、1画面の輝度信号の最小階調値を、また最大値検出器65は1画面内の輝度信号の最大階調値をそれぞれ、第4の動作検出器20−4,第5の動作検出器20−5へ出力する。
図16(A)は、図14(B)の第20の検出器320を構成するヒストグラム検出器61と平均輝度検出器62の出力を示す。図14(B)に示すとおり、第20の検出器320では検出領域に手がかざされていないため、第1のオブジェクト抽出器51で手が検出されず、第1のオブジェクト抽出器51から出力された信号は黒レベルでマスキングされている。従って、図16(A)に示すヒストグラムは最低階調(0)の部分のみのデータとなっている。また基本的に信号が黒なのでAPLは0(零)であるが、信号レベルの低さを明示するために短い矢印とした。
本実施形態では、ヒストグラム検出器61から出力されるデータの、最低階調(0)以外の総和を求めて、検出領域にかざされている手の領域を示すデータとする。すなわち、検出領域に対応して設けられた検出器のオブジェクト抽出器51が動作している手を抽出した出力信号を基にヒストグラム検出器61が第1の検出データを発生させ、第1の動作検出器20−1が第1の検出データに基づいて、検出領域から抽出された手の領域を示す第2の検出データを生成する。
またヒストグラム検出器61によって、黒とそれ以外の成分とを分けた2段階の階調から頻度を算出することでも、所定の動作を行うことで検出領域にかざされた手を抽出できる。従って、0階調とそれ以外の2階調に簡略化したヒストグラム検出器61からの第1の検出データに基づいて手の領域を示す第2の検出データを求めてもよい。
更に本実施形態では、ヒストグラム検出器61から出力された第1の検出データに基づいて第1の動作検出器20−1において第2の検出データを生成したが、これに限らず、各検出器301〜325が備えるオブジェクト特徴データ検出部53から出力された第1の検出データに基づいて、制御情報判断器20において第2の検出データを生成すればよい。
本実施形態では手を4回上下に動かした。すなわち手を、図17の、(A)(B)(C)(D)(D)(C)(B)(A)を1サイクルとし、4サイクル動かした。このような上下運動の場合、x軸については手はほとんど動かず、同一の座標上にある。一方、y軸については手の座標は上下に変動する。従って、検出されるデータは上下のピークを繰り返した4サイクルになり、各座標の検出領域に対応して設けられた各検出器からの出力データの変動値になって現れる。
項目のCycleは上記した手の上下運動の周期(サイクル)を示し、この表では全4サイクルのうち初めの2サイクルまでを書き出して示している。項目のnは画像のフレーム番号を示し、一般的なビデオ信号の場合は60Hz周期となり、インターレースの場合は2フィールドで1フレームとなり1垂直周期を60Hz周期とする。
項目のphは上下運動をしている手が、どのポジションにあるかを示しており、A、B、C、Dはそれぞれ図17の(A)、(B)、(C)、(D)に対応している。項目のx(i)(i=−8〜+7)は、第1の検出器301〜第16の検出器316のヒストグラム検出器61から前述したように得られた、対応する検出領域における第1の検出データに基づく、手の領域を示す第2の検出データをそれぞれ示している。同様に項目のy(j)(j=−4〜+4)は、第17の検出器317〜第25の検出器325のヒストグラム検出器61から得られた、各検出器301〜325に対応する検出領域において抽出された手による第1の検出データに基づく手の領域を示す第2の検出データを示している。なお、項目XVS、XVSG、XG、YVS、YVSG、YGについては各検出器301〜325から得られたデータを処理した内容であり、後で詳細に記述する。
これはあくまでも理想的な場合で、もしユーザ3の手以外で肌色を示すものが動いていると、手がかざされている検出領域の座標以外の座標においても検出された値が生じ、手の動きの検出にとってはノイズとなる。このようなノイズをいかに抑圧して、手の動作を操作情報として認識するかがポイントとなる。
y軸に関しては、上下に手を動かしているので項目y(j)のデータが変動する。図17(A)では、手はy座標2及び3上にあるため、図18の項目y(2)及びy(3)のフレーム番号0の欄に検出された値が示されている。同様に図17(B)、(C)、及び(D)についても、それぞれの手がかざされているy座標に対応する項目y(j)に、検出されたそれぞれの値が示されている。
本実施形態では、時間経過に伴う各項目に示されている値の変動、つまり第1の検出器301〜第25の検出器325それぞれの出力に基づく第2の検出データの変動よりも、複数の検出器によって出力された第1の検出データに基づく第2の検出データの総和を基に求める、重心の移動を示すデータの変動が重要となる。従って、かざされた手により複数の検出領域それぞれから抽出される出力信号を基にして、手がかざされている複数の検出領域全体の重心(以下単に「手の重心」という)を求め、それを評価した。
第2サイクルのフレーム番号11では、手に関するデータ以外に、x(1)に対応する検出器に領域100、y(−2)に対応する検出器に領域50、及びy(−3)に対応する検出器に領域50に相当する手(オブジェクト)の領域が各検出領域において検出されたことを示す第2の検出データがある。これらのデータは検出された手の重心座標を狂わせることになる。図17(A)〜(D)に示すように手の重心のx座標は5で一定であるにもかかわらず、フレーム番号11の項目XGの値は3.361を示している。またフレーム番号11の手の重心のy座標は、フレーム番号3と同様に項目YGの値が0(零)であるはずが、−1.02になっており、x軸y軸共にノイズに影響をうけた値となっている。
ノイズは単発であれば、デジタル信号処理でよく活用される孤立点除去フィルタ(メディアンフィルタ)で抑圧することが可能であるが、そのフィルタを潜り抜けるような成分であったり、ノイズの数や量が大きい場合には認識率を低下させる要因になる。
図18の表に示すように、y軸検出器317〜325から出力された第1の検出データに基づく第2の検出データ(出力信号)は変動し、閾値th1yを超える検出器はない。一方でx軸検出器301〜316から出力された第1の検出データに基づく第2の検出データは、x座標5に対応する第14の検出器314からの出力に基づく第2の検出データx(5)が最大値を示し、ある時点で累積加算の結果の値が閾値th1xを超え、該当する検出器であると判断される。これにより手の動作が上下に振る動作であることが判明する。なお、これ以降簡便のため、所定の検出器から出力された第1の検出データに基づく第2の検出データを単に、所定の検出器の第2の検出データ、と示す。
活性化フラグFlg_xが立ち上がる所定の期間のことを活性化期間とし、その長さは手の動作を認識することに要する、4サイクル程度の期間を設定する。図19(D)については後述する。
x軸方向に一点鎖線で描かれている第1のx軸タイミングパルスは、有効映像期間の水平方向の幅に相当する幅を有するパルスであり、ユーザ3が手を振り始めた時点では、全てのy軸検出器(第17の検出器317〜第25の検出器325)に供給されている。
振っている手が抽出された検出領域に対応する検出器の、出力信号を所定の期間累積加算した加算値に基づいて活性化フラグFlg_xが生成される(1となる)と、実線で描かれている第2のx軸タイミングパルスが生成される。第2のx軸タイミングパルスは、有効映像期間の水平方向の所定の幅に相当する幅を有するパルスであり、全てのy軸検出器317〜325に供給される。各y軸検出器317〜325は、第2のx軸タイミングパルスに基づいて、検出領域にかざされている手を検出するために必要最小限の検出領域の検出信号のみを出力する。
図21に示す手の動きによってx座標5の検出領域において手が抽出されると、先に述べたように本実施形態では、x軸の座標5に対応する第14の検出器314の第2の検出データが、他の検出器の第2の検出データと比較すると連続して最大値を取る(図18参照)。第14の検出器314の第2の検出データを累積加算した値が閾値th1xを超えると、活性化フラグFlg_xが生成される(1となる)。制御情報判断器20は活性化フラグFlg_xが生成されたことを確認し、x座標5の検出領域のx軸制御データを1とする。
制御情報判断器20は、上述したようなx軸制御データをタイミングパルス発生器12に供給し、タイミングパルス発生器12内のx軸タイミングパルス活性化制御器12xは、入力されたx軸制御データに基づいて、第2のx軸タイミングパルスを生成し、全てのy軸検出器317〜325に供給する。従って、図21に示す状態であれば、x座標が4から6の検出領域の幅に相当する幅を有する、第2のx軸タイミングパルスが生成される。すなわちタイミングパルス器12は、第1のx軸タイミングパルスの幅を狭めた第2のx軸タイミングパルスを生成する。第2のx軸タイミングパルスが供給された各y軸検出器317〜325は、対応する各検出領域のx座標が4から6の区画からのみ検出信号を出力する。この結果、図21に示した座標(x,y)=(1,−2)、(1,−3)で発生したノイズ成分は検出されない。
第2のx軸タイミングパルスが生成されると、制御情報判断器20は各y軸検出器317〜325からの出力に基づいて、これ以降の制御を行う。各x軸検出器301〜316から検出された検出信号については、参照しない。なお、各x軸検出器301〜316のタイミングゲート器52にタイミングパルスを供給せず、検出信号の出力を止めてもよい。
なお、本実施形態では、図22及び図23に示すように検出領域単位でパルス幅を制御する方法を採用しているが、パルスのスタートポイントとパルス幅を指定する方法など、パルス幅を柔軟に制御する回路手法を用いてもよい。
ノイズ成分の除去により重心XGとYGの値の乱れは無くなり、各y軸検出器317〜325の後段の第1の動作検出器20−1〜第5の動作検出器20−5による認識率が向上する。また本実施形態では、フレーム9まではノイズ成分の影響を受けるが、この時点までは活性化フラグFlg_xを立てることが目的となっており、累積加算した加算値の最大値が変動しない程度のノイズ成分は検出に影響しない。
図19(A)は重心のy座標YGの変動を示し、図19(B)は重心のx座標XGの変動を示しており、それぞれノイズの無い波形を示している。図19(C)に示すx軸検出器(第14の検出器314)の出力信号を累積加算した値が、閾値th1x以上になった時点で活性化フラグFlg_xが1となる。活性化フラグFlg_xが生成された検出器に対応する検出領域と隣接する検出領域を少なくとも含む近傍のx軸方向の検出領域と、各y軸方向の検出領域とが交差して形成される複数の区画以外の各y軸方向の区画は、各y軸検出器317〜325に供給される第2のx軸タイミングパルスによって無効とされる。すなわち、手の検出に用いられない。従って、ノイズの影響を受けない。
図19(C)の波形が継続的に閾値th1x以上であれば、第2のx軸タイミングパルスが各y軸検出器317〜325に供給され続けるため、不必要な区画が無効である期間も続き、ノイズによる影響を受けないという効果が持続する。図19(C)の波形が閾値th1x以下になると累積加算値はリセットされる。ただし、リセットの基準となる値は閾値th1xに限るものではない。
図20の遅延器81は、本実施形態では4フレーム(時間Tm)の遅延を行う。減算器82は、遅延した信号と遅延されていない信号との差分を求める。ここで符号は重要でなく最終的な結果には影響しない。最後に1/2乗算器83でスケールの調整を行う。図19(A)の波形は、図20の高域通過フィルタを通すことで結果として図19(D)に示すように、波形の平均値がほぼ0(零)となる。これにより、手が振られているy軸上の位置情報が排除され、手の動作内容の分析に適した波形が得られる。なお、図19(D)の縦軸に示す重心YGHは、図19(A)の縦軸に示す重心YGを高域通過フィルタ処理した値である。
本実施形態では図25(G)に示す波形を縦振り動作の基準信号波形(所定の動作の代表的な検出信号波形)とし、図25(F)に示す相互相関デジタルフィルタのk0〜k40のタップ係数値には、この基準信号波形に対応する値を使用する。また図25(D)には、相互相関デジタルフィルタknに入力される実際の動作による検出信号波形が示されているが、これは図19(D)の信号波形と同じものである。相互相関デジタルフィルタは、タップ係数と実際の動作を検出した信号に基づく第2の検出信号とを乗算し、第1の動作検出器20−1〜第5の動作検出器20−5は相互相関デジタルフィルタより出力される信号波形に基づいて、ユーザ3が行った動作が縦振り動作であるかを検出する。相互相関デジタルフィルタknの出力信号wv(n)は下記の(3)式によって求められる。
この動作の認識とともに、縦振り動作であることを示し且つ保護窓の役割を担う活性化フラグFlg_xが「1」であることが確認され、手の縦振り操作が確定となり、テレビジョン受像機1の状態に応じたイベント(制御)が行われる。このイベントは、図15に示す複数の動作検出器20−1〜20−5のいずれかが確定となったことを、制御情報発生器20−10が論理判定して出力する信号に従って行われる。
本実施形態では手を4回左右に動かした。すなわち手を、図27の、(A)(B)(C)(D)(D)(C)(B)(A)を1サイクルとし、4サイクル動かした。このような左右運動の場合、y軸については手はほとんど動かず、同一の座標上にある。一方、x軸については手の座標は左右に変動する。従って、検出されるデータは左右のピークを繰り返した4サイクルになり、各座標の検出領域に対応して設けられた各検出器からの出力データの変動値になって現れる。
x軸に関しては、左右に手を動かしているので項目x(i)のデータが変動する。図27(A)では、手はx座標−6、−5、−4上にあり、図28の項目x(−6)、x(−5)、及びx(−4)のフレーム番号0の欄に、検出された値が示されている。同様に図27(B)、(C)、及び(D)についても、それぞれの手がかざされているx座標に対応する項目x(i)に、検出されたそれぞれの値が示されている。
本実施形態では、図28の項目XGはフレーム番号0において−5.3である。これは手の重心のx座標が、−5.3であることを示している。その他のフレームについても、項目XGの値がそのフレームにおける手の重心のx座標を示している。本実施形態では項目XGの値は−5.3〜−2.3の範囲の値になっており(フレーム番号11は除く)、項目XGの値の変動が座標上の手の左右運動を示している。
しかし、第2サイクルのフレーム番号11では、手に関するデータ以外に、y(−1)に対応する検出器に領域120、x(4)に対応する検出器に領域50、x(7)に対応する検出器に領域70に相当する手の領域が各検出領域において検出されたことを示す第2の検出データがある。これらのデータは検出された手の重心座標を狂わせることになる。図28(A)〜(D)に示すように手の重心のy座標は2.19で一定であるにもかかわらず、フレーム番号11の項目YGの値は1.351を示している。またフレーム番号11の手の重心のx座標は、フレーム番号3と同様に項目XGの値が−2.3であるはずが、−0.45になっており、x軸y軸共にノイズに影響を受けた値となっている。
図28の表に示すように、x軸検出器301〜316は第2の検出データ(出力信号)が変動し、閾値th1xを超える検出器はない。一方でy軸検出器317〜325では、y座標2に対応する第23の検出器323による第2の検出データ(y(2))が最大値を示し、ある時点で累積加算の加算値が閾値th1yを超え、該当する検出器として判断される。これにより手の動作が左右に振る動作であることが判明する。
活性化フラグFlg_yが立ち上がる所定の期間のことを活性化期間とし、その長さは手の動作を認識することに要する、4サイクル程度の期間を設定する。図29(D)については後述する。
振っている手が抽出された検出領域に対応する検出器の、出力信号を所定の期間累積加算した加算値に基づいて活性化フラグFlg_yが生成される(1となる)と、実線で描かれている第2のy軸タイミングパルスが生成される。第2のy軸タイミングパルスは、有効映像期間の垂直方向の所定の幅に相当する幅を有するパルスであり、全てのx軸検出器301〜316に供給される。各x軸検出器301〜316は、第2のy軸タイミングパルスに基づいて、検出領域にかざされている手を検出するために必要最小限の検出領域の検出信号のみを出力する。
図30に示す手の動きによってy座標2の検出領域において手が抽出されると、先に述べたように本実施形態では、y軸の座標2に対応する第23の検出器323の第2の検出データが、他の検出器の第2の検出データと比較すると連続して最大値を取る(図28参照)。第23の検出器323の第2の検出データを累積加算した値が閾値th1yを超えると、活性化フラグFlg_yが生成される(1となる)。制御情報判断器20は活性化フラグFlg_yが生成されたことを確認し、y座標2の検出領域のy軸制御データを1とする。
制御情報判断器20は、上述したようなy軸制御データをタイミングパルス発生器12に供給し、タイミングパルス発生器12内のy軸タイミングパルス活性化制御器12yは、入力されたy軸制御データに基づいて、第2のy軸タイミングパルスを生成し、全てのx軸検出器301〜316に供給する。従って、図30に示す状態であれば、y座標が1から3の検出領域の幅に相当する幅を有する、第2のy軸タイミングパルスが生成される。すなわちタイミングパルス器12は、第1のy軸タイミングパルスの幅を狭めた第2のy軸タイミングパルスを生成する。第2のy軸タイミングパルスが供給された各x軸検出器301〜316は、対応する各検出領域のy座標が1から3の区画からのみ検出信号を出力する。この結果、図30に示した座標(x,y)=(4,−1)、(7,−1)で発生したノイズ成分は検出されない。
第2のy軸タイミングパルスが生成されると、制御情報判断器20は各x軸検出器301〜316からの出力に基づいて、これ以降の制御を行う。各y軸検出器317〜325から検出された検出信号については、参照しない。なお、各y軸検出器317〜325のタイミングゲート器52にタイミングパルスを供給せず、検出信号の出力を止めてもよい。
なお、本実施形態では、図31及び図32に示すように検出領域単位でパルス幅を制御する方法を採用しているが、パルスのスタートポイントとパルス幅を指定する方法など、パルス幅を柔軟に制御する回路手法を用いてもよい。
図29(C)において閾値th1yを超えた、フレーム番号10以降の第2の検出データがこれに該当し、図28の表でノイズ成分として存在していたフレーム番号11のx(4)、x(7)、y(−1)が0となっている。これは、座標(x,y)=(4,−1)、(7,−1)の区画は、対応して設けられている第13の検出器313と第16の検出器316の各タイミングゲート器52に第2のy軸タイミングパルスが供給されることで、検出されないためである。ノイズ成分の除去により重心XGとYGの値の乱れは無くなり、各x軸検出器301〜316の後段の第1の動作検出器20−1〜第5の動作検出器20−5による認識率が向上する。
図29(A)は重心のy座標YGの変動を示し、図29(B)は重心のx座標XGの変動を示しており、それぞれノイズの無い波形を示している。図29(C)に示すy軸検出器(第23の検出器323)の出力信号を累積加算した値が、閾値th1y以上になった時点で活性化フラグFlg_yが1となる。活性化フラグFlg_yが生成された検出器に対応する検出領域と隣接する検出領域を少なくとも含む近傍のy軸方向の検出領域と、各x軸方向の検出領域とが交差して形成される複数の区画以外の各x軸方向の区画は、各x軸検出器301〜316に供給される第2のy軸タイミングパルスによって無効とされる。すなわち、手の検出に用いられない。従って、ノイズの影響を受けない。
図29(C)の波形が継続的に閾値th1y以上であれば、第2のy軸タイミングパルスが各x軸検出器301〜316に供給され続けるため、不必要な区画が無効である期間も続き、ノイズによる影響を受けないという効果が持続する。図29(C)の波形が閾値th1y以下になると累積加算値はリセットされる。ただし、リセットの基準となる値は閾値th1yに限るものではない。
図29(B)の波形は、図20の高域通過フィルタを通すことで結果として図29(D)に示すように、波形の平均値がほぼ0(零)となる。これにより、手が振られているx軸上の位置情報が排除され、手の動作内容の分析に適した波形が得られる。なお、図29(D)の縦軸に示す重心XGHは、図29(B)の縦軸に示す重心XGを高域通過フィルタ処理した値である。
本実施形態では図34(G)に示す波形を横振り動作の基準信号波形(所定の動作の代表的な検出信号波形)とし、図34(F)に示す相互相関デジタルフィルタのk0〜k40までのタップ係数値には、この基準信号波形に対応する値を使用する。また図34(D)には、相互相関デジタルフィルタknに入力される実際の検出信号波形が示されているが、これは図29(D)の信号波形と同じものである。相互相関デジタルフィルタは、タップ係数と実際の動作を検出した信号に基づく第2の検出信号とを乗算し、第1の動作検出器20−1〜第5の動作検出器20−5は相互相関デジタルフィルタより出力される信号波形に基づいて、ユーザ3が行った動作が横振り動作であるかを検出する。相互相関デジタルフィルタknの出力信号wh(n)は下記の(4)式によって求められる。
なお、本実施形態では縦振り動作に対応するタップ係数を備える相互相関デジタルフィルタと、横振り動作に対応するタップ係数を備える相互相関デジタルフィルタとを使用したが、縦振り動作に対応するタップ係数と、横振り動作に対応するタップ係数とを制御情報判断器20等に記憶させ、動作に応じて1つの相互相関デジタルフィルタに切り換えて供給してもよい。ただし、縦振り動作と横振り動作とが同じ動作であるとする場合には、同じタップ係数とすればよい。
本実施形態では1秒間に60フレームとし、手の上下または左右に4回振る動作を、説明や図面の簡略化を目的に32フレームとした。相関計算のタップ係数も少なくなる。
しかしながら、32フレームを時間に換算すると約0.5秒となり、現実の人間の動作としては速すぎる。実際の手の動作はもう少し遅くなると考えられ、例えば、手を4回振るのに2秒かかるとすれば、120フレーム必要となる。これを検出するためには相関計算においてタップ数を増やせばよく、動作にかかる時間に合わせて適宜タップ数を調整すればよい。
この動作の認識とともに、横振り動作であることを示し且つ保護窓の役割を担う活性化フラグFlg_yが「1」であることが確認され、手の横振り操作が確定となり、テレビジョン受像機1の状態に応じたイベントが行われる。このイベントは、図15に示す複数の動作検出器20−1〜20−5のいずれかが確定となったことを、制御情報発生器20−10が論理判定して出力する信号に従って行われる。
次にステップA502に進み、累積加算された各値msx(i)(i=−8〜+7)が閾値th1x以上であるか否かを判定する。ステップA502の答えがNOのとき、すなわちいずれの加算値msx(i)も閾値th1x未満の時はステップA501にもどり、累積加算を行う。ステップA502の答えがYESになったとき、すなわちいずれかの加算値msx(i)が閾値th1x以上になったときは、次のステップA503に進む。
いずれかのx軸検出器からの加算値msx(i)が閾値th1x以上を示すことは、手が縦に振られている動作を意味するので、ステップA503において活性化フラグFlg_xを0(零)から1とし、第2のx軸タイミングパルスを各x軸検出器301〜316に供給する。これによって、各x軸検出器301〜316の出力が制御され、不要な検出領域や区画においてオブジェクト(手)を抽出しない処理(マスク処理)が行われるので、ノイズに対する耐性を高めることができる。
そしてステップB502で、いずれかのy軸検出器において累積加算された値msy(j)(j=−4〜+4)が閾値th1y以上に達すると、活性化フラグFlg_yが0(零)から1となって手の動作が横振りであることを認識する。
ステップA504の答えがYESのとき、すなわち活性化フラグFlg_yが0(零)であれば、これ以降の処理は縦振り処理系になることを確定し、ステップA505に進む。一方で、ステップA504の答えがNO、すなわち横振り処理系が活性化されていて、活性化フラグFlg_yが1ならば、ステップA509に進み、縦振り処理系を進めるための累積加算値msx(i)及び活性化フラグFlg_xを0(零)にリセットし、ステップA501に戻る。
ステップB504の答えがYESのとき、すなわち活性化フラグFlg_xが0(零)であれば、これ以降の処理は横振り処理系になることを確定し、ステップB505に進む。一方で、ステップB504の答えがNO、すなわち縦振り処理系が活性化されていて、活性化フラグFlg_xが1ならば、ステップB509に進み、横振り処理系を進めるための累積加算値msy(j)及び活性化フラグFlg_yをそれぞれ0(零)にリセットし、ステップB501に戻る。
ステップA507またはB507では、相互相関デジタルフィルタ出力信号wv(n)またはwh(n)を絶対値化して累積加算し、wv(n)の累積加算swvまたはwh(n)の累積加算swhを算出する。
また、ステップA506またはB506の相互相関計算処理より先の処理は、図36では説明の分かり易さを考慮して処理を2系統に分離しているが、ステップA504またはB504において活性化フラグFlg_xまたはFlg_yを評価し、検出された動作が縦振りか横振りかが判明しているので、処理を1系統にすることができる。なお、ステップA504またはB504、及びステップA508またはB508の判定で答えがNOとなったときはステップA509またはB509に進み、累積加算値msx(i)及びFlg_x、または累積加算値msy(j)及びFlg_yをそれぞれ0(零)にリセットしてスタートの時点に戻る。
また、縦振り動作と横振り動作のどちらか一方のみを電子機器を制御するための所定の動作としてもよく、その際は、ステップA504またはB504を省略すればよい。
一方、より高度で複雑な認識操作を考えると、以下に説明するような検出領域を用いる第2実施形態が考えられる。第2実施形態についても図36のフローチャートにて説明したアルゴリズムが同様に機能することについて詳述する。なお、第2実施形態については、第1実施形態と異なる部分についてのみ説明する。
第2実施形態では、1画面毎(1垂直周期毎)に各検出領域から抽出される出力信号を得ることが目的であり、各検出領域に各検出器を割り当て、各検出領域のデータが制御情報判断器20に入力され、ソフトウェアで処理されるものとして説明する。なお、各検出器はバッファメモリを設けることにより、ハードウェアの構成上必要とするデータ数以下で実現することもできる。
第2実施形態においても、同様の構成も適応できるが、各検出器から得られるデータが144個あるため、ハードウェアの規模が大きくなること及びバスのトラフィックを考慮して、データを簡略化する。なお、比較説明をするため図38の手の動作の位置は図17に示した第1実施形態と同じ位置とする。
合成の仕方は様々な論理演算が考えられるが、ここでは論理積として考える。オブジェクトゲート器74の出力は、図38のハッチングした部分の検出領域だけが階調を持ち、その他の検出領域はオブジェクトが抽出されず階調が0である(マスクレベル)とする。この場合のビデオカメラ2の黒レベルは0レベル以上にあるものとする。
ブロックカウンタ66とブロック量子化器67は、図38の画面内にハッチングで示した、第1のオブジェクト抽出器51による出力信号が得られる検出領域の情報を1ビット化して出力する。ブロックカウンタ66は、全検出領域のうちマスクレベル以外の検出領域をカウントするものである。ブロックカウンタ66でカウントされた検出領域における第1のオブジェクト抽出器51より出力された出力信号は、ブロック量子化器67にて設定される閾置と比較され、ブロック量子化器67は閾置以上であるとき1を、以下であるとき0を出力する。
このように閾値を設定することで、ブロックカウンタ66とブロック量子化器67による、検出部19からの出力は144ビットとなり、最小限ですませることができる。
項目y(−4)〜y(4)も同様で、各y軸における横(x軸)方向の全検出領域に対応する全検出器の出力の総和であり、最大値は16となる。これより図38に示した手の動作は結果として、図18に示したものと重心の変動は同一となり、同様のアルゴリズムで処理して動作の認識が可能である。
図41は、量子化されて2値にまるめられた値で且つスケールが図18とは異なっている。しかし、位置を表す重心は同一となる。従って、第2実施形態の第6の動作検出器20−6は、第1実施形態の第1の動作検出器20−1〜第5の動作検出器20−5と同様のアルゴリズムで手の動作を認識することが可能である。第6の動作検出器20−6のアルゴリズムは、(1)式、(2)式による重心計算、(3)式の相関デジタルフィルタの計算、そして不要な検出領域に対応する検出器にタイミングパルスを供給せず、タイミングゲート器52を閉じる処理などで、そのアルゴリズムを表現するフローチャートが図36である。第6の動作検出器20−6は、検出部19より出力される検出信号に基づいて、ユーザ3による動作が所定の動作であるか否かを検出する動作検出器である。
ここで、第2実施形態の各検出領域に対応する各検出器の、ゲートタイミング器52を閉じる処理をマスク処理とし、後述する。
図42は、図38と同じ手を上下に繰り返し振る動作を示す。この動作を操作として認識するために、第1のオブジェクト抽出器51が手の動作を検出するように機能するが、意図しないものの動作が混入してくる。例えば、図42に示す検出領域において、(x、y)=(1,−2)、(1,−3)に黒丸で示すノイズが発生している。
図41の表では、n=11のフレームにおいて項目x(1)=2,y(−2)=1,y(−3)=1となっている。これはx軸とy軸の重心を乱し、手の動作を検出する際に妨害となる。これは重心の値に影響するため、重心の変動を用いて手の動作を検出する本発明において、問題となる。
マスク処理は第1実施形態と同様で、x軸の各項目x(−8)〜x(7)の値をそれぞれ所定の期間累積加算して、図19(C)に示すように閾置th1xを超えたとき、活性化フラグflg_xを立てればよい。従って第2実施形態では、各x座標における縦(y軸)方向の全検出領域に対応する全検出器の出力の総和、あるいは各y座標における横(x軸)方向の全検出領域に対応する全検出器の出力の総和が、それぞれ閾値th1xあるいはth1yを超えたときに活性化フラグflg_xあるいはflg_yを生成すればよい。なお、累積加算した値は、所定の値を超えたらリミットをかけてもよい。
図19(C)では、x軸座標5を有する各検出領域に対応する各検出器の出力信号(x(5))を累積加算した加算値が、所定の期間(フレーム10)に経て閾置th1xを超えたことを検出した。従ってx座標5を有する各検出領域の少なくとも一部で、振られている手が検出されている。
検出器から出力される信号が閾値th1xを超えてから、活性化フラグflg_xを所定の期間立て、図19(A)に示す縦(y軸)方向の重心YGの変動を相関デジタルフィルタにて相関性を評価することで、手の動作を操作として認識する。
本実施形態では、10フレーム目以降はマスク処理が施されるので、図41の表に示したノイズ成分(フレーム番号11)は抑圧できる。このようにマスク処理は手以外の動作を抑圧して、所定の動作のみを引き出す効果がある。
すなわち、活性化フラグFlg_xが1となったx座標5の各検出領域に対応する各検出器と、x座標5の各検出領域に隣接するx座標4と6の各検出領域に対応する各検出器とに対して、タイミングパルス発生器12よりタイミングパルスを供給させる。
このマスク処理は、図19(C)において活性化フラグflg_xが立った時点で、この時点から前の図19(A)に示す重心YGを評価して行う。制御情報判断器20内のメモリ(図示せず)に所定の期間の重心YGを記録し、活性化フラグflg_xが発生した時点でその前までに記録された重心YGを参照する。本実施形態では、図19(A)に矢印1で示す範囲を参照した。y軸座標が−4,−3,−2,4である検出領域には、手がかざされていないと判断でき、手の動作はy軸座標が−4,−3,−2,4である検出領域の範囲外で生じているとして、上述したようにマスク処理する。
すなわち、所定の動作を行うために手が動くと、かざされている手が抽出された検出領域が判別されて、検出信号が通過する通過領域となる。それ以外の検出領域は、タイミングゲート器52にタイミングパルスが供給されないので、検出された信号は通過しない。更に、各検出器の出力信号を累積加算した加算値が閾置th1xを超えると、閾値th1xを超えた時点より過去の所定期間の第2の検出データを参照し、手がかざされている検出領域以外の検出領域に対応する検出器に対してマスク処理し検出信号を出力させないことで、ノイズを抑制する。
そして図36に示した第2の検出データから手の動作を認識するアルゴリズムは、検出領域の実施形態に係わらず同様に機能するもので、認識操作を確定させてテレビ受像機を制御することができるものである。
また第2実施形態では、タイミングパルスが供給された検出器に対応する検出領域のみ、オブジェクト特徴データ検出部530のブロックカウント66でカウントするので、図41の動作検出フィルタ75の出力を図39のオブジェクト特徴データ検出部530のブロックカウンタに直接入れても、同様にブロック量子化器67の出力検出領域単位の手の動き情報が得られる。
図44(C)は、図44(A)と(B)の画像を混合したものが表示装置23に映し出されている様子を示し、メニュー画像とユーザ3の位置関係が分かるものとなっている。この第2実施形態の構成には、図2に示す表示装置23とグラフィックス生成器16は必須の機能ブロックである。
第1実施形態で説明したとおり、縦に手を振るとx軸検出器のうちどの検出器が最大値を示して活性化フラグFlg_xが「1」となったかが分かる。そこで、メニュー画像を生成したグラフィックス生成器16と各座標の検出領域に対応する検出器とを対応させておけば、ユーザ3が選択した操作ボタンに対応する制御を起動することができる。
また、ビデオカメラ2の撮像範囲内のどの位置にユーザ3がいても動作検出が可能であり、さらに活性化フラグによる制御で極めて誤認識の少ない正確な検出を行うことができる。またグラフィックス生成器16で生成したメニュー画像とビデオカメラ2が撮影したユーザ自身の映像を混合した画面上において所望のメニューを選択する操作方法にも応用ができ、同一の回路及びソフト処理で多様な活用が可能である。
2 ビデオカメラ
3 ユーザ(操作者)
12 タイミングパルス発生器
19 検出部
20 制御情報判断器(フラグ生成器、制御器)
20−1〜20−5 第1〜第5の動作検出器(生成器)
23 表示装置
301〜(300+n) 検出器
Claims (6)
- 電子機器において、
表示装置と、
前記表示装置の前に位置する操作者を撮影するビデオカメラと、
前記ビデオカメラより出力された画像の画面を水平方向にN(Nは2以上の整数)分割、垂直方向にM(Mは2以上の整数)分割した複数の検出領域それぞれに対応して設けた複数の検出器を有し、前記複数の検出器を用いて前記ビデオカメラによって撮影された前記操作者が行う動作に基づいた第1の検出信号を発生する検出部と、
前記複数の検出器それぞれを前記複数の検出領域に対応させて動作させるためのタイミングパルスを供給するタイミングパルス発生器と、
前記第1の検出信号に基づいて第2の検出信号を生成する生成器と、
前記第2の検出信号それぞれを所定の期間累積加算した加算値が、予め定めた閾値を超えるとフラグを生成するフラグ生成器と、
前記複数の検出器の内、前記複数の検出領域の内の一部の検出領域に対応する検出器から出力された第1の検出信号に基づく第2の検出信号を有効とすると共に、他の検出器から出力された第1の検出信号に基づく第2の検出信号を無効とするよう制御する制御器とを備え、
前記タイミングパルス発生器は、前記フラグ生成器が前記フラグを生成した後の所定の期間、前記複数の検出器の内、前記フラグが生成された特定の検出器と、前記特定の検出器に対応した特定の検出領域に隣接する検出領域を少なくとも含む前記特定の検出領域の近傍の検出領域に対応する検出器とに対して選択的に前記タイミングパルスを供給することを特徴とする電子機器。 - 前記ビデオカメラより出力された画像の画面を水平方向にN分割した検出領域に対応したN個の第1の検出器と、垂直方向にM分割した検出領域に対応したM個の第2の検出器とを備え、
前記タイミングパルス発生器は、前記フラグ生成器が前記フラグを生成した後の所定の期間、前記制御器の制御に基づいて前記N個の第1の検出器または前記M個の第2の検出器に供給するタイミングパルスの幅を前記操作者が行う動作に応じて狭くすることを特徴とする請求項1記載の電子機器。 - 前記ビデオカメラより出力された画像の画面を水平方向にN分割、垂直方向にM分割して設けたN×M個の検出領域に対応したN×M個の検出器を備え、
前記制御器は、前記フラグ生成器が前記フラグを生成した後の所定の期間、前記N×M個の検出器の内、前記フラグが生成された特定の検出器から出力された第1の検出信号に基づく第2の検出信号と、前記特定の検出器に対応した特定の検出領域に隣接する検出領域を少なくとも含む前記特定の検出領域の近傍の検出領域に対応する検出器から出力された第1の検出信号に基づく第2の検出信号とを有効とし、他の検出器から出力された第1の検出信号に基づく第2の検出信号を無効とするように制御することを特徴とする請求項1記載の電子機器。 - 前記電子機器は、
前記ビデオカメラで撮影された画像の鏡像変換を行う鏡像変換器と、
少なくとも1つの操作用画像を生成する操作用画像生成器と、
前記鏡像変換器より出力された鏡像変換画像信号と前記操作用画像生成器より出力された操作用画像信号とを混合する混合器とを備え、
前記検出部は、前記混合器により混合された画像を前記表示装置に表示させた状態で、前記表示装置に表示された前記操作者が前記操作用画像を操作する所定の動作に対応した前記第1の検出信号を発生することを特徴とする請求項1ないし3いずれか一項に記載の電子機器。 - 前記検出部は、
前記ビデオカメラによって撮影された対象物を縦方向に移動させる第1の動作を検出した際に生成される第1の基準信号波形に対応するタップ係数と前記第2の検出信号とを乗算するデジタルフィルタと、
前記デジタルフィルタより出力される信号波形に基づいて前記操作者が行う動作が前記第1の動作であるか否かを検出する動作検出器とを備えることを特徴とする請求項1ないし4のいずれか一項に記載の電子機器。 - 前記検出部は、
前記ビデオカメラによって撮影された対象物を横方向に移動させる第2の動作を検出した際に生成される第2の基準信号波形に対応するタップ係数と前記第2の検出信号とを乗算するデジタルフィルタと、
前記デジタルフィルタより出力される信号波形に基づいて前記操作者が行う動作が前記第2の動作であるか否かを検出する動作検出器とを備えることを特徴とする請求項1ないし4のいずれか一項に記載の電子機器。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006297432A JP4569555B2 (ja) | 2005-12-14 | 2006-11-01 | 電子機器 |
CN2008101751572A CN101394500B (zh) | 2005-12-14 | 2006-12-14 | 电子设备及其控制方法 |
US11/638,489 US8130306B2 (en) | 2005-12-14 | 2006-12-14 | Electronic appliance using video camera responsive to detected motion of an operator within detection zones when the motion exceeds a threshold |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005360131 | 2005-12-14 | ||
JP2006297432A JP4569555B2 (ja) | 2005-12-14 | 2006-11-01 | 電子機器 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007189664A true JP2007189664A (ja) | 2007-07-26 |
JP4569555B2 JP4569555B2 (ja) | 2010-10-27 |
Family
ID=38138797
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006297432A Expired - Fee Related JP4569555B2 (ja) | 2005-12-14 | 2006-11-01 | 電子機器 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8130306B2 (ja) |
JP (1) | JP4569555B2 (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011529234A (ja) * | 2008-07-25 | 2011-12-01 | ジェスチャー テック,インコーポレイテッド | ウェーブエンゲージメントジェスチャの改良された検出 |
JP2012063805A (ja) * | 2010-09-14 | 2012-03-29 | Hitachi Ltd | 入力装置及び入力方法 |
JP2013030134A (ja) * | 2011-07-29 | 2013-02-07 | Toshiba Corp | 認識装置、方法及びプログラム |
JP2013250637A (ja) * | 2012-05-30 | 2013-12-12 | Toshiba Corp | 認識装置 |
WO2014002803A1 (ja) * | 2012-06-25 | 2014-01-03 | オムロン株式会社 | モーションセンサ、物体動作検知方法及び遊技機 |
JP2014006727A (ja) * | 2012-06-25 | 2014-01-16 | Omron Corp | モーションセンサ及び物体動作検知方法 |
JP2014004154A (ja) * | 2012-06-25 | 2014-01-16 | Omron Corp | 遊技機 |
WO2015015843A1 (ja) * | 2013-08-02 | 2015-02-05 | 三菱電機株式会社 | ジェスチャー判定装置及び方法、並びにジェスチャー操作装置、並びにプログラム及び記録媒体 |
US9377859B2 (en) | 2008-07-24 | 2016-06-28 | Qualcomm Incorporated | Enhanced detection of circular engagement gesture |
JP2018077876A (ja) * | 2013-04-02 | 2018-05-17 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4569555B2 (ja) * | 2005-12-14 | 2010-10-27 | 日本ビクター株式会社 | 電子機器 |
US8291346B2 (en) * | 2006-11-07 | 2012-10-16 | Apple Inc. | 3D remote control system employing absolute and relative position detection |
JP4720738B2 (ja) * | 2006-12-20 | 2011-07-13 | 日本ビクター株式会社 | 電子機器 |
JP4720874B2 (ja) * | 2008-08-14 | 2011-07-13 | ソニー株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
US20100277306A1 (en) * | 2009-05-01 | 2010-11-04 | Leviton Manufacturing Co., Inc. | Wireless occupancy sensing with accessible location power switching |
US20100295782A1 (en) * | 2009-05-21 | 2010-11-25 | Yehuda Binder | System and method for control based on face ore hand gesture detection |
US20110156911A1 (en) * | 2009-12-30 | 2011-06-30 | Leviton Manufacturing Co., Inc. | Occupancy-based control system |
EP2420410A1 (en) * | 2010-08-19 | 2012-02-22 | Harman Becker Automotive Systems GmbH | Method for Presenting an Image in a Vehicle |
KR20120046973A (ko) * | 2010-11-03 | 2012-05-11 | 삼성전자주식회사 | 움직임 정보 생성 방법 및 장치 |
KR101731346B1 (ko) * | 2010-11-12 | 2017-04-28 | 엘지전자 주식회사 | 멀티미디어 장치의 디스플레이화면 제공 방법 및 그에 따른 멀티미디어 장치 |
US8920241B2 (en) * | 2010-12-15 | 2014-12-30 | Microsoft Corporation | Gesture controlled persistent handles for interface guides |
US20130154913A1 (en) * | 2010-12-16 | 2013-06-20 | Siemens Corporation | Systems and methods for a gaze and gesture interface |
TW201227399A (en) * | 2010-12-24 | 2012-07-01 | Hon Hai Prec Ind Co Ltd | Motion recognition module, electronic device appling the motion recognition module and method thereof |
KR101880998B1 (ko) * | 2011-10-14 | 2018-07-24 | 삼성전자주식회사 | 이벤트 기반 비전 센서를 이용한 동작 인식 장치 및 방법 |
US20130201316A1 (en) | 2012-01-09 | 2013-08-08 | May Patents Ltd. | System and method for server based control |
TWI476706B (zh) * | 2012-04-30 | 2015-03-11 | Pixart Imaging Inc | 偵測物件移動輸出命令的方法及其系統 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08315154A (ja) * | 1995-02-21 | 1996-11-29 | Mitsubishi Electric Res Lab Inc | ジェスチャ認識システム |
JPH09245178A (ja) * | 1996-03-05 | 1997-09-19 | Hitachi Ltd | ジェスチャ動画像認識方法 |
JP2000196914A (ja) * | 1998-10-13 | 2000-07-14 | Sony Electronics Inc | 動作検知インタ―フェ―ス |
JP2002196855A (ja) * | 2000-10-06 | 2002-07-12 | Sony Computer Entertainment Inc | 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス |
JP2004356819A (ja) * | 2003-05-28 | 2004-12-16 | Sharp Corp | リモート操作装置 |
JP2006157379A (ja) * | 2004-11-29 | 2006-06-15 | Funai Electric Co Ltd | テレビジョン受像機 |
Family Cites Families (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4904854A (en) * | 1987-01-12 | 1990-02-27 | Minolta Camera Kabushiki Kaisha | Automatic focus detecting device having deviation compensation |
JPS63222582A (ja) * | 1987-03-12 | 1988-09-16 | Sanyo Electric Co Ltd | クランプ回路 |
US5005040A (en) * | 1988-05-16 | 1991-04-02 | Minolta Camera Kabushiki Kaisha | Automatic focus adjusting apparatus of a camera |
EP0364137A3 (en) * | 1988-09-29 | 1991-07-03 | Nikon Corporation | Automatic focus state detecting apparatus |
US5235428A (en) * | 1990-02-21 | 1993-08-10 | Sony Corporation | Auto-focus system for video camera |
US5581309A (en) * | 1992-02-03 | 1996-12-03 | Sanyo Electric Co., Ltd. | Motion vector detecting circuit |
US6160900A (en) * | 1994-02-04 | 2000-12-12 | Canon Kabushiki Kaisha | Method and apparatus for reducing the processing time required in motion vector detection |
JP3352238B2 (ja) * | 1994-07-26 | 2002-12-03 | キヤノン株式会社 | 視線検出装置及びカメラ |
US6704057B1 (en) * | 1995-03-24 | 2004-03-09 | Sony Corporation | Method of and apparatus for identifying a signal transmitting source |
EP0774865A3 (en) * | 1995-11-17 | 2000-06-07 | SANYO ELECTRIC Co., Ltd. | Video camera with high speed mode |
EP0837602A3 (en) * | 1996-10-17 | 1999-10-06 | Kabushiki Kaisha Toshiba | Letterbox image detection apparatus |
US5953506A (en) * | 1996-12-17 | 1999-09-14 | Adaptive Media Technologies | Method and apparatus that provides a scalable media delivery system |
JPH11338614A (ja) | 1998-05-27 | 1999-12-10 | Noritz Corp | 操作入力装置 |
US6418548B1 (en) * | 1999-02-12 | 2002-07-09 | Sony Corporation | Method and apparatus for preprocessing for peripheral erroneous data |
US6819360B1 (en) * | 1999-04-01 | 2004-11-16 | Olympus Corporation | Image pickup element and apparatus for focusing |
JP2001180160A (ja) * | 1999-12-22 | 2001-07-03 | Toshiba Corp | Idカード作成装置、idカード作成方法、及びidカード |
US6677887B2 (en) * | 2000-10-11 | 2004-01-13 | Southwest Microwave, Inc. | Intrusion detection radar system |
JP4017335B2 (ja) * | 2000-10-25 | 2007-12-05 | 三菱電機株式会社 | 映像信号の有効期間検出回路 |
JP4072751B2 (ja) * | 2001-04-20 | 2008-04-09 | 日本ビクター株式会社 | 再生装置 |
JP2003015579A (ja) * | 2001-07-03 | 2003-01-17 | Pioneer Electronic Corp | 表示位置制御装置 |
US7253833B2 (en) * | 2001-11-16 | 2007-08-07 | Autonetworks Technologies, Ltd. | Vehicle periphery visual recognition system, camera and vehicle periphery monitoring apparatus and vehicle periphery monitoring system |
JP3807669B2 (ja) | 2002-03-22 | 2006-08-09 | 日本放送協会 | 位置指定操作装置、並びに、位置指定情報符号化プログラム及び位置指定情報復号プログラム |
DE60329620D1 (de) * | 2002-08-30 | 2009-11-19 | Sony Corp | Bildextraktionseinrichtung, bildextraktionsverfahren, bildverarbeitungseinrichtung,bildverarbeitungsverfahren und abbildungseinrichtung |
US7421727B2 (en) * | 2003-02-14 | 2008-09-02 | Canon Kabushiki Kaisha | Motion detecting system, motion detecting method, motion detecting apparatus, and program for implementing the method |
JP3918788B2 (ja) * | 2003-08-06 | 2007-05-23 | コニカミノルタフォトイメージング株式会社 | 撮像装置、およびプログラム |
JP4419768B2 (ja) | 2004-09-21 | 2010-02-24 | 日本ビクター株式会社 | 電子機器の制御装置 |
US7586527B2 (en) * | 2005-01-07 | 2009-09-08 | Mediatek Usa Inc | Detecting smear leakage in an image sensor exposed to a bright light source |
JP3916637B2 (ja) * | 2005-03-08 | 2007-05-16 | 三菱電機株式会社 | 映像信号処理装置、映像信号処理方法、及び映像信号表示装置 |
US7679689B2 (en) * | 2005-05-16 | 2010-03-16 | Victor Company Of Japan, Limited | Electronic appliance |
US7894527B2 (en) * | 2005-09-16 | 2011-02-22 | Sony Corporation | Multi-stage linked process for adaptive motion vector sampling in video compression |
JP2007087100A (ja) * | 2005-09-22 | 2007-04-05 | Victor Co Of Japan Ltd | 電子機器システム |
JP4569555B2 (ja) * | 2005-12-14 | 2010-10-27 | 日本ビクター株式会社 | 電子機器 |
US8144121B2 (en) * | 2006-10-11 | 2012-03-27 | Victor Company Of Japan, Limited | Method and apparatus for controlling electronic appliance |
-
2006
- 2006-11-01 JP JP2006297432A patent/JP4569555B2/ja not_active Expired - Fee Related
- 2006-12-14 US US11/638,489 patent/US8130306B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08315154A (ja) * | 1995-02-21 | 1996-11-29 | Mitsubishi Electric Res Lab Inc | ジェスチャ認識システム |
JPH09245178A (ja) * | 1996-03-05 | 1997-09-19 | Hitachi Ltd | ジェスチャ動画像認識方法 |
JP2000196914A (ja) * | 1998-10-13 | 2000-07-14 | Sony Electronics Inc | 動作検知インタ―フェ―ス |
JP2002196855A (ja) * | 2000-10-06 | 2002-07-12 | Sony Computer Entertainment Inc | 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス |
JP2004356819A (ja) * | 2003-05-28 | 2004-12-16 | Sharp Corp | リモート操作装置 |
JP2006157379A (ja) * | 2004-11-29 | 2006-06-15 | Funai Electric Co Ltd | テレビジョン受像機 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9377859B2 (en) | 2008-07-24 | 2016-06-28 | Qualcomm Incorporated | Enhanced detection of circular engagement gesture |
US8737693B2 (en) | 2008-07-25 | 2014-05-27 | Qualcomm Incorporated | Enhanced detection of gesture |
US8605941B2 (en) | 2008-07-25 | 2013-12-10 | Qualcomm Incorporated | Enhanced detection of gesture |
JP2011529234A (ja) * | 2008-07-25 | 2011-12-01 | ジェスチャー テック,インコーポレイテッド | ウェーブエンゲージメントジェスチャの改良された検出 |
JP2012063805A (ja) * | 2010-09-14 | 2012-03-29 | Hitachi Ltd | 入力装置及び入力方法 |
JP2013030134A (ja) * | 2011-07-29 | 2013-02-07 | Toshiba Corp | 認識装置、方法及びプログラム |
JP2013250637A (ja) * | 2012-05-30 | 2013-12-12 | Toshiba Corp | 認識装置 |
JP2014006727A (ja) * | 2012-06-25 | 2014-01-16 | Omron Corp | モーションセンサ及び物体動作検知方法 |
JP2014004154A (ja) * | 2012-06-25 | 2014-01-16 | Omron Corp | 遊技機 |
WO2014002803A1 (ja) * | 2012-06-25 | 2014-01-03 | オムロン株式会社 | モーションセンサ、物体動作検知方法及び遊技機 |
US9789393B2 (en) | 2012-06-25 | 2017-10-17 | Omron Corporation | Motion sensor, object-motion detection method, and game machine |
JP2018077876A (ja) * | 2013-04-02 | 2018-05-17 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
WO2015015843A1 (ja) * | 2013-08-02 | 2015-02-05 | 三菱電機株式会社 | ジェスチャー判定装置及び方法、並びにジェスチャー操作装置、並びにプログラム及び記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP4569555B2 (ja) | 2010-10-27 |
US20070132725A1 (en) | 2007-06-14 |
US8130306B2 (en) | 2012-03-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4569555B2 (ja) | 電子機器 | |
JP4650381B2 (ja) | 電子機器 | |
US8144121B2 (en) | Method and apparatus for controlling electronic appliance | |
JP4419768B2 (ja) | 電子機器の制御装置 | |
US7853050B2 (en) | System and method for operation without touch by operators | |
JP5653206B2 (ja) | 映像処理装置 | |
US8884924B2 (en) | Information processing apparatus, information processing method, information recording medium, and program | |
US20120236180A1 (en) | Image adjustment method and electronics system using the same | |
US20160255303A1 (en) | Image display apparatus and image processing device | |
JP2006235771A (ja) | 遠隔操作装置 | |
JP2009089068A (ja) | 電子機器の制御装置、制御方法及び制御プログラム | |
KR20130081580A (ko) | 표시 장치 및 그 제어 방법 | |
JP2003316510A (ja) | 表示画面上に指示されたポイントを表示する表示装置、及び表示プログラム。 | |
JP2012238293A (ja) | 入力装置 | |
JP2004535610A (ja) | カメラビュー内の制御可能なディスプレイの前にある物体の位置の決定のための前景および背景画像データのロバストな分離のためのシステムおよび方法 | |
JP2009087095A (ja) | 電子機器の制御装置、制御方法及び制御プログラム | |
JPH0736440A (ja) | 動画表示装置 | |
CN101394500B (zh) | 电子设备及其控制方法 | |
WO2011096571A1 (ja) | 入力装置 | |
JP2008118633A (ja) | 電子機器の制御装置及び制御方法 | |
KR101414362B1 (ko) | 영상인지 기반 공간 베젤 인터페이스 방법 및 장치 | |
JP2008282131A (ja) | 電子機器の制御装置 | |
JP2009010849A (ja) | 電子機器の制御装置 | |
CN107277362A (zh) | 用于生成高清图像的方法和装置 | |
JP4544195B2 (ja) | 電子機器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100713 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100726 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130820 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4569555 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130820 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130820 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130820 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |