JP2014182748A - 信号処理装置、信号処理方法、及び信号処理プログラム - Google Patents

Abstract

【課題】認認識できなかった信号を認識できるようにする
【解決手段】信号処理装置において、入力された操作の特徴量の時系列から、特徴量の繰り返しを検出する繰り返し検出手段と、前記繰り返し検出手段により前記特徴量の繰り返しが検出された場合に、前記特徴量から予め設定された操作内容を認識するための認識条件を変更する認識条件変更手段と、前記認識条件変更手段が変更をした認識条件に基づいて、前記特徴量に対する操作内容を認識する認識手段とを有する。
【選択図】図１

Description

本発明は、信号処理装置、信号処理方法、及び信号処理プログラムに関する。

従来では、信号処理装置は、入力される信号から特定のクラス（例えば、操作や動作等）を認識し、認識したクラスに対応した処理を実行する。また、信号処理装置は、例えばタッチパネル上のある特定の動作を認識し、認識した動作をあるクラスに割り当てる処理を実行する。

信号処理装置は、それぞれのクラスに認識されるべき信号の条件を予め学習し、学習した信号の条件に合う信号が入力された場合に、該当するクラスに対応する処理を実行する。

しかしながら、入力した信号が特定のクラスに認識されるべき信号の条件から外れているような場合、信号処理装置は、該当のクラスとして認識しない。例えば、認識されるべき条件から少し遅い動作のために信号処理装置が認識できないジェスチャ（例えば、ゆっくり手を振る等）は、学習した信号の条件が変わらないと、手を振る速度が閾値を超えないため認識できない。

例えば、新規のジェスチャが複数回入力された場合に、新たなジェスチャとしてコマンドを割り当てる手法がある（例えば、特許文献１参照）。

特開２０１１−２０９７７３号公報

上述したように、入力された信号がある特定のクラスを示す信号の範囲から外れている場合、信号処理装置は、その特定のクラスの信号として認識することができない。そのような信号をその特定のクラスの信号として信号処理装置に認識をさせるには、信号処理装置に、どの範囲までが、その特定のクラス示す信号なのかを学習させる必要がある。或いは、既存のクラスとそのクラスに対応した処理とは別に、複数回入力された新たなジェスチャに対応した処理を学習させるための処理を行う必要がある。

１つの側面では、本発明は、認識できなかった信号を認識できるようにすることを目的とする。

一態様における信号処理装置は、入力された操作の特徴量の時系列から、特徴量の繰り返しを検出する繰り返し検出手段と、前記繰り返し検出手段により前記特徴量の繰り返しが検出された場合に、前記特徴量から予め設定された操作内容を認識するための認識条件を変更する認識条件変更手段と、前記認識条件変更手段が変更をした認識条件に基づいて、前記特徴量に対する操作内容を認識する認識手段とを有する。

認識できなかった信号を認識できるようにすることができる。

本実施形態における信号処理装置の機能構成例を示す図である。 信号処理が実現可能なハードウェア構成の一例を示す図である。 本実施形態における信号処理装置の処理の一例を示すフローチャートである。 フレームｔでの入力画像の一例を示す図である。 ＨＳ平面上での肌領域の一例を示す図である。 特徴量抽出手段の処理の一例を示すフローチャートである。 手の動きとその推移について説明するための図である。 区間検出手段による候補区間の検出例を示す図である。 区間検出手段の処理の一例を示すフローチャートである。 音声に対する候補区間の検出例を示す図である。 候補区間検出の具体例を示す図である。 繰り返し検出手段を説明するための図である。 繰り返し検出手段の処理の一例を示すフローチャートである。 パラメータ変更の具体例を示す図である。 タッチの位置座標と間隔の一例を示す図である。

以下、添付図面を参照しながら実施例について詳細に説明する。

＜信号処理装置の機能構成例＞
図１は、本実施形態における信号処理装置の機能構成例を示す図である。図１に示す信号処理装置１０は、入力手段１１と、出力手段１２と、記憶手段１３と、時系列情報取得手段１４と、特徴量抽出手段１５と、認識手段１６と、区間検出手段１７と、繰り返し検出手段１８と、同定手段１９と、パラメータ変更手段（認識条件変更手段）２０と、操作実行手段２１と、送受信手段２２と、制御手段２３とを有する。

入力手段１１は、信号処理装置１０を使用するユーザ等からの各種指示の開始や終了、設定の入力等の各種入力を受け付ける。具体的には、入力手段１１は、例えば本実施形態における時系列情報取得指示、特徴量抽出指示、区間検出指示、繰り返し検出指示、同定指示、パラメータ変更指示、認識指示、操作実行指示、送受信指示等の各指示を受け付ける。

入力手段１１は、例えばキーボードやマウス等でもよく、また画面を用いたタッチパネル形式等でもよく、或いは例えばマイクロフォンや撮像装置等でもよい。

出力手段１２は、入力手段１１により入力された内容や、入力内容に基づいて実行された内容等の出力を行う。なお、出力手段１２は、例えば画面表示により出力する場合には、ディスプレイやモニタ等の表示手段を有し、音声により出力する場合には、例えばスピーカ等の音声出力手段を有する。また、入力手段１１と出力手段１２とは、例えばタッチパネル等のように入出力が一体型であってもよい。

記憶手段１３は、本実施形態において必要となる各種情報を記憶する。具体的には、記憶手段１３は、例えば入力手段１１、又はユーザの手や指、体等の動作、顔等を撮影するカメラ等の撮像手段３０から得られる入力信号の時系列情報、特徴量抽出結果等を記憶する。また、記憶手段１３は、例えば特徴量に対して予め設定されるクラス（例えば、操作内容等）を特定するためのパラメータ（認識条件）、区間検出結果、繰り返し検出結果、人物等による同定結果、操作内容を特定するためのパラメータの設定内容等を記憶する。また、記憶手段１３は、認識結果、操作実行結果、送受信結果、本実施形態における信号処理が実現可能な各処理を実行するための設定情報、ユーザを識別（同定）するためのユーザ情報、各種処理の実行経過や結果等を記憶する。なお、記憶手段１３に記憶される情報は、上述した情報に限定されるものではない。

また、記憶手段１３は、記憶された各種情報を必要に応じて所定のタイミングで読み出したり、書き込んだりする。また、記憶手段１３は、それらの情報を、例えばキーワード等を用いて検索し、抽出することができるように体系的に構成されているデータベースとして機能をしてもよい。記憶手段１３は、例えばハードディスクやメモリ等である。

時系列情報取得手段１４は、例えばユーザの動作内容又は操作内容、音声内容等の各種の入力情報を時系列で取得する。例えば、時系列情報取得手段１４は、カメラ等の撮像手段３０からユーザの手や指、体等の動作を撮影した映像を取得することができるが、これに限定されるものではない。なお、時系列情報取得手段１４は、同定手段１９で入力信号を入力しているユーザを同定するために、撮像手段３０からユーザの顔画像を取得してもよい。

また、時系列情報取得手段１４は、例えば入力手段１１により入力されたユーザの操作内容等を時系列で取得する。例えば、時系列情報取得手段１４は、入力手段１１の一例としてのマイク等から得られる音声信号を時系列で取得する。また、入力手段１１の一例としてのタッチパネル等から得られる指やタッチペン等の検知信号を時系列で取得してもよい。時系列情報取得手段１４により取得された入力信号の時系列情報は、記憶手段１３に記憶される。

特徴量抽出手段１５は、時系列情報取得手段１４により得られた入力信号の時系列情報からユーザの動作、音声等の特徴量を取得する。例えば、特徴量抽出手段１５は、ユーザの手によるジェスチャ動作を特徴量とすることができる。この場合、例えばユーザの手の向き、移動方向、速度、繰り返し量（例えば、回転回数等）を特徴量として抽出する。なお、回転回数とは、例えば手で円弧を描く動作をしたときの手を回転させた回数である。

また、特徴量抽出手段１５は、例えば各種の入力信号から操作内容等の認識に用いる特徴を抽出する。例えば、映像信号では、所望のオブジェクトの画像上での位置座標や形状が持つ特徴（例えば、モーメント特徴）等を特徴量として抽出する。また、音声信号では、振幅情報やケプストラム情報（例えば、Mel Frequency Cepstrum Coefficients（ＭＦＣＣ、メル周波数ケプストラム係数））等を特徴量として抽出する。また、タッチ操作では、検知されたタッチの時系列における位置座標や移動速度、タッチパネルへの押圧力等を特徴量として抽出する。特徴量抽出手段１５が抽出する特徴量としては、これに限定されるものではなく、上述した複数の特徴量を組み合わせてもよい。抽出された特徴量は、記憶手段１３に記憶される。

特徴量抽出手段１５は、撮像手段３０から得られる映像のうち、以前のフレームで得られた対象となる入力信号に対する特徴量を記憶手段１３に記憶する。

認識手段１６は、特徴量抽出手段１５により抽出された特徴量と、予め記憶手段１３に記憶された所定の特徴量毎に予め設定されるクラス（例えば、操作内容）を特定するためのパラメータ（認識条件）とに基づいて、クラスの特定を行い、操作内容等を認識する。

操作内容等の認識は、例えば予め操作内容毎にそれぞれ設定されている特徴量の範囲（パラメータ）に、特徴量抽出手段１５により抽出された特徴量が含まれるか否かを判断することで行う。そして、認識手段１６は、特徴量抽出手段１５が抽出した特徴量がパラメータの特徴量の範囲に含まれていれば、そのパラメータに対応する操作内容として認識する。

なお、認識手段１６は、抽出された特徴量と認識条件との比較により、操作内容等が認識できた場合には、その認識結果を操作実行手段２１に出力し、所定の処理を行う。

また、認識手段１６は、認識条件との比較により、抽出された特徴量から特定のクラスの認識ができなかった場合、後述するパラメータ変更手段２０により、変更された認識条件を用いて、特徴量抽出手段１５により抽出された特徴量に対する操作内容等の認識を行う。なお、パラメータは、ある認識結果が得られるまで、又は、所定回数の認識が行われるまで、段階的に変更することができるが、これに限定されるものではない。なお、認識手段１６は、操作内容だけでなく動作内容を認識してもよい。また、認識手段１６は、単一の認識条件についてそのパラメータを変更する以外に、パラメータを変更する前の認識条件の「第１の認識条件」と、パラメータを変更した後の認識条件の「第２の認識条件」というように、複数の認識条件を持つようにしてもよい。

区間検出手段１７は、認識手段１６において特徴量抽出手段１５から得られる特徴量が、ある所定の操作内容等として認識されなかった場合に、特徴量の変位が予め設定された閾値よりも大きくなる変位を有する所定の区間を候補区間として検出する。つまり、特徴量の時系列に変化がない場合には、ユーザが何も入力していないものと判断できるが、特徴量の時系列に閾値以上の変化がある場合には、ユーザが何らかの入力動作を行っているにもかかわらず認識できていいない区間であると判断することができる。したがって、区間検出手段１７は、特徴量の変位が大きい区間を検出する。

また、区間検出手段１７は、所定の変位量を有する特徴量が所定間隔内で連続している区間を検出する。なお、区間検出手段１７は、認識手段１６において特徴量抽出手段１５から得られる特徴量が、ある所定の操作内容等として認識されたか否かに関係なく、上述した区間検出を行ってもよい。

繰り返し検出手段１８は、区間検出手段１７により検出された候補区間に対して、繰り返し動作があるか否かを検出する。具体的には、繰り返し検出手段１８は、候補区間に含まれる特徴量の時系列信号のうち、特徴量に所定の変位量のある区間毎に切り出し、各区間における自己相関を取り、周期性があるかどうかを判断する。つまり、繰り返し検出手段１８は、特徴量の周期を基準として時間シフトしたときの類似性等に基づいて、予め設定された閾値以上の類似度がある場合に、繰り返し動作が行われたことを検出するが、これに限定されるものではない。

なお、繰り返し検出手段１８は、繰り返し動作を検出した場合にその回数を検出してもよく、また予め設定された回数以上の繰り返しがあった場合に、動作の繰り返しがあったものとして繰り返しを検出してもよいが、これに限定されるものではない。

同定手段１９は、時系列情報を入力した人物を同定する。具体的には、同定手段１９は、入力手段１１等により入力されるユーザ識別情報（ユーザＩＤやパスワード）や、撮像手段３０から得られるユーザの顔画像と、予め設定されたユーザ情報とを照合することで、ユーザを同定する。なお、顔による人物の識別については、例えば「Ying-Hao Wang,Yen-Te Shih,K.-C.Cheng,Chih-Jui Lin,and Tzuu-Hseng S.Li,"Real-time image processing of human face identification for home service robot,"Proc. of IEEE/SICE Int.Symp.On System Integration,pp.1171-1176.2011.」に示される手法を用いることができるが、これに限定されるものではない。

同定手段１９における処理により、予め記憶手段１３に記憶されたユーザ（人物）毎の認識条件（パラメータ）から、同定手段１９により同定されたユーザに対応するパラメータを抽出することができる。したがって、後述するパラメータ変更手段２０は、特定の人物に対応する認識条件のみを変更させることができる。

例えば、一般的なジェスチャ動作については、ユーザ（人物）毎に動作が大きく異なる場合がある。そのような場合には、認識条件を、そのユーザ毎に変更してもよい。したがって、本実施形態に示すように、ユーザを同定することで、その同定した人物情報に対応させて記憶手段１３に記憶させた認識条件を用いて、操作内容の認識等を適切に行うことができる。

なお、上述した同定手段１９における動作は、個人が所有するスマートフォン等の通信端末の場合には、その所有者しか使用しない可能性が高いため、同定手段１９における機能を有していなくてもよい。

パラメータ変更手段２０は、区間検出手段１７によって検出された、今まで認識されなかった動作内容が所定の操作内容として認識できるように、パラメータ（認識条件）を変更する。具体的には、パラメータ変更手段２０は、特徴量からクラスを特定するために予め設定された各認識条件のパラメータ（第１の認識条件）を、繰り返し検出手段１８で検出された繰り返し動作が何れかのクラスに特定をされるように変更する。変更されたパラメータ（第２の認識条件）は、記憶手段１３に記憶される。

なお、パラメータの変更とは、例えば、パラメータの値を緩和するか、又は、入力信号に対応した特徴量の時系列を変化させることを示すがこれに限定されるものではない。

また、変更されるパラメータは、予め設定された操作内容毎のパラメータの全てを対象にしてもよく、繰り返しの特徴量時系列との類似度が所定の閾値以上の近似する特徴量時系列を有するパラメータを対象にしてもよい。更に、予めユーザ等が指定したパラメータだけを対象にしてもよい。また、上述した繰り返しの特徴量時系列との類似度は、繰り返される個々の特徴量時系列を基準にして類似度の判定を行ってもよく、また繰り返される特徴量時系列の平均値等を基準にして類似度の判定を行ってもよい。

パラメータ変更手段２０は、パラメータ（認識条件）を変更することに代えて、特徴量抽出手段１５が抽出をした特徴量を増減するようにしてもよい。この際、認識手段１６は、パラメータ変更手段２０が増減をした特徴量と、固定したパラメータ（認識条件）とから操作内容の認識を行う。

更に、パラメータ変更手段２０は、パラメータ（認識条件）を変更すると共に、特徴量抽出手段１５が抽出をした特徴量を増減するようにしてもよい。この際、認識手段１６は、パラメータ変更手段２０が増減をした特徴量と、変更をしたパラメータ（認識条件）とから操作内容の認識を行う。

なお、上述した特徴量は、例えば繰り返しのある信号（特徴量）の時系列の振幅や周波数等を調整したり、所定倍率で増幅したり、他の信号と重畳させることで増減させることができるが、これに限定されるものではない。

また、パラメータ変更手段２０は、同定手段１９によりユーザの同定を行っている場合には、その同定されたユーザに対応して設定されているパラメータを変更する。

本実施形態では、パラメータ変更手段２０により変更されたパラメータを用いることで、認識手段１６による認識処理において、認識できなかった操作を認識できるようにすることができる。

なお、パラメータ変更手段２０は、変更される前のパラメータの内容を記憶手段１３に記憶しておき、所定時間の経過後や所定の動作終了後、又はユーザからの指示等により、認識手段１６が用いる認識条件を、変更された後のパラメータ（第２の認識条件）から変更される前のパラメータ（第１の認識条件）に戻す処理（初期化処理）を行う。これにより、類似する特徴量や認識条件が、元々の条件から離れて過ぎてしまうことを防止することができ、操作内容の誤認識等を防止することができる。

操作実行手段２１は、認識手段１６により得られる認識結果に基づいて、操作を実行する。なお、操作内容とは、例えば画面のページ送りや拡大・縮小、印刷、所定のアプリケーション（例えば、ウェブブラウザやワープロソフト、表計算ソフト、メール、Social Networking Service（ＳＮＳ））の起動や終了等があるが、これに限定されるものではない。

送受信手段２２は、例えばインターネットやLocal Area Network（ＬＡＮ）等の通信ネットワークを介して外部装置と各種情報の送受信を行うための通信手段である。送受信手段２２は、外部装置等にすでに記憶されている各種情報等を受信することができ、また信号処理装置１０で処理された結果を、通信ネットワーク等を介して外部装置等に送信することもできる。

制御手段２３は、信号処理装置１０の各構成部全体の制御を行う。具体的には、制御手段２３は、例えばユーザ等による入力手段１１からの指示等に基づいて、信号処理に関する各制御を行う。ここで、各制御とは、例えば上述した時系列情報取得手段１４に時系列情報を取得させる、特徴量抽出手段１５に特徴量を抽出させる、認識手段１６に操作内容を認識させる、区間検出手段１７に候補区間を検出させる、同定手段１９に人物同定をさせる等がある。更に、各制御とは、例えば上述したパラメータ変更手段２０に認識条件の更新をさせる、操作実行手段２１に操作実行をさせる等があるが、これらに限定されるものではない。

なお、図１に示す撮像手段３０は、信号処理装置１０の外部に設けているが、これに限定されるものではなく、信号処理装置１０に内蔵されていてもよい。

上述した信号処理装置１０の例としては、例えばPersonal Computer（ＰＣ）やサーバ、スマートフォンやタブレット端末等の通信端末、携帯電話等があるが、これに限定されるものではない。例えば、信号処理装置１０の他の例としては、ゲーム機器、音楽再生装置、カーナビゲーションシステム等にも利用することができる。

上述した本実施形態により、学習フェーズを陽に与えることなく、繰り返し操作を検知して、今まで認識できなかった信号を検出し、その信号に対して何らかの操作内容として認識させることができる。

＜信号処理装置１０のハードウェア構成例＞
本実施形態では、各機能をコンピュータに実行させることができる実行プログラム（信号処理プログラム）を、例えば汎用のＰＣや、スマートフォン等の通信端末等にインストールすることにより、本実施形態における信号処理を実現することができる。ここで、本実施形態における信号処理が実現可能なコンピュータ（信号処理装置１０）のハードウェア構成例について図を用いて説明する。

図２は、信号処理が実現可能なハードウェア構成の一例を示す図である。図２におけるコンピュータ本体には、入力装置４１と、出力装置４２と、ドライブ装置４３と、補助記憶装置４４と、主記憶装置４５と、各種制御を行うCentral Processing Unit（ＣＰＵ）４６と、ネットワーク接続装置４７とを有し、これらはシステムバスＢで相互に接続されている。

入力装置４１は、ユーザ等が操作するキーボード及びマウス等のポインティングデバイスや、マイクロフォン等の音声入力デバイスを有しており、ユーザ等からのプログラムの実行指示、各種操作情報、ソフトウェア等を起動するための情報等の入力を受け付ける。

出力装置４２は、本実施形態における処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイを有し、ＣＰＵ４６が有する制御プログラムによりプログラムの実行経過や結果等を表示する。

ここで、本実施形態においてコンピュータ本体にインストールされる実行プログラムは、例えば、Universal Serial Bus（ＵＳＢ）メモリやＣＤ−ＲＯＭ、ＤＶＤ等の可搬型の記録媒体４８等により提供される。プログラムを記録した記録媒体４８は、ドライブ装置４３にセット可能であり、ＣＰＵ４６からの制御信号に基づき、記録媒体４８に含まれる実行プログラムが、記録媒体４８からドライブ装置４３を介して補助記憶装置４４にインストールされる。

補助記憶装置４４は、例えばハードディスクドライブやSolid State Drive（ＳＳＤ）等のストレージ手段等である。補助記憶装置４４は、ＣＰＵ４６からの制御信号に基づき、本実施形態における実行プログラムや、コンピュータに設けられた制御プログラム等を記憶し、必要に応じて入出力を行うことができる。補助記憶装置４４は、ＣＰＵ４６からの制御信号等に基づいて、記憶された各情報から必要な情報を読み出したり、書き込むことができる。

主記憶装置４５は、ＣＰＵ４６により補助記憶装置４４から読み出された実行プログラム等を格納する。なお、主記憶装置４５は、Read Only Memory（ＲＯＭ）やRandom Access Memory（ＲＡＭ）等である。なお、補助記憶装置４４及び主記憶装置４５は、例えば上述した記憶手段１３に対応している。

ＣＰＵ４６は、オペレーティングシステム等の制御プログラム、及び主記憶装置４５に格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して各処理を実現することができる。なお、プログラムの実行中に必要な各種情報等は、補助記憶装置４４から取得することができ、また実行結果等を格納することもできる。

具体的には、ＣＰＵ４６は、例えば入力装置４１から得られるプログラムの実行指示等に基づき、補助記憶装置４４にインストールされたプログラムを実行させることにより、主記憶装置４５上でプログラムに対応する処理を行う。例えば、ＣＰＵ４６は、信号処理プログラムを実行させることで、上述した時系列情報取得手段１４による時系列情報の取得、特徴量抽出手段１５による特徴量の抽出、認識手段１６による操作内容の認識等の処理を行う。また、ＣＰＵ４６は、区間検出手段１７による候補区間の検出、繰り返し検出手段１８による動作の繰り返しの検出、同定手段１９による人物同定、パラメータ変更手段２０によるパラメータの変更、操作実行手段２１による操作実行等の処理を行う。なお、ＣＰＵ４６における処理内容は、これに限定されるものではない。ＣＰＵ４６により実行された内容は、必要に応じて補助記憶装置４４に記憶される。

ネットワーク接続装置４７は、ＣＰＵ４６からの制御信号に基づき、通信ネットワーク等と接続することにより、実行プログラムやソフトウェア、設定情報等を、通信ネットワークに接続されている外部装置等から取得する。また、ネットワーク接続装置４７は、プログラムを実行することで得られた実行結果又は本実施形態における実行プログラム自体を外部装置等に提供することができる。

上述したようなハードウェア構成により、本実施形態における信号処理を実行することができる。また、プログラムをインストールすることにより、汎用のＰＣや通信端末等で本実施形態における信号処理を容易に実現することができる。

＜信号処理装置１０の処理の例＞
ここで、本実施形態における信号処理装置１０の処理の一例について、フローチャートを用いて説明する。図３は、本実施形態における信号処理装置の処理の一例を示すフローチャートである。

信号処理装置１０の時系列情報取得手段１４は、ユーザによる入力信号の時系列情報を取得する（Ｓ０１）。入力信号とは、例えば上述したように撮像手段３０から得られるユーザの手や指、体等の動き（ジェスチャ）や音声情報、タッチパネルによる指やタッチペン等の検知信号等があるが、これに限定されるものではない。なお、Ｓ０１の処理は、時系列情報を撮像手段３０から取得する以外に、予め記憶手段１３に記憶をした時系列情報を取得するようにしてもよい。

信号処理装置１０の特徴量抽出手段１５は、取得した時系列情報に対する特徴量を抽出する（Ｓ０２）。

信号処理装置１０の認識手段１６は、抽出した特徴量と、予め設定された特定の操作内容（クラス）を認識するためのパラメータ（第１の認識条件）とを照合して操作内容の認識を行い（Ｓ０３）、特定の操作内容として認識されたか否かを判断する（Ｓ０４）。Ｓ０３の処理において、認識手段１６は、例えば予め操作内容毎にそれぞれ設定されている特徴量の範囲に、Ｓ０２の処理で抽出された特徴量が含まれるか否かを判断する。そして、パラメータの特徴量の範囲に含まれていれば、認識手段１６は、そのパラメータに対応する操作内容として認識する。

信号処理装置１０の区間検出手段１７は、認識手段１６が特定の操作内容と認識しなかった場合（Ｓ０４において、ＮＯ）、Ｓ０２の処理により抽出した特徴量の時系列信号から特徴量の変位が所定の閾値以上の区間を動作候補区間として検出する（Ｓ０５）。

信号処理装置１０の繰り返し検出手段１８は、検出された動作候補区間に含まれる繰り返し動作を検出する（Ｓ０６）。なお、繰り返し動作とは、例えば同一又は類似する動作の繰り返しを意味する。

信号処理装置１０の同定手段１９は、繰り返し検出手段１８が所定数の繰り返しを検出した場合（Ｓ０７において、ＹＥＳ）、人物同定を行う（Ｓ０８）。信号処理装置１０のパラメータ変更手段２０は、パラメータの変更を行う（Ｓ０９）。

パラメータの変更とは、例えばＳ０３の処理において、操作内容が認識できなかった特徴量に対しても、予め設定された操作内容のうち、所定の操作内容として認識されるように、現在の認識条件から変更することをいうが、これに限定されるものではない。

また、信号処理装置１０のパラメータ変更手段２０は、上述したＳ０８の人物同定により、その人物（ユーザ）毎に設定された認識条件に対してのパラメータを変更する。

信号処理装置１０の認識手段１６は、Ｓ０９の処理において、変更されたパラメータ（第２の認識条件）を用いて、Ｓ０２の処理で取得した特徴量に対する認識処理を行う（Ｓ１０）。

信号処理装置１０の認識手段１６が認識をしない場合（Ｓ１１において、ＮＯ）、信号処理装置１０のパラメータ変更手段２０は、変更をしたパラメータの設定（第２の認識条件）を更に変更する。

信号処理装置１０の操作実行手段２１は、Ｓ０４の処理において、又は、Ｓ１１の処理において認識手段１６がクラスを認識した場合（Ｓ０４において、ＹＥＳ、又は、Ｓ１１において、ＹＥＳ）、認識された操作に対応をする処理を実行する（Ｓ１２）。

信号処理装置１０は、Ｓ０７の処理において、所定数の繰り返しが検出されていない場合（Ｓ０７において、ＮＯ）、又は、Ｓ１２の処理後、ユーザの指示等により、処理を終了するか否かを判断する（Ｓ１３）。信号処理装置１０は、処理を終了しない場合（Ｓ１３において、ＮＯ）、Ｓ０１の処理に戻り、後続の処理を行う。このとき、Ｓ０３の認識処理で参照されるパラメータは、Ｓ０９の処理で変更されたパラメータ（第２の認識条件）となる。したがって、次回以降の認識手段１６は、前回の処理では認識できなかったユーザによる入力信号を、操作内容として認識することが可能になる。

また、信号処理装置１０のパラメータ変更手段２０は、Ｓ１３の処理において、ユーザの指示等により処理を終了する場合（Ｓ１３において、ＹＥＳ）、Ｓ０９の処理で変更したパラメータ（第２の認識条件）を初期化して、変更される前のパラメータ（第1の認識条件）に戻して処理を終了してもよい（Ｓ１４）。これにより、パラメータを変更しすぎることによる誤認識を防止することができる。なお、元のパラメータに戻すタイミングは、Ｓ１４のタイミングに限定されるものではなく、例えば所定の期間経過後やユーザからの指示があった場合にパラメータの初期化を行ってもよい。

或いは、信号処理装置１０のパラメータ変更手段２０は、変更をした１又は複数のパラメータのうち、認識手段１６が認識をしたクラスに関する変更をしたパラメータ（第２の認識条件）については、所定の期間経過後やユーザからの指示があった場合にパラメータの初期化（第１の認識条件に戻す）をしてもよい。また、信号処理装置１０のパラメータ変更手段２０は、認識手段１６が認識をしていないクラスに関する変更をしたパラメータ（第２の認識条件）については、信号処理を終了する場合にパラメータの初期化（第１の認識条件に戻す）をしてもよい。

また、上述した例では、Ｓ０５の処理において区間検出ができなかった場合や、Ｓ１１の処理において、パラメータを所定回数以上拡大しても認識されなかった場合には、処理を終了してもよい。上述したように、本実施形態では、認識できなかった信号を認識することができる。

なお、パラメータ変更手段２０は、Ｓ０３の処理において認識処理により認識されなかったときに、パラメータを変更する処理を行っているが、これに限定されるものではない。例えば、Ｓ０３，Ｓ０４の処理を行わずに、Ｓ０５及びＳ０６の処理において所定の区間内における特徴量の繰り返しを検出した場合にパラメータの変更を行ってもよい。

また、上述した処理では、同定手段１９がＳ０８に示す人物同定処理を行っているが、これに限定されるものではない。人物同定を行わない場合、パラメータ変更手段２０は、Ｓ０９のパラメータ変更処理において、ユーザ共通の認識条件に対してパラメータの変更を行う。

＜信号処理の具体例＞
次に、上述した信号処理の具体例について、図を用いて説明する。なお、以下の説明では、例えば撮像手段３０から撮影される映像（画像フレームの時系列情報）からユーザのジェスチャ動作を取得して操作内容を認識する例について説明する。その場合、出力される特徴は、ユーザの手の重心座標を表すものとする。

＜特徴量抽出処理の一例＞
まず、上述した特徴量抽出処理の一例について具体的に説明する。図４は、フレームｔでの入力画像の一例を示す図である。本実施形態では、信号処理装置１０の特徴量抽出手段１５は、入力される時系列の画像情報Ｉ（ｘ，ｙ，ｔ）から特徴量を抽出する。

ここで、Ｉ（ｘ，ｙ，ｔ）は、例えば任意の色空間で表現されたカラー画像で与えられ、更に画像左上等を原点とする座標系（ｘ，ｙ）を持つ。また、フレームｔとは、時系列上の時間ｔにおけるフレームを示す。つまり、本実施形態では、信号処理装置１０の特徴量抽出手段１５は、図４に示すように、フレーム毎の各座標に対応する画素の色情報（Ｒ，Ｇ，Ｂ）に基づいて特徴量を抽出する。

なお、図４の例では、フレーム画像がＲＧＢの色空間で与えられるものとするが、例えばＹＵＶやＨＳＶ等の色空間に基づく情報が入力されてもよい。ＹＵＶやＨＳＶ等が入力された場合には、他の色空間との間で変換すればよい。

時系列の特徴量として、手の位置を表す画像上の座標を用いる場合、信号処理装置１０の特徴量抽出手段１５は、例えばフレーム画像から肌色の部分を切り出し、必要に応じて顔の部分を除去し、手の領域を切り出した画像から、その領域の重心座標を手の座標として用いる。

一例として、肌の領域を検出する場合であって、画像データのＲＧＢをＨＳＶへの変換する場合には、以下に示す（１）式が用いられる。

また、図５は、ＨＳ平面上での肌領域の一例を示す図である。本実施形態において、信号処理装置１０の特徴量抽出手段１５は、上述した（１）式によるＨＳＶへの変換に対し、ＨＳＶ空間に画素のＲＧＢ値を変換し、明度Ｖが閾値以上で、かつ色相Ｈと彩度Ｓに対して特定の値を持つ画素だけを肌の画素として抽出する。その場合、彩度Ｓは以下示す（２）式によって求められる。

この結果、得られた画像は、肌を表す画素が「１」、肌を表す画素でない画素が「０」となる。この画像を肌画像Ｃｔ＝Ｃ（ｘ，ｙ，ｔ）と記述する。

ここで、上述した特徴量抽出手段１５の処理の一例について、フローチャートを用いて説明する。図６は、特徴量抽出手段の処理の一例を示すフローチャートである。信号処理装置１０の特徴量抽出手段１５は、まず、フレーム中の各画素の色情報（Ｒ，Ｇ，Ｂ）を取得（画像（Ｒ，Ｇ，Ｂ）＝Ｉ（ｘ，ｙ，ｔ））し（Ｓ２１）、画像サイズ（ｄｘ，ｄｙ）を取得する（Ｓ２２）。

信号処理装置１０の特徴量抽出手段１５は、上述した処理等を用いて肌画像Ｃ（ｘ，ｙ，ｔ）を算出し（Ｓ２３）、肌ラベル画像Ｌ（ｘ，ｙ，ｔ）を取得する（Ｓ２４）。ここで、特徴量抽出処理は、初期値として、Ｃ（ｘ，ｙ，ｔ）全体を０にし（Ｓ２５）、Ｙ方向パラメータｉ＝０とし（Ｓ２６）、Ｘ方向パラメータｊ＝０とする（Ｓ２７）。

信号処理装置１０の特徴量抽出手段１５は、上述した（１）式を用いて、ＲＧＢ色空間からＨＳＶ色空間への変換を行う（Ｓ２８）。信号処理装置１０の特徴量抽出手段１５は、変換されたＨＳＶ空間における彩度Ｓ及び色相Ｈの値が、それぞれ予め設定された最小値より大きく、予め設定された最大値よりも小さいか否かを判断する（Ｓ２９）。つまり、Ｓ２９の処理では、信号処理装置１０の特徴量抽出手段１５は各画素毎にＳ，Ｈを求め、求めた値が予め設定された閾値領域の内部であるか否かを判断する（Ｓｍｉｎ＜Ｓ＜Ｓｍａｘ、かつ、Ｈｍｉｎ＜Ｈ＜Ｈｍａｘ）。

ここで、Ｓ２９の条件を満たす場合（Ｓ２９において、ＹＥＳ）、内部の画素のみ、対応するＣの画素を「１」にする（Ｃ（ｊ，ｉ，ｔ）＝１）（Ｓ３０）。信号処理装置１０の特徴量抽出手段１５は、Ｓ３０の処理後、又はＳ２９の処理の条件を満たさない場合（Ｓ２９において、ＮＯ）、信号処理装置１０の特徴量抽出手段１５は、ｊの値をインクリメント（＋１）し（Ｓ３１）、ｊがｄｘ未満か否かを判断する（Ｓ３２）。

信号処理装置１０の特徴量抽出手段１５は、ｊがｄｘ未満である場合（Ｓ３２において、ＹＥＳ）、Ｓ２８の処理に戻る。或いは、ｊがｄｘ未満でない場合（Ｓ３２において、ＮＯ）、信号処理装置１０の特徴量抽出手段１５は、ｉの値をインクリメント（＋１）し（Ｓ３３）、ｉがｄｙ未満か否かを判断する（Ｓ３４）。ｉがｄｙ未満である場合（Ｓ３４において、ＹＥＳ）、Ｓ２７の処理に戻る。

ｊがｄｘ未満でない場合（Ｓ３４において、ＮＯ）、信号処理装置１０の特徴量抽出手段１５は、ラベリング処理によるＬＴの生成を行う（Ｓ３５）。信号処理装置１０の特徴量抽出手段１５は、特徴量として例えばモーメント等の特徴を取得し（Ｓ３６）、得られた手の特徴を記憶手段１３等に記憶する（Ｓ３７）。

なお、図６に示す特徴量抽出処理では、信号処理装置１０の特徴量抽出手段１５は、Ｓ３５に示すようなラベリング処理を行って小領域の削除をしているが、上述の処理を行わなくてもよい。ラベリング処理（Connected Component処理）とは、領域間の分離、接合関係を与えるものであり、肌の領域だけを辿って繋がる二つの肌の画素については同じラベルが、そうでないものには異なるラベルを付与する。また、Ｓ３５の処理では、信号処理装置１０の特徴量抽出手段１５は、上述の手法にて付与されたラベルに基づく領域間の分離、接合関係をラベルテーブル（ＬＴ）として生成する。これによって、領域が孤立しているかどうかが分かり、更に予め与える閾値Ｔｈｒ以下の画素を持つラベルの領域を削除することによって、小領域の肌領域のみを削除することができる。ラベリングは、例えば「R. M. Haralick and L. Shapiro, Computer and robot vision, Addison-Wesley, pp.28-48, 1992.」に示すような手法を用いることができるが、これに限定されるものではない。

本実施形態では、上述したような処理により、例えばジェスチャ認識等に使用する領域を決定する。例えば、顔の領域を除去したい場合には、顔検出アルゴリズムで検出した顔領域に重複する領域を除去することで必要な領域のみを対象にすることができる。

この結果、信号処理装置１０の特徴量抽出手段１５は、各フレームでの重心座標（ｘｔ，ｙｔ）（＝一次のモーメント特徴）を特徴量ｗ（ｔ）として抽出することができる。また、別の特徴として、モーメント特徴Ｍ０として領域の大きさＭｘｘ，Ｍｘｙ，Ｍｙｙといった二次のモーメント特徴等を要素にしたものを用いることもできる。これにより、上述した一次のモーメント特徴に加えて、高次元の特徴ベクトルとして扱うこともできる。

上述した手法により得られる系列特徴をｗ（ｔ）＝ｗ（ｉ，ｔ）と表す。このとき、ｉ＝｛０，…，Ｄ｝でＤを特徴次元とし、ｔは時間とする。例えば、上述したジェスチャ認識では、ｘ，ｙの二次元であるからＤ＝２となる。

＜認識処理の一例＞
次に、上述した認識処理の一例について具体的に説明する。認識手段１６では、上述したような特徴量が時系列で生成されると、その時系列特徴量を用いて、操作内容等の認識を行う。認識手段１６では、例えばサポートベクタマシン等を使用すると、以下に示す（３）式で表すことができる。

認識手段１６は、上述した（３）式から出力ｆの正負によって特徴量が特定のクラス（例えば、特定のジェスチャ等）に含まれるかどうかを識別する。ここで、ｔ'は時間窓を表し、ｚが任意の時刻へのオフセットを表すものとする。また、ｘ_ｔ，ｂ_ｔは、識別面を操作するパラメータを表す。特にｘ_ｔは、Ｄ次元のパラメータベクトルを表し、要素をｘ_ｉｔで要素ｉの値を表すものとする。これらのパラメータ値ｘ_ｉｔ，ｂ_ｔを変えることで、同じ特徴を入力してもパラメータを変えることによって違う結果を出力することができる。

例えば、本実施形態では、認識できなかった特徴量については、所定の繰り返し動作を検出し、その繰り返し動作が所定の操作内容として認識することができるように、パラメータの閾値を下げて認識条件を緩和していく処理を行う。なお、これらのパラメータｘ_ｔ，ｂ_ｔについては、予め学習によってある値が与えられているものとする。

また、本実施形態では、別の識別器の例として、例えば決定木を用いることができる。決定木を作成するIterative Dichotomiser３（ＩＤ３）では、特徴の各次元を独立に扱い、ある特徴次元ｉに対して、閾値ｊで分離した場合のエントロピをＭ（ｉ，ｊ）とする。

ｊを変化させたときのＭ（ｉ，ｊ）の最小値Ｍ_ｊ（ｉ）を、Ｍ_ｊ（ｉ）＝ｍｉｎ＿_ｊＭ（ｉ，ｊ）とすると、最適な特徴での分離は、Ｍ_ｉｊ＝ｍｉｎ_ｉＭ_ｊ（ｉ）として与えることができる。

初段の識別器を上述した内容で選択した後、分離されたそれぞれのクラスに対して、利用した特徴次元以外の特徴を用いて、上記と同様の操作を進めていくことで、決定木を生成することができる。なお、識別の際には、木のルート（ＲＯＯＴ）の階層から、識別に使用する特徴で判別し、次の階層に進めばよい。

更に、別の識別器の例として、Ｂｏｏｓｔｉｎｇがある。Ｂｏｏｓｔｉｎｇでは、複数の異なる（弱）識別器ｈｊを組み合わせて強識別器Ｈを生成する方法であり、識別器の接続をＪ個とし、正解ｙｉを持つサンプルｘｉがＮ個あったとすると、以下に示す（４）式の符号によって決定する。

ここで、上述した（４）式の符号が正になれば所望のクラスにサンプルｘが入ることを示し、負であればクラスに含まれない。ここで、それぞれの識別器をｈ，各識別器に対する重みをｗ_ｊとすると、ｗ_ｉをそれぞれのサンプルに対する重みとし、初期値として１／Ｎとする。また、識別器ｈ_ｊ（ｘ）を重み｛ｗ_ｉ｝を用いて学習（最適な弱識別器を選択）する。なお、識別器とは、ｅｒｒ_ｊ＝Ｅ［ｙ_ｉ≠ｈ_ｊ（ｘ_ｉ）となるサンプル］を最小にする識別器である。ここでＥは期待値を表す。つまり、ｅｒｒ_ｊ＝Ｅ［ｙ_ｉ≠ｈ_ｊ（ｘ_ｉ）となるサンプル］としたときに、以下に示す（５）式としたときの、各サンプルに対する重みを以下の式によって更新し、ｊを進めていく。

また、以下に示す（６）式とした上でｗを規格化する。

また、本実施形態では、別の識別例として、例えば特許文献１に示されているようなニューラルネットワークを適用して識別することもできる。更に、本実施形態では、別の例として、もっと単純な閾値処理も可能である。例えば、以下に示す（７）式のように、閾値ｂ_ｔを用いた識別処理も可能である。

このとき、ｆ（ｘ）＝１の場合には特定のクラスに含まれ、そうでない場合（例えば、ｆ（ｘ）＝−１）には特定のクラスに含まれないことを示す。なお、本実施形態における認識手法は、これに限定されるものではない。

＜区間検出処理の一例＞
次に、区間検出処理の一例について具体的に説明する。区間検出手段１７は、上述した認識手段１６で、特徴量を特定のクラス（操作内容）に認識できなかった場合に、例えば所定の時刻ｚ以前に現れる特徴量に対して特徴量の変位が所定の値以上の区間を、ユーザが何らかの動作をしている候補区間として検出する。

ここで、図７は、手の動きとその推移について説明するための図である。図７の例では、所定の時刻ｔのフレーム（フレームｔ）と、そこから１フレーム前のフレーム（フレームｔ−１）と、２フレーム前のフレーム（フレームｔ−２）が抽出されている。

それぞれの画像フレームで、例えば上述したように手の位置や動き（図７における矢印等）を基準とした特徴量を抽出し、その時系列（時間ｔ）での特徴量の推移から所定の閾値（Ｔｈｄ）以上に手が動く部分を抽出し、これを時系列で確認していくことで、候補区間を検出する。なお、上述の例では、１フレーム間隔における手の特徴量の変位を基準にしているが、これに限定されるものではなく、例えば数フレーム間隔における特徴量の変位を基準にして候補区間の検出を行ってもよい。

また、候補区間は、例えば所定の時刻ｔを基準にして、±△ｔだけ離れた区間において、最大と最小との差（絶対値）が所定の閾値（Ｔｈ）より大きい場合に、そのときの注目時刻ｔを候補区間点とする。この操作を順次、前の時刻に遡って行って候補区間点を抽出していく。なお、遡る時刻は、例えば現時刻から過去１０秒等にように、所定の時間で区切ってもよいが、これに限定されるものではない。また、隣り合う候補区間点の間が２△ｔ以上離れる場合には、候補区間の先頭を現在の位置ｔに決定し、候補区間の終点を、特徴量を切り出した最初の時刻とする。

ここで、図８は、区間検出手段による候補区間の検出例を示す図である。また、図９は、区間検出手段の処理の一例を示すフローチャートである。

本実施形態において、区間検出手段１７は、図８（Ａ）に示すような時刻ｔの経過に伴う時系列情報に対応する特徴量（時系列特徴量）を取得する。次に、区間検出手段１７は、図８（Ｂ）に示すようにある時刻ｔを基準にした±△ｔの区間で、例えば特徴量が最大となる時刻と、特徴量が最小となる時刻との差が閾値Ｔｈ以上の区間を検出する。そして、区間検出手段１７は、その差が出た最大と最小の時刻（図８（Ｂ）において「●」の位置に対応する時刻）を取得する。

区間検出手段１７は、時刻ｔを所定間隔でずらしながら上述の処理を行い、図８（Ｃ）に示すように該当する１又は複数の時刻（「●」の位置に対応する時刻）を取得する。

更に、区間検出手段１７は、上述の処理で取得をした２つの時刻に対する特徴量の差が所定の範囲内（例えば、２△ｔ以内）となる区間を繋ぐことで、例えば図８（Ｄ）に示すように現時刻以前の候補区間を検出する。

具体的には、図９に示すように、区間検出手段１７は、例えば記憶手段１３等に記憶された図８（Ａ）に示すような時系列の特徴量Ｆ（ｔ）を取得する（Ｓ４１）。区間検出手段１７は、候補区間を設定するためのスペースパラメータｓを初期値にする（スペースパラメータｓ＝０）（Ｓ４２）。なお、スペースパラメータｓとは、後段の処理で２つの時刻の特徴量の最大、最小の差が閾値未満である時間幅（動きの少なかった時間幅）を管理するためのパラメータである。

区間検出手段１７は、現在の時刻ｔをｔｍとし（Ｓ４３）、ｔ±△ｔの区間で特徴量が最大となる時刻と、最小となる時刻とを取得する（Ｓ４４）。

区間検出手段１７は、Ｓ４４の処理で取得した２つの時刻における特徴量の最大、最小の差が閾値Ｔｈ以上であるか否かを判断する（Ｓ４５）。区間検出手段１７は、特徴量の最大、最小の差が閾値Ｔｈ以上である場合（Ｓ４５において、ＹＥＳ）、その区間は何らかの動作が行われているものと判断し、更に時刻ｔを遡らせて処理を行うため、スペースパラメータｓを初期値（ｓ＝０）にする（Ｓ４６）。

区間検出手段１７は、２つの時刻における特徴量の最大、最小の差が閾値Ｔｈ以上でない場合（Ｓ４５において、ＮＯ）、スペースパラメータｓの値をインクリメント（＋１）する（Ｓ４７）。なお、Ｓ４７の処理は、例えば上述した特徴量の最大、最小の差が閾値未満である時間幅が１秒開くことを意味するが、これに限定されるものではない。区間検出手段１７は、スペースパラメータｓに対応する時間が２△ｔを越えているか否かを判断する（Ｓ４８）。

区間検出手段１７は、時間が２△ｔを越えていない場合（Ｓ４８において、ＮＯ）、又は、上述したＳ４６の処理後、時間ｔを１デクリメント（−１）し（Ｓ４９）、Ｓ４４の処理に戻る。つまり、Ｓ４９の処理では、例えば対象となる時系列を前の時刻（例えば、−１秒）に遡らせることを意味するが、これに限定されるものではない。

区間検出手段１７は、Ｓ４８の処理において、スペースパラメータｓに対応する時間が２△ｔを越える場合（Ｓ４８において、ＹＥＳ）、その区間を候補区間［ｔ：ｔｍ］として出力する（Ｓ５０）。つまり、図９の処理において、区間検出手段１７は、ユーザが何らかの動作を継続して行っている区間を繰り返し動作の候補区間として検出する。

なお、上述した処理は、画像に対する特徴量に基づいて候補区間を検出したが、これに限定されるものではなく、例えば入力信号が音声の場合であっても区間検出において同様の処理が適用できる。

図１０は、音声に対する候補区間の検出例を示す図である。区間検出手段１７は、音声に対する候補区間を検出するには、時系列特徴量に対して、例えば振幅等を用いて候補区間を検出することができる。例えば図１０（Ａ）に示す時系列情報に対し、図１０（Ｂ）に示すようにある時刻ｔを基準に±△ｔの間で最大と最小との差がＴｈ以上の区間を検出する。次に、２△ｔ以内の候補区間（時刻）を繋ぐことで、音声による候補区間を検出することができる。

更に、本実施形態では、区間検出手段１７は、タッチパネル等に対する操作に対しても同様の処理が適用できる。例えば、視点の位置がずれている場合にユーザは、押すべき位置よりもずれてタッチ（タップ）することがある。しかしながら、タッチしても反応しないため、その周囲を再度タッチする。人間のクセとして、反応しない場合には、位置を変えながらタッチする。そのような場合に、タッチしている箇所の情報とその周期情報とを利用して、位置のずれを補正して、認識条件の変更を行うことができる。

図１１は、候補区間検出の具体例を示す図である。図１１では、タッチ操作に対する候補区間の検出例を示している。図１１の例では、ユーザの指等がタッチパネルにタッチしている状態をｏｎ状態とし、タッチパネルにタッチしていない状態をｏｆｆ状態とする。また、（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）は、ユーザがタッチしたパネル上の位置座標を示している。この位置座標は、特徴量抽出手段１５により抽出される特徴量の一例である。

図１１の例では、ユーザが時間の経過に伴いタッチパネルを３回タッチしている入力信号を示しており、ｏｎ状態の２つの信号が２△ｔ以内に存在している。また、（ｘ１，ｙ１）と（ｘ２，ｙ２）との距離が所定の閾値より近く、（ｘ２，ｙ２）と（ｘ３，ｙ３）との距離が所定の閾値より近い場合、図１１に示す信号区間（（ｘ１，ｙ１）〜（ｘ３，ｙ３））を候補区間として検出することができる。なお、区間検出手法については、上述した例に限定されるものではなく、上述した各検出手法を組み合わせてもよい。

＜繰り返し検出処理の一例＞
次に、繰り返し検出手段１８が、区間検出手段１７により検出された候補区間を用いて繰り返し動作を検出する例について説明する。図１２は、繰り返し検出手段を説明するための図である。

繰り返し検出手段１８は、区間検出手段１７により検出された候補区間から、例えば時系列特徴量の繰り返しの有無と、繰り返しがあった場合にその周期を検出する。繰り返し検出手段１８は、例えば図１２に示すように、上述した候補区間として得られた特徴量の時系列ｗ（ｔ）に対し、その自己相関を適用し、以下に示す（８）式で求める。

ここで、上述した（８）式において、μはｗ（ｔ）に関する平均を示し、σ^２は分散を示し、Ｅ［ ］は期待値を示している。また、ｋは自己相関を取る時間差（タイムラグ）を示している。例えば、Ｒ（ｋ）が大きいときは、その時間差での相関が高いことを表す。

なお、自己相関で元となる時系列は、上述した候補区間に含まれる所定の時間幅からなる区間の時系列であるが、これに限定されるものではない。このとき、例えば、自己相関が予め設定された閾値よりも大きな値を有し、かつピークとなる箇所、すなわち「Ｒ（ｋ−１）＜Ｒ（ｋ）」かつ「Ｒ（ｋ＋１）＜Ｒ（ｋ）」、もっと一般的には時間幅Ｎを予め与えた「Ｒ（ｋ＋ｎ）＜Ｒ（ｋ），ｎ＝｛−Ｎ，…，Ｎ｝」を満足する自己相関のタイムラグをｔ１，ｔ２…と表すものとする。

そのような繰り返しが検出できたとき、パラメータ変更手段２０以降の処理を行う。なお、操作するユーザ毎にパラメータを変更する場合には、同定手段１９による同定処理を行ってもよい。

なお、本実施形態において、繰り返し検出手段１８は、上述の処理を行う場合に、候補区間に含まれる信号の平均分を除去してもよい。例えば、繰り返し検出手段１８は、候補区間に含まれる信号のバイアス（平均）を求め、特徴量の時系列ｗ（ｔ）から、求めた信号のバイアス（平均）を除去したものを新たなｗ（ｔ）とする。このように、バイアス分の除去を行うことで、繰り返し検出手段１８は、例えば信号の値の幅が０〜２５５等である場合に、特徴量の値の中心が０（原点）になるように、例えば−１２８〜１２８の範囲に調整することができる。これにより、後述する相関の計算をし易くすることができる。

また、図１３は、繰り返し検出手段の処理の一例を示すフローチャートである。繰り返し検出手段１８は、記憶手段１３等に記憶された特徴量Ｆ（ｔ）を取得し（Ｓ６１）、その後、候補区間における特徴量の自己相関を算出する（Ｓ６２）。繰り返し検出手段１８は、閾値以上の大きな相関値があれば、繰り返しがあると判断する（Ｓ６３）。

なお、上述した手法は、音声の時系列特徴量でも同様に繰り返しを検出することができる。また、ユーザがパネルにタッチする場合での繰り返し判定は、例えば図１１に示すように、タッチされた座標が類似している箇所の押下開始時刻が２△ｔ以下であり、それらがどの操作も行っていない場合に、繰り返しの操作が継続していると判断することができる。つまり、本実施形態では、座標の類似性を確認することで繰り返しを判断することができる。

＜パラメータ変更手段２０の処理の一例＞
次に、上述したパラメータ変更手段２０の処理の一例について具体的に説明する。パラメータ変更手段２０は、パラメータの変更を行い、ジェスチャの認識しやすいパラメータを生成する。ここで、図１４は、パラメータ変更の具体例を示す図である。図１４の例では、パラメータを段階的に変更するために、所定の曲線式を用いる。

例えば、変更できる閾値の最小値をＰ１、最大値をＰ２とし、最初の閾値（最大値Ｐ２）のときの時刻をｔｓとする。つまり、閾値におけるＰ１とＰ２とは、それぞれ変更するパラメータ（認識条件）の量を示すために予め設定されるパラメータであり、Ｐ２が本来の閾値（第１の認識条件）であるとする。

このとき、ある時刻ｔにおけるパラメータは、「（Ｐ２−Ｐ１）／Ｐ２×Ｅｘｐ（−（ｔ−ｔｓ））＋Ｐ１」と設定することができる。つまり、時間の経過に応じて小さな閾値となるようにする。このように、時間の経過に応じてパラメータを変化させることで、繰り返しが生じた時のみ、認識手段１６においてジェスチャ等を検出しやすいようにすることができる。

なお、図１４の例では、曲線式を用いて閾値の変更を行ったがこれに限定されるものではなく、パラメータ変更手段２０は、例えば直線式により時間量に対応させた変更量によりパラメータを設定してもよい。また、パラメータ変更手段２０は、例えば認識処理の回数等を基準にパラメータの変更を行ってもよいが、これに限定されるものではない。例えば、パラメータ変更手段２０は、上述した曲線式や直線式等を組み合わせてもよい。

パラメータ変更手段２０は、クラスを特定するために、１又は複数のパラメータ（認識条件）に対して、上述したような段階的な変更を行うことができる。

更に、本実施形態では、他の例として、パラメータ変更手段２０は、例えばパラメータを固定のままにし、認識対象の特徴量時系列の信号自体を変化（例えば、増幅）させて、その条件で認識を行うことができる。この場合、信号を変化させることが、認識条件を変更することとなる。

パラメータ変更手段２０は、入力された時系列特徴量の信号に対して、例えば上述した曲線式の逆数をＰ２倍したもの「Ｐ２／｛（Ｐ２−Ｐ１）／Ｐ２×Ｅｘｐ（−（ｔ−ｔｓ））＋Ｐ１｝」を原信号（時系列特徴量の信号）に掛け合わせることで、原信号を時間の経過に応じて変化させることができる。これにより、パラメータを変化させずに、時間が経過するにつれて認識手段１６において認識させやすくさせることができる。

また、他の例では、入力信号から得られる特徴量を操作することもできる。例えば、特徴量時系列を以下のように自己相関値を用いて求め直し、「ｗ'（ｔ）＝ｗ（ｔ）＋ａ１Ｒ（ｔ１）ｗ（ｔ−ｔ１）＋ａ２Ｒ（ｔ２）ｗ（ｔ−ｔ２）・・・」として得られたｗ'（ｔ）に対して認識を行うことが可能である。上述したａ１，ａ２，…は、予め設定されたパラメータであり、ｔ１，ｔ２…は、自己相関がピークを持つタイムラグを示す。このように処理することで、繰り返しが与えられた際に、繰り返し情報の全ての信号の大きさの和で信号を増幅、加工することができる。

上述した処理により、認識手段１６では、例えばジェスチャ動作として、所定の速度である程度大きく手を振らなければ認識されなかったクラス（操作内容）に対して、ゆっくりと小さく手を振った動作でもジェスチャとして認識される。また、入力信号が音声の場合には、例えば大きな声でゆっくりと発言しないと認識されなかったクラスに対して、小さな声で早く発言したとしてもクラスが認識される。

また、パラメータ変更手段２０は、例えばタッチパネル等に対する操作に対してもパラメータを変更して認識できなかった入力信号を認識できるようにすることができる。例えば、パラメータ変更手段２０は、上述したようにユーザが押すべき位置よりもずれてタッチした場合に、タッチしている箇所の情報とその周期情報とを利用して、位置のずれを補正して、認識条件を変更することができる。

図１５は、タッチの位置座標と間隔の一例を示す図である。図１５の例では、上述した図１１と同様に時間経過に伴うタッチパネルへのタッチに対応したｏｎ、ｏｆｆの状態、タッチ間隔（Ｔ１、Ｔ２）、及び特徴量としての位置座標（（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３））が示されている。

例えば、区間検出手段１７は、上述した位置情報と、予め設定された距離の閾値Ｔｈ_１、時間の閾値Ｔｈ_２との関係から「（ｘ１−ｘ２）^２＋（ｙ１−ｙ２）^２＜Ｔｈ_１」かつ「（ｘ２−ｘ３）^２＋（ｙ２−ｙ３）^２＜Ｔｈ_１」かつ「｜Ｔ１−Ｔ２｜＜Ｔｈ_２」である場合を検出する。更に、区間検出手段１７は、タッチ１（ｘ１，ｙ１）、タッチ２（ｘ２，ｙ２）、及び、タッチ３（ｘ３，ｙ３）がどのボタンにも触れていない場合に、相関が得られたものとみなすことができる。

また、区間検出手段１７は、ｏｎ状態のそれぞれを相関の大きな箇所とみなすことができる。この場合、繰り返し検出手段１８は、タッチ１，２，３をそれぞれ繰り返し動作としてみなす。パラメータ変更手段２０は、その位置座標が認識されるようにパラメータの変更を行う。これにより、認識手段１６は、上述のタッチ操作を何らかのクラス（操作内容）として認識する。したがって、ユーザの視線の位置による操作ボタンのタッチずれ等を解消することができる。

なお、タッチパネルに対するパラメータの変更例については、これに限定されるものではなく、例えばダブルタップやドラッグ、フリック、ピンチイン、ピンチアウト、スワイプ等の操作の認識にも適用することができる。

操作実行手段２１は、認識したクラスに対応する操作内容を実行する。例えば、手を左に振る動作で画面を左にスクロールする操作が割り当てられていた場合、上述した認識手段１６が手を左に振る動作を認識すると、操作実行手段２１は画面を左にスクロールする処理を行う。

上述したように本実施形態によれば、認識できなかった信号を認識できるようにすることができる。例えば、あるジェスチャ（或いは発話やタッチパネル上の操作等）が信号処理装置に特定のクラスとして認識されなかった場合に、信号処理装置は、ある特徴を持つジェスチャが繰り返し行われたことを検出すると、ジェスチャとして認識をすべき信号の範囲を変更する。これにより、本実施形態によれば、あるクラスに属する信号に近いが、該当するクラスに属していない信号が繰り返し入力される際に、近いクラスとして認識することができる。

つまり、繰り返し信号が得られた際に、信号の繰り返しを検出し、繰り返し入力された信号に最も近いクラスに割り当てる操作を行うことで、認識できなかった信号を認識することができる。また、本実施形態によれば、例えば学習フェーズを陽に与えることなく、繰り返し操作を検出し、従来のパラメータ（認識条件）では認識できなかった信号を検出し、認識したものと同様の扱いをさせることができる。

また、本実施形態によれば、同定処理によりユーザ毎に上述した学習を調整することで、ユーザ毎に適切な認識条件を設定することができる。更に、変更された認識条件を所定のタイミングで元に戻すことで、例えば認識条件を緩和しすぎることによる誤認識を防止することができる。

以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、上記変形例以外にも種々の変形及び変更が可能である。

なお、以上の実施例に関し、更に以下の付記を開示する。
（付記１）
入力された操作の特徴量の時系列から、特徴量の繰り返しを検出する繰り返し検出手段と、
前記繰り返し検出手段により前記特徴量の繰り返しが検出された場合に、前記特徴量から予め設定された操作内容を認識するための認識条件を変更する認識条件変更手段と、
前記認識条件変更手段が変更をした認識条件に基づいて、前記特徴量に対する操作内容を認識する認識手段とを有することを特徴とする信号処理装置。
（付記２）
前記繰り返し検出手段は、
所定時刻を基準にした特徴量の時系列と、他の時刻における特徴量の時系列との自己相関の類似度に基づいて、繰り返しを検出することを特徴とする付記１に記載の信号処理装置。
（付記３）
前記認識条件変更手段は、
前記認識条件を用いて、前記特徴量に対する操作内容が認識できなかった場合に、更に認識条件を変更することを特徴とする付記１又は２に記載の信号処理装置。
（付記４）
前記認識条件変更手段は、
前記認識条件として設定されたパラメータの値を変更するか、又は、前記入力信号に対応した特徴量の時系列を変化させて、前記認識条件を変更することを特徴とする付記１乃至３の何れか１項に記載の信号処理装置。
（付記５）
前記入力信号に対応した特徴量の時系列から、前記所定の変位量を有する特徴量が所定間隔内で連続している区間を検出する区間検出手段を有し、
前記繰り返し検出手段は、前記区間検出手段により得られる区間から前記特徴量の繰り返しを検出することを特徴とする付記１乃至４の何れか１項に記載の信号処理装置。
（付記６）
前記入力信号を入力したユーザを同定する同定手段を有し、
前記認識条件変更手段は、前記同定手段により同定されたユーザに対応して設定された認識条件を変更することを特徴とする付記１乃至５の何れか１項に記載の信号処理装置。
（付記７）
前記認識条件変更手段は、
前記認識条件を、所定時間の経過後、所定の動作終了後、及び前記ユーザからの指示のうち、少なくとも１つの条件を満たす場合に、変更する前の認識条件に戻すことを特徴とする付記６に記載の信号処理装置。
（付記８）
信号処理装置が、
入力された操作の特徴量の時系列から、特徴量の繰り返しを検出する繰り返し、
特徴量の繰り返しが検出された場合に、前記特徴量から予め設定された操作内容を認識するための認識条件を変更し、
前記変更をした認識条件に基づいて、前記特徴量に対する操作内容を認識することを特徴とする信号処理方法。
（付記９）
入力信号された操作の特徴量の時系列から、特徴量の繰り返しを検出し、
前記特徴量の繰り返しが検出された場合に、前記特徴量から予め設定された操作内容を認識するための認識条件を変更し、
前記変更をした認識条件に基づいて、前記特徴量に対する操作内容を認識する、処理をコンピュータに実行させるための信号処理プログラム。

１０ 信号処理装置
１１ 入力手段
１２ 出力手段
１３ 記憶手段
１４ 時系列情報取得手段
１５ 特徴量抽出手段
１６ 認識手段
１７ 区間検出手段
１８ 繰り返し検出手段
１９ 同定手段
２０ パラメータ変更手段（認識条件変更手段）
２１ 操作実行手段
２２ 送受信手段
２３ 制御手段
３０ 撮像装置（撮像手段）
４１ 入力装置
４２ 出力装置
４３ ドライブ装置
４４ 補助記憶装置
４５ 主記憶装置
４６ ＣＰＵ
４７ ネットワーク接続装置
４８ 記憶媒体

Claims (7)

1. 入力された操作の特徴量の時系列から、特徴量の繰り返しを検出する繰り返し検出手段と、
   前記繰り返し検出手段により前記特徴量の繰り返しが検出された場合に、前記特徴量から予め設定された操作内容を認識するための認識条件を変更する認識条件変更手段と、
   前記認識条件変更手段が変更をした認識条件に基づいて、前記特徴量に対する操作内容を認識する認識手段とを有することを特徴とする信号処理装置。
2. 前記繰り返し検出手段は、
   所定時刻を基準にした特徴量の時系列と、他の時刻における特徴量の時系列との自己相関の類似度に基づいて、繰り返しを検出することを特徴とする請求項１に記載の信号処理装置。
3. 前記認識条件変更手段は、
   前記認識条件を用いて、前記特徴量に対する操作内容が認識できなかった場合に、更に認識条件を変更することを特徴とする請求項１又は２に記載の信号処理装置。
4. 前記入力信号に対応した特徴量の時系列から、前記所定の変位量を有する特徴量が所定間隔内で連続している区間を検出する区間検出手段を有し、
   前記繰り返し検出手段は、前記区間検出手段により得られる区間から前記特徴量の繰り返しを検出することを特徴とする請求項１乃至３の何れか１項に記載の信号処理装置。
5. 前記入力信号を入力したユーザを同定する同定手段を有し、
   前記認識条件変更手段は、前記同定手段により同定されたユーザに対応して設定された認識条件を変更することを特徴とする請求項１乃至４の何れか１項に記載の信号処理装置。
6. 信号処理装置が、
   入力された操作の特徴量の時系列から、特徴量の繰り返しを検出する繰り返し、
   特徴量の繰り返しが検出された場合に、前記特徴量から予め設定された操作内容を認識するための認識条件を変更し、
   前記変更をした認識条件に基づいて、前記特徴量に対する操作内容を認識することを特徴とする信号処理方法。
7. 入力信号された操作の特徴量の時系列から、特徴量の繰り返しを検出し、
   前記特徴量の繰り返しが検出された場合に、前記特徴量から予め設定された操作内容を認識するための認識条件を変更し、
   前記変更をした認識条件に基づいて、前記特徴量に対する操作内容を認識する、処理をコンピュータに実行させるための信号処理プログラム。

Images