JP2018147031A - 動作解析装置、情報受付システムおよび入力受付方法 - Google Patents

動作解析装置、情報受付システムおよび入力受付方法 Download PDF

Info

Publication number
JP2018147031A
JP2018147031A JP2017038419A JP2017038419A JP2018147031A JP 2018147031 A JP2018147031 A JP 2018147031A JP 2017038419 A JP2017038419 A JP 2017038419A JP 2017038419 A JP2017038419 A JP 2017038419A JP 2018147031 A JP2018147031 A JP 2018147031A
Authority
JP
Japan
Prior art keywords
information
motion
absence
input
reception system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017038419A
Other languages
English (en)
Inventor
卓紀夫 山岡
Takio YAMAOKA
卓紀夫 山岡
駿介 中井
Shunsuke Nakai
駿介 中井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MegaChips Corp
Original Assignee
MegaChips Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MegaChips Corp filed Critical MegaChips Corp
Priority to JP2017038419A priority Critical patent/JP2018147031A/ja
Priority to PCT/JP2018/003115 priority patent/WO2018159200A1/ja
Publication of JP2018147031A publication Critical patent/JP2018147031A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer

Abstract

【課題】対象物の動作に応じた情報を受け付ける技術において、定義可能な動作の汎用性や拡張性を確保しつつ、演算量や消費電力を抑えることのできる技術を提供する。
【解決手段】情報受付システム1に、対象物の動作を解析する動作解析装置2と、入力解析装置3とを設ける。そして、動作解析装置2に、対象物の動作を構成する複数の基本動作パーツをそれぞれ定義するパーツ定義情報211を記憶する記憶装置21と、対象物の実際の動作に関する物理量を示す検出情報212とパーツ定義情報211とに基づいて、対象物の実際の動作における複数の基本動作パーツの存否を判定して存否情報213を作成するMPU20と、存否情報213を対象物の動作の解析結果として入力解析装置3に向けて出力するインタフェース部22とを設ける。
【選択図】図2

Description

本発明は、対象物の動作を解析して、当該動作に対応する情報を入力された情報として情報処理装置が受け付ける技術に関する。
従来より、操作者などの対象物の動作(モーションやジェスチャー)に応じて、コンピュータが情報を受け付ける技術が知られている。より詳しくは、人の動作を解析して、所定の動作がされたと認識されたときに、当該動作に対応する情報が入力されたとみなして、コンピュータが当該情報を入力情報として受け付ける技術が提案されている。このようなユーザインタフェースに関する技術が、例えば、特許文献1ないし4に記載されている。
特開2008−173345号公報 特開2016−038905号公報 特開平10−113343号公報 特開2015−179493号公報
ところが、特許文献1は、振り方向の動作の検出に最適化することにより、応答速度を向上させる技術であるが、特定の動作に最適化されているがために、汎用性や拡張性に問題がある。また、特許文献2は、簡便な動作である手首の回転により機器を制御する技術であるが、予め用意された簡便な動作のみに対応しているため、定義可能な動作の数に限りがあり、やはり汎用性や拡張性に問題がある。
また、行動認識を用いる技術に関する特許文献3は、動作に関連した特徴量を測定する測定機器を被験者に取り付け、リアルタイムの動作から測定される特徴量と、予め記録してある特定の行動に関連した特徴量データベースとの相関を取り、最も相関の高い行動を認識結果として出力する技術である。しかし、特徴量は、主に、周波数領域を扱うものであるために、人間の感覚との乖離があることや、新たな行動を追加する場合には対象物の行動の特徴量を再度把握して特徴量データベースに登録する必要があるという問題があった。また、常時、測定機器から入力される信号を処理して特徴量を測定し相関を取るため、演算量が膨大になり、消費電力や応答速度にも問題があった。
さらに、特許文献4は、ジャイロセンサによって動作の軌跡に関する座標情報から特徴量データを算出し、その特徴量データを機械学習アルゴリズムに使用することで動作を特定する技術である。しかし、機械学習アルゴリズムを使用するため、教師データとなる特徴量データが必要であるとともに、学習が必要となる。したがって、動作を追加する場合に学習のために、多くの特徴量データが必要となり、拡張性に問題があった。また、特徴量データの扱いが人間の感覚と乖離しており、動作を追加する際の特徴量データの扱いに関して汎用性に問題があった。また、特徴量データとして扱われる「軌跡に関する一組の座標情報」は、冗長なデータであり、演算量や消費電力に関して問題があった。
本発明は、上記課題に鑑みてなされたものであり、対象物の動作に応じた情報を受け付ける技術において、定義可能な動作の汎用性や拡張性を確保しつつ、演算量や消費電力を抑えることのできる技術を提供することを目的とする。
上記の課題を解決するため、請求項1の発明は、対象物の動作を解析する動作解析装置であって、前記対象物の動作を構成する複数の基本動作パーツをそれぞれ定義するパーツ定義情報を記憶する記憶手段と、前記対象物の実際の動作に関する物理量を検出して検出情報を作成する検出手段と、前記検出情報と前記パーツ定義情報とに基づいて、前記対象物の実際の動作における前記複数の基本動作パーツの存否を判定し、前記複数の基本動作パーツの存否を示す存否情報を作成する判定手段と、前記存否情報を前記対象物の動作の解析結果として出力する出力手段とを備える。
また、請求項2の発明は、請求項1の発明に係る動作解析装置であって、前記複数の基本動作パーツは、前記対象物の動作における加速度のみによって存否が判定される基本動作パーツを含む。
また、請求項3の発明は、請求項1または2の発明に係る動作解析装置であって、前記検出手段は、前記対象物の動作における鉛直方向に平行な軸を回転軸とする第1回転を、当該動作によって水平面内において生じる移動ベクトルの接線成分の積算値により検出する。
また、請求項4の発明は、請求項1または2の発明に係る動作解析装置であって、前記検出手段は、前記対象物の実際の動作における回転軸を求め、当該回転軸の鉛直方向に対する傾きによって前記対象物の動作における回転を検出する。
また、請求項5の発明は、請求項1ないし4のいずれかの発明に係る動作解析装置であって、前記動作解析装置の動作モードを通常モードと、前記通常モードに比べて消費電力が抑制される省電力動作解析モードとの間で切り替える。
また、請求項6の発明は、請求項5の発明に係る動作解析装置であって、前記存否情報に示される前記複数の基本動作パーツの存否に応じて前記動作解析装置の動作モードを前記通常モードと前記省電力動作解析モードとの間で切り替える。
また、請求項7の発明は、入力情報を受け付ける情報受付システムであって、対象物の動作を解析する動作解析装置と、入力解析装置とを備え、前記動作解析装置は、前記対象物の動作を構成する複数の基本動作パーツをそれぞれ定義するパーツ定義情報を記憶する第1記憶手段と、前記対象物の実際の動作に関する物理量を検出して検出情報を作成する検出手段と、前記検出情報と前記パーツ定義情報とに基づいて、前記対象物の実際の動作における前記複数の基本動作パーツの存否を判定して存否情報を作成する判定手段と、前記存否情報を前記対象物の動作の解析結果として出力する出力手段とを備え、前記入力解析装置は、前記入力情報の候補となる候補情報と前記複数の基本動作パーツの存否とを対応付ける動作定義情報を記憶する第2記憶手段と、前記動作解析装置から入力された存否情報に示される前記複数の基本動作パーツの存否に対応付けられている候補情報を、前記入力情報として前記動作定義情報から特定する特定手段とを備える。
また、請求項8の発明は、請求項7の発明に係る情報受付システムであって、2以上の前記存否情報のそれぞれにおいて示される前記複数の基本動作パーツの存否に応じて、前記対象物の動作が前記2以上の存否情報において継続しているか否かを判定する。
また、請求項9の発明は、請求項8の発明に係る情報受付システムであって、前記特定手段は、前記2以上の存否情報において、前記対象物の動作が継続しているか否かに応じて前記入力情報を特定する。
また、請求項10の発明は、請求項7ないし9のいずれかの発明に係る情報受付システムであって、前記特定手段は、前記存否情報に示される前記複数の基本動作パーツの存否のうちの一部のみによって前記入力情報として特定する候補情報を特定する。
また、請求項11の発明は、請求項7ないし10のいずれかの発明に係る情報受付システムであって、前記特定手段は、前記存否情報に示される前記複数の基本動作パーツの存否のうちの一部の基本動作パーツの存否を追加評価することによって前記入力情報として特定する候補情報を特定する。
また、請求項12の発明は、請求項7ないし11のいずれかの発明に係る情報受付システムであって、前記動作解析装置は、前記出力手段を制御することにより、前記存否情報を出力するタイミングを制御する出力制御手段をさらに備える。
また、請求項13の発明は、請求項12の発明に係る情報受付システムであって、前記出力制御手段は、前記存否情報に応じて前記タイミングを制御する。
また、請求項14の発明は、請求項13の発明に係る情報受付システムであって、前記出力制御手段は、前記存否情報における変化に応じて前記タイミングを制御する。
また、請求項15の発明は、請求項12ないし14のいずれかの発明に係る情報受付システムであって、前記出力制御手段は、前記入力解析装置からの要請に応じて前記タイミングを制御する。
また、請求項16の発明は、請求項12ないし15のいずれかの発明に係る情報受付システムであって、前記出力制御手段は、前記第1記憶手段の記憶残量に応じて前記タイミングを制御する。
また、請求項17の発明は、請求項7ないし16のいずれかの発明に係る情報受付システムであって、前記判定手段は、作成した前記存否情報の前記出力手段による出力の要否を判定し、出力させる必要がないと判定した存否情報を前記第1記憶手段から削除する。
また、請求項18の発明は、請求項7ないし17のいずれかの発明に係る情報受付システムであって、前記入力解析装置の動作モードを通常モードと、前記通常モードに比べて消費電力が抑制される省電力入力解析モードとの間で切り替える。
また、請求項19の発明は、請求項18の発明に係る情報受付システムであって、前記動作解析装置は、前記入力解析装置の動作モードを省電力入力解析モードから通常モードに切り替える。
また、請求項20の発明は、請求項19の発明に係る情報受付システムであって、前記動作解析装置は、前記第1記憶手段の記憶残量に応じて前記入力解析装置の動作モードを省電力入力解析モードから通常モードに切り替える。
また、請求項21の発明は、請求項19または20の発明に係る情報受付システムであって、前記動作解析装置は、前記存否情報に応じて前記入力解析装置の動作モードを省電力入力解析モードから通常モードに切り替える。
また、請求項22の発明は、入力情報を受け付ける入力受付方法であって、対象物の動作を構成する複数の基本動作パーツをそれぞれ定義するパーツ定義情報を第1記憶手段に記憶させる工程と、前記入力情報の候補となる候補情報と前記複数の基本動作パーツの存否とを対応付ける動作定義情報を第2記憶手段に記憶させる工程と、前記対象物の実際の動作に関する物理量を検出手段により検出して検出情報を作成する工程と、前記検出情報と前記パーツ定義情報とに基づいて、前記実際の動作における前記複数の基本動作パーツの存否を判定し、前記複数の基本動作パーツの存否を示す存否情報を作成する工程と、前記複数の基本動作パーツの存否に対応付けられている候補情報を、前記入力情報として前記動作定義情報から特定する工程とを有する。
請求項1ないし22に記載の発明は、対象物の動作を構成する複数の基本動作パーツをそれぞれ定義するパーツ定義情報を記憶し、対象物の実際の動作に関する物理量を示す検出情報とパーツ定義情報とに基づいて、対象物の実際の動作における複数の基本動作パーツの存否を判定し出力する。これによって、対象物の動作を構成する複数の基本動作パーツの存否のみを出力し、対象物の実際の動作に関する物理量を示す検出情報やセンサの測定データ等を出力しないので、比較的低周波数で動作させることができる。また、対象物の特定の動作の存否を判定せずに、上位の装置に処理を任せることによって、汎用性も向上する。
第1の実施の形態における情報受付システムの外観図である。 情報受付システムを示すブロック図である。 第1の実施の形態における動作解析装置が備える機能ブロックをデータの流れとともに示す図である。 パーツ定義情報において定義される基本動作パーツの例を示す図である。 パーツ定義情報において定義される基本動作パーツの例を示す図である。 パーツ定義情報において定義される基本動作パーツの例を示す図である。 パーツ定義情報において定義される基本動作パーツの例を示す図である。 入力解析装置が備える機能ブロックをデータの流れとともに示す図である。 存否情報のフォーマットを例示する図である。 動作定義情報を例示する図である。 図10に示した動作定義情報に、パンチを繰り出す動作をさらに追加定義した動作定義情報を例示する図である。 動作解析装置の動作を示す流れ図である。 動作解析装置が実行する動作解析処理を示す流れ図である。 入力解析装置の動作を示す流れ図である。 第2の実施の形態における情報受付システムの外観図である。 第2の実施の形態における動作解析装置が備える機能ブロックをデータの流れとともに示す図である。
以下、本発明の好適な実施の形態について、添付の図面を参照しつつ、詳細に説明する。ただし、以下の説明において特に断らない限り、方向や向きに関する記述は、当該説明の便宜上、図面に対応するものであり、例えば実施品、製品または権利範囲等を限定するものではない。
<1. 第1の実施の形態>
図1は、第1の実施の形態における情報受付システム1の外観図である。情報受付システム1は、操作部6、表示部7および取り付けベルト8を備えている。
なお、以下の説明における「ユーザ」とは、情報受付システム1に対して情報を入力しようと意図する者であって、いわゆる情報受付システム1の操作者を意味するものとする。
また、図1に示すように、以下の説明の都合上、ユーザの存在する実空間において、互いに直交する3つの軸(X軸、Y軸およびZ軸)を定義する。X軸はユーザの前後方向に延びる軸であり、ユーザの前方を正とする軸である。また、Y軸はユーザの左右方向に延びる軸であり、ユーザの左方を正とする軸である。また、Z軸は垂直方向に延びる軸であり、上方向を正とする軸である。このように、ユーザの体に対する3軸としてのX軸、Y軸およびZ軸を定義することにより、定義されたX軸、Y軸およびZ軸は、ユーザにとって比較的容易に把握することができる軸となる。したがって、情報受付システム1が、ユーザの動作をX軸、Y軸およびZ軸を基準にして解析することにより、情報受付システム1はユーザの感覚に近い結果を得ることができるようになる。
さらに、図1に示すように、情報受付システム1において互いに直交する3つの軸(P軸、Q軸およびR軸)を定義する。図1に示す状態では、P軸はX軸と一致しており、Q軸はY軸と一致しており、R軸はZ軸と一致している。ただし、例えば、ユーザが肩や肘など、人体の可動部において腕9を動かすと、ユーザの体に対する情報受付システム1の姿勢は変化する。したがって、P軸、Q軸およびR軸と、X軸、Y軸およびZ軸との位置関係は、図1に示す状態が維持されるものではなく、適宜、変化するものである。
操作部6は、ユーザ等が指示を入力するために操作するハードウェアである。操作部6としては、例えば、各種キーやボタン類、スイッチ、タッチパネル、ポインティングデバイス、あるいは、ジョグダイヤルなどが該当する。操作部6は、例えば、ユーザが情報受付システム1に電源を投入するときなどに操作される。
表示部7は、各種データを表示することによりユーザに対して、当該各種データを出力する機能を有するハードウェアである。表示部7としては、例えば、ランプやLED、液晶ディスプレイや液晶パネルなどが該当する。
取り付けベルト8は、情報受付システム1を対象物に取り付ける機能を有する。図1に示すように、情報受付システム1は、取り付けベルト8によって人間の腕9に装着される腕時計型の装置を構成している。したがって、情報受付システム1は、ユーザの腕9を動作の「対象物」とする。ただし、対象物は、ユーザの腕に限定されるものではない。
取り付けベルト8によって情報受付システム1を取り付ける場合、ユーザの左腕または右腕のいずれかに取り付けることになる。以下では、ユーザの左腕に情報受付システム1を装着するものとして説明する。図1は、情報受付システム1が取り付けられた左腕をユーザが前方に突き出した状態を例示しており、詳細は図示しないが、図1における腕9の(+X)方向にユーザの「手」が存在し、(−X)方向にユーザの「肘」が存在する。また、図1において、ユーザの手の甲は(+Z)方向に向いているものとする。
図2は、情報受付システム1を示すブロック図である。情報受付システム1は、図1に示した構成以外に、動作解析装置2、入力解析装置3、加速度センサ4およびジャイロセンサ5を備えている。詳細は後述するが、情報受付システム1は、情報受付システム1を装着したユーザの腕9(対象物)の動作に応じて、入力情報312を受け付ける機能を有している。
なお、以下の説明において、対象物の「動作」とは、対象物の「動き」そのものだけでなく、ある瞬間における対象物の傾きや位置などによって定義される「姿勢」や、対象物が動いていないことを示す「静止」などの状態種別も含むものとする。すなわち、広義的あるいは間接的に対象物の「動き」を表現する「姿勢」や「静止」などの状態も、「動作」に含める。
動作解析装置2は、MPU20、記憶装置21、および、インタフェース部22を備えている。
MPU20は、記憶装置21に格納されているプログラム210を読み取りつつ実行し、各種データの演算や制御信号の生成等を行う。これにより、MPU20は、動作解析装置2が備える各構成を制御するとともに、各種データを演算し作成する機能を有している。したがって、動作解析装置2は、一般的なコンピュータとして構成されている。
記憶装置21は、動作解析装置2において各種データを記憶する機能を提供する。言い換えれば、記憶装置21が動作解析装置2において電子的に固定された情報を保存する。
記憶装置21としては、MPU20の一時的なワーキングエリアとして使用されるRAMやバッファ、読み取り専用のROM、不揮発性のメモリ(例えばNANDメモリなど)等が該当する。図2においては、記憶装置21を、あたかも1つの構造物であるかのように図示している。しかし、通常、記憶装置21は、上記例示した各種装置(あるいは媒体)のうち、必要に応じて採用される複数種類の装置から構成されるものである。すなわち、記憶装置21は、データを記憶する機能を有する装置群の総称である。
また、現実のMPU20は高速にアクセス可能なRAMを内部に備えた電子回路である。しかし、このようなMPU20が備える記憶装置も、説明の都合上、記憶装置21に含めて説明する。すなわち、以下の説明では、一時的にMPU20自体が記憶するデータも、記憶装置21が記憶するとして説明する。図2に示すように、記憶装置21は、プログラム210、パーツ定義情報211、検出情報212、存否情報213を記憶する。ただし、記憶装置21が記憶する情報は、これら図1に示す情報に限定されるものではない。
プログラム210は、MPU20(コンピュータ)による読み取りが可能な指令の集合である。プログラム210は、記憶装置21を構成する記録媒体のうち、不揮発性の記録媒体に格納される。したがって、情報受付システム1の電源が切られた場合でも、情報受付システム1(記憶装置21)からプログラム210が失われることはない。すでに説明したように、プログラム210は、必要に応じてMPU20によって読み取られ、実行される。
パーツ定義情報211は、対象物(ユーザの腕9)の動作を構成する複数の基本動作パーツをそれぞれ定義する情報である。パーツ定義情報211および基本動作パーツについては後述する。
図2に示す検出情報212は、加速度センサ4およびジャイロセンサ5から入力された信号に基づいて、MPU20によって作成されるデータである。検出情報212の詳細については、後述する。
存否情報213は、パーツ定義情報211に定義されている複数の基本動作パーツのそれぞれの存否を示す情報である。すなわち、存否情報213は、基本動作パーツの存否をMPU20が判定したときの判定結果を示す情報である。
インタフェース部22は、動作解析装置2と入力解析装置3とをデータ通信が可能な状態で接続する機能を有している。これにより、例えば、インタフェース部22は、存否情報213を解析結果として、入力解析装置3に向けて出力する。
また、インタフェース部22は、動作解析装置2と、加速度センサ4およびジャイロセンサ5とをデータ通信が可能な状態で接続する機能を有している。これにより、インタフェース部22は、加速度センサ4およびジャイロセンサ5からの出力信号を受け取る機能を有するとともに、加速度センサ4およびジャイロセンサ5に対する制御信号を伝達する機能を有する。
図2に示す入力解析装置3は、CPU30、記憶装置31およびインタフェース部32を備えている。
CPU30は、記憶装置31に格納されているプログラム310を読み取りつつ実行し、各種データの演算や制御信号の生成等を行う。これにより、CPU30は、入力解析装置3が備える各構成を制御するとともに、各種データを演算し作成する機能を有している。すなわち、入力解析装置3は、一般的なコンピュータとして構成されている。
なお、詳細は後述するが、CPU30は、入力解析装置3の動作モードを通常モードと、当該通常モードに比べて消費電力が抑制される省電力入力解析モードとの間で切り替える機能を有している。省電力入力解析モードでは、CPU30がいわゆるスリープ状態に移行し、消費電力が抑制される。このように省電力入力解析モードを設けて、適宜、切り替えることにより、情報受付システム1は消費電力をさらに抑制することができる。
記憶装置31は、入力解析装置3において各種データを記憶する機能を提供する。言い換えれば、記憶装置31が入力解析装置3において電子的に固定された情報を保存する。
記憶装置31としては、CPU30の一時的なワーキングエリアとして使用されるRAMやバッファ、読み取り専用のROM、不揮発性のメモリ(例えばNANDメモリなど)、比較的大容量のデータを記憶するハードディスク、専用の読み取り装置に装着された可搬性の記憶媒体(SDカード、USBメモリなど)等が該当する。図2においては、記憶装置31を、あたかも1つの構造物であるかのように図示している。しかし、通常、記憶装置31は、上記例示した各種装置(あるいは媒体)のうち、必要に応じて採用される複数種類の装置から構成されるものである。すなわち、記憶装置31は、データを記憶する機能を有する装置群の総称である。
また、現実のCPU30は高速にアクセス可能なRAMを内部に備えた電子回路である。しかし、このようなCPU30が備える記憶装置も、説明の都合上、記憶装置31に含めて説明する。すなわち、一時的にCPU30自体が記憶するデータも、記憶装置31が記憶するとして説明する。図2に示すように、記憶装置31は、プログラム310、動作定義情報311、および、入力情報312を記憶するために使用される。
プログラム310は、CPU30(コンピュータ)による読み取りが可能な指令の集合である。プログラム310は、記憶装置31を構成する記録媒体のうち、不揮発性の記録媒体に格納される。したがって、情報受付システム1の電源が切られた場合でも、情報受付システム1(記憶装置31)からプログラム310が失われることはない。すでに説明したように、プログラム310は、必要に応じてCPU30によって読み取られ、実行される。
動作定義情報311は、入力情報312の候補となる候補情報を登録するとともに、登録した候補情報と対象物の動作とを対応付ける情報(データベース)である。さらに、動作定義情報311は、対象物の動作と、当該動作を構成する(当該動作が実行されたときに存在すると予測される)複数の基本動作パーツとを対応付ける。CPU30は、動作解析装置2から入力される存否情報213を検索キーとして、動作定義情報311を検索することにより、当該存否情報213に対応する候補情報を入力情報312とする。なお、動作定義情報311の詳細は後述する。
入力情報312は、動作定義情報311に登録されている候補情報の中からCPU30によって選択され、抽出された情報である。入力情報312は、CPU30によって抽出されることにより、情報受付システム1において、ユーザによって入力された情報(ユーザの指示を示す情報)として受付られる。したがって、入力情報312は、情報受付システム1や入力解析装置3、入力解析装置3より上位層の装置(図示せず。)、あるいは、上位のアプリケーションソフトウェア(図示せず。)などによって利用される情報となる。
加速度センサ4は、情報受付システム1における加速度を検出する。加速度センサ4は、情報受付システム1について定義された3軸(本実施の形態では、図1に示すP軸、Q軸およびR軸)に従って表現された信号を、動作解析装置2に向けて出力する。加速度センサ4は、情報受付システム1に生じる加速度を測定して動作解析装置2に伝達する機能を有している。
ジャイロセンサ5は、情報受付システム1における角速度を測定する。ジャイロセンサ5は、いわゆる3軸(本実施の形態では、図1に示すP軸、Q軸およびR軸)の角速度センサとして構成されており、互いに垂直な3つの軸方向回りの角速度を表現した信号を、動作解析装置2に向けて出力する。ジャイロセンサ5は、情報受付システム1に生じる角速度を測定して動作解析装置2に伝達する機能を有している。
図3は、動作解析装置2が備える機能ブロックをデータの流れとともに示す図である。図3に示す制御部200、検出部201および判定部202は、MPU20がプログラム210に従って動作することにより実現される機能ブロックである。
制御部200は、入力解析装置3からの指示情報(図示せず)に応じて、パーツ定義情報211を書き換える。これにより、動作解析装置2は、パーツ定義情報211に格納されている閾値などを書き換えることが可能である。このように、制御部200は、動作解析装置2における様々な情報の入出力や、記録を制御する機能を有している。
また、制御部200は、入力解析装置3からの指示情報や存否情報213に応じて、検出部201を制御する。以下の説明では、制御部200からの制御により、検出部201がジャイロセンサからの入力に対する検出を停止している状態を「省電力動作解析モード」と称し、通常動作モードと区別する。
ただし、省電力動作解析モードにおいて、動作解析装置2(検出部201)は、加速度センサ4からの入力に対する検出(動作解析)は実行する。したがって、省電力動作解析モードは、動作解析そのものを停止させる動作モードではない。
しかし、先述のように、省電力動作解析モードでは、ジャイロセンサからの入力に対する検出が停止される。したがって、省電力動作解析モードは、通常動作モードに比べて、動作解析装置2における消費電力が抑制される動作モードである。このように、制御部200は、動作解析装置2の動作モードを、通常動作モードと省電力動作解析モードとの間で切り替える機能を有している。
また、制御部200は、必要に応じて、加速度センサ4およびジャイロセンサ5を制御する。例えば、制御部200は、比較的消費電力の大きいジャイロセンサ5を、省電力動作解析モードの期間、停止させる。これにより、情報受付システム1は、消費電力をさらに抑制することができる。
特に、制御部200は、存否情報213に示される複数の基本動作パーツの存否に応じて動作解析装置2の動作モードを通常モードと省電力動作解析モードとの間で切り替える。例えば、制御部200は、衝撃や回転に係る基本動作パーツが観測されることなく、姿勢の変化のみが継続しているような状況では、検出すべき対象物の動作(入力情報312と対応付けられている動作)が完了しているとみなして、通常動作モードを省電力動作解析モードに切り替える。
このように、存否情報213に基づいて動作モードを切り替えることにより、動作解析装置2は、上位の処理を実行するプロセッサである入力解析装置3による状況判断を必要とすることなく、自立的に動作モードを切り替えることができる。すなわち、情報受付システム1は、上位のプロセッサを起動しなくても、動作モードの切り替えを実行できるので、入力解析装置3における消費電力をさらに抑制することができる。
また、制御部200は、記憶装置21に記憶された存否情報213を、インタフェース部22に出力させるタイミングを制御する。すなわち、制御部200は、インタフェース部22を制御することによって、動作解析装置2が存否情報213を入力解析装置3に向けて出力するタイミングを制御する。
例えば、制御部200は、入力解析装置3から要求情報(図示せず)が入力されたタイミングに応じて、存否情報213を出力するようにインタフェース部22を制御する。したがって、入力解析装置3は、必要に応じて、動作解析装置2から存否情報213を受け取ることが可能となる。これにより、不要な存否情報213の転送を抑制することができる。
また、例えば、制御部200は、存否情報213に応じて、当該存否情報213を出力させるタイミングを制御する。これにより、例えば、存否情報213を参照して、所定の動作に関する基本動作パーツが存在した場合に、当該存否情報213を出力させることができる。言い換えれば、「存否情報213を出力させる」ことを意味する基本動作パーツを定義しておくことにより、当該基本動作パーツが存在するときには、動作解析装置2に、必ず、存否情報213を出力させることができる。
特に、制御部200は、存否情報213における変化に応じて、当該存否情報213を出力させるタイミングを制御する。例えば、存否情報213において、基本動作パーツの存否状態に変化が生じていなければ出力を抑制し、存否状態に変化が生じたときにのみ存否情報213を出力させるといった制御が可能である。このような制御によっても、情報受付システム1は、存否情報213の出力回数を減らすことができることから、消費電力を抑制することができる。
また、例えば、制御部200が記憶装置21の記憶残量を監視し、当該記憶残量に応じて、存否情報213を出力させるタイミングを制御する。これにより、記憶装置21の記憶残量が足りなくなる前に、それまで保存(バッファリング)してある存否情報213をインタフェース部22に出力させることができる。
なお、制御部200は、記憶装置21を制御することにより、インタフェース部22が入力解析装置3に向けて出力した後の存否情報213を、適宜、記憶装置21から削除する機能も有している。これにより、記憶装置21の記憶容量を確保することができる。ただし、存否情報213における変化に応じて存否情報213の出力タイミングを制御する場合には、比較するための過去の存否情報213が必要となる。したがって、より詳細には、制御部200は、2つの存否情報213を比較した後に、過去の(古い方の)存否情報213を削除する。
また、制御部200は、省電力入力解析モードの入力解析装置3を通常モードに切り替えるための情報(以下、「起床情報」と称する。)を出力するように、インタフェース部22を制御する。これにより、動作解析装置2は、入力解析装置3の動作モードを省電力入力解析モードから通常モードに切り替えることができる。
本実施の形態における制御部200は、起床情報として、存否情報213を用いるものとする。すなわち、入力解析装置3の動作モードを通常モードに切り替える必要がある場合、制御部200は、存否情報213を入力解析装置3に向けて出力するようにインタフェース部22を制御する。
すでに説明したように、制御部200は、記憶装置21の記憶残量を監視し、当該記憶残量に応じて、存否情報213を出力させるタイミングを制御する。したがって、記憶装置21の残量に応じて出力される存否情報213を起床情報とすることにより、動作解析装置2は、記憶装置21の記憶残量に応じて入力解析装置3の動作モードを省電力入力解析モードから通常モードに切り替えることになる。これにより、記憶装置21の記憶残量が足りなくなる前に、存否情報213を入力解析装置3に解析させることができる。
また、すでに説明したように、制御部200は、存否情報213に応じて、当該存否情報213を出力させるタイミングを制御する。したがって、存否情報213に応じて出力される当該存否情報213を起床情報とすることにより、動作解析装置2は、存否情報213に応じて入力解析装置3の動作モードを省電力入力解析モードから通常モードに切り替えることができる。これにより、例えば、「入力解析装置3を起こす」ことを意味する基本動作パーツを定義しておけば、当該基本動作パーツが検出されたときに、動作解析装置2が入力解析装置3を通常モードに切り替えることができる。
なお、起床情報は存否情報213に限定されるものではなく、制御部200は、専用の起床情報(ウェイク信号)を、存否情報213とは別に作成するように構成してもよい。
検出部201は、加速度センサ4およびジャイロセンサ5から出力され、インタフェース部22を介して入力された信号に基づいて、対象物(ユーザの腕9)の動作に関する物理量を検出する。ここに言う「物理量」とは、対象物の動作(物体の動き)における回転量、移動量、衝撃の強度(加速度の大きさ)などの特徴的な量(特徴量)である。ただし、検出部201が検出するものは、物理量に限定されるものではなく、必要に応じて、回転方向、移動方向、姿勢などの動作種別も検出する。なお、検出部201は、検出した物理量や動作種別等に基づいて、それらの検出結果を示す検出情報212を作成する。
すでに説明したように、加速度センサ4およびジャイロセンサ5は、情報受付システム1において定義された3軸(本実施の形態では、図1に示すP軸、Q軸およびR軸)に従った信号を出力する。検出部201は、加速度センサ4およびジャイロセンサ5から出力された信号を解析することにより、P軸、Q軸およびR軸に従った情報を、X軸、Y軸およびZ軸に従った情報に変換する機能も有している。
なお、検出部201は、省電力動作解析モードにおいて、ジャイロセンサ5からの信号は無視する。すなわち、省電力動作解析モードにおいて、検出部201は、ジャイロセンサ5からの入力信号に対する検出は行わない。
判定部202は、検出部201による検出結果を示す検出情報212と、記憶装置21に記憶されているパーツ定義情報211とに基づいて、パーツ定義情報211に登録されている複数の基本動作パーツの存否を判定する。判定部202は、判定した複数の基本動作パーツの存否を示す存否情報213を作成する。
また、判定部202は、作成した存否情報213のインタフェース部22による出力の要否を判定し、出力させる必要がないと判定した存否情報213を記憶装置21から削除する。一方、判定部202は、出力する必要があるとして存置した存否情報213の基礎となった検出情報212については、記憶装置21から削除する。すなわち、存否情報213が削除されたときの検出情報212は削除されず、存否情報213が存置されたときの検出情報212は削除される。
ここで、詳細は後述するが、情報受付システム1は、従来の技術のように、対象物の動作を観測したときのセンサ出力値(加速度センサ4およびジャイロセンサ5の出力値)や、対象物の動作から検出した物理量や動作種別等である検出情報212を、直接評価して、所望の動作を検出するものではない。
センサ出力値や検出情報212は、比較的容量が大きな情報である。したがって、実際に所望の動作が実行されたか否かを判定するときまで、これらの情報を保存しておくとすると記憶装置の容量を圧迫するという問題があった。これに対して、存否情報213は、原則として、定義した基本動作パーツの存否のみを示す情報であるため、センサ出力値や検出情報212に比べて情報量を圧縮することができる。すなわち、情報受付システム1(動作解析装置2)は、比較的大容量のセンサ出力値や検出情報212といった情報を、比較的容量の小さい存否情報213に置き換えて保存するものである。これにより、記憶装置21の記憶領域が圧迫されることを抑制することができる。本実施の形態における動作解析装置2は、演算パワーを抑えた装置として構成されるが、それでも存否情報213を十数分間記録することが可能である。
また、行動認識などの技術においては、認識結果を利用する上位のプロセッサ(例えばCPU30に相当する。)と、センサなどにより行動を観測する下位のプロセッサ(例えばMPU20に相当する。)とに処理を分担する技術が提案されている。しかし、センサ出力値や検出情報212などの大容量の情報を、上位のプロセッサに伝達し、さらに、当該上位のプロセッサにおいて演算することは、負担の大きいものであった。特に、複雑な動作を精度よく検出するためは、センサのサンプリング周波数を上げることが望まれるが、そのように構成するとさらに問題が深刻化してしまう。しかし、動作解析装置2は、比較的容量の小さい存否情報213を転送し、上位の演算に使用する。したがって、従来の技術に比べて、このような問題が抑制される。
また、行動認識などの技術においては、センサなどにより人の行動を観測するプロセッサは、概ね50Hzないし100Hz程度の動作クロックが必要である。しかし、動作解析装置2では、出力クロック(存否情報213の出力周期)を10Hz程度に低下させても充分な結果が得られた。したがって、動作解析装置2には、従来の技術に比べて、出力クロックを低下させることによる消費電力の抑制効果もある。
ここで、対象物の動作を構成する複数の基本動作パーツを定義する手法について説明する。実際の対象物の動作は、一見複雑に見えたとしても、いくつかの基本となる動作(単純な動作)の組み合わせによって構成されているとみなすことができる。動作解析装置2は、このような基本となる動作を「基本動作パーツ」として、予めパーツ定義情報211に定義する。
パーツ定義情報211は、1つの基本動作パーツごとに1つのレコードが作成されるテーブル構造のデータベースである。パーツ定義情報211の各レコードには、レコード番号(基本動作パーツの識別子に相当する。)と、当該レコード番号で示される基本動作パーツの存否を判定するための条件とが関連づけて格納される。ただし、パーツ定義情報211の各レコードに他の情報が格納されてもよい。
対象物の現実の動作に、特定の基本動作パーツが含まれていたか否かは、当該基本動作パーツの存否を判定するための条件(パーツ定義情報211に格納されている。)と、検出部201による検出結果(検出情報212に格納されている。)とに基づいて、判定部202が判定する。判定部202は、当該条件と当該検出結果とを比較し、検出結果によって満たされる条件が存在する場合に、当該条件に対応する基本動作パーツが存在したと判定する。一方、判定部202は、パーツ定義情報211に格納されている複数の基本動作パーツのうち、検出結果によって満たされなかった条件に対応する基本動作パーツは、対象物の動作に存在しなかったと判定する。
パーツ定義情報211において、検出部201によって検出することのできないパラメータを、基本動作パーツの存否を判定するための条件として定義することはできない。例えば、地磁気の方向は、行動認識などの技術において、「姿勢」を検出するために用いられる一般的なパラメータである。しかし、本実施の形態における動作解析装置2は、地磁気の方向を検出する構成(例えば磁気センサ)を備えておらず、検出部201は地磁気の方向を検出することができない。したがって、本実施の形態におけるパーツ定義情報211において、「姿勢」に係る基本動作パーツの存否を判定する条件として地磁気の方向を定義することはできない。
このように、基本動作パーツの存否を判定するための条件とは、検出部201によって検出情報212として検出され得る特徴量や動作種別などである。ただし、情報受付システム1が磁気センサを搭載し、当該磁気センサの出力信号を検出部201が監視するように構成すれば、地磁気の方向を、基本動作パーツの存否を判定するための条件として定義することはできる。したがって、対象物の動作を観測するための検出装置(センサ)は、加速度センサ4およびジャイロセンサ5に限定されるわけではない。
次に、本実施の形態におけるパーツ定義情報211において定義される基本動作パーツについて説明する。
図4ないし図7は、パーツ定義情報211において定義される基本動作パーツの例を示す図である。
図4は、基本動作パーツとしての「衝撃」を示している。図4において左側に示す人物は、Y軸方向(横方向)に腕を動かす例である。一方、図4において右側に示す人物は、Z軸方向(鉛直方向)に腕を動かす例である。
本実施の形態における動作解析装置2は、基本動作パーツとしての「衝撃」については、対象物の動作によって生じた加速度の絶対値が閾値以上であれば、加速度の向きにかかわらず同じ「衝撃(基本動作パーツ)」として検出する。言い換えれば、基本動作パーツとしての「衝撃」は、パーツ定義情報211において、「衝撃」の存否を判定するための条件として、「閾値」のみが対応付けられている。したがって、図4に示す例では、左右、いずれの人物においても、上記動作における加速度の絶対値が閾値以上であるならば、いずれも基本動作パーツとしての「衝撃」が存在すると判定されることになる。
なお、本実施の形態におけるパーツ定義情報211には、加速度を検出することによる基本動作パーツとして、図4に示す「衝撃」の他に、「静止」および「自由落下」を定義する。
図5は、基本動作パーツとしての「回転」を示している。対象物の動作は、様々な回転が加わった動作であることが想定される。図5では、本実施の形態において定義される3種類の回転を例示している。
図5において、最も左側に図示されている人物は、腕を縦回転させる例である。縦回転とは、Y軸を回転軸とする回転であり、ユーザの前方において腕を持ち上げる方向の回転(矢印で示す向きの回転)を「上回転」、上回転の逆方向の回転を「下回転」と称する。
図5において中央に図示されている人物は、腕を捻り回転させる例である。捻り回転とは、X軸を回転軸とする回転であり、上側が体の内側方向に移動する方向の回転(矢印で示す向きの回転)を「内回転」、内回転の逆方向の回転を「外回転」と称する。
図5において、最も右側に図示されている人物は、腕を水平回転させる例である。水平回転とは、Z軸を回転軸とする回転であり、ユーザの前方において右側に移動する方向の回転(矢印で示す向きの回転)を「右回転」、右回転の逆方向の回転を「左回転」と称する。
なお、「回転」については、基本動作パーツとして定義するときに、その存否を判定する条件として、回転種別(縦回転、捻り回転または水平回転の区別)および閾値(一定時間内における回転量)の他に、回転方向を決定する。言い換えれば、本実施の形態においては、いずれの「回転」についても、回転方向の違いを判定する。したがって、縦回転に係る基本動作パーツとして、上回転と下回転とを定義する。また、捻り回転については、内回転と外回転とを定義する。さらに、水平回転については、右回転と左回転とを定義する。
図6は、基本動作パーツとしての「姿勢」を示している。本実施の形態におけるパーツ定義情報211は、対象物(ユーザの腕)の「姿勢」として、Y軸を回転軸とした回転角の違いにより、−90°,−45°,0°,45°,90°の5つの基本動作パーツを定義する。
図7は、姿勢「0°」において定義される基本動作パーツを示す図である。本実施の形態においては、ユーザの腕が水平に突き出されている姿勢のときは、手のひらの向きについても区別できるように3つの基本動作パーツを定義する。具体的には、図7に示すように、手のひらが(−Z)側に向く「下向き」、手のひらが(−Y)側に向く「横向き」、および、手のひらが(+Z)側に向く「上向き」である。
以上のように、本実施の形態におけるパーツ定義情報211には、基本動作パーツとして、「衝撃」、「静止」、「自由落下」、「上回転」、「下回転」、「内回転」、「外回転」、「右回転」、「左回転」、「−90°」、「−45°」、「下向き」、「横向き」、「上向き」、「45°」、および、「90°」が定義される。すなわち、本実施の形態に示す例では、上記の16個の基本動作パーツが定義される。
判定部202は、継続的に作成される検出情報212を監視しつつ、これら複数の基本動作パーツの存否を定期的に判定して、存否情報213を作成する。なお、縦回転における「上回転」と「下回転」のように、一方が存在すれば、他の一方は存在しない関係(択一的関係)の基本動作パーツがある。このような基本動作パーツについては、一方が存在した場合には、判定部202による他方に対する存否判定を省略してもよい。
このように、動作解析装置2は、対象物の現実の動作を観測しつつ、予め定義された基本動作パーツが当該現実の動作に存在するか否かを判定することにより、当該対象物の動作を解析する機能を有している。
図8は、入力解析装置3が備える機能ブロックをデータの流れとともに示す図である。図8に示す制御部300および特定部301は、CPU30がプログラム310に従って動作することにより実現される機能ブロックである。
制御部300は、動作解析装置2から出力されて、インタフェース部32により取得された存否情報213を記憶装置31に記憶させる。
また、制御部300は、入力情報312を実行する機能を有している。詳細は後述するが、入力情報312は、動作定義情報311に格納されている候補情報から特定され、抽出された情報である。
また、制御部300は、必要に応じて、動作解析装置2に向けて指示情報を送信するようにインタフェース部32を制御する。動作解析装置2に向けて送信される指示情報としては、例えば、存否情報213を送信するように要請する情報、パーツ定義情報211を編集するように依頼するための情報、動作解析装置2の動作モードを切り替えるための情報などが想定される。ただし、指示情報はこれらに限定されるものではない。
また、制御部300は、入力解析装置3の動作モードを通常モードと、当該通常モードに比べて消費電力が抑制される省電力入力解析モードとの間で切り替える。通常モードから省電力入力解析モードへの切り替えは、例えば、所定の時間存否情報213における変化がない場合や、所定の時間存否情報213が入力されない場合、存否情報213を用いるアプリケーションが終了したとき、あるいは、スケジューリングなどによって判断することができる。
さらに、制御部300は、動作定義情報311を編集する機能も有している。このような編集は、例えば、操作部6がユーザによって操作されることにより入力された情報(図示せず。)などに従って実行することができる。
特定部301は、動作解析装置2から入力された存否情報213に示される複数の基本動作パーツの存否に対応付けられている候補情報を、入力情報312として、動作定義情報311から特定する。
図9は、存否情報213のフォーマットを例示する図である。存否情報213は、図9に示すように、パーツ定義情報211に定義されている複数の基本動作パーツの存否を表現するように構成されている。したがって、定義された基本動作パーツごとに、存否情報213のどの部分に「存否」が格納されるか、予めフォーマットが決定されている。
なお、「存否」のみ格納する基本動作パーツについては、1ビットの格納領域で足りる。しかし、例えば、「回転」については、「存否」のみならず、回転方向も格納しなければならない。したがって、存否以外にも表現しなければならない状態が存在する基本動作パーツについては、複数ビットの格納領域が割り当てられる。例えば、「水平回転」には、「無し」、「右回転」および「左回転」を格納する必要があるので、2ビットが割り当てられる。また、図9には図示を省略しているが、存否情報213の先頭および末尾には、先頭および終端を示すヘッダ部が設けられる。
存否情報213は、所定の時間間隔で作成される情報である。したがって、存否情報213における「存否」は、該当する基本動作パーツが当該所定の時間間隔内に存在したことを示すものである。すなわち、1つの存否情報213に格納されている「存否」は、厳密には、「同時」とは限らず、例えば、当該所定の時間間隔程度のズレが生じ得る。
しかし、存否情報213が作成される時間間隔は、対象物の動作に対して充分に短いものである(本実施の形態では100ms程度)。したがって、本実施の形態において、1つの存否情報213に格納されているそれぞれの基本動作パーツの「存否」は、それぞれの基本動作パーツが互いに同時に存在していたか否かを示すものとみなす。すなわち、図9に示す存否情報213は、「右回転」と「上回転」とが同時に存在していたことを意味するものとする。
一方で、図9に示す存否情報213では、「右回転」と「上回転」とともに、「横向き」も記録されている。すでに説明したように、「横向き」はユーザの腕9の姿勢に関する基本動作パーツである。通常、対象物の姿勢は、当該対象物が動いている間、刻々と変化する。したがって、存否情報213が作成される所定の時間間隔の間のいずれの瞬間の姿勢を当該存否情報213に記録するかによって、基本動作パーツの「存否」が異なる結果となる。この場合、ユーザの感覚との乖離が生じるおそれがある。とはいえ、刻々と変化する姿勢をすべて記録すると、姿勢に関する基本動作パーツが複数検出されることもあり得ることになる。
本実施の形態では、姿勢に関する基本動作パーツについては、所定の時間間隔内における姿勢変化の間に1回でも当該基本動作パーツが存在すると判定すれば、その旨を存否情報213に記録する。ただし、所定の時間間隔内の姿勢の変化により、同じ存否情報213に対して、姿勢に関する異なる基本動作パーツが2以上存在すると判定された場合には、最新のものを優先して存否情報213に記録するものとする。ただし、このような決定方法に限定されるものではない。
次に、入力解析装置3において記憶される動作定義情報311について説明する。
図10は、動作定義情報311aを例示する図である。動作定義情報311は、動作番号(識別子)を格納する領域と、順番を格納する領域と、1つ以上の存否情報213に相当する領域と、候補情報を示す領域とから構成されている。図10は、1つの動作のみを定義する動作定義情報311aの例であり、かつ、1つの存否情報213に相当する領域のみを有する例を示している。
動作定義情報311aは、順番として「1」が格納されており、1つの存否情報213との照合によって候補情報(入力情報312となる情報)として「右上段構え」を特定することが示されている。この「右上段構え」とは、例えば、アプリケーションにおいてユーザが操作するキャラクタに「右上段構え」動作をさせる入力情報312である。
動作定義情報311において、共通の番号に対応する領域に示されている基本動作パーツは、共通の存否情報213において存在しなければならないことを意味する。したがって、動作定義情報311aに定義された候補情報は、右回転の基本動作パーツと上回転の基本動作パーツとが同時に存在し、かつ、そのときに、捻り回転、衝撃、静止および自由落下に関する基本動作パーツがいずれも存在しないと判定される対象物の動作によって特定される。このような対象物の動作としては、本実施の形態では、例えば、ユーザが、左の腕9(対象物)を右上方に向けて斜めに振り上げる動作が想定できる。
なお、本実施の形態における動作定義情報311において、「*」が格納されてい基本動作パーツについては、存否情報213との照合は行われない。図10に示す例では、姿勢に関する基本動作パーツが「*」となっている。すなわち、実際の対象物の動作において、姿勢に関しては、どのような基本動作パーツが存在しても、あるいは、存在しなくても、「右上段構え」という入力情報312の特定には影響がないことを意味する。
図11は、図10に示した動作定義情報311aに、パンチを繰り出す動作をさらに追加定義した動作定義情報311bを例示する図である。動作定義情報311bは、動作番号として、「1」および「2」が定義されており、対象物の2種類の動作をそれぞれ定義していることが示されている。
このように、通常、動作定義情報311には、複数の動作が定義される。なお、動作定義情報311bにおいて、動作番号「1」で示される動作は、動作定義情報311aと同じであるため、説明を省略する。
動作定義情報311bは、順番として「1」、「2」、「3」および「4」が格納された動作番号「2」の動作を定義している。動作番号「2」の動作は、4つの順番にそれぞれ対応して、4つの存否情報213に相当する領域が設けられている。したがって、動作番号「2」の動作は、4つの存否情報213との照合によって候補情報を特定するように定義されている。なお、一連の順番で示される存否情報213については、所定の時間内に合致した場合に候補情報が特定されることを意味する。
動作番号「2」の動作は、まず、1番目の存否情報213において、「静止」のみが存在し、「姿勢」は考慮せず、その他の基本動作パーツはいずれも存在しない場合に、合致する。しかし、図11に示すように、1番目の存否情報213に相当する領域には、候補情報が格納されていない。したがって、1番目の存否情報213と合致することにより、当該動作が候補動作として特定されるものの、この時点では入力情報312は特定されない(何らかの入力情報312が実行されることもない。)。
動作定義情報311に定義される動作については、少なくとも1つの候補情報が定義される必要はある。しかし、照合すべき存否情報213の数に対応した数の候補情報が定義されなければならないわけではない。したがって、図11に示す動作定義情報311bのような動作定義情報311も許容される。
次に、1番目の存否情報213との照合に成功してから、所定の時間内に、2番目の存否情報213との照合が行われ、かつ、これと合致した場合には、候補情報「動き出し」が入力情報312として特定され、実行される。なお、1番目の存否情報213と合致した時点で、候補情報が、動作番号「2」の動作に特定されているため、例えば、2番目の存否情報213と、動作番号「1」で定義される動作との照合は行われない。
図11に示すように、3番目に照合される領域の「内回転」の基本動作パーツは括弧書きとされている。これは、照合される存否情報213に存在していなくても合致とみなすが、存在している場合には追加評価の対象とすることを意味する。
3番目は、入力情報312として「突き出し中」が候補情報となっている。このときに、捻り回転に関する基本動作パーツとして、「内回転」が存在していなくてもパンチの突き出し中の動作として認められる。しかし、「内回転」が同時に存在している場合には、存在していない場合に比べて優れたパンチであると判定する。この場合、例えば、相手に与えるダメージを増幅するといった処理が想定できる。
このように、動作定義情報311には、追加評価項目を定義することも可能となっている。これにより、例えば、動作定義情報311に、通常のパンチ動作と、優れたパンチ動作とをそれぞれ別個に定義する必要はなくなる。
最後に4番目の存否情報213との照合がされ、これと合致すると、対象物による正しい一連の動作が完成したと判定され、一連の入力情報312が特定され、実行される。このように、動作定義情報311には、時間的に前後した一連の基本動作パーツによって構成される動作を定義することも可能である。したがって、キャラクタの変身ポーズや、必殺技を繰り出す複雑な動作なども定義することができる。
以上が、情報受付システム1の構成および機能の説明である。次に、情報受付システム1による入力受付方法について説明する。
図12は、動作解析装置2の動作を示す流れ図である。図12に示す工程が開始されるまでに、動作解析装置2の記憶装置21に、パーツ定義情報211が記憶されているものとする。
動作解析装置2は、図12に示す処理を開始すると、まず、制御部200が、動作解析装置2の動作モードを通常モードにセットする(ステップS1)。
ステップS1が実行されると、動作解析装置2は、通常モードに移行し、パーツ定義情報211の編集の要否(ステップS2)、動作解析を行うためのタイミングが到来したか否か(ステップS4)、存否情報213を送信するか否か(ステップS6)、および、省電力動作解析モードが適切か否か(ステップS8)を判定する状態となる。
パーツ定義情報211の編集が要求されている場合(ステップS2においてYes。)、制御部200が記憶装置21に記憶されているパーツ定義情報211を編集する(ステップS3)。具体的には、制御部200が、指示情報に従って、パーツ定義情報211に格納されている情報を書き換える。ステップS3では、例えば、「衝撃」に係る基本動作パーツのレコードに格納されている条件(加速度の絶対値の閾値)を、制御部200が、指示情報に指示されている値に書き換える。
記憶装置21にはパーツ定義情報211の初期情報が予め格納されている。しかし、ステップS3が実行されることにより、動作解析装置2では、パーツ定義情報211を書き換えることが可能とされているので、定義する基本動作パーツの汎用性が向上する。なお、パーツ定義情報211の編集を指示する指示情報は、例えば、ユーザが操作部6を操作することにより作成され、入力解析装置3から動作解析装置2に向けて伝達される。
動作解析を実行するタイミングが到来している場合(ステップS4においてYes。)、動作解析装置2(MPU20)は、動作解析処理を開始する(ステップS5)。本実施の形態における動作解析装置2は、図示しないタイマを備えており、所定の周期(所定の時間間隔)ごとにステップS5を実行するように構成されている。
図13は、動作解析装置2が実行する動作解析処理を示す流れ図である。
動作解析処理が開始されると、MPU20は、カウンタn(nは0以上の整数)の値を「0」にリセットする(ステップS11)。カウンタnは、パーツ定義情報211に定義(登録)されている基本動作パーツ(本実施の形態では16個。)をカウントするためのカウンタであるが詳細は後述する。
次に、検出部201は、加速度センサ4およびジャイロセンサ5から出力を取得し(ステップS12)、検出情報212を作成する(ステップS13)。
すでに説明したように、検出部201は、加速度センサ4およびジャイロセンサ5からの出力に基づいて、実際に発生した対象物の動作を表す物理量や動作種別等を検出して、検出情報212を作成する。
ただし、動作解析装置2の動作モードが省電力動作解析モードである場合、ジャイロセンサ5は停止しているため、ステップS12においてジャイロセンサ5からの出力は取得されない。また、その場合、ステップS13において検出部201は、加速度センサ4からの入力にのみ基づいて検出情報212を作成する。
従来の技術では、水平回転における回転量を、いわゆるYaw角表現により検出することが一般的であった。情報受付システム1においても、状況に応じて、このような従来の検出方法を採用することは、もちろん可能である。しかし、従来の検出方法では、例えば、腕の縦回転に付随する水平回転により、ユーザが水平回転させる意図がないにもかかわらず、水平回転が検出されてしまうという問題があった。すなわち、Yaw角表現を採用すると、ユーザの直感とは異なる結果を招く場合があった。
本実施の形態における検出部201は、水平回転を、従来の技術のように当該水平回転における回転角度によって検出するのではなく、水平回転による移動ベクトルwの接線成分uの積算値λが閾値(条件)以上か否かによって検出する。すなわち、以下の式1ないし式3により求める。
λ(t)=λ(t−1)+w(t)・u(t) ・・・ 式1
w(t)=v(t)−v(t−1) ・・・ 式2
u(t)=v(t−1)×(0,0,1) ・・・ 式3
ただし、「t」は時間インデックス、「v」は水平面における位置ベクトルである。
これにより、ユーザの感覚と近い検出結果(検出情報212)が得られる。
検出情報212が作成されると、判定部202は、パーツ定義情報211と検出情報212とを参照して、n番目の基本動作パーツの存否を判定し(ステップS14)、判定結果を存否情報213のn番目の基本動作パーツの格納領域に格納することにより新たな存否情報213を作成する(ステップS15)。
ステップS15における処理は、パーツ定義情報211に定義されている複数の基本動作パーツのうちのn番目の基本動作パーツについてのみ実行される処理である。したがって、厳密に言えば、すべての基本動作パーツに対するステップS15が実行されるまで、存否情報213の作成は完了しない。
n番目の基本動作パーツに対する処理が終了すると、判定部202は、カウンタnが「15」か否かを判定する(ステップS16)。そして、カウンタnが「15」でない場合(ステップS16においてNo。)、nをインクリメントして(ステップS17)、ステップS14からの処理を繰り返す。
すでに説明したように、本実施の形態では、16個の基本動作パーツが定義されている。したがって、ステップS16が実行されるときに、カウンタnが「15」であれば、定義されたすべての基本動作パーツに対する存否確認(ステップS14)と、存否情報213への判定結果の格納(ステップS15)とが終了していることを意味する。言い換えれば、ステップS16においてカウンタnが「15」であれば、ようやく1つの存否情報213の作成が完了したことになる。
ステップS16においてYesと判定すると、判定部202は、作成した存否情報213のインタフェース部22による出力の要否を判定する(ステップS18)。
本実施の形態における判定部202は、定義されている「衝撃」または「回転」に関する基本動作パーツのうちの少なくとも1つの基本動作パーツが、作成した存否情報213において変化した場合に、インタフェース部22による出力が必要な存否情報213であると判定する。ただし、ステップS18における判定基準はこれに限定されるものではない。
作成が完了した存否情報213が出力する必要のない情報であると判定すると(ステップS18においてNo。)、判定部202は、出力させる必要がないと判定した存否情報213を記憶装置21から削除する(ステップS19)。この場合、記憶装置21上に作成されている検出情報212は削除されない。
一方、ステップS18においてYesと判定すると、判定部202は、出力させる必要があると判定した存否情報213の基礎となった検出情報212を記憶装置21から削除する(ステップS20)。この場合は、記憶装置21上に作成されている存否情報213は削除されない。
ステップS19またはS20を実行すると、MPU20は、動作解析処理を終了して、図12に示す処理に戻る。
なお、本実施の形態における動作解析装置2では、説明の便宜上、センサ出力の取得(ステップS12)、検出情報212の作成(ステップS13)、存否情報213の作成(ステップS15)が、いずれも動作解析処理において実行されるとして説明した。したがって、これらの処理は、ほぼ同じサイクル(ステップS4においてYesと判定されるサイクル。)で実行されることになる。しかし、これらの処理は、通常は、互いに独立したサイクルで実行される処理である。
図12に戻って、制御部200が存否情報213の出力が必要であると判定すると(ステップS6においてYes。)、制御部200は記憶装置21に記憶されている存否情報213を出力するようにインタフェース部22を制御する。これにより、存否情報213の出力タイミングが決定され、インタフェース部22が存否情報213を入力解析装置3に向けて出力する(ステップS7)。したがって、ステップS7が実行されることにより、存否情報213は、動作解析装置2から出力される。
ステップS7において、インタフェース部22は、記憶装置21に記憶されている、すべての存否情報213を出力する。これにより、出力せずに溜めてあった存否情報213を、適切な状況において、一括して出力処理することができる。これによっても、消費電力を抑制することができる。
なお、すでに説明したように、ステップS6における判定は、入力解析装置3からの要請や、存否情報213における変化の有無、記憶装置21の残りの記憶容量などに応じて判定する。ただし、これらに限定されるものではなく、また、これらの条件のすべてが判定されなければならないわけでもない。新しい存否情報213が作成されるたびに、必ず、当該存否情報213を出力するように構成してもよいし、いわゆるスケジューリングによって判定してもよい。
また、動作解析装置2から出力された存否情報213は、制御部200によって、適宜、記憶装置21から削除される。
また、すでに説明したように、入力解析装置3の動作モードが省電力入力解析モードであるときに、ステップS7が実行されると、起床情報としての存否情報213が入力解析装置3に入力されることになる。したがって、本実施の形態における情報受付システム1では、ステップS6は、入力解析装置3の動作モードを省電力入力解析モードから通常モードに切り替えるタイミングを決定する処理ともいえる。
制御部200が省電力動作解析モードが適当であると判定すると(ステップS8においてYes。)、制御部200は、動作解析装置2の動作モードを省電力動作解析モードにセットする(ステップS9)。これにより、以後、ジャイロセンサ5が停止されるとともに、検出部201によるジャイロセンサ5からの出力に対する検出も実行されない。したがって、動作解析装置2は、加速度センサ4による動作解析処理(ステップS5)を実行しつつも、消費電力を抑制することができる。
ステップS8における判定は、例えば、入力解析装置3からの指示情報や、検出情報212における変化(あるいは存否情報213における変化)が、所定の期間継続して検出されないことによっても判定することができる。
ただし、本実施の形態における制御部200は、対象物の動作において、基本動作パーツである「姿勢」が変化していても、他の基本動作パーツが変化していない場合には、動作モードを省電力動作解析モードに切り替える場合がある。これは、一般に、対象物の動作において「姿勢」は比較的頻繁に変化する一方で、このような姿勢の変化は、ユーザが入力情報312の入力を意図した動作でない場合も多い。したがって、姿勢の変化のみが検出され続けている状況において、常に、動作解析装置2を通常モードで動作させるとすると、効果的に消費電力を抑制することができないおそれがあるからである。
省電力動作解析モードが適当でない状況(ステップS8においてNo。)では、図12に示すように、ステップS8における判定に引き続いてステップS1が実行される。これにより、動作解析装置2は通常モードに維持されるか、あるいは、通常モードに移行する。したがって、省電力動作解析モードで動作することが適当でないような状況では、動作解析装置2は通常モードで動作する。
以上が動作解析装置2の動作の説明である。次に、入力解析装置3の動作について説明する。
図14は、入力解析装置3の動作を示す流れ図である。なお、図14に示す工程が開始されるまでに、動作定義情報311が記憶装置31に記憶されているものとする。また、図14において詳細は省略しているが、入力解析装置3の動作モードが通常モードのとき、制御部300は、省電力入力解析モードに移行させるべき状況か否かを常に監視しており、当該状況が検出されると通常モードを省電力入力解析モードに切り替えるものとする。
入力解析装置3は、図14に示す処理を開始すると、動作定義情報311の編集の要否(ステップS21)、および、存否情報213を取得したか否か(ステップS23)とを監視する状態となる。なお、図14において詳細は省略しているが、入力解析装置3の動作モードが省電力入力解析モードのとき、ステップS21またはS23においてYesと判定されると、入力解析装置3は通常モードに移行する。
動作定義情報311の編集が要求されている場合(ステップS21においてYes。)、制御部300が記憶装置31に記憶されている動作定義情報311を編集する(ステップS22)。具体的には、制御部300が、指示情報に従って、動作定義情報311に格納されている情報を書き換える。
記憶装置31には動作定義情報311の初期情報が予め格納されている。しかし、ステップS22を実行することによって、ユーザは動作定義情報311を書き換えることが可能とされている。したがって、入力解析装置3は、検出しようとする動作の追加、削除あるいは変更を容易に行うことができ、汎用性が向上する。なお、動作定義情報311の編集を指示する指示情報は、例えば、ユーザが操作部6を操作することにより作成される。
動作解析装置2から出力された存否情報213をインタフェース部32が取得すると(ステップS23においてYes)、特定部301は、取得された存否情報213と動作定義情報311とを照合する(ステップS24)。より詳細には、特定部301は、実際の対象物の動作について判定された基本動作パーツの存否(存否情報213)と、対象物の動作を構成するとして定義された基本動作パーツの存否(動作定義情報311)とを照合する。
なお、ステップS24において、過去に取得された存否情報213と合致することにより、すでに動作候補が記憶されている場合には、当該動作候補において次番として定義されている基本動作パーツの存否と、最新に取得された存否情報213とのみを照合する。一方、動作候補が記憶されていない場合には、動作定義情報311に定義されているすべての動作に対して存否情報213との照合を行う。例えば、図11に示す例のように、動作定義情報311に動作番号「1」および「2」の2つの動作が定義されている場合には、それらの動作についてそれぞれ順次に照合する。
照合により合致しない場合(ステップS25においてNo。)、特定部301は、存否情報213を破棄し(ステップS30)、入力解析装置3はステップS21からの処理を繰り返す。
一方、照合により合致した場合(ステップS25においてYes。)、特定部301は、動作定義情報311において合致した存否情報213に対応する候補情報が格納されているか否かに応じて、入力情報312を特定できたか否かを判定する(ステップS26)。すでに説明した図11に示す動作定義情報311bの動作番号「2」の順番「1」の場合のように、存否情報213と合致しても、候補情報が格納されていない場合もある。このような場合、特定部301は、入力情報312を特定することはできない。
したがって、特定部301は、ステップS26においてNoと判定した場合、合致した動作を動作候補として記憶する(ステップS29)。これにより、次回からは当該動作候補とのみ存否情報213との照合が行われる。そして、入力解析装置3は、合致した存否情報213を破棄し(ステップS30)、ステップS21からの処理を繰り返す。
一方、入力情報312を特定できた場合(ステップS26においてYes。)、特定部301は、特定した候補情報に基づいて入力情報312を作成する。そして、作成された入力情報312を制御部300が実行する(ステップS27)。ステップS27が実行されることにより、入力解析装置3において、対象物の動作によって特定された入力情報312の実行が実現される。すなわち、対象物の動作による入力情報312の受付と、実行とが達成される。
ステップS27を実行すると、特定部301は、動作定義情報311において、合致した領域の次番が定義されているか否かを判定する(ステップS28)。これによって、さらに一連の動作が定義されているか否かを確認する。
次番が定義されている場合(ステップS28においてYes。)、合致した動作を候補動作として記憶し(ステップS29)、存否情報213を破棄する(ステップS30)。そして、入力解析装置3は、ステップS21からの処理を繰り返す。
次番が定義されていない場合(ステップS28においてNo。)、CPU30は、ステップS29をスキップして、存否情報213を破棄する(ステップS30)。なお、ステップS28でNoと判定し、ステップS29をスキップするとき、特定部301は、候補動作として記憶されている動作が存在するか否かを確認し、存在する場合は当該候補動作を解除する。そして、ステップS30を実行すると、入力解析装置3はステップS21からの処理を繰り返す。
以上が入力解析装置3の動作である。なお、詳細な説明を省略したが、入力解析装置3において候補動作が記憶されている場合には、適宜、所定の時間(次番との合致までに許容されている時間)がすでに経過したか否かを監視し、経過している場合は候補動作を解除する。
以上のように、入力情報312を受け付ける情報受付システム1は、対象物の動作を解析する動作解析装置2と、入力解析装置3とを備えている。そして、動作解析装置2は、対象物の動作を構成する複数の基本動作パーツをそれぞれ定義するパーツ定義情報211を記憶する記憶装置21と、対象物の実際の動作に関する物理量を検出して検出情報212を作成する検出部201と、検出情報212とパーツ定義情報211とに基づいて、対象物の実際の動作における複数の基本動作パーツの存否を判定して存否情報213を作成する判定部202と、存否情報213を対象物の動作の解析結果として出力するインタフェース部22とを備える。また、入力解析装置3は、入力情報312の候補となる候補情報と複数の基本動作パーツの存否とを対応付ける動作定義情報311を記憶する記憶装置31と、動作解析装置2から入力された存否情報213に示される複数の基本動作パーツの存否に対応付けられている候補情報を、入力情報312として動作定義情報311から特定する特定部301とを備える。これによって、動作解析装置2は、対象物の動作を構成する複数の基本動作パーツの存否のみを出力し、検出部201による検出結果やセンサの測定データ等を出力しないので、比較的低周波数で動作させることができる。また、対象物の特定の動作の存否を判定せずに、上位の入力解析装置3に処理を任せることによって、動作解析装置2の汎用性も向上する。
また、複数の基本動作パーツは、対象物の動作における加速度のみによって存否が判定される基本動作パーツ「衝撃」を含めることができる。このように、動作により生じる加速度の方向を考慮しない基本動作パーツを、存否判定の対象とすることができる。
また、検出部201は、対象物の動作における鉛直方向に平行な軸を回転軸とする水平回転を、当該動作によって水平面内において生じる移動ベクトルwの接線成分uの積算値λにより検出する。これにより、水平回転について、人の感覚から乖離することなく、人の感覚と近い検出結果が得られる。
また、制御部200は、動作解析装置2の動作モードを通常モードと、通常モードに比べて消費電力が抑制される省電力動作解析モードとの間で切り替える。このように、省電力動作解析モードを設けて、適宜、切り替えることにより、消費電力を抑制することができる。
また、制御部200は、存否情報213に示される複数の基本動作パーツの存否に応じて動作解析装置2の動作モードを通常モードと省電力動作解析モードとの間で切り替える。例えば、複数の基本動作パーツのうちの「姿勢」のように、動作において比較的頻繁に変化するにもかかわらず、その変化がユーザの意図するものでない基本動作パーツについては変化していても、省電力動作解析モードに移行させる。このように、動作解析装置2は、上位のプロセッサである入力解析装置3による判定を必要とすることなく、状況を判定して動作モードを切り替えることができる。したがって、入力解析装置3を起動しなくても、動作モードの切り替えができるので、さらに消費電力を抑制することも可能となる。
また、動作定義情報311は、図11において例示した動作定義情報311bのように、複数の基本動作パーツの存否を2以上の存否情報213に相当する分だけ定義することができる。これによって2以上の存否情報213のそれぞれにおいて示される複数の基本動作パーツの存否に応じて、対象物の動作が当該2以上の存否情報213において継続しているか否かを判定することも可能となる。したがって、定義可能な動作のバリエーションが増えるので、汎用性が向上する。
また、動作定義情報311は、図11において例示した動作定義情報311bのように、複数の基本動作パーツの存否を2以上の存否情報213に相当する分だけ定義することができる。これによって特定部301は、2以上の存否情報213において、対象物の動作が継続しているか否かに応じて入力情報312として特定する候補情報を特定することができる。これにより、入力情報312を特定するための条件のバリエーションが増えるので、汎用性が向上する。
また、動作定義情報311は、図10において例示した動作定義情報311aのように、特定の基本動作パーツに「*」を定義可能である。これによって特定部301は、存否情報213に示される複数の基本動作パーツの存否のうちの一部のみによって入力情報312として特定する候補情報を特定する。これにより、定義可能な動作のバリエーションが増えるので、汎用性が向上する。
また、動作定義情報311は、図11において例示した動作定義情報311bのように、特定の基本動作パーツに「括弧書き」を定義可能である。これによって特定部301は、存否情報213に示される複数の基本動作パーツの存否のうちの一部の基本動作パーツの存否を追加評価することによって入力情報312として特定する候補情報を特定する。これにより、定義可能な動作のバリエーションが増えるので、汎用性が向上する。
また、動作解析装置2は、インタフェース部22を制御することにより、存否情報213を出力するタイミングを制御する。これにより、例えば、存否情報213を出力するタイミングが到来するまで、入力解析装置3の動作モードを省電力入力解析モードとすることで消費電力を抑制することができる。
また、存否情報213に応じて、存否情報213を出力するタイミングを制御することにより、例えば、特定の動作に関する基本動作パーツが存在した場合に存否情報213を出力させることができる。すなわち、「存否情報213を出力させる」ことを意味する基本動作パーツを定義しておくことにより、当該基本動作パーツが存在するときに、必ず、動作解析装置2に存否情報213を出力させることができる。
また、存否情報213における変化に応じて、存否情報213を出力するタイミングを制御することにより、同じ状態が継続している場合の出力頻度を低下させることができる。
また、入力解析装置3からの要請に応じて、存否情報213を出力するタイミングを制御することにより、入力解析装置3が望まないタイミングでの出力を抑制することができる。
また、記憶装置21の記憶残量に応じて存否情報213を出力するタイミングを制御することにより、記憶残量が足りなくなる状況を防止することができる。
また、判定部202は、作成した存否情報213のインタフェース部22による出力の要否を判定し、出力させる必要がないと判定した存否情報213を記憶装置21から削除する。これにより、記憶装置21の記憶残量を確保することができるとともに、不要な存否情報の出力に関する処理を省くことができる。
また、情報受付システム1は、入力解析装置3の動作モードを通常モードと、通常モードに比べて消費電力が抑制される省電力入力解析モードとの間で切り替える。このように、省電力入力解析モードを設けて、適宜、切り替えることにより、消費電力を抑制することができる。
また、動作解析装置2は、入力解析装置3の動作モードを省電力入力解析モードから通常モードに切り替えることができる。これにより、入力解析装置3が自己復帰しなくても、必要なときに、通常モードに復帰することができる。
また、動作解析装置2は、存否情報213に応じて入力解析装置3の動作モードを省電力入力解析モードから通常モードに切り替える。これにより、例えば、「入力解析装置3を起こす」ことを意味する基本動作パーツを定義しておくことによって、当該基本動作パーツが検出されたときに、必ず、動作解析装置2が入力解析装置3を復帰させることができる。
<2. 第2の実施の形態>
第1の実施の形態では、ユーザの体に対する3つの軸として、X軸、Y軸およびZ軸を定義した。このように定義された軸は、ユーザが容易に意識することができる。したがって、これを基準に基本動作パーツの存否を判定すれば、すでに説明したように、ユーザの感覚に近い結果を得ることができる。
ところが、第1の実施の形態において定義したX軸、Y軸およびZ軸は、ユーザが比較的容易に知覚できる軸であるとはいえ、実際にユーザがこれらの軸に従って動作しようとすると困難な場合も想定される。例えば、ユーザがY軸と意識することができたとしても、Y軸を回転軸とするように腕9の肩の位置を配置して、上回転(基本動作パーツ)を含む動作をすることは難しい場合もある。
しかし、本発明における基本動作パーツは、第1の実施の形態に定義したX軸、Y軸およびZ軸に従って定義されなければならないものではない。例えば、対象物の構造や、定義される動作などに応じて、他の軸に従って基本動作パーツを定義することも可能である。
図15は、第2の実施の形態における情報受付システム1aの外観図である。なお、第2の実施の形態における情報受付システム1aにおいて、第1の実施の形態における情報受付システム1と同様の構成については同符号を付し、適宜、説明を省略する場合がある。
図15に示すように、第2の実施の形態における情報受付システム1aは、第1の実施の形態において定義されたX軸、Y軸およびZ軸の代わりに、垂直軸および水平軸とを定義する。垂直軸は、第1の実施の形態におけるZ軸と同様に、鉛直方向に平行な軸であり、上方向を正とする軸である。また、水平軸は、垂直軸に対して垂直な軸であるが、水平面内における向きは任意の軸である。水平軸の向きの決定方法については後述する。
図16は、第2の実施の形態における動作解析装置2が備える機能ブロックをデータの流れとともに示す図である。
第2の実施の形態における動作解析装置2は、検出部201および判定部202の代わりに、検出部201aおよび判定部202aを備えている点が、第1の実施の形態における動作解析装置2と異なっている。
検出部201aは、加速度センサ4およびジャイロセンサ5からの入力に従って検出情報212を作成する。ただし、検出部201aは、第1の実施の形態における検出部201と異なり、X軸、Y軸およびZ軸に応じた変換を行うことはない。
検出部201aは、捻り回転については、X軸を基準とするのではなく、P軸を基準として、P軸回りの回転量および回転方向を物理量として検出情報212とする。したがって、第2の実施の形態におけるパーツ定義情報211では、捻り回転に係る基本動作パーツについては、P軸回りの回転量としての閾値が存否を判定するための条件として格納される。
また、検出部201aは、水平回転(垂直軸回りの回転)および縦回転(水平軸回りの回転)についても、加速度センサ4およびジャイロセンサ5からの入力に従って検出を実行し、検出情報212を作成する。
具体的には、検出部201aは、加速度センサ4およびジャイロセンサ5からの入力に従って、対象物の実際の動作における回転速度(所定時間内の回転量)を求め、検出情報212に格納する。また、検出部201aは、回転速度を求めた動作における回転軸を求めるとともに、このときの重力加速度の方向を求める。このようにして求まる回転軸の水平方向成分が図15に示す水平軸となり、重力加速度の成分が図15に示す垂直軸(鉛直方向を示す軸)となる。さらに、検出部201aは、求めた回転軸の垂直軸(鉛直方向)に対する傾きを求め、この「傾き」を検出情報212に格納する。
このように、第2の実施の形態における検出部201aは、水平回転と縦回転とを別々の軸回りの回転として検出するのではなく、1つの回転動作として回転速度と傾きとを検出して、当該回転動作を示す物理量として検出情報212とする。なお、詳細な説明は省略したが、検出部201aは、回転の向きについても検出し、検出情報212に格納する。
第2の実施の形態におけるパーツ定義情報211では、水平回転および縦回転に係る基本動作パーツについては、いずれも、回転速度の閾値と、垂直軸との傾きの閾値とが存否を判定するための条件として格納される。そして、水平回転および縦回転に係る基本動作パーツについての回転速度の閾値は共通の値が格納される。垂直軸との傾きの閾値としては、例えば、水平回転には「30°」が格納され、縦回転には「60°」が格納される。ただし、条件として設定される角度は、ここに示す例に限定されるものではない。
判定部202aは、検出情報212を参照し、実際の動作における回転速度が、パーツ定義情報211に格納されている回転速度の閾値以上である場合に、水平回転および/または縦回転に係る基本動作パーツが存在すると判定する。
そして、水平回転および/または縦回転に係る基本動作パーツが存在すると判定した場合、判定部202aは、当該動作における「傾き」を検出情報212から取得して、パーツ定義情報211を参照する。この「傾き」が、「0°以上30°未満」のとき、判定部202aは、動作の回転軸が垂直軸に近いので、水平回転のみが存在すると判定する。また、この「傾き」が、「30°以上60°未満」のとき、判定部202aは、動作の回転軸が垂直軸と水平軸との間付近であるので、水平回転および縦回転の両方が存在すると判定する。さらに、この「傾き」が、「60°から90°以下」のとき、判定部202aは、動作の回転軸が水平軸に近いので、縦回転のみが存在すると判定する。
このように、第2の実施の形態における情報受付システム1aでは、水平回転および縦回転に係る基本動作パーツについては、観測された実際の動作の回転軸の方向にかかわらず、回転速度のみによって存否を判定する。そして、基本動作パーツが存在すると判定された場合に、当該回転軸と垂直軸との間の角度(傾き)によって、水平回転に係る基本動作パーツまたは縦回転に係る基本動作パーツのいずれかであるのか、あるいは、両方の回転に係る基本動作パーツが存在するかを決定する。
第1の実施の形態では、例えば、上回転と右回転とが含まれる動作を定義した場合、当該動作は、上回転の閾値と、右回転の閾値とを同時に満たすように対象物が動いたときにしか検出されない。すなわち、当該動作は、上回転のみの動作または右回転のみの動作のときと比べて、速い速度で動かさないと検出されないことになる。このような検出結果は、ユーザの感覚から乖離するおそれがある。
しかし、第2の実施の形態における情報受付システム1aは、回転方向(回転種別)にかかわらず、まず回転速度(所定時間内の回転量)のみの閾値によって基本動作パーツの存否を判定する。そして、回転速度が閾値に達しており、「回転」に係る基本動作パーツのうちの少なくともいずれかが存在すると判定された後に、存在する「回転」に係る基本動作パーツを具体的に特定する。
以上のように、第2の実施の形態における情報受付システム1aの検出部201aは、対象物の実際の動作における回転軸を求め、当該回転軸の鉛直方向に対する傾きによって当該対象物の動作における回転を検出する。これにより、情報受付システム1aは、ユーザの感覚と近い判定結果を得ることができる。
なお、第2の実施の形態における情報受付システム1aに関する、上記以外の構成、機能および動作については、例えば、第1の実施の形態における情報受付システム1と同様に実現することができるため、以下の説明を省略する。
<3. 変形例>
以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。
例えば、上記実施の形態に示した各工程は、あくまでも例示であって、上記に示した順序や内容に限定されるものではない。すなわち、同様の効果が得られるならば、適宜、順序や内容が変更されてもよい。
また、上記実施の形態に示した機能ブロック(例えば、検出部201,201aや判定部202,202a、特定部301など)は、MPU20(CPU30)がプログラム210(プログラム310)に従って動作することにより、ソフトウェア的に実現されると説明した。しかし、これらの機能ブロックの一部または全部を専用の論理回路で構成し、ハードウェア的に実現してもよい。
また、情報受付システム1,1aは、腕時計型の装置構成に限定されるものではない。例えば、ユーザの両腕や両足に装着される複数の装置によって構成されていてもよいし、ユーザの頭の動きや視線の動きを捉えるようにヘッドレスト型の装置であってもい。あるいは、これらの装置が、適宜、組み合わされて情報受付システム1,1aを構成していてもよい。
また、基本動作パーツは、上記実施の形態に示したものに限定されるものではなく、対象物の種類や、実現可能な動作などに応じて様々な基本動作パーツを定義してもよい。例えば、ユーザの手の親指の向き(例えば、親指が上を指しているか下を指しているかの区別)などであってもよい。
1,1a 情報受付システム
2 動作解析装置
20 MPU
200,300 制御部
201,201a 検出部
202,202a 判定部
21,31 記憶装置
210,310 プログラム
211 パーツ定義情報
212 検出情報
213 存否情報
22,32 インタフェース部
3 入力解析装置
30 CPU
301 特定部
311,311a,311b 動作定義情報
312 入力情報
4 加速度センサ
5 ジャイロセンサ
6 操作部
7 表示部
9 腕

Claims (22)

  1. 対象物の動作を解析する動作解析装置であって、
    前記対象物の動作を構成する複数の基本動作パーツをそれぞれ定義するパーツ定義情報を記憶する記憶手段と、
    前記対象物の実際の動作に関する物理量を検出して検出情報を作成する検出手段と、
    前記検出情報と前記パーツ定義情報とに基づいて、前記対象物の実際の動作における前記複数の基本動作パーツの存否を判定し、前記複数の基本動作パーツの存否を示す存否情報を作成する判定手段と、
    前記存否情報を前記対象物の動作の解析結果として出力する出力手段と、
    を備える動作解析装置。
  2. 請求項1に記載の動作解析装置であって、
    前記複数の基本動作パーツは、前記対象物の動作における加速度のみによって存否が判定される基本動作パーツを含む動作解析装置。
  3. 請求項1または2に記載の動作解析装置であって、
    前記検出手段は、前記対象物の動作における鉛直方向に平行な軸を回転軸とする第1回転を、当該動作によって水平面内において生じる移動ベクトルの接線成分の積算値により検出する動作解析装置。
  4. 請求項1または2に記載の動作解析装置であって、
    前記検出手段は、前記対象物の実際の動作における回転軸を求め、当該回転軸の鉛直方向に対する傾きによって前記対象物の動作における回転を検出する動作解析装置。
  5. 請求項1ないし4のいずれかに記載の動作解析装置であって、
    前記動作解析装置の動作モードを通常モードと、前記通常モードに比べて消費電力が抑制される省電力動作解析モードとの間で切り替える動作解析装置。
  6. 請求項5に記載の動作解析装置であって、
    前記存否情報に示される前記複数の基本動作パーツの存否に応じて前記動作解析装置の動作モードを前記通常モードと前記省電力動作解析モードとの間で切り替える動作解析装置。
  7. 入力情報を受け付ける情報受付システムであって、
    対象物の動作を解析する動作解析装置と、
    入力解析装置と、
    を備え、
    前記動作解析装置は、
    前記対象物の動作を構成する複数の基本動作パーツをそれぞれ定義するパーツ定義情報を記憶する第1記憶手段と、
    前記対象物の実際の動作に関する物理量を検出して検出情報を作成する検出手段と、
    前記検出情報と前記パーツ定義情報とに基づいて、前記対象物の実際の動作における前記複数の基本動作パーツの存否を判定して存否情報を作成する判定手段と、
    前記存否情報を前記対象物の動作の解析結果として出力する出力手段と、
    を備え、
    前記入力解析装置は、
    前記入力情報の候補となる候補情報と前記複数の基本動作パーツの存否とを対応付ける動作定義情報を記憶する第2記憶手段と、
    前記動作解析装置から入力された存否情報に示される前記複数の基本動作パーツの存否に対応付けられている候補情報を、前記入力情報として前記動作定義情報から特定する特定手段と、
    を備える情報受付システム。
  8. 請求項7に記載の情報受付システムであって、
    2以上の前記存否情報のそれぞれにおいて示される前記複数の基本動作パーツの存否に応じて、前記対象物の動作が前記2以上の存否情報において継続しているか否かを判定する情報受付システム。
  9. 請求項8に記載の情報受付システムであって、
    前記特定手段は、前記2以上の存否情報において、前記対象物の動作が継続しているか否かに応じて前記入力情報を特定する情報受付システム。
  10. 請求項7ないし9のいずれかに記載の情報受付システムであって、
    前記特定手段は、前記存否情報に示される前記複数の基本動作パーツの存否のうちの一部のみによって前記入力情報として特定する候補情報を特定する情報受付システム。
  11. 請求項7ないし10のいずれかに記載の情報受付システムであって、
    前記特定手段は、前記存否情報に示される前記複数の基本動作パーツの存否のうちの一部の基本動作パーツの存否を追加評価することによって前記入力情報として特定する候補情報を特定する情報受付システム。
  12. 請求項7ないし11のいずれかに記載の情報受付システムであって、
    前記動作解析装置は、
    前記出力手段を制御することにより、前記存否情報を出力するタイミングを制御する出力制御手段をさらに備える情報受付システム。
  13. 請求項12に記載の情報受付システムであって、
    前記出力制御手段は、前記存否情報に応じて前記タイミングを制御する情報受付システム。
  14. 請求項13に記載の情報受付システムであって、
    前記出力制御手段は、前記存否情報における変化に応じて前記タイミングを制御する情報受付システム。
  15. 請求項12ないし14のいずれかに記載の情報受付システムであって、
    前記出力制御手段は、前記入力解析装置からの要請に応じて前記タイミングを制御する情報受付システム。
  16. 請求項12ないし15のいずれかに記載の情報受付システムであって、
    前記出力制御手段は、前記第1記憶手段の記憶残量に応じて前記タイミングを制御する情報受付システム。
  17. 請求項7ないし16のいずれかに記載の情報受付システムであって、
    前記判定手段は、作成した前記存否情報の前記出力手段による出力の要否を判定し、出力させる必要がないと判定した存否情報を前記第1記憶手段から削除する情報受付システム。
  18. 請求項7ないし17のいずれかに記載の情報受付システムであって、
    前記入力解析装置の動作モードを通常モードと、前記通常モードに比べて消費電力が抑制される省電力入力解析モードとの間で切り替える情報受付システム。
  19. 請求項18に記載の情報受付システムであって、
    前記動作解析装置は、前記入力解析装置の動作モードを省電力入力解析モードから通常モードに切り替える情報受付システム。
  20. 請求項19に記載の情報受付システムであって、
    前記動作解析装置は、前記第1記憶手段の記憶残量に応じて前記入力解析装置の動作モードを省電力入力解析モードから通常モードに切り替える情報受付システム。
  21. 請求項19または20に記載の情報受付システムであって、
    前記動作解析装置は、前記存否情報に応じて前記入力解析装置の動作モードを省電力入力解析モードから通常モードに切り替える情報受付システム。
  22. 入力情報を受け付ける入力受付方法であって、
    対象物の動作を構成する複数の基本動作パーツをそれぞれ定義するパーツ定義情報を第1記憶手段に記憶させる工程と、
    前記入力情報の候補となる候補情報と前記複数の基本動作パーツの存否とを対応付ける動作定義情報を第2記憶手段に記憶させる工程と、
    前記対象物の実際の動作に関する物理量を検出手段により検出して検出情報を作成する工程と、
    前記検出情報と前記パーツ定義情報とに基づいて、前記実際の動作における前記複数の基本動作パーツの存否を判定し、前記複数の基本動作パーツの存否を示す存否情報を作成する工程と、
    前記複数の基本動作パーツの存否に対応付けられている候補情報を、前記入力情報として前記動作定義情報から特定する工程と、
    を有する入力受付方法。
JP2017038419A 2017-03-01 2017-03-01 動作解析装置、情報受付システムおよび入力受付方法 Pending JP2018147031A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017038419A JP2018147031A (ja) 2017-03-01 2017-03-01 動作解析装置、情報受付システムおよび入力受付方法
PCT/JP2018/003115 WO2018159200A1 (ja) 2017-03-01 2018-01-31 動作解析装置、情報受付システムおよび入力受付方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017038419A JP2018147031A (ja) 2017-03-01 2017-03-01 動作解析装置、情報受付システムおよび入力受付方法

Publications (1)

Publication Number Publication Date
JP2018147031A true JP2018147031A (ja) 2018-09-20

Family

ID=63370735

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017038419A Pending JP2018147031A (ja) 2017-03-01 2017-03-01 動作解析装置、情報受付システムおよび入力受付方法

Country Status (2)

Country Link
JP (1) JP2018147031A (ja)
WO (1) WO2018159200A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020026648A1 (ja) 2018-08-03 2020-02-06 株式会社小松製作所 作業車両の運転室

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008065860A (ja) * 2007-11-26 2008-03-21 Olympus Corp 操作入力装置
JP2010026064A (ja) * 2008-07-16 2010-02-04 Sony Computer Entertainment Inc 携帯型画像表示装置、その制御方法、プログラム及び情報記憶媒体
JP2015099057A (ja) * 2013-11-18 2015-05-28 シャープ株式会社 加速度センサ制御装置、電子機器、およびプログラム
WO2015141328A1 (ja) * 2014-03-18 2015-09-24 ソニー株式会社 情報処理装置、制御方法、およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008065860A (ja) * 2007-11-26 2008-03-21 Olympus Corp 操作入力装置
JP2010026064A (ja) * 2008-07-16 2010-02-04 Sony Computer Entertainment Inc 携帯型画像表示装置、その制御方法、プログラム及び情報記憶媒体
JP2015099057A (ja) * 2013-11-18 2015-05-28 シャープ株式会社 加速度センサ制御装置、電子機器、およびプログラム
WO2015141328A1 (ja) * 2014-03-18 2015-09-24 ソニー株式会社 情報処理装置、制御方法、およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
増田 大輝 外3名: "ウェアラブルセンサを用いたテニス上達支援システムにおけるスウィングフォーム分析手法の改善と評価", 情報処理学会 研究報告 モバイルコンピューティングとパーベイシブシステム(MBL) 2015−MBL, JPN6020042755, 25 November 2015 (2015-11-25), JP, pages 1 - 8, ISSN: 0004385536 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020026648A1 (ja) 2018-08-03 2020-02-06 株式会社小松製作所 作業車両の運転室

Also Published As

Publication number Publication date
WO2018159200A1 (ja) 2018-09-07

Similar Documents

Publication Publication Date Title
US11093036B2 (en) Tracking arm movements to generate inputs for computer systems
US10860091B2 (en) Motion predictions of overlapping kinematic chains of a skeleton model used to control a computer system
US11009941B2 (en) Calibration of measurement units in alignment with a skeleton model to control a computer system
US11474593B2 (en) Tracking user movements to control a skeleton model in a computer system
US10540006B2 (en) Tracking torso orientation to generate inputs for computer systems
US10775946B2 (en) Universal handheld controller of a computer system
US10509464B2 (en) Tracking torso leaning to generate inputs for computer systems
US10976863B1 (en) Calibration of inertial measurement units in alignment with a skeleton model to control a computer system based on determination of orientation of an inertial measurement unit from an image of a portion of a user
JP2012522324A (ja) 加速度計を使用するタップ方向検出アルゴリズム
US11079860B2 (en) Kinematic chain motion predictions using results from multiple approaches combined via an artificial neural network
US11175729B2 (en) Orientation determination based on both images and inertial measurement units
US11054923B2 (en) Automatic switching between different modes of tracking user motions to control computer applications
CN210119760U (zh) 电子设备和电子系统
US11009964B2 (en) Length calibration for computer models of users to generate inputs for computer systems
US20210165486A1 (en) Tracking upper arm movements using sensor modules attached to the hand and forearm
WO2020009715A2 (en) Tracking user movements to control a skeleton model in a computer system
WO2018159200A1 (ja) 動作解析装置、情報受付システムおよび入力受付方法
JP6891891B2 (ja) 情報処理装置
US20230011082A1 (en) Combine Orientation Tracking Techniques of Different Data Rates to Generate Inputs to a Computing System
US11454646B2 (en) Initiation of calibration of multiple sensor modules related to an orientation of a user of the sensor modules
US10809797B1 (en) Calibration of multiple sensor modules related to an orientation of a user of the sensor modules
KR20060116112A (ko) 포인트 디바이스의 이동패턴을 이용한 소프트웨어의 기능제어 방법, 시스템 및 기록매체
CN109992093B (zh) 一种手势比较方法以及手势比较系统
CN112034975B (zh) 手势过滤方法、系统、装置及可读存储介质
CN106155534A (zh) 一种移动终端操作方法及移动终端

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210115

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210630