JP2011075559A - 動き検出装置および方法 - Google Patents

Abstract

【課題】 動き検出装置および方法を提供する。
【解決手段】 １つ以上の第１回転角測定センサを用いて第１角を測定し、１つ以上の第２回転角測定センサおよび前記１つ以上の第１回転角測定センサと相違する１つ以上の２軸の角速度センサを用いて第２角を推定し、１つ以上の第３回転角測定センサおよび前記１つ以上の２軸の角速度センサを用いて前記２軸のうちのいずれか１つである第３角を推定する動き検出装置を提供する。
【選択図】 図６

Description

本発明は動き検出装置および方法に関する。

携帯用の端末機またはハンドヘルド（ｈａｎｄｈｅｌｄ）型の装置の入力方法としてキーパッドなどを用いて直接的に入力する方法もあるが、最近は、多様なセンサを用いてユーザの動き情報を検出し、検出された動き情報を分析して入力信号を該当装置の入力信号を検出する方法により信号を入力する方法も多く用いられている。

このようなユーザの動きによる入力は、ボタンまたはキーボードなどのＩ／Ｏと比較してさらに直観的かつ連続的な入力が可能であるという点でその活用度が大きく、一般的に動きを推定する方法として回転角を演算して該当の動き情報が推定され得る。

幅広く使用される動き検出装置は、３軸加速度センサ、３軸角速度センサ、および３軸地磁気センサを用いて回転角を推定する方法（ＡＨＲＳ：Ａｔｔｉｔｕｄｅ ａｎｄ Ｈｅａｄｉｎｇ Ｒｅｆｅｒｅｎｃｅ Ｓｙｓｔｅｍ）がある。

自動車のように２次元運動を行いながらＧＰＳ受信機を用いて見出し情報が提供されるシステムの場合、前記ＡＨＲＳにおいて地磁気センサを除き、３軸加速度センサおよび３軸角速度センサを使用して回転角を推定する方法（ＡＲＳ：Ａｔｔｉｔｕｄｅ Ｒｅｆｅｒｅｎｃｅ Ｓｙｓｔｅｍ）を用いる場合もある。

このような３軸加速度センサおよび３軸角速度センサのみを用いて動き情報を推定する方法は、特定の軸において絶対的な回転角を把握することができず、相対的な回転角のみを把握することができ、また偏差（ｄｒｉｆｔ）による誤差が存在することから、該当の特定の軸以外の残り軸に対する回転角を推定するときに多く用いられる。

本発明の一実施形態に係る動き検出装置は、多様な方式の回転角測定センサおよび３軸ではない２軸の角速度センサだけで回転角の推定が可能であるため、コストの節減を図ることができ、前記センサを介して推定される動き情報は、小型の携帯機器のインタラクション（ｉｎｔｅｒａｃｔｉｏｎ）情報として活用できる方法を提供する。

本発明の一実施形態に係る動き検出装置は、１つ以上の第１回転角測定センサを用いて第１角を測定する第１角推定部と、１つ以上の第２回転角測定センサおよび前記１つ以上の第１回転角測定センサと相違する１つ以上の２軸の角速度センサを用いて第２角を推定する第２角推定部と、１つ以上の第３回転角測定センサおよび前記１つ以上の２軸の角速度センサを用いて第３角を推定する第３角推定部と、を備える。

また、本発明の一実施形態に係る動き検出装置は、予め設定された傾斜角および前記１つ以上の２軸の角速度センサの出力信号を考慮して推定される前記第３角が予め設定された閾値の範囲を超過する場合、前記第３角を推定しないよう制御したり、予め設定された値に設定する設定部をさらに備える。

また、本発明の一実施形態に係るユーザインタフェース方法は、端末機のモーション情報をセンシングするステップと、前記センシングされたモーション情報に対応して１つ以上のコンテンツのディスプレイを制御するステップと、を含む。

また、本発明の一実施形態に係る動き検出方法は、１つ以上の第１回転角測定センサを用いて第１角を測定するステップと、１つ以上の第２回転角測定センサおよび前記１つ以上の第１回転角測定センサと相違する１つ以上の２軸の角速度センサを用いて第２角を推定するステップと、１つ以上の第３回転角測定センサおよび前記１つ以上の２軸の角速度センサを用いて第３角を推定するステップと、を含む。

さらに、本発明の一実施形態に係る動き検出方法は、予め設定された傾斜角および前記１つ以上の２軸の角速度センサの出力信号を考慮して推定される前記第３角が予め設定された閾値の範囲を超過する場合、前記第３角を推定しないよう制御したり、予め設定された値に設定するステップをさらに含む。

本発明の一実施形態によれば、多様な方式の回転角測定センサおよび３軸ではない２軸の角速度センサだけで回転角の推定が可能であるため、コストの節減を図ることができ、前記センサを介して推定される動き情報は、小型携帯機器のインタラクション情報として活用することができる。

本発明の一実施形態に係る動き検出装置を示す図である。 本発明の一実施形態に係る動き検出装置に備えられた構成を示す図である。 本発明の一実施形態に係る動き検出装置の動きによる回転角の変化を示す図である。 本発明の一実施形態に係る慣性基準座標系と関心物体または対象に固定された座標系の回転程度を示す図である。 本発明の一実施形態に係る回転角に対する軸変化を示す図である。 本発明の一実施形態に係る動き検出装置の構成を示すブロック図である。 本発明の一実施形態に係る動き検出方法を示すフローチャートである。 本発明の一実施形態に係るユーザインタフェース方法を示すフローチャートである。 本発明の一実施形態に係るユーザインタフェース装置の水平または垂直方向の動きによる操作の例を示す図である。 本発明の一実施形態に係る端末機の位置移動によるモーション情報変化の例を示す図である。 本発明の一実施形態に係る端末機の回転角変化によるモーション情報変化の例を示す図である。 本発明の一実施形態に係るインタフェース装置の第１使用例を示す図である。 本発明の一実施形態に係るインタフェース装置の第２使用例を示す図である。 本発明の一実施形態に係るインタフェース装置の第３使用例を示す図である。

以下、添付の図面および添付の図面に記載された内容を参照しながら本発明の実施形態を詳説するが、本発明が実施形態によって制限されたり限定されることはない。

一方、本発明の説明において、関連の公知機能または構成に対する具体的な説明が本発明の要旨を不要に曖昧にすると判断される場合、その詳細な説明は省略する。また、本明細書で使用される用語（ｔｅｒｍｉｎｏｌｏｇｙ）は、本発明の実施形態を適切に表現するために使用された用語であって、これはユーザ、運用者の意図、または本発明が属する分野における慣例などによって異なることがある。したがって、本用語に対する定義は、本明細書の全般にわたる内容に基づいてなされるべきである。

図１は、本発明の一実施形態に係る動き検出装置を示す図であり、図２は、本発明の一実施形態に係る動き検出装置に備えられた構成を示す図である。

本発明の一実施形態に係る動き検出装置は多様な分野に応用されるが、説明の容易性を図るため携帯用機器に適用された例に基づいて説明する。

本発明の一実施形態に係る動き検出装置１００の動き情報は、図１に示すように、３次元上で３軸で表現される。本発明の一実施形態に係る動き検出装置１００は、図２に示すように、装置に備えられた回転角測定センサ２００および２軸の角速度センサ３００を用いて動き情報がどのように変化するかが推定できる。

本発明の一実施形態に係る回転角測定センサとは、多様な方式の回転角が測定されるセンサ、例えば、加速度センサで構成されてもよく、その他の多様なセンサの組合わせで構成されてもよい。

すなわち、本発明の一実施形態に係る回転角測定センサは、加速度センサ、赤外線センサ（ＩＲセンサ：Ｉｎｆｒａｒｅｄ Ｓｅｎｓｏｒ）、超音波センサ、地磁気センサ、カメラ、およびＧＰＳなどの多様な方式の回転角を測定することができるセンサで構成されてもよく、多様なセンサを組合わせて構成してもよい。

本発明に係る動き検出装置の説明を容易にするため、次は加速度センサを例に挙げて説明するが、加速度センサに限定されることはない。

図３は、本発明の一実施形態に係る動き検出装置の動きによる回転角の変化を示す図である。

本発明の一実施形態に係る動き検出装置１００は、同図に示すように水平面に対して傾斜角（ａｌｐｈａ）が持続的に０でない値を有する自在な回転運動をすることができ、回転角を推定することによって動き情報を把握しようとするものである。

すなわち、本発明の一実施形態に係る動き検出装置１００は、動き情報が把握できする回転角の変換関係の推定方法を提供する。

図４は、本発明の一実施形態に係る慣性基準座標系（ｒｅｆｅｒｅｎｃｅ ｆｒａｍｅ）と関心物体または対象に固定された座標系（ｂｏｄｙ ｆｒａｍｅ）の回転程度を示す図であり、図５は、本発明の一実施形態に係る回転角に対する軸変化を示す図である。

本発明の一実施形態に係る動き検出装置１００で推定しようとする回転角とは、図４に示すように、慣性基準座標系と関心物体または対象に固定された座標系の回転程度を示す値に基づいて推定してもよい。

また、本発明の一実施形態に係る動き検出装置１００は、３次元の回転変換を示す３×３ＤＣＭ（Ｄｉｒｅｃｔｉｏｎ Ｃｏｓｉｎｅ Ｍａｔｒｉｘ）、３軸に対する回転を一連の順序をもって表現する方法のオイラー角（ｅｕｌｅｒ ａｎｇｌｅ）、および回転方向ベクトルと回転の大きさを用いた表現方法のクォータニオン（ｑｕａｔｅｒｎｉｏｎ）などの多様な方法により回転角が表記され、説明の容易性を図るために、図５に示すオイラー角として定義された回転（ｒｏｌｌ）、ピッチ（ｐｉｔｃｈ）、ヨー（ｙａｗ）を用いて説明する。

他の例として、本発明の一実施形態に係る動き検出装置は、カメラに入ってくる連続したフレーム間の差を演算し、オプティカルフロー（ｏｐｔｉｃａｌ ｆｌｏｗ）などのモーションベクトルを抽出する映像処理方式に適用される場合、カメラの上下左右の動きをセンシングすることができる。

図６は、本発明の一実施形態に係る動き検出装置の構成を示すブロック図である。
本発明の一実施形態に係る動き検出装置１００は、大きく第１角推定部１１０、第２角推定部１２０、および第３角推定部１３０で構成される。

本発明の一実施形態に係る動き検出装置１００の第１角推定部１１０は、１つ以上の第１回転角測定センサを用いて第１角を測定する。

すなわち、本発明の一実施形態に係る第１角推定部１１０は、１つ以上の第１回転角測定センサの出力信号を用いて第１角を測定する。例えば、本発明の一実施形態に係る第１角推定部１１０は、１つ以上の第１回転角測定センサの出力信号を用いて回転角のうちのオイラー角に対する回転角（第１角）を演算してもよい。

このとき、本発明の一実施形態に係る第１角推定部１１０は、第１角を測定するために使用される他の回転角測定センサがあれば、これを用いて第１角を測定してもよい。

また、本発明の一実施形態に係る第１角推定部１１０は、測定された第１角が２つ以上である場合、角推定アルゴリズムを用いて１つの角が推定されるが、例えば、測定された第１角が２つ以上であれば、カルマンフィルタ（ｋａｌｍａｎ ｆｉｌｔｅｒ）のようなアルゴリズムを用いて最適の第１角を推定してもよい。

このとき、本発明の一実施形態に係る動き検出装置１００は、多様な回転角測定センサを用いて第１角を演算するが、例えば、加速度センサ、赤外線センサ、超音波センサ、地磁気センサ、カメラ、およびＧＰＳなどの多様な方式の回転角が測定されるセンサを用いて第１角を測定してもよい。

本発明の一実施形態に係る動き検出装置１００の第２角推定部１２０は、１つ以上の第２回転角測定センサおよび１つ以上の第２回転角測定センサと異なる１つ以上の２軸の角速度センサを用いて第２角を推定する。

また、本発明の一実施形態に係る第２角推定部１２０は、１つ以上の第１回転角測定センサの出力信号によって演算された第１角および２軸の角速度センサの出力信号に基づいて第２角を推定してもよい。

このとき、本発明の一実施形態によれば、第２角推定部１２０は、第１角推定部１１０で利用した回転角測定センサではない他の回転角測定センサおよび２軸の角速度センサを用いて第２角を推定してもよい。

すなわち、本発明の一実施形態によれば、１つ以上の第１回転角測定センサと１つ以上の第２回転角測定センサとは互いに同一であってもよく、互いに異なってもよい。

例えば、本発明の一実施形態に係る第２角推定部１２０は、回転角測定センサの出力信号によって演算される回転角測定センサのピッチ角、前述の第１角推定部１１０によって演算された第１角である回転角、および２軸の角速度センサ３００の出力信号を用いて演算された２軸の角速度センサ３００のピッチ角を融合して第２角である最終ピッチ角を推定してもよい。

また、本発明の一実施形態に係る第２角推定部１２０は、測定された第２角が２つ以上である場合、角推定アルゴリズムを用いて１つの角を推定してもよい。

例えば、本発明の一実施形態に係る動き検出装置１００は、１つ以上の第１回転角測定センサの出力信号によって得られたピッチ角、および角速度センサ３００の出力信号を用いて得られたピッチ角の特性を生かして融合するように、例えば、カルマンフィルタなどを介して第２角を推定してもよい。

また、本発明の一実施形態に係る動き検出装置１００の第３角推定部１３０は、１つ以上の第３回転角測定センサおよび１つ以上の２軸の角速度センサを用いて第３角を推定してもよい。

すなわち、本発明の一実施形態に係る第３角推定部１３０は、第１角、第２角、および１つ以上の２軸の角速度センサの出力信号に基づいて第３角を推定してもよい。

例えば、本発明の一実施形態に係る第３角推定部１３０は、第１角である回転角、第２角であるピッチ角、および２軸の角速度センサの出力信号を用いて第３角である最終ヨー角を推定および演算してもよい。

また、本発明の一実施形態に係る第３角推定部１３０は、推定された第３角が２つ以上である場合、角推定アルゴリズムを用いて１つの角を推定してもよいが、例えば、測定された第３角が２つ以上であれば、カルマンフィルタのようなアルゴリズムを用いて最適の第３角を推定してもよい。

一方、本発明の一実施形態に係る動き検出装置１００は、予め設定された傾斜角および２軸の角速度センサの出力信号を考慮して推定される第２角が予め設定された閾値（ｔｈｒｅｓｈｏｌｄ）の範囲を超過する場合、第３角を推定しないよう制御したり、予め設定された値に設定する設定部１４０をさらに備えてもよい。

すなわち、本発明の一実施形態に係る設定部１４０は、動き検出装置１００の傾斜角を検査し、傾斜角および２軸の角速度センサ３００の出力信号を用いて算出することのできる第３角であるヨー角が閾値の範囲を超過した場合には、意味のない動作と見なし、ヨー角を算出しないか、または予め設定された特定値に設定されるよう制御してもよい。

このとき、傾斜角の基礎的な定義は、特定の軸に対する回転運動の観測可能性（ｏｂｓｅｒｖａｂｉｌｉｔｙ）が喪失される回転運動、またはその際の回転角として定義してもよく、本発明の一実施形態に係る傾斜角は、次のように第２角の絶対値によって決定されるように定義してもよい。

また、本発明の一実施形態に係る設定部１４０は、第３角と関連する情報を考慮し、第３角をリセットする場合もある。

例えば、本発明の一実施形態に係る設定部１４０は、ユーザが携帯用機器（動き検出装置１００が備えられた機器）の画面を凝視するための位置へもってきたものとして見られる場合、応用分野または必要に応じて第３角であるヨー角を０のような特定値に設定してもよい。

図７は、本発明の一実施形態に係る動き検出方法を示すフローチャートである。

本発明の一実施形態に係る動き検出方法によって回転角を推定する方法を同図を参照しながら説明することにする。このとき、下記の数式によって回転角を求める方法は、本発明の一実施形態であるにすぎず、下記の過程に制限されるものではない。

本発明の一実施形態に係る動き検出装置は、１つ以上の回転角測定センサを用いて第１角を演算する（Ｓ７１０）。

例えば、本発明の一実施形態に係る動き検出装置は、１つ以上の第１回転角測定センサの出力信号から測定された重力加速度に基づいて、式（１）と式（２）によって第１角である回転角（Φ）および回転角測定センサのピッチ角（θ）が求められる。

一方、３次元回転運動においてオイラー角の時間伝播（ｔｉｍｅ ｐｒｏｐａｇａｔｉｏｎ）とオイラー角の変化量、角速度との関係式は式（３）のようになる。

また、本発明の一実施形態に係る動き検出装置は、１つ以上の第２回転角測定センサおよび１つ以上の第１回転角測定センサと異なる１つ以上の２軸の角速度センサを用いて第２角を推定する（Ｓ７２０）。

また、本発明の一実施形態に係る動き検出装置は、１つ以上の第３回転角測定センサおよび１つ以上の２軸の角速度センサを用いて第３角を推定する（Ｓ７３０）。

本発明の一実施形態によれば、式（３）に基づいて２軸の角速度センサの出力信号を代入し、第２角であるピッチ角（θ）および第３角であるヨー角（ψ）の速度情報が導出される式（４）および式（５）が求められる。

このとき、本発明の一実施形態に係る動き検出装置は、第２角であるピッチ角（θ）の変化率を求める式（４）を用いてピッチ角（θ）を算出する場合、回転角測定センサの出力信号を式（１）に適用して算出した回転角（Φ）を再び式（４）に適用した後、再度式（４）を積分して求めてもよい。

また、本発明の一実施形態に係る動き検出装置は、下記式（６）のように離散化（ｄｉｓｃｒｅｔｉｚｅ）された式によって第２角であるピッチ角（θ）を積分して算出し、デジタル信号に一般的に適用される数値積分、例えば、ルンゲ・クッタ法（ｒｕｎｇｅ−ｋｕｔｔａ ｍｅｔｈｏｄ）を用いて算出してもよい。

また、本発明の一実施形態に係る動き検出装置は、ヨー角（ψ）の変化率を求める式（５）を用いてヨー角（ψ）を算出する場合、回転角測定センサの出力信号を式（１）に適用して算出した回転角（Φ）、または式（６）で求めたピッチ角（θ）を再び式（６）に適用した後に再度式（６）を積分して求めてもよい。

また、本発明の一実施形態に係る動き検出装置は、下記の式（７）のように離散された式によって第３角であるヨー角（ψ）を積分して算出してもよく、デジタル信号に一般的に適用される数値積分、例えば、ルンゲ・クッタ法を用いて算出してもよい。

前述したように、本発明の一実施形態によれば、第２角であるピッチ角（θ）は、回転角測定センサの出力信号から算出してもよく、角速度センサの出力信号から算出してもよく、２つの信号を共に融合して推定してもよい。

また、本発明の一実施形態によれば、２つのセンサの特性が補償できるカルマンフィルタを用いてピッチ角を補正してもよい。

また、本発明の一実施形態に係る動き検出装置は、端末機の動きによって端末機に多様な方式により情報を表示することを制御するユーザインタフェース（ＵＩ：Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）装置に適用してもよい。

すなわち、本発明の一実施形態に係るユーザインタフェース装置は、本発明の動き検出装置の２軸の角速度センサを利用し、上下左右またはパン・チルト（ｐａｎｎｉｎｇ−ｔｉｌｔｉｎｇ）のような端末機の垂直または水平方向の動きに対する動き情報に基づき、動きに応じて自然にコンテンツが表示されるように制御してもよい。

例えば、本発明の一実施形態に係るインタフェース装置は、端末機の位置または回転角などを測定してユーザインタフェース情報として用いることができる。

以下、本発明の一実施形態に係るユーザインタフェース装置を用いたユーザインタフェース方法を図８を参照しながら説明する。

図８は、本発明の一実施形態に係るユーザインタフェース方法を示すフローチャートである。同図に示すように、本発明の一実施形態に係るユーザインタフェース装置は、端末機のモーション（ｍｏｔｉｏｎ）情報をセンシングし（Ｓ８１０）、センシングされたモーション情報に対応して１つ以上のコンテンツのディスプレイを制御する（Ｓ８２０）。

図９は、本発明の一実施形態に係るユーザインタフェース装置の水平または垂直方向の動きによる操作の例を示す図である。

同図に示すように、本発明の一実施形態に係るモーション情報は、ユーザが端末機を把持した状態９１０で、端末機の水平９２０、９３０または垂直９４０、９５０方向の動き情報を意味する。例えば、水平または垂直方向の動き情報は、端末機が水平方向に動く速度、水平方向に動く角速度、水平方向に動く距離、または水平方向に動く回転角度を測定した水平方向情報、および端末機が垂直方向に動く速度、垂直方向に動く角速度、垂直方向に動く距離、または垂直方向に動く回転角度を測定した垂直方向情報などの多様な情報を含んでもよい。

すなわち、本発明の一実施形態に係るモーション情報は、端末機を動きに応じて変化する位置および変化する回転角のすべてを含む。

図１０は、本発明の一実施形態に係る端末機の位置移動によるモーション情報変化の例を示す図であり、図１１は、本発明の一実施形態に係る端末機の回転角変化によるモーション情報変化の例を示す図である。

例えば、図１０に示すように、本発明の一実施形態に係るユーザインタフェース装置は、端末機が１０１０の位置から水平位置に移動することによって１０２０または１０３０の位置へ移動したことを認識した場合、モーション情報として水平移動による水平方向情報を生成したり、あるいは垂直位置移動によって１０４０または１０５０の位置に移動したことを認識した場合、モーション情報として垂直移動による垂直方向情報を生成してもよい。

他の例として、図１１に示すように、本発明の一実施形態に係るユーザインタフェース装置は、端末機が１１１０の状態で水平（左右）回転によって１１２０または１１３０の方向に回転した場合、水平回転による回転角をモーション情報として生成したり、あるいは垂直（上下）回転によって１１４０または１１５０方向に回転した場合、垂直回転による回転角をモーション情報として生成してもよい。

また、本発明の一実施形態に係る端末機は、ユーザの動きを検出する多様な方式の装置であってもよく、モーション情報は、端末機のうちのいずれか１つ以上によってセンシングされる水平または垂直方向の動き情報である。

すなわち、本発明の一実施形態に係るユーザインタフェース装置は、ユーザが手に持って使用することでのできる端末機に付加して使用できるだけでなく、頭または目に着用して用いる端末機などに加えて用いることもできる。

したがって、本発明の一実施形態に係るユーザインタフェース装置によってセンシングされるモーション情報は、端末機のうちのいずれか１つであるユーザが手に持って使用される端末機、例えば、ハンドヘルド端末機の水平または垂直方向の動き情報であってもよい。

また、本発明の一実施形態に係るユーザインタフェース装置によってセンシングされるモーション情報は、端末機のうちのいずれか１つであるユーザの頭または目に着用する端末機、例えば、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）端末機の水平または垂直方向の動き情報であってもよい。

以下、本発明の一実施形態に係るユーザインタフェース装置の動きによるモーション情報をセンシングする方法を説明するが、下記の方法によってのみモーション情報をセンシングすることではない。

本発明の一実施形態に係るユーザインタフェース装置は、端末機のモーション情報をセンシングすることにおいて、モーション情報に対応する第１角を測定するステップと、モーション情報に対応する第２角を測定するステップという２つのステップによって端末機のモーション情報がセンシングされる。

前述したように、本発明の一実施形態に係るユーザインタフェース装置は、モーション情報に対応する第１角を測定することにおいて、１つ以上の回転角測定センサおよび１つ以上の２軸の角速度センサによって測定される垂直方向情報に基づいて第１角を推定する。このとき、第１角は、垂直方向情報に基づいて測定されたチルト（ｔｉｌｔ）情報を意味する。

本発明の一実施形態に係るユーザインタフェース装置は、回転角測定センサとして角速度センサ、加速度センサ、赤外線センサ、超音波センサ、地磁気センサ、カメラ、およびＧＰＳのうちのいずれか１つ以上を用いてもよい。

また、本発明の一実施形態に係るユーザインタフェース装置は、第２角を測定することにおいて、第１角および１つ以上の２軸の角速度センサによって測定される水平方向情報に基づいて第２角を推定する。

このとき、第２角は、第１角および２軸の角速度センサによって測定される水平方向情報に基づいて推定されたパン（ｐａｎｎｉｎｇ）情報であってもよい。

一方、本発明の一実施形態に係るユーザインタフェース装置は、センシングされたモーション情報に対応して１つ以上のコンテンツのディスプレイを制御することにおいて、端末機上にコンテンツの一部または全体領域を表示した後、モーション情報に対応してコンテンツの一部または全体領域から空間的な可視領域を変更してもよい。

図１２〜図１４に示すように、本発明の一実施形態に係るユーザインタフェース装置は、モーション情報に対応する方向にコンテンツの一部または全体領域を連続的に移動させて表示することができる。

図１２は、本発明の一実施形態に係るインタフェース装置の第１使用例を示す図であり、図１３は、本発明の一実施形態に係るインタフェース装置の第２使用例を示す図であり、図１４は、本発明の一実施形態に係るインタフェース装置の第３使用例を示す図である。

例えば、図１２に示すように、本発明の一実施形態に係るインタフェース装置が実装された端末機をユーザが上下左右またはパン・チルトなどの操作によってモーション情報を変化させることで、本発明の一実施形態に係るインタフェース装置は、表示された情報をタッチして移動させるのではなく、あたかも端末機の後方に表示された背景を端末機のディスプレイウィンドウを介して見るように端末機自体を移動させることによって、表示される情報が自動に移動して表示されるよう制御することができる。

具体的な例として、図１３に示すように、ユーザは本発明の一実施形態に係るインタフェース装置が実装された端末機を上下左右またはパン・チルトなどの操作によって動きに応じてメニュー項目（ｍｅｎｕ ｔｒｅｅ）の情報が移動するよう表示させることができ、図１４に示すように、地図の場合にも端末機の動きだけでタッチまたはボタン操作なしで地図の一部分を直観的に移動させて表示させることができる。

また、本発明の一実施形態に係るユーザインタフェース装置は、モーション情報に対応して１つ以上のコンテンツの変化がないよう、表示されるコンテンツの場面をホールディングさせることもできる。

例えば、本発明の一実施形態に係るユーザインタフェース装置は、ユーザが端末機を動きによってモーション情報を測定するが、モーション情報によってコンテンツのディスプレイ変化がないように制御することもできる。

すなわち、ユーザは端末機のマウスパッドまたはタッチ表面において、任意のアイコンなどを移動させるためにマウスまたは指を持ち上げる（ｌｉｆｔｉｎｇ）ことによって、端末機に表示される情報を移動させることができる。

なお、本発明の実施形態は、コンピュータにより実現される多様な動作を実行するためのプログラム命令を含むコンピュータ読取可能な記録媒体を含む。当該記録媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含むこともでき、記録媒体およびプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知であり使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれる。また、記録媒体は、プログラム命令、データ構造などを保存する信号を送信する搬送波を含む光または金属線、導波管などの送信媒体でもある。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードを含む。上述したハードウェア装置は、本発明の動作を行うため１つ以上のソフトウェアモジュールとして作動するよう構成され、その逆も同様である。

上述したように、本発明の好ましい実施形態を参照して説明したが、該当の技術分野において熟練した当業者にとっては、特許請求の範囲に記載された本発明の思想および領域から逸脱しない範囲内で、本発明を多様に修正および変更させることができることを理解することができるであろう。すなわち、本発明の技術的範囲は、特許請求の範囲に基づいて定められ、発明を実施するための最良の形態により制限されるものではない。

１００ 動き検出装置
１１０ 第１角推定部
１２０ 第２角推定部
１３０ 第３角推定部
１４０ 設定部
２００ 回転角測定センサ
３００ 角速度センサ

Claims (52)

1. １つ以上の第１回転角測定センサを用いて第１角を測定する第１角推定部と、
   １つ以上の第２回転角測定センサおよび前記１つ以上の第１回転角測定センサと相違する１つ以上の２軸の角速度センサを用いて第２角を推定する第２角推定部と、
   １つ以上の第３回転角測定センサおよび前記１つ以上の２軸の角速度センサを用いて第３角を推定する第３角推定部と、
   を備えることを特徴とする動き検出装置。
2. 前記第１角推定部は、前記測定された第１角が２つ以上である場合、角推定アルゴリズムを用いて１つの角を推定することを特徴とする請求項１に記載の動き検出装置。
3. 前記第２角推定部は、前記推定された第２角が２つ以上である場合、角推定アルゴリズムを用いて１つの角を推定することを特徴とする請求項１に記載の動き検出装置。
4. 前記第３角推定部は、前記推定された第３角が２つ以上である場合、角推定アルゴリズムを用いて１つの角を推定することを特徴とする請求項１に記載の動き検出装置。
5. 前記１つ以上の第１回転角測定センサ、前記１つ以上の第２回転角測定センサ、および前記１つ以上の第３回転角測定センサは、加速度センサ、赤外線センサ、超音波センサ、地磁気センサ、カメラ、およびＧＰＳのうちのいずれか１つ以上であることを特徴とする請求項１に記載の動き検出装置。
6. 前記第１角推定部は、前記１つ以上の第１回転角測定センサの出力信号を用いて前記第１角を測定することを特徴とする請求項１に記載の動き検出装置。
7. 前記第２角推定部は、前記１つ以上の第１回転角測定センサの出力信号によって測定された前記第１角および前記１つ以上の２軸の角速度センサの出力信号に基づいて前記第２角を推定することを特徴とする請求項６に記載の動き検出装置。
8. 前記第３角推定部は、前記第１角、前記第２角、および前記１つ以上の２軸の角速度センサの出力信号に基づいて前記第３角を推定することを特徴とする請求項７に記載の動き検出装置。
9. 予め設定された傾斜角および前記１つ以上の２軸の角速度センサの出力信号を考慮して推定される前記第３角が予め設定された閾値の範囲を超過する場合、前記第３角を推定しないよう制御したり、予め設定された値に設定する設定部をさらに備えることを特徴とする請求項１に記載の動き検出装置。
10. 前記設定部は、前記第３角と関連する情報を考慮して前記第３角をリセットすることを特徴とする請求項９に記載の動き検出装置。
11. 端末機のモーション情報をセンシングするステップと、
    前記センシングされたモーション情報に対応して１つ以上のコンテンツのディスプレイを制御するステップと、
    を含むことを特徴とするユーザインタフェース方法。
12. 前記モーション情報は、前記端末機の水平または垂直方向の動き情報を含むことを特徴とする請求項１１に記載のユーザインタフェース方法。
13. 前記端末機はユーザの動きを検出する１つ以上の装置であり、前記モーション情報は前記端末機のうちのいずれか１つ以上によってセンシングされる水平または垂直方向の動き情報であることを特徴とする請求項１２に記載のユーザインタフェース方法。
14. 前記端末機は、ハンドヘルド、頭または目に着用する端末機、ＨＭＤ端末機のうちのいずれか１つ以上であることを特徴とする請求項１３に記載のユーザインタフェース方法。
15. 前記端末機の前記モーション情報をセンシングする前記ステップは、
    前記モーション情報に対応する第１角を測定するステップと、
    前記モーション情報に対応する第２角を測定するステップと、
    を含むことを特徴とする請求項１２に記載のユーザインタフェース方法。
16. 前記水平または垂直方向の動き情報は、前記端末機が水平方向に動く速度、水平方向に動く角速度、水平方向に動く距離、水平方向に動く回転角度のうちのいずれか１つ以上を測定した水平方向情報、および前記端末機が垂直方向に動く速度、垂直方向に動く角速度、垂直方向に動く距離、垂直方向に動く回転角度のうちのいずれか１つ以上を測定した垂直方向情報を含むことを特徴とする請求項１５に記載のユーザインタフェース方法。
17. 前記第１角を測定するステップは、１つ以上の回転角測定センサおよび１つ以上の２軸の角速度センサによって測定される前記垂直方向情報に基づいて前記第１角を推定するステップを含むことを特徴とする請求項１６に記載のユーザインタフェース方法。
18. 前記第１角は、前記垂直方向情報に基づいて測定されたチルト情報であることを特徴とする請求項１６に記載のユーザインタフェース方法。
19. 前記１つ以上の回転角測定センサは、角速度センサ、加速度センサ、赤外線センサ、超音波センサ、地磁気センサ、カメラ、およびＧＰＳのうちのいずれか１つ以上であることを特徴とする請求項１７に記載のユーザインタフェース方法。
20. 前記第２角を測定するステップは、前記第１角および前記１つ以上の２軸の角速度センサによって測定される前記水平方向情報に基づいて前記第２角を推定するステップを含むことを特徴とする請求項１７に記載のユーザインタフェース方法。
21. 前記第２角は、前記水平方向情報に基づいて測定されたパン（ｐａｎｎｉｎｇ）情報であることを特徴とする請求項１７に記載のユーザインタフェース方法。
22. 前記センシングされたモーション情報に対応して１つ以上のコンテンツのディスプレイを制御する前記ステップは、
    前記端末機上に前記コンテンツの一部または全体領域を表示するステップと、
    前記モーション情報に対応して前記コンテンツの一部または全体領域から空間的な可視領域を変更するステップと、
    を含むことを特徴とする請求項１１に記載のユーザインタフェース方法。
23. 前記モーション情報に対応して前記コンテンツの一部または全体領域から空間的な可視領域を変更するステップは、前記モーション情報に対応する方向に前記コンテンツの一部または全体領域を連続的に移動させて表示するステップを含むことを特徴とする請求項２２に記載のユーザインタフェース方法。
24. 前記センシングされたモーション情報に対応して１つ以上のコンテンツのディスプレイを制御する前記ステップは、前記モーション情報に対応して前記１つ以上のコンテンツの変化がないよう表示されるコンテンツの場面をホールディングするステップをさらに含むことを特徴とする請求項２２に記載のユーザインタフェース方法。
25. １つ以上の第１回転角測定センサを用いて第１角を測定するステップと、
    １つ以上の第２回転角測定センサおよび前記１つ以上の第１回転角測定センサと相違する１つ以上の２軸の角速度センサを用いて第２角を推定するステップと、
    １つ以上の第３回転角測定センサおよび前記１つ以上の２軸の角速度センサを用いて第３角を推定するステップと、
    を含むことを特徴とする動き検出方法。
26. 前記第１角を測定するステップは、前記測定された第１角が２つ以上である場合、角推定アルゴリズムを用いて１つの角を推定することを特徴とする請求項２５に記載の動き検出方法。
27. 前記第２角を推定するステップは、前記推定された第２角が２つ以上である場合、角推定アルゴリズムを用いて１つの角を推定することを特徴とする請求項２５に記載の動き検出方法。
28. 前記第３角を推定するステップは、前記推定された第３角が２つ以上である場合、角推定アルゴリズムを用いて１つの角を推定することを特徴とする請求項２５に記載の動き検出方法。
29. 前記１つ以上の第１回転角測定センサ、前記１つ以上の第２回転角測定センサ、および前記１つ以上の第３回転角測定センサは、加速度センサ、赤外線センサ、超音波センサ、地磁気センサ、カメラ、およびＧＰＳのうちのいずれか１つ以上であることを特徴とする請求項２５に記載の動き検出方法。
30. 前記第１角を測定するステップは、前記１つ以上の第１回転角測定センサの出力信号を用いて前記第１角を測定することを特徴とする請求項２５に記載の動き検出方法。
31. 前記第２角を推定するステップは、前記１つ以上の第１回転角測定センサの出力信号によって測定された前記第１角および前記１つ以上の２軸の角速度センサの出力信号に基づいて前記第２角を推定することを特徴とする請求項３０に記載の動き検出方法。
32. 前記第３角を推定するステップは、前記第１角、前記第２角、および前記１つ以上の２軸の角速度センサの出力信号に基づいて前記第３角を推定することを特徴とする請求項３１に記載の動き検出方法。
33. 予め設定された傾斜角および前記１つ以上の２軸の角速度センサの出力信号を考慮して推定される前記第３角が予め設定された閾値の範囲を超過する場合、前記第３角を推定しないよう制御したり、予め設定された値に設定するステップをさらに含むことを特徴とする請求項２５に記載の動き検出方法。
34. 前記第３角と関連する情報を考慮して前記第３角をリセットするステップをさらに含むことを特徴とする請求項３３に記載の動き検出方法。
35. １つ以上の第１回転角測定センサを用いて参照フレームに関するオブジェクトの第１角を測定するステップと、
    前記測定された第１角、１つ以上の第２回転角測定センサおよび前記１つ以上の第１回転角測定センサから別の物理センサを含む１つ以上の２軸の角速度センサに基づいて前記参照フレームに関する前記オブジェクトの複数の第２角を推定するステップと、
    １つ以上の第３回転角測定センサおよび前記１つ以上の２軸の角速度センサを用いて、前記参照フレームに関する前記オブジェクトの複数の第３角を推定するステップと、
    前記測定された第１角、前記推定された複数の第２角、および前記推定された複数の第３角からなるモーション情報に基づいて移動通信端末機の操作を制御するステップと、
    を含むことを特徴とする動き検出方法。
36. 前記第１角を測定するステップは、前記１つ以上の第１回転角測定センサおよび前記１つ以上の２軸の角速度センサによって測定された垂直情報に基づいて前記第１角を推定することを特徴とする請求項３５に記載の動き検出方法。
37. 前記測定された第１角はロール（ｒｏｌｌ）角であり、前記推定された複数の第２角はピッチ（ｐｉｔｃｈ）角であり、前記推定された複数の第３角はヨー（ｙａｗ）角であることを特徴とする請求項３５に記載の動き検出方法。
38. 前記１つ以上の第１回転角測定センサ、前記１つ以上の第２回転角測定センサおよび前記１つ以上の第３回転角センサは、３つの軸それぞれの動きをセンシングする単一回転角測定センサ装置を含むことを特徴とする請求項３５に記載の動き検出方法。
39. 前記回転角測定センサ装置および２軸の角速度センサは、前記オブジェクトに対応する前記移動通信端末機に含まれることを特徴とする請求項３５に記載の動き検出方法。
40. 前記移動通信端末機の前記操作を制御するステップは、前記表示されたイメージの表示領域と全体イメージの一部のみを表示する前記モーション情報に基づいて前記移動通信端末機のディスプレイを変化させることを特徴とする請求項３５に記載の動き検出方法。
41. 前記移動通信端末機の前記操作を制御するステップは、前記モーション情報に基づいて変化する前記表示されたユーザ選択メニュ項目と異なるユーザの選択メニュ項目が含まれた前記ディスプレイの前記モーション情報に基づいて前記移動通信端末機のディスプレイを変化させることを特徴とする請求項３５に記載の動き検出方法。
42. 前記表示されたユーザ選択メニュ項目は、ユーザ入力装置によって選択されることを特徴とする請求項４１に記載の動き検出方法。
43. 前記移動通信端末機の前記操作を制御するステップは、前記移動通信端末機にレンダリング（ｒｅｎｄｅｒｉｎｇ）されたイメージおよび前記移動通信端末機の他のレンダリングされたイメージを表示するステップと、
    前記移動通信端末機は、前記モーション情報に対応する他のレンダリングされたイメージを受信する場合、前記他のレンダリングされたイメージを表示するステップと、
    を含むことを特徴とする請求項３５に記載の動き検出方法。
44. 動きを検出する移動通信端末機において、
    表示部と、
    第１回転角測定センサ、第２回転角測定センサおよび第３回転角測定センサを含む回転角測定センサと、
    前記回転角測定センサを含む１つ以上の別途の物理センサを含む２軸の角速度センサと、
    測定された第１角、推定された複数の第２角および推定された複数の第３角からなるモーション情報に基づいて前記移動通信端末機の操作を制御する制御部と、を含み、
    前記移動通信端末機の測定された第１角は前記第１回転角測定センサを用いて参照フレームに関するオブジェクトの角を測定した角であり、
    前記移動通信端末機の測定された第２角は、前記第２回転角測定センサおよび前記２軸の角速度センサを用いて前記参照フレームに関するオブジェクトの角を推定した角であり、
    前記移動通信端末機の測定された３角は、前記第３回転角測定センサおよび前記２軸の角速度センサを用いて前記参照フレームに関するオブジェクトの角を推定した角であることを特徴とする移動通信端末機。
45. 前記第１角は、前記第１回転角測定センサおよび前記２軸の角速度センサによって測定された垂直情報に基づいて推定された角であることを特徴とする請求項４４に記載の移動通信端末機。
46. 前記測定された第１角はロール角であり、前記推定された複数の第２角はピッチ角であり、前記推定された複数の第３角はヨー角であることを特徴とする請求項４４に記載の移動通信端末機。
47. 前記回転角測定センサは、３つの軸それぞれの動きをセンシングする単一回転角測定センサ装置を含むことを特徴とする請求項４４に記載の移動通信端末機。
48. 前記制御部は、表示されたイメージの表示領域と全体イメージの一部のみを表示する前記モーション情報に基づいて前記移動通信端末機のディスプレイを変化させることを特徴とする請求項４４に記載の移動通信端末機。
49. 前記制御部は、前記モーション情報に基づいて変化する前記表示されたユーザ選択メニュ項目と異なるユーザの選択メニュ項目が含まれた前記ディスプレイの前記モーション情報に基づいて前記移動通信端末機のディスプレイを変化させることを特徴とする請求項４４に記載の移動通信端末機。
50. 前記表示されたユーザ選択メニュ項目は、ユーザ入力装置によって選択されることを特徴とする請求項４９に記載の移動通信端末機。
51. 前記制御部は、前記移動通信端末機にレンダリングされたイメージおよび前記移動通信端末機の他のレンダリングされたイメージを表示し、前記移動通信端末機は、前記モーション情報に対応する他のレンダリングされたイメージを受信する場合、前記他のレンダリングされたイメージを表示することを特徴とする請求項４４に記載の移動通信端末機。
52. 請求項１１〜請求項４３のうちのいずれか１つの方法を行なうプログラムを記録したことを特徴とするコンピュータ読取り可能な記録媒体。

Images