JP2012027532A

JP2012027532A - 情報処理装置および情報処理方法

Info

Publication number: JP2012027532A
Application number: JP2010162774A
Authority: JP
Inventors: Tsuneichi Arai; 常一新井
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2010-07-20
Filing date: 2010-07-20
Publication date: 2012-02-09
Anticipated expiration: 2030-07-20
Also published as: JP5812582B2

Abstract

【課題】従来、ユーザの好みに応じた接触位置に基づいて、空間ジェスチャを認識する領域を設定することができなかった。
【解決手段】上記の課題を解決するため、本発明に係る情報処理装置は、表示面上の接触位置を検知する検知手段と、検知された前記接触位置に基づいて、空間ジェスチャを認識する領域を設定する設定手段とを有する。
【選択図】図３

Description

本発明は、空間ジェスチャを認識する領域を設定する技術に関する。

従来、動画像から抽出された人の顔の横幅、縦の長さまたは面積に基づいて、前記動画像の一部を、ジェスチャを認識する領域として設定する技術が知られている（例えば、特許文献１）。また、画面に接触することで、機器を操作するタッチパネルが知られている。

特開２００３−２１６９５５号公報

しかしながら、従来技術によると、ユーザの好みに応じた接触位置に基づいて、空間ジェスチャを認識する領域を設定することができなかった。従って、本発明は、ユーザの好みに応じた接触位置に基づいて、空間ジェスチャを認識する領域を設定することを目的とする。

上記の課題を解決するため、本発明に係る情報処理装置は、表示面上の接触位置を検知する検知手段と、検知された前記接触位置に基づいて、空間ジェスチャを認識する領域を設定する設定手段とを有する。

本発明によれば、ユーザの好みに応じた接触位置に基づいて、空間ジェスチャを認識する領域を設定することができる。

情報処理装置１００のハードウェア構成図と機能ブロック図入力部１４０、距離画像センサ１６０等を設置した様子を示す図空間ジェスチャに応じた制御を実行する処理の流れを示すフローチャートステップＳ３０８において設定されるジェスチャ認識領域を示す図ステップＳ３０７において設定されるジェスチャ認識領域を示す図ステップＳ３０６において設定されるジェスチャ認識領域を示す図種々の空間ジェスチャに対応する制御を示す図接触位置にオブジェクトが存在しない場合のジェスチャ認識領域を示す図

（第１の実施形態）
図１（ａ）は、本発明に係る情報処理装置１００のハードウェア構成を示す図である。情報処理装置１００は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、入力インタフェース（Ｉ／Ｆ）１０４、出力Ｉ／Ｆ１０５、入力Ｉ／Ｆ１０６、出力Ｉ／Ｆ１０７、通信Ｉ／Ｆ１０８を有する。尚、上記の各部は、システムバス１０９を介して接続されている。また、情報処理装置１００は、入力部１４０、表示部１５０、距離画像センサ１６０、表示部１７０、ネットワーク１８０と接続されている。以下、情報処理装置１００の各部と情報処理装置１００と接続されている各部について説明する。

ＣＰＵ１０１は、ＲＯＭ１０２に格納されたプログラム等をＲＡＭ１０３に展開し、読み出すことで、情報処理装置１００の各種動作を実現する。ＲＯＭ１０２は、情報処理装置１００の各種動作させるプログラム、プログラムの実行に必要なデータ等を格納する。ＲＡＭ１０３は、ＲＯＭ１０２に格納されたプログラムを展開するワークエリアを提供する。入力Ｉ／Ｆ１０４は、入力部１４０に対するユーザの指示入力（接触位置）を示すデータを取得する。出力Ｉ／Ｆ１０５は、表示部１５０に表示させる画像を示すデータを送信する。入力Ｉ／Ｆ１０６は、距離画像センサ１６０によって生成された距離画像を示すデータを取得する。出力Ｉ／Ｆ１０７は、表示部１７０に表示させる画像を示すデータを送信する。通信Ｉ／Ｆ１０８は、ネットワーク１８０を介して他のコンピュータ等と接続し、種々のデータの送受信を行う。

入力部１４０は、例えば、表示部１５０に重畳して設けられたタッチパネル、デジタイザ等であり、表示面上の接触位置の座標を検知する。表示部１５０は、例えば、液晶ディスプレイ（ＬＣＤ）であり、画像、文字等を表示出力する。距離画像センサ１６０は、赤外線等の反射によって、所定の三次元の領域内に存在するオブジェクトと、基準となる面（例えば、距離画像センサが測距する方向に対して垂直な面であって、距離画像センサが存在する面）との距離を示す距離画像を生成する。尚、距離画像とは、所定の三次元の領域内に存在するオブジェクトと、基準となる面との距離を画素値とする画像である。表示部１７０は、例えば、ＬＣＤであり、画像、文字等を表示出力する。尚、表示部１５０と表示部１７０とは互いに連携し、マルチディスプレイとして機能してもよい。

図１（ｂ）は、情報処理装置１００の機能構成を示す図である。情報処理装置１００は、検知部１１１、設定部１１２、取得部１１３、認識部１１４、制御部１１５を有する。尚、検知部１１１は、入力Ｉ／Ｆ１０４に相当し、取得部１１３は、入力Ｉ／Ｆ１０６に相当する。また、設定部１１２、認識部１１４、制御部１１５は、ＣＰＵ１０１が、ＲＯＭ１０２に格納された所定のプログラム等をＲＡＭ１０３に展開し、読み出すことで実現される。以下、各部について説明する。

検知部１１１は、入力部１４０上の接触位置の座標を検知する。尚、検知部１１１は、１点、複数の点、軌跡等の座標を検知する。また、検知部１１１によって、複数の点の座標が検知される場合とは、例えば、最初の接触位置の座標が検知されてから所定の時間内に、他の接触位置の座標が検知される場合である。また、検知部１１１によって、複数の点の座標が検知される場合とは、例えば、最初の接触位置の座標が検知されてから空間ジェスチャを認識する処理が開始される前に、他の接触位置の座標が検知される場合である。

設定部１１２は、検知部１１１によって検知された座標に基づいて、空間ジェスチャを認識する領域（ジェスチャ認識領域）を設定する。尚、空間ジェスチャとは、距離画像センサ１６０の検知領域となる三次元の領域内で、水平方向に横切るように手を移動させる動作、手を交差する動作、鉛直方向に手を移動させる動作、水平方向および鉛直方向に手を移動させる動作等をいう。また、設定部１１２によって設定されるジェスチャ認識領域は、距離画像センサ１６０の検知領域となる三次元の領域の一部に相当するものとする。

取得部１１３は、距離画像センサ１６０によって生成された距離画像を示すデータを取得する。認識部１１４は、取得された距離画像からジェスチャ認識領域に相当する部分を特定し、当該部分における空間ジェスチャを認識する。尚、空間ジェスチャは、例えば、入力部１４０に対する接触が検知された時点から所定の時間内に得られた複数の距離画像の画素値の変化に基づいて認識される。制御部１１５は、認識部１１４によって認識された空間ジェスチャに対応する処理を実行し、例えば、表示部１５０、１７０に表示させる画像、文字等を変更する。

図２は、情報処理装置１００、入力部１４０、表示部１５０、距離画像センサ１６０、表示部１７０を設置した様子を示す図である。情報処理装置１００は、他の各部と接続されていればよく、任意の場所に設置可能である。入力部１４０および表示部１５０は重畳して設置されており、本実施形態においては、机上に設置されているものとする。距離画像センサ１６０は、例えば、天井面（入力部１４０、表示部１５０の上空）に設置されており、距離画像センサ１６０の検知領域となる三次元の領域とは、例えば、破線で示された略錐台状の空間（入力部１４０、表示部１５０の上部の空間）とする。表示部１７０は、側面（壁面）に設置されているものとする。

尚、本実施形態では、水平方向の面をＸ軸とＹ軸とによって定義されるＸＹ平面、鉛直方向の軸をＺ軸として説明する。また、本実施形態では、入力部１４０、表示部１５０の１つの頂点近傍の点であって、入力部１４０、表示部１５０と略同じ高さの点を、ＸＹＺ空間の原点として説明する。

図３は、認識された空間ジェスチャに応じた制御を実行する処理の流れを示すフローチャートである。

ステップＳ３０１において、検知部１１１は、入力部１４０に対する接触が検知されたか否か判断し、接触が検知された場合、ステップＳ３０２の処理を実行する。一方、接触が検知されなかった場合、ステップＳ３０１の処理を繰り返す。ステップＳ３０２において、検知部１１１は、接触位置を示す情報を取得し、設定部１１２に当該情報を出力する。尚、接触位置を示す情報とは、例えば、接触位置の座標を示す情報、接触位置の移動軌跡の形状、軌跡の移動方向、軌跡の移動距離を示す情報、接触した点の個数を示す情報、接触位置に表示されているオブジェクトを示す情報、検知された接触の継続時間等である。

ステップＳ３０３において、設定部１１２は、接触位置を示す情報に基づいて、接触位置に表示されているオブジェクトが存在するか否か判断し、存在すると判断された場合、ステップＳ３０４の処理を実行する。一方、存在すると判断されなかった場合、一連の処理を終了する。尚、接触位置に表示されているオブジェクトが存在すると判断されなかった場合、距離画像センサ１６０の検知領域となる三次元の領域の全域をジェスチャ認識領域としてもよい。また、接触位置の移動軌跡の形状に基づいて、ジェスチャ認識領域を予測してもよい。

ステップＳ３０４において、設定部１１２は、接触の検知が所定時間（例えば、１秒間）継続しているか否か判断し、所定時間継続していると判断された場合、ステップＳ３０６の処理を実行する。一方、所定時間継続していると判断されなかった場合、ステップＳ３０５の処理を実行する。ステップＳ３０５において、設定部１１２は、ステップＳ３０１における検知を起点とする接触の検知終了後、所定時間内に再び接触が検知されたか否か判断し、所定時間内に再び接触が検知されたと判断された場合、ステップＳ３０７の処理を実行する。一方、所定時間内に再び接触が検知されなかった場合、ステップＳ３０８の処理を実行する。尚、ステップＳ３０４において、更に、接触位置の移動があるか否かを、接触が継続している状態で接触位置が所定の閾値以上移動したか否かによって判断してもよい。即ち、接触が継続している状態で接触位置（座標点）が所定の閾値以上移動しなかった場合（座標点の移動量が閾値以上でなかった場合）、接触位置の移動はないと判断される。

ステップＳ３０６において、設定部１１２は、１つの接触位置の座標と、接触位置の移動軌跡の距離、移動方向に基づいて、ジェスチャ認識領域を設定する。尚、ステップＳ３０６において、更に、接触位置の移動軌跡の移動速度、加速度に基づいて、ジェスチャ認識領域を設定してもよい。尚、移動軌跡とは、接触位置が時系列的に移動した際の接触位置の集合をいう。ステップＳ３０７において、設定部１１２は、複数個の接触位置の座標に基づいて、ジェスチャ認識領域を設定する。ステップＳ３０８において、設定部１１２は、１つの接触位置の座標に基づいて、ジェスチャ認識領域を設定する。尚、ステップＳ３０６、Ｓ３０７、Ｓ３０８において設定されるジェスチャ認識領域の説明については後述する。

ステップＳ３０９において、認識部１１４は、取得部１１３によって取得された距離画像のうち、ステップＳ３０６、３０７、３０８のいずれかによって設定されたジェスチャ認識領域に対応する部分における空間ジェスチャを認識する。ステップＳ３１０において、制御部１１５は、認識された空間ジェスチャに対応する制御を実行する。尚、認識される空間ジェスチャの種類については後述する。以上が認識された空間ジェスチャに応じた制御を実行する処理の流れである。

尚、以下に示す変形例も本発明の範疇である。即ち、前述したステップＳ３０４、Ｓ３０５に替えて、設定部１１２は、接触位置の移動軌跡の形状が線の形状（連続的な複数の点）に相当するか、離散的な複数の点の形状に相当するか、１つの点の形状に相当するか判断する。そして、接触位置の移動軌跡の形状が線の形状に相当すると判断された場合、ステップＳ３０６の処理を実行する。また、形状が離散的な複数の点に相当すると判断された場合、ステップＳ３０７の処理を実行する。また、形状が１つの点に相当すると判断された場合、ステップＳ３０８の処理を実行する。尚、接触位置の形状は、例えば、ＲＯＭ１０２に予め登録された形状を示す特徴情報と検知された接触位置の移動軌跡（１または複数の座標点）とを比較することによって判断する。

次に、図４、５、６を用いて、ステップＳ３０８、Ｓ３０７、Ｓ３０６において設定されるジェスチャ認識領域を説明する。図４、５、６の（ａ）は、距離画像センサ１６０の検知領域となる三次元の領域を鉛直下向きに見たときの図である。また、図４、５、６の（ｂ）は、距離画像センサ１６０の検知領域となる三次元の領域を水平方向に見たときの図である。

図４において、入力部１４０と接触している点は１つであり、接触位置にはオブジェクトが表示されている。従って、接触位置の上方であって、該接触位置を基準とする所定の領域（図４の破線部の領域）をジェスチャ認識領域とする。尚、ジェスチャ認識領域の縦、横、高さは、一般的な人の腕の長さを基準に決定してもよく、表示されているオブジェクトのサイズに応じて決定してもよい。

図５において、入力部１４０と接触している点は３つであり、それぞれの接触位置にはオブジェクトＡ、Ｂ、Ｃが表示されている。従って、３つの接触位置の上方であって、これら３つの接触位置の全てを含む領域（図５の破線部の領域）をジェスチャ認識領域とする。尚、図５の入力例の３つの点は、短時間に連続して３点が入力された例である。その場合、処理としては、短時間の接触入力データは、１つのデータ群として取り扱う処理を行う。即ち、接触の検知が終了した時点からカウントを行い、短時間で次の入力があればそのまま１つのデータ群として処理し、所定の短時間が経過した場合には、その時点で、接触入力データの入力待ち処理は終了する。

図６において、入力部１４０と接触している点は１つであり、接触位置にはオブジェクトＡが表示されている。そして、接触位置は移動している。従って、接触位置の上方であって、該接触位置を基準とする所定の領域（図４の破線部の領域）を接触位置の移動軌跡の延長上に移動させた領域（図６の破線部の領域）をジェスチャ認識領域とする。

また、ステップＳ３０６において、接触位置の移動軌跡の移動速度、加速度に基づいて、ジェスチャ認識領域を設定する場合、移動速度、加速度が大きくなる程、ジェスチャ認識領域を広く設定してもよい。このようにすることによって、細かいタッチ操作を行った場合、細かい動きを伴う空間ジェスチャを精度良く認識することができ、ダイナミックなタッチ操作を行った場合には、大きな動きを伴う空間ジェスチャを精度良く認識することができる。

図７は、ジェスチャ認識領域において認識された種々の空間ジェスチャに対応する制御を示すテーブルの一例である。尚、接触位置にオブジェクトが表示されている場合、接触した点の個数、接触位置の移動の有無に応じても、実行する制御が異なる。また、図７に示すテーブルに相当するデータは、例えば、ＲＯＭ１０２に格納されている。

図８は、ステップＳ３０３において、接触位置に表示されているオブジェクトが存在すると判断されなかった場合の処理の別の一例を示す図である。図８（ａ）は、距離画像センサ１６０の検知領域となる三次元の領域を鉛直下向きに見たときの図である。また、図８（ｂ）は、距離画像センサ１６０の検知領域となる三次元の領域を水平方向に見たときの図である。

図８において、入力部１４０と接触している点は１つであり、接触位置にはオブジェクトＡが表示されていない。そして、接触位置は移動している。そこで、接触位置の移動軌跡の形状に基づく領域として、例えば移動軌跡に外接する矩形（図８の破線部の領域）をジェスチャ認識領域とする。

本実施形態では、１人のユーザによる操作を説明したが、２人以上のユーザが同時に操作する場合も考えられる。例えば、入力部１４０、表示部１５０に相当する画面が、５０インチや１００インチ等の大きさの画面であれば、同時に２人のユーザが入力操作することは可能である。その場合に、画面上の離れた点（例えば１ｍから２ｍ）で同時に入力が検知されると、複数のユーザが入力しているものとして取り扱ってもよい。即ち、それぞれ、ユーザＡによる入力、ユーザＢによる入力として、入力毎に上述した一連の処理を実行してもよい。また、画面上の離れた複数点への入力が検知された場合、互いのジェスチャ認識領域が排他的に位置するよう、それぞれの入力位置に応じて離れた領域をジェスチャ認識領域に設定してもよい。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims

表示面上の接触位置を検知する検知手段と、
検知された前記接触位置に基づいて、空間ジェスチャを認識する領域を設定する設定手段とを有する情報処理装置。
前記検知手段は、更に、前記接触位置の移動軌跡の形状を検知し、
前記設定手段は、前記移動軌跡の形状から予測される位置に、空間ジェスチャを認識する領域の位置を設定することを特徴とする請求項１に記載の情報処理装置。
前記検知手段は、更に、前記接触位置の移動軌跡の距離、移動方向、または移動速度を検知し、
前記設定手段は、前記移動軌跡の距離、移動方向または移動速度から予測される位置に、空間ジェスチャを認識する領域の位置を設定することを特徴とする請求項１に記載の情報処理装置。
空間ジェスチャを認識する領域を設定する情報処理装置の動作方法であって、
表示面上の接触位置を検知する検知工程と、
検知された前記接触位置に基づいて、空間ジェスチャを認識する領域を設定する設定工程とを有する動作方法。
請求項４に記載の動作方法をコンピュータに実行させるためのプログラム。