JP2015028765A - 入力制御方法及び入力制御装置 - Google Patents

Abstract

【課題】タッチ入力において、接触面をタッチパネル上に制限することなく、タッチ操作入力を受け付ける入力制御方法及び入力制御装置を提供する。
【解決手段】指の接触面に対する第１関節までの姿勢を示す姿勢情報を取得する姿勢取得ステップと、姿勢情報を用いて姿勢の時間経過に伴う変化を検出する姿勢変化検出ステップと、姿勢の時間経過に伴う変化を検出した際の第１関節の曲り状態である第１角の状態を取得する第１角取得ステップと、第１角の状態を用いて、第１角の時間経過に伴う変化を検出する第１角変化検出ステップと、検出した姿勢の時間経過に伴う変化と第１角の時間経過に伴う変化とを用いて指の変化方向を判定する変化方向判定ステップと、変化方向判定ステップにおける判定結果に基づいて、指による入力を受け付ける操作入力ステップと、を備える。
【選択図】図４

Description

本開示は、指を用いたタッチ入力における入力制御方法及び入力制御装置に関する。

近年、端末装置における、表示画面に対するタッチ入力及び、タッチ入力を基本としたオペレーションシステムの普及が進展している。このような端末装置は、表示装置上にタッチパネルを設けており、表示画面上で直感的な操作を実現できる。

従来のタッチ入力方法としては、タッチパネルの表示画面上に表示されたタッチ操作部材へのタッチ状態で、該タッチ操作部材に関する機能を実行する技術が開示されている（例えば、特許文献１を参照）。

特許第４１６６２２９号公報

しかしながら、従来の構成では、タッチパネルが圧力センサを設けており、タッチパネルへの押圧力でタッチ操作を検知している。つまり、操作者は、タッチパネルに手が届く位置まで近づいて、指などの指示手段でタッチパネル上をふれる必要がある。

本開示では、タッチ入力において、接触面をタッチパネル上に制限することなく、タッチ操作入力を受け付ける、入力制御方法及び入力制御装置を提供する。

本開示の一態様にかかる入力制御方法は、指を用いて操作入力を行う入力方法であって、接触面に対する第１関節までの姿勢情報を取得する姿勢取得ステップと、姿勢取得ステップにより得られた姿勢情報を用いて、姿勢の時間経過に伴う変化を検出する姿勢変化検出ステップと、姿勢変化を検出した際の第１関節の曲り状態である第１角の状態を取得する第１角取得ステップと、第１角取得ステップにより得られた第１角の状態を用いて、第１角の時間経過に伴う変化を検出する第１角変化検出ステップと、検出した姿勢変化と第１角変化との変化方向を判定する変化方向判定ステップと、変化方向判定ステップにおける判定結果に基づいて、指による入力を受け付ける操作入力ステップとを備え、接触面をタッチパネル上に制限することなく、タッチ操作入力を受け付ける。

本開示の入力制御方法及び入力制御装置によれば、タッチ入力において、接触面をタッチパネル上に限定することなく、タッチ操作入力を受け付けることができる。

図１は、本開示の実施の形態１における入力制御装置を備えたシステム構成を示す図である。 図２は、本開示の実施の形態１における入力制御装置のハードウェア構成の一例を示す図である。 図３（ａ）〜（ｃ）は、本開示の実施の形態１における指状態と第１角の関係を示す図である。 図４は、本開示の実施の形態１における入力制御装置の構成の一例を示すブロック図である。 図５は、本開示の実施の形態１における入力制御方法の処理の流れの一例を示すフローチャートである。 図６（ａ）、（ｂ）は、本開示の実施の形態１における指状態と指姿勢の関係を示す図である。 図７（ａ）、（ｂ）は、本開示の実施の形態１における指状態と指姿勢の関係を示す図である。 図８（ａ）、（ｂ）は、本開示の実施の形態１における指状態と指姿勢の関係を示す図である。 図９は、本開示の実施の形態２における入力制御装置の構成の一例を示すブロック図である。 図１０は、本開示の実施の形態２における入力制御方法の処理の流れの一例を示すフローチャートである。 図１１は、本開示の実施の形態３における入力制御装置を備えたシステムの概観図である。 図１２は、本開示の実施の形態３における入力制御装置の構成の一例を示すブロック図である。

（本開示の基礎となった知見）
情報処理装置へのタッチ入力を行う場合、圧力センサを設けたタッチパネルが用いられ、タッチパネルへの押圧力でタッチ操作を検知している。この場合、操作者は、タッチパネルに手が届く位置まで近づいて、指などの指示手段でタッチパネル上をふれる必要がある。

情報処理装置が、プロジェクタなどを介して表示画面を投影して表示し、操作者が、投影された表示画面上で操作入力を行う場合、従来のタッチパネルを用いた技術を利用することができない。

このような課題を解決するために、本入力制御方法は、指を用いて操作入力を行う入力方法であって、接触面に対する指第１関節までの姿勢情報を取得する姿勢取得ステップと、姿勢取得ステップにより得られた姿勢情報を用いて、姿勢の時間経過に伴う変化を検出する姿勢変化検出ステップと、姿勢変化を検出した際の指第１関節の曲り状態である第１角の状態を取得する第１角取得ステップと、第１角取得ステップにより得られた第１角の状態を用いて、第１角の時間経過に伴う変化を検出する第１角変化検出ステップと、検出した姿勢変化と第１角変化との変化方向を判定する、変化方向判定ステップと、変化方向判定ステップにおける判定結果に基づいて、指による入力を受け付ける操作入力ステップとを備え、接触面をタッチパネル上に制限することなく、タッチ操作入力を受け付けることが可能となる。本開示の入力制御方法を用いることで、操作者による操作入力の対象である接触面は、表示画面の投影先の壁やスクリーン、机上とした構成が可能となる。また、操作者による操作入力の対象である接触面は、タッチパネル機能を有しない表示装置のディスプレイ、操作者自身の手のひらなどの体の一部とする構成が可能となる。

なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることもできる。

以下本開示の実施の形態について、図面を用いて説明する。

（実施の形態１）
図１は、本開示の実施の形態１における入力制御装置を備えたシステムの構成を示す図である。

図１において、本システムは、入力装置１０１と、入力制御装置１００と、情報処理装置１０２と、表示装置１０３とを備えている。

操作者は、指を用いて操作入力を行うため、指１で接触面２に対してタッチ動作を行う。入力装置１０１は、操作者のタッチ動作による指状態を入力し、入力制御装置１００に通知する。入力制御装置１００は、入力した指状態から、接触面２に対する指第１関節までの姿勢情報と、指第１関節の曲り状態である第１角の状態を取得し、押下げ操作がなされたた否かを判断する。入力制御装置１００は、判断結果に基づいて、操作者のタッチ動作による入力を決定し、情報処理装置１０２に入力コマンドとして通知する。情報処理装置１０２は、入力コマンドを受け付け、対応する処理を実施する。情報処理装置１０２は、処理に応じた表示画面を表示装置１０３に通知し、画面表示する。

図１では、表示装置１０３が出力する表示画面を、平面上に投影し、操作者は、表示画面が投影された平面上（接触面２）に対し、タッチ動作を行う。なお、接触面２は、スクリーンや壁、机上などである。また、接触面２は、曲面でもよい。また、接触面２は、操作者自身の手のひらなど体の一部でもよい。

また、入力装置１０１は、指状態を入力可能なデバイスであって、例えば、カメラやセンサ、データグローブなどのである。

表示装置１０３は、表示画面を表示するディスプレイであり、例えばＬＣＤ（Ｌｉｇｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ；液晶表示器）である。また、表示装置１０３は、プロジェクタであり、外部のスクリーンや壁などに表示画面を投影する。

また、情報処理装置１０２は、操作対象機器であり、ＰＣなどの情報端末、通信機器、家電機器、ＡＶ機器などである。

なお、入力制御装置１００は、他の機能も有する一つの装置で構成してもよい。例えば、入力制御装置１００ａは、操作者のタッチ動作による指状態を入力する入力装置１０１の機能を有する。また、入力制御装置１００ｂは、操作者のタッチ動作による入力を受け付け、対応する処理を実施する情報処理装置１０２の機能を有する。これは、入力制御装置１００が操作対象機器（情報処理装置１０２）に組み込まれた構成である。

以上により、入力制御装置１００は、接触面をタッチパネル上に制限することなく、タッチ操作入力を受け付けることが可能となる。

図２は、本開示の実施の形態における入力制御装置のハードウェア構成を示す図である。

入力制御装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ；中央演算処理部）１１０、メモリ装置１２０、ハードディスク装置１３０を備えている。これらの装置は、バスライン１５０を通じて互いに接続されている。ハードディスク装置１３０は、インタフェース１１１を介してバスライン１５０に接続される。また、入力制御装置１００は、インタフェース１１３を介して、入力装置１０１に接続する。また、入力制御装置１００は、インタフェース１１４を介して、情報処理装置１０２に接続する。

ＣＰＵ１１０は、単一のＣＰＵで構成されてもよく、複数のＣＰＵで構成されてもよい。図２は、単一のＣＰＵ１１０を有する例を示している。

メモリ装置１２０は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２１及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２２を備えている。ＲＯＭ１２１は、ＣＰＵ１１０の動作を規定するコンピュータプログラム及びデータを記憶している。コンピュータプログラム及びデータは、ハードディスク装置１３０に記憶させることもできる。ＣＰＵ１１０は、ＲＯＭ１２１又はハードディスク装置１３０が格納するコンピュータプログラム及びデータを、必要に応じてＲＡＭ１２２に書き込みつつ、コンピュータプログラムが規定する処理を実行する。ＲＡＭ１２２は、ＣＰＵ１１０が処理を実行するのに伴って発生するデータを一時的に記憶する媒体としても機能する。メモリ装置１２０は、フラッシュメモリなど、書き込みが可能で、電源を切っても記憶内容を保持できる不揮発性のメモリと記憶媒体含んでいる。

ハードディスク装置１３０は、コンピュータプログラムを記録保持する装置である。また、ハードディスク装置１３０は、指状態の履歴データを記録してもよい。なお、履歴データは、ＲＡＭ１２２（不揮発性メモリ）に記録してもよい。

以上のように、入力制御装置１００は、コンピュータとして構成されている。上記コンピュータプログラムは、ＲＯＭ１２１、ハードディスク装置１３０、不図示のフレキシブルディスク、可搬型記録媒体を通じて供給することも、ネットワーク等の伝送媒体を通じて供給することも可能である。また、読み出したコンピュータプログラムを、ＲＡＭ１２２あるいはハードディスク装置１３０に格納することができる。

プログラム記録媒体としてＲＯＭ１２１からコンピュータプログラムが供給される場合には、当該ＲＯＭ１２１を入力制御装置１００に搭載することにより、ＣＰＵ１１０は上記コンピュータプログラムに従った処理を実行可能となる。ネットワーク等の伝送媒体を通じて供給されるコンピュータプログラムは、例えば、ＲＡＭ１２２あるいはハードディスク装置１３０に格納される。伝送媒体は、有線の伝送媒体に限られず、無線の伝送媒体であってもよい。

なお、図２では、入力制御装置１００は、入力装置１０１と情報処理装置１０２とを含まず、インタフェース１１３、１１４を介して接続する構成とした。入力制御装置１００が、入力装置１０１または情報処理装置１０２を含む構成でもよい。（図１の１００ａ、１００ｂ）この場合、例えば、入力制御装置１００の処理を行うコンピュータプログラムと、情報処理装置１０２の処理を行うコンピュータプログラムが、一つのＣＰＵ１１０上で動作する構成となる。

また、入力制御装置１００は、ＬＳＩとして構成してもよい。ＬＳＩは、ＣＰＵ１１０とメモリ装置１２０とを備える。

以下、操作者が指を用いて操作面に対するタッチ動作を行う場合に、入力制御装置が、タッチ動作による指状態から入力を決定し、情報処理装置１０２に入力コマンドとして通知する処理について説明する。

図３は、操作者のタッチ動作による指状態を示す図である。操作者のタッチ動作の順に、図３（ａ）、（ｂ）、（ｃ）と変化する。図３（ａ）は、指１が接触面２に接触する前の状態である。図３（ｂ）は、指１が接触面２に接触した弱接触状態である。図３（ｃ）は、指１が接触面２を押下した強接触状態である。

図３において、１１は指１と接触面２との接点である指先、１２は指１の第１関節、１３は指１の第２関節、２１は指１の第１角である。第１角２１は、指１の第１関節の曲り状態を示す。

なお、図３では、第１角２１は、指第１関節１２として図示しているが、第１関節からずれた点で定義してもよい。例えば、指先１１と指第１関節１２の間であり、指先１１から所定の距離離れた点で角度を定義してもよい。

また、本開示の入力制御装置は、指の姿勢情報を使用して処理を行う。指の姿勢情報とは、指先１１から指第１関節１２までの姿勢を表す情報である。例えば、姿勢情報は、指先１１から指第１関節１２を結ぶ線分の傾きである。また、姿勢情報は、指先１１から指第１関節１２を結ぶ線分の接触面との内積である。また、姿勢情報は、指先１１から指第１関節１２を結ぶ線分の接触面との距離である。また、姿勢情報は、指先１１から指第１関節１２を結ぶ線分の接触面との接地面積である。

図４は、本開示の実施の形態における入力制御装置の構成を示すブロック図である。入力制御装置は、図２に示すメモリ装置１２０を用いてＣＰＵ１１０で動作するプログラムである。

図４において、入力制御装置は、姿勢情報取得部３１と、第１角取得部３２と、姿勢変化検出部３３と、第１角変化検出部３４と、変化方向判定部３５と、操作入力部３６とを備える。入力制御装置は、タッチ動作による指状態から入力を決定し、入力（押下）または入力解除を判定し、入力コマンドとして入力（ＯＮ）または入力解除（ＯＦＦ）を出力する。

姿勢情報取得部３１は、入力装置が入力した指状態を用いて、指の姿勢情報を取得し、取得した姿勢情報を姿勢変化検出部３３に出力する。姿勢情報を取得するための具体的手段としては、例えば、入力装置であるカメラが撮影したカメラ画像を画像処理し、指形状を検出し、検出結果を用いて姿勢情報を取得する。また、姿勢情報を取得するための具体的手段としては、例えば、入力装置である各種データグローブが測定したデータを入力し、入力したデータを用いて姿勢情報を取得する。

第１角取得部３２は、入力装置が入力した指状態を用いて、指の第１角を取得し、取得した第１角を第１角状態として第１角変化検出部３４に出力する。第１角を取得するための具体的手段としては、例えば、入力装置であるカメラが撮影したカメラ画像を画像処理し、指形状を検出し、検出結果を用いて第１角を取得する。また、第１角を取得するための具体的手段としては、例えば、入力装置である各種データグローブが測定したデータを入力し、入力したデータを用いて第１角を取得する。

姿勢変化検出部３３は、姿勢情報取得部３１から入力した姿勢情報の変化を検出し、姿勢変化情報として出力する。まず、姿勢変化検出部３３は、姿勢情報取得部３１から入力した初回の姿勢情報を、記憶する。次に、姿勢変化検出部３３は、姿勢情報取得部３１から新たに入力された姿勢情報と、初回の姿勢情報とを比較する。姿勢変化検出部３３は、指先１１から指第１関節１２までの姿勢が、接触面に対しより平行に近づいたか否かを検出し、検出結果を姿勢変化情報として変化方向判定部３５に出力する。操作入力部３６が入力を受け付けた後は、姿勢変化検出部３３は、姿勢情報取得部３１から新たに入力された姿勢情報と、入力受付時の最後の姿勢情報とを比較する。姿勢変化検出部３３は、指先１１から指第１関節１２までの姿勢が、接触面に対しより垂直に近づいたか否かを検出し、検出結果を姿勢変化情報として変化方向判定部３５に出力する。

第１角変化検出部３４は、第１角取得部３２から入力した第１角状態から第１角の変化を検出し、第１角変化として出力する。まず、第１角変化検出部３４は、第１角取得部３２から入力した初回の第１角状態から初回の第１角を取得し、記憶する。次に、第１角変化検出部３４は、第１角取得部３２から新たに入力された第１角状態から第１角を取得し、初回の第１角と比較する。第１角変化検出部３４は、初回の第１角と新たに入力された第１角との差分を計算し、第１角変化を検出し、変化方向判定部３５に出力する。操作入力部３６が入力を受け付けた後は、第１角変化検出部３４は、第１角取得部３２から新たに入力された第１角状態からの第１角と、入力受付時の最後の第１角とを比較する。第１角変化検出部３４は、入力受付時の最後の第１角と新たに入力された第１角との差分を計算し、第１角変化を検出し、変化方向判定部３５に出力する。

変化方向判定部３５は、姿勢変化と第１角変化の正負に基づいて、押下げ操作がなされたか否かを判定する。変化方向判定部３５は、指先１１から指第１関節１２までの姿勢が、接触面に対しより平行に近づき、かつ第１角が大きくなった時に、姿勢変化と第１角の変化方向が押下げ方向であると判定する。姿勢変化と第１角の変化方向が押下げ方向である時とは、図３（ｃ）に示されるように、図３（ｂ）に比べ、指を押しこんだ状態である。操作入力部３６が入力を受け付けた後は、変化方向判定部３５は、姿勢変化と第１角変化の正負に基づいて、押下げ解除操作がなされたか否かを判定する。変化方向判定部３５は、指先１１から指第１関節１２までの姿勢が、接触面に対しより垂直に近づき、かつ第１角が小さくなった時に、姿勢変化と第１角の変化方向が押下げ解除方向であると判定する。姿勢変化と第１角の変化方向が押下げ解除方向である時とは、図３（ｃ）の状態から図３（ｂ）の状態に遷移し、指を戻した状態である。すなわち押下動作が解除されたとみなすことができる。

操作入力部３６は、変化方向判定部３５が押下げ方向と判定すると、入力コマンドとして入力（ＯＮ）を出力する。また、操作入力部３６は、変化方向判定部３５が押下げ解除方向と判定すると、入力コマンドとして入力解除（ＯＦＦ）を出力する。

以上により、本開示の入力制御装置は、接触面をタッチパネル上に制限することなく、タッチ操作入力を受け付けることが可能となる。本開示の入力制御装置を用いることで、操作者による操作入力の対象である接触面は、表示画面の投影先の壁やスクリーン、机上とした構成が可能となる。また、操作者による操作入力の対象である接触面は、タッチパネル機能を有しない表示装置のディスプレイ、操作者自身の手のひらなどの体の一部とする構成が可能となる。

図５は、本開示の入力制御方法におけるフローチャートである。以下、図３、図４および図５を用いて、本開示の入力方法における各機能ステップおよび処理フローの説明をする。

図３（ａ）に記載の状態から、図３（ｂ）に記載の状態に遷移したときに処理を開始する。図３（ｂ）の弱接触状態から図３（ｃ）の強接触状態への遷移を判定して、入力を受付ける処理手順を説明する。

姿勢取得ステップＳ０１において、姿勢情報取得部３１は、入力装置が入力した指状態を用いて、姿勢情報を取得し、取得した姿勢情報を姿勢変化検出部３３に出力する。姿勢変化検出部３３は、姿勢情報取得部３１から入力した姿勢情報を、初回の姿勢情報を基準の姿勢情報として記憶する。

第１角取得ステップＳ０２において、第１角取得部３２は、入力装置が入力した指状態を用いて、指の第１角を取得し、取得した第１角を第１角状態として第１角変化検出部３４に出力する。第１角変化検出部３４は、第１角取得部３２から入力した初回の第１角状態から初回の第１角を取得し、基準の第１角として記憶する。

次に、姿勢情報取得ステップＳ０３において、姿勢情報取得部３１は、再度姿勢情報を取得し（ステップＳ０３がＹｅｓ）、姿勢変化検出部３３に出力する。姿勢情報取得部３１は、姿勢情報が取得できない場合（ステップＳ０３がＮｏ）、つまり、指が接触面から離れた場合、処理を終了する。

第１角取得ステップＳ０４において、第１角取得部３２は、再度第１角を取得し、第１角変化検出部３４に出力する。

姿勢変化検出ステップＳ０５において、姿勢変化検出部３３は、基準の姿勢情報と新たに入力された姿勢情報を比較する。姿勢変化検出部３３は、指先１１から指第１関節１２までの姿勢が、接触面に対しより平行に近づいたか否かを検出し、検出結果を姿勢変化情報として変化方向判定部３５に出力する。この時、基準の姿勢情報は、初回の姿勢情報である。

第１角変化検出ステップＳ０６において、第１角変化検出部３４は、基準の第１角と新たに入力された第１角を比較する。第１角変化検出部３４は、下式により基準の第１角と新たに入力された第１角との差分を計算し、第１角変化を検出し、変化方向判定部３５に出力する。この時、基準の第１角は、初回の第１角である。

第１角変化 ＝ 基準の第１角 − 新たに入力された第１角
変化方向判定ステップＳ０７において、変化方向判定部３５は、姿勢変化と第１角変化の正負に基づいて、押下げ操作がなされたか否かを判定する。変化方向判定部３５は、指先１１から指第１関節１２までの姿勢が、接触面に対しより平行に近づき、かつ第１角が大きくなった時に、姿勢変化と第１角の変化方向が押下げ方向であると判定する。姿勢変化と第１角の変化方向が押下げ方向である時とは、図３（ｃ）に示されるように、図３（ｂ）に比べ、指を押しこんだ状態である。

変化方向判定部３５は、変化方向判定ステップＳ０７の判定結果が、姿勢変化と第１角の変化方向が押下げ方向である時に、入力決定する（ステッププＳ０８がＹｅｓ）。操作入力ステップＳ０８において、操作入力部３６は、決定した入力を受け付け、入力コマンドとして入力（ＯＮ）を出力する。

一方、変化方向判定部３５は、変化方向判定ステップＳ０７の判定結果が、変化方向が押下げ方向でない時（ステッププＳ０８がＮｏ）、ステップＳ０３に遷移する。入力制御装置は、再度姿勢情報と第１角度を取得する、入力待ちの状態を繰り返す。

次に、図３（ｃ）の強接触状態から図３（ｂ）の弱接触状態への遷移を判定して、入力解除を受付ける処理手順を説明する。入力解除を受け付ける処理は、図５のステップＳ０１からＳ０９に遷移して、操作入力部３６が入力を受け付けた後の処理である。以下、ステップＳ０９からステップＳ０３に遷移した続きを説明する。また、ステップＳ０９で操作入力部３６が入力を受け付けると、姿勢変化検出部３３は、基準の姿勢情報を、入力受付時の最後に取得した姿勢情報に変更する。操作入力部３６が入力を受け付けると、第１角変化検出部３４は、基準の第１角を、入力受付時最後に取得した第１角に変更する。

姿勢情報取得ステップＳ０３において、姿勢情報取得部３１は、再度姿勢情報を取得し（ステップＳ０３がＹｅｓ）、姿勢変化検出部３３に出力する。姿勢情報取得部３１は、姿勢情報が取得できない場合（ステップＳ０３がＮｏ）、つまり、指が接触面から離れた場合、処理を終了する。

第１角取得ステップＳ０４において、第１角取得部３２は、再度第１角を取得し、第１角変化検出部３４に出力する。

姿勢変化検出ステップＳ０５において、姿勢変化検出部３３は、基準の姿勢情報と新たに入力された姿勢情報を比較する。姿勢変化検出部３３は、指先１１から指第１関節１２までの姿勢が、接触面に対しより垂直に近づいたか否かを検出し、検出結果を姿勢変化情報として変化方向判定部３５に出力する。この時、基準の姿勢情報は、入力受付時の最後に取得した姿勢情報である。

第１角変化検出ステップＳ０６において、第１角変化検出部３４は、基準の第１角と、新たに入力された第１角を比較する。第１角変化検出部３４は、前述した式により基準の第１角と新たに入力された第１角との差分を計算し、第１角変化を検出し、変化方向判定部３５に出力する。この時、基準の第１角は、入力受付時の最後に取得した第１角である。

変化方向判定ステップＳ０７において、変化方向判定部３５は、姿勢変化と第１角変化の正負に基づいて、押下げ解除操作がなされたか否かを判定する。変化方向判定部３５は、指先１１から指第１関節１２までの姿勢が、接触面に対しより垂直に近づき、かつ第１角が小さくなった時に、姿勢変化と第１角の変化方向が押下げ解除方向であると判定する。指の状態は、図３（ｃ）の状態から図３（ｂ）の状態に遷移し、指を戻した状態であり、押下動作が解除された状態である。

変化方向判定部３５は、変化方向判定ステップＳ０７の判定結果が、姿勢変化と第１角の変化方向が押下げ解除方向である時に、入力決定する（ステッププＳ０８がＹｅｓ）。操作入力ステップＳ０８において、操作入力部３６は、決定した入力解除を受け付け、入力コマンドとして入力（ＯＦＦ）を出力する。

一方、変化方向判定部３５は、変化方向判定ステップＳ０７の判定結果が、変化方向が押下げ解除方向でない時（ステッププＳ０８がＮｏ）、ステップＳ０３に遷移する。入力制御装置は、再度姿勢情報と第１角度を取得する、入力待ちの状態を繰り返す。

なお、姿勢情報が取得できない場合（ステップＳ０３がＮｏ）、つまり、指が接触面から離れた場合、操作入力部３６は、入力が解除されたとして、入力コマンドとして入力（ＯＦＦ）を出力してもよい。

また、ステップＳ０９で操作入力部３６が入力解除を受け付けると、姿勢変化検出部３３は、基準の姿勢情報を、入力解除受付時の最後に取得した姿勢情報に変更する。操作入力部３６が入力か解除を受け付けると、第１角変化検出部３４は、基準の第１角を、入力解除受付時最後に取得した第１角に変更する。これにより、図５のステップＳ０９からＳ０３に遷移して、指が接触面から離れるまで、入力を受け付ける処理を繰り返すことが可能となる。

以上により、本開示の入力制御方法は、接触面をタッチパネル上に制限することなく、タッチ操作入力を受け付けることが可能となる。本開示の入力制御装置を用いることで、操作者による操作入力の対象である接触面は、表示画面の投影先の壁やスクリーン、机上とした構成が可能となる。また、操作者による操作入力の対象である接触面は、タッチパネル機能を有しない表示装置のディスプレイ、操作者自身の手のひらなどの体の一部とする構成が可能となる。

なお、本開示の入力制御装置は、姿勢情報の入力がない場合に、第１角の情報の入力のみを用いても、押下げを推定することができる。この場合、操作者が指を用いて操作面に対するタッチ動作を行ったのか、タッチ動作以外で任意に指を動かしたのかを区別する必要がある。入力制御装置は、任意に動かせる指の可動範囲をあらかじめ指定しておくことで、区別することが可能となる。

次に、指の姿勢情報について、詳細に説明する。

指の姿勢情報とは、指先１１から指第１関節１２までの姿勢を表す情報である。例えば、姿勢情報は、指先１１から指第１関節１２を結ぶ線分の傾きである。また、姿勢情報は、指先１１から指第１関節１２を結ぶ線分の接触面との内積である。また、姿勢情報は、指先１１から指第１関節１２を結ぶ線分の接触面との距離である。また、姿勢情報は、指先１１から指第１関節１２を結ぶ線分の接触面との接地面積である。

図６は、指の姿勢情報として、指先１１から指第１関節１２を結ぶ線分の傾きである場合を示している。図７は、指の姿勢情報として、指先１１から指第１関節１２を結ぶ線分の接触面との距離である場合を示している。図８は、指の姿勢情報として、指先１１から指第１関節１２を結ぶ線分の接触面との接地面積である場合を示している。

以下、指の姿勢情報として、指と接触面との角（第２角）を用いた場合について説明する。

図６は、指の姿勢情報として用いる指と接触面との角（第２角）と、指の関係を示す図である。図６（ａ）は図３（ｂ）の状態に一致し、図６（ｂ）は図３（ｃ）の状態に一致する。１４は接点１１における指と接触面との折れ曲がりを定義する補助点、２２は第２角である。本開示の入力制御装置は、図６（ａ）の弱接触状態から図６（ｂ）の強接触状態への遷移を判定して、入力を受付ける。

図５の姿勢変化検出ステップＳ０５において、姿勢変化検出部３３は、基準の第２角と、姿勢情報取得ステップＳ０３において新たに入力された第２角を比較する。姿勢変化検出部３３は、下式により基準の第２角と新たに入力された第２角との差分を計算し、第２角変化を検出し、第２角変化を変化方向判定部３５に出力する。この時、基準の第２角は、初回の第２角である。

第２角変化 ＝ 基準の第２角 − 新たに入力された第２角
変化方向判定ステップＳ０７において、変化方向判定部３５は、第１角変化と第２角変化の正負に基づいて、押下げ操作がなされたか否かを判定する。変化方向判定部３５は、第１角が大きくなりかつ第２角が小さくなった時に、姿勢変化と第１角の変化方向が押下げ方向であると判定する。

一方、変化方向判定部３５は、変化方向判定ステップＳ０７の判定結果が、変化方向が押下げ方向でない時（ステッププＳ０８がＮｏ）、ステップＳ０３に遷移する。入力制御装置は、再度第１角度と第２角度を取得する、入力待ちの状態を繰り返す。

次に、図６（ｂ）の強接触状態から、図６（ａ）の弱接触状態への遷移を判定して、入力解除を受付ける処理手順を説明する。入力解除を受け付ける処理は、図５のステップＳ０１からＳ０９に遷移して、操作入力部３６が入力を受け付けた後の処理である。ステップＳ０９で操作入力部３６が入力を受け付けると、姿勢変化検出部３３は、基準の第２角を、入力受付時の最後に取得した第２角に変更する。

変化方向判定ステップＳ０７において、変化方向判定部３５は、第１角変化と第２角変化の正負に基づいて、押下げ解除操作がなされたか否かを判定する。変化方向判定部３５は、第１角が小さくなりかつ第２角が大きくなった時に、姿勢変化と第１角の変化方向が押下げ解除方向であると判定する。

なお、第２角は、指先と接触面が接触している状態においてのみ取得可能である。入力制御装置は、姿勢情報として接触点における第２角を用いることにより、図３（ａ）に示されるような非接触状態か否かの判定を同時に実現可能である。

また、姿勢情報として第２角を用いた場合において、変化方向判定部３５は、前述した判定とは異なる判定を行ってもよい。変化方向判定ステップＳ０７において、変化方向判定部３５は、第１角変化と第２角変化の正負と、第１角変化および第２角変化の絶対値に基づいて、第１角が大きくなりその変化が所定の値より大きく、かつ第２角が小さくなり、その変化が所定の値より大きい時に、姿勢変化と第１角の変化方向が押下げ方向であると判定する。

この場合、例えば、操作者の指先が、意図せず変化した場合など、第１角変化と第２角変化が小さい場合に無視する事で、操作者の意図しない操作を回避できる。対して、タッチ操作の意図がある時には、図３（ｃ）に示されるように、指先が曲がる程度に軽く押し込む事で、簡易に、かつ確実にタッチ操作を実行できる。

また、変化の閾値を複数設けることにより、押下げの大きさによって、その後の処理を変化させることも可能である。

以上により、本開示の入力制御方法及び入力制御装置は、接触面をタッチパネル上に制限することなく、タッチ操作入力を受け付けることが可能となる。本開示の入力制御装置を用いることで、操作者による操作入力の対象である接触面は、表示画面の投影先の壁やスクリーン、机上とした構成が可能となる。また、操作者による操作入力の対象である接触面は、タッチパネル機能を有しない表示装置のディスプレイ、操作者自身の手のひらなどの体の一部とする構成が可能となる。

（実施の形態２）
本開示の実施の形態における入力制御装置は、姿勢変化と第１角の変化方向が押下げ方向であると判定した第１の時刻からの経過時間を取得し、経過時間に基づいて、受け付ける入力の種別を変化させる機能を有している。

図９は、本開示の実施の形態における入力制御装置の構成を示すブロック図である。入力制御装置は、図２に示すメモリ装置１２０を用いてＣＰＵ１１０で動作するプログラムである。

図９において、入力制御装置は、姿勢情報取得部３１と、第１角取得部３２と、姿勢変化検出部３３と、第１角変化検出部３４と、変化方向判定部３５と、経過時間判定部３７と、操作入力部３８とを備える。入力制御装置は、タッチ動作による指状態から入力を決定し、入力（短押し、長押し）を判定し、入力コマンドとして入力（短押し）または入力（長押し）を出力する。

姿勢情報取得部３１と、第１角取得部３２と、姿勢変化検出部３３と、第１角変化検出部３４と、変化方向判定部３５は、前述した図４と同じであるため、説明を省略する。

経過時間判定部３７は、変化方向判定部３５が押下げ方向と判定すると、押下げられた第１の時刻を記録する。次に、経過時間判定部３７は、変化方向判定部３５が押下げ解除方向と判定すると、第１の時刻から、押下げが解除された第２の時刻までの経過時間を、操作入力部３６に出力する。

操作入力部３８は、経過時間判定部３７が出力した経過時間に基づいて、受け付ける入力の種別を決定し、入力コマンドを出力する。操作入力部３８は、経過時間が所定の時間以下の場合、入力（短押し）と判定し、所定の時間を越える場合、入力（長押し）と判定する。また、操作入力部３８は、所定の時間１と所定の時間２（時間１＜時間２）など複数の基準時間を保持してもよい。操作入力部３８は、経過時間が時間１以下の場合、入力（短押し）、時間１を超え時間２以下の場合、入力（長押し）、時間２を超える場合、入力（長押し２）と判定する。また、予め他の機能を割り当てる構成でもよい。例えば、操作入力部３８は、経過時間が時間１以下の場合、入力（右クリック）、時間１を超え時間２以下の場合、入力（右長押し）、時間２を超える場合、入力（左クリック）と判定する。

以上により、本開示の入力制御装置は、接触面をタッチパネル上に制限することなく、タッチ操作入力を受け付けることが可能となる。本開示の入力制御装置を用いることで、操作者による操作入力の対象である接触面は、表示画面の投影先の壁やスクリーン、机上とした構成が可能となる。また、操作者による操作入力の対象である接触面は、タッチパネル機能を有しない表示装置のディスプレイ、操作者自身の手のひらなどの体の一部とする構成が可能となる。

また、本開示の入力制御装置は、接触面へ経過時間に基づいて、受け付ける入力の種別を変化させることが可能となる。本開示の入力制御装置を用いることで、操作対象機器に応じて、出力する入力コマンドを切り替えて制御することが容易になる。

図１０は、本開示の入力制御方法におけるフローチャートである。以下、図９および図１０を用いて、本開示の入力方法における各機能ステップおよび処理フローの説明をする。なお、ここでは、操作入力部３８は、経過時間が所定の時間以下の場合、入力（短押し）と判定し、所定の時間を越える場合、入力（長押し）と判定する。

姿勢取得ステップＳ１１において、姿勢情報取得部３１は、入力装置が入力した指状態を用いて、姿勢情報を取得し、取得した姿勢情報を姿勢変化検出部３３に出力する。姿勢変化検出部３３は、姿勢情報取得部３１から入力した姿勢情報を、初回の姿勢情報を基準の姿勢情報として記憶する。

第１角取得ステップＳ１２において、第１角取得部３２は、入力装置が入力した指状態を用いて、指の第１角を取得し、取得した第１角を第１角状態として第１角変化検出部３４に出力する。第１角変化検出部３４は、第１角取得部３２から入力した初回の第１角状態から初回の第１角を取得し、基準の第１角として記憶する。

次に、姿勢情報取得ステップＳ１３において、姿勢情報取得部３１は、再度姿勢情報を取得し（ステップＳ１３がＹｅｓ）、姿勢変化検出部３３に出力する。姿勢情報取得部３１は、姿勢情報が取得できない場合（ステップＳ１３がＮｏ）、つまり、指が接触面から離れた場合、処理を終了する。

第１角取得ステップＳ１４において、第１角取得部３２は、再度第１角を取得し、第１角変化検出部３４に出力する。

姿勢変化検出ステップＳ１５において、姿勢変化検出部３３は、基準の姿勢情報と新たに入力された姿勢情報を比較する。姿勢変化検出部３３は、指先１１から指第１関節１２までの姿勢が、接触面に対しより平行に近づいたか否かを検出し、検出結果を姿勢変化情報として変化方向判定部３５に出力する。この時、基準の姿勢情報は、初回の姿勢情報である。

第１角変化検出ステップＳ１６において、第１角変化検出部３４は、基準の第１角と新たに入力された第１角を比較する。第１角変化検出部３４は、下式により基準の第１角と新たに入力された第１角との差分を計算し、第１角変化を検出し、変化方向判定部３５に出力する。この時、基準の第１角は、初回の第１角である。

第１角変化 ＝ 基準の第１角 − 新たに入力された第１角
変化方向判定ステップＳ１７において、変化方向判定部３５は、姿勢変化と第１角変化の正負に基づいて、押下げ操作がなされたか否かを判定する。変化方向判定部３５は、指先１１から指第１関節１２までの姿勢が、接触面に対しより平行に近づき、かつ第１角が大きくなった時に、姿勢変化と第１角の変化方向が押下げ方向であると判定する。

変化方向判定部３５は、変化方向判定ステップＳ１７の判定結果が、姿勢変化と第１角の変化方向が押下げ方向である時に（ステッププＳ１８がＹｅｓ）、ステップＳ１９に遷移する。この時、経過時間判定部３７は、押下げられた第１の時刻を記録する。姿勢変化検出部３３は、基準の姿勢情報を、入力受付時の最後に取得した姿勢情報に変更する。第１角変化検出部３４は、基準の第１角を、入力受付時最後に取得した第１角に変更する。

一方、変化方向判定部３５は、変化方向判定ステップＳ１７の判定結果が、変化方向が押下げ方向でない時（ステッププＳ１８がＮｏ）、ステップＳ１３に遷移する。入力制御装置は、再度姿勢情報と第１角度を取得する、入力待ちの状態を繰り返す。

姿勢情報取得ステップＳ１９において、姿勢情報取得部３１は、再度姿勢情報を取得し（ステップＳ１９がＹｅｓ）、姿勢変化検出部３３に出力する。一方、姿勢情報取得部３１は、姿勢情報が取得できない場合（ステップＳ１９がＮｏ）、つまり、指が接触面から離れた場合、操作入力ステップＳ０８において、操作入力部３８は、経過時間が所定の時間以下として処理する。操作入力部３８は、経過時間が所定の時間以下のため、受け付ける入力の種別を入力（短押し）と決定し、入力コマンドを出力し、処理を終了する。

第１角取得ステップＳ２１において、第１角取得部３２は、再度第１角を取得し、第１角変化検出部３４に出力する。

姿勢変化検出ステップＳ２２において、姿勢変化検出部３３は、基準の姿勢情報と新たに入力された姿勢情報を比較する。姿勢変化検出部３３は、指先１１から指第１関節１２までの姿勢が、接触面に対しより垂直に近づいたか否かを検出し、検出結果を姿勢変化情報として変化方向判定部３５に出力する。この時、基準の姿勢情報は、入力受付時の最後に取得した姿勢情報である。

第１角変化検出ステップＳ２３において、第１角変化検出部３４は、基準の第１角と、新たに入力された第１角を比較する。第１角変化検出部３４は、前述した式により基準の第１角と新たに入力された第１角との差分を計算し、第１角変化を検出し、変化方向判定部３５に出力する。この時、基準の第１角は、入力受付時の最後に取得した第１角である。

変化方向判定ステップＳ２４において、変化方向判定部３５は、姿勢変化と第１角変化の正負に基づいて、押下げ解除操作がなされたか否かを判定する。変化方向判定部３５は、指先１１から指第１関節１２までの姿勢が、接触面に対しより垂直に近づき、かつ第１角が小さくなった時に、姿勢変化と第１角の変化方向が押下げ解除方向であると判定する。

変化方向判定部３５は、変化方向判定ステップＳ２４の判定結果が、姿勢変化と第１角の変化方向が押下げ解除方向である時（ステッププＳ２５がＹｅｓ）、ステップＳ２６に遷移する。

経過時間判定ステップＳ２６において、経過時間判定部３７は、第１の時刻から、押下げが解除された第２の時刻までの経過時間を、操作入力部３８に出力する。

入力決定ステップＳ２７において、操作入力部３８は、経過時間に基づいて、受け付ける入力の種別を決定する。操作入力ステップＳ２８において、操作入力部３８は、ステップＳ２８で決定した入力の種別に応じて、入力コマンドを出力する。

一方、変化方向判定部３５は、変化方向判定ステップＳ２４の判定結果が、変化方向が押下げ解除方向でない時（ステッププＳ２５がＮｏ）、ステップＳ１９に遷移する。入力制御装置は、再度姿勢情報と第１角度を取得する、入力解除待ちの状態を繰り返す。

ステップＳ２８で操作入力部３６が入力コマンドを出力すると、ステップＳ１３に遷移する。この時、姿勢変化検出部３３は、基準の姿勢情報を、入力解除受付時の最後に取得した姿勢情報に変更する。第１角変化検出部３４は、基準の第１角を、入力解除受付時最後に取得した第１角に変更する。これにより、ステップＳ２８からＳ１３に遷移して、指が接触面から離れるまで、入力を受け付ける処理を繰り返すことが可能となる。

以上により、本開示の入力制御方法は、接触面をタッチパネル上に制限することなく、タッチ操作入力を受け付けることが可能となる。本開示の入力制御装置を用いることで、操作者による操作入力の対象である接触面は、表示画面の投影先の壁やスクリーン、机上とした構成が可能となる。また、操作者による操作入力の対象である接触面は、タッチパネル機能を有しない表示装置のディスプレイ、操作者自身の手のひらなどの体の一部とする構成が可能となる。

また、本開示の入力制御方法は、接触面へ経過時間に基づいて、受け付ける入力の種別を変化させることが可能となる。本開示の入力制御装置を用いることで、操作対象機器に応じて、出力する入力コマンドを切り替えて制御することが容易になる。

（実施の形態３）
本開示の実施の形態における入力制御装置は、操作者のタッチ動作による指状態を、カメラを用いて取得する構成である。入力制御装置は、カメラから入力した画像を用いて、姿勢情報と第１角を取得する。なお、本実施の形態では、姿勢情報として、指と接触面との角（第２角）を用いた例を説明する。また、実施の形態１と実施の形態２と同様に、姿勢情報は、指先１１から指第１関節１２までの姿勢を表す情報であり、第２角以外の情報を用いてもよい。

図１１は、本開示の実施の形態における入力制御装置を備えたシステムの概観図である。

図１１において、本システムは、入力装置であるカメラ１０１ａと、入力制御装置１００ｃと、表示装置であるモニタ１０３ａとを備えている。図１１では、入力制御装置が操作対象機器（情報処理装置）に組み込まれた例を示している。なお、実施の形態１と実施の形態２と同様に、入力制御装置は、決定した入力コマンドを情報処理装置に通知する構成でもよい。

操作者は、指を用いて操作入力を行うため、指１で接触面２に対してタッチ動作を行う。カメラ１０１ａは、操作者のタッチ動作による指状態を撮影し、撮影した画像情報を入力制御装置１００ｃに通知する。入力制御装置１００ｃは、入力した画像情報を解析し、接触面２に対する指第１関節までの姿勢情報（第２角）と、指第１関節の曲り状態である第１角を取得する。入力制御装置１００ｃは、第１角と第２角を用いて、押下げ操作がなされたた否かを判断する。入力制御装置１００ｃは、判断結果に基づいて、操作者のタッチ動作による入力を決定し、入力を受け付ける。

図１１では、カメラを１つのみ図示しているが、多地点カメラであり、各々のカメラから入力制御装置に画像情報が通知される構成でもよい。

図１２は、本開示の実施の形態における入力制御装置の構成を示すブロック図である。

図１２において、入力制御装置は、姿勢情報取得部３１と、第１角取得部３２と、姿勢変化検出部３３と、第１角変化検出部３４と、変化方向判定部３５と、操作入力部３６と、画像取得部４１と、撮影距離取得部４２とを備える。入力制御装置は、カメラが撮影した画像情報を取得し、画像情報を解析して、タッチ動作による指状態から入力を決定し、入力を受け付ける。

姿勢情報取得部３１と、第１角取得部３２と、姿勢変化検出部３３と、第１角変化検出部３４と、変化方向判定部３５と、操作入力部３６は、前述した図４と同じであるため、説明を省略する。

画像取得部４１は、カメラ１０１ａが撮影した画像情報を取得し、画像情報を解析し、操作者の指に相当する部分を抽出する。画像取得部４１は、抽出した指画像情報を撮影距離取得部４２に出力する。指画像情報は、例えば、抽出した指の位置を示す位置情報を含んでいる。画像取得部４１は、指画像情報を抽出する方法として、例えば、テンプレートマッチングや学習アルゴリズムなどの方法を用いる。

撮影距離取得部４２は、画像取得部４１が出力した位置情報を含む画像情報に基づいて、撮影された指に対する距離情報を取得する。撮影距離取得部４２は、取得した距離情報を、姿勢情報取得部３１と第１角取得部３２に出力する。

これにより、姿勢情報取得部３１と第１角取得部３２は、撮影距離取得部４２から距離情報を取得し、処理を行う。姿勢情報取得部３１は、距離情報に基づいて、指と接触面とが成す角である第２角を取得する。また、第１角取得部３２は、距離情報に基づいて、指関節の曲り状態である第１角を取得する。

なお、カメラが、距離測定が可能であり、測定した距離情報を入力制御装置へ出力する構成でもよい。この場合、カメラが、画像取得部４１と撮影距離取得部４２の機能を有する。カメラが、撮影した画像情報から距離情報を取得し、距離情報を入力制御装置に出力する。入力制御装置は、カメラが出力した距離情報を用いて、姿勢情報（第２角）と第１角を取得する。

以上により、本開示の入力制御方法および入力制御装置は、接触面をタッチパネル上に制限することなく、タッチ操作入力を受け付けることが可能となる。本開示の入力制御装置を用いることで、操作者による操作入力の対象である接触面は、表示画面の投影先の壁やスクリーン、机上とした構成が可能となる。また、操作者による操作入力の対象である接触面は、タッチパネル機能を有しない表示装置のディスプレイ、操作者自身の手のひらなどの体の一部とする構成が可能となる。

また、本開示の入力制御装置は、カメラが撮影した画像情報に基づいて、第１角と第２角とを取得する。これにより、カメラで撮影可能な場所であれば、操作者による操作対象である接触面とすることが可能となる。

本開示にかかる入力制御方法及び入力制御装置は、指の第１関節の曲がり状態である第１角と、接触面に対する指第１関節までの姿勢情報とを用いて、入力を受け付ける機能を有し、指を用いたタッチ入力を行うＰＣなどの情報端末等として有用である。また、通信機器、家電機器、ＡＶ機器等の用途にも応用できる。

１００，１００ａ，１００ｂ，１００ｃ 入力制御装置
１０１ 入力装置
１０１ａ カメラ
１０２ 情報処理装置
１０３ 表示装置
１０３ａ モニタ
１１０ ＣＰＵ
１２０ メモリ装置
１３０ ハードディスク装置
１５０ バスライン
１１１，１１３，１１４ インタフェース
１２１ ＲＯＭ
１２２ ＲＡＭ
３１ 姿勢情報取得部
３２ 第１角取得部
３３ 姿勢変化検出部
３４ 第１角変化検出部
３５ 変化方向判定部
３６，３８ 操作入力部
３７ 経過時間判定部
４１ 画像取得部
４２ 撮影距離取得部

Claims (16)

1. 指を用いて操作入力を行う入力制御方法であって、
   前記指の接触面に対する第１関節までの姿勢を示す姿勢情報を取得する姿勢取得ステップと、
   前記姿勢取得ステップにより得られた前記姿勢情報を用いて、前記姿勢の時間経過に伴う変化を検出する姿勢変化検出ステップと、
   前記姿勢の時間経過に伴う変化を検出した際の前記第１関節の曲り状態である第１角の状態を取得する第１角取得ステップと、
   前記第１角取得ステップにより得られた前記第１角の状態を用いて、前記第１角の時間経過に伴う変化を検出する第１角変化検出ステップと、
   検出した前記姿勢の時間経過に伴う変化と前記第１角の時間経過に伴う変化とを用いて前記指の変化方向を判定する変化方向判定ステップと、
   前記変化方向判定ステップにおける判定結果に基づいて、前記指による入力を受け付ける操作入力ステップと を備えることを特徴とする入力制御方法。
2. 前記姿勢情報は、前記指と前記接触面とが成す角である第２角の状態であって、
   前記姿勢取得ステップは、前記第２角の状態を取得し、
   前記姿勢変化検出ステップは、前記姿勢取得ステップにより得られた前記第２角の状態を用いて、前記第２角の時間経過に伴う変化を検出し、
   前記操作入力ステップは、前記第１角の時間経過に伴う変化と前記第２角の時間経過に伴う変化との変化方向が逆であるときに、前記指による入力を受け付けることを特徴とする請求項１に記載の入力制御方法。
3. 前記第１角は、前記第１関節における掌側の角であって、前記第２角は、前記指と前記接触面との掌側の角であって、
   前記第１角変化検出ステップは、前記第１角の値が時間経過に伴い大きくなる場合に、第１角の変化が正と検出し、
   前記第２角変化検出ステップは、前記第２角の値が時間経過に伴い小さくなる場合に、第２角の変化が負と検出し、
   前記操作入力ステップは、前記第１角の変化が正であり、前記第２角の変化が負であるときに、前記指による入力を受け付けることを特徴とする請求項２に記載の入力制御方法。
4. 前記変化方向判定ステップにおいて第１角変化と姿勢変化の変化方向が押下方向あると判定した第１の時刻からの経過時間を取得する経過時間判定ステップをさらに備え、
   前記操作入力ステップは、前記経過時間に基づいて、受け付ける入力の種別を変化させることを特徴とする請求項２に記載の入力制御方法。
5. 前記操作入力ステップは、前記第１角の変化量と前記姿勢の変化量との少なくとも一つの絶対値が、所定の変化量よりも大きいときに、前記指による入力を受け付けることを特徴とする請求項２に記載の入力制御方法。
6. カメラが撮影した前記指の画像データを取得する画像取得ステップと、
   前記画像データに基づいて、撮影された指に対する距離情報を取得する撮影距離取得ステップを備え、
   前記第１角取得ステップは、前記撮影距離情報に基づいて、前記第１関節の曲り状態である第１角を取得し、
   前記第２角取得ステップは、前記撮影距離情報に基づいて、前記指と前記接触面とが成す角である第２角を取得することを特徴とする請求項５に記載の入力制御方法。
7. 前記姿勢情報は、前記指と前記接触面との接触面積であって、
   前記姿勢取得ステップは、前記接触面積の状態を取得し、
   前記姿勢変化検出ステップは、前記接触面積取得ステップにより得られた前記接触面積の状態を用いて、前記接触面積の時間経過に伴う変化を検出し、
   前記操作入力ステップは、前記第１角の変化と前記接触面積の変化との変化方向が同じであるときに、前記指による入力を受け付けることを特徴とする請求項１に記載の入力制御方法。
8. 前記姿勢情報は、前記第１関節と前記接触面との距離であって、
   前記姿勢取得ステップは、前記第１関節と前記接触面との距離を取得し、
   前記姿勢変化検出ステップは、前記接触距離取得ステップにより得られた前記第１関節と前記接触面との距離を用いて、前記距離の時間経過に伴う変化を検出し、
   前記操作入力ステップは、前記第１角の変化と前記第１関節と前記接触面との距離の変化との変化方向が逆であるときに、前記指による入力を受け付けることを特徴とする請求項１に記載の入力制御方法。
9. 指を用いて操作入力を行う入力制御装置であって、
   前記指の接触面に対する第１関節までの姿勢を示す姿勢情報を取得する姿勢取得部と、
   前記姿勢取得部により得られた前記姿勢情報を用いて、前記姿勢の時間経過に伴う変化を検出する姿勢変化検出部と、
   前記姿勢の時間経過に伴う変化を検出した際の前記第１関節の曲り状態である第１角の状態を取得する第１角取得部と、
   前記第１角取得部により得られた前記第１角の状態を用いて、前記第１角の時間経過に伴う変化を検出する第１角変化検出部と、
   検出した前記姿勢の時間経過に伴う変化と前記第１角の時間経過に伴う変化とを用いて前記第１関節の変化方向が押下方向であることを判定する、変化方向判定部と、
   前記変化方向判定部における判定結果に基づいて、前記指による入力を受け付ける操作入力部とを備えることを特徴とする入力制御装置。
10. 前記姿勢情報は、前記指と前記接触面とが成す角である第２角の状態であって、
    前記姿勢取得部は、前記第２角の状態を取得し、
    前記姿勢変化検出部は、前記姿勢取得部により得られた前記第２角の状態を用いて、前記第２角の時間経過に伴う変化を検出し、
    前記操作入力部は、前記第１角の時間経過に伴う変化と前記第２角の時間経過に伴う変化との変化方向が逆であるときに、前記指による入力を受け付けることを特徴とする請求項９に記載の入力制御装置。
11. 前記第１角は、前記第１関節における掌側の角であって、前記第２角は、前記指と前記接触面との掌側の角であって、
    前記第１角変化検出部は、前記第１角の値が時間経過に伴い大きくなる場合に、第１角の変化が正と検出し、
    前記第２角変化検出部は、前記第２角の値が時間経過に伴い小さくなる場合に、第２角の変化が負と検出し、
    前記操作入力部は、前記第１角の変化が正であり、前記第２角の変化が負であるときに、指による入力を受け付けることを特徴とする請求項１０に記載の入力制御装置。
12. 前記変化方向判定部において前記姿勢変化と第１角変化の変化方向が押下方向であると判定した第１の時刻からの経過時間を取得する、経過時間判定部をさらに備え、
    前記操作入力部は、前記経過時間に基づいて、受け付ける入力の種別を変化させることを特徴とする請求項１０に記載の入力制御装置。
13. 前記操作入力部は、前記第１角の変化量と前記姿勢の変化量との少なくとも一つの絶対値が、所定の変化量よりも大きいときに、前記指による入力を受け付けることを特徴とする請求項１０に記載の入力制御装置。
14. カメラが撮影した前記指の画像データを取得する画像取得部と、
    前記画像データに基づいて、撮影された指に対する距離情報を取得する距離取得部を備え、
    前記第１角取得部は、前記距離情報に基づいて、前記第１関節の曲り状態である第１角を取得し、
    前記第２角取得部は、前記距離情報に基づいて、前記指と前記接触面とが成す角である第２角を取得することを特徴とする請求項１３に記載の入力制御装置。
15. 前記姿勢情報は、前記指と前記接触面との接触面積であって、
    前記姿勢取得部は、前記接触面積の状態を取得し、
    前記姿勢変化検出部は、前記接触面積の状態を用いて、前記接触面積の時間経過に伴う変化を検出し、
    前記操作入力部は、前記第１角の変化と前記接触面積の変化との変化方向が同じであるときに、前記指による入力を受け付けることを特徴とする請求項９に記載の入力制御装置。
16. 前記姿勢情報は、前記第１関節と前記接触面との距離であって、
    前記姿勢取得部は、前記第１関節と前記接触面との距離を取得し、
    前記姿勢変化検出部は、前記接触距離取得部により得られた前記第１関節と接触面との距離を用いて、前記距離の時間経過に伴う変化を検出し、
    前記操作入力部は、前記第１角の変化と前記第１関節と接触面との距離の変化との変化方向が逆であるときに、前記指による入力を受け付けることを特徴とする請求項９に記載の入力制御装置。

Images