JP2019061539A - 入力補助装置および携帯端末 - Google Patents

Abstract

【課題】操作性をより向上させることができる入力補助装置およびこれを用いた携帯端末を提供することを目的とする。【解決手段】入力補助装置１０は、カメラ機能を有する携帯端末であるスマートフォン２０に装着可能な入力補助装置１０において、スマートフォン２０に装着されるケース１１と、ユーザ操作を受け付けることにより外形状態が変形可能にして、ケース１１に配置される操作部材である入力装置（アナログスティック１２，スイッチ１３，１４）と、入力装置の外形状態をスマートフォン２０のカメラ機能が検出可能にして、ケース１１に配置される鏡１５，１６と、を備える。【選択図】図１

Description

本発明は、携帯端末に対する入力を補助する入力補助装置およびこれを装着した携帯端末に関する。

スマートフォンにはタッチパネルや側面に設置されたボタンのほか、カメラや加速度センサ、近接センサ、指紋センサなどが搭載されており、ユーザは、それらボタンまたはセンサを用いた入力を行うことができる。また、有線もしくは無線で別なデバイスと接続し、そのデバイスを介してスマートフォンを操作することもできる。このように、スマートフォンには多様な入力方法があるが、タッチパネルを用いた入力が主流となっている。タッチパネルには、ジェスチャやマルチタッチなどを用いた多彩な入力が可能であることや、ディスプレイの表示内容を変化させることでユーザの入力操作の意味を動的に変化させることができる利点がある反面、指によってディスプレイの表示内容が隠されてしまうことや、触覚フィードバックに乏しいという欠点がある。これらの欠点は特にゲームに影響を与えており、スマートフォンと既存の携帯型ゲーム機を比較した場合、その操作性やゲーム体験は大きく異なる。

特許文献１には、上記の欠点を解決するための操作機器についての記載がある。この操作機器は、スマートフォンなどの携帯端末に装着され、ユーザによりボタンが操作されたことに応じて、可動部は位置または姿勢を変化させる。携帯機器は、操作機器の可動部の位置または姿勢を、赤外線カメラまたは背面カメラが撮影して認識することで、その操作に応じた処理をする。

特開２０１６−１４８９０３号公報

特許文献１に記載の操作機器は、操作ボタンなどの配置位置が予め定められた構成である。したがって、操作ボタンなどの配置に融通性を持たせることができず、携帯機器において起動するアプリケーションによっては、操作性向上には寄与しない場合がある。

そこで、本発明は、操作性をより向上させることができる入力補助装置およびこれを用いた携帯端末を提供することを目的とする。

上記課題を解決するために、本発明の入力補助装置は、カメラ機能を有する携帯端末に装着可能な入力補助装置において、前記携帯端末に装着される筐体部と、ユーザ操作を受け付けることにより外形状態が変形可能にして、前記筐体部に配置される操作部材と、前記操作部材の外形状態を前記カメラ機能が検出可能にして、前記筐体部に配置される反射部材と、を備える。

この発明によれば、携帯端末のカメラ機能を使って操作部材に対するユーザ操作を検出することができる。その際、反射部材を用いることで、操作部材の配置位置に制限はなく、したがって、携帯端末に対する操作性を向上させることができる。

本発明によれば、操作部材の配置位置に制限を受けることなく、適切な入力手法を提供することができる。したがって、携帯端末に対する操作性を向上させることができる。

本実施形態の入力補助装置１０の外観構成の斜視図を示す図である。 本実施形態の入力補助装置１０の上面図および側面図である。 入力補助装置１０における撮影範囲および撮影対象を示す図である。 認識用マーカが付加されたアナログスティック１２の動きを示す図である。 延長棒１３ｂを備えた入力装置の具体例を示す図である。 通常のカメラとして使用する場合と入力補助装置にカメラを使用する場合の両方を切替えるための具体的機構の変形例を示す図である。 本実施形態の入力補助装置１０ｘの外観構成を示す図である スマートフォン２０を活用したＨＭＤ（Head Mount Display）に本実施形態の入力補助装置を適用した例を示す。 日用品を用いた３種類の入力装置を有する入力補助装置を示す図である。 スマートフォン２０の機能構成を示すブロック図である。 画像処理の対象を示す図である。

添付図面を参照しながら本発明の実施形態を説明する。可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。

図１は、本実施形態の入力補助装置１０と、当該入力補助装置１０をスマートフォン２０とを示す外観斜視図である。図１に示されるとおり、入力補助装置１０は、スマートフォン２０の背面側に装着される。スマートフォン２０の背面には背面カメラ２１が備えられている。この背面カメラ２１が、入力補助装置１０に装着されている入力装置（アナログスティック１２、スイッチ１３，１４）の外形状態の変形を検出可能に、入力補助装置１０の筐体部であるケース１１には、背面カメラ用穴１８が形成されている。そのほか、ケース１１には、複数の入力装置を、任意の位置に配置するために複数の溝１７（接合部分）が形成されている。この外形状態の変形には、回転や移動を含む。

図２は、本実施形態の入力補助装置１０の上面図および側面図である。図２（ａ）が、入力補助装置１０の上面図を示し、図２（ｂ）が、入力補助装置１０の側面図を示す。この入力補助装置１０は、スマートフォンなどの携帯端末（以下、スマートフォン証する）を収納するケース１１、アナログスティック１２、スイッチ１３、１４、鏡１５、１６から構成される。スマートフォン２０は、図２（ｂ）の点線内に、スマートフォン２０のタッチパネルディスプレイ（操作面）が下を向いた状態で収納される。ケース１１には、背面カメラ用穴１８が形成されており、スマートフォンが備える背面カメラ２１は、ケース１１の背面カメラ用穴１８を通して撮影が可能となっている。また、ケース１１には複数の溝１７が形成されており、鏡１５、１６およびアナログスティック１２、スイッチ１３、１４は、それぞれの溝１７に嵌合するように突起等が形成されている。なお、以降、特に区別する必要がない場合には、アナログスティック１２、スイッチ１３，１４を総称して入力装置と称する。これら入力装置は、ユーザ操作に対して触覚フィードバックが得られるような構成が取られている。なお、ケース１１に溝１７が形成されているが、これに限らず、入力装置と嵌合する形状であれば、穴または突起でもよい。

スイッチ１３、およびスイッチ１４は、鏡１５を介してスマートフォン２０の背面カメラ２１で撮影可能な位置に配置される。スイッチ１３は、操作部分１３ａ、認識対象部１３ｂ、および接合部１３ｃから構成されている。操作部分１３ａはユーザが操作する対象であり、認識対象部１３ｂは、スマートフォン２０の背面カメラ２１によって撮影され、その外形状態の変形部分が認識される部分である。接合部１３ｃは、ケース１１に形成されている溝１７に嵌合するための部分であり、凸状に形成されている。なお、接合部１３ｃは、ケース１１に穴または突起が形成されている場合には、それぞれ穴または突起に即した形状が形成されている。

スイッチ１４も、スイッチ１３と同様に、操作部分１４ａ、認識対象部１４ｂ、および接合部１４ｃから構成されている。

また、アナログスティック１２は、鏡１５および鏡１６を介してスマートフォン２０の背面カメラ２１で撮影可能な位置に配置される。アナログスティック１２は、操作部分１２ａ、認識対象部１２ｂ、および接合部１２ｃから構成され、それぞれスイッチ１３と同じ機能を有する。

スイッチ１３、スイッチ１４、アナログスティック１２は、ユーザが力を加えることで、その外形状態が変形する。具体的には、スイッチ１３およびスイッチ１４は、ユーザの指による押下操作にしたがって、その外形状態が変形する構成を有する。例えば、スイッチ１３は、認識対象部１３ｂが下がるなど、その外形状態が変形する。

同様に、アナログスティック１２は、ユーザが力を加えることで、その認識対象部１２ｂ（操作部分１２ａも含む）が、力を加えた方向に傾く構成を有する。これらスイッチ１３、１４、アナログスティック１２は、ゲームコントローラで用いられているものと同様の構成を採用することができる。スイッチ１３，１４、アナログスティック１２の外形状態の変形については、マーカを認識対象部１３ｂ等に付加することにより、その認識精度を向上させることができる。その詳細については後述する。

入力装置として、アナログスティック１２、スイッチ１３，１４を例示したが、これ以外にも、十字キー、スライダー、ボリューム等があり得る。携帯型ゲーム機、携帯型音楽プレイヤーなどで用いられている入力装置を入力補助装置１０に用いることで、それらと同等なゲーム体験を可能にする。

図３は、本実施形態の入力補助装置１０に装着されたスマートフォン２０の背面カメラ２１の画角を示した図である。図３に示されるとおり、背面カメラ２１は、その撮影領域Ｓに配置されている各種部材を、鏡１５の反射を利用して撮影する。本実施形態では、撮影領域Ｓには、スイッチ１３，１４、および鏡１６が含まれている。

したがって、矢印Ｐ１，Ｐ２に示されるとおり、背面カメラ２１は、スイッチ１３，１４の動きを撮影することができる。また、矢印Ｐ３に示されるとおり、背面カメラ２１は、鏡１６の反射を利用してアナログスティック１２の動きを撮影することができる。

スマートフォン２０は、背面カメラが撮影した画像を処理する制御部を備えており、この制御部は、その背面カメラが撮影する画像を用いて、スイッチ１３、１４もしくはアナログスティック１２の変形を検出することができ、その変形をユーザの入力として処理する。例えば、制御部は、ユーザがスイッチ１３、１４を押し込んだ場合、背面カメラを介して、その撮影画像を認識し、スマートフォン２０上で動作しているアプリケーションにタップが行われたことを通知する。同様に、制御部は、アナログスティック１２が変形して傾いた場合、その傾きの向きと程度を認識して、スマートフォン上で動作しているアプリケーション上のカーソルの移動に利用することができる。

上記の処理をするために、スマートフォン２０の制御部は、ユーザは入力装置に力を加えていない状態と、力を加えている状態における入力装置の形状を、ユーザまたはアプリケーションの制作者によりあらかじめ記録させることができる。さらにユーザは、入力装置のどのような変形が、スマートフォン２０上で動作するアプリケーションへ与えるどのような入力に対応するのかを設定することができる。これにより、これまで利用したことのない入力装置を用いたい場合であっても，その入力装置を用いた入力が可能となり、かつユーザの操作とコマンドの対応関係をアプリケーションやユーザの好みに応じて切り替えることができるようになる。

このような構成であれば、スマートフォン２０のディスプレイを覆うことなく、ユーザはスマートフォン２０の背面を用いた入力を行うことができ、さらにユーザは触覚フィードバックのある入力操作を行うことができる。また、図１に示すようにスマートフォン２０を横持ちすることを想定した配置であれば、ユーザの指や手が鏡１５、１６と入力装置（アナログスティック１２等）の間に入り込むことはほとんどなく、スマートフォン２０の背面カメラは常時、入力装置の変形具合を監視し続けることができる。

スマートフォン２０の制御部は、入力装置の変形を一般的な画像処理で検出することができるが、マーカを用いることでより頑強に精度良く検出することができる。図４は、認識用マーカが付加されたアナログスティック１２の動きを示す図である。アナログスティック１２は、ユーザが操作するための操作部分１２ａ、アナログスティック１２の動きを認識するための認識対象部１２ｂ、接合部１２ｃから構成されている。認識対象部１２ｂは、認識精度を向上させるために、着色されたマーカ３１を含んでいる。本実施形態においては、認識対象部１２ｂは、半球状の形状からなり、半球部分の下側部分に帯状のマーカ３１が形成されている。

マーカ３１は、黒で表現されている。さらに、認識対象部１２ｂは、半球形状であって、その下側部分にマーカ３１が帯状に形成されるとともに、その半球部分の底面部分は着色されて形成されている。

図４（ａ）に示されるとおり、アナログスティック１２が操作されておらず、その外形状態が変形していない場合、黒のマーカ３１は水平の状態で認識される。したがって、スマートフォン２０の制御部は、マーカ３１が、水平の状態である認識するすると、操作がされていないと判断する。

つぎに、図４（ｂ）に示されるとおり、ユーザがアナログスティック１２に力をかけて、アナログスティック１２の外形状態を左に傾けた場合、アナログスティック１２の傾きに応じて、マーカ３１も傾く。スマートフォン２０の制御部は、マーカ３１の傾きを認識すると、アナログスティックがその傾きに応じた所定の方向に向けて操作されたと判断する。

さらに、図４（ｃ）に示されるとおり、アナログスティック１２が奥側に傾いた場合、アナログスティック１２の傾きに応じて、黒のマーカ３１が上方向に移動する。マーカ３１は、半球形状の底面に着色されているマーカ３１が大きな面積を占めるようになる。スマートフォン２０の制御部は、認識したマーカ３１の形状を認識すると、その形状に応じて、どの程度奥に傾けた操作をしたかを判断する。例えば、少し奥に傾けた状態では、その形状は細長い目のような形状となり、大きく奥に傾けた状態では、その形状は楕円状の形状となる。したがって、マーカ３１の形状に基づいて、どの程度奥に傾けたかを判断する。

一方、手前に傾けた状態では、底面部分のマーカ３１を認識できず、帯状のマーカ３１のみを認識する。その際、下側に弧を描くような形状をもったマーカ３１を認識する場合には、手前側に傾けたと判断する。

これらを組み合わせることでアナログスティック１２がどの方向にどの程度傾けたかを、スマートフォン２０の制御部は、判断することができる。

このようにすれば、アナログスティック１２の傾きの向きだけでなく、その程度も検出することができ、アナログ量の入力やポインティング操作などを行うことができるようになる。スイッチ１３、１４にマーカを設置する場合には、スマートフォン２０のカメラが、スイッチ１３、１４が押し込まれていない時にマーカを観測でき、押し込まれた時にマーカを観測できなくなるような位置にマーカを設置すれば良い。

また、マーカは文字や格子状の模様でもよい。例えば、後述する通り、図７のボールに設置したマーカはアルファベットであり、ボールが変形することにより、アルファベットの位置やアルファベットの形状は変化する。この変化を検出することで、ボールがどのように変形したのかを知ることができる。

また、図５に示すように、入力装置に延長棒１３ｄを設置することもできる。図５は、延長棒１３ｄを備えた入力装置の具体例を示す図である。この延長棒１３ｄは、ケース１１に形成された穴を通して，ケース１１の反対側に突き出るように構成されている。スイッチ１３が押し込まれると、延長棒１３ｄも同様に押し込まれるため、ケース１１の反対側からでもスイッチ１３の外形状態の変形を検出することができるようになる。この場合、延長棒１３ｄが、その配置面に対向する背面側に突き出すように構成されている場合には、背面カメラによりその外形状態の変形が検出される。なお、アナログスティック１２およびスイッチ１４に対しても延長棒は適用可能である。

このような延長棒１３ｄを設置することで，スマートフォン２０のカメラを一つだけ用いて、背面および前面の両面に設置された入力装置の外形状態の変形を検出することができる。

図６は、通常のカメラとして使用する場合と入力補助装置にカメラを使用する場合の両方を切替えるための具体的機構の変形例を示す図である。図６（ａ）に示されるとおり、鏡１５ｚは、ヒンジ部１５ｚ２を介して、ケース１１に対して回動可能に接合されている。鏡１５ｚには、穴１５ｚ１が形成されている。

図６（ｂ）に示されるとおり、カメラ２１の通常使用のための待機形態のときには、鏡１５ｚは、ケース１１に対して伏せるように収納されている。その際、穴１５ｚ１は、カメラ２１が入力装置を撮影することなく、風景などの撮影に使用可能なように、カメラ２１と同じ位置に形成されている。

図６（ｃ）、および図６（ｄ）に示されるとおり、入力補助装置１０の入力装置を撮影するためにカメラ２１を使用するときには（使用形態）、ヒンジ部１５ｚ２を使って鏡１５ｚを所定角度で固定する。

この場合、カメラ２１は、鏡１５ｚの反射を使って、ケース１１に配置されている入力装置を撮影可能にして、その外形状態の変化を検出する。

以上の構成により、入力補助装置１０を装着したスマートフォン２０は、そのカメラ２１を使って、入力装置の検出と、通常撮影との切換を簡単に行うことができる。

図１〜図６は、スマートフォン２０の背面カメラを用いた例を示したが、スマートフォン２０に備えられた前面カメラ（操作面側のカメラ）を用いることもできる。その時の入力補助装置１０ｘの構成を図７に示す。図７は、図１と同様に入力装置として２つのスイッチ１３ｘ、１４ｘと１つのアナログスティック１２ｘを用いている。また、鏡１５ｘ、１６ｘが２つ設置されている。図１に示したスマートフォン２０の背面カメラを用いた例と違い、ケース１１ｘはスマートフォン２０のディスプレイの左右の外側に入力装置の配置領域Ｒ・配置領域Ｌが形成されている。その配置領域Ｒ・Ｌに入力装置が設置されている。

前面カメラ２１ａは、鏡１５ｘを介して、スイッチ１３ｘ，１４ｘおよび鏡１６ｘを撮影する。前面カメラ２１ａの画角にあわせて、鏡１５ｘの配置が調整される。さらに前面カメラ２１ａは、鏡１６ｘに反射して映っているアナログスティック１２ｘを撮影する。

このような構成とすることで、スマートフォン２０のディスプレイを覆うことなく、ユーザはスマートフォン２０の前面を用いた入力を行うことができ、さらにユーザは触覚フィードバックのある入力操作を行うことができる。なお、図７においては、入力装置を設置するための複数の溝等は省略しているが、図２と同様に入力装置の設置を自在にするために複数の溝等を設けてもよい。

図１では、入力装置がスマートフォン２０の背面側に設置されており、それらをスマートフォンの背面カメラ２１で撮影している例を示し、図２では、入力装置がスマートフォン２０の前面側に設置されており、それらをスマートフォン２０の前面カメラ２１ａで撮影している例を示した。これに限定するものでなく、入力装置をスマートフォン２０の背面および前面の両面に設置し、ユーザは両面に設置された入力装置を同時に操作するように構成することもできる。入力装置を両面に設置した場合、スマートフォン２０の背面カメラ２１および前面カメラ２１ａの両方を同時に起動し、複数のカメラで入力装置を観測すればよい。

延長棒１３ｄを用いるのではなく、入力装置に力が加えられた時に複数の場所に変形が生じるようにしてもよい。図８は、スマートフォン２０を活用したＨＭＤ（Head Mount Display）に本実施形態の入力補助装置１０ｙを適用した例を示す。この入力補助装置１０ｙは、ユーザの頭部に装着可能な形状のケース１１ｙを備えている。このケース１１ｙは、スマートフォン２０を装着可能な形状を有しており、その側面部分に入力装置であるスイッチ１３ｙを備えている。

ユーザは、ケース１１ｙを顔に押し当て、スマートフォン２０のディスプレイに表示された画像を視聴する。この時、ユーザは、スマートフォン２０の背面に設置した入力装置ではなく、ケース１１ｙの側面に設置された入力装置（スイッチ１３ｙ）を用いて入力操作を行う方が望ましい。そのために図８に示されるとおり、ケース１１ｙの側面にスイッチ１３ｙ設置されている。

ユーザは、このスイッチ１３ｙを押し込むことで入力操作をおこなう。このスイッチ１３ｙは、連結部１３ｙ１を介して遠隔変形部１３ｙ２と接続されている。ユーザは、スイッチ１３ｙを押し込むと、連結部１３ｙ１を介して、それに連動して遠隔変形部１３ｙ２が変形する。スマートフォン２０の背面カメラ２１で遠隔変形部 １３ｙ２の変形を検出することで、スイッチ１３ｙの変形を検出する。スイッチ１３ｙと遠隔変形部１３ｙ２とはリンク機構を用いて変形が連動するようにしてもよい。また、スイッチ１３ｙと遠隔変形部１３ｙ２と連結部１３ｙ１との中に気体もしくは液体を密閉し、スイッチ１３ｙの外形状態の変形が遠隔変形部１３ｙ２に伝わるようにしてもよい。

このように、入力装置の複数の場所で変形が生じるようにしておくことで、ユーザが操作する場所の制約が緩和され、ユーザの操作に適した位置に入力装置を設置することができるようになる。

上述説明では、入力装置はスイッチ１３、１４、アナログスティック１２などの電子部品を用いた例を示した。これらの電子部品はすでにゲーム機で使われており、ユーザも操作に慣れている。また、それらを入手することもそれほど困難ではない。本実施形態の入力補助装置１０で用いる入力装置は上記の電子部品に限定されるわけではなく、身近にある日用品で代用することもできる。例えば、図９は、日用品を用いた３種類の入力装置を有する入力補助装置を示している。入力装置は、支柱３２、ゴム３３、操作部３４、３５、３６から構成される。支柱３２および操作部３４、３５は、ケース１１の溝に勘合することができる部材であればよく、例えば消しゴムなどでよい。ゴム３３は、例えば輪ゴムである。

図９においては、ケース１１の溝１７に、４つの支柱３２を矩形を描くように配置する。ゴム３３は、２つの支柱３２のそれぞれにおいて対角線をとるようにくくりつける。操作部３４は４つの支柱３２の中心に配置されるようにゴム３３にくくりつけられる。なお、操作部３４は、鏡１５を介してスマートフォン２０の背面カメラが撮影可能な位置に配置されるよう４つの支柱３２の位置は調整される。

そして、ユーザは、操作部３４をケース１１上でスライドさせることで、２次元のポインティング操作を行うことができる。操作部３４を移動させると、ゴム３３によって操作部３４を中心に引き戻す力が働くため、ユーザにはフィードバックを感じることができる。

一方、ケース１１には、操作部３６として、クリップが配置される。このクリップは、ケース１１に形成される溝に嵌合するように構成されている。ユーザは、このクリップを動かす入力操作が可能であり、スマートフォン２０のカメラは、このクリップの動きを検出し、画像処理部が認識することで、その操作を判断する。

また、操作部３５としてボールが配置される。ボールに対してユーザが力をかけると、ボールが変形する。その変形の向きや程度を、カメラが撮影することで、ボールの外形状態を検出したり、ボールに記されているマーカを読み取ることで検出することができる。このように日用品を入力装置として利用することで、アプリケーションに応じた様々な入力操作が可能となり、また手軽に新たな入力操作を試すことができるようになる。

本実施形態の入力補助装置１０に装着されるスマートフォン２０は、入力補助装置１０に対する、以下の制御を行うことが考えられる。例えば、至近距離に配置される入力装置を撮影するためのフォーカス制御、風景等の撮影など通常の撮影を行うときの画像の切り出し制御、入力装置の動きを精度よく認識するための制御がある。以上の制御を可能にするためのスマートフォン２０の機能について説明する。図１０はスマートフォン２０の機能構成を示すブロック図である。

図に示されるとおり、スマートフォン２０は、カメラ２１、フォーカス機構部２２、制御部２３（認識部、フォーカス制御部）、メモリ２４、およびタッチパネルディスプレイ２５を含んで構成されている。

カメラ２１は、被写体を撮影するための部分である。本実施形態では、カメラ２１は、風景等を撮影するほか、入力装置の外形状態の変形を検出するために撮影する。

フォーカス機構部２２は、撮影対象に対して焦点位置を調整するための機構部である。制御部２３の制御に基づいて、風景等を撮影するときの焦点位置と、入力補助装置１０上に配置される入力装置を撮影するときの焦点位置とを調整可能にする部分である。フォーカス機構部２２は、ユーザの操作または起動しているアプリケーションにより焦点位置の調整を行う。

制御部２３は、スマートフォン２０の全体に対する総括制御を行うことのほか、カメラ２１により撮影された撮影画像に対する画像処理を行う部分である。制御部２３は、起動しているアプリケーションに応じて入力補助装置１０の入力装置に対する認識処理を行う。

例えば、制御部２３は、カメラ２１により取得された撮影画像のうち、入力装置の外形状態の変形を認識することができる。その入力装置の外形状態の変形を認識すると、どの入力装置がどの程度の外形状態の変形をしたか判断し、その情報に基づいてアプリケーションの動作を制御する。

なお、図５に示された通り、スイッチ１３を構成する認識対象部１３ｂにマーカ３１を付加した場合には、そのマーカ３１に基づいて認識対象部１３ｂの動きを認識することができる。

アナログスティック１２、スイッチ１３、１４のどのような変形を検出するのか、またその変形をスマートフォン上で動作しているアプリケーションのどのような操作と結びつけるのかは、スマートフォン２０で動作するアプリケーションにおいて、自由に設定することができる。

制御部２３は、入力装置に対する認識処理を行うと設定されている場合には、フォーカス機構部２２に対して、入力装置を焦点位置とするよう制御する。制御部２３は、入力装置に対する認識処理を行うと設定されていない場合には、フォーカス機構部２２に対して、風景、人物等、測距に応じて定められた位置を焦点位置とするよう制御する。入力装置に対する認識処理の設定は、例えば、ユーザによる設定、または入力補助装置１０を装着することによる自動設定が考えられる。

また、制御部２３は、入力装置に対する認識処理を行うと設定されていない場合には、風景等をカメラ２１は撮影すると判断する。その場合、入力装置の配置によっては、カメラ２１は、入力装置を含んだ撮影画像を取得する場合がある。その場合には、入力装置に対しては、フォーカスは合っていないため、ピンぼけの画像を含んだものとなる。従って、風景等を撮影する場合においては、制御部２３は、入力装置を含んだ画像領域を切り取るなどの画像処理を施すことで、ピンぼけ部分を含まない撮影画像を得ることができる。

メモリ２４は、スマートフォン２０のインストールされているプログラムを記憶する部分である。

タッチパネルディスプレイ２５は、ユーザにより入力操作を受け付けるとともに、アプリケーションに基づいた情報を表示する部分である。

このように構成されたスマートフォン２０は、入力補助装置１０を装着することで、入力補助装置１０に対するユーザ操作を認識し、その操作をアプリケーションに通知することで、アプリケーションに対する操作を可能にする。

つぎに、入力補助装置１０を装着したスマートフォン２０のカメラ機能を用いた実際の撮影の状態について説明する。
本実施形態における入力補助装置１０〜１０ｙにおいて、入力装置と背面カメラ２１（または前面カメラ２１ａ）との間の距離は近い。そのため、入力装置を利用する場合に設定すべき背面カメラ２１の焦点位置は、通常の風景を撮影する場合などとは異なる位置となっている。入力装置が設置されている位置はあらかじめ分かっているので、入力装置を利用する場合にはそれに適した焦点位置を設定すればよい。その設定は上述したとおりユーザ操作、またはアプリケーションによる自動設定により可能である。

ユーザは、入力補助装置１０１を装着しているスマートフォン２０の背面カメラ２１を、風景を撮影するなど通常のカメラとしても使用する場合、入力補助装置１０に配置されている鏡１５を、背面カメラ２１の画角外に移動させる。そのために、鏡１５を容易に取り外し可能となるような機構を設置し、または鏡１５の位置を移動できる機構を設けている。

また、背面カメラ２１の画角内で鏡１５に映る範囲を制限しておく方法もある。図１１は、画像処理の対象を示す図である。図１１（ａ）において、スマートフォン２０の背面カメラ２１の全画角範囲Ａ、その中で入力装置が撮影される範囲Ａ１、入力装置が撮影されない範囲Ａ２を示す。入力装置が撮影される範囲は、鏡１５の大きさや設置位置、角度などで調整することができる。入力装置を用いた操作を行う場合には、カメラの焦点位置を入力装置に合わせる。この時、同時に撮影されている風景等は焦点が合っておらず、ボケている（図１１（ｂ））。しかしながら、背面カメラ２１で入力装置の外形状態の変形を検出することができるので、ユーザは入力装置を用いた操作が可能となる。

ユーザが入力装置を用いた操作を行うのではなく、風景等を撮影したい場合には、背面カメラ２１の焦点位置を風景等に合わせる。この時、同時に撮影されている入力装置はボケている（図１１（ｃ））。制御部２３は、ユーザの操作に基づいて、または自動的に、この状態で撮影した静止画、または動画から、入力装置が撮影されている領域を切り取ることができる。このような構成を取ることで、ケース１１に設置されている鏡１５を使用目的に応じて取り外しする必要がなくなり、利便性が向上する。

さらに、入力補助装置１０と、それに対応するアプリケーションの設定をユーザまたはアプリケーション制作者が行うことができる。スマートフォン２０の制御部２３は、ユーザは入力装置に力を加えていない状態と、力を加えている状態における入力装置の形状を、ユーザまたはアプリケーションの制作者によりあらかじめ記録させることができる。さらにユーザは、入力装置のどのような変形が、スマートフォン２０上で動作するアプリケーションへ与えるどのような入力に対応するのかを設定することができる。これにより、これまで利用したことのない入力装置を用いたい場合であっても，その入力装置を用いた入力が可能となり、かつユーザの操作とコマンドの対応関係をアプリケーションやユーザの好みに応じて切り替えることができるようになる。

つぎに、本実施形態の入力補助装置１０およびスマートフォン２０の作用効果について説明する。

本実施形態の入力補助装置１０は、カメラ機能を有する携帯端末であるスマートフォン２０に装着可能な入力補助装置１０において、スマートフォン２０に装着されるケース１１と、ユーザ操作を受け付けることにより外形状態が変形可能にして、ケース１１に配置される操作部材である入力装置（アナログスティック１２，スイッチ１３，１４）と、入力装置の外形状態をスマートフォン２０のカメラ機能が検出可能にして、ケース１１に配置される反射部材である鏡１５，１６と、を備える。

この入力補助装置１０によれば、鏡１５，１６を用いて、スマートフォン２０のカメラが入力装置の外形状態の変形を検出することができる。したがって、入力装置の配置の制限を受けることなく、操作性を向上させることができる。なお、少なくとも鏡１５があればよい。また、入力装置には、電源が不要となる。よって、様々なものを入力装置として活用が可能であり、安価に実現が可能となる。

また、入力補助装置１０において、ケース１１は、入力装置を任意の位置に配置するための複数の接合部分（溝１７、そのほか穴、突起でもよい）を有し、入力装置および鏡１５，１６の少なくとも一方は、接合部分に着脱自在に形成される。

この入力補助装置１０によれば、接合部分に応じた任意の位置に入力装置、鏡１５、１６を配置することができ、ユーザはスマートフォン２０上で動作するアプリケーションに応じた入力操作を行うことができる。したがって、その操作性を向上させることができる。

さらに、接合部分により、入力装置および鏡１５等を固定しているため、操作中に入力装置の位置が変化することがなくなり、スマートフォン２０のカメラで入力装置の変形を検出する精度の低下を防止し、ユーザは目視することなく、入力装置を介して入力を行うことができるようになる。

また、鏡１５等は、着脱自在であることから、スマートフォン２０のカメラを風景等の撮影など、通常使用をしようとする場合には、鏡等を外すまたは他に移動することによりカメラの画角内に鏡等が存在しなくなる。よって、カメラの通常使用を容易に行うことができる。

入力補助装置１０によれば、鏡１５は、入力装置の外形状態をスマートフォン２０のカメラ機能が検出可能にする使用形態と、入力装置の外形状態をカメラ機能が検出不可とする待機形態とに切り替え可能な形状である。

この入力補助装置１０によれば、鏡１５を使用形態、待機形態に切替えるといった簡単な操作で、入力補助装置１０を装着したスマートフォン２０のカメラ機能を使った入力補助を行うか、風景等通常のカメラを使うかを切替えることができる。

入力補助装置１０において、ケース１１は、スマートフォン２０の背面部分を覆うように装着可能な形状であって、スマートフォン２０のカメラ機能による検出を可能にするための背面カメラ用穴１８を形成し、入力装置および鏡１５，１６は、ケース１１におけるスマートフォン２０の背面側に配置される。

この入力補助装置１０によれば、スマートフォンの背面側（ディスプレイ面の反対側）に入力装置を配置するため、ディスプレイの表示を邪魔することなく、スマートフォン２０に対する操作を行うことができる。

入力補助装置１０において、ケース１１は、スマートフォン２０の側面部分を覆うように装着可能な形状であって、スマートフォン２０のタッチパネルディスプレイ２５の周囲に、当該タッチパネルディスプレイ２５と略同じ高さに部材配置面である配置領域Ｒ・Ｌを形成し、入力装置および鏡１５，１６は、配置領域Ｒ・Ｌに配置される。

この入力補助装置１０によれば、タッチパネルディスプレイ２５側に入力装置を配置することができる。さらに、鏡１５，１６を使って入力装置の外形状態の変形を検出することができ、タッチパネルディスプレイ２５の表示の邪魔をすることなく、ユーザの操作を検出することができ、操作性を向上することができる。

入力補助装置１０において、ケース１１は、スマートフォン２０の背面部分および側面部分を覆うように装着可能な形状である。そのケース１１は、スマートフォン２０のカメラ機能による検出を可能にするための背面カメラ用穴１８を形成し、スマートフォン２０のタッチパネルディスプレイ２５の周囲に、当該タッチパネルディスプレイ２５と略同じ高さに部材配置面である配置領域Ｒ・Ｌを形成する。

そして、入力装置は、配置領域Ｒ・Ｌまたはケース１１の背面側に配置され、入力装置が配置される面の反対側に配置されるカメラ機能においてその外形状態の変形を検出可能に形成される。例えば、操作部材は、その配置面の反対側に延長棒１３ｄをとき出させる構成である。

この構成により、スマートフォン２０の表示面および背面側に操作部材を配置したとしても、その配置の反対側においてその外形状態の変形が検出可能に形成されることで、一つのカメラ機能を用いて操作を検出することができる。例えば、前面側に配置される操作部材が背面側に突出する構成を取った場合、背面側のカメラ機能のみを使って操作部材に対する操作を検出することができる。

入力補助装置１０において、複数の入力装置が、ケース１１の両端部分に配置され、鏡１５，１６は、カメラ機能により複数の操作部材の外形状態の変形を検出可能にして、ケース１１に配置される。

この構成により、ケース１１の両端に配置した入力装置の外形状態の変形を同時に検出することができ、ユーザは両手を使った入力が可能となる。

入力補助装置１０において、入力装置は、複数部分において外形状態が変形可能に形成され、鏡１５，１６は、スマートフォン２０のカメラ機能により複数部分における外形状態の変形を検出可能に配置される。

この構成により、入力装置の一部がカメラ機能により撮影不可としても、別の部分においてカメラ機能による撮影を可能になるため、入力装置の配置位置の自由度を向上させることができる。

上記入力補助装置１０を装着する携帯端末であるスマートフォン２０において、鏡１５，１６を介して、入力装置の外形状態の変形を含んだ撮影画像を取得するカメラ２１と、カメラ２１により取得された撮影画像のうち、入力装置の外形状態が変形しうる範囲のみを認識する制御部２３を備える。

このスマートフォン２０によれば、少ない計算量で入力装置の変形を検出することができ、レスポンスを向上させることができる。

上記入力補助装置１０を装着する携帯端末であるスマートフォン２０において、鏡１５，１６を介して、入力装置の外形状態の変形を含んだ撮影画像を取得するカメラ２１と、入力装置の外形状態の変形を認識するとともに、認識を行う場合には、入力装置に対してフォーカスをあわせるようフォーカス機構部２２を制御する制御部２３と、を備える。

このスマートフォン２０によれば、カメラの画角の一部のみを鏡１５，１６等は覆っている。そして、ユーザは入力装置を用いる入力を行う場合と、スマートフォン２０のカメラで風景等を撮影する場合とを、鏡を取り外すことなく切替えることができる。

なお、上記実施の形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及び／又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的及び／又は論理的に結合した１つの装置により実現されてもよいし、物理的及び／又は論理的に分離した２つ以上の装置を直接的及び／又は間接的に(例えば、有線及び／又は無線)で接続し、これら複数の装置により実現されてもよい。

例えば、本発明の一実施の形態におけるスマートフォン２０などは、コンピュータとして機能してもよい。図９は、本実施形態に係るスマートフォン２０のハードウェア構成の一例を示す図である。上述のスマートフォン２０は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。

なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。スマートフォン２０のハードウェア構成は、図に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。

スマートフォン２０における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることで、プロセッサ１００１が演算を行い、通信装置１００４による通信や、メモリ１００２及びストレージ１００３におけるデータの読み出し及び／又は書き込みを制御することで実現される。

プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）で構成されてもよい。例えば、制御部２３などは、プロセッサ１００１で実現されてもよい。

また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュールやデータを、ストレージ１００３及び／又は通信装置１００４からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態で説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、制御部２３は、メモリ１００２に格納され、プロセッサ１００１で動作する制御プログラムによって実現されてもよく、他の機能ブロックについても同様に実現されてもよい。上述の各種処理は、１つのプロセッサ１００１で実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップで実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。

メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）などの少なくとも１つで構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本発明の一実施の形態に係る無線通信方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ−ＲＯＭ（Compact Disc ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ−ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つで構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ１００２及び／又はストレージ１００３を含むデータベース、サーバその他の適切な媒体であってもよい。

通信装置１００４は、有線及び／又は無線ネットワークを介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。

入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、LEDランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。

また、プロセッサ１００１やメモリ１００２などの各装置は、情報を通信するためのバス１００７で接続される。バス１００７は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。

また、スマートフォン２０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つで実装されてもよい。

以上、本実施形態について詳細に説明したが、当業者にとっては、本実施形態が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本実施形態は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本実施形態に対して何ら制限的な意味を有するものではない。

本明細書で説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。

「含む（include）」、「含んでいる（including）」、およびそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える(comprising)」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「または（or）」は、排他的論理和ではないことが意図される。

本明細書において、文脈または技術的に明らかに1つのみしか存在しない装置である場合以外は、複数の装置をも含むものとする。

本開示の全体において、文脈から明らかに単数を示したものではなければ、複数のものを含むものとする。

１０、１０ｘ、１０ｙ…入力補助装置、１１、１１ｘ、１１ｙ…ケース、１２…アナログスティック、１２ａ…操作部分、１２ｂ…認識対象部、１２ｃ…接合部、１３…スイッチ、１３ａ…操作部分、１３ｂ…認識対象部、１３ｃ…接合部、１３ｄ…延長棒、１３ｘ、１３ｙ…スイッチ、１３ｙ１…連結部、１３ｙ２…遠隔変形部、１４…スイッチ、１４ａ…操作部分、１４ｂ…認識対象部、１４ｃ…接合部、１５、１５ｘ、１５ｚ…鏡、１５ｚ１…穴、１５ｚ２…ヒンジ部、１６、１６ｘ…鏡、１７…溝、１８…背面カメラ用穴、２０…スマートフォン、２１…背面カメラ、２１ａ…前面カメラ、２２…フォーカス機構部、２３…制御部、２４…メモリ、２５…タッチパネルディスプレイ、３２…支柱、３３…ゴム、３４、３５、３６…操作部。

Claims (10)

1. カメラ機能を有する携帯端末に装着可能な入力補助装置において、
   前記携帯端末に装着される筐体部と、
   ユーザ操作を受け付けることにより外形状態が変形可能にして、前記筐体部に配置される操作部材と、
   前記操作部材の外形状態の変形を前記カメラ機能が検出可能にして、前記筐体部に配置される反射部材と、
   を備える入力補助装置。
2. 前記筐体部は、操作部材を任意の位置に配置するための複数の接合部分を有し、
   前記操作部材および前記反射部材の少なくとも一方は、前記接合部分に着脱自在に形成される、
   請求項１に記載の入力補助装置。
3. 前記反射部材は、前記操作部材の外形状態を前記カメラ機能が検出可能にする使用形態と、前記操作部材の外形状態を前記カメラ機能が検出不可とする待機形態とに切り替え可能な形状である、請求項１または２に記載の入力補助装置。
4. 前記携帯端末は、背面部分にカメラ機能を有し、
   前記筐体部は、前記携帯端末の背面部分を覆うように装着可能な形状であって、前記カメラ機能による検出を可能にするための穴部を形成し、
   前記操作部材および前記反射部材は、前記筐体部における前記携帯端末の背面側に配置される、
   請求項１〜３のいずれか一項に記載の入力補助装置。
5. 前記筐体部は、前記携帯端末の側面部分を覆うように装着可能な形状であって、前記携帯端末の表示面の周囲に、当該表示面と略同じ高さに部材配置面を形成し、
   前記操作部材および前記反射部材は、前記部材配置面に配置される、
   請求項１〜４のいずれか一項に記載の入力補助装置。
6. 前記筐体部は、前記携帯端末の背面部分および側面部分を覆うように装着可能な形状であって、前記カメラ機能による検出を可能にするための穴部を形成し、前記携帯端末の表示面の周囲に、当該表示面と略同じ高さに部材配置面を形成し、
   前記操作部材は、前記部材配置面または当該部材配置面に対向する前記筐体の背面側に配置され、前記操作部材が配置される面の反対側に配置されるカメラ機能において前記外形状態の変形を検出可能に形成される、
   請求項１〜３のいずれか一項に記載の入力補助装置。
7. 複数の前記操作部材が、前記筐体部の両端部分に配置され、
   前記反射部材は、前記カメラ機能により複数の前記操作部材の外形状態の変形を検出可能にして、前記筐体部に複数配置される、
   請求項１〜６のいずれか一項に記載の入力補助装置。
8. 前記操作部材は、複数部分において外形状態が変形可能に形成され、
   前記反射部材は、前記カメラ機能により前記複数部分における外形状態の変形を検出可能に配置される、
   請求項１〜７のいずれか一項に記載の入力補助装置。
9. 請求項１〜８のいずれか一項に記載の入力補助装置を装着する携帯端末において、
   前記反射部材を介して、前記操作部の外形状態の変形を含んだ撮影画像を取得するカメラ部と、
   前記カメラ部により取得された撮影画像のうち、前記操作部材の外形状態が変形しうる範囲のみを認識する認識部、
   を備える携帯端末。
10. 請求項１〜８のいずれか一項に記載の入力補助装置を装着する携帯端末において、
    前記反射部材を介して、撮影画像の一部として前記操作部材の外形状態の変形を含んだ撮影画像を取得するカメラ部と、
    前記操作部材の外形状態の変形を認識する認識部と、
    前記認識部による認識を行う場合には、前記操作部材に対してフォーカスをあわせるようフォーカス機構部を制御するフォーカス制御部と、
    を備える携帯端末。
    

Images