JP2020080049A

JP2020080049A - 推定システム、及び推定装置

Info

Publication number: JP2020080049A
Application number: JP2018213023A
Authority: JP
Inventors: 継河合; Kei Kawai
Original assignee: Crystal Method Co Ltd
Current assignee: Crystal Method Co Ltd
Priority date: 2018-11-13
Filing date: 2018-11-13
Publication date: 2020-05-28
Anticipated expiration: 2038-11-13
Also published as: JP6510134B1

Abstract

【課題】キー入力を推定する精度の向上を図ることができる推定システム、及び推定装置を提供する。【解決手段】仮想キーボードを用いて入力された文字列を推定する推定システムは、ユーザが仮想キーボードを押下する動作を撮影した動画データ、及び動画データにおけるユーザの手の位置情報を含む対象情報を取得する取得手段Ｓ１１０と、予め取得された過去の対象情報、過去の対象情報によって入力された文字列を含む参照情報、及び、過去の対象情報と参照情報との間における３段階以上の連関度が記憶された参照データベースと、参照データベースを参照し、対象情報と参照情報との間の３段階以上の第１連関度を含む評価情報を取得する評価手段Ｓ１２０と、評価情報に基づき推定結果を生成する生成手段Ｓ１３０と、を備える。【選択図】図７

Description

本発明は、仮想キーボードを用いて入力された文字列を推定する推定システム、及び推定装置に関する。

従来、物理的なキーボードを用いずに、キー入力を制御する技術として、例えば特許文献１の情報処理装置等が提案されている。

特許文献１では、手を撮影する撮影部により入力される画像から手領域を抽出する抽出部と、手領域に基づき、画像内の所定線を押下基準線に決定する基準線決定部と、手領域の最下部が押下基準線を超える場合に押下と判定する判定部と、判定部により押下と判定された場合の手領域の縦横比に基づき、奥行き方向の位置を決定する第１位置決定部と、判定部により押下と判定された場合の手領域の最下部の位置に基づき、横方向の位置を決定する第２位置決定部と、決定された奥行き方向の位置及び横方向の位置により入力キーを決定する入力キー決定部と、を備える情報処理装置が開示されている。

国際公開第２０１２／１７６３１５号

ここで、例えば特許文献１のような情報処理装置では、１台のカメラによる１方向からの撮影画像に基づき、閾値によって入力コマンドが推定される。このため、閾値に応じたキー入力を行う必要があり、押下深度のバラつきを考慮できない懸念があり、キー入力の推定精度を向上させることが難しい。従って、キー入力を推定する精度の向上が課題として挙げられる。

そこで本発明は、上述した問題点に鑑みて案出されたものであり、その目的とするところは、キー入力を推定する精度の向上を図ることができる推定システム、及び推定装置を提供することにある。

第１発明に係る推定システムは、仮想キーボードを用いて入力された文字列を推定する推定システムであって、ユーザが前記仮想キーボードを押下する動作を撮影した動画データ、及び前記動画データにおけるユーザの手の位置情報を含む対象情報を取得する取得手段と、予め取得された過去の対象情報、前記過去の対象情報によって入力された文字列を含む参照情報、及び、前記過去の対象情報と前記参照情報との間における３段階以上の連関度が記憶された参照データベースと、前記参照データベースを参照し、前記対象情報と、前記参照情報との間の３段階以上の第１連関度を含む評価情報を取得する評価手段と、前記評価情報に基づき推定結果を生成する生成手段と、を備えることを特徴とする。

第２発明に係る推定システムは、第１発明において、前記動画データは、可視光領域に対応するＲＧＢカメラを用いて生成されたＲＧＢ動画データと、赤外光領域に対応する赤外線カメラを用いて生成された赤外線動画データと、を有することを特徴とする。

第３発明に係る推定システムは、第２発明において、前記位置情報は、対象物との離間距離を計測する距離計測カメラを用いて生成され、前記距離計測カメラと、前記ユーザの手との間の距離を示す距離データを有することを特徴とする。

第４発明に係る推定システムは、第３発明において、前記仮想キーボードを投影する投影部、前記ＲＧＢカメラ、前記赤外線カメラ、及び前記距離計測カメラは、同一の端末に備え付けられることを特徴とする。

第５発明に係る推定システムは、第１発明〜第４発明の何れかにおいて、前記対象情報及び前記過去の対象情報は、前記仮想キーボードの種類を示すキーボード情報を含むことを特徴とする。

第６発明に係る推定システムは、第１発明〜第５発明の何れかにおいて、前記対象情報及び前記過去の対象情報は、言語情報を含むことを特徴とする。

第７発明に係る推定システムは、第１発明〜第６発明の何れかにおいて、前記参照データベースは、機械学習により構築されたものであることを特徴とする。

第８発明に係る推定システムは、第１発明〜第７発明の何れかにおいて、前記過去の対象情報と、前記参照情報との間の関係を新たに取得した場合には、前記関係を前記連関度に反映させる更新手段をさらに備えることを特徴とする。

第９発明に係る推定装置は、仮想キーボードを用いて入力された文字列を推定する推定装置であって、ユーザが前記仮想キーボードを押下する動作を撮影した動画データ、及び前記動画データにおけるユーザの手の位置情報を含む対象情報を取得する取得部と、予め取得された過去の対象情報、前記過去の対象情報によって入力された文字列を含む参照情報、及び、前記過去の対象情報と前記参照情報との間における３段階以上の連関度が記憶された参照データベースと、前記参照データベースを参照し、前記対象情報と、前記参照情報との間の３段階以上の第１連関度を含む評価情報を取得する評価部と、前記評価情報に基づき推定結果を生成する生成部と、を備えることを特徴とする。

第１発明〜第８発明によれば、評価手段は、参照データベースを参照し、対象情報と、参照情報との間の３段階以上の第１連関度を含む評価情報を取得する。このため、過去の結果を踏まえた推定結果を生成でき、押下深度のバラつきを考慮したキー入力の推定ができる。これにより、キー入力を推定する精度の向上を図ることが可能となる。

また、第１発明〜第８発明によれば、対象情報は、動画データ及び位置情報を含む。このため、１つの画像から手の位置を算出する場合に比べて、仮想キーボードに対する手の詳細な位置関係を取得することができる。これにより、キー入力を推定するために必要な情報を、高精度に取得することが可能となる。

また、第２発明によれば、動画データは、ＲＧＢ動画データと、赤外線動画データとを有する。このため、照明等に起因する撮像環境が異なる場合においても、手の形状等を高精度に取得することができる。これにより、キー入力を推定する精度をさらに向上させることが可能となる。

また、第３発明によれば、位置情報は、距離データを有する。このため、奥行き方向に対する手の位置を容易に取得することができる。これにより、キー入力を推定する精度をさらに向上させることが可能となる。

また、第４発明によれば、投影部、ＲＧＢカメラ、赤外線カメラ、及び距離計測カメラは、同一の端末に備え付けられる。このため、場所を選ばずに仮想キーボードを利用することが可能となる。

また、第５発明によれば、対象情報及び過去の対象情報は、キーボード情報を含む。このため、キー配列等が異なる仮想キーボードを利用した場合においても、キー入力を高精度に推定することが可能となる。

また、第６発明によれば、対象情報及び過去の対象情報は、言語情報を含む。このため、ユーザの使用する言語に依存することなく、キー入力を高精度に推定することが可能となる。

また、第７発明によれば、参照データベースは、機械学習により構築される。このため、画像から算出された押下深度に対する閾値を設定する場合に比べて、主観を除いたキー入力の推定を実現することが可能となる。

また、第８発明によれば、更新手段は、過去の対象情報と、参照情報との間の関係を新に取得した場合には、関係を連関度に反映させる。このため、連関度を容易に更新することができ、継続した推定精度の向上を図ることが可能となる。

第９発明によれば、評価部は、参照データベースを参照し、対象情報と、参照情報との間の３段階以上の第１連関度を含む評価情報を取得する。このため、過去の結果を踏まえた推定結果を生成でき、押下深度のバラつきを考慮したキー入力の推定ができる。これにより、キー入力を推定する精度の向上を図ることが可能となる。

また、第９発明によれば、対象情報は、動画データ及び位置情報を含む。このため、１つの画像から手の位置を算出する場合に比べて、仮想キーボードに対する手の詳細な位置関係を取得することができる。これにより、キー入力を推定するために必要な情報を、高精度に取得することが可能となる。

図１（ａ）は、本実施形態における推定システムの一例を示す模式図であり、図１（ｂ）は、本実施形態における推定システムの他の例を示す模式図である。図２は、推定システムの動作の一例を示す模式図である。図３（ａ）は、本実施形態における推定装置の構成の一例を示す模式図であり、図３（ｂ）は、本実施形態における推定装置の機能の一例を示す模式図である。図４は、本実施形態における参照データベースの一例を示す模式図である。図５は、本実施形態における参照データベースの第１変形例を示す模式図である。図６は、本実施形態における参照データベースの第２変形例を示す模式図である。図７は、本実施形態における推定システムの動作の一例を示すフローチャートである。

以下、本発明を適用した実施形態における推定システム、及び推定装置の一例について、図面を参照しながら説明する。

図１を参照して、本実施形態における推定システム１００、及び推定装置１の一例について説明する。

本実施形態における推定システム１００は、例えば図１（ａ）に示すように、推定装置１を有する。推定装置１は、例えば通信網４を介して、ユーザ端末３に接続される。推定システム１００は、仮想キーボード８を用いて入力された文字列を推定する。推定システム１００では、ユーザ端末３によって仮想キーボード８が投影されるほか、例えば図１（ｂ）に示すように、推定装置１によって仮想キーボード８が投影されてもよく、他の端末等によって仮想キーボード８が投影されてもよい。

推定システム１００では、例えば図２に示すように、推定装置１が対象情報を取得し、対象情報に対する推定結果を生成するものである。対象情報は、ユーザが仮想キーボード８を押下する動作を撮影した動画データ、及び動画データにおけるユーザの手の位置情報を含む。対象情報は、ユーザ端末３によって生成されるほか、例えば推定装置１によって生成されてもよい。

動画データは、ユーザ端末３又は推定装置１に設けられた公知のカメラを用いて生成されるほか、ユーザ端末３又は推定装置１とは独立した公知のカメラを用いて生成されてもよい。動画データは、少なくとも１つのキーを押下する前後におけるユーザの手の動きを撮像した動画を示す。動画データは、ユーザの手首から指先までの動きを撮像した動画のほか、例えば少なくともユーザの指先の動きを撮像した動画であればよい。動画データは、例えば仮想キーボード８の形状、投影サイズ、キー高さ、キー配列等のキーボードに関する情報（後述するキーボード情報と同等）を含む。

動画データは、例えばＲＧＢ動画データと、赤外線動画データとを有する。ＲＧＢ動画データは、可視光領域（例えば４００ｎｍ以上８００ｎｍ以下）に対応するＲＧＢカメラを用いて生成される。赤外線動画データは、赤外光領域（例えば８００ｎｍ以上１，０００μｍ以下）に対応する赤外線カメラを用いて生成される。ＲＧＢ動画データ及び赤外線動画データは、例えば可視光領域から赤外光領域まで対応する１つのマルチスペクトルカメラを用いて生成されてもよい。

位置情報は、対象物との離間距離を計測する公知の距離計測カメラを用いて生成される。位置情報は、ユーザ端末３又は推定装置１に設けられた距離計測カメラを用いて生成されるほか、ユーザ端末３又は推定装置１とは独立した距離計測カメラを用いて生成されてもよい。

位置情報は、距離計測カメラと、動画データによって撮像されたユーザの手（対象物）との間の距離を示す距離データを有する。距離データは、距離計測カメラと、予め設定されたユーザの手の少なくとも一ヶ所との間の距離を示す。距離データは、例えば距離計測カメラと、ユーザの指先毎との間の距離を示してもよい。なお、ユーザの指先は、仮想キーボード８に接触すると想定される部分を示し、例えば右手の指先及び左手の指先に対応する合計１０ヶ所が、距離データの対象となる。

距離データは、例えば動画データの撮影と同様の期間に生成される。距離データは、例えば仮想キーボード８をユーザが押下する前後の期間のみ生成されてもよい。距離データは、数値データとして生成され、ベクトル又は行列で示されてもよい。

位置情報は、例えば座標データを有してもよい。座標データは、例えば距離計測カメラの位置を基準としたｘ軸、ｙ軸、ｚ軸を用いた座標空間により示される。位置情報は、距離情報と同様に、ユーザの手の少なくとも一ヶ所の座標を示し、例えばユーザの指先毎の座標を示してもよい。座標データは、例えば動画データの撮影と同様の期間に生成される。座標データは、例えば仮想キーボード８をユーザが押下する前後の期間のみ生成されてもよい。座標データは、数値データとして生成され、ベクトル又は行列で示されてもよい。

なお、上述した仮想キーボード８を投影する投影部、ＲＧＢカメラ、赤外線カメラ、及び距離計測カメラは、同一の端末（例えば推定装置１又はユーザ端末３）に備え付けられてもよい。また、上述した動画データ及び位置情報は、Ｋｉｎｅｃｔ（登録商標）やマルチスペクトルカメラ等の公知のカメラを用いて生成されてもよく、この場合、例えば２眼以上のカメラが用いられてもよい。

対象情報は、例えばキーボード情報を含んでもよい。キーボード情報は、ユーザが用いる仮想キーボード８の種類を示す。キーボード情報は、仮想キーボード８の投影サイズのほか、例えばキーの配列、各キーの大きさ、キー高さ等を含む。

対象情報は、例えば言語情報を含んでもよい。言語情報は、ユーザが仮想キーボード８を用いて入力する言語の種類を示す。推定システム１００では、言語情報に基づき、入力した文字列を推定してもよい。この場合、ユーザの使用する言語に依存することなく、キー入力を高精度に推定することが可能となる。また、タイプミス等を考慮した推定結果を生成することができる。

推定結果は、ユーザが仮想キーボード８を押下したときの入力キーに対応する内容を推定した結果を示す。推定結果として、文字列が生成されるほか、例えば推定装置１又はユーザ端末３の制御コマンドが生成される。推定システム１００では、対象情報に含まれる情報の種類を多くすることで、推定結果の精度を向上させることができる。特に、動画データと位置情報との組み合わせにより、ユーザの指の動きを高精度に捉えることが可能となる。

（推定装置１）
次に、図３を参照して、本実施形態における推定装置１の一例を説明する。図３（ａ）は、本実施形態における推定装置１の構成の一例を示す模式図であり、図３（ｂ）は、本実施形態における推定装置１の機能の一例を示す模式図である。

推定装置１として、例えばパーソナルコンピュータ（ＰＣ）等の電子機器が用いられるほか、例えばスマートフォン、タブレット型端末、ウェアラブル端末、ＩｏＴ（Internet of Things）デバイス等の電子機器、ＲａｓｐｂｅｒｒｙＰｉ（登録商標）等のシングルボードコンピュータが用いられてもよい。推定装置１は、例えば図３（ａ）に示すように、筐体１０と、ＣＰＵ（Central Processing Unit）１０１と、ＲＯＭ（Read Only Memory）１０２と、ＲＡＭ（Random Access Memory）１０３と、保存部１０４と、Ｉ／Ｆ１０５〜１０７とを備える。各構成１０１〜１０７は、内部バス１１０により接続される。

ＣＰＵ１０１は、推定装置１全体を制御する。ＲＯＭ１０２は、ＣＰＵ１０１の動作コードを格納する。ＲＡＭ１０３は、ＣＰＵ１０１の動作時に使用される作業領域である。保存部１０４は、音データ等の各種情報が記憶される。保存部１０４として、例えばＨＤＤ（Hard Disk Drive）の他、ＳＳＤ（solid state drive）やフロッピーディスク等のデータ保存装置が用いられる。なお、例えば推定装置１は、図示しないＧＰＵ（Graphics Processing Unit）を有してもよい。ＧＰＵを有することで、通常よりも高速演算処理が可能となる。

Ｉ／Ｆ１０５は、インターネット等の通信網４を介して、ユーザ端末３やサーバ２等との各種情報の送受信を行うためのインターフェースである。Ｉ／Ｆ１０６は、入力部分１０８との情報の送受信を行うためのインターフェースである。入力部分１０８として、例えばキーボードが用いられ、推定装置１の管理者等は、入力部分１０８を介して、各種情報又は推定装置１の制御コマンド等を入力する。Ｉ／Ｆ１０７は、出力部分１０９との各種情報の送受信を行うためのインターフェースである。出力部分１０９は、保存部１０４に保存された各種情報、又は推定装置１の処理状況等を出力する。出力部分１０９として、ディスプレイが用いられ、例えばタッチパネル式でもよい。

なお、例えば出力部分１０９が、仮想キーボード８を投影する投影部を有する場合、入力部分１０８は、対象情報を生成するための各種カメラ（例えば上述したＲＧＢカメラ、赤外線カメラ、及び距離計測カメラ）を有してもよい。また、推定装置１としてスマートフォンやタブレット等の端末が用いられる場合、備え付けられた公知の投影装置（投影部）が、出力部分１０９の一部として用いられ、備え付けられた公知のカメラ（撮像部）が、入力部分１０８の一部として用いられてもよい。

＜参照データベース＞
保存部１０４には、予め取得された過去の対象情報、参照情報、及び連関度が記憶された参照データベースが保存される。過去の対象情報は、上述した対象情報と同種の情報を示し、過去の画像データと、過去の位置情報とを含み、例えば過去のキーボード情報を含んでもよい。参照情報は、過去の対象情報によって入力された文字列を含み、例えば推定装置１又はユーザ端末３の制御コマンドを含む。連関度は、過去の対象情報と、参照情報との関係の度合いを示す。

参照データベースには、例えば図４に示すように、過去の対象情報と参照情報との間における３段階以上の連関度が記憶される。連関度は、例えば百分率、１０段階、又は５段階等の３段階以上で示され、例えば線の特徴（例えば太さ等）で示される。参照データベースは、例えば過去の対象情報及び参照情報を用いて、連関度を算出できるアルゴリズムで形成される。過去の対象情報及び参照情報は、複数のデータを有し、各過去の対象情報と各参照情報との関係は、それぞれ連関度で紐づいている。

例えば、過去の対象情報に含まれる「情報Ａ」は、参照情報に含まれる「参照Ａ」との間の連関度「８０％」を示し、参照情報に含まれる「参照Ｂ」との間の連関度「１５％」を示す。すなわち、「連関度」は、各データ間における繋がりの度合いを示しており、連関度が高いほど、各データの繋がりが強いことを示す。

なお、過去の対象情報は、映像データ（経時変化を示す複数の画像データでもよい）や文字列等の形式で参照データベースに記憶されるほか、例えば数値、行列（ベクトル）、又はヒストグラム等の形式で記憶されてもよい。また、参照情報は、文字列等の形式で参照データベースに記憶されるほか、例えば数値、行列（ベクトル）、又はヒストグラム等の形式で記憶されてもよい。すなわち、図４に示した「情報Ａ」、「情報Ｂ」、「情報Ｃ」は、過去に取得された対象情報（例えばＲＧＢ動画データ、赤外線動画データ、距離データ、座標データ、及びキーボード情報の少なくとも何れか）を、映像データの形式や行列等の形式で記憶されたデータを示し、「参照Ａ」、「参照Ｂ」、「参照Ｃ」は、過去に取得された推定結果に対応する文字列の形式や行列等の形式で記憶されたデータを示す。

参照データベースは、例えば機械学習を用いて構築される。この場合連関度は、機械学習を用いて算出される。機械学習には、例えば深層学習が用いられる。参照データベースは、例えばニューラルネットワークで構築され、その場合、連関度は隠れ層及び重み変数で示されてもよい。すなわち、推定システム１００では、機械学習により構築された参照データベースを用いることができ、この場合、それぞれ複数のデータを有する過去の対象情報と、参照情報との間における複雑な関係性を、連関度により高精度に示すことができる。これにより、推定結果の精度を向上させることが可能となる。

過去の対象情報は、例えば図５に示すように、過去の動画データと、過去の位置情報とを分割して、参照データベースに記憶されてもよい。この場合、過去の動画データ及び過去の位置情報の組み合わせと、参照情報との間の関係に基づいて、連関度が算出される。

例えば、過去の動画データに含まれる「動画Ａ」、及び過去の位置情報に含まれる「位置Ａ」の組み合わせは、「参照Ａ」との間の連関度「９０％」を示し、「参照Ｂ」との間の連関度「２０％」を示す。この場合、過去の動画データ及び過去の位置情報をそれぞれ独立してデータを記憶させることができる。このため、推定結果を生成する際、精度の向上及び選択肢の範囲を拡大させることが可能となる。

なお、過去の動画データは、例えば過去のＲＧＢ動画データと、過去の赤外線動画データとを分割して、参照データベースに記憶されてもよい。また、過去の位置情報は、例えば過去の距離データと、過去の座標データとを分割して、参照データベースに記憶されてもよい。

過去の対象情報は、例えば図６に示すように、合成データと、類似度とを含んでもよい。合成データは、過去の動画データ又は過去の位置情報との間における３段階以上の類似度により示される。合成データは、映像データや文字列等の形式で参照データベースに記憶されるほか、例えば数値、行列、又はヒストグラム等の形式で記憶されてもよい。

図３（ｂ）は、推定装置１の機能の一例を示す模式図である。推定装置１は、取得部１１と、記憶部１２と、評価部１３と、生成部１４と、出力部１５とを備え、例えば更新部１６を有してもよい。なお、図３（ｂ）に示した各機能は、ＣＰＵ１０１が、ＲＡＭ１０３を作業領域として、保存部１０４等に記憶されたプログラムを実行することにより実現され、例えば人工知能により制御されてもよい。

＜取得部１１＞
取得部１１は、対象情報を取得する。取得部１１は、通信網４及びＩ／Ｆ１０５を介して、ユーザ端末３等の外部端末から対象情報を取得するほか、例えば入力部分１０８の有する撮像部（例えば上述したＲＧＢカメラ、赤外線カメラ、及び距離計測カメラの少なくとも何れか）から、対象情報を取得する。取得部１１は、動画データ及び位置情報を別個に取得した上で対象情報として取得するほか、例えば動画データ及び位置情報を対象情報として一括して取得してもよい。取得部１１が対象情報を取得する頻度及び周期は、任意である。

取得部１１は、推定装置１に送信された各種情報を受信する。取得部１１は、通信網４及びＩ／Ｆ１０５を介して、ユーザ端末３等の外部端末から送信された対象情報等の各種情報を受信する。

＜記憶部１２＞
記憶部１２は、保存部１０４に保存された参照データベース等の各種情報を必要に応じて取出す。記憶部１２は、各構成１１、１３〜１６により取得又は生成された各種情報を、保存部１０４に保存する。

＜評価部１３＞
評価部１３は、参照データベースを参照し、対象情報と、参照情報との間の第１連関度を含む評価情報を取得する。評価部１３は、例えば図４に示した参照データベースを参照した場合、対象情報に含まれる情報と同一又は類似する過去の対象情報（例えば「情報Ａ」：過去の第１対象情報とする）を選択する。過去の対象情報として、対象情報と一部一致又は完全一致する情報が選択されるほか、例えば類似（同一概念等を含む）する情報が選択される。対象情報が行列等の数値で表される場合、選択される過去の対象情報に含まれる数値範囲を、予め設定してもよい。

評価部１３は、選択した過去の第１対象情報に紐づく参照情報、及び選択した過去の対象情報と参照情報との間における連関度（第１連関度）を選択し、評価情報として取得する。なお、第１連関度は、連関度から一部が選択されるほか、評価部１３によって算出されてもよい。

例えば評価部１３は、第１対象情報「情報Ａ」に紐づく参照情報「参照Ａ」、及び「情報Ａ」と「参照Ａ」との間における第１連関度「８０％」を選択し、評価情報として取得する。なお、参照情報及び第１連関度は、複数のデータを含んでもよい。この場合、上述した「参照Ａ」及び「８０％」に加えて、第１対象情報「情報Ａ」に紐づく参照情報「参照Ｂ」、及び「情報Ａ」と「参照Ｂ」との間における第１連関度「１５％」を選択し、「参照Ａ」及び「８０％」、並びに、「参照Ｂ」及び「１５％」を評価情報として取得してもよい。

評価情報は、対象情報を含んでもよい。また、第１連関度は、例えば百分率等の３段階以上で示される。例えば参照データベースがニューラルネットワークで構成される場合、第１連関度は、選択された過去の評価対象情報に紐づく重み変数を示す。

＜生成部１４＞
生成部１４は、評価情報に基づき、推定結果を生成する。生成部１４は、例えば予め保存部１０４等に記憶された出力用フォーマット等の形式データを用いて、評価結果として取得された情報に基づき、ユーザが理解できる形式（例えば文字列）に変換し、変換した情報を評価結果として生成する。

生成部１４は、例えば図２に示すように、「○○さんこんにちは。」等の推定される文字列を含む推定結果を生成する。生成部１４は、例えば推定装置１又はユーザ端末３を制御する制御情報を含む推定結果を生成してもよい。なお、推定結果を生成する際における形式の設定、及び評価情報から推定結果への変換方法は、例えば公知の技術（例えば人工知能技術）を用いてもよい。

生成部１４は、例えば評価情報の第１連関度に基づいて、推定結果の内容を決定する。例えば生成部１４は、「５０％」以上の第１連関度に紐づく参照情報に基づいて、推定結果を生成し、「５０％」未満の第１連関度に紐づく参照情報を推定結果に反映しないように設定されてもよい。なお、第１連関度に基づく判定基準は、例えば管理者等が予め閾値等を設定してもよく、閾値の範囲等は任意に設定できる。また、生成部１４は、例えば２以上の第１連関度を演算した結果や、２以上の第１連関度の比較に基づいて、推定結果の内容を決定してもよい。

推定結果は、例えば評価情報を含んでもよい。また、推定結果は、対象情報を含んでもよい。

＜出力部１５＞
出力部１５は、推定結果を出力する。出力部１５は、Ｉ／Ｆ１０７を介して出力部分１０９に推定結果を送信するほか、例えばＩ／Ｆ１０５を介して、ユーザ端末３等に推定結果を送信する。

出力部１５は、例えば推定結果に基づき、推定結果をユーザ端末３に送信するか否かを判定してもよい。判定基準は、例えば管理者等が予め閾値等を設定してもよい。

＜更新部１６＞
更新部１６は、例えば参照データベースを更新する。更新部１６は、過去の対象情報と、参照情報との間の関係を新たに取得した場合には、関係を連関度に反映させる。例えば生成部１４により生成された推定結果を踏まえて、ユーザがキーボード入力の推定精度を評価し、評価結果を推定装置１が取得した場合、更新部１６は、評価結果に基づき参照データベースに含まれる連関度を更新する。

＜サーバ２＞
サーバ２には、例えば上述した各種情報が記憶される。サーバ２には、例えば通信網４を介して送られてきた各種情報が蓄積される。サーバ２には、例えば保存部１０４と同様の情報が記憶され、通信網４を介して推定装置１と各種情報の送受信が行われてもよい。即ち、推定装置１は、保存部１０４の代わりにサーバ２を用いてもよい。

＜ユーザ端末３＞
ユーザ端末３は、上述した仮想キーボード８を投影する投影部、対象情報を生成するためのカメラを有する。ユーザ端末３として、主に携帯電話（携帯端末）が用いられ、それ以外ではスマートフォン、タブレット型端末、ウェアラブル端末、パーソナルコンピュータ、ＩｏＴデバイス等の電子機器のほか、あらゆる電子機器で具現化されたものが用いられてもよい。ユーザ端末３は、例えば通信網４を介して推定装置１と接続されるほか、例えば推定装置１と直接接続されてもよい。ユーザは、例えばユーザ端末３を用いて、推定装置１から推定結果を取得する。

＜通信網４＞
通信網４は、例えば推定装置１等が通信回路を介して接続されるインターネット網等である。通信網４は、いわゆる光ファイバ通信網で構成されてもよい。また、通信網４は、有線通信網のほか、無線通信網等の公知の通信網で実現してもよい。

（推定システム１００の動作の一例）
次に、本実施形態における推定システム１００の動作の一例について説明する。図７は、本実施形態における推定システム１００の動作の一例を示すフローチャートである。

＜取得手段Ｓ１１０＞
図７に示すように、動画データ及び位置情報を含む対象情報を取得する（取得手段Ｓ１１０）。取得部１１は、ユーザが仮想キーボード８を押下する動作を撮影した動画データ、及び動画データにおけるユーザの手の位置情報を含む対象情報を取得する。仮想キーボード８は、例えばユーザ端末３又は推定装置１の投影部により投影される。動画データ及び位置情報は、例えばユーザ端末３又は推定装置１の有する各種カメラにより生成される。取得部１１は、例えば記憶部１２を介して、対象情報を保存部１０４に保存する。なお、取得部１１は、キーボード情報及び言語情報の少なくとも何れか、を予め取得した上で、動画データ等を取得してもよい。

取得部１１は、動画データ及び位置情報の少なくとも何れかが生成される度に対象情報として取得するほか、例えば任意の期間に生成された対象情報を取得してもよい。

＜評価手段Ｓ１２０＞
次に、参照データベースを参照し、対象情報と、参照情報との間における第１連関度を含む評価情報を取得する（評価手段Ｓ１２０）。評価部１３は、取得部１１により取得された対象情報を取得し、例えば保存部１０４に保存された参照データベースを取得する。評価部１３は、１つの対象情報に対して１つの評価情報を取得するほか、例えば複数の対象情報に対して１つの評価情報を取得してもよい。評価部１３は、例えば記憶部１２を介して、評価情報を保存部１０４に保存する。

＜生成手段Ｓ１３０＞
次に、評価情報に基づき推定結果を生成する（生成手段Ｓ１３０）。生成部１４は、評価部１３により取得された評価情報を取得し、例えば保存部１０４に保存された出力用フォーマット等の形式データを取得する。生成部１４は、１つの評価情報に対して１つの推定結果を取得するほか、例えば複数の評価情報に対して１つの推定結果を取得してもよい。生成部１４は、例えば記憶部１２を介して推定結果を保存部１０４に保存する。

これにより、例えば出力部１５が推定結果をユーザ端末３等に送信、又は出力部分１０９に出力し、本実施形態における推定システム１００の動作が終了する。

＜更新手段Ｓ１４０＞
なお、例えば過去の対象情報と、参照情報との間の関係を新たに取得した場合には、関係を連関度に反映させてもよい（更新手段Ｓ１４０）。例えば生成部１４により生成された推定結果を踏まえて、ユーザがキーボード入力の推定精度を評価し、評価結果を推定装置１が取得した場合、更新部１６は、評価結果に基づき参照データベースに含まれる連関度を更新する。

これにより、本実施形態における推定システム１００の動作が終了してもよい。なお、更新手段Ｓ１４０を実施する場合のタイミングは、任意である。

本実施形態によれば、評価手段Ｓ１２０は、参照データベースを参照し、対象情報と、参照情報との間の３段階以上の第１連関度を含む評価情報を取得する。このため、過去の結果を踏まえた推定結果を生成でき、押下深度のバラつきを考慮したキー入力の推定ができる。これにより、キー入力を推定する精度の向上を図ることが可能となる。

また、本実施形態によれば、対象情報は、動画データ及び位置情報を含む。このため、１つの画像から手の位置を算出する場合に比べて、仮想キーボード８に対する手の詳細な位置関係を取得することができる。これにより、キー入力を推定するために必要な情報を、高精度に取得することが可能となる。

また、本実施形態によれば、動画データは、ＲＧＢ動画データと、赤外線動画データとを有する。このため、照明等に起因する撮像環境が異なる場合においても、手の形状等を高精度に取得することができる。これにより、キー入力を推定する精度をさらに向上させることが可能となる。

また、本実施形態によれば、位置情報は、距離データを有する。このため、奥行き方向に対する手の位置を容易に取得することができる。これにより、キー入力を推定する精度をさらに向上させることが可能となる。

また、本実施形態によれば、投影部、ＲＧＢカメラ、赤外線カメラ、及び距離計測カメラは、同一の端末に備え付けられる。このため、場所を選ばずに仮想キーボード８を利用することが可能となる。

また、本実施形態によれば、対象情報及び過去の対象情報は、キーボード情報を含む。このため、キー配列等が異なる仮想キーボード８を利用した場合においても、キー入力を高精度に推定することが可能となる。

また、本実施形態によれば、対象情報及び過去の対象情報は、言語情報を含む。このため、ユーザの使用する言語に依存することなく、キー入力を高精度に推定することが可能となる。

また、本実施形態によれば、参照データベースは、機械学習により構築される。このため、画像から算出された押下深度に対する閾値を設定する場合に比べて、主観を除いたキー入力の推定を実現することが可能となる。

また、本実施形態によれば、更新手段Ｓ１４０は、過去の対象情報と、参照情報との間の関係を新に取得した場合には、関係を連関度に反映させる。このため、連関度を容易に更新することができ、継続した推定精度の向上を図ることが可能となる。

本実施形態によれば、評価部１３は、参照データベースを参照し、対象情報と、参照情報との間の３段階以上の第１連関度を含む評価情報を取得する。このため、過去の結果を踏まえた推定結果を生成でき、押下深度のバラつきを考慮したキー入力の推定ができる。これにより、キー入力を推定する精度の向上を図ることが可能となる。

本発明の実施形態を説明したが、この実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１：推定装置
２：サーバ
３：ユーザ端末
４：通信網
８：仮想キーボード
１０：筐体
１１：取得部
１２：記憶部
１３：評価部
１４：生成部
１５：出力部
１６：更新部
１００：推定システム
１０１：ＣＰＵ
１０２：ＲＯＭ
１０３：ＲＡＭ
１０４：保存部
１０５：Ｉ／Ｆ
１０６：Ｉ／Ｆ
１０７：Ｉ／Ｆ
１０８：入力部分
１０９：出力部分
１１０：内部バス
Ｓ１１０：取得手段
Ｓ１２０：評価手段
Ｓ１３０：生成手段
Ｓ１４０：更新手段

Claims

仮想キーボードを用いて入力された文字列を推定する推定システムであって、
ユーザが前記仮想キーボードを押下する動作を撮影した動画データ、及び前記動画データにおけるユーザの手の位置情報を含む対象情報を取得する取得手段と、
予め取得された過去の対象情報、前記過去の対象情報によって入力された文字列を含む参照情報、及び、前記過去の対象情報と前記参照情報との間における３段階以上の連関度が記憶された参照データベースと、
前記参照データベースを参照し、前記対象情報と、前記参照情報との間の３段階以上の第１連関度を含む評価情報を取得する評価手段と、
前記評価情報に基づき推定結果を生成する生成手段と、
を備えることを特徴とする推定システム。
前記動画データは、
可視光領域に対応するＲＧＢカメラを用いて生成されたＲＧＢ動画データと、
赤外光領域に対応する赤外線カメラを用いて生成された赤外線動画データと、
を有すること
を特徴とする請求項１記載の推定システム。
前記位置情報は、対象物との離間距離を計測する距離計測カメラを用いて生成され、前記距離計測カメラと、前記ユーザの手との間の距離を示す距離データを有すること
を特徴とする請求項２記載の推定システム。
前記仮想キーボードを投影する投影部、前記ＲＧＢカメラ、前記赤外線カメラ、及び前記距離計測カメラは、同一の端末に備え付けられること
を特徴とする請求項３記載の推定システム。
前記対象情報及び前記過去の対象情報は、前記仮想キーボードの種類を示すキーボード情報を含むこと
を特徴とする請求項１〜４の何れか１項記載の推定システム。
前記対象情報及び前記過去の対象情報は、言語情報を含むこと
を特徴とする請求項１〜５の何れか１項記載の推定システム。
前記参照データベースは、機械学習により構築されたものであること
を特徴とする請求項１〜６の何れか１項記載の推定システム。
前記過去の対象情報と、前記参照情報との間の関係を新たに取得した場合には、前記関係を前記連関度に反映させる更新手段をさらに備えること
を特徴とする請求項１〜７の何れか１項記載の推定システム。
仮想キーボードを用いて入力された文字列を推定する推定装置であって、
ユーザが前記仮想キーボードを押下する動作を撮影した動画データ、及び前記動画データにおけるユーザの手の位置情報を含む対象情報を取得する取得部と、
予め取得された過去の対象情報、前記過去の対象情報によって入力された文字列を含む参照情報、及び、前記過去の対象情報と前記参照情報との間における３段階以上の連関度が記憶された参照データベースと、
前記参照データベースを参照し、前記対象情報と、前記参照情報との間の３段階以上の第１連関度を含む評価情報を取得する評価部と、
前記評価情報に基づき推定結果を生成する生成部と、
を備えることを特徴とする推定装置。