JP2022165237A

JP2022165237A - 端末装置、端末装置の制御方法および端末装置の制御プログラム

Info

Publication number: JP2022165237A
Application number: JP2021070510A
Authority: JP
Inventors: 香池松; Kaori Ikematsu
Original assignee: Yahoo Japan Corp
Current assignee: Yahoo Japan Corp
Priority date: 2021-04-19
Filing date: 2021-04-19
Publication date: 2022-10-31
Anticipated expiration: 2041-04-19
Also published as: JP7314196B2

Abstract

【課題】ユーザに対して適切なコンテンツを提供することができる端末装置、端末装置の制御方法および端末装置の制御プログラムを提供すること。【解決手段】本願に係る端末装置は、取得部と、推定部と、提供部とを備える。取得部は、ユーザが所持する端末装置に内蔵されたカメラによって撮像されたユーザの角膜を示す角膜画像を取得する。推定部は、角膜画像のうち、角膜で反射する反射領域の画像に基づいて、端末装置におけるユーザの把持状態を推定する。提供部は、推定部によって推定された把持状態に応じたコンテンツを提供する。【選択図】図３

Description

本発明は、端末装置、端末装置の制御方法および端末装置の制御プログラムに関する。

従来、ユーザが所持している端末装置の把持状態を推定して各種コンテンツを提供する技術が提案されている。

国際公開第２０１８／１０５２６６号

しかしながら、従来技術においては、ユーザに対してより適切なコンテンツを提供する点でさらなる改善の余地があった。

本願は、上記に鑑みてなされたものであって、ユーザに対して適切なコンテンツを提供することができる端末装置、端末装置の制御方法および端末装置の制御プログラムを提供することを目的とする。

本願に係る端末装置は、取得部と、推定部と、提供部とを備える。前記取得部は、ユーザが所持する端末装置に内蔵されたカメラによって撮像された前記ユーザの角膜を示す角膜画像を取得する。前記推定部は、前記角膜画像のうち、前記角膜で反射する反射領域の画像に基づいて、前記端末装置における前記ユーザの把持状態を推定する。前記提供部は、前記推定部によって推定された前記把持状態に応じたコンテンツを提供する。

実施形態の一態様によれば、ユーザに対して適切なコンテンツを提供することができるという効果を奏する。

図１は、実施形態に係る端末装置の制御処理の一例を示す図である。図２は、実施形態に係る制御システムの一例を示す図である。図３は、端末装置の機能構成例を示すブロック図である。図４は、実施形態に係る端末装置によって実行される処理の一例を示すフローチャートである。図５は、ハードウェア構成の一例を示す図である。

以下に、本願に係る端末装置、端末装置の制御方法および端末装置の制御プログラムを実施するための形態（以下、「実施形態」と記載する）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る端末装置、端末装置の制御方法および端末装置の制御プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

（実施形態）
〔端末装置の制御処理の概要〕
まず、図１を参照して、本開示の例示的な実施形態について詳細に説明する。図１は、実施形態に係る端末装置の制御処理の一例を示す図である。端末装置の制御処理は、実施形態に係る端末装置１が制御方法を実行することで行われる処理である。

図１では、ユーザが端末装置１を右手で持って（把持して）操作している状況を示している。実施形態に係る端末装置１は、まず、制御処理により、ユーザの角膜で反射した画像に基づいて、端末装置１におけるユーザの把持状態を推定し、推定した把持状態に応じたコンテンツを提供する。

具体的には、まず、端末装置１は、端末装置１に内蔵されたカメラ５（図３参照）によって撮像されたユーザの角膜を示す角膜画像を取得する（ステップＳ１）。角膜画像は、カメラ５によって撮像されたユーザの顔全体の顔画像から角膜の領域を抽出して角膜画像として取得してもよい。

なお、図１では、ユーザの右目の角膜画像を示しているが、左目の角膜画像であってもよく、両目の角膜画像であってもよい。

つづいて、端末装置１は、角膜画像のうち、角膜で反射する反射領域Ｒの画像に基づいて、端末装置１におけるユーザの把持状態を推定する（ステップＳ２）。図１に示すように、反射領域Ｒには、端末装置１の表示部８に起因した形状の明るい領域である表示部領域Ｒ１と、ユーザの指（親指）に起因した形状の暗い領域である指領域Ｒ２とが含まれる。つまり、端末装置１は、表示部領域Ｒ１と、指領域Ｒ２との位置関係に基づいてユーザの把持状態を推定する。

なお、把持状態の推定は、機械学習により生成されたモデルを用いることができるが、かかる点の詳細については後述する。

図１に示す例では、端末装置１は、ユーザが右手で端末装置１を把持して親指で表示部８をタッチ操作している状態を把持状態として推定する。つまり、推定する把持状態には、ユーザが左右どちらの手で把持しているかの情報に加え、どの指で表示部８を操作しているかの情報が含まれる。なお、把持状態には、さらに、表示部８のどの位置をタッチ操作しているか（タッチ位置、あるいはタッチ座標）の情報が含まれてもよい。

また、端末装置１は、把持状態に加えて、タッチペン等のポインティングデバイスにより表示部８を操作しているかを推定することができるが、かかる点の詳細については後述する。

そして、端末装置１は、推定した把持状態に応じたコンテンツを提供する（ステップＳ３）。図１に示す例では、端末装置１は、表示部８に表示されたアプリケーションのアイコン画像８ａの位置を、右下の領域、すなわち、ユーザの右手の親指に近い領域に移動させる。

これにより、ユーザは右手の親指によるアイコン画像８ａへのアクセスが容易になるため、端末装置１に対するユーザの操作性を向上させることができる。

このように、実施形態に係る端末装置１によれば、角膜で反射した反射領域Ｒの画像に基づいてユーザの把持状態を推定することで、把持状態を高精度に推定することができる。そして、把持状態を高精度に推定することで、ユーザに対してより適切なコンテンツを提供することができる。

なお、図１に示す例では、表示部８に表示されたアイコン画像８ａの位置を把持状態に応じて移動させるコンテンツを提供する例を示したが、この他にも、推定した把持状態に応じて様々なコンテンツを提供可能である。なお、提供される他のコンテンツの詳細については後述する。

以下、このような制御処理を行う端末装置１について詳細に説明する。

〔制御システム〕
次に、図２を参照して、端末装置１を含むシステムの構成例について説明する。

〔制御システムの構成要素〕
図２は、実施形態に係る制御システムＳの一例を示す図である。図２に示すように、実施形態に係る制御システムＳは、端末装置１と、サーバ装置１００とを含む。制御システムＳにおいて、端末装置１と、サーバ装置１００とはネットワークＮを介して接続される。

ネットワークＮは、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、電話網（携帯電話網、固定電話網等）、地域ＩＰ（Internet Protocol）網、インターネット等の通信ネットワークである。ネットワークＮには、有線ネットワークが含まれていてもよいし、無線ネットワークが含まれていてもよい。なお、図２では、１台のサーバ装置１００を示したが、制御システムＳには、複数台のサーバ装置１００が含まれてもよい。

端末装置１は、上記したように、例えば、スマートデバイス等のユーザ端末である。端末装置１は、ユーザの操作に従って、サーバ装置１００から所定のコンテンツの情報を取得することができる。

また、端末装置１は、角膜画像に基づいて、ユーザの把持状態を推定し、推定した把持状態に応じたコンテンツを提供することができる。なお、端末装置１の詳細な機能については後述する。

サーバ装置１００は、端末装置１に対して各種コンテンツを提供する。例えば、サーバ装置１００は、端末装置１にインストールされた各種アプリ（例えば、ポータルアプリ、ニュースアプリ、オークションサイト、天気予報アプリ、ショッピングアプリ、ファイナンス（株価）アプリ、路線検索アプリ、地図提供アプリ、旅行アプリ、飲食店紹介アプリ、ブログ閲覧アプリ等）に表示する情報を端末装置１に配信する装置である。あるいは、サーバ装置１００は、ポータルサイト、ニュースサイト、オークションサイト、天気予報サイト、ショッピングサイト、ファイナンス（株価）サイト、路線検索サイト、地図提供サイト、旅行サイト、飲食店紹介サイト、ウェブブログなどに関連する各種情報がタイル状に配置されたウェブページを端末装置１に配信する装置である。また、サーバ装置１００は、アプリのデータそのものを配信するサーバであってもよいし、ポータルサイト等のウェブページを配信するサーバであってもよい。

これらのコンテンツは、サーバ装置１００が端末装置１に送信する制御情報に基づいて端末装置１の表示部８（図３参照）に表示される。制御情報とは、例えば、端末装置１にインストールされたアプリを制御するプログラムであってもよいし、コンテンツに埋め込まれたプログラムであってもよい。例えば、制御情報は、ＪａｖａＳｃｒｉｐｔ（登録商標）等のスクリプト言語で記載されたプログラムであってもよい。また、制御情報は、スクリプト言語以外のコンピュータ言語で記載された情報であってもよい。例えば、制御情報は、ＣＳＳ３（Cascading Style Sheets 3）等のスタイルシート言語で記載された情報であってもよい。また、制御情報は、Ｊａｖａ（登録商標）、Ｓｗｉｆｔ、Ｃ言語、Ｃ＋＋等のプログラミング言語で記載され、コンパイル等されたプログラムであってもよい。コンテンツ配信サーバ等のサーバから配信されるアプリケーションソフトそのものを制御情報とみなすことも可能である。このとき、コンテンツの情報は、制御情報に含まれていてもよい。なお、最終的に端末装置１がプログラムを実行できるのであれば、制御情報は、コンパイルされたプログラムでなくてもよい。その他、制御情報は、インタプリタ言語（例えば、スクリプト言語）、機械言語、あるいは中間言語の形式で提供されるデータ（プログラム）であってもよい。

なお、サーバ装置１００は、１台のサーバ装置１００によって上記したすべてのコンテンツを配信してもよく、複数のサーバ装置１００それぞれが対応するコンテンツを配信してもよい。

〔端末装置の構成〕
次に、図３を用いて、端末装置１の構成例について説明する。図３は、端末装置１の機能構成例を示すブロック図である。図３に示されるように、端末装置１は、通信部２と、記憶部３と、制御部４と、カメラ５と、照度センサ６と、ジャイロセンサ７と、表示部８とを有する。

カメラ５は、端末装置１に内蔵されたいわゆるインカメラである。例えば、カメラ５は、端末装置１において、表示部８と同一の面に配置される。つまり、カメラ５は、表示部８を見ているユーザの顔を撮像可能な位置に配置される。カメラ５は、撮像したユーザの顔画像を制御部４へ出力する。

照度センサ６は、端末装置１の周囲の明暗を示す照度を検出するセンサである。照度センサ６は、検出した照度の情報を制御部４へ出力する。

ジャイロセンサ７は、端末装置１の傾きや回転等の姿勢を検出するセンサである。ジャイロセンサ７は、検出した端末装置１の姿勢の情報を制御部４へ出力する。

表示部８は、例えば、液晶ディスプレイであり、制御部４の制御に従って各種情報を表示することができる。なお、表示部８は、タッチパネル機能を有してもよい。

通信部２は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。通信部２は、有線または無線によりネットワーク網と接続される。通信部２は、サーバ装置１００に、ネットワークＮを介して、通信可能に接続され、サーバ装置１００との間で、情報の送受信を行うことができる。

記憶部３は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。図３に示されるように、記憶部３は、モデル情報３１を有する。

モデル情報３１は、後述する推定部４２に用いられる情報であって、端末装置１におけるユーザの把持状態を推定するための学習モデルを含む情報である。モデル情報３１におけるモデルを用いることで、予め分類された複数の把持状態のうちのいずれかの把持状態を示すスコアを算出することができる。

かかるモデルは、例えば、各把持状態の際に撮像したカメラ５の角膜画像を説明変数とし、対応する把持状態を目的変数として生成することができる。つまり、モデルは、角膜画像と把持状態とをデータセットとして学習することで生成される。学習アルゴリズムは、例えば、ＣＮＮ（Convolutional Neural Network）を用いることができるが、これに限定される任意の学習アルゴリズムを用いることができる。

なお、モデルに用いる角膜画像は、角膜で反射した反射領域（詳細は後述する）の画像を抽出して説明変数として用いてもよい。

なお、説明変数には、ユーザの手の特徴情報（指の長さや、手の大きさ等）や、カメラ５の性能情報（解像度や、拡大・縮小率等）、照度センサ６による照度、虹彩の色等の情報がさらに含まれてもよい。

制御部４は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等のプロセッサによって、端末装置１内部の記憶装置に記憶されている各種プログラム（制御プログラムの一例に相当）がＲＡＭ等を作業領域として実行されることにより実現される。また、制御部４は、コントローラ（controller）であり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、ＧＰＧＰＵ（General Purpose Graphic Processing Unit）等の集積回路により実現されてもよい。

制御部４は、図３に示されるように、取得部４１と、推定部４２と、提供部４３とを有し、以下に説明する制御処理の機能や作用を実現又は実行する。また、制御部４は、図１を参照して上述した制御処理を実現することができる。端末装置１の１つまたは複数のプロセッサは、端末装置１の１つまたは複数のメモリに記憶された命令を実行することによって、制御部４内の各制御部の機能を実現することができる。なお、制御部４の内部構成は、図３に示した構成に限られず、後述する制御処理を行う構成であれば他の構成であってもよい。例えば、取得部４１は、取得部４１以外の部に関して後述する制御処理の全部または一部を行ってもよい。

取得部４１は、各種情報を取得する。例えば、取得部４１は、カメラ５によって撮像された顔画像に基づいてユーザの角膜を含む角膜画像を取得する。具体的には、取得部４１は、取得した顔画像からパターンマッチング等の画像解析処理により、角膜の領域を抽出することで角膜画像を取得する。なお、顔画像をそのまま角膜画像として取得してもよい。角膜画像は、ユーザの左右のいずれかの目、あるいは、両目の画像である。

また、カメラ５による角膜画像の取得（撮像）タイミングは、例えば、ユーザが表示部８をタッチ操作したタイミングである。あるいは、かかるタイミングは、例えば、ジャイロセンサ７による端末装置１の姿勢変化を検出したタイミングであってもよい。換言すれば、ユーザが端末装置１を把持することで姿勢が変化したタイミングで角膜画像を取得するようにする。

なお、取得部４１は、表示部８に特定の輝度の単一画像（白画像）を表示した状態で撮像された角膜画像を取得するようにしてもよい。これにより、反射領域Ｒに映る表示部領域Ｒ１を鮮明にできるため、後段の推定部４２における把持状態の推定精度を高めることができる。また、単一画像は、ユーザに知覚されにくい程度のフレーム数で表示することが好ましい。これにより、ユーザに違和感を与えることなく角膜画像を取得することができる。

また、取得部４１は、照度センサ６により検出された端末装置１の周囲の照度を取得する。また、取得部４１は、ジャイロセンサ７により検出された端末装置１の姿勢を取得する。

推定部４２は、取得部４１によって取得された角膜画像のうち、角膜で反射する反射領域Ｒの画像に基づいて、端末装置１におけるユーザの把持状態を推定する。具体的には、推定部４２は、まず、角膜画像から反射領域Ｒを抽出する。例えば、推定部４２は、角膜画像のエッジ検出や、パターンマッチング等の画像解析により、瞳孔および虹彩の領域を反射領域Ｒとして抽出する。なお、反射領域Ｒは、瞳孔および虹彩のいずれか一方の領域であってもよい。

つづいて、推定部４２は、反射領域Ｒに表示部領域Ｒ１および指領域Ｒ２のうち、少なくとも表示部領域Ｒ１が含まれるか否か判定する。推定部４２は、反射領域Ｒに表示部領域Ｒ１が含まれる場合、モデル情報３１におけるモデルに反射領域Ｒの画像を入力し、モデルからの出力結果を把持状態として推定する。一方、推定部４２は、反射領域Ｒに表示部領域Ｒ１が含まれないと判定した場合には、モデルに入力せずに反射領域Ｒの画像を破棄する。すなわち、把持状態の推定を行わない。これにより、不要な推定処理を減らすことができるため、制御部４の負荷を抑えることができる。

なお、推定部４２は、反射領域Ｒに表示部領域Ｒ１が含まれるか否かの判定を行わずにモデルに反射領域Ｒの画像を入力してもよい。換言すれば、モデルが反射領域Ｒに表示部領域Ｒ１が含まれるか否かを判定する機能を有してもよい。

推定結果である把持状態には、ユーザが端末装置１を左右のどちらの手、あるいは両手で把持しているかの情報や、どの指で表示部８を操作しているかの情報、表示部８のどの位置をタッチ操作している（しようとしている）かの情報、机等の据置台に据え置いているかの情報が含まれ得る。つまり、推定部４２は、把持状態として、端末装置１を把持する手、端末装置１の表示部８を操作する指および表示部８への操作位置の少なくとも１つを推定する。

また、推定部４２は、把持状態に加えて、タッチペン等のポインティングデバイスを使用して表示部８にタッチ操作しているかの情報を推定可能である。かかる推定は、角膜画像を説明変数として、ポインティングデバイスの使用の有無の情報を目的変数とするモデルを学習により生成することで推定可能である。つまり、推定部４２は、把持状態として、ポインティングデバイスによる操作の有無を推定する。

また、推定部４２は、照度センサ６によって検出された照度に応じて角膜画像の輝度を調整（補正）してからモデルに入力するようにしてもよい。これにより、モデルからの出力結果である把持状態の推定精度を高めることができる。

提供部４３は、推定部４２によって推定された把持状態に応じたコンテンツを提供する。例えば、提供部４３は、図１に示したように、表示部８に表示されたアイコン画像８ａの位置を把持状態に応じて移動させる。なお、図１では、すべてのアイコン画像８ａを把持している手の近くに移動させる例を示したが、例えば、ユーザが予め指定したアイコン画像８ａのみや、使用頻度が上位の所定数のアイコン画像８ａのみを移動させてもよい。移動後の位置は、把持している手の指のリーチ範囲内であることが好ましい。リーチ範囲は、予めユーザから入力により取得することができる。

また、アイコン画像８ａに限らず、ホームボタンや戻るボタン、広告コンテンツ等の他のインタラクティブ要素を把持している手の近くに移動させてもよい。換言すれば、アイコン画像８ａ等のインタラクティブ要素をリーチ範囲外に配置しないようにする。

また、提供部４３は、推定した把持状態に応じて、端末装置１の設定モードを変更するようにしてもよい。具体的には、提供部４３は、把持状態に応じてウェブコンテンツ等のモードを切り替えるようにしてもよい。具体的には、提供部４３は、右手で把持している場合には、ブラウザをシークレットモードで起動し、左手で把持している場合には、通常モードで起動するようにしてもよい。このようなモード切替の設定は、ユーザによって事前に設定されてもよく、予め定められていてもよい。

また、このようなモード切替の例として、ポインティングデバイスの使用有無に応じて切り替えることができる。提供部４３は、例えば、ポインティングデバイスを使用して操作していることが推定された場合には、ポインティングデバイスによる書込みモードに切り替え、指で操作している（ポインティングデバイスを使用していない）ことが推定された場合には、画面をスクロールするモードに切り替える。

また、このようなモード切替は、左右のどちらの手で把持しているかにより行われる場合に限らず、操作部位により行われてもよい。例えば、提供部４３は、指、爪、拳（ナックル）、指の関節のいずれの部位で操作が行われるかに応じたモード切替（あるいはコンテンツ提供）を行ってもよい。

また、提供部４３は、推定した把持状態の継続時間に基づいて、ユーザの疲労度合いに関するコンテンツを提供してもよい。例えば、提供部４３は、同じ手で所定時間以上把持している状態が続いた場合には、疲労が蓄積している旨や、腱鞘炎（ドケルバン病）を発症する可能性がある旨の警告情報を通知してもよい。また、提供部４３は、左右の一方の手で所定時間以上把持している状態が続いた場合には、他方の手（あるいは両手）で端末装置１を把持するよう提案してもよい。

ここで、表示部８を見る際に、端末装置１を左右方向のいずれかに過度に傾けた場合には、左目から表示部８までの距離と、右目から表示部８までの距離とに差が生じることで眼精疲労を起こす可能性がある。そこで、提供部４３は、表示部８の正しい見方をガイドするコンテンツを提供する。具体的には、提供部４３は、ジャイロセンサ７によって端末装置１が左右方向に所定以上傾いた場合に、角膜画像に表示部領域Ｒ１が映らない時には、眼精疲労の可能性を通知し、正しい角度や距離で表示部８を見るようガイドする。

より具体的には、提供部４３は、端末装置１の傾きに基づいて、角膜画像に表示部領域Ｒ１や指領域Ｒ２が映るまで端末装置１の傾きを変更するよう通知する。例えば、提供部４３は、端末装置１が右方向に傾いている場合には、左方向に傾けるよう通知する。

また、提供部４３は、角膜画像に映った表示部領域Ｒ１のサイズ（面積）が所定値以上である場合には、端末装置１をユーザから離すよう指示し、表示部領域Ｒ１のサイズ（面積）が所定値未満である場合には、端末装置１をユーザに近づけるよう指示する。つまり、提供部４３は、端末装置１とユーザとの距離が適切となるまで端末装置１を移動させるよう指示する。

〔処理フロー〕
次に、図４を参照して、実施形態に係る端末装置１による処理の手順について説明する。図４は、実施形態に係る端末装置１によって実行される処理の一例を示すフローチャートである。

図４に示すように、取得部４１は、まず、カメラ５によって撮像された画像に基づいて、角膜画像を取得する（ステップＳ１０１）。つづいて、推定部４２は、角膜画像のうち、角膜で反射する反射領域の画像に基づいて、端末装置１におけるユーザの把持状態を推定する（ステップＳ１０２）。つづいて、提供部４３は、推定された把持状態に応じたコンテンツを提供し（ステップＳ１０３）、処理を終了する。

〔その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の一部を手動的に行うこともできる。あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

例えば、図３に示した記憶部３の一部又は全部は、端末装置１によって保持されるのではなく、ストレージサーバ等に保持されてもよい。この場合、端末装置１は、ストレージサーバにアクセスすることで、各種情報を取得する。

〔ハードウェア構成〕
また、上述してきた実施形態に係る端末装置１は、例えば図５に示すような構成のコンピュータ１０００によって実現される。図５は、ハードウェア構成の一例を示す図である。コンピュータ１０００は、出力装置１０１０、入力装置１０２０と接続され、演算装置１０３０、一次記憶装置１０４０、二次記憶装置１０５０、出力ＩＦ（Interface）１０６０、入力ＩＦ１０７０、ネットワークＩＦ１０８０がバス１０９０により接続された形態を有する。

演算装置１０３０は、一次記憶装置１０４０や二次記憶装置１０５０に格納されたプログラムや入力装置１０２０から読み出したプログラム等に基づいて動作し、各種の処理を実行する。一次記憶装置１０４０は、ＲＡＭ等、演算装置１０３０が各種の演算に用いるデータを一時的に記憶するメモリ装置である。また、二次記憶装置１０５０は、演算装置１０３０が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ等により実現される。

出力ＩＦ１０６０は、モニタやプリンタといった各種の情報を出力する出力装置１０１０に対し、出力対象となる情報を送信するためのインタフェースであり、例えば、ＵＳＢ（Universal Serial Bus）やＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High Definition Multimedia Interface）といった規格のコネクタにより実現される。また、入力ＩＦ１０７０は、マウス、キーボード、およびスキャナ等といった各種の入力装置１０２０から情報を受信するためのインタフェースであり、例えば、ＵＳＢ等により実現される。

なお、入力装置１０２０は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等から情報を読み出す装置であってもよい。また、入力装置１０２０は、ＵＳＢメモリ等の外付け記憶媒体であってもよい。

ネットワークＩＦ１０８０は、ネットワークＮを介して他の機器からデータを受信して演算装置１０３０へ送り、また、ネットワークＮを介して演算装置１０３０が生成したデータを他の機器へ送信する。

演算装置１０３０は、出力ＩＦ１０６０や入力ＩＦ１０７０を介して、出力装置１０１０や入力装置１０２０の制御を行う。例えば、演算装置１０３０は、入力装置１０２０や二次記憶装置１０５０からプログラムを一次記憶装置１０４０上にロードし、ロードしたプログラムを実行する。

例えば、コンピュータ１０００が端末装置１として機能する場合、コンピュータ１０００の演算装置１０３０は、一次記憶装置１０４０上にロードされたプログラムを実行することにより、制御部４の機能を実現する。

〔効果〕
上述してきたように、実施形態に係る端末装置１は、取得部４１と、推定部４２と、提供部４３とを備える。取得部４１は、ユーザが所持する端末装置１に内蔵されたカメラ５によって撮像されたユーザの角膜を示す角膜画像を取得する。推定部４２は、角膜画像のうち、角膜で反射する反射領域Ｒの画像に基づいて、端末装置１におけるユーザの把持状態を推定する。提供部４３は、推定部４２によって推定された把持状態に応じたコンテンツを提供する。推定部４２は、各把持状態の際に撮像された角膜画像を説明変数とし、対応する把持状態を目的変数として生成したモデルを用いて把持状態を推定する。推定部４２は、角膜のうち、瞳孔および虹彩の少なくとも一方を含む領域を反射領域Ｒとして抽出する。推定部４２は、把持状態として、端末装置１を把持する手、端末装置１の表示部８を操作する指および表示部８への操作位置の少なくとも１つを推定する。推定部４２は、把持状態として、ポインティングデバイスによる操作の有無を推定する。取得部４１は、端末装置１の周囲の照度を検出する照度センサ６から照度の情報を取得する。推定部４２は、照度に基づいて角膜画像の輝度を補正し、補正後の角膜画像を用いて把持状態を推定する。取得部４１は、端末装置１の表示部８に特定の輝度の単一画像を表示した状態で撮像された角膜画像を取得する。提供部４３は、表示部８に表示されるインタラクティブ要素を推定部４２によって推定された把持状態に応じた位置に移動させる。提供部４３は、推定部４２によって推定された把持状態の継続時間に基づいて、ユーザの疲労度合いに関するコンテンツを提供する。提供部４３は、推定部４２によって推定された把持状態に応じて、端末装置１の設定モードを変更する。これにより、ユーザに対して適切なコンテンツを提供することができる。

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

〔その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

また、上述してきた実施形態に記載した各処理は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

また、上記してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、制御部４は、制御手段や制御回路に読み替えることができる。

１端末装置
２通信部
３記憶部
４制御部
５カメラ
６照度センサ
７ジャイロセンサ
８表示部
３１モデル情報
４１取得部
４２推定部
４３提供部
１００サーバ装置
Ｎネットワーク
Ｓ制御システム

Claims

ユーザが所持する端末装置に内蔵されたカメラによって撮像された前記ユーザの角膜を示す角膜画像を取得する取得部と、
前記角膜画像のうち、前記角膜で反射する反射領域の画像に基づいて、前記端末装置における前記ユーザの把持状態を推定する推定部と、
前記推定部によって推定された前記把持状態に応じたコンテンツを提供する提供部と
を備えることを特徴とする端末装置。
前記推定部は、
各把持状態の際に撮像された前記角膜画像を説明変数とし、対応する前記把持状態を目的変数として生成したモデルを用いて前記把持状態を推定すること
を特徴とする請求項１に記載の端末装置。
前記推定部は、
前記角膜のうち、瞳孔および虹彩の少なくとも一方を含む領域を前記反射領域として抽出すること
を特徴とする請求項１または２に記載の端末装置。
前記推定部は、
前記把持状態として、前記端末装置を把持する手、前記端末装置の表示部を操作する指および前記表示部への操作位置の少なくとも１つを推定すること
を特徴とする請求項１～３のいずれか１つに記載の端末装置。
前記推定部は、
前記把持状態として、ポインティングデバイスによる操作の有無を推定すること
を特徴とする請求項１～４のいずれか１つに記載の端末装置。
前記取得部は、
前記端末装置の周囲の照度を検出する照度センサから前記照度の情報を取得し、
前記推定部は、
前記照度に基づいて前記角膜画像の輝度を補正し、補正後の前記角膜画像を用いて前記把持状態を推定すること
を特徴とする請求項１～５のいずれか１つに記載の端末装置。
前記取得部は、
前記端末装置の表示部に特定の輝度の単一画像を表示した状態で撮像された前記角膜画像を取得すること
を特徴とする請求項１～６のいずれか１つに記載の端末装置。
前記提供部は、
前記端末装置の表示部に表示されるインタラクティブ要素を前記推定部によって推定された前記把持状態に応じた位置に移動させること
を特徴とする請求項１～７のいずれか１つに記載の端末装置。
前記提供部は、
前記推定部によって推定された前記把持状態の継続時間に基づいて、前記ユーザの疲労度合いに関するコンテンツを提供すること
を特徴とする請求項１～８のいずれか１つに記載の端末装置。
前記提供部は、
前記推定部によって推定された前記把持状態に応じて、前記端末装置の設定モードを変更すること
を特徴とする請求項１～９のいずれか１つに記載の端末装置。
端末装置が実行する制御方法であって、
ユーザが所持する端末装置に内蔵されたカメラによって撮像された前記ユーザの角膜を示す角膜画像を取得する取得工程と、
前記角膜画像のうち、前記角膜で反射する反射領域の画像に基づいて、前記端末装置における前記ユーザの把持状態を推定する推定工程と、
前記推定工程によって推定された前記把持状態に応じたコンテンツを提供する提供工程と
を含むことを特徴とする端末装置の制御方法。
ユーザが所持する端末装置に内蔵されたカメラによって撮像された前記ユーザの角膜を示す角膜画像を取得する取得手順と、
前記角膜画像のうち、前記角膜で反射する反射領域の画像に基づいて、前記端末装置における前記ユーザの把持状態を推定する推定手順と、
前記推定手順によって推定された前記把持状態に応じたコンテンツを提供する提供手順と
をコンピュータに実行させることを特徴とする端末装置の制御プログラム。