JP2017117166A - 電子機器、プログラム - Google Patents

Abstract

【課題】疑似的な複数画面表示を可能とし、操作の視認性を向上する電子機器を提供する。【解決手段】複数の方向から観察した場合に方向毎に異なる画像を表示する表示部と、ユーザの表示部に対するジェスチャを認識するジェスチャ認識部と、認識されたジェスチャによりユーザが選択した操作対象オブジェクトを特定する操作対象オブジェクト特定部と、ジェスチャの際にユーザが表示部を目視する際の目視の方向に対応する方向以外の何れかの方向に対応して表示される何れかの画像を、特定された操作対象オブジェクトに対応する補助表示を含めた画像とし、当該画像の表示制御を実行する表示制御部を含む。【選択図】図４

Description

本発明は、複数の方向から観察した場合に方向毎に異なる画像を表示する電子機器、プログラムに関する。

従来、表示画面を右側から見た場合と左側から見た場合で異なる２つの画像を同時に表示可能な情報表示装置が知られている（例えば特許文献１）。

以下、図１を参照して特許文献１の情報表示装置の原理を説明する。図１は、特許文献１の情報表示装置の液晶パネルの構成例を示す概略断面図である。図１に示すように同文献の情報表示装置の液晶パネルは、右側視野用画素（Ｒ−１、Ｒ−２、…）と、左側視野用画素（Ｌ−１、Ｌ−２、…）を含むカラーフィルタを備え、カラーフィルタの下層に液晶層、基板などを含む（図示略）。カラーフィルタの上層には、遮光部（Ｓ−１、Ｓ−２、…）とそれ以外の透光部とを含む視差バリア層が設けられている。図１に示すような液晶パネルによって構成された表示部を右側から見る場合、右側視野用画素（Ｒ−１、Ｒ−２、…）を透過した光だけが視差バリア層を通過し、左側視野用画素（Ｌ−１、Ｌ−２、…）を透過した光は、遮光部（Ｓ−１、Ｓ−２、…）によって遮断される。従ってこの場合は、右側視野画像が視認される。一方、表示部を左側から見る場合、左側視野用画素（Ｌ−１、Ｌ−２、…）を透過した光だけが視差バリア層を通過し、右側視野用画素（Ｒ−１、Ｒ−２、…）を透過した光は、遮光部（Ｓ−１、Ｓ−２、…）によって遮断される。従ってこの場合は、左側視野画像が視認される。視差バリア層を液晶シートで構成すれば、遮光部（Ｓ−１、Ｓ−２、…）を電気的にＯＮ／ＯＦＦ制御することができる。遮光部の機能をＯＮにしてマルチビュー状態とすると、左側視野画像と右側視野画像は液晶パネル本来の解像度の半分の解像度での表示となる。遮光部（Ｓ−１、Ｓ−２、…）の機能をＯＦＦに制御し、マルチビュー機能をＯＦＦに制御すれば、液晶パネル本来の解像度を損なうことはない。

同文献では、上述した表示画面に鏡面を隣接配置させ、表示中の右側視野画像、左側視野画像の何れかの画像情報を鏡面で反射させて、ユーザに視認させることにより、ユーザに二つの画像情報を同時に視認させ、疑似的なデュアルビュー表示を実現している。

同文献では、情報表示装置の例として、表示部（液晶画面）と操作部（操作ボタン群）とが分離した旧来型の携帯端末が開示された。

特開２００９−０６９４４０号公報

同文献で開示された携帯端末は、表示部（液晶画面）と操作部（操作ボタン群）とが分離していたため、表示部と操作部が一体となっている近年の電子機器（例えばタッチパネルを備えるスマートフォン、タブレット、ＰＤＡなど）にそのまま適用することは難しかった。

例えば、表示部と操作部が一体となっている近年の電子機器では、ユーザがタッチ操作の対象としているアイコンやアイテム（以下、操作対象オブジェクトという）がユーザ自身の操作指に隠れて見え難くなる現象が知られているが、同文献に開示された携帯端末では、表示部（液晶画面）と操作部（操作ボタン群）とが分離していたため、このような現象が存在しなかった。

そこで本発明では、疑似的な複数画面表示を可能とし、操作の視認性を向上する電子機器を提供することを目的とする。

本発明の電子機器は、表示部と、ジェスチャ認識部と、操作対象オブジェクト特定部と、表示制御部を含む。

表示部は、複数の方向から観察した場合に方向毎に異なる画像を表示する。ジェスチャ認識部は、ユーザの表示部に対するジェスチャを認識する。操作対象オブジェクト特定部は、認識されたジェスチャによりユーザが選択した操作対象オブジェクトを特定する。表示制御部は、ジェスチャの際にユーザが表示部を目視する際の目視の方向に対応する方向以外の何れかの方向に対応して表示される何れかの画像を、特定された操作対象オブジェクトに対応する補助表示を含めた画像とし、当該画像の表示制御を実行する。

本発明の電子機器によれば、疑似的な複数画面表示を可能とし、操作の視認性を向上することができる。

特許文献１の情報表示装置の液晶パネルの構成例を示す概略断面図。 実施例１の電子機器の外観を示す斜視図。 実施例１の電子機器における鏡の数のバリエーションを例示する斜視図。 実施例１の電子機器の構成を示すブロック図。 実施例１の電子機器の動作を示すフローチャート。 実施例１の電子機器が表示する補助表示の例を示す図。 ユーザのジェスチャに対応する座標群とこれに対応する虚像の表示面上の座標群との関係を説明する図。 本発明の電子機器を実現するために用いることができる汎用システム又はコンピュータデバイスの構成例を示すブロック図。

以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。

以下、図２、図３を参照して、実施例１の電子機器の外観構成を説明する。図２は、本実施例の電子機器１の外観を示す斜視図である。図３は、本実施例の電子機器１における鏡の数のバリエーションを例示する斜視図である。

図２に示すように本実施例の電子機器１は、表示部１１を含む。表示部１１は、特許文献１の情報表示装置と同様に、複数の方向から観察した場合に方向毎に異なる画像を表示することができる。表示部１１は、例えば左右二方向にそれぞれ異なる画像（それぞれ左側視野画像、右側視野画像という）を表示可能であってもよいし、上下二方向、あるいは上下左右四方向にそれぞれ異なる画像（上下方向から見た画像をそれぞれ上側視野画像、下側視野画像という）を表示可能であってもよい。図２の例では、表示部１１は２方向にそれぞれ異なる画像を表示可能であるものとする。

電子機器１に取り付け可能なアタッチメント２には、鏡２１Ｔが含まれる。アタッチメント２は、電子機器１に取り付けた際に、鏡２１Ｔが表示部１１に隣接して配置されるように構成されている。アタッチメント２は、鏡２１Ｔの反射面と表示部１１の表示面とが所定の角度をなすように、鏡２１Ｔを支持固定する脚部２２などを含んでもよい。本実施例では、電子機器１とアタッチメント２を別の構成要件として定義したが、これに限らず、電子機器１とアタッチメント２の構成をまとめて、単に電子機器と呼称してもよいし、電子機器１とアタッチメント２にあたる構成が一体不可分に構成されている場合には、これを単に電子機器と呼称してもよい。

本実施例では、アタッチメント２は鏡を一つ（鏡２１Ｔ）含むこととしたが、アタッチメント２に含まれる鏡の数は任意であって、通常は表示部１１で表示可能な方向の数に依存する。図２の例では、鏡２１Ｔはアタッチメント装着時に、表示部１１の上側（電子機器１の短手方向を鉛直上下方向とした場合の上方向、上側）に隣接し、表示部１１から出力される上側視野画像を反射可能な角度で支持されている。

なお、本実施例では電子機器１が携帯端末、タブレット、あるいはＰＤＡであるものとして扱うが、本発明の電子機器はこれに限らず、タッチ操作可能な表示部を含む電子機器であればどんな機器であってもよい。例えば本発明の電子機器を、タッチ操作可能な表示部を含むデスクトップ型パソコン、ゲーム機、コピー機、その他の家電、あるいは産業用機器などとしてもよい。

前述したように、アタッチメント２には複数の鏡を設けることができるが、鏡の数、鏡の配置については、表示部１１の仕様に依存する。表示部１１が左右や上下方向のみならず、上下左右の４方向など、より複雑な方向制御ができる場合は、方向の数に応じて鏡を複数配置しても良い。例えば図３に示すように、アタッチメント２には、鏡２１Ｔだけでなく、鏡２１Ｒが含まれてもよい。

この場合、鏡２１Ｒはアタッチメント装着時に、表示部１１の向かって右側（電子機器１の短手方向を鉛直上下方向として、電子機器１の表示部１１に対峙した場合の、向かって右側）に隣接し、表示部１１から出力される右側視野画像を反射可能な角度で支持されている。

なお、図２、図３では、鏡２１Ｔ（鏡２１Ｒ）の鏡面と表示部１１の表示面のなす角度が９０°以上に開いた状態で例示されているが、この角度は９０°、あるいは９０°以下としてもよい。

以下、図４を参照して本実施例の電子機器の構成を説明する。図４は、本実施例の電子機器１の構成を示すブロック図である。図４に示すように、本実施例の電子機器１は、表示部１１と、ジェスチャ認識部１２と、操作対象オブジェクト特定部１３と、相対位置検知部１４と、映り込み領域推定部１５と、表示制御部１６と、位置関連情報記憶部１７を含む。アタッチメント２には、鏡２１Ｔ、鏡２１Ｒ、…が含まれる。前述したようにアタッチメント２には三つ以上の鏡が含まれていてもよいし、鏡を一つのみとしてもよい。

以下、図５、図６を参照して本実施例の電子機器１の動作を説明する。図５は、本実施例の電子機器１の動作を示すフローチャートである。図６は、本実施例の電子機器１が表示する補助表示の例を示す図である。

ジェスチャ認識部１２は、ユーザの表示部１１に対するジェスチャを認識する（Ｓ１２）。ジェスチャ認識部１２は、例えばジェスチャに関する特徴量を取得し、取得した特徴量について従来から用いられている手法（パターンマッチング、特徴点抽出法、周波数解析法など）を利用し、ユーザのジェスチャを認識する。特徴量として例えば、表示部１１の表示面上で計測された静電容量の分布、静電容量が最大値（極大値）となる座標の時間変化などを用いることができる。例えば図６において、ユーザは表示部１１に対してジェスチャ３１（人差し指で画面上の一点を押下するジェスチャ）を実行しており、ジェスチャ認識部１２は、ジェスチャ３１により表示部１１、あるいは表示部１１近傍に発生する特徴量を取得し、当該特徴量に基づいてユーザの表示部１１に対するジェスチャ３１を認識する（Ｓ１２）。

次に、操作対象オブジェクト特定部１３は、ステップＳ１２において認識されたジェスチャによりユーザが選択した操作対象オブジェクトを特定する（Ｓ１３）。図６の例では、認識されたジェスチャ３１によりユーザが選択したのは操作対象オブジェクト４である。この例では、操作対象オブジェクト４はアプリケーションを起動するためのアイコンであるものとする。

次に、相対位置検知部１４は、操作指（ユーザの身体の一部）と鏡の相対位置を検知する（Ｓ１４）。相対位置検知部１４は、例えば赤外線光源による測距センサなどで実現することができる。例えば図６に示すように、相対位置検知部１４は矢印８ａで示した方向（電子機器１の長手方向）に赤外光を照射する測距センサと、矢印８ｂで示した方向（電子機器１の略短手方向）に赤外光を照射する測距センサを含むものとし、矢印８ａ方向に赤外光を照射する測距センサが操作指３１ａの位置を検出し、矢印８ｂ方向に赤外光を照射する測距センサが、鏡２１Ｔと表示部１１とがなす角度を検出し、相対位置検知部１４は、二つの測距センサの出力に基づいて、操作指３１ａと鏡２１Ｔの相対位置を検知することとしてもよい。なお、相対位置検知部１４は、表示部１１とアタッチメント２に搭載された加速度センサでも実現できる。

次に、映り込み領域推定部１５は、ジェスチャ時にユーザの身体が鏡像として映り込む鏡面上の領域を推定する（Ｓ１５）。図６の例では、映り込み領域推定部１５はジェスチャ３１が行われたときに、操作指３１ａ（ユーザの身体）が映り込む鏡２１Ｔの鏡面上の領域を、ステップＳ１４において検知された操作指３１ａと鏡２１Ｔの相対位置に基づいて、推定する（Ｓ１５）。この場合、推定される領域は、操作指３１ａの鏡像５１ａが映っている領域に近似する。

ステップＳ１５について、図７を参照してさらに詳細に説明する。図７は、ユーザのジェスチャに対応する座標群とこれに対応する虚像の表示面上の座標群との関係を説明する図である。図７の例では、観測位置の情報（ユーザの目の位置の情報、三次元座標情報）を、（ｘ_ｅｙｅ，ｙ_ｅｙｅ，ｚ_ｅｙｅ）と表した。また、ステップＳ１４で検出される操作指３１ａの位置に対応する表示面上の座標群のうち、代表する座標を（ｘ_{ｆｉｎｇｅｒ}，ｙ_{ｆｉｎｇｅｒ}，ｚ_{ｆｉｎｇｅｒ}）と表現した。また、ステップＳ１４で検出される座標群に対応する虚像の表示面上の座標群のうち、代表する座標を（ｘ_{ｖｉｒｔｕａｌ}，ｙ_{ｖｉｒｔｕａｌ}，ｚ_{ｖｉｒｔｕａｌ}）とした。位置関連情報記憶部１７には、表示部１１および鏡２１Ｔの大きさ及び相対位置に関する情報が記憶されているものとする。ステップＳ１４で検出される角度は、図７において角度αとして表されている。映り込み領域推定部１５は、これらの情報に基づいて、操作指３１ａの位置に対応する表示面上の座標群{（ｘ_{ｆｉｎｇｅｒ}，ｙ_{ｆｉｎｇｅｒ}，ｚ_{ｆｉｎｇｅｒ}），…}に対応する虚像の表示面上の座標群{（ｘ_{ｖｉｒｔｕａｌ}，ｙ_{ｖｉｒｔｕａｌ}，ｚ_{ｖｉｒｔｕａｌ}），…}を推定する。なお映り込み領域推定部１５は座標群{（ｘ_{ｖｉｒｔｕａｌ}，ｙ_{ｖｉｒｔｕａｌ}，ｚ_{ｖｉｒｔｕａｌ}），…}を、虚像の表示面上の２次元座標系の座標群{（Ｚｘ，Ｚｙ），…}に変換し、これを推定された領域を表す座標群として出力する。

表示制御部１６は、ジェスチャの際にユーザが表示部１１を目視する際の目視の方向に対応する方向以外の何れかの方向に対応して表示される何れかの画像を、特定された操作対象オブジェクトに対応する補助表示を含めた画像とし、推定された領域と補助表示の位置とが重なりあわないように補助表示を配置して、表示制御を実行する（Ｓ１６）。

図６の例では、表示制御部１６は、ジェスチャ３１が行われたときにユーザが表示部１１を目視する際の目視の方向に対応する方向（図２で述べた方向の定義を利用すれば、下方向）以外の何れかの方向（図２で述べた方向の定義を利用すれば、上方向）に対応して表示される何れかの画像（この場合、鏡２１Ｔに投影される画像）を、ステップＳ１３で特定された操作対象オブジェクト４に対応する補助表示７ａ、あるいは補助表示７ｂを含めた画像とし、ステップＳ１５で推定された領域（この場合、操作指３１ａの鏡像５１ａが映っている領域と近似する領域）と補助表示（７ａ、あるいは７ｂ）の位置とが重なりあわないように補助表示（７ａ、あるいは７ｂ）を配置して、表示制御を実行する（Ｓ１６）。

＜補助表示＞
補助表示は、図６に例示したように、ステップＳ１５で推定された領域を避けるように配置される。例えば補助表示７ａとして示したように、操作対象オブジェクト４と同様の表示を、ジェスチャを入力中のユーザから見てその天地が逆さまにならないように表示すればよい。また、補助表示７ｂとして示したように、操作対象オブジェクト４と同様の外観を拡大して表示し、さらに視認性を向上させてもよい。

本実施例の電子機器１では、複数の方向から観察した場合に方向毎に異なる画像を表示する表示部１１を採用したことにより、疑似的な複数画面表示を可能とし、主画面（表示部１１）における操作対象オブジェクトに対応する補助表示を副画面（図６の例では、鏡２１Ｔの鏡面）に表示することにより、主画面（表示部１１）に対する操作の視認性を向上することができる。また、ステップＳ１５、Ｓ１６で述べたように、ユーザの身体（の一部）が鏡像として映り込む鏡面上の領域を推定し、当該領域を避けるように、補助表示を副画面に表示させることとしたため、補助表示とユーザの身体（の一部）が重複して表示される状態を防ぐことができ、主画面に対する操作の視認性を担保することができる。

＜補記＞
本発明の装置は、例えば図８に示すような単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部１１０００、液晶ディスプレイなどが接続可能な出力部１２０００、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部１３０００、ＣＰＵ１４０００（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭ１５０００やＲＯＭ１６０００、ハードディスクである外部記憶装置１７０００並びにこれらの入力部１１０００、出力部１２０００、通信部１３０００、ＣＰＵ１４０００、ＲＡＭ１５０００、ＲＯＭ１６０００、外部記憶装置１７０００の間のデータのやり取りが可能なように接続するバス１８０００を有している。また必要に応じて、ハードウェアエンティティに、ＣＤ−ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）１９０００などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。

ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。

ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成要件）を実現する。

本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。

既述のように、上記実施形態において説明したハードウェアエンティティ（本発明の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (3)

1. 複数の方向から観察した場合に方向毎に異なる画像を表示する表示部と、
   ユーザの前記表示部に対するジェスチャを認識するジェスチャ認識部と、
   前記認識されたジェスチャによりユーザが選択した操作対象オブジェクトを特定する操作対象オブジェクト特定部と、
   前記ジェスチャの際に前記ユーザが前記表示部を目視する際の目視の方向に対応する方向以外の何れかの方向に対応して表示される何れかの画像を、前記特定された操作対象オブジェクトに対応する補助表示を含めた画像とし、当該画像の表示制御を実行する表示制御部と、
   を含む電子機器。
2. 請求項１に記載の電子機器であって、
   前記複数の方向のうちの、少なくとも何れかの方向に対応する鏡と、
   前記ジェスチャ時に前記ユーザの身体が鏡像として映り込む鏡面上の領域を推定する映り込み領域推定部を含み、
   前記表示制御部は、
   前記領域と前記補助表示の位置とが重なりあわないように前記補助表示を配置して、前記表示制御を実行する
   電子機器。
3. コンピュータを請求項１または２に記載の電子機器として機能させるプログラム。

Images