JP2017004354A

JP2017004354A - 表示制御方法、表示制御プログラム、情報処理端末、及びウェアラブルデバイス

Info

Publication number: JP2017004354A
Application number: JP2015119212A
Authority: JP
Inventors: 一寿川嶋; Kazuhisa Kawashima
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2015-06-12
Filing date: 2015-06-12
Publication date: 2017-01-05
Also published as: US20160363774A1

Abstract

【課題】本発明の課題は、操作感が得られる機密情報の表示制御を行うことを目的とする。
【解決手段】上記課題は、特定の端末から受信した画像をディスプレイの表示領域に表示する表示制御方法において、撮像装置により撮像された画像に前記特定の端末の画像又は前記特定の端末に対応付けられた画像が含まれることを検出すると、前記特定の端末から受信した画像を、前記ディスプレイの表示領域の内、前記特定の端末に対応する位置に表示するように制御する、処理をコンピュータが実行することを特徴とする表示制御方法により達成される。
【選択図】図１

Description

本発明は、表示制御方法、表示制御プログラム、情報処理端末、及びウェアラブルデバイスに関する。

近年、携帯端末の普及により、電車内等の公共の場にて、携帯端末に保管された種々の情報を参照したり、電子メール（以下、単に、メールという）を利用するユーザが増えている。

他人に見られないように機密情報をユーザに提示する技術として、携帯端末に表示する画面をヘッドマウントディスプレイ（以下、ＨＭＤという）に表示させることが考えられる。

ＨＭＤに表示する際の携帯端末の画面の表示位置を精度良く特定する技術、電子文書に含まれる機密性レベルの高い情報は空欄状態で固定ディスプレイに表示し、空欄化部分に重なるようにＨＭＤの表示部に機密性レベルの高い情報を表示する技術、スタイラスペン等で手書き入力した情報が機密情報の場合にはタブレット端末には表示せずＨＭＤに表示する技術等が提案されている。

特開２０１４−０１１６５５号公報特開２００６−２７７２３９号公報特開２０１５−００１６５７号公報

しかしながら、上述した技術では、機密情報の表示制御は行われるが、ユーザが携帯端末へ入力する際の操作感は十分には考慮されていないといった問題がある。

したがって、１つの側面では、本発明は、操作感が得られる機密情報の表示制御を行うことを目的とする。

一態様によれば、特定の端末から受信した画像をディスプレイの表示領域に表示する表示制御方法において、撮像装置により撮像された画像に前記特定の端末の画像又は前記特定の端末に対応付けられた画像が含まれることを検出すると、前記特定の端末から受信した画像を、前記ディスプレイの表示領域の内、前記特定の端末に対応する位置に表示するように制御する、処理をコンピュータが実行する表示制御方法が提供される。

また、上記課題を解決するための手段として、上記方法を行う装置、コンピュータに上記処理を実行させるためのプログラム、及び、そのプログラムを記憶した記憶媒体とすることもできる。

操作感が得られる機密情報の表示制御を行うことができる。

第１実施例を説明するための図である。携帯端末のハードウェア構成例を示す図である。ＨＭＤのハードウェア構成例を示す図である。携帯端末の機能構成例を示す図である。ＨＭＤの機能構成例を示す図である。携帯端末における表示制御処理を説明するためのフローチャート図である。ＨＭＤにおける処理全体について説明するためのフローチャート図である。第２の表示画面の表示例を示す図である。携帯端末の画面四隅にマーカを表示した例を示す図である。第１実施例に係るシステムを公共の場で利用した場合の適用例を示す図である。携帯端末には内容を表示しない表示例を示す図である。携帯端末にマーカを表示する表示例を示す図である。携帯端末には機密情報に係る内容を表示しない表示例を示す図である。第２実施例を説明するための図である。

以下、本発明の実施の形態を図面に基づいて説明する。図１は、第１実施例を説明するための図である。図１に示す第１実施例におけるシステム１０００は、携帯端末１とヘッドマウントディスプレイ（ＨＭＤ）３とを有し、携帯端末１とＨＭＤ３とは、近距離無線通信９にて接続される。図１では、ＨＭＤ３を頭部に装着し、携帯端末１への入力操作中のユーザ５の頭部上から斜め下方向に前方を見た場合を示している。

携帯端末１は、携帯電話、タブレット端末等の携帯型の情報処理装置である。携帯端末１は、機密情報及びユーザ５の指５ｆの入力操作から入力情報が読み取られないように、最小限の表示とし、機密情報及び入力操作に係る表示はＨＭＤ３に行う表示制御を行う。

携帯端末１に表示される第１の表示画面９ａは、操作性に係る最小限の表示に相当する画面である。第１の表示画面９ａは、文字を何も表示せず、各表示部品１ａ、１ｂ、及び１ｃの領域のみを視認可能なように表した画面画像である。

図１では、各表示部品１ａ、１ｂ、及び１ｃを同一色で塗りつぶした例を示している。アプリケーション２０（図４）が提供するウィジェットが、表示部品１ａ、１ｂ、及び１ｃに相当する。

ＨＭＤ３は、頭部に装着するタイプのメガネ形状を有するウェアラブルデバイスの一例であり、透過型の表示部３４と、カメラ３５とを有する。ユーザ５は、前方をＨＭＤ３を通して見ることができる。

ＨＭＤ３は、近距離無線通信９によって第２の表示画面９ｂを携帯端末１から受信すると、ユーザ５が表示部３４を介して見る携帯端末１の位置に合わせて、受信した第２の表示画面９ｂを表示部３４に表示する。ユーザ５は、ＨＭＤ３を通して見る現実の携帯端末１に、ＨＭＤ３の表示部３４に表示された第２の表示画面９ｂが重ね合された状態を見る。

第２の表示画面９ｂは、情報端末１が通常表示する表示画面に相当する。この例では、第２の表示画面９ｂは、「受信」の文字を含む表示部品２ａ、「新規作成」の文字を含む表示部品２ｂ、及び「差出人：ＸＸＸ宛先：ＹＹＹＺＺＺの件今、Ａ社の商談を終えたところです。」の文字を含む表示部品２ｃを含んでいる。後述されるように、表示部品２ａ及び表示部品２ｂは省略されてもよい。

システム１０００における、携帯端末１及びＨＭＤ３のハードウェア構成について図２及び図３で説明する。

図２は、携帯端末のハードウェア構成例を示す図である。図２において、携帯端末１は、携帯型の情報処理端末に相当し、コンピュータによって制御されるタブレット型、携帯電話等の情報処理端末であって、ＣＰＵ（Central Processing Unit）１１と、主記憶装置１２と、ユーザＩ／Ｆ（インターフェース）１６と、通信装置１７と、ドライブ装置１８とを有し、バスＢ１に接続される。

ＣＰＵ１１は、主記憶装置１２に格納されたプログラムに従って携帯端末１を制御する。主記憶装置１２には、ＶＲＡＭ（Video Random Access Memory）、ＲＯＭ（Read Only Memory）等が用いられ、ＣＰＵ１１にて実行されるプログラム、ＣＰＵ１１での処理に必要なデータ、ＣＰＵ１１での処理にて得られたデータ等を記憶又は一時保存する。主記憶装置１２に格納されているプログラムが、ＣＰＵ１１に実行されることによって、各種処理が実現される。

ユーザＩ／Ｆ１６は、ＣＰＵ１１の制御のもとに必要な各種情報を表示し、また、ユーザによる操作入力を可能とするタッチパネル等である。通信装置１７は、アンテナ等を介して無線信号を送受信する無線通信、及び、赤外線、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等による近距離無線通信９、インターネット接続等によるネットワーク通信等を制御する装置である。通信装置１７による通信は無線又は有線に限定されるものではない。

携帯端末１によって行われる処理を実現するプログラムは、ネットワークを介して外部装置からダウンロードされる。或いは、携帯端末１の主記憶装置１２に予め記憶されていても良い。

ドライブ装置１８は、ドライブ装置１８にセットされた記憶媒体１９（例えば、ｍｉｃｒｏＳＤ（Secure Digital）メモリカード等）と携帯端末１とのインターフェースを行う。主記憶装置１２及び／又は記憶媒体１９が記憶部１３０に相当する。

携帯端末１は、デスクトップ型、ノートブック型、ラップトップ型等の情報処理端末であっても良く、そのハードウェア構成は、図２のハードウェア構成と同様であるので、その説明を省略する。
図３は、ＨＭＤのハードウェア構成例を示す図である。図３において、ＨＭＤ３は、コンピュータによって制御される、ユーザの身体に装着可能なウェアラブルタイプの情報処理端末であって、通信装置３０と、ＣＰＵ（Central Processing Unit）３１と、メモリ部３２と、表示部３４と、カメラ３５と、電力部３９とを有し、バスＢ３に接続される。

通信装置３０は、アンテナ等を介してＢｌｕｅｔｏｏｔｈ（登録商標）等により近距離無線通信９等を行う。

ＣＰＵ３１は、メモリ部３２に格納されたプログラムに従ってＨＭＤ３を制御する。メモリ部３２には、ＶＲＡＭ（Video Random Access Memory）、ＲＯＭ（Read Only Memory）等が用いられ、ＣＰＵ３１にて実行されるプログラム、表示部３４に表示する画像、ＣＰＵ３１での処理に関するデータ等を記憶又は一時保存する。

表示部３４は、透過型のディスプレイであり、ＣＰＵ３１の制御の下、第２の表示画面９ｂを表示する。表示部３４に第２の表示画面９ｂが表示されることで、ユーザ５は、表示部３４を介して第２の表示画面９ｂが重ねられた実空間の携帯端末１を見る。表示部３４は網膜ディスプレイであってもよい。

カメラ３５は、ユーザ５の視線方向を撮影する。カメラ３５によって撮影された画像は、表示部３４に表示される。電力部３９は、バッテリ等の内部電源であるが、これに限定されるものではない。

次に、携帯端末１及びＨＭＤ３の機能構成について図４及び図５で説明する。図４は、携帯端末の機能構成例を示す図である。図４において、携帯端末１は、主に、アプリケーション２０と、表示制御部２１と、ネットワーク通信部２８と、近距離無線通信部２９とを有する。アプリケーション２０と、表示制御部２１と、ネットワーク通信部２８と、近距離無線通信部２９は、対応するプログラムがＣＰＵ１１に実行させる処理により実現される。

また、記憶部１３０は、モード設定情報２６、第１の表示画面９ａ、第２の表示画面９ｂ、オリジナル画面９ｃ等を記憶する。表示用領域２７は、第１の表示画面９ａ、第２の表示画面９ｂ、オリジナル画面９ｃ等の表示に係る画像を記憶する記憶部１３０のＶＲＡＭに相当する。

アプリケーション２０は、個人情報、機密情報の入力、表示に関する処理を含む、特定の処理を行う。電子メールアプリケーションをアプリケーション２０の例として、説明するた、電子メールアプリケーションに限定されるものではない。

表示制御部２１は、モード判定部２２と、通常モード表示部２３と、機密モード表示部２４とを有する。

モード判定部２２は、記憶部１３０に保持されているモード設定情報２６を参照して、表示制御を切り替える処理部である。モード判定部２２によって、通常モード表示であると判定された場合、通常モード表示部２３による表示制御が行われる。モード判定部２２によって、機密モード表示であると判定された場合、機密モード表示部２４による表示制御が行われる。

モード設定情報２６は、機密モード表示を行う条件を示す。モード設定情報２６による条件例として、ＨＭＤ３との通信接続中、ネットワーク接続中、ユーザ５によって機密モードが指定されている、機密モードにするアプリケーションが指定されている等が相当する。

通常モード表示部２３は、モード判定部２２が通常モード表示であると判定した場合に、既存の表示制御を行う処理部である。通常モード表示部２３は、アプリケーション２０から提供される表示部品１ａ〜１ｃ等とそれらの内容とに基づいてオリジナル画面９ｃを作成し、ユーザＩ／Ｆ１６に表示する。第１実施例に係る第１の表示画面９ａ及び第２の表示画面９ｂは生成されない。

機密モード表示部２４は、モード判定部２２が機密モード表示であると判定した場合に、第１実施例に係る表示制御を行う処理部である。機密モード表示部２４は、アプリケーション２０から提供される表示部品１ａ〜１ｃ等とそれらの内容とに基づいて、第１の表示画面９ａ及び第２の表示画面９ｂを生成し、第１の表示画面９ａを携帯端末１のユーザＩ／Ｆ１６に表示し、第２の表示画面９ｂをＨＭＤ３の表示部３４に表示する。

第１の表示画面９ａは、ユーザ５の操作性を考慮して、操作に係るボタン、入力領域等の表示部品１ａ〜１ｃ等が視認可能な画像である。第１の表示画面９ａにおいて、表示部品１ａ〜１ｃ等は、単色で表される。テキスト、画像、配色等の表示部品１ａ〜１ｃ等の各々の内容は省略され、予め定められた色に置き換えられる。

第２の表示画面９ｂは、アプリケーション２０から提供される表示部品１ａ〜１ｃ等とそれらの内容とをオリジナルの状態で表した画像である。オリジナルの状態で表した画像は、アプリケーション２０が指定した、テキスト、画像、配色等に従って生成した画像に相当する。

ネットワーク通信部２８は、通信Ｉ／Ｆ１７を制御して、インターネット接続を行いネットワーク通信制御を行う処理部である。

近距離無線通信部２９は、通信Ｉ／Ｆ１７を制御して、Ｂｌｕｅｔｏｏｔｈ（登録商標）等による近距離無線通信９の制御を行う処理部である。第１実施例において、ＨＭＤ３との通信制御は、近距離無線通信部２９によって行われる。

図５は、ＨＭＤの機能構成例を示す図である。図５において、ＨＭＤ３は、主に、画像取込部６０と、端末画面表示部６１と、近距離無線通信部６９とを有する。また、メモリ部３２では、カメラ画像７、第２の表示画面９ｂ等がＶＲＡＭに記憶される。

画像取込部６０は、カメラ３５が撮像した画像（カメラ画像７）を取り込んで、メモリ部３２に記憶する。

端末画面表示部６１は、表示部３４から見える携帯端末１の表示域内における位置に、第２の表示画面９ｂの座標を変換して表示する処理部である。携帯端末１が表示部３４に投影された場合の形状に合うように、第２の表示画面９ｂに対して座標変換が行われる。そして、ユーザ５から見える携帯端末１の形状に精度良く合わせて、第２の表示画面９ｂが重ね合わされる。

端末画面表示部６１は、画像認識部６２と、画像重畳部６４とを有する。画像認識部６２は、メモリ部３２からカメラ画像７を読み込んで携帯端末１を認識する画像認識処理を行う処理部である。画像認識部６２は、携帯端末１の画面を認識して、カメラ画像７内における携帯端末１の位置座標、画面の大きさ及び傾き等を検出し、検出した位置座標、大きさ、傾き等を示す画像認識結果８ｒを出力する。画像認識結果８ｒは、メモリ部３２に一時的に保存される。

画像重畳部６４は、画像認識結果８ｒに基づいて、携帯端末１から受信した第２の表示画面９ｂの座標を変換して、携帯端末１の位置に合わせて表示部３４に表示する。画像重畳部６４は、画像認識結果８ｒで示される画面の大きさ及び傾き等に基づいて、携帯端末１から受信した第２の表示画面９ｂの座標を変換し、画像認識結果８ｒで示される携帯端末１の位置座標に基づいて、表示部３４に座標変換後の第２の表示画面９ｂを表示する。

近距離無線通信部６９は、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の通信方式により、通信装置３０を介して、携帯端末１との通信を制御する処理部である。

次に、携帯端末１の表示制御部２１における表示制御処理と、ＨＭＤ１の端末画面表示部６２による端末画面表示処理について、図６から図８にて説明する。図６は、携帯端末における表示制御処理を説明するためのフローチャート図である。図６において、携帯端末１において、表示制御部２１のモード判定部２２は、モード設定情報２６を参照して、表示モードが機密モードであるか否かを判定する（ステップＳ１０１）。

モード判定部２２によって、表示モードが機密モードであると判定されると（ステップＳ１０１のＹＥＳ）、機密モード表示部２４による機密モード表示処理が行われる。

機密モード表示部２４は、アプリケーション２０から提供される表示部品１ａ〜１ｃ等を単色に変更して表示する第１の表示画面９ａを生成して、ユーザＩ／Ｆ１６に表示する（ステップＳ１０２）。第１の表示画面９ａは、記憶部１３０に記憶される。

また、機密モード表示部２４は、表示部品１ａ〜１ｃ等をアプリケーション２０から提供されたオリジナルの内容で表示する第２の表示画面を生成する（ステップＳ１０３）。第２の表示画面９ｂが記憶部１３０に記憶される。第２の表示画面９ｂは、アプリケーション２０が指定した色、テキスト、画像等がそのまま適用された表示部品１ａ〜１ｃで作成された画面である。

そして、機密モード表示部２４は、ＨＭＤ３に第２の表示画面を送信する（ステップＳ１０４）。その後、表示制御部２１は、表示制御が終了したか否かを判断する（ステップＳ１０５）。アプリケーション２０が終了した場合、携帯端末１の電源がオフになった等により、表示制御が終了した場合、表示制御部２１は、この表示制御処理を終了する。

一方、モード判定部２２によって、表示モードが通常モードであると判定されると（ステップＳ１０１のＮＯ）、通常モード表示部２３による通常モード処理が行われる。

通常モード表示部２３は、アプリケーション２０から提供される表示部品１ａ〜１ｃ等をそれらのオリジナルの内容で表示するオリジナル画像９ｃを生成する（ステップＳ１３１）。オリジナル画像９ｃが記憶部１３０に記憶される。

そして、通常モード表示部２３は、オリジナル画像９ｃをユーザＩ／Ｆ１６に表示する（ステップＳ１３２）。オリジナル画像９ｃの表示後、表示制御部２１は、表示制御が終了したか否かを判断する（ステップＳ１０５）。アプリケーション２０が終了した場合、携帯端末１の電源がオフになった等により、表示制御が終了した場合、表示制御部２１は、この表示制御処理を終了する。

次に、ＨＭＤ３における処理全体について説明する。図７は、ＨＭＤにおける処理全体について説明するためのフローチャート図である。図７において、先ず、近距離無線通信部６９は、携帯端末１と近距離無線通信で接続し、第２の表示画面９ｂの受信を開始する（ステップＳ３０２）。

携帯端末１と近距離無線通信が確立すると、画像取込部６０は、カメラ３５を動作開始させて、カメラ画像７の取り込みを開始する（ステップＳ３０２）。カメラ画像７は、メモリ部３２に蓄積される。

端末画像表示部６１において、画像認識部６２は、メモリ部３２からカメラ画像７を読み込んで画像認識処理を行うことにより、携帯端末１を認識する（ステップＳ３０３）。

携帯端末１を認識する方法として、携帯端末１の表示画面の四隅にマーカを表示させて認識してもい。或いは、携帯端末１の画面を認識してもよい。この場合、画像認識処理では、携帯端末１をＨＤＭ１の表示部３４に表示した場合の四隅の座標を検出する。

画像認識部６２は、検出した四隅の座標を用いて、携帯端末１を表示部３４に表示した場合の大きさ、傾き等を計算する。四隅の座標、大きさ、傾き等を示す画像認識結果８ｒがメモリ３２に出力される。

画像重畳部６４は、画像認識結果８ｒに基づいて、第２の表示画面９ｂの座標変換を行う（ステップＳ３０４）。そして、画像重畳部６４は、座標変換した第２の表示画面９ｂを表示部３４から見た携帯端末１の位置に重ね合わせて表示する（ステップＳ３０５）。

端末画面表示部６１は、終了したか否かを判断する（ステップＳ３０６）。終了の判断は、携帯端末１との近距離無線通信が切断された場合、ＨＭＤ３が電源オフになった場合等である。終了でない場合（ステップＳ３０６のＮＯ）、端末画面表示部６１は、ステップＳ３０３へと戻り、次のカメラ画像７を取得して、上述同様の処理を繰り返す。一方、終了した場合（ステップＳ３０６のＹＥＳ）、端末画面表示部６１は、ＨＭＤ３の表示部３４への第２の表示画像９ｂの表示を終了する。

次に、携帯端末１で生成された第２の表示画面９ｂが、ＨＭＤ３で座標変換されて表示部３４に表示された表示例について説明する。図８は、第２の表示画面の表示例を示す図である。

図８（Ａ）では、携帯端末１の記憶部１３０に生成された第１の表示画面９ａ及び第２の表画面９ｂの例を示している。第１の表示画面９ａでは、表示部品１ａ、１ｂ、１ｃ等の領域が判別できる程度に、単色で塗りつぶして表示されている。

図８（Ｂ）では、携帯端末１にアプリケーション２０によって表示されるオリジナル画面９ｃ相当の第２の表示画面９ｂが表示されている。第２の表示画面９ｂによって、実際には、表示部品２ａ、２ｂ、２ｃ、及び２ｄが含まれることが分かる。

図８（Ａ）では、全ての表示部品１ａ〜１ｃ等が単色で表示されるため、表示部品１ｃに更に表示部品が含まれる場合にはその区別がされない場合がある。一例として、表示部品２ｄのようなソフトキー等の表示部品は、その領域を判別させないことで、入力の機密性を確保できる。

図８（Ｂ）のようにＨＭＤ３に表示された第２の表示画面９ｂと、ＨＭＤ３を介して肉眼で見る携帯端末１とが重なることで、ユーザ５は、図１に示すような表示にて、携帯端末１と第２の表示画面９ｂの重ね合せの状態を容易に認識でき、ユーザ５による携帯端末１への操作性をよくすることができる。

次に、マーカによって携帯端末１を認識する場合のマーカの表示例について説明する。図９は、携帯端末の画面四隅にマーカを表示した例を示す図である。図９において、第１の表示画面９ａ'は、第１の表示画面９ａに更にマーカ５ｍが四隅に表示されている。

ＨＭＤ３の認識処理部６２は、カメラ画像７からこれら４個のマーカ５ｍを認識することで、携帯端末１の画面のサイズ、傾き等を精度良く取得できる。マーカ５ｍは、ＡＲマーカ、バーコード、ＱＲコード（登録商標）等でもよく、ＨＭＤ３にて認識できればよく、特に限定されない。

図１０は、第１実施例に係るシステムを公共の場で利用した場合の適用例を示す図である。図１０において、ユーザ５は、他人６が周辺にいるような公共の場において、第１実施例に係るシステム１０００を利用している状態を示している。

オリジナル画面９ｃに相当する第２の表示画面９ｂは頭部に装着したＨＭＤ３に表示され、携帯端末１には、第１の表示画像９ａが表示されるため、ユーザ５は、他人６が携帯端末１の表示を見ようとしても、内容を見ることができない。他人６に機密情報等の内容を知られることがない。また、ソフトキー等の表示部品２ｄが携帯端末１に表示されないことから、他人６は、ユーザ５の操作のみから、入力した情報を予測することは困難となる。

上述したように、携帯端末１とＨＭＤ３とで、オリジナル画面９ｃの表示を同期させる既存のミラーキャストとは異なり、第１実施例における携帯端末１とＨＭＤ３とでは、表示状態が異なる。図１１から図１３において、アプリケーション２０が電子メールアプリである場合の、携帯端末１とＨＭＤ３とにおいて同時期に表示される画面例を示す。

図１１は、携帯端末には内容を表示しない表示例を示す図である。携帯端末１では、上述した第１の表示画面９ａが表示されている。表示部品１ａ〜１ｃは、単色で表示されるのみである。

一方、ＨＭＤ３では、第２の表示画面９ｂが表示されることにより、オリジナルの内容で表示部品２ａから２ｄが表示されている。表示部品２ａから２ｃは、表示部品１ａ〜１ｃに相当し、表示部品２ｃ及び１ｃは、メール内容を表示する部品である。オリジナルの内容が表示されることによって、ＨＭＤ３では、ソフトキーの表示部品２ｄに各キーに割り当てた文字等が表示される。

携帯端末１の第１の表示画面９ａでは、ソフトキーの配列を知ることができない。また、ソフトキー配列は、英数字、カナへの文字種別の変更等によって変化するが、現在のソフトキー配列が英数字であるのか、カナであるのかを知ることはできない。

ＨＭＤ３の第２の表示画面９ｂを見るユーザ５は、ＨＭＤ３に表示されたソフトキーから選択したキーの位置と携帯端末１の表示部品１ｃ内の位置とを対応付けなければならないが、ユーザ５は、単色の表示部品１ｃの領域と、オリジナル内容が表示される表示部品２ｃの重ね合せを目視によって容易に行なえるため、携帯端末１でのキー位置を特定しやすく、携帯端末１へのキー操作を容易に行なうことができる。

図１２は、携帯端末にマーカを表示する表示例を示す図である。携帯端末１では、機密情報が表示される表示部品１ｃには、オリジナル内容の代わりに、マーカ６ｍを表示する。この例では、オリジナル内容はメール内容であり、メール内容の代わりにマーカ６ｍが表示される。

マーカ６ｍに、携帯端末１のサイズ等を含めてもよい。ＨＭＤ３におて、マーカ６ｍを画像認識処理により検知することで、マーカ６ｍから携帯端末１のサイズを取得してもよい。一方、マーカ６ｍにサイズを含めなくてもよい。マーカ６ｍの画像パターンを利用することで、携帯端末１の傾きの算出を容易に行なえる。この場合、携帯端末１の種別に依存せず、所定の画像パターンでマーカ６ｍを表示すればよい。マーカ６ｍは、ＡＲマーカ、バーコード、ＱＲコード等でもよく、ＨＭＤ３にて認識できればよく、特に限定されない。

図１１及び図１２の表示例では、表示部品１ａから１ｃを単色で表示するこで、ユーザ５は、第１の表示画面９ａと第２の表示画面９ｂとの重ね合せの程度を容易に視認できるため、入力するキーの位置間違いなどの不安なく、キー入力操作を行える。例えば、重ね合せに多少のズレが生じたとしても、ズレを認識してキー入力を行えるため、操作性が良くなる。

図１３は、携帯端末には機密情報に係る内容を表示しない表示例を示す図である。携帯端末１では、機密情報が表示される表示部品１ｃが単色で表示される。ユーザ５は、ＨＭＤ３で、表示部品１ｃに重ね合された第２の表示画面９ｂの表示部品２ｃ及び２ｄを見ることができる。表示部品１ｃが単色で表されることにより、第２の表示画面９ｂの表示部品２ｃ及び２ｄの重なりを容易に確認できる。

ユーザ５は、メール内容の内容を他人に見られることなく確認できると共に、キー入力操作性も良い。

図１３の例では、携帯端末１における表示部品１ａ及び１ｂでは、文字、色等のオリジナル内容が表示されている。第２の表示画面９ｂでは、表示部品１ａ及び１ｂに相当する表示部品１ａ及び１ｂを省略した例を示している。

図１１及び図１２の表示例同様に、ユーザ５は、メール内容を他人６に読まれる心配なく、メール内容を見ることができる。また、ユーザ５は、作成中のメール内容を他人６に読まれることなく、キー入力が行える。携帯端末１に表示された単色の表示部品１ｃとＨＭＤ３に表示された表示部品２ｃとの重なりを容易に認識できるため、表示部品２ｄの表示を参照することで、キー入力も容易となる。

上述した第１実施例では、携帯端末１に対して操作する場合で説明したが、ユーザ５の指５ｆによる入力操作の対象は、携帯端末１に限定されない。ユーザ５は、空中で、指５ｆでＨＭＤ３に表示されたキー位置を特定するように操作してもよい。

また、空中で操作した場合、操作した実感が無いことにより不安を感じる場合は、携帯端末１以外のものを疑似対象物としてもよい。疑似対象物は、身近に存在するもので良く、例として、手帳、箱、単行本、飲み物のカップ類等の実体を有するものである。

携帯端末１以外の疑似対象物に行う第２実施例について、図１４で説明する。図１４は、第２実施例を説明するための図である。

図１４に示すシステム１００２では、第１実施例と同様に、携帯端末１とヘッドマウントディスプレイ（ＨＭＤ）３とを有し、携帯端末１とＨＭＤ３とは、近距離無線通信９にて接続される。第１実施例との違いは、ユーザ５は、携帯端末１をポケット５ｐ等に入れ、携帯端末１への操作は、疑似対象物１−２に対して行っている。

携帯端末１は、第１実施例同様に、機密モードの場合は、第２の表示画面９ｂをＨＭＤ３に送信する。第２実施例では、携帯端末１のユーザＩ／Ｆ１６へは何ら表示しなくてよい。ユーザＩ／Ｆ１６の表示領域全体が単色で表示されてもよいし、所定の壁紙が表示されてもよい。

ＨＭＤ３は、第２の表示画面９ｂを受信すると、表示部３４の所定位置に表示する。ユーザ５は、携帯端末１をポケット５ｐ等に入れ、ＨＭＤ３に表示された第２の表示画面９ｂを参照して、指５ｆで操作する。

第２実施例では、ＨＭＤ３は、第１実施例のように、携帯端末１を認識して、受信した第２の表示画面９ｂを重ね合わせる処理を行わないが、指５ｆを認識して、表示部３４に表示した第２の表示画面９ｂでの位置を検出して、指座標情報４ｐを携帯端末１に送信する。

携帯端末１は、指座標情報４ｐを受信すると、指座標情報４ｐをキー／又はボタンの選択イベントとしてアプリケーション２０へ通知する。

第２実施例では、他人６が機密情報を読み取ることは困難であるため、機密情報の漏えいはより一層抑制される。

第１実施例及び第２実施例における機密情報の表示制御では、機密情報の漏えいを防止すると共に、ユーザ５の操作性を改善できる。

本発明は、具体的に開示された実施例に限定されるものではなく、特許請求の範囲から逸脱することなく、主々の変形や変更が可能である。

以上の第１〜第２実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
特定の端末から受信した画像をディスプレイの表示領域に表示する表示制御方法において、
撮像装置により撮像された画像に前記特定の端末の画像又は前記特定の端末に対応付けられた画像が含まれることを検出すると、前記特定の端末から受信した画像を、前記ディスプレイの表示領域の内、前記特定の端末に対応する位置に表示するように制御する、
処理をコンピュータが実行することを特徴とする表示制御方法。
（付記２）
前記撮像装置により撮像された画像に前記特定の端末に対応付けられたマーカの画像が含まれる場合、前記特定の端末から受信した前記画像を前記ディスプレイに表示する、
ことを特徴とする付記１に記載の表示制御方法。
（付記３）
前記マーカの画像は、前記特定の端末のディスプレイに表示されたものである、
ことを特徴とする付記２に記載の表示制御方法。
（付記４）
前記撮像装置により撮像された画像内における、前記マーカの位置を取得し、
前記特定の端末から受信した前記画像を、前記ディスプレイの表示領域の内、取得した前記位置に応じた位置に表示する、
ことを特徴とする付記２又は３に記載の表示制御方法。
（付記５）
前記ディスプレイは、透過型ディスプレイである、
ことを特徴とする付記１乃至４の何れかに記載の表示制御方法。
（付記６）
前記ディスプレイは、網膜ディスプレイである、
ことを特徴とする付記１乃至４の何れかに記載の表示制御方法。
（付記７）
前記端末のディスプレイへの表示に係る複数の表示部品の１以上を単色で塗り潰して該端末のディスプレイに表示する、
ことを特徴とする付記１乃至６の何れかに記載の表示制御方法。
（付記８）
特定の端末から受信した画像をディスプレイの表示領域に表示する表示制御プログラムにおいて、
撮像装置により撮像された画像に前記特定の端末の画像又は前記特定の端末に対応付けられた画像が含まれることを検出すると、前記特定の端末から受信した画像を、前記ディスプレイの表示領域の内、前記特定の端末に対応する位置に表示するように制御する、
処理をコンピュータに実行させることを特徴とする表示制御プログラム。
（付記９）
特定の端末から受信した画像をディスプレイの表示領域に表示するウェアラブルデバイスにおいて、
撮像装置により撮像された画像に前記特定の端末の画像又は前記特定の端末に対応付けられた画像が含まれるか否かを判定する判定部と、
前記特定の端末の画像又は前記特定の端末に対応付けられた画像が含まれると判定された場合、前記特定の端末から受信した画像を、前記ディスプレイの表示領域の内、前記特定の端末に対応する位置に表示する表示制御部と、
を有することを特徴とするウェアラブルデバイス。
（付記１０）
端末のディスプレイに表示する表示部品を単色で塗り潰した画像を生成して該ディスプレイに表示し、オリジナルの内容で前記表示部品を表した画像を、他のディスプレイに表示する表示制御部
を有することを特徴とする情報処理端末。
（付記１１）
撮像装置により撮像された画像に対して、前記端末の画像又は前記端末に対応付けられた画像を検出する画像認識処理を行う画像認識部と、
前記画像認識処理の結果に基づいて、通信装置が受信した表示画像を、表示領域の内、前記端末に対応する位置に表示する画像重畳部と、
を有することを特徴とするウェアラブルデバイス。
（付記１２）
通信装置が受信した表示画像を表示領域に表示し、
撮像装置により撮像された画像に対して、指の画像を検出する画像認識処理を行い、
前記画像認識処理の結果に基づいて得られた前記指の位置を示す指座標情報を、前記通信装置によって、前記表示画像の送信元に送信する、
処理をコンピュータが実行することを特徴とする表示制御方法。

１携帯端末
３ＨＭＤ
４ｐ指座標情報
７カメラ画像
８ｒ画像認識結果
９ａ第１の表示画面、９ｂ第２の表示画面
１１ＣＰＵ、１２主記憶装置
１６ユーザＩ／Ｆ、１７通信装置
１８ドライブ装置、１９記憶媒体
１３０記憶部
２０アプリケーション
２１表示制御部、２２モード判定部
２３通常モード表示部、２４機密モード表示部
２６モード設定情報、２７表示画像領域
２８ネットワーク通信部
２９近距離無線通信部
３０通信装置
３１ＣＰＵ、３２メモリ部
３４表示部、３５カメラ
３９電力部
６０画像取込部
６１端末画面表示部
６２認識処理部
６４画像重畳部
６９近距離無線通信部

Claims

特定の端末から受信した画像をディスプレイの表示領域に表示する表示制御方法において、
撮像装置により撮像された画像に前記特定の端末の画像又は前記特定の端末に対応付けられた画像が含まれることを検出すると、前記特定の端末から受信した画像を、前記ディスプレイの表示領域の内、前記特定の端末に対応する位置に表示するように制御する、
処理をコンピュータが実行することを特徴とする表示制御方法。
前記撮像装置により撮像された画像に前記特定の端末に対応付けられたマーカの画像が含まれる場合、前記特定の端末から受信した前記画像を前記ディスプレイに表示する、
ことを特徴とする請求項１に記載の表示制御方法。
前記マーカの画像は、前記特定の端末のディスプレイに表示されたものである、
ことを特徴とする請求項２に記載の表示制御方法。
前記撮像装置により撮像された画像内における、前記マーカの位置を取得し、
前記特定の端末から受信した前記画像を、前記ディスプレイの表示領域の内、取得した前記位置に応じた位置に表示する、
ことを特徴とする請求項２又は３に記載の表示制御方法。
前記ディスプレイは、透過型ディスプレイである、
ことを特徴とする請求項１乃至４の何れかに記載の表示制御方法。
前記ディスプレイは、網膜ディスプレイである、
ことを特徴とする請求項１乃至５の何れかに記載の表示制御方法。
特定の端末から受信した画像をディスプレイの表示領域に表示する表示制御プログラムにおいて、
撮像装置により撮像された画像に前記特定の端末の画像又は前記特定の端末に対応付けられた画像が含まれることを検出すると、前記特定の端末から受信した画像を、前記ディスプレイの表示領域の内、前記特定の端末に対応する位置に表示するように制御する、
処理をコンピュータに実行させることを特徴とする表示制御プログラム。
特定の端末から受信した画像をディスプレイの表示領域に表示するウェアラブルデバイスにおいて、
撮像装置により撮像された画像に前記特定の端末の画像又は前記特定の端末に対応付けられた画像が含まれるか否かを判定する判定部と、
前記特定の端末の画像又は前記特定の端末に対応付けられた画像が含まれると判定された場合、前記特定の端末から受信した画像を、前記ディスプレイの表示領域の内、前記特定の端末に対応する位置に表示する表示制御部と、
を有することを特徴とするウェアラブルデバイス。