JP2018045596A - 情報処理システム、装置、情報処理方法、コンピュータプログラム、及び記憶媒体 - Google Patents
情報処理システム、装置、情報処理方法、コンピュータプログラム、及び記憶媒体 Download PDFInfo
- Publication number
- JP2018045596A JP2018045596A JP2016181767A JP2016181767A JP2018045596A JP 2018045596 A JP2018045596 A JP 2018045596A JP 2016181767 A JP2016181767 A JP 2016181767A JP 2016181767 A JP2016181767 A JP 2016181767A JP 2018045596 A JP2018045596 A JP 2018045596A
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- displayed
- unit
- notification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Digital Computer Display Output (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
図1は、本実施形態の情報処理システムのハードウェア構成図である。情報処理システム100は、第1装置101及び第2装置102を備える。第1装置101及び第2装置102は、通信路103を介して相互に通信可能に接続される。通信路103は、無線LAN(Local Area Network)や近距離無線通信(例えば、ブルートゥース(登録商標))等の無線通信により実現される。第1装置101は、例えばスマートフォン等のディスプレイを備える情報処理装置である。第2装置102は、例えば透過型ディスプレイを搭載した装置である。本実施形態では第2装置120をメガネ型ディスプレイとして説明するが、透過型ディスプレイを搭載した装置であればこれに限られない。
このような構成の情報処理システム100により、第1装置101と第2装置102との間でオブジェクトを移動させる際の処理について説明する。第1装置101と第2装置102とが協働してこの処理を行う。この処理の開始時に第1装置101と第2装置102とは通信路103により通信可能に接続され、第1制御部203と第2制御部215との間のペアリング処理が完了している。
第2装置102からのオブジェクトの移動通知がある場合、第1制御部203は、通信部204を介して第2装置102から移動対象となるオブジェクトのプロパティ情報を取得する(S302)。なお、S301の処理においてプロパティ情報の取得により移動通知の取得を判定する場合、第1制御部203は、S302の処理で改めてプロパティ情報を取得する必要はない。第1制御部203は、描画部202により、取得したプロパティ情報に基づくオブジェクトの表示位置に、プロパティ情報を表示する(S303)。オブジェクトを通信路103を介して取得するために、オブジェクトの実体の取得には遅延が発生する。そのために第1装置101は、ユーザの操作感を損なわないように、伝送時間が比較的短いプロパティ情報を事前に第1表示デバイス105に表示する。
第2装置102からのオブジェクトの移動通知がない場合、第1制御部203は、オブジェクト状態判定部201により、既に第1表示デバイス105に表示されているオブジェクトのタッチ状態を判定する(S320)。オブジェクト状態判定部201は、表示中のオブジェクトの表示位置と、第1表示デバイス105のタッチパッドが検知したタッチ位置とから、オブジェクトのタッチ状態を判定する。タッチされているオブジェクトがない場合(S320:N)、第1制御部203は、S301の処理に戻り、第2装置102からの次のオブジェクトの移動通知判定を行う。
移動通知があり且つ第1表示デバイス105が重畳状態にある場合、第2制御部215は、通信部216を介して第1装置101から移動対象となるオブジェクトのプロパティ情報を取得する(S410)。なお、S401の処理においてプロパティ情報の取得により移動通知の取得を判定する場合、第2制御部215は、S410の処理で改めてプロパティ情報を取得する必要はない。第2制御部215は、プロパティ情報の取得に応じて、描画部214により、第2表示デバイス112にオブジェクトが移動中であることを表す効果画像を表示する(S411)。
移動通知がなく且つ第1表示デバイス105が重畳状態にある場合、第2制御部215は、識別部212により、第1表示デバイス105に重畳表示されるオブジェクトを判定する(S420)。識別部212は、撮像部211で取得した撮像画像に基づいて、第2表示デバイス112が表示し、且つ第1表示デバイス105に重畳表示されるオブジェクトを判定する。重畳表示されるオブジェクトがない場合(S420:N)、第2制御部215は、オブジェクトの移動を行わずに処理を終了する。
図5〜図9は、第2装置102から第1装置101へオブジェクトを移動させる場合の具体例の説明図である。第1装置101はスマートフォンであり、第2装置102はメガネ型ディスプレイである。メガネ型ディスプレイの第2表示デバイス112は、透過型ディスプレイである。第2装置102から第1装置101へオブジェクトを移動させるために、図3のS302以降の処理及び図4の420以降の処理が行われる。
図10〜図12は、第2装置102から第1装置101へオブジェクトを移動させる場合の別の具体例の説明図である。第1装置101はスマートフォンであり、第2装置102はメガネ型ディスプレイである。メガネ型ディスプレイの第2表示デバイス112は、透過型ディスプレイである。ここでは、実施例1の場合よりもメガネ型ディスプレイにおける移動対象のオブジェクトの特定を、より簡便にする処理について説明する。第2装置102から第1装置101へオブジェクトを移動させるために、図3のS302以降の処理及び図4の420以降の処理が行われる。
図13〜図16は、第1装置101から第2装置102へオブジェクトを移動させる場合の具体例の説明図である。第1装置101はスマートフォンであり、第2装置102はメガネ型ディスプレイである。メガネ型ディスプレイの第2表示デバイス112は、透過型ディスプレイである。第1装置101から第2装置102へオブジェクトを移動させるために、図3のS320以降の処理及び図4のS410以降の処理が行われる。
Claims (15)
- 相互に通信可能な第1装置及び第2装置を有し、
前記第1装置は、
画像を表示する第1表示手段と、
前記第1表示手段の表示画面上で指示された位置を検知するタッチ位置検知手段と、
前記タッチ位置検知手段で検知した前記タッチ位置に表示される画像を前記第2装置に移動させる画像に特定して、前記第2装置に移動通知を送信する第1制御手段と、を備え、
前記第2装置は、
透過型ディスプレイを有する第2表示手段と、
前記第2表示手段の視野を撮像範囲として、前記第2表示手段に表示される画像を含んで撮像する撮像手段と、
前記撮像手段で撮像した撮像画像に前記第1表示手段が含まれ且つ前記第1装置から前記移動通知があるときに、前記第1装置から特定された前記画像を取得し、前記撮像画像の当該画像が表示される位置及びサイズに応じた位置及びサイズで、前記第2表示手段に当該画像を表示させる第2制御手段と、を備えることを特徴とする、
情報処理システム。 - 前記第1制御手段は、移動させる前記画像のプロパティ情報を前記移動通知として前記第2装置に送信し、
前記第2制御手段は、前記プロパティ情報の取得に応じて、前記第2表示手段に、移動させる前記画像が移動中であることを表す効果画像を表示させることを特徴とする、
請求項1記載の情報処理システム。 - 前記第1制御手段は、前記タッチ位置検知手段がタッチ解除を検知したときにタッチ状態の解除通知を前記第2装置に送信し、
前記第2制御手段は、前記解除通知を取得した後の前記撮像画像に前記第1表示手段が含まれないときに、前記移動させる画像の移動を中止し、前記解除通知を取得した後の前記撮像画像に前記第1表示手段が含まれるときに、前記第1装置に移動済み通知を送信し、
前記第1制御手段は、前記移動済み通知を受信したときに前記移動させる画像をアンインストールすることを特徴とする、
請求項1又は2記載の情報処理システム。 - 相互に通信可能な第1装置及び第2装置を有し、
前記第1装置は、
画像を表示する第1表示手段と、
第1制御手段と、を備え、
前記第2装置は、
透過型ディスプレイを有する第2表示手段と、
前記透過型ディスプレイの視野を撮像範囲として、前記第2表示手段に表示される画像を含んで撮像する撮像手段と、
前記撮像手段で撮像した撮像画像に含まれる前記第2表示手段に表示された画像の前記第1装置に対する位置に応じて、該画像を前記第1装置に移動させるかを判定し、移動させる場合に、該画像の前記第1装置に対する位置及び該画像の前記第1装置に対するサイズに応じた表示位置及び表示サイズを表すプロパティ情報を、該画像とともに前記第1装置へ送信する第2制御手段と、を備え、
前記第1制御手段は、前記第2装置から取得した前記画像を、取得した前記プロパティ情報が表す前記表示位置及び前記表示サイズで、前記第1表示手段に表示させることを特徴とする、
情報処理システム。 - 前記第2制御手段は、前記撮像画像に含まれる前記第2表示手段に表示された画像が前記第1表示手段に重畳するときに、該画像を前記第1装置に移動させると判定し、該画像の前記第1表示手段に重畳する位置及びサイズに応じて前記プロパティ情報を生成することを特徴とする、
請求項4記載の情報処理システム。 - 前記第1装置は、前記第1表示手段の表示画面上で指示された位置を検知するタッチ位置検知手段を備えており、
前記第1制御手段は、前記タッチ位置検知手段により、前記第1表示手段に表示される前記第2装置から取得した前記画像の表示位置がタッチされたことを検知すると、前記第2装置に該画像がタッチされたことを通知し、タッチが解除されると、前記第2装置にタッチ状態の解除を通知し
前記第2制御手段は、前記タッチされたことの通知を取得した後に前記タッチ状態の解除の通知を取得したときに、前記撮像画像に前記第1装置が含まれなければ、前記第1装置に移動させた前記画像をアンインストールすることを特徴とする、
請求項4又は5記載の情報処理システム。 - 第1表示手段を有する第1装置との通信を制御する通信手段と、
透過型ディスプレイを有する第2表示手段と、
前記透過型ディスプレイの視野を撮像範囲として、前記第2表示手段に表示される画像を含んで撮像する撮像手段と、
前記撮像手段で撮像した撮像画像に含まれる前記第2表示手段に表示された画像の前記第1装置に対する位置に応じて、該画像を前記第1装置に移動させるかを判定し、移動させる場合に、該画像の前記第1装置に対する位置及び該画像の前記第1装置に対するサイズに応じた表示位置及び表示サイズで、該画像を、前記第1装置の前記第1表示手段に表示させる制御手段と、を備えることを特徴とする、
装置。 - 前記制御手段は、前記撮像画像に含まれる前記第2表示手段に表示された画像が、前記第1表示手段の表示画面上に重畳されれば、該画像を前記第1装置に移動させる画像に特定し、特定した前記画像が重畳される前記第1表示手段の表示画面の位置に、特定した前記画像が重畳されるサイズで、特定した前記画像を表示させることを特徴とする、
請求項7記載の装置。 - 前記第2表示手段は、表示画面が、それぞれに画像が表示される複数のエリアに分割されており、
前記制御手段は、前記撮像画像の前記第1装置が含まれるエリアに表示される画像を前記第1装置に移動させる画像に特定することを特徴とする、
請求項7記載の装置。 - 前記制御手段は、前記撮像手段で撮像した撮像画像に前記第1表示手段が含まれ且つ前記第1装置から画像の移動通知があるときに、前記第1装置から当該画像を取得し、前記撮像画像の当該画像が表示される位置及びサイズに応じた位置及びサイズで、前記第2表示手段に当該画像を表示させることを特徴とする、
請求項7〜9のいずれか1項記載の装置。 - 前記第2表示手段は、メガネ型ディスプレイであり、
前記撮像手段は、前記透過型ディスプレイの視野を撮像範囲として撮像することを特徴とする、
請求項7〜10のいずれか1項記載の装置。 - 画像を表示する第1表示手段及び前記第1表示手段の表示画面上で指示された位置を検知するタッチ位置検知手段を備える第1装置と、透過型ディスプレイを有する第2表示手段及び前記第2表示手段の視野を撮像範囲として、前記第2表示手段に表示される画像を含んで撮像する撮像手段を備える第2装置とを有し、前記第1装置と前記第2装置とが通信可能な情報処理システムにより実行される方法であって、
前記第1装置が、前記タッチ位置検知手段で検知した前記タッチ位置に表示される画像を前記第2装置に移動させる画像に特定して、前記第2装置に移動通知を送信し、
前記第2装置が、前記撮像手段で撮像した撮像画像に前記第1表示手段が含まれ且つ前記第1装置から前記移動通知があるときに、前記第1装置から特定された前記画像を取得し、前記撮像画像の当該画像が表示される位置及びサイズに応じた位置及びサイズで、前記第2表示手段に当該画像を表示させることを特徴とする、
情報処理方法。 - 画像を表示する第1表示手段を備える第1装置と、透過型ディスプレイを有する第2表示手段及び前記第2表示手段の視野を撮像範囲として、前記第2表示手段に表示される画像を含んで撮像する撮像手段を備える第2装置とを有し、前記第1装置と前記第2装置とが通信可能な情報処理システムにより実行される方法であって、
前記第2装置が、前記撮像手段で撮像した撮像画像に含まれる前記第2表示手段に表示された画像の前記第1装置に対する位置に応じて、該画像を前記第1装置に移動させるかを判定し、移動させる場合に、該画像の前記第1装置に対する位置及び該画像の前記第1装置に対するサイズに応じた表示位置及び表示サイズを表すプロパティ情報を、該画像とともに前記第1装置へ送信し、
前記第1装置が、前記第2装置から取得した前記画像を、取得した前記プロパティ情報が表す前記表示位置及び前記表示サイズで、前記第1表示手段に表示させることを特徴とする、
情報処理方法。 - 第1表示手段を有する第1装置との通信を制御する通信手段と、透過型ディスプレイを有する第2表示手段と、前記透過型ディスプレイの視野を撮像範囲として、前記第2表示手段に表示される画像を含んで撮像する撮像手段と、を備えるコンピュータを、
前記撮像手段で撮像した撮像画像に含まれる前記第2表示手段に表示された画像の前記第1装置に対する位置に応じて、該画像を前記第1装置に移動させるかを判定し、移動させる場合に、該画像の前記第1装置に対する位置及び該画像の前記第1装置に対するサイズに応じた表示位置及び表示サイズで、該画像を、前記第1装置の前記第1表示手段に表示させる制御手段、
として機能させるためのコンピュータプログラム。 - 請求項14記載のコンピュータプログラムを記憶するコンピュータにより読み取り可能な記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016181767A JP6742871B2 (ja) | 2016-09-16 | 2016-09-16 | 情報処理システム、装置、情報処理方法、コンピュータプログラム、及び記憶媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016181767A JP6742871B2 (ja) | 2016-09-16 | 2016-09-16 | 情報処理システム、装置、情報処理方法、コンピュータプログラム、及び記憶媒体 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018045596A true JP2018045596A (ja) | 2018-03-22 |
JP2018045596A5 JP2018045596A5 (ja) | 2019-10-17 |
JP6742871B2 JP6742871B2 (ja) | 2020-08-19 |
Family
ID=61693199
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016181767A Active JP6742871B2 (ja) | 2016-09-16 | 2016-09-16 | 情報処理システム、装置、情報処理方法、コンピュータプログラム、及び記憶媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6742871B2 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013200775A (ja) * | 2012-03-26 | 2013-10-03 | Sony Corp | 情報処理装置、情報処理方法およびプログラム |
JP2015014977A (ja) * | 2013-07-08 | 2015-01-22 | コニカミノルタ株式会社 | 画像処理システム、画像形成装置、表示装置、表示方法、および制御プログラム |
JP2015115046A (ja) * | 2013-12-16 | 2015-06-22 | ソニー株式会社 | 情報処理装置、プログラム、情報処理方法及び情報処理システム |
JP2015135563A (ja) * | 2014-01-16 | 2015-07-27 | カシオ計算機株式会社 | 表示システム、表示端末、表示方法及びプログラム |
JP2016099702A (ja) * | 2014-11-19 | 2016-05-30 | キヤノン株式会社 | 装置連携による認証管理方法、情報処理装置、ウェアラブルデバイス、コンピュータプログラム |
-
2016
- 2016-09-16 JP JP2016181767A patent/JP6742871B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013200775A (ja) * | 2012-03-26 | 2013-10-03 | Sony Corp | 情報処理装置、情報処理方法およびプログラム |
JP2015014977A (ja) * | 2013-07-08 | 2015-01-22 | コニカミノルタ株式会社 | 画像処理システム、画像形成装置、表示装置、表示方法、および制御プログラム |
JP2015115046A (ja) * | 2013-12-16 | 2015-06-22 | ソニー株式会社 | 情報処理装置、プログラム、情報処理方法及び情報処理システム |
JP2015135563A (ja) * | 2014-01-16 | 2015-07-27 | カシオ計算機株式会社 | 表示システム、表示端末、表示方法及びプログラム |
JP2016099702A (ja) * | 2014-11-19 | 2016-05-30 | キヤノン株式会社 | 装置連携による認証管理方法、情報処理装置、ウェアラブルデバイス、コンピュータプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6742871B2 (ja) | 2020-08-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2014042320A1 (en) | Apparatus and method of providing user interface on head mounted display and head mounted display thereof | |
JP6105822B1 (ja) | タッチスクリーンの制御方法及び装置 | |
US20160269578A1 (en) | Head mounted display apparatus and method for connecting head mounted display apparatus to external device | |
CN104853128A (zh) | 投影系统以及投影方法 | |
WO2014141591A1 (en) | Information processing apparatus which cooperate with other apparatus, and method for controlling the same | |
JP6304145B2 (ja) | 情報処理装置、画像形成装置の設定条件指定方法 | |
JP6179653B1 (ja) | 情報処理装置及びプログラム | |
KR20160061133A (ko) | 이미지 표시 방법 및 그 전자 장치 | |
JP2014157530A (ja) | 情報処理端末、情報処理装置、情報処理システム及びプログラム | |
WO2017209409A1 (ko) | 구형 컨텐츠 편집 방법 및 이를 지원하는 전자 장치 | |
JP6295995B2 (ja) | 情報処理装置、画像処理装置へのジョブ指示方法 | |
JP2019095595A (ja) | 通信装置、表示装置、それらの制御方法、プログラムならびに表示システム | |
EP3041218B1 (en) | Information processing device, imaging device, imaging system, information processing device control method, imaging device control method and program | |
JP2017084100A (ja) | 情報通信端末、共有管理装置、情報共有方法、コンピュータプログラム | |
JP6136667B2 (ja) | 画像処理システム、画像形成装置、表示装置、および制御プログラム | |
US20190129563A1 (en) | Program, computer apparatus, program execution method, and system | |
JP6742871B2 (ja) | 情報処理システム、装置、情報処理方法、コンピュータプログラム、及び記憶媒体 | |
US10523827B2 (en) | Information processing device and information processing system | |
WO2016006070A1 (ja) | 携帯情報端末装置及びそれと連携するヘッドマウントディスプレイ | |
CN107924272B (zh) | 信息处理装置、信息处理方法和程序 | |
JP7210229B2 (ja) | 表示制御装置、表示制御装置の制御方法及びプログラム | |
WO2018070766A1 (ko) | 콘텐츠 출력 방법 및 이를 지원하는 전자 장치 | |
KR102221626B1 (ko) | 통신기능을 구비한 모바일 디바이스용 원격제어 지원 장치 | |
JP2013200654A (ja) | 表示制御装置、表示制御方法、情報表示システム及びプログラム | |
JP7247239B2 (ja) | iOSを搭載する移動機端末のポインタを操作する自動設定プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190902 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190902 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200514 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200602 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200617 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200630 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200729 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6742871 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |