JP2022102885A - 情報処理装置、情報処理システムおよびプログラム - Google Patents
情報処理装置、情報処理システムおよびプログラム Download PDFInfo
- Publication number
- JP2022102885A JP2022102885A JP2020217914A JP2020217914A JP2022102885A JP 2022102885 A JP2022102885 A JP 2022102885A JP 2020217914 A JP2020217914 A JP 2020217914A JP 2020217914 A JP2020217914 A JP 2020217914A JP 2022102885 A JP2022102885 A JP 2022102885A
- Authority
- JP
- Japan
- Prior art keywords
- display
- screen
- information processing
- displayed
- display screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 65
- 239000011521 glass Substances 0.000 description 97
- 230000015654 memory Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 10
- 238000000034 method Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 239000003550 marker Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 210000003128 head Anatomy 0.000 description 5
- 239000013307 optical fiber Substances 0.000 description 5
- 208000008918 voyeurism Diseases 0.000 description 5
- 230000003190 augmentative effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 244000144985 peep Species 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 230000004270 retinal projection Effects 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 235000013410 fast food Nutrition 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
- G06F21/82—Protecting input, output or interconnection devices
- G06F21/84—Protecting input, output or interconnection devices output devices, e.g. displays or monitors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/37—Details of the operation on graphic patterns
- G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0185—Displaying image at variable distance
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2358/00—Arrangements for display data security
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Computer Hardware Design (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Computer Security & Cryptography (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
【課題】覗き見される恐れのある情報端末装置の表示画面に情報を表示する場合に比較して、第三者による表示画面の覗き見から作業中の情報の秘匿が可能な情報処理装置、情報処理システム及びプログラムを提供する。
【解決手段】情報処理システムにおいて、端末装置２０は、仮想の画面を現実空間と重畳して表示する表示手段と、プロセッサと、を備える。プロセッサは、ディスプレイ１０２を有する端末装置１０で、ディスプレイ１０２に表示する表示内容を、ディスプレイ１０２で表示する代わりに、仮想の画面としてディスプレイ１０２に重ねて表示する。
【選択図】図２
【解決手段】情報処理システムにおいて、端末装置２０は、仮想の画面を現実空間と重畳して表示する表示手段と、プロセッサと、を備える。プロセッサは、ディスプレイ１０２を有する端末装置１０で、ディスプレイ１０２に表示する表示内容を、ディスプレイ１０２で表示する代わりに、仮想の画面としてディスプレイ１０２に重ねて表示する。
【選択図】図２
Description
本発明は、情報処理装置、情報処理システム、プログラムに関する。
近年のモバイルコンピューティングやネットワークの技術進化により、テレワーク等で情報端末装置を使い作業をすることがある。この場合、自宅にとどまらず、例えば、外出先で作業をすることがある。
特許文献１には、リアル画面を表示する情報端末と、リアル画面とは異なる拡張現実の表示画面である仮想画面を表示する拡張現実ＡＲグラスを備えるマルチディスプレイシステムが記載されている。拡張現実ＡＲグラスは、情報端末により表示されたリアル画面の位置範囲を検出すると共に、検出したリアル画面の位置範囲と、仮想画面の位置範囲とが重ならないように、仮想画面の表示位置を制御する。
例えば、外出先で作業をする場合、ノートパソコンやタブレット端末、スマートフォンなどの情報端末装置の表示画面に表示される画像を第三者に覗き見されるリスクが生じる。
本発明は、覗き見される恐れのある情報端末装置の表示画面に情報を表示する場合に比較して、第三者による表示画面の覗き見から作業中の情報の秘匿が可能な情報処理装置等を提供することを目的とする。
本発明は、覗き見される恐れのある情報端末装置の表示画面に情報を表示する場合に比較して、第三者による表示画面の覗き見から作業中の情報の秘匿が可能な情報処理装置等を提供することを目的とする。
請求項１に記載の発明は、仮想の画面を現実空間と重畳して表示する表示手段と、プロセッサと、を備え、前記プロセッサは、表示画面を有する外部装置で、当該表示画面に表示する表示内容を、当該表示画面で表示する代わりに、前記仮想の画面として当該表示画面に重ねて表示する情報処理装置である。
請求項２に記載の発明は、前記プロセッサは、前記表示画面の範囲を認識し、認識した範囲に応じて前記仮想の画面を表示することを特徴とする請求項１に記載の情報処理装置である。
請求項３に記載の発明は、前記表示画面の範囲は、前記表示画面に表示されたオブジェクトにより認識されることを特徴とする請求項２に記載の情報処理装置である。
請求項４に記載の発明は、前記表示画面の範囲は、前記表示画面のエッジを検知することで認識されることを特徴とする請求項２に記載の情報処理装置である。
請求項５に記載の発明は、前記プロセッサは、前記表示画面の範囲に応じ、当該表示画面の手前に位置する操作主体をさらに検知し、操作主体または操作主体のオブジェクトを前記仮想の画面中に表示することを特徴とする請求項２に記載の情報処理装置である。
請求項６に記載の発明は、前記プロセッサは、前記表示画面に表示する表示内容を、当該表示画面で表示する代わりに、前記仮想の画面として当該表示画面に重ねて表示する第１のモードと、当該表示画面に表示する表示内容を、当該表示画面で表示し、当該仮想の画面を表示しない第２のモードとを、表示内容に応じ切り換えることを特徴とする請求項１に記載の情報処理装置である。
請求項７に記載の発明は、前記プロセッサは、表示内容が、秘密情報を含むときに前記第１のモードにし、当該秘密情報を含まないときは前記第２のモードにすることを特徴とする請求項６に記載の情報処理装置である。
請求項８に記載の発明は、前記プロセッサは、前記第１のモードの場合に、前記仮想の画面中に当該第１のモードであることを表示することを特徴とする請求項６に記載の情報処理装置である。
請求項９に記載の発明は、前記プロセッサは、前記仮想の画面の大きさを前記表示画面の大きさと異ならせることを特徴とする請求項１に記載の情報処理装置である。
請求項１０に記載の発明は、前記プロセッサは、前記仮想の画面を前記表示画面の一部の領域に表示し、一部以外の他の領域は、当該表示画面に表示する表示内容を、当該表示画面で表示することを特徴とする請求項９に記載の情報処理装置である。
請求項１１に記載の発明は、前記プロセッサは、前記仮想の画面を、前記表示画面の大きさに対し、前記表示画面の底辺の位置をずらさないようにして拡大して表示することを特徴とする請求項９に記載の情報処理装置である。
請求項１２に記載の発明は、前記プロセッサは、前記仮想の画面を、ユーザの正面に向けるようにすることを特徴とする請求項１に記載の情報処理装置である。
請求項１３に記載の発明は、前記プロセッサは、前記仮想の画面として、前記表示内容とともに当該仮想の画面を操作するためのオブジェクトをさらに表示することを特徴とする請求項１に記載の情報処理装置である。
請求項１４に記載の発明は、仮想の画面を現実空間と重畳して表示する表示手段と、当該仮想の画面を表示する制御を行うプロセッサと、を有する情報処理装置と、表示画面を有し、前記情報処理装置とペアリングする外部装置と、を備え、前記プロセッサは、前記外部装置で、前記表示画面に表示する表示内容を、当該表示画面で表示する代わりに、前記仮想の画面として当該表示画面に重ねて表示する情報処理システムである。
請求項１５に記載の発明は、前記外部装置の前記表示画面は、前記情報処理装置が、前記仮想の画面を表示するときは、当該仮想の画面とは異なる画面を表示することを特徴とする請求項１４に記載の情報処理システムである。
請求項１６に記載の発明は、コンピュータに、表示画面を有する外部装置から当該表示画面に表示する表示内容を取得する取得機能と、取得した表示内容を、前記表示画面で表示する代わりに、仮想の画面を現実空間と重畳して表示する表示手段で、当該仮想の画面として当該表示画面に重ねて表示させる表示機能と、を実現させるためのプログラムである。
請求項２に記載の発明は、前記プロセッサは、前記表示画面の範囲を認識し、認識した範囲に応じて前記仮想の画面を表示することを特徴とする請求項１に記載の情報処理装置である。
請求項３に記載の発明は、前記表示画面の範囲は、前記表示画面に表示されたオブジェクトにより認識されることを特徴とする請求項２に記載の情報処理装置である。
請求項４に記載の発明は、前記表示画面の範囲は、前記表示画面のエッジを検知することで認識されることを特徴とする請求項２に記載の情報処理装置である。
請求項５に記載の発明は、前記プロセッサは、前記表示画面の範囲に応じ、当該表示画面の手前に位置する操作主体をさらに検知し、操作主体または操作主体のオブジェクトを前記仮想の画面中に表示することを特徴とする請求項２に記載の情報処理装置である。
請求項６に記載の発明は、前記プロセッサは、前記表示画面に表示する表示内容を、当該表示画面で表示する代わりに、前記仮想の画面として当該表示画面に重ねて表示する第１のモードと、当該表示画面に表示する表示内容を、当該表示画面で表示し、当該仮想の画面を表示しない第２のモードとを、表示内容に応じ切り換えることを特徴とする請求項１に記載の情報処理装置である。
請求項７に記載の発明は、前記プロセッサは、表示内容が、秘密情報を含むときに前記第１のモードにし、当該秘密情報を含まないときは前記第２のモードにすることを特徴とする請求項６に記載の情報処理装置である。
請求項８に記載の発明は、前記プロセッサは、前記第１のモードの場合に、前記仮想の画面中に当該第１のモードであることを表示することを特徴とする請求項６に記載の情報処理装置である。
請求項９に記載の発明は、前記プロセッサは、前記仮想の画面の大きさを前記表示画面の大きさと異ならせることを特徴とする請求項１に記載の情報処理装置である。
請求項１０に記載の発明は、前記プロセッサは、前記仮想の画面を前記表示画面の一部の領域に表示し、一部以外の他の領域は、当該表示画面に表示する表示内容を、当該表示画面で表示することを特徴とする請求項９に記載の情報処理装置である。
請求項１１に記載の発明は、前記プロセッサは、前記仮想の画面を、前記表示画面の大きさに対し、前記表示画面の底辺の位置をずらさないようにして拡大して表示することを特徴とする請求項９に記載の情報処理装置である。
請求項１２に記載の発明は、前記プロセッサは、前記仮想の画面を、ユーザの正面に向けるようにすることを特徴とする請求項１に記載の情報処理装置である。
請求項１３に記載の発明は、前記プロセッサは、前記仮想の画面として、前記表示内容とともに当該仮想の画面を操作するためのオブジェクトをさらに表示することを特徴とする請求項１に記載の情報処理装置である。
請求項１４に記載の発明は、仮想の画面を現実空間と重畳して表示する表示手段と、当該仮想の画面を表示する制御を行うプロセッサと、を有する情報処理装置と、表示画面を有し、前記情報処理装置とペアリングする外部装置と、を備え、前記プロセッサは、前記外部装置で、前記表示画面に表示する表示内容を、当該表示画面で表示する代わりに、前記仮想の画面として当該表示画面に重ねて表示する情報処理システムである。
請求項１５に記載の発明は、前記外部装置の前記表示画面は、前記情報処理装置が、前記仮想の画面を表示するときは、当該仮想の画面とは異なる画面を表示することを特徴とする請求項１４に記載の情報処理システムである。
請求項１６に記載の発明は、コンピュータに、表示画面を有する外部装置から当該表示画面に表示する表示内容を取得する取得機能と、取得した表示内容を、前記表示画面で表示する代わりに、仮想の画面を現実空間と重畳して表示する表示手段で、当該仮想の画面として当該表示画面に重ねて表示させる表示機能と、を実現させるためのプログラムである。
請求項１の発明によれば、覗き見される恐れのある情報端末装置の表示画面に情報を表示する場合に比較して、第三者による表示画面の覗き見から作業中の情報の秘匿が可能な情報処理装置を提供できる。
請求項２の発明によれば、表示画面の範囲に合わせて仮想の画面を表示することができる。
請求項３の発明によれば、オブジェクトの位置により表示画面の範囲を把握することができる。
請求項４の発明によれば、エッジの位置により表示画面の範囲を把握することができる。
請求項５の発明によれば、ユーザが自分の手などの操作主体の位置を把握することができる。
請求項６の発明によれば、表示内容に応じて表示形態を変更することができる。
請求項７の発明によれば、秘密情報のときに第１のモードに選択的に切り換えることができる。
請求項８の発明によれば、ユーザが、第１のモードになっていることを視認することができる。
請求項９の発明によれば、表示内容に応じ仮想の画面の大きさを変更できる。
請求項１０の発明によれば、他者に見せてもよい情報は、表示画面に表示し、見せてはいけない情報は、表示画面に表示させないようにすることができる。
請求項１１の発明によれば、表示画面の下方にあるキーボード等を隠すことなく、仮想の画面を拡大することができる。
請求項１２の発明によれば、ユーザが仮想の画面を視認しやすくなる。
請求項１３の発明によれば、ユーザが仮想の画面の操作をしやすくなる。
請求項１４の発明によれば、覗き見される恐れのある情報端末装置の表示画面に情報を表示する場合に比較して、第三者による表示画面の覗き見から作業中の情報の秘匿が可能な情報処理システムを提供できる。
請求項１５の発明によれば、第三者が、表示画面を見ても本来の表示内容を把握できないようにすることができる。
請求項１６の発明によれば、覗き見される恐れのある情報端末装置の表示画面に情報を表示する場合に比較して、第三者による表示画面の覗き見から作業中の情報の秘匿が可能とする機能をコンピュータにより実現できる。
請求項２の発明によれば、表示画面の範囲に合わせて仮想の画面を表示することができる。
請求項３の発明によれば、オブジェクトの位置により表示画面の範囲を把握することができる。
請求項４の発明によれば、エッジの位置により表示画面の範囲を把握することができる。
請求項５の発明によれば、ユーザが自分の手などの操作主体の位置を把握することができる。
請求項６の発明によれば、表示内容に応じて表示形態を変更することができる。
請求項７の発明によれば、秘密情報のときに第１のモードに選択的に切り換えることができる。
請求項８の発明によれば、ユーザが、第１のモードになっていることを視認することができる。
請求項９の発明によれば、表示内容に応じ仮想の画面の大きさを変更できる。
請求項１０の発明によれば、他者に見せてもよい情報は、表示画面に表示し、見せてはいけない情報は、表示画面に表示させないようにすることができる。
請求項１１の発明によれば、表示画面の下方にあるキーボード等を隠すことなく、仮想の画面を拡大することができる。
請求項１２の発明によれば、ユーザが仮想の画面を視認しやすくなる。
請求項１３の発明によれば、ユーザが仮想の画面の操作をしやすくなる。
請求項１４の発明によれば、覗き見される恐れのある情報端末装置の表示画面に情報を表示する場合に比較して、第三者による表示画面の覗き見から作業中の情報の秘匿が可能な情報処理システムを提供できる。
請求項１５の発明によれば、第三者が、表示画面を見ても本来の表示内容を把握できないようにすることができる。
請求項１６の発明によれば、覗き見される恐れのある情報端末装置の表示画面に情報を表示する場合に比較して、第三者による表示画面の覗き見から作業中の情報の秘匿が可能とする機能をコンピュータにより実現できる。
＜情報処理システム１の全体構成の説明＞
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
図１は、本実施の形態の情報処理システム１の概要を示す図である。
図示する情報処理システム１は、端末装置１０と、ＡＲグラス２０とを備える。この場合、ＡＲグラス２０は、端末装置１０を操作するユーザの頭部に装着される。
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
図１は、本実施の形態の情報処理システム１の概要を示す図である。
図示する情報処理システム１は、端末装置１０と、ＡＲグラス２０とを備える。この場合、ＡＲグラス２０は、端末装置１０を操作するユーザの頭部に装着される。
端末装置１０は、実在するディスプレイ１０２を有する外部装置の一例である。端末装置１０は、例えば、所謂汎用のパーソナルコンピュータ（ＰＣ）である。そして、端末装置１０は、ＯＳ（Operating System）による管理下において、各種アプリケーションソフトウェアを動作させることで、本実施の形態の情報の処理等が行われるようになっている。
ＡＲグラス２０は、情報処理装置の一例であり、ユーザに対しＡＲの表示を実現する装置である。ここで、「ＡＲ」とは、「Augmented Reality：拡張現実」のことであり、ユーザに対し、仮想の画面を現実空間と重畳して表示することを言う。また、「仮想の画面」は、コンピュータにより作成され、ＡＲグラス２０のような装置を使って視認できる画像の表示のことである、そして、「現実空間」とは、実際に存在する空間のことである。
ＡＲグラス２０は、情報処理装置の一例であり、ユーザに対しＡＲの表示を実現する装置である。ここで、「ＡＲ」とは、「Augmented Reality：拡張現実」のことであり、ユーザに対し、仮想の画面を現実空間と重畳して表示することを言う。また、「仮想の画面」は、コンピュータにより作成され、ＡＲグラス２０のような装置を使って視認できる画像の表示のことである、そして、「現実空間」とは、実際に存在する空間のことである。
＜端末装置１０の構成＞
図２は、端末装置１０のハードウェア構成について示した図である。
図示する端末装置１０は、プログラムの実行を通じて各部を制御するＣＰＵ（Central Processing Unit）１０１と、画像その他の情報を表示するディスプレイ１０２と、文字などを入力するキーボード１０３と、ポインティングデバイスであるタッチパッド１０４と、ＡＲグラス２０との通信に用いられる通信モジュール１０５と、グラスモードを動作させるモジュールであるグラスモードモジュール１０６と、システムデータや内部データが記憶される内部メモリ１０７と、補助記憶装置としての外部メモリ１０８等を有している。
図２は、端末装置１０のハードウェア構成について示した図である。
図示する端末装置１０は、プログラムの実行を通じて各部を制御するＣＰＵ（Central Processing Unit）１０１と、画像その他の情報を表示するディスプレイ１０２と、文字などを入力するキーボード１０３と、ポインティングデバイスであるタッチパッド１０４と、ＡＲグラス２０との通信に用いられる通信モジュール１０５と、グラスモードを動作させるモジュールであるグラスモードモジュール１０６と、システムデータや内部データが記憶される内部メモリ１０７と、補助記憶装置としての外部メモリ１０８等を有している。
ＣＰＵ１０１は、プロセッサの一例であり、ＯＳ（基本ソフトウェア）やアプリケーションソフトウェア（応用ソフトウェア）等のプログラムを実行する。
本実施の形態の場合、内部メモリ１０７と外部メモリ１０８は、半導体メモリである。内部メモリ１０７は、ＢＩＯＳ（＝Basic Input Output System）等が記憶されたＲＯＭ（Read Only Memory）と、主記憶装置として用いられるＲＡＭ（Random Access Memory）とを有している。ＣＰＵ１０１と内部メモリ１０７はコンピュータを構成する。ＣＰＵ１０１は、ＲＡＭをプログラムの作業スペースとして使用する。外部メモリ１０８は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等のストレージであり、ファームウェアやアプリケーションソフトウェア等が記憶される。
本実施の形態の場合、内部メモリ１０７と外部メモリ１０８は、半導体メモリである。内部メモリ１０７は、ＢＩＯＳ（＝Basic Input Output System）等が記憶されたＲＯＭ（Read Only Memory）と、主記憶装置として用いられるＲＡＭ（Random Access Memory）とを有している。ＣＰＵ１０１と内部メモリ１０７はコンピュータを構成する。ＣＰＵ１０１は、ＲＡＭをプログラムの作業スペースとして使用する。外部メモリ１０８は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等のストレージであり、ファームウェアやアプリケーションソフトウェア等が記憶される。
ディスプレイ１０２は、表示画面の一例であり、例えば、液晶ディスプレイや有機ＥＬ（Electro Luminescent）ディスプレイで構成される。本実施の形態では、ディスプレイ１０２の表面（すなわち表示面）には画像その他の情報が表示される。
キーボード１０３は、ユーザが文字等を入力する際に使用する入力デバイスである。
タッチパッド１０４も入力デバイスであり、ディスプレイ１０２に表示されるカーソルの移動や画面のスクロールなどの際に用いられる、なお、タッチパッド１０４の代わりにマウスやトラックボール等であってもよい。
通信モジュール１０５は、外部との通信を行うための通信インタフェースである。
グラスモードモジュール１０６は、グラスモードの際の表示内容についての制御を行う。なおグラスモードモジュール１０６は、必須ではなく、ＣＰＵ１０１、内部メモリ１０７、外部メモリ１０８を使用し、これらにより、アプリケーションソフトウェアを動作させることで実現することもできる。
タッチパッド１０４も入力デバイスであり、ディスプレイ１０２に表示されるカーソルの移動や画面のスクロールなどの際に用いられる、なお、タッチパッド１０４の代わりにマウスやトラックボール等であってもよい。
通信モジュール１０５は、外部との通信を行うための通信インタフェースである。
グラスモードモジュール１０６は、グラスモードの際の表示内容についての制御を行う。なおグラスモードモジュール１０６は、必須ではなく、ＣＰＵ１０１、内部メモリ１０７、外部メモリ１０８を使用し、これらにより、アプリケーションソフトウェアを動作させることで実現することもできる。
＜ＡＲグラス２０の構成＞
図３は、ＡＲグラス２０の構成について示した図である。
なお、図３では、図１のＩＩＩ方向から見た時のＡＲグラス２０について図示している。そして、ユーザが、ＡＲグラス２０を装着したときに、左側となる部材の符号には、「Ｌ」を付し、右側となる部材の符号には、「Ｒ」を付している。
ＡＲの表示を実現するＡＲグラス２０としては、虚像投影方式、網膜投影方式など種々の方式があるが、何れの方式でもよい。ＡＲグラス２０は、例えば、以下の構成を有する。このＡＲグラス２０は、網膜投影方式である。なお、ここでは、いわゆるメガネ型の装置としてＡＲグラス２０を示したが、ユーザの頭部に装着し、ユーザに対しＡＲを表示する装置であれば、その形状、形式などは、特に限られるものではない。
図３は、ＡＲグラス２０の構成について示した図である。
なお、図３では、図１のＩＩＩ方向から見た時のＡＲグラス２０について図示している。そして、ユーザが、ＡＲグラス２０を装着したときに、左側となる部材の符号には、「Ｌ」を付し、右側となる部材の符号には、「Ｒ」を付している。
ＡＲの表示を実現するＡＲグラス２０としては、虚像投影方式、網膜投影方式など種々の方式があるが、何れの方式でもよい。ＡＲグラス２０は、例えば、以下の構成を有する。このＡＲグラス２０は、網膜投影方式である。なお、ここでは、いわゆるメガネ型の装置としてＡＲグラス２０を示したが、ユーザの頭部に装着し、ユーザに対しＡＲを表示する装置であれば、その形状、形式などは、特に限られるものではない。
ＡＲグラス２０は、レーザ光源２０１Ｌ、２０１Ｒと、光ファイバ２０２Ｌ、２０２Ｒと、ミラー２０３Ｌ、２０３Ｒと、レンズ部２０４Ｌ、２０４Ｒと、ブリッジ２０５と、テンプル２０６Ｌ、２０６Ｒと、カメラ２０７Ｌ、２０７Ｒと、マイクロフォン２０８Ｌ、２０８Ｒと、スピーカ２０９Ｌ、２０９Ｒと、通信モジュール２１０と、グラスモードモジュール２１１とを備えている。
レーザ光源２０１Ｌ、２０１Ｒは、仮想の画面を作成するための光源である。レーザ光源２０１Ｌ、２０１Ｒは、Ｒｅｄ（赤色）、Ｇｒｅｅｎ（緑色）、Ｂｌｕｅ（青色）の３色のレーザを使い、高速で切り換えることにより、フルカラーの仮想の画面を作成することができる。
光ファイバ２０２Ｌ、２０２Ｒは、それぞれテンプル２０６Ｌ、２０６Ｒの内部に設けられ、レーザ光源２０１Ｌ、２０１Ｒから出射したレーザ光Ｌａをミラー２０３Ｌ、２０３Ｒに導く。光ファイバ２０２Ｌ、２０２Ｒは、ガラス製、プラスチック製の何れであってもよい。
ミラー２０３Ｌ、２０３Ｒは、レーザ光Ｌａの進行方向をほぼ直角になる角度に反射させ、レンズ部２０４Ｌ、２０４Ｒに導く。このミラー２０３Ｌ、２０３Ｒは、上下左右に揺動可能となっており、これにより、レンズ部２０４Ｌ、２０４Ｒに入射する角度も変化する。そしてこれにより、ユーザの網膜ＭＬ、ＭＲに到達する位置も上下左右に変化する。その結果、二次元的な画像を仮想の画面としてユーザに視認させることができる。
レンズ部２０４Ｌ、２０４Ｒは、内部に、導光部２１４Ｌ、２１４Ｒと、反射部２２４Ｌ、２２４Ｒとを有する。導光部２１４Ｌ、２１４Ｒは、それぞれ、ミラー２０３Ｌ、２０３Ｒにより角度が変更されたレーザ光Ｌａを全反射させることで、ブリッジ２０５方向に導く。反射部２２４Ｌ、２２４Ｒは、導光部２１４Ｌ、２１４Ｒにより導かれたレーザ光Ｌａを、ほぼ直角方向に反射させ、ユーザの網膜ＭＬ、ＭＲの方向にレーザ光Ｌａの進行方向を変更する。
また、レンズ部２０４Ｌ、２０４Ｒは、可視光を通す部材である透光性部材であり、ユーザは、レンズ部２０４Ｌ、２０４Ｒを通して、現実空間を視認することができる。これにより、ユーザは、仮想の画面を現実空間と重畳して視認することができる。
なお、ここでは、ＡＲグラス２０がメガネ型であるため、便宜上、「レンズ部」という表現を使用したが、実際にレンズとしての機能を備える必要はない。即ち、レンズ部２０４Ｌ、２０４Ｒは、光を屈折させる光学的機能を備える必要はない。
また、レンズ部２０４Ｌ、２０４Ｒは、可視光を通す部材である透光性部材であり、ユーザは、レンズ部２０４Ｌ、２０４Ｒを通して、現実空間を視認することができる。これにより、ユーザは、仮想の画面を現実空間と重畳して視認することができる。
なお、ここでは、ＡＲグラス２０がメガネ型であるため、便宜上、「レンズ部」という表現を使用したが、実際にレンズとしての機能を備える必要はない。即ち、レンズ部２０４Ｌ、２０４Ｒは、光を屈折させる光学的機能を備える必要はない。
ブリッジ２０５は、ユーザの鼻にかかることで、ＡＲグラス２０を支持し、ユーザの頭部にＡＲグラス２０を装着するための部材である。
また、テンプル２０６Ｌ、２０６Ｒは、ユーザの耳にかかることで、ＡＲグラス２０を支持し、ユーザの頭部にＡＲグラス２０を装着するための部材である。
また、テンプル２０６Ｌ、２０６Ｒは、ユーザの耳にかかることで、ＡＲグラス２０を支持し、ユーザの頭部にＡＲグラス２０を装着するための部材である。
カメラ２０７Ｌ、２０７Ｒは、ユーザに対し前側となる方向を撮影する。本実施の場合、主に端末装置１０を対象に撮影を行う。
マイクロフォン２０８Ｌ、２０８Ｒは、ＡＲグラス２０の周囲の音声等の音を取得する。また、スピーカ２０９Ｌ、２０９Ｒは、音声等の音を出力する。マイクロフォン２０８Ｌ、２０８Ｒおよびスピーカ２０９Ｌ、２０９Ｒにより、情報処理システム１を例えば、リモート会議などの用途に使用することもできる。なお、周囲に音が遅漏しにくいという観点から、スピーカ２０９Ｌ、２０９Ｒは、例えば、骨伝導スピーカ等にすることが好ましい。
マイクロフォン２０８Ｌ、２０８Ｒは、ＡＲグラス２０の周囲の音声等の音を取得する。また、スピーカ２０９Ｌ、２０９Ｒは、音声等の音を出力する。マイクロフォン２０８Ｌ、２０８Ｒおよびスピーカ２０９Ｌ、２０９Ｒにより、情報処理システム１を例えば、リモート会議などの用途に使用することもできる。なお、周囲に音が遅漏しにくいという観点から、スピーカ２０９Ｌ、２０９Ｒは、例えば、骨伝導スピーカ等にすることが好ましい。
通信モジュール２１０は、外部との通信を行うための通信インタフェースである。
グラスモードモジュール２１１は、グラスモードの際のレーザ光源２０１Ｌ、２０１Ｒやミラー２０３Ｌ、２０３Ｒの動作についての制御を行う。グラスモードモジュール２１１は、ＣＰＵ、内部メモリ、外部メモリを使用し、これらにより、レーザ光源２０１Ｌ、２０１Ｒやミラー２０３Ｌ、２０３Ｒを制御する制御ソフトウェアを動作させることで実現することができる。ここで、ＣＰＵは、プロセッサの一例である。
本実施の形態では、レーザ光源２０１Ｌ、２０１Ｒ、光ファイバ２０２Ｌ、２０２Ｒ、ミラー２０３Ｌ、２０３Ｒ、およびレンズ部２０４Ｌ、２０４Ｒは、ユーザに対し、仮想の画面を現実空間と重畳して表示する表示手段として機能する。
グラスモードモジュール２１１は、グラスモードの際のレーザ光源２０１Ｌ、２０１Ｒやミラー２０３Ｌ、２０３Ｒの動作についての制御を行う。グラスモードモジュール２１１は、ＣＰＵ、内部メモリ、外部メモリを使用し、これらにより、レーザ光源２０１Ｌ、２０１Ｒやミラー２０３Ｌ、２０３Ｒを制御する制御ソフトウェアを動作させることで実現することができる。ここで、ＣＰＵは、プロセッサの一例である。
本実施の形態では、レーザ光源２０１Ｌ、２０１Ｒ、光ファイバ２０２Ｌ、２０２Ｒ、ミラー２０３Ｌ、２０３Ｒ、およびレンズ部２０４Ｌ、２０４Ｒは、ユーザに対し、仮想の画面を現実空間と重畳して表示する表示手段として機能する。
＜情報処理システム１の動作の説明＞
本実施の形態の情報処理システム１では、端末装置１０とＡＲグラス２０とは、それぞれ通信モジュール１０５および通信モジュール２１０を使用してペアリングする。ペアリングは、例えば、ブルートゥース（Bluetooth）（登録商標）等の無線接続により行われる。ただし、これに限られるものではなく、無線ＬＡＮ（Local Area Network）、インターネットなどを介して接続されていてもよい。さらに、無線接続に限られるものではなく、ＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、DisplayPort、ＵＳＢ（Universal Serial Bus）、ＩＥＥＥ１３９４、ＲＳ－２３２Ｃ等を介して有線接続されていてもよい。
本実施の形態の情報処理システム１では、端末装置１０とＡＲグラス２０とは、それぞれ通信モジュール１０５および通信モジュール２１０を使用してペアリングする。ペアリングは、例えば、ブルートゥース（Bluetooth）（登録商標）等の無線接続により行われる。ただし、これに限られるものではなく、無線ＬＡＮ（Local Area Network）、インターネットなどを介して接続されていてもよい。さらに、無線接続に限られるものではなく、ＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、DisplayPort、ＵＳＢ（Universal Serial Bus）、ＩＥＥＥ１３９４、ＲＳ－２３２Ｃ等を介して有線接続されていてもよい。
情報処理システム１は、端末装置１０のディスプレイ１０２またはＡＲグラス２０にて、ユーザに対し提示する画面を表示する。
この情報処理システム１で、ＡＲグラス２０にて仮想の画面を表示するときは、表示内容が、第三者に対し秘匿する必要がある場合である。詳しくは後述するが、このとき、ディスプレイ１０２には、他の画面が表示される。対して、端末装置１０のディスプレイ１０２にて画面を表示するときは、表示内容が、第三者に対し秘匿する必要がない場合である。このとき、ＡＲグラス２０では、仮想の画面は表示しない。以後、本実施の形態では、情報処理システム１が、前者の場合で動作するときを、第１のモードの一例として、「グラスモード」と言うことがある。また、情報処理システム１が、後者の場合で動作するときを、第２のモードの一例として、「通常モード」と言うことがある。
以下、この構成について詳述する。
この情報処理システム１で、ＡＲグラス２０にて仮想の画面を表示するときは、表示内容が、第三者に対し秘匿する必要がある場合である。詳しくは後述するが、このとき、ディスプレイ１０２には、他の画面が表示される。対して、端末装置１０のディスプレイ１０２にて画面を表示するときは、表示内容が、第三者に対し秘匿する必要がない場合である。このとき、ＡＲグラス２０では、仮想の画面は表示しない。以後、本実施の形態では、情報処理システム１が、前者の場合で動作するときを、第１のモードの一例として、「グラスモード」と言うことがある。また、情報処理システム１が、後者の場合で動作するときを、第２のモードの一例として、「通常モード」と言うことがある。
以下、この構成について詳述する。
図４は、情報処理システム１の動作について説明したフローチャートである。
まず、ユーザが、端末装置１０およびＡＲグラス２０の電源をＯＮにする（ステップ１０１）。これにより、端末装置１０のグラスモードモジュール１０６を含む各機構部を起動させる。また、ＡＲグラス２０のグラスモードモジュール２１１を含む各機構部を起動させる。
次に、ユーザが、端末装置１０にログインを行う（ステップ１０２）。
そして、端末装置１０とＡＲグラス２０とをペアリングする（ステップ１０３）。ペアリングは、ユーザが設定を行うことにより行ってもよく、自動的にペアリングを行うようにしてもよい。
まず、ユーザが、端末装置１０およびＡＲグラス２０の電源をＯＮにする（ステップ１０１）。これにより、端末装置１０のグラスモードモジュール１０６を含む各機構部を起動させる。また、ＡＲグラス２０のグラスモードモジュール２１１を含む各機構部を起動させる。
次に、ユーザが、端末装置１０にログインを行う（ステップ１０２）。
そして、端末装置１０とＡＲグラス２０とをペアリングする（ステップ１０３）。ペアリングは、ユーザが設定を行うことにより行ってもよく、自動的にペアリングを行うようにしてもよい。
ペアリング完了後、ユーザは、端末装置１０の設定画面にてグラスモードを選択する（ステップ１０４）。これにより、端末装置１０のディスプレイ１０２の位置を表すポインタが表示される（ステップ１０５）。
ＡＲグラス２０のカメラ２０７Ｌ、２０７Ｒは、端末装置１０のディスプレイ１０２を撮影する。そして、グラスモードモジュール２１１は、撮影したディスプレイ１０２の画像から、ポインタの位置を決定する（ステップ１０６）。
さらに、グラスモードモジュール２１１は、ポインタの位置より、ディスプレイ１０２の現実空間での範囲を決定する（ステップ１０７）。
ＡＲグラス２０のカメラ２０７Ｌ、２０７Ｒは、端末装置１０のディスプレイ１０２を撮影する。そして、グラスモードモジュール２１１は、撮影したディスプレイ１０２の画像から、ポインタの位置を決定する（ステップ１０６）。
さらに、グラスモードモジュール２１１は、ポインタの位置より、ディスプレイ１０２の現実空間での範囲を決定する（ステップ１０７）。
端末装置１０では、ディスプレイ１０２で本来表示される画面の画像データをＡＲグラス２０側に送信する（ステップ１０８）。なお、端末装置１０のディスプレイ１０２では、本来表示される画面ではなく、他の画面が表示される（ステップ１０９）。なお、ポインタは引き続き表示される。
そして、ＡＲグラス２０では、仮想の画面としてディスプレイ１０２で本来表示される画面が表示される（ステップ１１０）。このとき仮想の画面は、ディスプレイ１０２に合わせて表示される。即ち、ユーザは、ディスプレイ１０２に仮想の画面が張り付いているように見える。
そして、ＡＲグラス２０では、仮想の画面としてディスプレイ１０２で本来表示される画面が表示される（ステップ１１０）。このとき仮想の画面は、ディスプレイ１０２に合わせて表示される。即ち、ユーザは、ディスプレイ１０２に仮想の画面が張り付いているように見える。
このように、ＡＲグラス２０では、実在するディスプレイ１０２を有する端末装置１０で、ディスプレイ１０２に表示する表示内容を、ディスプレイ１０２で表示する代わりに、仮想の画面としてディスプレイ１０２に重ねて表示する。
またこのとき、ＡＲグラス２０では、ディスプレイ１０２の範囲を認識し、認識した範囲に応じて仮想の画面を表示する。ディスプレイ１０２の範囲は、上述した例では、ディスプレイ１０２に表示されたポインタにより認識される。
またこのとき、ＡＲグラス２０では、ディスプレイ１０２の範囲を認識し、認識した範囲に応じて仮想の画面を表示する。ディスプレイ１０２の範囲は、上述した例では、ディスプレイ１０２に表示されたポインタにより認識される。
＜画面例＞
以下、本実施の形態における画面例について説明する。
以下、本実施の形態における画面例について説明する。
＜画面例１＞
図５は、図４のステップ１０５で、ディスプレイ１０２に表示されるポインタＰｔの例を示した図である。
図示するポインタＰｔは、＋形状であり、ディスプレイ１０２の四隅に表示される。そして、図４のステップ１０７で、グラスモードモジュール２１１が、撮影した画像中のポインタＰｔの位置より、ディスプレイ１０２の範囲を決定する。このポインタＰｔの形状や大きさは特に限られるものではなく、ディスプレイ１０２の表示される何らかのオブジェクトであれば足りる。「オブジェクト」は、ディスプレイ１０２に表示される何らかの対象である。そして、グラスモードモジュール２１１は、撮影した画像中のポインタＰｔ等のオブジェクトの形状を認識し、撮影した画像中のオブジェクトの位置を求める。
図５は、図４のステップ１０５で、ディスプレイ１０２に表示されるポインタＰｔの例を示した図である。
図示するポインタＰｔは、＋形状であり、ディスプレイ１０２の四隅に表示される。そして、図４のステップ１０７で、グラスモードモジュール２１１が、撮影した画像中のポインタＰｔの位置より、ディスプレイ１０２の範囲を決定する。このポインタＰｔの形状や大きさは特に限られるものではなく、ディスプレイ１０２の表示される何らかのオブジェクトであれば足りる。「オブジェクト」は、ディスプレイ１０２に表示される何らかの対象である。そして、グラスモードモジュール２１１は、撮影した画像中のポインタＰｔ等のオブジェクトの形状を認識し、撮影した画像中のオブジェクトの位置を求める。
また、ポインタＰｔは、必ずしも表示される必要はなく、他の方法で、ディスプレイ１０２の範囲を決定してもよい。例えば、ディスプレイ１０２の範囲は、ディスプレイ１０２のエッジＥｄを検知することで認識されるようにしてもよい。この場合、グラスモードモジュール２１１は、画像認識等を利用し、ディスプレイ１０２のエッジＥｄの位置より、ディスプレイ１０２の範囲を決定する。
＜画面例２＞
図６（ａ）～（ｄ）は、図４のステップ１０９で、ディスプレイ１０２に表示される他の画面について示した図である。
このうち、図６（ａ）は、本来ディスプレイ１０２に表示される画面を示している。また、図６（ｂ）～（ｄ）は、実際にディスプレイ１０２に表示される画面を示している。
図６（ｂ）は、他の画面として、スクリーンセーバーを表示した場合を示している。また、図６（ｃ）は、他の画面として、黒画面を表示した場合を示している。さらに、図６（ｄ）は、他の画面として、図６（ａ）とは関係のない画面を表示した場合を示している。図６（ｄ）の画面は、いわば、ダミーの画面である。
このように、端末装置１０のディスプレイ１０２は、ＡＲグラス２０が、仮想の画面Ｇｋを表示するときは、仮想の画面Ｇｋとは異なる画面を表示する。
図６（ａ）～（ｄ）は、図４のステップ１０９で、ディスプレイ１０２に表示される他の画面について示した図である。
このうち、図６（ａ）は、本来ディスプレイ１０２に表示される画面を示している。また、図６（ｂ）～（ｄ）は、実際にディスプレイ１０２に表示される画面を示している。
図６（ｂ）は、他の画面として、スクリーンセーバーを表示した場合を示している。また、図６（ｃ）は、他の画面として、黒画面を表示した場合を示している。さらに、図６（ｄ）は、他の画面として、図６（ａ）とは関係のない画面を表示した場合を示している。図６（ｄ）の画面は、いわば、ダミーの画面である。
このように、端末装置１０のディスプレイ１０２は、ＡＲグラス２０が、仮想の画面Ｇｋを表示するときは、仮想の画面Ｇｋとは異なる画面を表示する。
＜画面例３＞
図７は、ＡＲグラス２０を使用したときに、ユーザが視認するＡＲ画面について示した第１の例である。
このときユーザは、現実空間に存在する端末装置１０を、レンズ部２０４Ｌ、２０４Ｒを通して視認する。そして本来ディスプレイ１０２に表示される画面が仮想の画面Ｇｋとして表示される。この仮想の画面Ｇｋの表示内容は、図６（ａ）の画面と同じになる。
この仮想の画面Ｇｋは、ディスプレイ１０２に合わせて表示される。そのためユーザは、この仮想の画面Ｇｋが、ディスプレイ１０２に張り付いているように見える。即ち、この場合のＡＲ画面は、現実空間に存在する端末装置１０と、端末装置１０のディスプレイ１０２に張り付いて表示される仮想の画面Ｇｋとを含む。即ち、実際に、ディスプレイ１０２に画面が表示されているのと同様の状態を再現することができる。また、ユーザは、キーボード１０３やタッチパッド１０４を現実空間として視認できる。そして、ユーザが、キーボード１０３やタッチパッド１０４を操作すると、端末装置１０では、この操作に応じた画面を作成し、ＡＲグラス２０にその画像データを送信する。これにより、この操作に応じた仮想の画面Ｇｋが、表示される。
図７は、ＡＲグラス２０を使用したときに、ユーザが視認するＡＲ画面について示した第１の例である。
このときユーザは、現実空間に存在する端末装置１０を、レンズ部２０４Ｌ、２０４Ｒを通して視認する。そして本来ディスプレイ１０２に表示される画面が仮想の画面Ｇｋとして表示される。この仮想の画面Ｇｋの表示内容は、図６（ａ）の画面と同じになる。
この仮想の画面Ｇｋは、ディスプレイ１０２に合わせて表示される。そのためユーザは、この仮想の画面Ｇｋが、ディスプレイ１０２に張り付いているように見える。即ち、この場合のＡＲ画面は、現実空間に存在する端末装置１０と、端末装置１０のディスプレイ１０２に張り付いて表示される仮想の画面Ｇｋとを含む。即ち、実際に、ディスプレイ１０２に画面が表示されているのと同様の状態を再現することができる。また、ユーザは、キーボード１０３やタッチパッド１０４を現実空間として視認できる。そして、ユーザが、キーボード１０３やタッチパッド１０４を操作すると、端末装置１０では、この操作に応じた画面を作成し、ＡＲグラス２０にその画像データを送信する。これにより、この操作に応じた仮想の画面Ｇｋが、表示される。
また、ユーザの頭部が動くことにより、ディスプレイ１０２とＡＲグラス２０との距離が変化することがある。この場合、ポインタＰｔやディスプレイ１０２のエッジＥｄの位置が変化する。よって、この場合は、グラスモードモジュール２１１は、これに応じ、ディスプレイ１０２の範囲を再設定し、仮想の画面Ｇｋをこの範囲に合わせて表示する。
＜画面例４＞
図８（ａ）～（ｂ）は、ＡＲグラス２０を使用したときに、ユーザが視認するＡＲ画面について示した第２の例である。
ここでは、ディスプレイ１０２に表示する表示内容を、このディスプレイ１０２で表示する代わりに、仮想の画面Ｇｋとしてディスプレイ１０２に重ねて表示するグラスモードと、ディスプレイ１０２に表示する表示内容を、ディスプレイ１０２で表示し、仮想の画面Ｇｋを表示しない通常モードとを、表示内容に応じ切り換える。この場合、表示内容が、秘密情報を含むときにグラスモードにし、秘密情報を含まないときは通常モードにする。この「秘密情報」は、第三者に知られてはならない情報のことである。
図８（ａ）～（ｂ）は、ＡＲグラス２０を使用したときに、ユーザが視認するＡＲ画面について示した第２の例である。
ここでは、ディスプレイ１０２に表示する表示内容を、このディスプレイ１０２で表示する代わりに、仮想の画面Ｇｋとしてディスプレイ１０２に重ねて表示するグラスモードと、ディスプレイ１０２に表示する表示内容を、ディスプレイ１０２で表示し、仮想の画面Ｇｋを表示しない通常モードとを、表示内容に応じ切り換える。この場合、表示内容が、秘密情報を含むときにグラスモードにし、秘密情報を含まないときは通常モードにする。この「秘密情報」は、第三者に知られてはならない情報のことである。
このうち、図８（ａ）は、グラスモードで表示する画面について示し、図８（ｂ）は、通常モードで表示する画面について示している。
グラスモードでは、表示内容が、秘密情報を含むため、端末装置１０のディスプレイ１０２では、本来表示する画面を表示せず、この画面をＡＲグラス２０で、仮想の画面Ｇｋとして表示する。対して、通常モードでは、表示内容が、秘密情報を含まないため、端末装置１０のディスプレイ１０２では、本来表示する画面をそのまま表示し、ＡＲグラス２０では、この画面を仮想の画面Ｇｋとして表示しない。
グラスモードでは、表示内容が、秘密情報を含むため、端末装置１０のディスプレイ１０２では、本来表示する画面を表示せず、この画面をＡＲグラス２０で、仮想の画面Ｇｋとして表示する。対して、通常モードでは、表示内容が、秘密情報を含まないため、端末装置１０のディスプレイ１０２では、本来表示する画面をそのまま表示し、ＡＲグラス２０では、この画面を仮想の画面Ｇｋとして表示しない。
グラスモードと通常モードとを切り換えるには、ユーザが手動で行ってもよいが、端末装置１０が、表示内容に秘密情報を含むか否かを判断して切り換えてもよい。具体的には、端末装置１０は、「社外秘」などのキーワードが電子文書中に含まれる場合、各種サーバシステムのログイン画面やその後の画面を表示する場合、秘密情報を含むと判断する。また、端末装置１０は、ユーザが予め指定した電子文書を表示する場合、ユーザが予め指定したフォルダ中の電子文書を表示する場合、秘密情報を含むと判断する。
なお、ＡＲグラス２０では、グラスモードの場合に、仮想の画面中にグラスモードであることを表示することが好ましい。図８（ａ）では、仮想の画面に隣接して、グラスモードであることを示すマーカＭｋを表示することで、グラスモードであることをユーザに知らせる。図示する例では、マーカＭｋは、「グラスモード」の文字列である。ただし、マーカＭｋは、これに限られるものではなく、アイコン等であってもよい。このマーカＭｋは、端末装置１０は、秘密情報を含むと判断したときに、画像データとして、ディスプレイ１０２で表示する画面と併せてマーカＭｋの画像データをＡＲグラス２０に送信することで、表示することができる。
＜画面例５＞
図９は、ＡＲグラス２０を使用したときに、ユーザが視認するＡＲ画面について示した第３の例である。
ここでは、端末装置１０のディスプレイ１０２の領域を２分割し、分割した画面の一方を仮想の画面Ｇｋとし、他方を現実空間としている。
ここでは、端末装置１０のディスプレイ１０２では、分割した画面の左側を仮想の画面Ｇｋとし、右側を現実空間としている。なお、端末装置１０では、仮想の画面Ｇｋの箇所は、スクリーンセーバーが表示される。またここでは、分割した画面のそれぞれの領域を、ポインタＰｔにて示し、これを基に、ＡＲグラス２０では、仮想の画面Ｇｋの表示範囲を決める。
これは、仮想の画面をディスプレイ１０２の一部の領域に表示し、一部以外の他の領域は、ディスプレイ１０２に表示する表示内容を、ディスプレイ１０２で表示する、と言うこともできる。また、仮想の画面Ｇｋを、ディスプレイ１０２の大きさに対し、縮小して表示する、と言うこともできる。
図９は、ＡＲグラス２０を使用したときに、ユーザが視認するＡＲ画面について示した第３の例である。
ここでは、端末装置１０のディスプレイ１０２の領域を２分割し、分割した画面の一方を仮想の画面Ｇｋとし、他方を現実空間としている。
ここでは、端末装置１０のディスプレイ１０２では、分割した画面の左側を仮想の画面Ｇｋとし、右側を現実空間としている。なお、端末装置１０では、仮想の画面Ｇｋの箇所は、スクリーンセーバーが表示される。またここでは、分割した画面のそれぞれの領域を、ポインタＰｔにて示し、これを基に、ＡＲグラス２０では、仮想の画面Ｇｋの表示範囲を決める。
これは、仮想の画面をディスプレイ１０２の一部の領域に表示し、一部以外の他の領域は、ディスプレイ１０２に表示する表示内容を、ディスプレイ１０２で表示する、と言うこともできる。また、仮想の画面Ｇｋを、ディスプレイ１０２の大きさに対し、縮小して表示する、と言うこともできる。
この場合、分割した画面の一方は、秘密情報を含み、他方は、含まない。このような表示形態は、分割した画面の他方を他人に見せて説明する場合などに用いられる。なお、分割は、２分割に限られるものでなく、３分割以上であってもよい。
＜画面例６＞
図１０は、ＡＲグラス２０を使用したときに、ユーザが視認するＡＲ画面について示した第４の例である。
ここでは、仮想の画面Ｇｋを、点線で示したディスプレイ１０２の大きさに対し拡大して表示する。
またこのとき、仮想の画面Ｇｋは、ディスプレイ１０２の底辺Ｔの位置をずらさないようにして拡大することが好ましい。このようにすることで、ディスプレイ１０２の下方にあるキーボード１０３やタッチパッド１０４を隠すことがなくなり、ユーザの利便性に寄与する。
画面例５と画面例６は、仮想の画面Ｇｋの大きさをディスプレイ１０２の大きさとは異ならせる場合の一例であると捉えることができる。
図１０は、ＡＲグラス２０を使用したときに、ユーザが視認するＡＲ画面について示した第４の例である。
ここでは、仮想の画面Ｇｋを、点線で示したディスプレイ１０２の大きさに対し拡大して表示する。
またこのとき、仮想の画面Ｇｋは、ディスプレイ１０２の底辺Ｔの位置をずらさないようにして拡大することが好ましい。このようにすることで、ディスプレイ１０２の下方にあるキーボード１０３やタッチパッド１０４を隠すことがなくなり、ユーザの利便性に寄与する。
画面例５と画面例６は、仮想の画面Ｇｋの大きさをディスプレイ１０２の大きさとは異ならせる場合の一例であると捉えることができる。
＜画面例７＞
図１１は、ＡＲグラス２０を使用したときに、ユーザが視認するＡＲ画面について示した第５の例である。
ここでは、ユーザの手のオブジェクトＯｂ１を仮想の画面Ｇｋ中に表示する。ディスプレイ１０２が、例えば、タッチパネルである場合、ユーザは、操作のためディスプレイ１０２にタッチする必要がある。しかし、ユーザがディスプレイ１０２にタッチする場合、ユーザの手が、ディスプレイ１０２の前に存在することになる。一方、ディスプレイ１０２の範囲には、仮想の画面Ｇｋが表示されるため、ユーザは、自らの手を認識することができない。よって、ユーザの手のオブジェクトＯｂ１を仮想の画面Ｇｋ中に表示させることで、ユーザは、自らの手の位置を確認できるようにする。
図１１は、ＡＲグラス２０を使用したときに、ユーザが視認するＡＲ画面について示した第５の例である。
ここでは、ユーザの手のオブジェクトＯｂ１を仮想の画面Ｇｋ中に表示する。ディスプレイ１０２が、例えば、タッチパネルである場合、ユーザは、操作のためディスプレイ１０２にタッチする必要がある。しかし、ユーザがディスプレイ１０２にタッチする場合、ユーザの手が、ディスプレイ１０２の前に存在することになる。一方、ディスプレイ１０２の範囲には、仮想の画面Ｇｋが表示されるため、ユーザは、自らの手を認識することができない。よって、ユーザの手のオブジェクトＯｂ１を仮想の画面Ｇｋ中に表示させることで、ユーザは、自らの手の位置を確認できるようにする。
この場合、グラスモードモジュール２１１は、カメラ２０７Ｌ、２０７Ｒにて撮影した画像を基に、ディスプレイ１０２の手前に位置するユーザの手を検知する。ユーザの手がディスプレイ１０２の手前に位置するか否かは、ディスプレイ１０２の範囲に応じて判断することができる。そして、グラスモードモジュール２１１は、ディスプレイ１０２の手前にユーザの手が存在した場合、ユーザの手のオブジェクトＯｂ１を仮想の画面Ｇｋ中に表示する画像データを作成する。なお、ここでは、グラスモードモジュール２１１が、ユーザの手が存在するか否かを検知し、ユーザの手のオブジェクトＯｂ１を表示したが、カメラ２０７Ｌ、２０７Ｒの画像を端末装置１０に送り、端末装置１０側で同様の処理を行うこともできる。また、ディスプレイ１０２の手前にユーザの手の存在を検知したとき、実物のユーザの手を仮想の画面Ｇｋの手前に映るように表示を制御してもよい。あるいは、いわゆるスタイラスペンなどタッチパネルを操作する物体を検知し、同様に表示を制御してもよい。これらのような処理を通じて、ユーザの手やスタイラスペンなどのディスプレイ１０２で操作を行う操作主体をＡＲグラス２０で表現し、ユーザがこの操作主体を視認できるようにして、ディスプレイ１０２にこれらが触れることでタッチパネル操作を実現する。
＜画面例８＞
図１２（ａ）～（ｂ）は、ＡＲグラス２０を使用したときに、ユーザが視認するＡＲ画面について示した第６の例である。
ここでは、仮想の画面Ｇｋの角度を補正する。ここで、図１２（ａ）は、補正する前の仮想の画面Ｇｋであり、図１２（ｂ）は、補正した後の仮想の画面Ｇｋを示している。図１２（ａ）～（ｂ）は、図７のＸＩＩ方向から見た図である。つまり、図１２（ａ）の場合は、ディスプレイ１０２に沿って仮想の画面Ｇｋを表示した場合であり、仮想の画面Ｇｋがユーザの正面を向いていない。このとき、ユーザは、斜めの角度から仮想の画面Ｇｋを見ることになる。対して、図１２（ｂ）の場合は、仮想の画面Ｇｋをユーザの正面に向けるように補正した場合である。この場合、ユーザの視線の向きと、仮想の画面Ｇｋとは、ほぼ垂直となる。このとき、ユーザは、正面からから仮想の画面Ｇｋを見ることができる。なお、ここでは、仮想の画面Ｇｋをユーザの正面に向けるため、仮想の画面Ｇｋの上下方向の角度を補正したが、左右方向の角度を補正するようにしてもよい。
図１２（ａ）～（ｂ）は、ＡＲグラス２０を使用したときに、ユーザが視認するＡＲ画面について示した第６の例である。
ここでは、仮想の画面Ｇｋの角度を補正する。ここで、図１２（ａ）は、補正する前の仮想の画面Ｇｋであり、図１２（ｂ）は、補正した後の仮想の画面Ｇｋを示している。図１２（ａ）～（ｂ）は、図７のＸＩＩ方向から見た図である。つまり、図１２（ａ）の場合は、ディスプレイ１０２に沿って仮想の画面Ｇｋを表示した場合であり、仮想の画面Ｇｋがユーザの正面を向いていない。このとき、ユーザは、斜めの角度から仮想の画面Ｇｋを見ることになる。対して、図１２（ｂ）の場合は、仮想の画面Ｇｋをユーザの正面に向けるように補正した場合である。この場合、ユーザの視線の向きと、仮想の画面Ｇｋとは、ほぼ垂直となる。このとき、ユーザは、正面からから仮想の画面Ｇｋを見ることができる。なお、ここでは、仮想の画面Ｇｋをユーザの正面に向けるため、仮想の画面Ｇｋの上下方向の角度を補正したが、左右方向の角度を補正するようにしてもよい。
＜画面例９＞
図１３は、ＡＲグラス２０を使用したときに、ユーザが視認するＡＲ画面について示した第７の例である。
ここでは、仮想の画面Ｇｋの一部として表示されるカーソルＣｒをディスプレイ１０２の範囲より大きい範囲で動かすことができる。このカーソルＣｒは、仮想の画面の一部として表示される。そして、仮想の画面Ｇｋとして、ディスプレイ１０２に隣接して設けられるオブジェクトＯｂ２を操作できる。
この場合、オブジェクトＯｂ２は、例えば、画面例５、６で説明したような、ディスプレイ１０２を縮小、拡大するためのスライダーである。また、スライダーの代わりにディスプレイ１０２を縮小、拡大するためのボタンなどを表示するようにしてもよい。また、オブジェクトＯｂ２は、グラスモードと通常モードとを切り換える切り換えボタンなどであってもよい。この場合、オブジェクトＯｂ２やカーソルＣｒは、仮想の画面Ｇｋとして、ディスプレイ１０２に本来表示する表示内容とともに仮想の画面Ｇｋを操作するためのオブジェクトの一例であると捉えることができる。
図１３は、ＡＲグラス２０を使用したときに、ユーザが視認するＡＲ画面について示した第７の例である。
ここでは、仮想の画面Ｇｋの一部として表示されるカーソルＣｒをディスプレイ１０２の範囲より大きい範囲で動かすことができる。このカーソルＣｒは、仮想の画面の一部として表示される。そして、仮想の画面Ｇｋとして、ディスプレイ１０２に隣接して設けられるオブジェクトＯｂ２を操作できる。
この場合、オブジェクトＯｂ２は、例えば、画面例５、６で説明したような、ディスプレイ１０２を縮小、拡大するためのスライダーである。また、スライダーの代わりにディスプレイ１０２を縮小、拡大するためのボタンなどを表示するようにしてもよい。また、オブジェクトＯｂ２は、グラスモードと通常モードとを切り換える切り換えボタンなどであってもよい。この場合、オブジェクトＯｂ２やカーソルＣｒは、仮想の画面Ｇｋとして、ディスプレイ１０２に本来表示する表示内容とともに仮想の画面Ｇｋを操作するためのオブジェクトの一例であると捉えることができる。
以上説明した情報処理システム１によれば、第三者によるディスプレイ１０２の覗き見から作業中の情報の秘匿が可能になる。
即ち、近年、モバイルコンピューティングやネットワークの技術進化により、例えば、テレワークで端末装置１０を使い、仕事等をすることが増加している。この場合、自宅にとどまらず、外出先の周辺にあるカフェやファストフード等の店内や、シェアオフィスなどで仕事等をすることがある。本実施の形態では、このような環境下でも、第三者によるディスプレイ１０２の覗き見から作業中の情報の秘匿が可能になる。
即ち、近年、モバイルコンピューティングやネットワークの技術進化により、例えば、テレワークで端末装置１０を使い、仕事等をすることが増加している。この場合、自宅にとどまらず、外出先の周辺にあるカフェやファストフード等の店内や、シェアオフィスなどで仕事等をすることがある。本実施の形態では、このような環境下でも、第三者によるディスプレイ１０２の覗き見から作業中の情報の秘匿が可能になる。
＜プログラムの説明＞
ここで以上説明を行った本実施の形態におけるＡＲグラス２０が行う処理は、例えば、制御ソフトウェア等のプログラムにより行われる。
ここで以上説明を行った本実施の形態におけるＡＲグラス２０が行う処理は、例えば、制御ソフトウェア等のプログラムにより行われる。
よって本実施の形態でＡＲグラス２０が行う処理は、コンピュータに、ディスプレイ１０２を有する端末装置１０からディスプレイ１０２に表示する表示内容を取得する取得機能と、取得した表示内容を記ディスプレイ１０２で表示する代わりに、仮想の画面Ｇｋを現実空間と重畳して表示する表示手段で、仮想の画面Ｇｋとしてディスプレイ１０２に重ねて表示させる表示機能と、を実現させるためのプログラムとして捉えることができる。
なお、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、ＣＤ－ＲＯＭ等の記録媒体に格納して提供することも可能である。
以上、本実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更または改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
１…情報処理システム、１０…端末装置、２０…ＡＲグラス、１０２…ディスプレイ、１０６、２１１…グラスモードモジュール、２０１Ｌ、２０１Ｒ…レーザ光源、２０２Ｌ、２０２Ｒ…光ファイバ、２０３Ｌ、２０３Ｒ…ミラー、２０４Ｌ、２０４Ｒ…レンズ部、Ｅｄ…エッジ、Ｍｋ…マーカ、Ｏｂ１…手のオブジェクト、Ｔ…底辺
Claims (16)
- 仮想の画面を現実空間と重畳して表示する表示手段と、
プロセッサと、
を備え、
前記プロセッサは、
表示画面を有する外部装置で、当該表示画面に表示する表示内容を、当該表示画面で表示する代わりに、前記仮想の画面として当該表示画面に重ねて表示する情報処理装置。 - 前記プロセッサは、前記表示画面の範囲を認識し、認識した範囲に応じて前記仮想の画面を表示することを特徴とする請求項１に記載の情報処理装置。
- 前記表示画面の範囲は、前記表示画面に表示されたオブジェクトにより認識されることを特徴とする請求項２に記載の情報処理装置。
- 前記表示画面の範囲は、前記表示画面のエッジを検知することで認識されることを特徴とする請求項２に記載の情報処理装置。
- 前記プロセッサは、前記表示画面の範囲に応じ、当該表示画面の手前に位置する操作主体をさらに検知し、操作主体または操作主体のオブジェクトを前記仮想の画面中に表示することを特徴とする請求項２に記載の情報処理装置。
- 前記プロセッサは、前記表示画面に表示する表示内容を、当該表示画面で表示する代わりに、前記仮想の画面として当該表示画面に重ねて表示する第１のモードと、当該表示画面に表示する表示内容を、当該表示画面で表示し、当該仮想の画面を表示しない第２のモードとを、表示内容に応じ切り換えることを特徴とする請求項１に記載の情報処理装置。
- 前記プロセッサは、表示内容が、秘密情報を含むときに前記第１のモードにし、当該秘密情報を含まないときは前記第２のモードにすることを特徴とする請求項６に記載の情報処理装置。
- 前記プロセッサは、前記第１のモードの場合に、前記仮想の画面中に当該第１のモードであることを表示することを特徴とする請求項６に記載の情報処理装置。
- 前記プロセッサは、前記仮想の画面の大きさを前記表示画面の大きさと異ならせることを特徴とする請求項１に記載の情報処理装置。
- 前記プロセッサは、前記仮想の画面を前記表示画面の一部の領域に表示し、一部以外の他の領域は、当該表示画面に表示する表示内容を、当該表示画面で表示することを特徴とする請求項９に記載の情報処理装置。
- 前記プロセッサは、前記仮想の画面を、前記表示画面の大きさに対し、前記表示画面の底辺の位置をずらさないようにして拡大して表示することを特徴とする請求項９に記載の情報処理装置。
- 前記プロセッサは、前記仮想の画面を、ユーザの正面に向けるようにすることを特徴とする請求項１に記載の情報処理装置。
- 前記プロセッサは、前記仮想の画面として、前記表示内容とともに当該仮想の画面を操作するためのオブジェクトをさらに表示することを特徴とする請求項１に記載の情報処理装置。
- 仮想の画面を現実空間と重畳して表示する表示手段と、当該仮想の画面を表示する制御を行うプロセッサと、を有する情報処理装置と、
表示画面を有し、前記情報処理装置とペアリングする外部装置と、
を備え、
前記プロセッサは、
前記外部装置で、前記表示画面に表示する表示内容を、当該表示画面で表示する代わりに、前記仮想の画面として当該表示画面に重ねて表示する情報処理システム。 - 前記外部装置の前記表示画面は、前記情報処理装置が、前記仮想の画面を表示するときは、当該仮想の画面とは異なる画面を表示することを特徴とする請求項１４に記載の情報処理システム。
- コンピュータに、
表示画面を有する外部装置から当該表示画面に表示する表示内容を取得する取得機能と、
取得した表示内容を、前記表示画面で表示する代わりに、仮想の画面を現実空間と重畳して表示する表示手段で、当該仮想の画面として当該表示画面に重ねて表示させる表示機能と、
を実現させるためのプログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020217914A JP2022102885A (ja) | 2020-12-25 | 2020-12-25 | 情報処理装置、情報処理システムおよびプログラム |
| US17/314,063 US20220206736A1 (en) | 2020-12-25 | 2021-05-07 | Information processing apparatus, information processing system, and non-transitory computer readable medium |
| CN202110746446.9A CN114690999A (zh) | 2020-12-25 | 2021-07-01 | 信息处理装置、信息处理方法与系统及计算机可读介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020217914A JP2022102885A (ja) | 2020-12-25 | 2020-12-25 | 情報処理装置、情報処理システムおよびプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2022102885A true JP2022102885A (ja) | 2022-07-07 |
Family
ID=82119064
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020217914A Pending JP2022102885A (ja) | 2020-12-25 | 2020-12-25 | 情報処理装置、情報処理システムおよびプログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20220206736A1 (ja) |
| JP (1) | JP2022102885A (ja) |
| CN (1) | CN114690999A (ja) |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4537104B2 (ja) * | 2004-03-31 | 2010-09-01 | キヤノン株式会社 | マーカ検出方法、マーカ検出装置、位置姿勢推定方法、及び複合現実空間提示方法 |
| US20080106645A1 (en) * | 2006-08-01 | 2008-05-08 | Samsung Electronics Co., Ltd. | Apparatus for providing multiple screens and method of dynamically configuring multiple screens |
| US20130322683A1 (en) * | 2012-05-30 | 2013-12-05 | Joel Jacobs | Customized head-mounted display device |
| KR102083596B1 (ko) * | 2013-09-05 | 2020-03-02 | 엘지전자 주식회사 | 디스플레이장치 및 디스플레이장치의 동작방법 |
| KR20160125783A (ko) * | 2015-04-22 | 2016-11-01 | 삼성전자주식회사 | 컨텐츠를 표시하기 위한 방법 및 전자 장치 |
| US10317989B2 (en) * | 2016-03-13 | 2019-06-11 | Logitech Europe S.A. | Transition between virtual and augmented reality |
| EP3481005B1 (en) * | 2016-06-29 | 2021-01-20 | Prosper Creative Co., Ltd. | Data masking system |
| US10334240B2 (en) * | 2016-10-28 | 2019-06-25 | Daqri, Llc | Efficient augmented reality display calibration |
| US10754417B2 (en) * | 2016-11-14 | 2020-08-25 | Logitech Europe S.A. | Systems and methods for operating an input device in an augmented/virtual reality environment |
| JP6679807B1 (ja) * | 2016-12-23 | 2020-04-15 | ニュートノイド テクノロジーズ エルエルシーＮｅｗｔｏｎｏｉｄ Ｔｅｃｈｎｏｌｏｇｉｅｓ， Ｌｌｃ | 多層インテリジェントガラス表示システムおよび表示システム |
| JP2018106041A (ja) * | 2016-12-27 | 2018-07-05 | 大日本印刷株式会社 | 表示装置、表示システム及びプログラム |
| US10705730B2 (en) * | 2017-01-24 | 2020-07-07 | International Business Machines Corporation | Display of a virtual keyboard on a supplemental physical display plane surrounding a primary physical display plane on a wearable mobile device |
| WO2018210656A1 (en) * | 2017-05-16 | 2018-11-22 | Koninklijke Philips N.V. | Augmented reality for collaborative interventions |
| US10872470B2 (en) * | 2018-04-05 | 2020-12-22 | Lenovo (Singapore) Pte. Ltd. | Presentation of content at headset display based on other display not being viewable |
| US20220229534A1 (en) * | 2020-04-08 | 2022-07-21 | Multinarity Ltd | Coordinating cursor movement between a physical surface and a virtual surface |
-
2020
- 2020-12-25 JP JP2020217914A patent/JP2022102885A/ja active Pending
-
2021
- 2021-05-07 US US17/314,063 patent/US20220206736A1/en not_active Abandoned
- 2021-07-01 CN CN202110746446.9A patent/CN114690999A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20220206736A1 (en) | 2022-06-30 |
| CN114690999A (zh) | 2022-07-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11875013B2 (en) | Devices, methods, and graphical user interfaces for displaying applications in three-dimensional environments | |
| US11366516B2 (en) | Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device | |
| US9377869B2 (en) | Unlocking a head mountable device | |
| CN106134186B (zh) | 遥现体验 | |
| JP5696908B2 (ja) | 操作表示システム | |
| JP2021036438A (ja) | 情報処理装置、情報処理方法及び記録媒体 | |
| JP6251957B2 (ja) | 表示装置、頭部装着型表示装置および表示装置の制御方法 | |
| US20170285344A1 (en) | Peripheral display for head mounted display device | |
| US20130321390A1 (en) | Augmented books in a mixed reality environment | |
| US10191282B2 (en) | Computer display device mounted on eyeglasses | |
| US9336779B1 (en) | Dynamic image-based voice entry of unlock sequence | |
| WO2013166362A2 (en) | Collaboration environment using see through displays | |
| US20170115736A1 (en) | Photo-Based Unlock Patterns | |
| JP6856863B2 (ja) | バーチャル・リアリティー・ヘッドマウント装置 | |
| US20150271457A1 (en) | Display device, image display system, and information processing method | |
| JP2023520345A (ja) | 視線ベースのナビゲーションのためのデバイス、方法、及びグラフィカルユーザインタフェース | |
| CN106997242B (zh) | 界面管理方法及头戴式显示设备 | |
| US20200264433A1 (en) | Augmented reality display device and interaction method using the augmented reality display device | |
| US20230409192A1 (en) | Device Interaction Method, Electronic Device, and Interaction System | |
| US20240094819A1 (en) | Devices, methods, and user interfaces for gesture-based interactions | |
| US20190332189A1 (en) | Systems and methods for unifying two-dimensional and three-dimensional interfaces | |
| JP2017120488A (ja) | 表示装置、表示システム、表示装置の制御方法、及び、プログラム | |
| JP6740613B2 (ja) | 表示装置、表示装置の制御方法、及び、プログラム | |
| US20230259265A1 (en) | Devices, methods, and graphical user interfaces for navigating and inputting or revising content | |
| JP2022102885A (ja) | 情報処理装置、情報処理システムおよびプログラム |