JP2020087190A - Display control system, display device, and display control method - Google Patents
Display control system, display device, and display control method Download PDFInfo
- Publication number
- JP2020087190A JP2020087190A JP2018223634A JP2018223634A JP2020087190A JP 2020087190 A JP2020087190 A JP 2020087190A JP 2018223634 A JP2018223634 A JP 2018223634A JP 2018223634 A JP2018223634 A JP 2018223634A JP 2020087190 A JP2020087190 A JP 2020087190A
- Authority
- JP
- Japan
- Prior art keywords
- display
- unit
- screen
- display device
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000004891 communication Methods 0.000 claims description 48
- 238000003384 imaging method Methods 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 description 33
- 238000013473 artificial intelligence Methods 0.000 description 24
- 230000006870 function Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 238000003860 storage Methods 0.000 description 15
- 238000005259 measurement Methods 0.000 description 10
- 230000010365 information processing Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000012797 qualification Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000012015 optical character recognition Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000011960 computer-aided design Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Digital Computer Display Output (AREA)
Abstract
Description
本発明は、表示制御システム、表示装置、及び表示制御方法に関する。 The present invention relates to a display control system, a display device, and a display control method.
近年、センサ等のデバイスの小型化が進む中、スマートグラスと呼ばれるウェアラブルな透過型ＨＭＤ（Head Mounted Display）が製品化され、工場作業や機器メンテナンス作業などの作業支援に利用されている。一般的には、透過型ＨＭＤを装着したユーザは、自身の作業対象を見ながら透過型の仮想画面に作業支援に関する情報を投影表示することで、作業手順の確認や操作を行うことが可能となる。 In recent years, as devices such as sensors have been downsized, wearable transparent HMDs (Head Mounted Displays) called smart glasses have been commercialized and used for supporting work such as factory work and equipment maintenance work. In general, a user wearing a transmissive HMD can confirm and operate a work procedure by projecting and displaying information regarding work support on a transmissive virtual screen while looking at his or her work target. Become.
透過型ＨＭＤには、仮想画面を表示する他に、加速度センサやジャイロセンサ等を用いてユーザの視線方向や位置を検出する機能を搭載している場合がある。この機能を利用し、仮想画面に情報表示する際に、情報の表示位置を調整することができる。例えば、特許文献１のように、各種センサで仮想画面の位置情報を検出し、さらに仮想画面上に表示する描画オブジェクトに予め描画優先度を設定することで、複数の描画オブジェクトが同じ場所に干渉して表示されないように位置調整する方法が考案されている。
In addition to displaying a virtual screen, a transmissive HMD may be equipped with a function of detecting the user's line-of-sight direction and position using an acceleration sensor, a gyro sensor, or the like. By using this function, the display position of information can be adjusted when displaying information on the virtual screen. For example, as in
背景技術で示したように、透過型ＨＭＤを装着したユーザは、仮想画面上に干渉することなく重畳された複数の情報を見ながら、自身の作業を行うことができる。しかしながら、現状は、仮想画面上に表示する情報は予め画一的な条件で表示位置や表示内容が定義されており、例えば、専門性の高い作業を「専門外のユーザが行う場合」あるいは「作業に精通したユーザが行う場合」に、同じ表示位置、同じ内容を表示することで、作業自体の理解不足や作業効率の低下が生じるという課題がある。 As shown in the background art, a user wearing a transmissive HMD can perform his/her work while seeing a plurality of pieces of information superimposed on a virtual screen without interference. However, at present, the display position and display content of the information displayed on the virtual screen are defined in advance under uniform conditions, and for example, “when a non-specialist user performs” a highly specialized work, or When a user who is familiar with the work” performs the same display position and the same content, there is a problem that the work itself is insufficiently understood and work efficiency is reduced.
またＩＴ(Information Technology)技術の進化により、検索ワードのヒット率に基づく推薦機能や過去の閲覧履歴情報の保持機能を用いて、ユーザは多くの情報を効率的に取得できるようになった。しかし、それら多くの情報を用いて作業するには多くの画面を表示する必要があり、当然ながら設置可能な表示装置の数には制限があるという課題がある。さらには、表示装置上での多くの情報提示は情報漏えいに繋がる可能性が高い。 Further, due to the evolution of IT (Information Technology) technology, a user can efficiently obtain a large amount of information by using a recommendation function based on a hit rate of a search word and a function of holding past browsing history information. However, in order to work using such a lot of information, it is necessary to display many screens, and naturally there is a problem that the number of display devices that can be installed is limited. Furthermore, many information presentations on the display device are likely to lead to information leakage.
本発明の目的は、ユーザの特徴に応じて情報の表示を調整することが可能な技術を提供することである。 An object of the present invention is to provide a technique capable of adjusting the display of information according to the characteristics of the user.
本発明の一態様にかかる表示制御システムは、ユーザが着用可能な第１の表示装置と、前記第１の表示装置と通信可能な第２の表示装置とを有した表示制御システムであって、前記第１の表示装置は、第１の表示部と、前記第１の表示部に仮想画面である第１の画面を表示する第１の制御部と、を備え、前記第２の表示装置は、第２の表示部と、前記第２の表示部に実画面である第２の画面を表示する第２の制御部と、を備え、前記第１の制御部または前記第２の制御部は、前記ユーザの特徴として定められた特徴情報に基づいて、前記第１の画面または／および前記第２の画面の前記第１の表示部または／および前記第２の表示部への表示方法を調整する、ことを特徴とする表示制御システムとして構成される。 A display control system according to one aspect of the present invention is a display control system having a first display device that can be worn by a user and a second display device that can communicate with the first display device, The first display device includes a first display unit and a first control unit that displays a first screen that is a virtual screen on the first display unit, and the second display device is A second display unit and a second control unit that displays a second screen that is an actual screen on the second display unit, wherein the first control unit or the second control unit is Adjusting the display method of the first screen and/or the second screen on the first display unit and/or the second display unit based on the characteristic information defined as the characteristic of the user The display control system is characterized in that
また、本発明の一態様にかかる表示装置は、ユーザが着用可能な表示装置であって、第１の表示部と、前記第１の表示部に仮想画面である第１の画面を表示する第１の制御部と、を備え、前記第１の制御部は、前記ユーザの特徴として定められた特徴情報に基づいて、前記第１の画面または／および第２の表示部を有した前記第１の表示装置と通信可能な第２の表示装置に表示される実画面である第２の画面の前記第１の表示部または／および前記第２の表示部への表示方法を調整する、ことを特徴とする表示装置として構成される。 A display device according to an aspect of the present invention is a display device that can be worn by a user, and includes a first display unit and a first screen that is a virtual screen on the first display unit. A first control unit, and the first control unit has the first screen and/or the second display unit based on characteristic information defined as the characteristic of the user. Adjusting the display method of the second screen, which is the actual screen displayed on the second display device capable of communicating with the second display device, on the first display unit and/or the second display unit. It is configured as a characteristic display device.
また、本発明の一態様では、上記表示制御システムで行われる表示制御方法としても把握される。 Further, according to one aspect of the present invention, it can be understood as a display control method performed by the display control system.
本発明の一態様によれば、ユーザの特徴に応じて情報の表示を調整することが可能となる。 According to one aspect of the present invention, it is possible to adjust the display of information according to the characteristics of the user.
以下の実施の形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。 In the following embodiments, when there is a need for convenience, the description will be divided into a plurality of sections or embodiments, but unless otherwise specified, they are not unrelated to each other, and one is the other. There is a relation of some or all of modified examples, details, supplementary explanations, and the like.
また、以下の実施の形態において、要素の数等（個数、数値、量、範囲等を含む）に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。 Further, in the following embodiments, when referring to the number of elements (including the number, numerical value, amount, range, etc.) of the elements, the case where it is particularly specified and the case where the number is clearly limited to a specific number in principle However, the number is not limited to the specific number, and may be the specific number or more or the following.
さらに、以下の実施の形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。 Furthermore, in the following embodiments, the constituent elements (including element steps and the like) are not necessarily essential unless otherwise specified or in principle considered to be essential. Needless to say.
同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは特に明示した場合および原理的に明らかにそうではないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値および範囲についても同様である。 Similarly, in the following embodiments, when referring to shapes, positional relationships, etc. of constituent elements and the like, substantially the shapes thereof are substantially specified, unless otherwise explicitly stated or in principle not clearly considered to be the case. And the like, etc. are included. This also applies to the above numerical values and ranges.
また、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。
以下、本発明の実施例について図面を用いて説明する。
In addition, in all the drawings for explaining the embodiments, the same members are denoted by the same reference symbols in principle and their repeated description is omitted.
Embodiments of the present invention will be described below with reference to the drawings.
以下、透過型ＨＭＤの表示装置および表示システムの実施例を示し、多くの情報を複数の画面上で効率良く表示することで、ユーザの作業を効果的に支援可能な表示装置が実現できることを示す。 Hereinafter, examples of a display device and a display system of a transmissive HMD are shown, and it is shown that a display device capable of effectively supporting a user's work can be realized by efficiently displaying a lot of information on a plurality of screens. ..
まず、本実施例における透過型ＨＭＤの表示装置と、当該表示装置を用いた表示システムの構成を説明する。 First, a configuration of a transmissive HMD display device and a display system using the display device according to the present embodiment will be described.
図１Ａ（ａ）に、本実施例における透過型ＨＭＤの表示装置１０１（第１の表示装置）の概略図を示す。表示装置１０１は、演算機能、操作機能、表示機能を備え、複数のセンサを有するセンサ部１０２、情報を表示する表示部１０３（第１の表示部）、光源部１０４、操作部１０５、全体制御部１０６を有している。透過型ＨＭＤの表示装置１０１は、頭部に装着できる形状であれば眼鏡型で無くても良く、表示部１０３は片眼でも良い。センサ部１０２は、例えば表示装置１０１の中央部ではなく端に設置しても良いし、複数個所に分離して設置しても良い。また、光源部１０４は、センサ部１０２を利用する場合や周囲環境が暗い場合などに照射できるように設置する。例えば光源の照射範囲が狭い場合は複数の光源を設置する、両端に設置することにより照射範囲を広げることが可能である。
FIG. 1A(a) is a schematic diagram of a transmissive HMD display device 101 (first display device) according to this embodiment. The
操作部１０５は、ボタンやスイッチ、タッチパッドのようにユーザが本表示装置１０１の電源ＯＮ／ＯＦＦや各種設定、データ入力が可能であれば良く、通信機能を備えて外付けの入力装置と連携することも可能である。全体制御部１０６は、ＣＰＵ（Central Processing Unit）とメモリ、電源、通信モジュールを含む。これらが独立して存在しても良いし、センサ部１０２や操作部１０５と一体型でも良い。
The
本形態は、ユーザは本表示装置１０１のみで作業実施することを想定し、表示装置１０１上で複数の仮想画面を表示することで多くの情報を空間上に提示する。
In the present embodiment, it is assumed that the user performs work only on the
また、図１Ａ（ｂ）に示す通り、透過型ＨＭＤの表示装置１０１は表示機能のみを備え、通信線１０７を介して接続した別装置１０８に演算機能、操作機能を備える形態でも良い。機能を分割して別装置に搭載することで、頭部に装着する装置部分の小型化や軽量化を図ることが出来る。通信線１０７は、有線通信でも無線通信でも良い。無線通信の場合は、表示部１０１と別装置１０８を繋ぐ通信線が不要となり、ユーザが通信線の存在を気にすることなく作業を実施することができるため使用勝手が向上する。
Further, as shown in FIG. 1A(b), the
図１Ｂは、前記表示装置１０１の別形態の概略図を示す。本例は別装置１０８と連携して表示機能を拡張する例を示している。別装置１０８の一例としては、ＰＣ（Personal Computer）１０８ａ、携帯端末やスマートフォン１０８ｂのほか、プロジェクタを用いることができる。具体的には、
通信線１０７を介して、透過型ＨＭＤの表示装置１０１と別装置１０８（第２の表示装置）が表示すべき画面を分担して表示する。例えば、表示すべき画面が３つ存在する場合、表示装置１０１が表示部１０３（仮想画面領域）に２つ、携帯端末１０８の表示部１０８ａ（実画面領域）に１つ表示する。実画面領域は、ＰＣの表示部１０８ｂであってもよい。それぞれの表示部への操作は、個々の操作部を使用しても良いし、どちらか一方の操作部を使用しても良い。
FIG. 1B shows a schematic view of another form of the
Through the
本形態は、ユーザへ提示する情報を増やすことができると同時に省スペース化が実現できる。また、表示するデータの“アクセスレベル”や“種類（図表あり、文書のみ等）”、使用するアプリの種類等によって仮想画面領域か実画面領域のいずれかへ表示するような制御も可能となる。例えば、顧客情報や機密情報は仮想画面領域に表示する、コミュニケーションアプリなど複数人と画面を共有するようなアプリは実画面領域に表示する、などが挙げられる。また、通信線１０７を介して複数の表示装置１０１の間で仮想画面領域を共有、あるいは各表示装置で異なる仮想画面領域を表示することが可能である。
According to the present embodiment, it is possible to increase the information presented to the user and at the same time realize space saving. In addition, it is possible to control the data to be displayed in either the virtual screen area or the real screen area depending on the "access level" and "type (data such as charts, documents only)" of the data to be displayed and the type of application used. .. For example, customer information and confidential information are displayed in a virtual screen area, and applications such as communication applications that share the screen with multiple people are displayed in a real screen area. Further, it is possible to share a virtual screen area among a plurality of
図１Ｃは、前記表示装置１０１の別形態の概略図を示す。表示装置１０１、別装置１０８は、通信線１０７を介してインターネット１０９上にあるクラウドサービス１１０と接続している。クラウドサービス１１０は、複数の装置により提供され、画像認識サービスや翻訳サービス、情報検索サービスなど各種サービスを無料、有料で表示装置１０１や別装置１０８に提供する。別装置１０８は、表示装置１０１と同じ場所にあっても良いし、クラウドサービス１１０と同じ場所にあっても良く、それぞれ離れた場所に存在しても良い。
FIG. 1C shows a schematic view of another form of the
本形態は、上記図１Ｂの実画面、仮想画面への表示制御をよりきめ細かく、精度よく実行するために、クラウドサービス１１０から提供されるユーザの能力や習慣、作業内容を考慮して、画面の表示方法や表示内容を設定することが可能となる。
In this embodiment, in order to perform the display control on the real screen and the virtual screen of FIG. 1B more finely and accurately, in consideration of the user's ability, habit, and work content provided from the
図２は、本実施の形態による表示装置１０１における構成の一例を示すブロック図である。本例は、頭部に装着する表示装置に操作機能と演算処理機能が一体となっている例（すなわち図１Ａ（ａ））である。
FIG. 2 is a block diagram showing an example of the configuration of the
表示装置１０１は、センサ群１０２と、表示制御部２０７、表示部２０８ａ、２０８ｂを含む表示部１０３と、光源部１０４と、入力操作部２０５、音声入出力部２０６を含む操作部１０５と、制御部２０１、通信部２０２、電源部２０３、ＡＩエンジン群２０９、記憶部２１０を含む全体制御部１０６を有する。
The
制御部２０１は、ＣＰＵやＧＰＵ（Graphics Processing Unit）を有し、表示装置１０１全体の制御処理やリアルタイム画像処理についての演算を行う。
The
通信部２０２は、通信線１０７やインターネット１０９を介して他の装置やクラウドサービスとの間で制御コマンドや各種データの通信を行う。ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ(登録商標)、ＬＰＷＡ（Low-Power Wide Area），ＵＳＢ（Universal Serial Bus）など、１つ以上の通信方式を搭載する。通信部２０２は、外付けの操作部２０５を使用する場合、操作コマンドのやり取りにも使用する。
The
電源部２０３は、内蔵あるいは外付けの電池やバッテリである。
The
操作部２０５は、ボタンやタッチパネル、スイッチ、ダイヤル、外付けのマウス、キーボードを利用して、ユーザが表示装置１０１を操作する１つ以上の入力デバイスとデバイス制御用のドライバである。
The
音声入出力部２０６は、内蔵あるいは外付けのマイク、イヤホンである。
The voice input/
表示制御部２０７は、表示部２０８ａ、２０８ｂに表示する画面の位置やタイミングを制御する。
The
表示部２０８ａ、２０８ｂは、表示制御部２０７の指示に従い、表示部１０３（仮想画面）に画面を表示する。
The
ＡＩエンジン群２０９は、機械学習や深層学習で学習した結果のパラメータや閾値を用いて、ＡＩ（Artificial Intelligence）が様々な事象を推測、判断する。
The
記憶部２１０は、ＲＯＭ（Read only memory）やＦＲＯＭ（Flash ＲＯＭ）などの不揮発性メモリを有し、各種のパラメータやプログラムを格納する。記憶部２１０は、認証部２１０１、表示生成部２１０２、表示管理部２１０３、スキル管理部２１０４、ユーザ状態管理部２１０５を機能させるためのプログラムを記憶する。
The
認証部２１０１は、表示装置１０１と別装置１０８、クラウドサービス１１０との間で個人認証、機器認証、サービス認証などのアクセス制限を行う。
The authentication unit 2101 performs access restriction such as personal authentication, device authentication, and service authentication between the
表示生成部２１０２は、表示制御部２０７を介して表示部２０８ａ、２０８ｂに表示する画面の内容や表示位置情報を生成する。
The display generation unit 2102 generates the content of the screen displayed on the
表示管理部２１０３は、表示制御部２０７を介して表示部２０８ａ、２０８ｂに表示中の画面の数やサイズ、画面とアプリケーションとの関連付け、アクティブ状態などを管理する。
The display management unit 2103 manages the number and size of screens displayed on the
スキル管理部２１０４は、ユーザの職種や職務経歴、経験年数、所有する資格などの静的情報と、使用するアプリやサービスの種類、使用する端末への操作の種類や使用頻度、作業履歴などの動的情報を生成し、管理する。静的情報は、スキルに関するユーザの属性情報であるとも言える。また、動的情報は、ユーザによるスキルの発揮対象についての使用情報であるとも言える。さらに、これらの静的情報や動的情報は、ユーザのスキルに関する特徴を示す情報であるとも言える。
The
ユーザ状態管理部２１０５は、後述するバイタル計測部２１１５を用いて表示装置１０１を装着したユーザの作業状態や疲労度などを取得し、管理する。
The user status management unit 2105 acquires and manages the work status and fatigue level of the user wearing the
センサ群１０２は、画像センサやＧＰＳ（Global Positioning System）、加速度センサ、ジャイロセンサ、照度計などの各種センサを有し、撮像部２１１１、撮像部２１１２、慣性計測部２１１３、環境計測部２１１４、バイタル計測部２１１５を有している。
The
撮像部２１１１、撮像部２１１２は、静止画や動画を撮影する。撮像部２１１１はユーザの視界を撮影対象とし、撮像部２１１２はユーザ自身を含む周囲環境を撮影対象とする。
The
慣性計測部２１１３は、加速度センサ、ジャイロセンサ、地磁気センサ、ＧＰＳを有し、ユーザの視線方向や視線位置、姿勢、現在位置を取得、推定する。
The
環境計測部２１１４は、照度計や温度・湿度計、マイクなどを有し、ユーザの周囲環境に関する情報を取得、推定する。
The
バイタル計測部２１１５は、心拍計や体温計、血圧計、脈拍計、脳波計などを有し、ユーザの身体情報を取得し、ユーザの体調や感情を推定する。
The
なお、記憶部２１０やＡＩエンジン群２０９は、本システムの外部に設けられていてもよい。例えば、記憶部２１０やＡＩエンジン群２０９が、本システムにネットワークを介して接続されているサーバ装置に設けられ、本システムから必要に応じてアクセスしてもよい。後述する図３、図４に示す記憶部やＡＩエンジン群の場合も同様である。
The
前述した図１Ａ（ａ）のケースは、ユーザが外出中や自宅、ハンズフリー作業中に、必要な情報をすべて仮想画面領域の任意の場所に表示して使用することを想定する。ユーザは、通信部２０２、操作部２０５を介して、Ｂｌｕｅｔｏｏｔｈ(登録商標)や無線ＵＳＢのマウスやキーボード、リモコン、音声で入力操作を行う。
In the case of FIG. 1A(a) described above, it is assumed that the user displays all the necessary information at an arbitrary place in the virtual screen area and uses it while out of the house, at home, or during hands-free work. The user performs an input operation with a Bluetooth (registered trademark) or wireless USB mouse, keyboard, remote controller, or voice via the
前述した図１Ａ（ｂ）のケースは、表示装置１０１と別装置１０８が通信部２０２を介して接続される。表示装置１０１は、少なくとも図２の表示制御部２０７、表示部２０８ａ、２０８ｂ、センサ群２１１の撮像部２１１１、慣性計測部２１１３、制御部２０１の一部（例えば、これらの各部を制御するＩＣ（Integrated Circuit）チップ）を搭載する。それ以外は別装置１０８に搭載することを想定する。
In the case of FIG. 1A(b) described above, the
図１Ｂのケースは、表示装置１０１は図２と同様の構成でも良いし、前述した図１Ａ（ｂ）と同様の構成でも良い。
In the case of FIG. 1B, the
ユーザは、オフィス以外の場所では図１Ａ（ａ）、１Ａ（ｂ）の形態で使用し、オフィスに戻ってくると図１Ｂの形態にシームレスに移行することができる。また、オフィスで図１Ｂの形態で作業した後、外出する時は図１Ａ（ａ）の形態に移行できる。移行する方法は、例えば、制御部２０１が、後述する表示装置１０１に搭載した各種センサを用いてユーザの現在位置を特定し、ユーザの現在位置がオフィス内か否かを判定する。そして、制御部２０１は、ユーザの現在位置がオフィス内であると判定した場合、自動的にあるいはユーザの指示により後述する図５の処理フローを行う。
The user can use the form of FIGS. 1A(a) and 1A(b) in a place other than the office, and can seamlessly shift to the form of FIG. 1B when returning to the office. Further, after working in the form of FIG. 1B in the office, when going out, it is possible to shift to the form of FIG. 1A(a). In the method of shifting, for example, the
図３は、本実施の形態による別装置１０８における構成図１Ｂの一例を示すブロック図である。本例は、前記表示装置１０１と連携、分担して画面表示を行う例である。
FIG. 3 is a block diagram showing an example of a configuration diagram 1B in another
別装置１０８は、制御部３０１、通信部３０２、時間管理部３０３、電源部３０４、操作部３０５、音声入出力部３０６、表示制御部３０７、表示部３０８、ＡＩエンジン群３０９、記憶部３１０、センサ群３１１を有する。
The
ＡＩエンジン群３０９は、表示装置１０１のＡＩエンジン群２０９と同等以上の性能、あるいは異なる機能やアルゴリズムを備えたＡＩエンジンを有する。
The
センサ群３１１は、表示装置１０１のセンサ群２１１と同じセンサの他、ユーザの視線先をリアルタイムにトラッキングする視線追跡部３１１２を有する。視線追跡部３１１２は、撮像部２１１１であってもよい。
The
記憶部３１０は、認証部３１０１、表示生成部３１０２、表示管理部３１０３、スキル管理部３１０４、ユーザ状態管理部３１０５、最適表現変換部３１０６を有している。
The
認証部３１０１は、表示装置１０１の認証部２１０１との間で、お互いが正規に製造された装置であるか、そして正しいユーザがアクセス／使用しているか、を認証する。
The authentication unit 3101 authenticates with the authentication unit 2101 of the
表示生成部３１０２は、表示部３０８に表示する画面イメージ、あるいはイメージを生成するための情報を生成する。また、表示生成部３１０２は、制御部２０１と表示管理部２１０３の指示により、通信部３０２を介して接続された表示装置１０１の表示部２０８ａ、２０８ｂに表示する画面イメージ、あるいはイメージを生成するための情報を生成する。
The
表示管理部３１０３は、表示部３０８の領域を拡張するために、表示生成部３１０２で生成した表示画面を表示部３０８で表示するか、通信部３０２を介して接続された表示装置１０１で表示するか、あるいは両方で表示するかを判断する。そして、表示管理部３１０３は、表示装置１０１に表示すると判断した場合は、表示生成部３１０２で作成した表示画面あるいは情報を、制御部３０１と通信部３０２を経由して表示装置１０１に渡す。表示装置１０１の制御部２０１は、受信した表示画面を表示制御部２０７に渡して表示部２０８ａ、２０８ｂに表示する。
The
スキル管理部３１０４は、表示装置１０１のスキル管理部２１０４と同様、ユーザの能力・スキルに関する情報を生成し、管理する。本情報は、前記スキル管理部２１０４と同じ内容であっても良いし、別々の内容であっても良い。
The skill management unit 3104, like the
ユーザ状態管理部３１０５は、センサ群３１１の撮像部３１１１や視線追跡部３１１２を用いて取得した情報を用いてユーザの身体状態、作業状態を管理する。表示装置１０１のユーザ状態管理部２１０５が管理する情報の全てあるいは一部を、通信線１０７を介して取得するようにしても良い。
The user status management unit 3105 manages the physical status and working status of the user by using the information acquired by using the
最適表現変換部３１０６は、スキル管理部３１０４やユーザ状態管理部３１０５で管理するユーザのスキルや状態、あるいは表示管理部３１０３が判断した表示対象（表示部３０８か表示装置１０１か）に合わせて、画面に表示する内容を変換する。例えば、前記ユーザ状態管理部３１０５がユーザの疲労度が高いと判断した場合、最適表現変換部３１０６は、表示部３０８で表示する文字サイズを大きくする、あるいは表示装置１０１の仮想画面領域を小さくする。疲労度が高いか否かの判断は、例えば、ユーザ状態管理部３１０５が、センサ群３１１から得られたユーザの状態に関する情報と、あらかじめ定められた閾値とを比較し、ユーザの状態に関する情報が当該閾値よりも大きい場合、疲労度が高いと判断すればよい。上記閾値としては、例えば、過去のユーザの状態に関する情報の平均値を用いることができる。
The optimum expression conversion unit 3106 matches the skill or state of the user managed by the skill management unit 3104 or the user state management unit 3105, or the display target (the
図４は、本実施の形態によるクラウドサービス１１０における構成の一例を示すブロック図である。
FIG. 4 is a block diagram showing an example of the configuration of the
クラウドサービス１１０は、制御部４０１、通信部４０２、時間管理部４０３、電源部４０４、操作部４０５、音声入出力部４０６、表示制御部４０７、表示部４０８、ＡＩエンジン群４０９、記憶部４１０を有している。
The
記憶部４１０以外の要素については、図２、図３の表示装置１０１、他の装置１０８と同様である。なお、時間管理部４０３は、タイマやクロックである。
Elements other than the
記憶部４１０は、ユーザ管理部４１０１、画面表示条件学習部４１０２、スキル学習部４１０３、作業履歴管理部４１０４を有する。
The
ユーザ管理部４１０１は、本クラウドサービスを利用するユーザに関する情報を作成、管理する。
The
画面表示条件学習部４１０２は、前記ユーザ管理部が管理するユーザ毎に、画面表示に関わる条件をＡＩエンジン群により学習し、最適な配置条件を取得する。
The screen display
スキル学習部４１０３は、前記ユーザ管理部が管理するユーザ毎に、作業に関わる知識や経験に関わる条件をＡＩエンジン群により学習し、ユーザのスキル条件を取得する。
The
作業履歴管理部４１０４は、前記ユーザ管理部が管理するユーザ毎に、実施した作業に関する情報を作成、管理する。
The work
図５は、本実施の形態による表示装置１０１をユーザが使用開始する場合の処理フローを示す。処理に必要なデータや画面例は、図９Ａ〜Ｄ、図１０を用いて説明する。
FIG. 5 shows a processing flow when the user starts using the
本処理フローでは、ユーザが別装置１０８を使用中に表示装置１０１を装着した場合（図１Ａ）を想定している。また、前述した図１Ｂのケースを想定する。
In this processing flow, it is assumed that the user wears the
表示装置１０１の制御部２０１は、ユーザが表示装置１０１の装着を検知すると、認証部２１０１を用いてユーザの認証処理を行う。認証処理は、操作部２０５を用いたパスワード入力、音声入出力部２０６を用いた音声入力、バイタル計測部２１１５から取得したユーザの身体情報（脈波、脳波）、撮像部２１１１、２１１２を用いた指紋や顔、などの1つ以上の情報を用いて、認証部２１０１に予め登録されたユーザか否かを判定する。
When the user detects mounting of the
図９Ａにユーザ情報９００の一例を示す。ユーザ情報９００は、ユーザＩＤ９０１、パスワード９０２、所属９０３、役職９０４、端末番号９０５を有する。本ステップではユーザＩＤ９０１、パスワード９０２を使用する（ステップ５０１）。ステップ５０１が行われることにより、ユーザと表示装置１０１とが紐付けされる。
FIG. 9A shows an example of the
次に、制御部２０１は、慣性計測部２１１３を用いてユーザの現在位置を取得し、環境計測部２１１４を用いてユーザの現在位置の気温や照度、騒音を取得し、撮像部２１１１を用いてユーザの視線先の画像を取得する（ステップ５０２）。ステップ５０２が行われることにより、ユーザの現在位置周辺における環境に関する各種情報が取得される。
Next, the
制御部２０１は、認証部２１０１に予め登録した位置情報（例えば、ユーザ情報９００内の所属９０３）とステップ５０２で取得した情報を用いて、ユーザの位置を特定する。また、制御部２０１は、ＡＩエンジン群２０９の画像認識機能を用いて、撮像部２１１１で撮影した画像の中から、ユーザが作業で使用する実画面領域（ＰＣやスマートフォン等のディスプレイ、プロジェクタ画面、デジタルサイネージ）を検出する（ステップ５０３）。ステップＳ５０３が行われることにより、表示装置１０１を介したユーザの視線上にある実画面領域と、表示装置１０１とのペアリングが完了する。
The
ステップ５０３で実画面領域が検出できた場合、制御部２０１は、その実画面領域が認証部２１０１に登録したもの（例えば、ユーザ情報９００内の情報アクセスレベル９００９や端末番号９０５）であるか否かを判定する。例えば、ユーザが自分のオフィス内で、複数人で共有するＰＣを使用する場合などである（ステップ５０４）。
When the real screen area can be detected in step 503, the
ステップ５０４において、制御部２０１は、実画面領域が認証部２１０１に登録したものであると判定した場合（ステップ５０４；Ｙｅｓ）、認証部２０１０と通信部２０２を介して、実画面領域を表示している別装置１０８の認証部３１０１との間で、お互いが正規の装置であり、お互いに情報をやり取りして良いか否かを認証する（ステップ５０５）。ステップ５０５が行われることにより、表示装置１０１とステップ５０３でペアリングした実画面領域を表示している別装置１０８とが互いに正規の装置であると認証される。
In
正しく認証できた場合、制御部２０１は、表示管理部２１０３や表示制御部２０７を用いてユーザが現在表示装置１０１上で作業中か否かを判定し、作業中であればその作業を保存するか否かを決定する（ステップ５０６）。ステップ５０６が行われることにより、作業中の画面が一旦保存される。作業中であるか否かは、例えば、実画面領域に表示されている画面がアクティブであるか否かにより判定すればよい。
When the authentication is successful, the
ステップ５０６で現在作業中の情報を保存した場合（ステップ５０６；Ｙｅｓ）、制御部２０１は、別装置１０８の制御部３０１と通信部を介して、画面表示内容の同期を行う。例えば、制御部２０１は、表示装置１０１で表示されている作業中のファイルが別装置１０８上でも表示されている場合、必要に応じて更新あるいは別ファイル名で保存するなどの処理を行う（ステップ５０７）。
When the information on the current work is saved in step 506 (step 506; Yes), the
その後、制御部２０１は、別装置１０８の制御部３０１との間で表示する画面を整理する必要があるか否かを判定する。判定する手順については、後述する（ステップ５０８）。
After that, the
両者で整理すると判定した場合（ステップ５０８；Ｙｅｓ）、表示装置１０１の制御部２０１は、別装置１０８の制御部３０１との間で、それぞれが画面表示する情報について共有する。具体的には、表示装置１０１の表示管理部２１０３と他の別装置１０８の表示管理部３０１３の間で、図９Ｂの作業履歴９０００を作成・更新する。
When it is determined that both are to be arranged (step 508; Yes), the
作業履歴９０００は、作業ＩＤ９００１、実施日９００２、時間９００３、端末番号９００４、作業名９００５、アプリ情報９００６、画面情報９００７、入力操作情報９００８、情報アクセスレベル９００９を有する。
The
作業ＩＤ９００１は、ユーザが現在を含む所定の期間に実施中／実施した作業の識別子である。実施日９００２、時間９００３、端末番号９００４は、前記作業の実施日と使用した時間および端末番号を示す。作業名９００５、前記作業の分類名であり、ユーザの所属、役職に応じた分類名を定義できる。アプリ情報９００６は、前記作業に使用したアプリケーションの分類名である。画面情報９００７は、前記アプリ情報９００６を使用した際に表示した画面数や表示サイズ、実画面領域１００１（表示部３０８）や仮想画面領域１００２、１００３（表示部２０８ａ、２０８ｂ）における画面の位置、画面の参照・更新頻度などを示す。入力操作情報９００８は、前記作業に使用した操作方法を示す。情報アクセスレベル９００９は、前記作業の実施する際に使用および参照した情報のセキュリティレベルを示す。
The
表示装置１０１と別装置１０８は、自身の端末番号９００４に係る作業履歴９０００を保持・管理し、現在表示中の情報についても画面毎に作成する。作業履歴９０００は、両者で同じ情報を共有しても良いし、どちらか一方の装置で保持・管理するようにしても良い（ステップ５０９）。
The
図１０は、別装置１０８を想定したＰＣのディスプレイである実画面領域１００１と、表示装置１０１が表示する仮想画面領域１００２、１００３上に、それぞれ画面表示した例を示す。例えば、表示装置１０１の表示部２０８ａが仮想画面領域１００２を表示し、表示装置１０１の表示部２０８ｂが仮想画面領域１００３を表示する。表示装置１０１の制御部２０１は、慣性計測部２１１３と撮像部２１１１、撮像部２１１２、ＡＩエンジン群２０９を用いて、ユーザから見える実画面領域１００１の３次元位置を決定し、その位置に重ならないように、仮想画面領域１００２、１００３を配置する。ここで、表示する画面内容の格納場所を明確にするために、制御部２０１は、例えば表示装置１０１の画面のどこかにマーク１００４を明示する。図１０では、仮想画面領域１００２に表示されている２つの画面には、仮想画面であることを示すマークＶ（Virtual）が付されており、これらの画面が仮想画面である（すなわち、表示装置１０１が表示している画面である）ことがわかる。また、実画面領域１００１に表示されている手前側の画面１００１ａには仮想画面であることを示すマークＶが付される一方、奥側の画面１００１ｂには当該マークが付されていないため、前者は表示装置１０１が表示する仮想画面であり、後者は別装置１０８が表示する実画面であることがわかる。このように、ユーザは、表示画面が、仮想画面領域に表示されていた画面か、実画面領域に表示されていた画面のどちらのものか把握しやすくなる（ステップ５１０）。
FIG. 10 shows an example of screen display on a
以上から、ユーザは、表示装置１０１を装着すると、眼前周辺に存在する実画面領域を検出して自動的に接続し、実画面領域の周辺に仮想画面領域を表示することができる。これにより、実画面領域を増設することなく表示する情報量を増やすことができる。
From the above, when the user wears the
ここで、上記ステップ５０３で表示装置１０１の制御部２０１が別装置１０８を検出しているが、別装置１０８の制御部３０１が撮像部３１１１とＡＩエンジン群３０９を用いて表示装置１０１を検出しても良い。
Here, although the
また、図１０の画面例では、表示する画面を表示装置１０１と別装置１０８のそれぞれに振り分けているが、実画面領域１００１と仮想画面領域１００２、１００３の両方に別装置１０８が表示する画面を表示しても良い。また、実画面領域１００１と仮想画面領域１００２、１００３に表示させる画面を、表示装置１０１が表示する画面だけに限定しても良い。さらには、実画面領域１００１と仮想画面領域１００３は別装置１０８が表示する画面とし、仮想画面領域１００２は表示装置１０１が表示する画面を表示するなど、画面領域によって使用装置を決めても良い。
Further, in the screen example of FIG. 10, the screen to be displayed is distributed to the
また、本処理フローは、ユーザが別装置１０８を使用中に表示装置１０１を装着した場合を想定しているが、表示装置１０１を装着時に別装置１０８を起動した場合でも同様の手順が可能である。
Further, although the present processing flow assumes a case where the user wears the
図６は、本実施の形態による表示装置１０１あるいは別装置１０８が、表示する画面の配置を整理する条件判断処理フロー（図５のステップ５０８）を示す。本処理フローでは、ユーザが別装置１０８を使用中に表示装置１０１を装着した場合を想定している。処理に必要なデータは、図９Ａ〜Ｄを用いて説明する。
FIG. 6 shows a condition determination processing flow (step 508 in FIG. 5) for organizing the layout of screens displayed by the
ここで、本条件判断処理フローは、図９Ｄの優先モード９２００の設定値にしたがい、表示装置１０１、別装置１０８のどちらが判断するかを決定する。優先モード９２００は、表示管理部２１０３、３１０３が保持・管理する。優先モード９２００は、ユーザＩＤ９２０１、優先表示対象９２０２、優先制御対象９２０３を有する。優先表示対象９２０２は、どちらの装置を優先して画面表示するかを決定するための項目である。当該項目には、表示先となる別の装置１０８（「実画面領域」）、または表示先となる表示装置１０１（「仮想画面領域」）のいずれかが設定される。同様に、優先制御対象９２０３は、どちらの装置の操作を優先させるかを決定するための項目である。当該項目には、優先表示対象９２０２の場合と同様、別の装置１０８（「実画面領域」）、または表示装置１０１（「仮想画面領域」）のいずれかが設定される。本例では、どちらも「実画面領域」、すなわち別装置１０８としている。
Here, in this condition determination processing flow, which of the
別装置１０８の制御部３０１は、環境計測部３１１４を用いて、ユーザ周辺の温度や湿度、照度、騒音などを計測する。あるいは、表示装置１０１の環境測定部２１１４で計測した情報を取得しても良い（ステップ６０１）。
The control unit 301 of the
また、制御部３０１は、自身の表示管理部３１０３と表示装置１０１の制御部３０１から、実画面領域１００１と仮想画面領域１００２、１００３に現在表示している画面の情報を取得する。すなわち、制御部３０１は、前記作業履歴９０００の中から時間９００３に終了時刻が未記載の（あるいはウィンドウがアクティブになっている）情報である現在表示中の情報を抽出する。そして、制御部３０１は、それらの画面のレイアウト（全部表示されている、重なりがある、隠れているなど）を取得する（ステップ６０２）。
Further, the control unit 301 acquires information about the screen currently displayed in the
次に、制御部３０１は、スキル管理部３１０４から図９に示すスキル情報９１００を取得する（ステップ６０３）。なお、本実施例では、ユーザのスキルに関する情報を用いて、スキルレベルに応じた仮想画面、実画面を表示する際の調整方法について説明しているが、ユーザのスキルレベル以外のユーザに関する情報（例えば、ユーザの年齢、性別、国籍といったユーザの特徴をあらわす属性を示す情報）を用いて、ユーザに応じて仮想画面や実画面の表示を調整してもよい。
Next, the control unit 301 acquires the
スキル情報９１００は、ユーザＩＤ９１０１、入社年度９１０２、職務経歴情報９１０３、資格情報９１０４、作業別特徴９１０５を有する。
The
職務経歴情報９１０３は、ユーザの現在および過去の職務の経歴を示す情報であり、作業ＩＤと当該作業ＩＤにより識別される作業の評価とが対応付けられた職務データが、１または複数記憶される。
The
資格情報９１０４は、ユーザが保持している、または過去に保持していた資格に関する情報である。
The
作業別特徴９１０５は、前記作業履歴９０００内の作業名９００５、アプリ情報９００６、入力操作情報９００８に記載された作業に対して、表示した画面数や画面サイズの平均値／最大値／最小値、使用したアプリ、入力操作時間、平均作業時間などの統計値、設定値を示す。これらの情報は、例えば、スキル管理部３１０４が、ユーザ情報９００の中から、ユーザＩＤ９１０１と同じユーザＩＤ９０１を含むユーザ情報を検索し、検索したユーザ情報に含まれる端末番号９０５を読み取る。スキル管理部３１０４は、作業履歴９０００の中から、読み取った端末番号９０５と同じ端末番号９００４を含む作業履歴を読み取り、読み取った作業履歴に含まれる時間９００３、作業名９００５、アプリ情報９００６、画面情報９００７、入力操作情報９００８等の情報を読み出し、読み出したこれらの情報を集計する等して上記統計値や設定値を算出することにより、設定される。
The job-
ステップ６０２で取得した現在表示中の画面情報、ステップ６０３で取得した作業別特徴９１０５を用いて、制御部３０１は、現在の作業内容を特定する（ステップ６０４）。作業内容の特定は、例えば、制御部３０１が、作業履歴９０００のアプリ情報９００７（例えば、文書作成ソフト）を参照して、ユーザが作業中のアプリケーションを特定し、特定したアプリケーションについての作業別特徴９１０５を読み取る。制御部３０１は、読み出した作業別特徴９１０５と、作業履歴９０００の時間９００３、作業名９００５、アプリ情報９００６、画面情報９００７、入力操作情報９００８等の情報とから、現在作業中のアプリケーションの作業内容（例えば、キーボード入力の有無や入力内容、入力時間）に関する情報を集計し、出力する。上記現在作業中のアプリケーションには、アクティブとなっているアプリケーションの画面のほか、操作画面領域に表示中の他のアプリケーションの画面を含む。
Using the screen information currently displayed in step 602 and the work-
次に、制御部３０１は、表示カウンタ（Cnt）を現在の表示画面数（Dn）に設定し（ステップ６０５）、表示カウンタ（Cnt）が画面数の最大値（Dm）以上であるか否かを判定する（ステップ６０６）。表示カウンタは、例えば、制御部３０１が、スキル情報９１００の作業別特徴９１０５として記憶されている画面数の最大値や平均値を設定してもよい。当該画面数を設定することにより、通常、ユーザが同時に操作画面領域に表示する画面数を設定することができる。
Next, the control unit 301 sets the display counter (Cnt) to the current display screen number (Dn) (step 605) and determines whether the display counter (Cnt) is equal to or larger than the maximum screen number (Dm). Is determined (step 606). For the display counter, for example, the control unit 301 may set the maximum value or the average value of the number of screens stored as the task-
制御部３０１は、表示カウンタが最大値に達していると判定した場合、すなわち表示されている全ての画面について、以下の処理を行ったと判定した場合は（ステップ６０６；Ｙｅｓ）、ステップ６０４で特定した作業内容のうち、作業履歴９０００の時間９００３で参照頻度が最小値未満の作業、あるいは画面情報９００７から画面サイズが最小値未満の作業を抽出する（ステップ６０７）。すなわち、制御部３０１は、現在表示している画面に対する作業履歴の中で、直近の作業時刻から現在までに行われた操作があらかじめ定められた最小値未満である場合、あるいは現在表示している画面の画面サイズがあらかじめ定められた最小値未満である場合には、使用頻度が低く、ユーザにとって優先度が低い作業であると判断し、当該作業を特定する。
If the control unit 301 determines that the display counter has reached the maximum value, that is, if it determines that the following processing has been performed on all the displayed screens (step 606; Yes), the control unit 301 specifies the value in
制御部３０１は、ステップ６０７で該当する作業が抽出できたと判定した場合（ステップ６０７；Ｙｅｓ）、表示管理部３１０３に指示し、その作業に関する画面の情報を保持する（ステップ６０８）。一方、制御部３０１は、ステップ６０７で該当する作業が抽出できなかったと判定した場合は（ステップ６０７；Ｎｏ）、参照頻度が最も低い画面情報を保持する（ステップ６１０）。
When the control unit 301 determines in step 607 that the corresponding work can be extracted (step 607; Yes), the control unit 301 instructs the
その後、制御部３０１は、表示カウンタ（Cnt）を−１デクリメントし、表示カウンタが最大値（Dm）未満になるまでステップ６０６〜６０９を繰り返す。 After that, the control unit 301 decrements the display counter (Cnt) by -1, and repeats steps 606 to 609 until the display counter becomes less than the maximum value (Dm).
制御部３０１は、表示カウンタ（Cnt）が最大値（Dm）未満になったと判定した場合（ステップ６０６；Ｙｅｓ）、表示カウンタが表示画面数（Dn）と同じであるか否かを判定する（ステップ６１１）。ステップ６１１において、値が異なる場合は、画面数が最大値に達しており、ステップ６０６〜６０９が１回以上実行されたことを示す。 When determining that the display counter (Cnt) has become less than the maximum value (Dm) (step 606; Yes), the control unit 301 determines whether the display counter is the same as the number of display screens (Dn) ( Step 611). If the values are different in step 611, it means that the number of screens has reached the maximum value, and steps 606 to 609 have been executed one or more times.
制御部３０１は、ステップ６１１で値が異なると判定した場合（ステップ６１１；Ｙｅｓ）、表示管理部３１０３に指示し、ステップ６０８あるいはステップ６１０で保持した画面情報について仮想画面使用フラグを設定する（ステップ６１２）。そして、制御部３０１は、仮想画面使用フラグが設定された作業の画面は表示装置１０１の仮想画面領域で表示するよう、表示装置１０１に通知する。表示装置１０１の制御部２０１は、表示管理部２１０３に指示し、該当する作業画面を仮想画面領域で表示を行う（ステップ６１３）。
When the control unit 301 determines that the values are different in step 611 (step 611; Yes), the control unit 301 instructs the
以上から、実画面領域に表示する画面数が増えた場合、あるいは作業対象の画面サイズが小さい場合、あるいは表示中で参照頻度が低下した画面が存在する場合、該当するそれらの画面を実画面領域から仮想画面領域へ移動させることにより、主たる作業対象となる実画面領域に表示する情報を増やすことが可能となる。 From the above, if the number of screens to be displayed in the real screen area increases, or if the screen size of the work target is small, or if there is a screen whose reference frequency has decreased during display, then those screens will be By moving from to the virtual screen area, it is possible to increase the information displayed in the real screen area which is the main work target.
なお、上記ステップ６０１から６０３は順番が入れ替わっても良い。また、優先モード９２００の表示優先９２０２が「仮想画面領域」の場合、図６の処理フローは表示装置１０１側が実施しても良い。
The order of steps 601 to 603 may be changed. When the
図７は、図６と異なる他の例の条件判断処理フローを示す。図６と同様、本処理フローもユーザが別装置１０８を使用中に表示装置１０１を装着した場合について説明する。ステップ７０１から７０４については、前述のステップ６０１から６０４と同様の処理を行うため、ステップ７０５以降の処理について説明する。
FIG. 7 shows a condition determination processing flow of another example different from FIG. Similar to FIG. 6, this processing flow also describes a case where the user wears the
次に、別装置１０８の制御部３０１は、アクセス制限カウンタ(Acnt)を初期化し（ステップ７０５）、ステップ７０４で抽出した作業に関する作業履歴９０００の情報アクセスレベル９００９を参照し、当該画面に表示する情報がアクセス制限付きであるか否かを判定する。情報アクセスレベルは任意に定義することができ、例えば、「０：アクセス制限なし」「１：社内アクセス限定」「２：部内アクセス限定」「３：チームアクセス限定」と定義する。ステップ７０４で特定した作業に関する作業履歴９０００内の情報アクセスレベル９００９が「２：部内アクセス限定」であった場合、この作業はアクセス制限付きであると判断する（ステップ７０６）。
Next, the control unit 301 of the
ここで、制御部３０１は、ステップ７０１で取得した環境情報から現在位置を推定し、現在位置と情報アクセスレベルの関係をステップ７０６の判断に組み込んでも良い。例えば、制御部３０１は、前記情報アクセスレベル９００９が「２：部内アクセス限定」であって、現在位置をオフィスと推定した場合は、作業はアクセス制限付きでは無いと判断する。前記情報アクセスレベル９００９が「２：部内アクセス限定」、現在位置をオフィス以外と推定した場合は、作業はアクセス制限付きであると判断する。
Here, the control unit 301 may estimate the current position from the environment information acquired in step 701 and incorporate the relationship between the current position and the information access level into the determination in step 706. For example, when the
制御部３０１は、ステップ７０６でアクセス制限付きであると判定した場合（ステップ７０６；Ｙｅｓ）、現在の場所での使用が好ましくないと判断し、表示管理部３１０３に指示し、その作業に関する画面の情報を保持する（ステップ７０７）。そして、制御部３０１は、アクセス制限カウンタ(Acnt)を＋１インクリメントする（ステップ７０８）。制御部３０１は、ステップ７０６〜７０８までの処理を、現在表示中のすべての画面について行う。
When the control unit 301 determines in step 706 that access is restricted (step 706; Yes), the control unit 301 determines that the use at the current location is not preferable, and instructs the
制御部３０１は、ステップ７０６でアクセス制限付きでないと判定した場合（ステップ７０６；Ｎｏ）、アクセス制限付きの作業を全て抽出したと判断し、さらに、作業にコミュニケーションアプリを使用しているものがあるか否かを判定する（ステップ７０９）。コミュニケーションアプリは、例えばチャットツールやビデオ会議など、複数のユーザがネットワーク接続された複数の場所から情報を送受信可能なアプリケーションを指す。 When the control unit 301 determines in step 706 that there is no access restriction (No in step 706), it determines that all the work with access restriction has been extracted, and further, the communication application is used for some work. It is determined whether or not (step 709). The communication application refers to an application such as a chat tool or a video conference that allows a plurality of users to send and receive information from a plurality of places connected to a network.
制御部３０１は、ステップ７０９でコミュニケーションアプリを使用しているものがあると判定した場合（ステップ７０９；Ｙｅｓ）、アプリが表示した前画面やコミュニケーションのサマリー、音声を文字に書き起こした表示のほか、現時点のコミュニケーションで使用しない間接的な内容など、現在の表示画面を拡張して表示する内容を決定し（ステップ７１０）、コミュニケーションアプリ使用フラグを設定する（ステップ７１１）。すなわち、制御部３０１は、コミュニケーションアプリを使用している場合、チャットや会話等における個々のコミュニケーション（例えば、１往復の会話）の履歴を一定期間分集約したサマリー画面を、上記拡張して表示する内容として生成し、当該サマリー画面についてコミュニケーションアプリ使用フラグを設定する。以下に示すように、コミュニケーションアプリ使用フラグが設定された上記サマリー画面は、実画面領域の表示対象から仮想画面領域の表示対象となる。コミュニケーションアプリ使用フラグは、拡張して表示する内容が無い場合に０と設定し、それ以外の場合に１以上の値を設定するものとする。
When it is determined in
次に、制御部３０１は、ステップ７０９でコミュニケーションアプリを使用しているものがないと判定した場合（ステップ７０９；Ｎｏ）、あるいはステップ７１１でコミュニケーションアプリ使用フラグを設定した場合、作業にグラフィックアプリを使用しているものがあるか否かを判定する（ステップ７１２）。グラフィックアプリは、例えばＣＡＤ（Computer-Aided Design）、画像制作など、２Ｄ／３Ｄ設計図や回路図、配置図を作成するアプリケーションを指す（ステップ７１２）。
Next, when it is determined in
制御部３０１は、ステップ７１２でグラフィックアプリを使用しているものがあると判定した場合（ステップ７１２；Ｙｅｓ）、アプリが表示している画面の拡大表示、あるいは２Ｄ（３Ｄ）から３Ｄ（２Ｄ）へ変換した画面のほか、現時点のグラフィック表示で使用しない間接的な内容など、現在の表示画面を拡張して表示する内容を決定し（ステップ７１３）、グラフィックアプリ使用フラグを設定する（ステップ７１４）。以下に示すように、グラフィックアプリ使用フラグが設定された上記画面は、実画面領域の表示対象から仮想画面領域の表示対象となる。グラフィックアプリ使用フラグは、拡張して表示する内容が無い場合に０と設定し、それ以外の場合に１以上の値を設定するものとする。 When the control unit 301 determines in step 712 that one of the graphic applications is being used (step 712; Yes), the screen displayed by the application is enlarged or displayed from 2D (3D) to 3D (2D). In addition to the screen converted to, the contents to be displayed by expanding the current display screen such as indirect contents not used in the current graphic display are determined (step 713) and the graphic application use flag is set (step 714). .. As shown below, the above-mentioned screen to which the graphic application use flag is set is changed from the display target of the real screen area to the display target of the virtual screen area. The graphic application use flag is set to 0 when there is no content to be expanded and displayed, and is set to a value of 1 or more in other cases.
制御部３０１は、アクセス制御カウンタ、コミュニケーションアプリ使用フラグ、グラフィックアプリ使用フラグの設定値を確認し、いずれかの設定値が１以上の場合は、該当する表示画面に仮想画面使用フラグを設定し（ステップ７１５）、表示装置１０１の仮想画面領域に表示するよう、表示装置１０１に通知する。表示装置１０１の制御部２０１は、表示管理部２１０３に指示し、該当する作業画面の表示を行う（ステップ７１６）。
The control unit 301 confirms the setting values of the access control counter, the communication application use flag, and the graphic application use flag, and if any of the setting values is 1 or more, sets the virtual screen use flag on the corresponding display screen ( In step 715), the
以上から、スキルレベルに応じて表示している画面のうち、顧客情報や経営情報など、セキュリティ上の配慮が必要となる表示内容が存在する場合、該当するそれらの画面を仮想画面領域で表示することにより、ユーザ以外の人がその表示内容を見ることはできないため、情報漏洩を防止することが可能となる。図１１に画面例を示す。 From the above, if there are display contents requiring security consideration such as customer information and management information among the screens displayed according to skill level, display those screens in the virtual screen area. As a result, no one other than the user can see the displayed contents, and it is possible to prevent information leakage. FIG. 11 shows an example of the screen.
図１１は、アクセス制限付きの画面を仮想表示領域に表示する場合の例を示す図である。図１１では、仮想画面領域１００２には、アクセス制限付きの情報（他社情報、経営情報）を表示する２つの画面が表示され、また、仮想画面領域１００３には、アクセス制限付きの他の情報（顧客情報Ａ〜Ｃ）を表示する３つの画面が表示されていることを示している。また、実画面領域である表示装置１０１には、図１０の場合と同様に、仮想画面である画面１００１ａと、実画面である画面１００１ｂとが表示されている。したがって、表示装置１０１を着用したユーザＵ１は、実画面領域１００１に表示されているアクセス制限付きではない画面１００１ａと画面１００１ｂのほか、さらにアクセス制限付きの画面の両方を視認することができる一方、表示装置１０１を着用していないユーザＵ２は、後者の画面を視認することはできないこととなる。
FIG. 11 is a diagram showing an example in which a screen with access restrictions is displayed in the virtual display area. In FIG. 11, in the
また、チャットツールを使用する場合、１画面で表示できる情報量には制限があり、リアルタイムにその内容が更新されていくため、少し前にやり取りした内容が分からなくなる。そこで、画面上に表示できなくなった内容を仮想画面領域に表示することで、すぐに前のやり取りを参照することができる。また、画面上に表示できなくなった内容のサマリーをAIエンジン群３０９を用いて作成し、仮想画面領域に常に表示することで、コミュニケーションした内容を容易に把握することができる。図１２に画面例を示す。
Further, when using the chat tool, the amount of information that can be displayed on one screen is limited, and the contents are updated in real time, so the contents exchanged a while ago cannot be known. Therefore, by displaying the contents that cannot be displayed on the screen in the virtual screen area, it is possible to immediately refer to the previous exchange. Further, by creating a summary of contents that cannot be displayed on the screen using the
図１２はコミュニケーションアプリ使用フラグが設定された画面を仮想表示領域に表示する場合の例を示す図である。図１２では、仮想画面領域１００２には、チャットツールでやりとりしたときのサマリー情報を表示する画面Ｓ１が表示され、また、仮想画面領域１００３には、チャットツールで過去にやりとりした個々のチャット画面Ｓ３、Ｓ４が表示されていることを示している。また、実画面領域である表示装置１０１には、最新のチャット画面Ｓ１が実画面として表示されている。したがって、表示装置１０１を着用したユーザは、実画面領域では最新のチャットの内容を確認しつつ、その両側に表示された仮想画面領域ではチャットのサマリー情報や過去のチャットの内容を必要に応じて確認することができ、最新のチャットの内容に集中することができる。また、図１１の場合と同様に、仮想画面領域に表示された画面Ｓ１〜Ｓ３の内容を第三者に見られてしまうことがなくなる。
FIG. 12 is a diagram showing an example of a case where a screen in which the communication application use flag is set is displayed in the virtual display area. In FIG. 12, a
ここで、前記図６と図７の条件判断処理フローは、併用して使用しても良いし、作業毎に個別に使用しても良い。 Here, the condition determination processing flows of FIG. 6 and FIG. 7 may be used in combination, or may be used individually for each work.
図８は、前記図６、図７に示した判断条件（ステップ６０３、７０３）を学習するためのデータ生成処理フロー（ａ）と学習処理フロー（ｂ）を示す。具体的には、作業履歴９０００の生成・更新処理と、スキル情報９１００の作業別特徴９１０５の生成・更新処理を指す。本実施例では、表示装置１０１を使用した場合のデータ生成処理フロー（ａ）について説明するが、別装置１０８においても同様である。
FIG. 8 shows a data generation processing flow (a) and a learning processing flow (b) for learning the judgment conditions (
ユーザが表示装置１０１の電源を投入すると、制御部２０１は、図示しないタイマから起動時刻を取得し（ステップ８０１）、電源投入時に自動的に起動する作業アプリあるいはスケジュールアプリで管理された作業に関する情報（例えば、作業履歴９０００の作業ＩＤ９００１、実施日９００２、時間９００３、端末番号９００４、作業名９００５、アプリ情報９００６、アクセスレベル９００９）を取得する（ステップ８０２）。実施日９００２と開始時間９００３については、ステップ８０１で取得した起動時刻からを設定すればよい。そして、制御部２０１は、表示カウンタ（Vcnt）を初期化した後、現在表示装置１０１が電源シャットダウン中か否かを判定する（ステップ８０４）。電源シャットダウン中か否かを判定する理由は、ユーザが表示装置１０１を起動中の作業について、以下の処理を行うためである。
When the user turns on the power of the
制御部２０１は、電源シャットダウン中でないと判定した場合（ステップ８０４；Ｎｏ）、ステップ８０２で取得した現在起動中のアプリに関する情報を作業履歴９０００に記録、更新し（ステップ８０５）、それらの情報が作業履歴９０００に存在するか否かを判定する（ステップ８０６）。ここで、電源投入時、ステップ８０５では、ステップ８０２で取得したアプリに関する情報が作業履歴９０００に記録、更新されるが、新規アプリについては作業履歴９０００に存在しないため、一旦メモリに記憶される。
When the
制御部２０１は、ステップ８０６で取得した情報が作業履歴９０００に存在しないと判定した場合（ステップ８０６；Ｎｏ）、前記表示カウンタ（Vcnt）を＋１インクリメントし（ステップ８０７）、該当作業アプリに対する操作部２０５および音声入出力部２０６からの入力操作に関する情報（例えば、作業履歴９０００の入力操作情報９００８）の記録を開始する。例えば、制御部２０１は、単位時間あたりのマウスのクリック数、キーボードのタイプ数をカウントする（ステップ８０８）。
When the
また、制御部２０１は、表示管理部２１０３で管理するその作業アプリの表示画面数や表示画面サイズを取得し、画面数やサイズが変更されたか否かの検知を開始するとともに、検知したこれらの画面情報（例えば、作業履歴９０００の画面情報９００７）を取得する（ステップ８０９）。そして、制御部２０１は、新規アプリについて、表示管理部２１０３を用いて作業アプリに関する作業履歴９０００を作成し、任意の作業ＩＤ９００１を付与し、ステップ８０２で取得した実施日９００２と開始時間９００３を設定する。また、端末番号９００４に自身の端末番号（例えば、表示装置１０１の端末番号ＨＭＤ−８）を設定し、作業名９００５とアプリ情報９００６にステップ８０５で取得した情報を設定する。そして、制御部２０１は、画面情報９００７には、ステップ８０９で検知を開始した単位時間辺りの表示画面数や画面サイズを設定する。同様に、制御部２０１は、入力操作情報９００８には、ステップ８０８でカウントを開始したマウスやキーボードの単位時間あたりの入力数を設定する（ステップ８１０）。
Further, the
制御部２０１は、ステップ８０６で取得した情報が作業履歴９０００に存在すると判定した場合（ステップ８０６；Ｙｅｓ）、該当作業アプリが終了したか否かを判定し（ステップ８１１）、終了していないと判定した場合（ステップ８１１；Ｎｏ）は、ステップ８０４に戻り、シャットダウンされるまで作業履歴９０００を記録、更新する。
When the
一方、制御部２０１は、ステップ８１１で該当作業アプリが終了したと判定した場合（ステップ８１１；Ｙｅｓ）、現在時刻を取得し（ステップ８１２）、該当する作業履歴９０００の時間９００３（終了時刻）を設定し、画面情報９００７と入力操作情報９００８を最終更新し（ステップ８１３）、表示カウンタ（Vcnt）を−１デクリメントした後（ステップ８１４）、ステップ８０４に戻る。
On the other hand, when the
制御部２０１は、電源が投入されている間は、前記ステップ８０４から８１４の処理を継続する。そして、ユーザによりシャットダウンが指示された場合は、作成した１つ以上の作業履歴９０００を表示学習データとして表示管理部２１０３に格納する（ステップ８１５）。
The
このような処理を行って作業履歴９０００を記録、更新することにより、日常的にユーザが表示装置１０１（あるいは別装置１０８）に対してどのようなアプリを用いてどのような環境で作業を行っているのかといった学習のための元データを得ることができる。
By performing the above-described processing and recording and updating the
次に、表示装置１０１を使用した場合の学習処理フロー（ｂ）について説明する。前記ステップ８１５で表示管理部２１０３に格納された表示学習データとしての作業履歴９０００は、定期的に制御部２０１によって以下のように使用される。
Next, the learning process flow (b) when the
制御部２０１は、表示管理部２１０３から任意のタイミングで前記表示学習データを取得し（ステップ８２０）、ＡＩエンジン群２０９に入力するデータを生成する（ステップ８２１）。具体的には、作業ＩＤ９００１以外の作業履歴９０００内の２つ以上の項目と、ユーザＩＤ９１０１以外のスキル情報９１０１内の１つ以上の項目を利用し、入力データを生成する。
The
その後、制御部２０１はＡＩエンジン群２１０９で保持する学習パラメータを取得し（ステップ８２２）、その学習パラメータとＡＩエンジン群２１０９を用いて機械学習を実行する（ステップ８２３）。ここで、機械学習の手法は、統計的手法やディープラーニングなど一般的な手法を使用する。
After that, the
制御部２０１は、ステップ８２３で学習した結果、得られたパラメータを新たな学習パラメータとしてＡＩエンジン群２１０９に登録し（ステップ８２４）、学習パラメータを使用した結果をスキル情報９１００の作業別特徴９１０５に格納する（ステップ８２５）。
The
以上から、作業アプリ毎に画面の表示数や表示サイズ、参照頻度の閾値を作成、更新することにより、ユーザのスキルや作業内容に合わせて画面の表示位置を最適化することで、多くの情報を効果的に表示しながら作業を行うことが可能となる。ここで、図１Ｃの構成を用いて、図８（ｂ）の学習処理フローをクラウド側で実行しても良い。 From the above, by creating and updating the number of screen displays, display size, and reference frequency threshold for each work application, the screen display position is optimized according to the user's skill and work content, and a lot of information can be obtained. It is possible to work while displaying effectively. Here, the learning process flow of FIG. 8B may be executed on the cloud side by using the configuration of FIG. 1C.
以下、透過型ＨＭＤの表示装置および表示システムの実施例を示し、表示装置で取得した静止画あるいは動画を簡単に他の情報処理装置上の表示内容とリンク付けすることで、ユーザの作業を効果的に支援可能な表示装置が実現できることを示す。 Hereinafter, an embodiment of a display device and a display system of a transmissive HMD will be shown, and a still image or a moving image acquired by the display device can be easily linked with the display content on another information processing device, so that the user's work is effectively performed It is shown that a display device that can support physically is realized.
図１３は、本実施例における透過型ＨＭＤの表示装置１３００の一構成を示すブロック図である。本例は、図１Ａ（ａ）と同じ形態を想定しているが、実施例１に記載した図１Ｂ、１Ｃにも適用できる。
FIG. 13 is a block diagram showing a configuration of a transmissive
表示装置１３００は、前記表示装置１０１の構成に加えて、コンテンツ認識部１３０１、リンク管理部１３０２を備える。
The
コンテンツ識別部１３０１は、別装置１０８が表示する実画面領域、あるいは表示部２０８に表示中のコンテンツ、あるいは撮像部２１１１で記録中／記録済のコンテンツに含まれるテキストや画像情報、それらの位置情報を取得する。具体的には、ＯＣＲ（Optical Character Recognition/Reader）やＡＩエンジン群２０９を用いた画像認識を用いて、これらの情報を取得する。
The
リンク管理部１３０２は、前記コンテンツ識別部１３０１で取得したテキストや画像情報を、別の実画面領域や表示中のコンテンツに関連付けを行い、そのリンク情報を管理する。なお、撮像部２１１２にかえて、視線追跡部３１１２（検知部）を用いてもよい。
The
例えば、図１４は、ユーザが表示装置１３００で撮影した動画像１４０１を、別装置１０８で表示中の作業アプリの任意の箇所にリンク付けした場合を示している。図１４では、表示装置１３００の制御部２０１は、撮像部２１１１、２１１２が撮像した３つの動画像１４０１を読み出して仮想画面領域１４００に配置（コピー）し、動画像１４０１を再生するための再生ボタン１４０２と、動画像１４０１を別装置１０８にリンクをはる（ペースト）するためのリンクボタン１４０３とを配置している。以下では、制御部２０１は、図５から図７で示したように、ユーザのスキルレベルや特徴をあらわす属性に応じて、表示装置１０１の仮想画面領域に表示する画面の数や別装置１０８の実画面領域に表示する画面の数を調整された場合を示している。
For example, FIG. 14 illustrates a case where a user links a moving image 1401 captured by the
表示装置１３００を装着したユーザは、撮像部２１１１、２１１２を用いて、オフォス以外の場所に設置した家電製品や実験装置などの実物Ｃ１を操作する動画像を撮影、あるいは参照している紙の書類やマニュアルＣ２の内容を撮影Ｒする。そして、表示装置１３００は、撮像部２１１１、２１１２が撮影Ｒした画像の一覧画面を、表示部２０８が表示する仮想画面領域１４００に表示する。当該一覧画面に表示する画像の数は、ユーザのスキルレベルや特徴をあらわす属性に応じて定められる。
A user wearing the
ユーザは、操作部１０５を用いて前記一覧画面上で任意の動画像１４０１ａを選択し、再生ボタン１４０２の再生指示を受け付けると、制御部２０１は、表示生成部２１０２、表示管理部２１０３を用いて選択画像を再生する。
When the user selects an arbitrary moving
その後、ユーザがオフィスの自席へ戻り、別装置１０８の操作部３０５や音声入出力部３０６を用いて、ディスプレイ１００１に表示した任意の作業アプリ、あるいは作業アプリの任意の場所にカーソルを移動させる。制御部２０１は、操作部１０５を介して、ユーザから前記一覧画面上のリンクボタン１４０１の押下を受け付けると、ディスプレイ１００１に表示している画面の上記カーソルの位置に選択した画像が移動され、挿入される。
After that, the user returns to his/her desk in the office, and uses the
具体的には、制御部２０１は、ユーザから前記一覧画面上のリンクボタン１４０３の押下を受け付けると、通信部２０２を介して、別装置１０８上で動作する作業アプリに選択した動画像１４０１ａを送信Ｖする。送信Ｖされる動画像は、表示装置１３００で編集されていても良い。
Specifically, when the
上記動画像１４０１ａを受信した別装置１０８の制御部３０１は、作業アプリを起動して、その動画像データを、例えばクリップボードなど複数アプリで共有できるバッファ領域にコピーする。別装置１０８の制御部３０１は、ユーザから、表示装置１３００のリンクボタン１４０２の押下により前記作業アプリ上でそのバッファ領域の貼り付け指示を受けると、前記カーソルの位置に動画像１４０４を挿入する。
Upon receiving the moving
以上示した構成、及び方法により、ユーザは、自身が参照する様々な媒体上の情報を任意のタイミングでデータ化し、現在作業中の内容へ容易に関連付けすることが可能となる。 With the configuration and method described above, the user can convert information on various media referred to by the user into data at arbitrary timing and easily associate the information with the contents currently being worked on.
ここで、上記実施例では、ユーザが別装置１０８の操作部３０５や音声入出力部３０６を用いてカーソルを移動させ貼り付け位置を選択しているが、上記のとおり、別装置１０８の視線追跡部３１１２によるユーザの視線位置を利用して、貼り付け位置を選択しても良い。また、上記実施例では、表示装置１３００が撮像した動画像そのものを張り付けているが、動画像を格納した場所へのパス名などリンク情報といった、動画像の所在を示す情報であればよい。動画像を格納する場所は、例えば、表示装置１３００の記憶部２１０、あるいは別装置１０８の記憶部３１０のいずれでもよい。
Here, in the above-described embodiment, the user moves the cursor using the
このように、上記各実施例によれば、利用者の特徴などのスキルや状況に対応した情報を表示する際の画面の表示方法を調整することができ、例えば、各種の作業を行うユーザに対して、ユーザのスキルや作業内容に合わせて表示位置や表示内容を調整し、作業を高精度に効率的に行うことができる。また、ユーザに対して表示する情報量を効果的に増やすと同時に省スペース化を実現し、ユーザの表示内容への理解を適切に支援することが可能となる。 As described above, according to each of the above-described embodiments, it is possible to adjust the display method of the screen when displaying the information corresponding to the skill and the situation such as the characteristics of the user. On the other hand, the display position and display content can be adjusted according to the skill and work content of the user, and work can be performed with high accuracy and efficiency. In addition, it is possible to effectively increase the amount of information displayed to the user and at the same time save space, thereby appropriately supporting the user's understanding of the display content.
１０１…表示装置、１０２…センサ部、１０３…表示部、１０４…光源部、１０５…操作部、１０６…通信線、１０７…ＰＣ、１０８…携帯端末、１０９…インターネット、１１０…クラウドサービス
２０１…制御部、２０２…通信部、２０３…時間管理部、２０４…電源部、２０５…操作部、２０６…音声入出力部、２０７…表示制御部、２０８…表示部、２０９…ＡＩエンジン群、２１０…記憶部、２１１…センサ群
２１０１…認証部、２１０２…表示生成部、２０１３…表示管理部、２０１４…スキル管理部、２０１５…ユーザ状態管理部、２０１６…最適表現変換部
２１１１…撮像部、２１１３…慣性計測部、２１１４…環境計測部、２１１５…バイタル計測部、３１１２…視線追跡部、４１０１…ユーザ管理部、４１０２…画面表示条件学習部、４１０３…スキル学習部、４１０４…作業履歴管理部
９００…ユーザ情報、９０００…作業履歴、９１００…スキル情報
101... Display device, 102... Sensor part, 103... Display part, 104... Light source part, 105... Operating part, 106... Communication line, 107... PC, 108... Mobile terminal, 109... Internet, 110...
Claims (10)
前記第１の表示装置は、
第１の表示部と、
前記第１の表示部に仮想画面である第１の画面を表示する第１の制御部と、を備え、
前記第２の表示装置は、
第２の表示部と、
前記第２の表示部に実画面である第２の画面を表示する第２の制御部と、を備え、
前記第１の制御部または前記第２の制御部は、前記ユーザの特徴として定められた特徴情報に基づいて、前記第１の画面または／および前記第２の画面の前記第１の表示部または／および前記第２の表示部への表示方法を調整する、
ことを特徴とする表示制御システム。 A display control system comprising a first display device wearable by a user and a second display device communicable with the first display device,
The first display device,
A first display section,
A first control unit that displays a first screen that is a virtual screen on the first display unit;
The second display device,
A second display section,
A second control unit that displays a second screen that is an actual screen on the second display unit;
The first control unit or the second control unit, based on the characteristic information set as the characteristic of the user, the first display unit of the first screen or / and the second screen or / And adjust the display method on the second display unit,
A display control system characterized by the above.
ことを特徴とする請求項１に記載の表示制御システム。 The first control unit or the second control unit adjusts the display method based on the characteristic information that is information about the skill of the user.
The display control system according to claim 1, wherein:
ことを特徴とする請求項１に記載の表示制御システム。 The first control unit or the second control unit causes the first display unit to display a screen with a low reference frequency among the second screens displayed on the second display unit. To adjust the display method,
The display control system according to claim 1, wherein:
ことを特徴とする請求項１に記載の表示制御システム。 The first control unit or the second control unit causes the first display unit to display a screen with access restriction among the second screens displayed on the second display unit. To adjust the display method,
The display control system according to claim 1, wherein:
ことを特徴とする請求項１に記載の表示制御システム。 The first control unit or the second control unit is indirectly used among the screens displayed by the communication application among the second screens displayed on the second display unit. A display screen is displayed on the first display unit to adjust the display method,
The display control system according to claim 1, wherein:
ことを特徴とする請求項１に記載の表示制御システム。 The first control unit or the second control unit is used indirectly among the screens displayed by the graphic application among the second screens displayed on the second display unit. A display screen is displayed on the first display unit to adjust the display method,
The display control system according to claim 1, wherein:
撮像部と、
前記ユーザの視線を検知する検知部とを備え、
前記第１の制御部は、前記撮像部が撮像した動画像を前記第１の表示部に表示し、前記第２の表示部であって前記検知部が前記ユーザの視線を検知した位置に移動させる、
ことを特徴とする請求項１に記載の表示制御システム。 The first display device,
An imaging unit,
A detection unit for detecting the line of sight of the user,
The first control unit displays the moving image captured by the image capturing unit on the first display unit, and moves to the position of the second display unit where the detection unit detects the line of sight of the user. Let
The display control system according to claim 1, wherein:
ことを特徴とする請求項１に記載の表示制御システム。 The first display device is a wearable device wearable on the user's head.
The display control system according to claim 1, wherein:
第１の表示部と、
前記第１の表示部に仮想画面である第１の画面を表示する第１の制御部と、を備え、
前記第１の制御部は、前記ユーザの特徴として定められた特徴情報に基づいて、前記第１の画面または／および第２の表示部を有した前記第１の表示装置と通信可能な第２の表示装置に表示される実画面である第２の画面の前記第１の表示部または／および前記第２の表示部への表示方法を調整する、
ことを特徴とする表示装置。 A display device that can be worn by a user,
A first display section,
A first control unit that displays a first screen that is a virtual screen on the first display unit;
The first control unit is capable of communicating with the first display device having the first screen and/or the second display unit based on the characteristic information defined as the characteristic of the user. Adjusting the display method of the second screen, which is the actual screen displayed on the display device, on the first display unit and/or the second display unit.
A display device characterized by the above.
第１の表示部を有する前記第１の表示装置が、前記第１の表示部に仮想画面である第１の画面を表示し、
第２の表示部を有する前記第２の表示装置が、前記第２の表示部に実画面である第２の画面を表示し、
前記第１の表示装置または前記第２の表示装置が、前記ユーザの特徴として定められた特徴情報に基づいて、前記第１の画面または／および前記第２の画面の前記第１の表示部または／および前記第２の表示部への表示方法を調整する、
ことを特徴とする表示制御方法。 A display control method performed by a display control system having a first display device wearable by a user and a second display device communicable with the first display device,
The first display device having a first display unit displays a first screen, which is a virtual screen, on the first display unit,
The second display device having a second display unit displays a second screen which is a real screen on the second display unit,
The first display device or the second display device, based on the feature information defined as the feature of the user, the first display unit of the first screen or / and the second screen or / And adjust the display method on the second display unit,
A display control method characterized by the above.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018223634A JP7138028B2 (en) | 2018-11-29 | 2018-11-29 | Display control system, display device, and display control method |
| JP2022140885A JP7453300B2 (en) | 2018-11-29 | 2022-09-05 | Display control system, display device, and display control method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018223634A JP7138028B2 (en) | 2018-11-29 | 2018-11-29 | Display control system, display device, and display control method |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022140885A Division JP7453300B2 (en) | 2018-11-29 | 2022-09-05 | Display control system, display device, and display control method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020087190A true JP2020087190A (en) | 2020-06-04 |
| JP7138028B2 JP7138028B2 (en) | 2022-09-15 |
Family
ID=70908428
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018223634A Active JP7138028B2 (en) | 2018-11-29 | 2018-11-29 | Display control system, display device, and display control method |
| JP2022140885A Active JP7453300B2 (en) | 2018-11-29 | 2022-09-05 | Display control system, display device, and display control method |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022140885A Active JP7453300B2 (en) | 2018-11-29 | 2022-09-05 | Display control system, display device, and display control method |
Country Status (1)
| Country | Link |
|---|---|
| JP (2) | JP7138028B2 (en) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006267604A (en) * | 2005-03-24 | 2006-10-05 | Canon Inc | Composite information display device |
| JP2008059511A (en) * | 2006-09-04 | 2008-03-13 | Brother Ind Ltd | Email reading system and email reading method using portable terminal device and head-mounted display |
| JP2015184920A (en) * | 2014-03-24 | 2015-10-22 | 富士ゼロックス株式会社 | Information display device, information display system, and program |
| JP2016506530A (en) * | 2012-11-20 | 2016-03-03 | マイクロソフト テクノロジー ライセンシング，エルエルシー | Head mounted display and method for controlling the same |
| JP2017009741A (en) * | 2015-06-19 | 2017-01-12 | コニカミノルタ株式会社 | Image display system, image display device, head-mounted display device, and program |
| JP2017063844A (en) * | 2015-09-28 | 2017-04-06 | ブラザー工業株式会社 | Information output device |
| JP2018156205A (en) * | 2017-03-15 | 2018-10-04 | 株式会社リコー | Information processing system, information processing method, electronic apparatus, and information processing program |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001184139A (en) | 1999-12-27 | 2001-07-06 | Nec Corp | User interface system |
| JP6119228B2 (en) | 2012-12-13 | 2017-04-26 | セイコーエプソン株式会社 | Head-mounted display device, head-mounted display device control method, and work support system |
| JP2017049763A (en) | 2015-09-01 | 2017-03-09 | 株式会社東芝 | Electronic apparatus, support system, and support method |
| US20180374026A1 (en) | 2016-01-08 | 2018-12-27 | Mitsubishi Electric Corporation | Work assistance apparatus, work learning apparatus, and work assistance system |
| JP6435495B2 (en) | 2017-07-10 | 2018-12-12 | 株式会社コナミデジタルエンタテインメント | Message display terminal, message transmission server, and program |
| JP6419932B1 (en) | 2017-11-28 | 2018-11-07 | 株式会社コロプラ | Program for supporting performance of musical instrument in virtual space, method executed by computer to support selection of musical instrument, and information processing apparatus |
-
2018
- 2018-11-29 JP JP2018223634A patent/JP7138028B2/en active Active
-
2022
- 2022-09-05 JP JP2022140885A patent/JP7453300B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006267604A (en) * | 2005-03-24 | 2006-10-05 | Canon Inc | Composite information display device |
| JP2008059511A (en) * | 2006-09-04 | 2008-03-13 | Brother Ind Ltd | Email reading system and email reading method using portable terminal device and head-mounted display |
| JP2016506530A (en) * | 2012-11-20 | 2016-03-03 | マイクロソフト テクノロジー ライセンシング，エルエルシー | Head mounted display and method for controlling the same |
| JP2015184920A (en) * | 2014-03-24 | 2015-10-22 | 富士ゼロックス株式会社 | Information display device, information display system, and program |
| JP2017009741A (en) * | 2015-06-19 | 2017-01-12 | コニカミノルタ株式会社 | Image display system, image display device, head-mounted display device, and program |
| JP2017063844A (en) * | 2015-09-28 | 2017-04-06 | ブラザー工業株式会社 | Information output device |
| JP2018156205A (en) * | 2017-03-15 | 2018-10-04 | 株式会社リコー | Information processing system, information processing method, electronic apparatus, and information processing program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7138028B2 (en) | 2022-09-15 |
| JP2022177076A (en) | 2022-11-30 |
| JP7453300B2 (en) | 2024-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10498944B2 (en) | Wearable apparatus with wide viewing angle image sensor | |
| KR102354428B1 (en) | Wearable apparatus and methods for analyzing images | |
| US10223832B2 (en) | Providing location occupancy analysis via a mixed reality device | |
| JP5672934B2 (en) | Sensing data display device and display system | |
| US11297224B2 (en) | Automated eyewear device sharing system | |
| KR20190075988A (en) | Wearable devices and methods that analyze images and provide feedback | |
| US10019625B2 (en) | Wearable camera for reporting the time based on wrist-related trigger | |
| CN103970441A (en) | Method of performing function of device and device for performing the method | |
| US20150178362A1 (en) | Device-Group Snapshot | |
| US11943283B2 (en) | Dynamically assigning storage locations for messaging system data | |
| CN109815462A (en) | A kind of document creation method and terminal device | |
| US11808941B2 (en) | Augmented image generation using virtual content from wearable heads up display | |
| JP7138028B2 (en) | Display control system, display device, and display control method | |
| KR20200122754A (en) | Smart glass system for providing augmented reality image | |
| US20220311979A1 (en) | Wearable apparatus for projecting information | |
| JP2019133383A (en) | Electronic apparatus, control system, control method, and program | |
| JP2016192096A (en) | Object recognition and selection device, object recognition and selection method, and program | |
| CN108876498A (en) | Information displaying method and device | |
| CN117916694A (en) | Snapshot message for indicating user status |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210325 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220215 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220216 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220407 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220809 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220905 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7138028 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |