JP2021057843A - Display unit, method for providing method of use, program, and image processing system - Google Patents

Display unit, method for providing method of use, program, and image processing system Download PDF

Info

Publication number
JP2021057843A
JP2021057843A JP2019181549A JP2019181549A JP2021057843A JP 2021057843 A JP2021057843 A JP 2021057843A JP 2019181549 A JP2019181549 A JP 2019181549A JP 2019181549 A JP2019181549 A JP 2019181549A JP 2021057843 A JP2021057843 A JP 2021057843A
Authority
JP
Japan
Prior art keywords
function
user
display device
usage
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019181549A
Other languages
Japanese (ja)
Other versions
JP7383959B2 (en
Inventor
大樹 中村
Daiki Nakamura
大樹 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2019181549A priority Critical patent/JP7383959B2/en
Publication of JP2021057843A publication Critical patent/JP2021057843A/en
Application granted granted Critical
Publication of JP7383959B2 publication Critical patent/JP7383959B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Facsimiles In General (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

To provide a display unit that can reduce functions that are not used by a user.SOLUTION: A display unit 2 identifies a user through external or internal authentication, and has a provision control unit 73 that provides a method for using functions that are used by the user at a frequency equal to or less than a predetermined value, based on function use history information in which whether the user uses functions is recorded for each of the functions.SELECTED DRAWING: Figure 1

Description

本発明は、表示装置、使用方法提供方法、プログラム、及び、画像処理システムに関する。 The present invention relates to a display device, a method of providing a method of use, a program, and an image processing system.

タッチパネルにペンや指で手書きしたデータを表示する表示装置が知られている。比較的大型のタッチパネルを備えた表示装置は会議室などに配置され、複数のユーザにより電子黒板などとして共有される。 A display device that displays handwritten data with a pen or a finger on a touch panel is known. A display device equipped with a relatively large touch panel is arranged in a conference room or the like, and is shared by a plurality of users as an electronic blackboard or the like.

表示装置は高機能化、多機能化が進んでいるため、ユーザに応じて使用できる機能を変更する技術が考案されている(例えば、特許文献1参照。)。特許文献1には、タッチペンごとにユーザを紐づけておき、ユーザが使用するタッチペンに応じて使用できる機能を変更する表示装置が開示されている。 Since display devices are becoming more sophisticated and multifunctional, techniques for changing the functions that can be used according to the user have been devised (see, for example, Patent Document 1). Patent Document 1 discloses a display device that associates a user with each touch pen and changes the functions that can be used according to the touch pen used by the user.

しかしながら、従来の技術では、ユーザが使用しない機能が多くなるおそれがあるという問題があった。表示装置が共有される場合、ユーザが常に自分専用に使えるわけではないので、ユーザが使用しない機能が生じやすくなる。また、初めて表示装置を使用するユーザの場合は機能の存在を知らない可能性もある。 However, the conventional technique has a problem that many functions are not used by the user. When the display device is shared, the user cannot always use it exclusively for himself / herself, so that functions that the user does not use are likely to occur. In addition, the user who uses the display device for the first time may not know the existence of the function.

本発明は、上記課題に鑑み、ユーザが使用しない機能を少なくすることができる表示装置等を提供することを目的とする。 In view of the above problems, an object of the present invention is to provide a display device or the like that can reduce functions that are not used by the user.

上記課題に鑑み、本発明は、外部又は内部の認証によりユーザを特定する表示装置であって、前記ユーザが機能を使用したか否かが前記機能ごとに記録された機能使用履歴情報に基づいて、ユーザが使用する頻度が所定以下の機能の使用方法を提供する提供制御部を有することを特徴とする。 In view of the above problems, the present invention is a display device that identifies a user by external or internal authentication, and whether or not the user has used a function is based on the function usage history information recorded for each function. It is characterized by having a provision control unit that provides a usage method of a function whose frequency of use by a user is less than or equal to a predetermined value.

ユーザが使用しない機能を少なくすることができる表示装置等を提供することを目的とする。 An object of the present invention is to provide a display device or the like that can reduce functions that are not used by the user.

本実施形態の表示装置の動作の概略を説明する図である。It is a figure explaining the outline of the operation of the display device of this embodiment. 画像処理システムの全体構成図の一例である。This is an example of an overall configuration diagram of an image processing system. 表示装置のハードウェア構成図の一例である。This is an example of a hardware configuration diagram of a display device. アカウントサーバのハードウェア構成図の一例である。This is an example of the hardware configuration diagram of the account server. 表示装置の機能ブロック図の一例である。This is an example of a functional block diagram of a display device. ページデータの概念図である。It is a conceptual diagram of page data. ストローク配列データを示す概念図である。It is a conceptual diagram which shows the stroke array data. 座標配列データを示す概念図である。It is a conceptual diagram which shows the coordinate array data. メディアデータを示す概念図である。It is a conceptual diagram which shows the media data. UI画像(A)、ストローク画像(B)、出力画像(C)及び背景画像(D)を示す図である。It is a figure which shows the UI image (A), the stroke image (B), the output image (C), and the background image (D). アカウントサーバが有する機能をブロックに分けて説明する機能ブロック図の一例である。This is an example of a function block diagram for explaining the functions of the account server by dividing them into blocks. 認証情報DBに記憶されている情報を模式的に示す図である。It is a figure which shows typically the information stored in the authentication information DB. チュートリアルの表示制御に関する表示装置の機能をブロックに分けて説明する機能ブロック図の一例である。This is an example of a functional block diagram for explaining the functions of the display device related to the display control of the tutorial by dividing them into blocks. 機能使用履歴DBに記憶されている機能使用履歴テーブルの一例を示す図である。It is a figure which shows an example of the function use history table stored in the function use history DB. 教材データDBに記憶されている教材データの一例を示す図である。It is a figure which shows an example of the teaching material data stored in the teaching material data DB. チュートリアルの提供設定画面の一例を示す図である。It is a figure which shows an example of the tutorial provision setting screen. ログインから機能使用率の更新までの手順を説明するシーケンス図の一例である。This is an example of a sequence diagram for explaining the procedure from login to updating the function usage rate. 表示装置がチュートリアルを提供する処理を説明するフローチャート図の一例である。It is an example of the flowchart diagram explaining the process which a display device provides a tutorial. ユーザが使用したことがなく、かつ、チュートリアルが提供されていない機能のチュートリアルの提供順を決定するフローチャート図の一例である。This is an example of a flowchart that determines the order in which tutorials are provided for functions that the user has never used and for which tutorials are not provided. 提供制御部が連続してチュートリアルを提供する機能を決定する手順を示すフローチャート図の一例である。This is an example of a flowchart showing a procedure for determining a function in which the provision control unit continuously provides a tutorial. 表示装置のディスプレイに表示されたチュートリアルの表示例を示す図である。It is a figure which shows the display example of the tutorial displayed on the display of a display device. 機能使用率が高い機能を呼び出すアイコンを含むアイコンリストの一例である。This is an example of an icon list including an icon that calls a function with a high function usage rate. 表示制御部が機能呼び出しアイコンを表示する手順を示すフローチャート図の一例である。This is an example of a flowchart showing a procedure in which the display control unit displays a function call icon. 表示装置の他の構成例を示す図である。It is a figure which shows the other configuration example of a display device. 表示装置の他の構成例を示す図である。It is a figure which shows the other configuration example of a display device. 表示装置の他の構成例を示す図である。It is a figure which shows the other configuration example of a display device. 表示装置の他の構成例を示す図である。It is a figure which shows the other configuration example of a display device.

以下、本発明を実施するための形態の一例として、表示装置と表示装置が行う使用方法提供方法について説明する。 Hereinafter, as an example of a mode for carrying out the present invention, a display device and a method of providing a usage method performed by the display device will be described.

<表示装置の動作の概略>
図1は、本実施形態の表示装置2の動作の概略を説明する図である。会議室などに表示装置2が設置されており、表示装置2は複数のユーザによって共有される。
<Outline of operation of display device>
FIG. 1 is a diagram illustrating an outline of the operation of the display device 2 of the present embodiment. A display device 2 is installed in a conference room or the like, and the display device 2 is shared by a plurality of users.

(1) 発表者など表示装置2を主に操作するユーザは表示装置2にログインする。ログインとは、コンピュータやインターネット上の様々なサービスを利用する際に、予め登録しておいたアカウント情報を用いてシステムのリソースにアクセスする認証行為をいう。認証とはユーザが正当な権限者か否かを表示装置2などが判断することをいう。認証が成功するとユーザは表示装置2にログインできる。アカウント情報は、ユーザIDとパスワード、ICカードの番号、生体認証情報などであるが、これらに限られない。 (1) A user who mainly operates the display device 2 such as a presenter logs in to the display device 2. Login is an authentication act to access system resources using pre-registered account information when using various services on a computer or the Internet. Authentication means that the display device 2 or the like determines whether or not the user is a legitimate authority. If the authentication is successful, the user can log in to the display device 2. Account information includes, but is not limited to, user ID and password, IC card number, biometric authentication information, and the like.

(2) ユーザがログインすると、表示装置2はこのユーザの使用する頻度が低い機能のチュートリアルを表示する。チュートリアルとは、アプリケーションソフトなどの基本的な操作方法をユーザが覚えるための教材のことである。表示装置2はユーザごとに使用した機能とチュートリアルの提供の有無を後述する機能使用履歴テーブル(機能使用履歴情報の一例)に記録しているため、ユーザが使用したことがなく、かつ、提供したことがない機能のチュートリアルを表示できる。 (2) When the user logs in, the display device 2 displays a tutorial of the function that the user does not use frequently. A tutorial is a teaching material for the user to learn basic operation methods such as application software. Since the display device 2 records the functions used for each user and whether or not the tutorial is provided in the function usage history table (an example of the function usage history information) described later, the user has never used it and provided it. You can view tutorials on features that you have never seen before.

(3) 表示装置2は、機能使用履歴テーブルに基づいて決定したチュートリアルをログインしたユーザに表示する。例えば、画面上のアイコンで選択できる機能の内容を文字や画像(動画を含む)で表示する。 (3) The display device 2 displays the tutorial determined based on the function usage history table to the logged-in user. For example, the contents of the functions that can be selected with the icons on the screen are displayed as characters and images (including moving images).

ユーザはチュートリアルにしたがって、アイコンを押下することで、使用する頻度が少ない機能を使用してみることができる。ユーザはログインした直後なので、会議内においてもチュートリアルが提供された同じアイコンを使用することができ、機能を覚えやすくなる。このように本実施形態の表示装置2は、ユーザが使用しない機能を少なくすることができる。 By following the tutorial and pressing the icon, the user can try out the functions that are rarely used. Since the user has just logged in, they can use the same icon provided by the tutorial within the meeting, making it easier to remember the features. As described above, the display device 2 of the present embodiment can reduce the functions that the user does not use.

<用語について>
機能とは、相互に関連しあって全体を構成している各因子が有する固有の役割である。例えば表示装置が有するアイコン、ボタン(ソフトキー)、スイッチ(ハードキー)などで実行される処理が挙げられる。チュートリアルの提供単位と機能とは1対1に対応していてもよいし、1つのチュートリアルが複数の機能をカバーしてもよい。
<Terminology>
Function is a unique role of each factor that is related to each other and constitutes the whole. For example, a process executed by an icon, a button (soft key), a switch (hard key), or the like of a display device can be mentioned. The tutorial provision unit and the function may have a one-to-one correspondence, or one tutorial may cover a plurality of functions.

ユーザが使用する頻度とは、同じ機能を使用する度合いである。頻度は回数や率などの指標で算出されてよいが、これらに限られるものではない。 The frequency used by the user is the degree to which the same function is used. The frequency may be calculated by indicators such as the number of times and the rate, but is not limited to these.

機能の使用方法とは機能の使い方であり、これを人間が把握できる形式にした情報である。操作方法ともいう。本実施形態ではチュートリアルという用語で説明される。マニュアル、手引き、ヘルプ、取扱説明などと呼ばれてもよい。 How to use a function is how to use the function, and it is information in a format that can be understood by humans. Also called an operation method. In this embodiment, the term tutorial will be used. It may be called a manual, a guide, a help, an instruction manual, or the like.

<システムの概要>
図2は、本実施形態の画像処理システム1の全体構成図である。なお、図2では、説明を簡略化するために、2台の表示装置2a,2b及びこれに付随する電子ペン4a,4b等を示しているだけであって、3台以上の表示装置や電子ペン等を利用してもよい。
<System overview>
FIG. 2 is an overall configuration diagram of the image processing system 1 of the present embodiment. In addition, in FIG. 2, for simplification of the description, only two display devices 2a and 2b and the electronic pens 4a and 4b associated therewith are shown, and three or more display devices and electronic devices are shown. You may use a pen or the like.

図2に示されているように、画像処理システム1は、複数の表示装置2a,2b、複数の電子ペン4a,4b、USBメモリ5a,5b、ノートPC(Personal Computer)6a,6b、テレビ(ビデオ)会議端末7a,7b、及びPC8を有する。また、表示装置2a,2b、及びPC8は、通信ネットワーク9を介して通信可能に接続されている。更に、複数の表示装置2a,2bには、それぞれディスプレイ3a,3bが設けられている
また、表示装置2aには、電子ペン4aによって生じたイベント(ディスプレイ3aに電子ペン4aのペン先、又は、電子ペン4aのペン尻のタッチ)による描画された画像を、ディスプレイ3aに表示させることができる。なお、電子ペン4aだけでなく、ユーザの指を含む手Ha等によって生じたイベント(拡大、縮小、ページめくり等のジェスチャ)に基づいて、ディスプレイ3a上に表示されている画像を変更させることもできる。
As shown in FIG. 2, the image processing system 1 includes a plurality of display devices 2a and 2b, a plurality of electronic pens 4a and 4b, a USB memory 5a and 5b, a notebook PC (Personal Computer) 6a and 6b, and a television (Personal Computer) 6a and 6b. Video) It has conference terminals 7a, 7b, and a PC8. Further, the display devices 2a and 2b and the PC 8 are connected so as to be able to communicate with each other via the communication network 9. Further, the plurality of display devices 2a and 2b are provided with displays 3a and 3b, respectively, and the display device 2a is provided with an event caused by the electronic pen 4a (the pen tip of the electronic pen 4a on the display 3a or the pen tip of the electronic pen 4a on the display 3a). The image drawn by the touch of the pen tip of the electronic pen 4a) can be displayed on the display 3a. In addition to the electronic pen 4a, the image displayed on the display 3a can be changed based on an event (gestures such as enlargement, reduction, page turning, etc.) caused by a hand Ha or the like including the user's finger. it can.

また、表示装置2aには、USBメモリ5aが接続可能であり、表示装置2aはUSBメモリ5aからPDF等の電子ファイルを読み出したり、表示装置2aはUSBメモリ5aに電子ファイルを記録したりすることができる。また、表示装置2aには、DisplayPort、DVI(Digital Visual Interface)、HDMI(登録商標。High−Definition Multimedia Interface)及びVGA(Video Graphics Array)等の規格による通信が可能なケーブル10a1を介して、ノートPC6aが接続されている。そして、表示装置2aは、ディスプレイ3aに対する接触によってイベントを発生させ、このイベントを示すイベント情報を、マウスやキーボード等の入力装置からのイベントと同様に、ノートPC6aに送信する。同じく、表示装置2aには、上記規格による通信が可能なケーブル10a2を介して、テレビ(ビデオ)会議端末7aが接続されている。なお、ノートPC6a、及びテレビ会議端末7aは、Bluetooth(登録商標)等の各種無線通信プロトコルに準拠した無線通信により、表示装置2aと通信してもよい。 Further, a USB memory 5a can be connected to the display device 2a, the display device 2a reads an electronic file such as a PDF from the USB memory 5a, and the display device 2a records an electronic file in the USB memory 5a. Can be done. Further, the display device 2a is connected to the display device 2a via a cable 10a1 capable of communicating according to standards such as DisplayPort, DVI (Digital Visual Interface), HDMI (registered trademark. High-Definition Multimedia Interface) and VGA (Video Graphics Array). PC6a is connected. Then, the display device 2a generates an event by touching the display 3a, and transmits the event information indicating the event to the notebook PC 6a in the same manner as the event from the input device such as a mouse or a keyboard. Similarly, a television (video) conference terminal 7a is connected to the display device 2a via a cable 10a2 capable of communicating according to the above standard. The notebook PC 6a and the video conferencing terminal 7a may communicate with the display device 2a by wireless communication compliant with various wireless communication protocols such as Bluetooth (registered trademark).

一方、表示装置2bが設置されている他の拠点では、上記と同様に、ディスプレイ3bを備えた表示装置2b、電子ペン4b、USBメモリ5b、ノートPC6b、テレビ会議端末7b、ケーブル10b1、ケーブル10b2が利用される。更に、ユーザの手Hb等によって生じたイベントに基づいて、ディスプレイ3b上に表示されている画像を変更させることもできる。 On the other hand, at other bases where the display device 2b is installed, similarly to the above, the display device 2b equipped with the display 3b, the electronic pen 4b, the USB memory 5b, the notebook PC 6b, the video conferencing terminal 7b, the cable 10b1, and the cable 10b2. Is used. Further, the image displayed on the display 3b can be changed based on the event generated by the user's hand Hb or the like.

これにより、一の拠点で表示装置2aのディスプレイ3a上に描画された画像は、他の拠点で表示装置2bのディスプレイ3b上にも表示され、逆に他の拠点で表示装置2bのディスプレイ3b上に描画された画像は、一の拠点で表示装置2aのディスプレイ3a上に表示される。このように、画像処理システム1では、遠隔地において同じ画像を共有する遠隔共有処理を行うことができるため、遠隔地での会議等に用いると、非常に便利である。 As a result, the image drawn on the display 3a of the display device 2a at one base is also displayed on the display 3b of the display device 2b at the other base, and conversely, on the display 3b of the display device 2b at the other base. The image drawn in is displayed on the display 3a of the display device 2a at one base. As described above, since the image processing system 1 can perform remote sharing processing for sharing the same image at a remote location, it is very convenient to use it for a conference or the like at a remote location.

なお、以下では、複数の表示装置のうち任意の表示装置を示す場合には「表示装置2」と示す。複数のディスプレイのうち任意のディスプレイを示す場合には「ディスプレイ3」と示す。複数の電子ペンのうち任意の電子ペンを示す場合には「電子ペン4」と示す。複数のUSBメモリのうち任意のUSBメモリを示す場合には「USBメモリ5」と示す。複数のノートPCのうち任意のノートPCを示す場合には「ノートPC6」と示す。複数のテレビ会議端末のうち任意のテレビ会議端末を示す場合には「テレビ会議端末7」と示す。また、複数のユーザの手のうち任意の手を示す場合には「手H」と示す。複数のケーブルのうち任意のケーブルを示す場合には「ケーブル10」と示す。 In the following, when an arbitrary display device among a plurality of display devices is indicated, it is referred to as "display device 2". When indicating an arbitrary display among a plurality of displays, it is indicated as "display 3". When indicating an arbitrary electronic pen among a plurality of electronic pens, it is indicated as "electronic pen 4". When indicating an arbitrary USB memory among a plurality of USB memories, it is indicated as "USB memory 5". When indicating an arbitrary notebook PC among a plurality of notebook PCs, it is indicated as "notebook PC 6". When indicating an arbitrary video conferencing terminal among a plurality of video conferencing terminals, it is indicated as "video conferencing terminal 7". Further, when indicating an arbitrary hand among the hands of a plurality of users, it is indicated as "hand H". When indicating an arbitrary cable among a plurality of cables, it is indicated as "cable 10".

また、本実施形態では、表示装置の一例として電子黒板を説明するが、これに限るものではなく、表示装置の他の例として、電子看板(デジタルサイネージ)、スポーツや天気予報等で利用されるテレストレータ、又は、遠隔画像(映像)診断装置等であってもよい。また、情報処理端末の一例として、ノートPC6を説明するが、これに限るものではなく、情報処理端末の他の例として、デスクトップ型PCやタブレット型PC、PDA、デジタルビデオカメラ、デジタルカメラ、ゲーム機等の画像フレームを供給可能な端末であってもよい。更に、通信ネットワークには、インターネット、LAN(Local Area Network)、携帯電話通信網等が含まれる。また、本実施形態では、記録媒体の一例として、USBメモリを説明するが、これに限るものではなく、記録媒体の他の例として、SDカード等の各種記録メディアであってもよい。 Further, in the present embodiment, an electronic blackboard will be described as an example of a display device, but the present invention is not limited to this, and other examples of the display device are used in electronic signage (digital signage), sports, weather forecasts, and the like. It may be a telestatator, a remote image (video) diagnostic device, or the like. Further, the notebook PC 6 will be described as an example of the information processing terminal, but the present invention is not limited to this, and other examples of the information processing terminal include a desktop PC, a tablet PC, a PDA, a digital video camera, a digital camera, and a game. It may be a terminal capable of supplying an image frame such as a machine. Further, the communication network includes the Internet, a LAN (Local Area Network), a mobile phone communication network, and the like. Further, in the present embodiment, the USB memory will be described as an example of the recording medium, but the present invention is not limited to this, and various recording media such as an SD card may be used as another example of the recording medium.

通信ネットワーク9にはアカウントサーバ8が接続されている。アカウントサーバ8はユーザのアカウントを管理するサーバである。アカウントサーバ8の一例としてLDAP(Lightweight Directory Access Protocol)サーバがある。LDAPは、ネットワーク機器や利用者などの情報を管理するディレクトリサービスへ接続するためのプロトコルである。ディレクトリサービスとは、ネットワークに存在するさまざまな情報を一元的に管理し、検索などの機能を提供するサービスである。クライアント(本実施形態では表示装置2)は、TCPの389番ポート(デフォルトのポート番号)を使用してLDAPサーバに接続し、属性(社内名簿であれば部署や個人名など)で構成されるエントリ(関連する属性のまとまり)の検索、追加、削除、修正といった操作を行う。 An account server 8 is connected to the communication network 9. The account server 8 is a server that manages user accounts. An LDAP (Lightweight Directory Access Protocol) server is an example of the account server 8. LDAP is a protocol for connecting to a directory service that manages information such as network devices and users. A directory service is a service that centrally manages various information existing in a network and provides functions such as search. The client (display device 2 in this embodiment) connects to the LDAP server using TCP port 389 (default port number), and is composed of attributes (department, personal name, etc. in the case of an in-house list). Perform operations such as searching, adding, deleting, and modifying entries (groups of related attributes).

例えば、複数サービスのユーザIDとパスワードが1人のユーザIDの属性としてまとめて登録されていれば、各サービスはLDAPサーバのみを参照して認証作業ができるようになる。管理者も、一元的に情報を管理できることから、サービスそれぞれのディレクトリでユーザ情報を変更するといった手間を削減できる。 For example, if the user IDs and passwords of a plurality of services are collectively registered as attributes of one user ID, each service can perform authentication work by referring only to the LDAP server. Since the administrator can also manage the information centrally, it is possible to reduce the trouble of changing the user information in each service directory.

LDAPサーバには、OpenLDAPなどのオープンソフトウェア、及び、マイクロソフト社のActive Directory(登録商標)を代表とする商用ソフトウェアなどがある。 LDAP servers include open software such as OpenLDAP and commercial software represented by Microsoft's Active Directory®.

<表示装置のハードウェア構成>
続いて、図3を用いて、本実施形態の表示装置のハードウェア構成を説明する。なお、図3は、表示装置のハードウェア構成図である。
<Hardware configuration of display device>
Subsequently, the hardware configuration of the display device of the present embodiment will be described with reference to FIG. Note that FIG. 3 is a hardware configuration diagram of the display device.

図3に示されているように、表示装置2は、表示装置2全体の動作を制御するCPU101、IPL等のCPU101の駆動に用いられるプログラムを記憶したROM102、CPU101のワークエリアとして使用されるRAM103、表示装置2用のプログラム等の各種データを記憶するSSD204、通信ネットワーク9との通信を制御するネットワークコントローラ105、及び、USBメモリ5との通信を制御する外部記憶コントローラ106を備えている。 As shown in FIG. 3, the display device 2 is a CPU 101 that controls the operation of the entire display device 2, a ROM 102 that stores a program used to drive the CPU 101 such as an IPL, and a RAM 103 that is used as a work area of the CPU 101. , SSD 204 for storing various data such as programs for the display device 2, network controller 105 for controlling communication with the communication network 9, and external storage controller 106 for controlling communication with the USB memory 5.

また、表示装置2は、ノートPC6のディスプレイに対して映像情報を静止画又は動画として表示させるキャプチャデバイス111、グラフィクスを専門に扱うGPU(Graphics Processing Unit)112、及び、GPUからの出力画像をディスプレイ3やテレビ会議端末7へ出力するために画面表示の制御及び管理を行うディスプレイコントローラ113を備えている。 Further, the display device 2 displays a capture device 111 that displays video information as a still image or a moving image on the display of the notebook PC 6, a GPU (Graphics Processing Unit) 112 that specializes in graphics, and an output image from the GPU. A display controller 113 that controls and manages a screen display for output to 3 or a video conference terminal 7 is provided.

更に、表示装置2は、接触センサ115の処理を制御するセンサコントローラ114、ディスプレイ3上に電子ペン4やユーザの手H等が接触したことを検知する接触センサ115を備えている。この接触センサ115は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレイ3の上側両端部に設置された2つ受発光装置が、ディスプレイ3に平行して複数の赤外線を放射し、ディスプレイ3の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ115は、物体によって遮断された2つの受発光装置が放射した赤外線のID(Identification)をセンサコントローラ114に出力し、センサコントローラ114が、物体の接触位置である座標位置を特定する。なお、以下に示す全ての各IDは、識別情報の一例である。 Further, the display device 2 includes a sensor controller 114 that controls the processing of the contact sensor 115, and a contact sensor 115 that detects that the electronic pen 4 or the user's hand H or the like touches the display 3. The contact sensor 115 inputs coordinates and detects coordinates by an infrared blocking method. In the method of inputting the coordinates and detecting the coordinates, two light receiving and emitting devices installed at both upper ends of the display 3 radiate a plurality of infrared rays in parallel with the display 3 and are provided around the display 3. This is a method of receiving light that is reflected by a reflecting member and returns on the same optical path as the light path emitted by the light receiving element. The contact sensor 115 outputs an infrared ID (Identification) emitted by two light emitting / receiving devices blocked by the object to the sensor controller 114, and the sensor controller 114 identifies a coordinate position which is a contact position of the object. All the IDs shown below are examples of identification information.

また、接触センサ115としては、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する2の抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。 Further, the contact sensor 115 is not limited to the infrared blocking method, but is a touch panel of the capacitance type that identifies the contact position by detecting a change in capacitance, and the contact position is determined by a voltage change of two opposing resistance films. Various detection means such as a touch panel of the resistance film type to be specified and a touch panel of the electromagnetic induction type which detects the electromagnetic induction generated by the contact object coming into contact with the display unit and specifies the contact position may be used.

また、表示装置2は、電子ペンコントローラ116を備えている。この電子ペンコントローラ116は、電子ペン4と通信することで、ディスプレイ3へのペン先のタッチやペン尻のタッチの有無を判断する。なお、電子ペンコントローラ116が、電子ペン4のペン先及びペン尻だけでなく、電子ペン4のユーザが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。 Further, the display device 2 includes an electronic pen controller 116. The electronic pen controller 116 communicates with the electronic pen 4 to determine whether or not there is a touch of the pen tip or a touch of the pen tip on the display 3. The electronic pen controller 116 may determine whether or not there is a touch not only on the pen tip and pen end of the electronic pen 4 but also on the portion held by the user of the electronic pen 4 and other electronic pen portions.

更に、表示装置2は、CPU101、ROM102、RAM103、SSD104、ネットワークコントローラ105、外部記憶コントローラ106、キャプチャデバイス111、GPU112、センサコントローラ114、及び電子ペンコントローラ116を、図3に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン120を備えている。 Further, the display device 2 includes the CPU 101, ROM 102, RAM 103, SSD 104, network controller 105, external storage controller 106, capture device 111, GPU 112, sensor controller 114, and electronic pen controller 116 as shown in FIG. It is provided with a bus line 120 such as an address bus and a data bus for electrically connecting.

なお、表示装置2用のプログラムは、CD−ROM等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。 The program for the display device 2 may be recorded on a computer-readable recording medium such as a CD-ROM and distributed.

<アカウントサーバのハードウェア構成例>
図4は、アカウントサーバ8のハードウェア構成図である。アカウントサーバ8は、コンピュータによって構築されており、図4に示されているように、CPU501、ROM502、RAM503、HD504、HDD(Hard Disk Drive)コントローラ505、ディスプレイ506、外部機器接続I/F(Interface)508、ネットワークI/F509、バスライン510、キーボード511、ポインティングデバイス512、DVD−RW(Digital Versatile Disk Rewritable)ドライブ514、メディアI/F516を備えている。
<Example of account server hardware configuration>
FIG. 4 is a hardware configuration diagram of the account server 8. The account server 8 is constructed by a computer, and as shown in FIG. 4, the CPU 501, ROM 502, RAM 503, HD 504, HDD (Hard Disk Drive) controller 505, display 506, and external device connection I / F (Interface). ) 508, network I / F 509, bus line 510, controller 511, pointing device 512, DVD-RW (Digital Versatile Disk Rewritable) drive 514, media I / F 516.

これらのうち、CPU501は、アカウントサーバ8全体の動作を制御する。ROM502は、IPL等のCPU501の駆動に用いられるプログラムを記憶する。RAM503は、CPU501のワークエリアとして使用される。HD504は、プログラム等の各種データを記憶する。HDDコントローラ505は、CPU501の制御にしたがってHD504に対する各種データの読み出し又は書き込みを制御する。ディスプレイ506は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。外部機器接続I/F508は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、USB(Universal Serial Bus)メモリやプリンタ等である。ネットワークI/F509は、通信ネットワーク9を利用してデータ通信をするためのインターフェースである。バスライン510は、図4に示されているCPU501等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。 Of these, the CPU 501 controls the operation of the entire account server 8. The ROM 502 stores a program used to drive the CPU 501 such as an IPL. The RAM 503 is used as a work area of the CPU 501. The HD504 stores various data such as programs. The HDD controller 505 controls reading or writing of various data to the HD 504 according to the control of the CPU 501. The display 506 displays various information such as cursors, menus, windows, characters, or images. The external device connection I / F 508 is an interface for connecting various external devices. The external device in this case is, for example, a USB (Universal Serial Bus) memory, a printer, or the like. The network I / F 509 is an interface for performing data communication using the communication network 9. The bus line 510 is an address bus, a data bus, or the like for electrically connecting each component such as the CPU 501 shown in FIG.

また、キーボード511は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス512は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。DVD−RWドライブ514は、着脱可能な記録媒体の一例としてのDVD−RW513に対する各種データの読み出し又は書き込みを制御する。なお、DVD−RWに限らず、DVD−R等であってもよい。メディアI/F516は、フラッシュメモリ等の記録メディア515に対するデータの読み出し又は書き込み(記憶)を制御する。 Further, the keyboard 511 is a kind of input means including a plurality of keys for inputting characters, numerical values, various instructions and the like. The pointing device 512 is a kind of input means for selecting and executing various instructions, selecting a processing target, moving a cursor, and the like. The DVD-RW drive 514 controls reading or writing of various data to the DVD-RW 513 as an example of the removable recording medium. In addition, it is not limited to DVD-RW, and may be DVD-R or the like. The media I / F 516 controls reading or writing (storage) of data to a recording medium 515 such as a flash memory.

<表示装置の機能構成>
続いて、図5乃至図10を用いて、表示装置2の機能構成について説明する。なお、先ずは、図5を用いて、表示装置2の全体的な機能構成について説明する。図5は、表示装置2の機能ブロック図である。
<Functional configuration of display device>
Subsequently, the functional configuration of the display device 2 will be described with reference to FIGS. 5 to 10. First, the overall functional configuration of the display device 2 will be described with reference to FIG. FIG. 5 is a functional block diagram of the display device 2.

表示装置2は、図3に示されているハードウェア構成及びプログラムによって、図5に示されている各機能構成を有する。表示装置2は、最初に遠隔共有処理を開始する「主催装置」となり得ると共に、既に開始されている遠隔共有処理に後から参加する「参加装置」にもなり得る。また、表示装置2は、大きく分けて、クライアント部20及びサーバ部90の両方によって構成されている。クライアント部20及びサーバ部90は、表示装置2の1台の筐体内で実現される機能である。そして、表示装置2が主催装置となる場合には、この表示装置2では、クライアント部20とサーバ部90が実現される。また、表示装置2が参加装置となる場合には、この表示装置2では、クライアント部20は実現されるが、サーバ部90は実現されない。即ち、図2において、表示装置2aが主催装置で、表示装置2bが参加装置となる場合、表示装置2aのクライアント部20は、同じ表示装置2a内に実現されたサーバ部90を介して、他の表示装置2bのクライアント部20と通信を行う。一方、表示装置2bのクライアント部20は、他の表示装置2a内に実現されたサーバ部90を介して、他の表示装置2aのクライアント部と通信を行う。 The display device 2 has each functional configuration shown in FIG. 5 according to the hardware configuration and program shown in FIG. The display device 2 can be a "sponsoring device" that first starts the remote sharing process, and can also be a "participating device" that later participates in the remote sharing process that has already been started. Further, the display device 2 is roughly divided into both a client unit 20 and a server unit 90. The client unit 20 and the server unit 90 are functions realized in one housing of the display device 2. When the display device 2 serves as the host device, the client unit 20 and the server unit 90 are realized in the display device 2. Further, when the display device 2 becomes a participating device, the client unit 20 is realized in the display device 2, but the server unit 90 is not realized. That is, in FIG. 2, when the display device 2a is the host device and the display device 2b is the participating device, the client unit 20 of the display device 2a is via the server unit 90 realized in the same display device 2a. Communicates with the client unit 20 of the display device 2b. On the other hand, the client unit 20 of the display device 2b communicates with the client unit of the other display device 2a via the server unit 90 realized in the other display device 2a.

<<クライアント部の機能構成>>
続いて、主に図5を用いて、クライアント部20の機能構成について説明する。クライアント部20は、映像取得部21、座標検知部22、自動調整部23、接触検知部24、イベント振分部25、操作処理部26、ジェスチャ処理部27、映像重畳部28、画像処理部30、及び通信制御部60を有する。
<< Functional configuration of client section >>
Subsequently, the functional configuration of the client unit 20 will be described mainly with reference to FIG. The client unit 20 includes a video acquisition unit 21, a coordinate detection unit 22, an automatic adjustment unit 23, a contact detection unit 24, an event distribution unit 25, an operation processing unit 26, a gesture processing unit 27, an image superimposing unit 28, and an image processing unit 30. , And a communication control unit 60.

このうち、映像取得部21は、ケーブル10に接続された映像出力機器の出力映像を取得する。映像取得部21は、映像出力機器から画像信号を受信すると、この画像信号を解析して、この画像信号によって形成される映像出力機器の表示画像である画像フレームの解像度や、この画像フレームの更新頻度などの画像情報を導出し、画像取得部31に出力する。 Of these, the video acquisition unit 21 acquires the output video of the video output device connected to the cable 10. When the image acquisition unit 21 receives an image signal from the image output device, the image acquisition unit 21 analyzes the image signal, updates the resolution of the image frame which is the display image of the image output device formed by the image signal, and updates the image frame. Image information such as frequency is derived and output to the image acquisition unit 31.

座標検知部22は、ディスプレイ3上でユーザによって生じたイベント(ディスプレイ3上にユーザの手Hがタッチされた動作等)の座標位置を検出する。また、座標検知部22は、タッチされた面積も検出する。 The coordinate detection unit 22 detects the coordinate position of an event (such as an action in which the user's hand H is touched on the display 3) generated by the user on the display 3. The coordinate detection unit 22 also detects the touched area.

自動調整部23は、表示装置2の起動時に起動され、接触センサ115が座標検知部22に適切な値を出力できるように、接触センサ115の光センサ方式におけるセンサーカメラの画像処理のパラメータを調整する。 The automatic adjustment unit 23 is activated when the display device 2 is activated, and adjusts the image processing parameters of the sensor camera in the optical sensor method of the contact sensor 115 so that the contact sensor 115 can output an appropriate value to the coordinate detection unit 22. To do.

接触検知部24は、ユーザによって生じたイベント(ディスプレイ3上に電子ペン4のペン先又は電子ペン4のペン尻が押下(タッチ)された動作等)を検出する。 The contact detection unit 24 detects an event (such as an operation in which the pen tip of the electronic pen 4 or the pen tail of the electronic pen 4 is pressed (touched) on the display 3) caused by the user.

イベント振分部25は、座標検知部22によって検知されたイベントの座標位置と接触検知部24によって検出された検出結果を、ストローク描画、UI操作、及びジェスチャ操作の各イベントに振り分ける。 The event distribution unit 25 distributes the coordinate position of the event detected by the coordinate detection unit 22 and the detection result detected by the contact detection unit 24 into each event of stroke drawing, UI operation, and gesture operation.

ここで、「ストローク描画」は、ディスプレイ3上に図10に示されている後述のストローク画像(B)が表示されている場合に、ユーザがディスプレイ3上で電子ペン4を押下し、この押下した状態で電子ペン4を移動させ、最終的にディスプレイ3上から電子ペン4を離すまでのイベントである。このストローク描画により、例えば、アルファベット「S」や「T」等がディスプレイ3上に描画される。なお、この「ストローク描画」には、画像を描画するだけでなく、既に描画された画像を削除したり、描画された画像を編集したりするイベントも含まれる。 Here, in the "stroke drawing", when the stroke image (B) shown in FIG. 10 is displayed on the display 3, the user presses the electronic pen 4 on the display 3, and this pressing is performed. This is an event in which the electronic pen 4 is moved in this state, and finally the electronic pen 4 is released from the display 3. By this stroke drawing, for example, the alphabets "S" and "T" are drawn on the display 3. Note that this "stroke drawing" includes not only drawing an image, but also an event of deleting an already drawn image or editing the drawn image.

「UI操作」は、ディスプレイ3上に図10に示されている後述のUI画像(A)が表示されている場合に、ユーザが電子ペン4又は手Hによって所定の位置を押下したイベントである。このUI操作により、例えば、電子ペン4により描画される線の色や幅等が設定される。 The "UI operation" is an event in which the user presses a predetermined position with the electronic pen 4 or the hand H when the UI image (A) shown in FIG. 10 is displayed on the display 3. .. By this UI operation, for example, the color and width of the line drawn by the electronic pen 4 are set.

「ジェスチャ操作」は、ディスプレイ3上に図10に示されている後述のストローク画像(B)が表示されている場合に、ユーザが手Hでディスプレイ3上をタッチしたり移動したりさせるイベントである。このジェスチャ操作により、例えば、ユーザがディスプレイ3に手Hをタッチさせた状態で手Hを移動させることで、画像の拡大(若しくは縮小)、表示領域の変更、又は、ページ切り換え等を行うことができる。 The "gesture operation" is an event in which the user touches or moves on the display 3 with his / her hand H when the stroke image (B) shown in FIG. 10 is displayed on the display 3. is there. By this gesture operation, for example, by moving the hand H while the user touches the hand H on the display 3, the image can be enlarged (or reduced), the display area can be changed, the page can be switched, and the like. it can.

操作処理部26は、イベント振分部25によってUI操作と判断されたものから、イベントが発生されたUIの要素にしたがって、各種操作を実行する。このUIの要素としては、例えば、ボタン、リスト、チェックボックス、テキストボックスが挙げられる。
ジェスチャ処理部27は、イベント振分部25によってジェスチャ操作と判断されたものに対応した操作を実行する。
The operation processing unit 26 executes various operations according to the elements of the UI in which the event has occurred from those determined to be UI operations by the event distribution unit 25. Elements of this UI include, for example, buttons, lists, checkboxes, and text boxes.
The gesture processing unit 27 executes an operation corresponding to the gesture operation determined by the event distribution unit 25.

映像重畳部28は、後述の表示重畳部36で重畳された画像を映像として映像出力機器(ディスプレイ3等)に対して表示する。また、映像重畳部28は、映像出力機器(ノートPC6等)からの映像に対して、他の映像出力機器(テレビ会議端末7等)から送られて来た映像をピクチャ・イン・ピクチャする。更に、映像重畳部28は、ピクチャ・イン・ピクチャされてディスプレイ3の一部に表示された映像を、ディスプレイ3の全体に表示させるための切り替えを行う。 The image superimposing unit 28 displays the image superimposed by the display superimposing unit 36, which will be described later, as an image on the image output device (display 3 or the like). Further, the video superimposing unit 28 pictures-in-pictures the video sent from another video output device (video conference terminal 7 or the like) with respect to the video from the video output device (notebook PC 6 or the like). Further, the image superimposing unit 28 switches to display the image that has been picture-in-pictured and displayed on a part of the display 3 on the entire display 3.

画像処理部30は、図10に示されているような各画像レイヤの重畳処理等を行う。この画像処理部30は、画像取得部31、ストローク処理部32、UI画像生成部33、背景生成部34、レイアウト管理部35、表示重畳部36、ページ処理部37、ファイル処理部40、ページデータ記憶部300、及び遠隔ライセンス管理テーブル310を有している。 The image processing unit 30 performs superimposition processing of each image layer as shown in FIG. The image processing unit 30 includes an image acquisition unit 31, a stroke processing unit 32, a UI image generation unit 33, a background generation unit 34, a layout management unit 35, a display superimposition unit 36, a page processing unit 37, a file processing unit 40, and page data. It has a storage unit 300 and a remote license management table 310.

このうち、画像取得部31は、映像取得部21で取得された映像から、各フレームを画像として取得する。画像取得部31は、この画像のデータを、ページ処理部37に出力する。この画像は、図10に示されている映像出力機器(ノートPC6等)からの出力画像(C)に相当する。 Of these, the image acquisition unit 31 acquires each frame as an image from the image acquired by the image acquisition unit 21. The image acquisition unit 31 outputs the data of this image to the page processing unit 37. This image corresponds to the output image (C) from the video output device (notebook PC 6 or the like) shown in FIG.

ストローク処理部32は、イベント振分部25によって割り振られたストローク描画に係るイベントに基づいて、画像を描画したり、描画された画像を削除したり、描画された画像を編集する。このストローク描画による画像は、図10に示されているストローク画像(B)に相当する。また、このストローク描画に基づいた画像の描画、削除、編集の各結果は、後述の操作データとして、操作データ記憶部840に記憶される。 The stroke processing unit 32 draws an image, deletes the drawn image, and edits the drawn image based on the event related to the stroke drawing assigned by the event distribution unit 25. The image obtained by drawing the stroke corresponds to the stroke image (B) shown in FIG. Further, each result of drawing, deleting, and editing the image based on the stroke drawing is stored in the operation data storage unit 840 as the operation data described later.

UI画像生成部33は、表示装置2に予め設定されているUI(ユーザインターフェース)画像を生成する。このUI画像は、図10に示されているUI画像(A)に相当する。 The UI image generation unit 33 generates a UI (user interface) image preset in the display device 2. This UI image corresponds to the UI image (A) shown in FIG.

背景生成部34は、ページ処理部37がページデータ記憶部300から読み出したページデータのうちのメディアデータを、ページ処理部37から受信する。背景生成部34は、この受信したメディアデータを表示重畳部36に出力する。また、このメディアデータによる画像は、図10に示されている背景画像(D)に相当する。背景画像(D)のパターンは、無地、グリッド表示等である。 The background generation unit 34 receives the media data of the page data read from the page data storage unit 300 by the page processing unit 37 from the page processing unit 37. The background generation unit 34 outputs the received media data to the display superimposition unit 36. Further, the image based on this media data corresponds to the background image (D) shown in FIG. The pattern of the background image (D) is a solid color, a grid display, or the like.

レイアウト管理部35は、表示重畳部36に対して、画像取得部31、ストローク処理部32、及びUI画像生成部33(又は背景生成部34)から出力された各画像のレイアウトを示すレイアウト情報を管理している。これにより、レイアウト管理部35は、表示重畳部36に対して、出力画像(C)及びストローク画像(B)を、UI画像(A)及び背景画像(D)中のどの位置に表示させるか又は非表示にさせるかを指示することができる。 The layout management unit 35 provides the display superimposition unit 36 with layout information indicating the layout of each image output from the image acquisition unit 31, the stroke processing unit 32, and the UI image generation unit 33 (or the background generation unit 34). I manage it. As a result, the layout management unit 35 causes the display superimposition unit 36 to display the output image (C) and the stroke image (B) at which position in the UI image (A) and the background image (D). You can instruct whether to hide it.

表示重畳部36は、レイアウト管理部35から出力されたレイアウト情報に基づき、画像取得部31、ストローク処理部32、及びUI画像生成部33(背景生成部34)から出力された各画像のレイアウトを行う。 Based on the layout information output from the layout management unit 35, the display superimposition unit 36 arranges the layout of each image output from the image acquisition unit 31, the stroke processing unit 32, and the UI image generation unit 33 (background generation unit 34). Do.

ページ処理部37は、ストローク画像(B)のデータと出力画像(C)のデータを、1つのページデータにまとめてページデータ記憶部300に記憶する。ストローク画像(B)のデータは、図6に示されているストローク配列データIDで示されるストローク配列データ(各ストロークデータ)として、ページデータの一部を成す。出力画像(C)のデータは、図6に示されているメディアデータIDで示されているメディアデータとして、ページデータの一部を成す。そして、このメディアデータは、ページデータ記憶部300から読み出されると、背景画像(D)のデータとして取り扱われる。 The page processing unit 37 collects the data of the stroke image (B) and the data of the output image (C) into one page data and stores it in the page data storage unit 300. The data of the stroke image (B) forms a part of the page data as the stroke array data (each stroke data) indicated by the stroke array data ID shown in FIG. The data of the output image (C) forms a part of the page data as the media data indicated by the media data ID shown in FIG. Then, when this media data is read from the page data storage unit 300, it is treated as the data of the background image (D).

また、ページ処理部37は、一旦記憶されたページデータのうちのメディアデータを、背景生成部34を介して表示重畳部36に送信することで、映像重畳部28が背景画像(D)をディスプレイ3に再表示させることができる。また、ページ処理部37は、ページデータのうちのストローク配列データ(各ストロークデータ)を、ストローク処理部32に戻すことで、ストロークの再編集ができる状態にすることができる。更に、ページ処理部37は、ページデータを削除したり複製したりすることもできる。 Further, the page processing unit 37 transmits the media data of the page data once stored to the display superimposition unit 36 via the background generation unit 34, so that the video superimposition unit 28 displays the background image (D). It can be redisplayed in 3. Further, the page processing unit 37 can return the stroke array data (each stroke data) of the page data to the stroke processing unit 32 so that the stroke can be re-edited. Further, the page processing unit 37 can also delete or duplicate the page data.

即ち、ページ処理部37がページデータ記憶部300にページデータを記憶する時点でディスプレイ3上に表示されている出力画像(C)のデータは、一旦、ページデータ記憶部300に記憶され、その後にページデータ記憶部300から読み出される際には、背景画像(D)を示すメディアデータとして読みされる。そして、ページ処理部37は、ページデータ記憶部300から読み出したページデータのうち、ストローク画像(B)を示すストローク配列データを、ストローク処理部32に出力する。また、ページ処理部37は、ページデータ記憶部300から読み出したページデータのうち、背景画像(D)を示すメディアデータを、背景生成部34に出力する。 That is, the data of the output image (C) displayed on the display 3 at the time when the page processing unit 37 stores the page data in the page data storage unit 300 is temporarily stored in the page data storage unit 300, and then stored in the page data storage unit 300. When it is read from the page data storage unit 300, it is read as media data indicating the background image (D). Then, the page processing unit 37 outputs the stroke array data indicating the stroke image (B) among the page data read from the page data storage unit 300 to the stroke processing unit 32. Further, the page processing unit 37 outputs the media data indicating the background image (D) among the page data read from the page data storage unit 300 to the background generation unit 34.

表示重畳部36は、 画像取得部31からの出力画像(C)、ストローク処理部32からのストローク画像(B)、UI画像生成部33からのUI画像(A)、及び、背景生成部34からの背景画像(D)を、レイアウト管理部35によって指定されたレイアウトにしたがって重畳する。これにより、図10に示されているように、各画像が重なってもユーザが見える順に、UI画像(A)、ストローク画像(B)、出力画像(C)、及び背景画像(D)の各レイアの構成となっている。 The display superimposition unit 36 is an output image (C) from the image acquisition unit 31, a stroke image (B) from the stroke processing unit 32, a UI image (A) from the UI image generation unit 33, and a background generation unit 34. The background image (D) of the above is superimposed according to the layout specified by the layout management unit 35. As a result, as shown in FIG. 10, each of the UI image (A), the stroke image (B), the output image (C), and the background image (D) is in the order in which the user can see the images even if they overlap each other. It is composed of Leia.

また、表示重畳部36は、図10に示されている画像(C)と画像(D)を切り替えて、画像(A)及び画像(B)に対して排他的に重畳することも可能である。例えば、当初、画像(A)、画像(B)及び画像(C)が表示されている状態で、表示装置2と映像出力機器(ノートPC6等)との間のケーブル10が抜かれた場合には、レイアウト管理部35の指定によって、画像(C)を重畳対象から外し、画像(D)を表示させることができる。この場合に、また、表示重畳部36は、表示の拡大、表示の縮小、表示領域の移動処理も行う。 Further, the display superimposition unit 36 can switch between the image (C) and the image (D) shown in FIG. 10 and superimpose the image (A) and the image (B) exclusively. .. For example, when the image (A), the image (B), and the image (C) are initially displayed and the cable 10 between the display device 2 and the video output device (notebook PC 6 or the like) is disconnected, By the designation of the layout management unit 35, the image (C) can be excluded from the superimposition target and the image (D) can be displayed. In this case, the display superimposing unit 36 also performs display enlargement, display reduction, and display area movement processing.

ページデータ記憶部300は、図6に示されているようなページデータを記憶する。図6は、ページデータを示す概念図である。ページデータは、ディスプレイ3に表示される1ページ分のデータ(ストローク配列データ(各ストロークデータ)及びメディアデータ)である。なお、ページデータに含まれるパラメータの種類が多いため、ここでは、図6乃至図9に分けて、ページデータの内容を説明する。 The page data storage unit 300 stores page data as shown in FIG. FIG. 6 is a conceptual diagram showing page data. The page data is data for one page (stroke array data (each stroke data) and media data) displayed on the display 3. Since there are many types of parameters included in the page data, the contents of the page data will be described here by dividing them into FIGS. 6 to 9.

ページデータは、図6に示されているように、任意の1ページを識別するためのページデータID、このページの表示を開始した時刻を示す開始時刻、ストロークやジェスチャ等によるページの内容の書き換えが行われなくなった時刻を示す終了時刻、電子ペン4やユーザの手Hによるストロークによって生じたストローク配列データを識別するためのストローク配列データID、及びメディアデータを識別するためのメディアデータIDが関連付けて記憶されている。ストローク配列データは、後述の図10に示されているストローク画像(B)がディスプレイ3上に表示されるためのデータである。メディアデータは、後述の16に示されている背景画像(D)がディスプレイ3上に表示されるためのデータである。 As shown in FIG. 6, the page data includes a page data ID for identifying an arbitrary page, a start time indicating the time when the display of this page is started, and rewriting the contents of the page by strokes, gestures, or the like. The end time indicating the time when is no longer performed, the stroke array data ID for identifying the stroke array data generated by the stroke by the electronic pen 4 or the user's hand H, and the media data ID for identifying the media data are associated with each other. Is remembered. The stroke array data is data for displaying the stroke image (B) shown in FIG. 10 described later on the display 3. The media data is data for displaying the background image (D) shown in 16 below on the display 3.

このようなページデータにより、例えば、ユーザが電子ペン4によってアルファベット「S」を描く場合は一筆書きとなるため、ストロークデータIDが1つで一文字のアルファベット[S]が示される。ところが、ユーザが電子ペン4によってアルファベット「T」を描く場合、二筆書きとなるため、ストロークデータIDが2つで一文字のアルファベット「T」が示されることになる。 With such page data, for example, when the user draws the alphabet "S" with the electronic pen 4, it is written in one stroke, so that the alphabet [S] of one character is indicated by one stroke data ID. However, when the user draws the alphabet "T" with the electronic pen 4, since it is written in two strokes, the alphabet "T" of one character is indicated by two stroke data IDs.

また、ストローク配列データは、図7に示されているように詳細な情報を示している。図7は、ストローク配列データを示す概念図である。図7に示されているように、1つのストローク配列データは、複数のストロークデータによって表される。そして、1つのストロークデータは、このストロークデータを識別するためのストロークデータID、1つのストロークの書き始めの時刻を示す開始時刻、1つのストロークの書き終わりの時刻を示す終了時刻、ストロークの色、ストロークの幅、及び、ストロークの通過点の配列を識別するための座標配列データIDを示している。 Further, the stroke array data shows detailed information as shown in FIG. FIG. 7 is a conceptual diagram showing stroke array data. As shown in FIG. 7, one stroke array data is represented by a plurality of stroke data. Then, one stroke data includes a stroke data ID for identifying the stroke data, a start time indicating the writing start time of one stroke, an end time indicating the writing end time of one stroke, and a stroke color. The width of the stroke and the coordinate array data ID for identifying the array of passing points of the stroke are shown.

更に、この座標配列データは、図8に示されているように詳細な情報を示している。図8は、座標配列データを示す概念図である。図8に示されているように、座標配列データは、ディスプレイ3上の1点(X座標値、Y座標値)、この1点を通過したときのストロークの開始時刻からの差分の時刻(ms)、及び、この1点における電子ペン4の筆圧の各情報を示している。即ち、図8に示されている1点の集まりが、図7に示されている1つの座標配列データで示されている。例えば、ユーザが電子ペン4によってアルファベット「S」を描く場合、一筆書きとなるが、「S」を描き終えるまでに、複数の通過点を通過するため、座標配列データは、これら複数の通過点の情報を示している。 Further, the coordinate array data shows detailed information as shown in FIG. FIG. 8 is a conceptual diagram showing coordinate array data. As shown in FIG. 8, the coordinate array data is one point (X coordinate value, Y coordinate value) on the display 3, and the time (ms) of the difference from the start time of the stroke when passing through this one point. ), And each information of the pen pressure of the electronic pen 4 at this one point is shown. That is, a set of one point shown in FIG. 8 is shown by one coordinate array data shown in FIG. 7. For example, when the user draws the alphabet "S" with the electronic pen 4, it is written in one stroke, but since the user passes through a plurality of passing points by the time the drawing of the "S" is completed, the coordinate array data has these multiple passing points. Information is shown.

また、図6に示されているページデータのうちのメディアデータは、図9に示されているように詳細な情報を示している。図9は、メディアデータを示す概念図である。図9に示されているように、メディアデータは、図6に示されているページデータにおけるメディアデータID、メディアデータのデータ種類、ページ処理部37からページデータ記憶部300にページデータが記憶された記録時刻、ページデータによってディスプレイ3上に表示される画像の位置(X座標値、Y座標値)及び画像のサイズ(幅、高さ)、並びにメディアデータの内容を示すデータが関連付けられて示されている。このうち、ページデータによってディスプレイ3上に表示される画像の位置は、ディスプレイ3の左上端の座標を(X座標値,Y座標値)=(0,0)とした場合に、ページデータによって表示される画像の左上端の位置を示している。 Further, the media data among the page data shown in FIG. 6 shows detailed information as shown in FIG. FIG. 9 is a conceptual diagram showing media data. As shown in FIG. 9, as for the media data, the media data ID in the page data shown in FIG. 6, the data type of the media data, and the page data are stored in the page data storage unit 300 from the page processing unit 37. The recorded time, the position (X coordinate value, Y coordinate value) of the image displayed on the display 3 by the page data, the size (width, height) of the image, and the data indicating the contents of the media data are shown in association with each other. Has been done. Of these, the position of the image displayed on the display 3 by the page data is displayed by the page data when the coordinates of the upper left corner of the display 3 are (X coordinate value, Y coordinate value) = (0,0). It shows the position of the upper left corner of the image to be displayed.

また、図5に戻り、遠隔ライセンス管理テーブル310は、遠隔共有処理を実行するために必要なライセンスデータを管理する。この遠隔ライセンス管理テーブル310では、表示装置2のプロダクトID、認証に用いられるライセンスID、及びライセンスの有効期限が関連付けて管理されている。 Further, returning to FIG. 5, the remote license management table 310 manages the license data necessary for executing the remote sharing process. In the remote license management table 310, the product ID of the display device 2, the license ID used for authentication, and the expiration date of the license are managed in association with each other.

<アカウントサーバの機能について>
図11は、アカウントサーバ8が有する機能をブロックに分けて説明する機能ブロック図の一例である。アカウントサーバ8は、送受信部81、ユーザ認証部82、及び記録読出部89を有している。アカウントサーバ8が有するこれら各部は、HD504からRAM503上に展開されたプログラムを実行するCPU501によって実現される機能又は手段である。また、アカウントサーバ8は、RAM503及びHD504によって構成される記憶部3000を有している。
<About the function of the account server>
FIG. 11 is an example of a functional block diagram for explaining the functions of the account server 8 by dividing them into blocks. The account server 8 has a transmission / reception unit 81, a user authentication unit 82, and a record / reading unit 89. Each of these parts included in the account server 8 is a function or means realized by the CPU 501 that executes a program developed on the RAM 503 from the HD 504. Further, the account server 8 has a storage unit 3000 composed of the RAM 503 and the HD 504.

送受信部81は、通信ネットワーク9を介して表示装置2からアカウント情報を受信して、認証結果やユーザ権限(ユーザID、一般ユーザか管理者かなど)などを表示装置2に送信する。 The transmission / reception unit 81 receives account information from the display device 2 via the communication network 9 and transmits the authentication result, user authority (user ID, general user or administrator, etc.) to the display device 2.

ユーザ認証部82は、アカウント情報に基づいて認証情報DB3001を照会してユーザを認証する。アカウント情報が認証情報DB3001に記憶されていれば認証成功を、記憶されていなければ認証失敗と判断して認証結果を生成する。記録読出部89は記憶部3000から情報の読み出し、及び、記憶部3000への情報の書き込みを行う。 The user authentication unit 82 inquires the authentication information DB 3001 based on the account information and authenticates the user. If the account information is stored in the authentication information DB 3001, it is determined that the authentication is successful, and if it is not stored, it is determined that the authentication has failed and the authentication result is generated. The record reading unit 89 reads information from the storage unit 3000 and writes information to the storage unit 3000.

図12は、認証情報DB3001に記憶されている情報を模式的に示す。認証情報DB3001は各ユーザのアカウント情報を記憶している。図12では、カード情報、ユーザID、パスワード、及び、ユーザ名を対応づけてアカウント情報として記憶している。カード情報はユーザが携帯するICカードの識別情報であり、ユーザIDはユーザを識別する識別情報であり、パスワードはユーザのみが知る情報であり、ユーザ名はユーザの表記に使用される。したがって、図12のアカウント情報によれば、ユーザはユーザIDとパスワードだけでなく、ユーザ名とパスワード、又は、ICカードでログインできる。 FIG. 12 schematically shows the information stored in the authentication information DB 3001. The authentication information DB 3001 stores the account information of each user. In FIG. 12, the card information, the user ID, the password, and the user name are associated and stored as account information. The card information is the identification information of the IC card carried by the user, the user ID is the identification information for identifying the user, the password is the information known only to the user, and the user name is used for notation of the user. Therefore, according to the account information of FIG. 12, the user can log in not only with the user ID and password but also with the user name and password or the IC card.

なお、ユーザの認証機能は表示装置2が内部に有していてもよい。 The user authentication function may be internally provided by the display device 2.

<チュートリアルの表示制御に関する表示装置2の機能>
また、表示装置2は図13に示すようにチュートリアルの表示に関する機能を有している。図13はチュートリアルの表示制御に関する表示装置2の機能をブロックに分けて説明する機能ブロック図の一例である。
<Functions of display device 2 related to tutorial display control>
Further, the display device 2 has a function related to the display of the tutorial as shown in FIG. FIG. 13 is an example of a functional block diagram for explaining the functions of the display device 2 related to the display control of the tutorial by dividing them into blocks.

表示装置2は、表示制御部71、ユーザ認証要求部72、及び、提供制御部73を有している。表示装置2が有するこれらの機能は、SSD104からRAM103上に展開されたプログラムを実行するCPU101によって実現される機能又は手段である。また、表示装置2は、RAM513及びSSD104によって構成される機能使用履歴DB75と教材データDB74を有している。 The display device 2 includes a display control unit 71, a user authentication request unit 72, and a provision control unit 73. These functions possessed by the display device 2 are functions or means realized by the CPU 101 that executes a program developed on the RAM 103 from the SSD 104. Further, the display device 2 has a function usage history DB 75 and a teaching material data DB 74 composed of the RAM 513 and the SSD 104.

ユーザ認証要求部72は、ユーザからアカウント情報を受け付け、アカウントサーバ8に対しアカウント情報を送信してユーザの認証を要求する。ユーザ認証要求部72はアカウントサーバ8から認証結果を取得する。認証成功の場合、ログイン時刻76を例えばRAM503に記録しておく。なお、アカウント情報は、ディスプレイ3に表示されたソフトキーから入力されても、ICカードリーダーから入力されてもよい。認証成功の場合、表示装置2はユーザIDやユーザの権限等をアカウントサーバ8から取得する。認証成功によりユーザは表示装置2にログインし、このユーザの権限に応じて表示装置2を使用できる。認証失敗の場合、ユーザは表示装置2を使用できない。 The user authentication request unit 72 receives the account information from the user, transmits the account information to the account server 8, and requests the user's authentication. The user authentication request unit 72 acquires the authentication result from the account server 8. If the authentication is successful, the login time 76 is recorded in, for example, RAM 503. The account information may be input from the soft key displayed on the display 3 or may be input from the IC card reader. If the authentication is successful, the display device 2 acquires the user ID, the user's authority, and the like from the account server 8. Upon successful authentication, the user can log in to the display device 2 and use the display device 2 according to the authority of the user. If the authentication fails, the user cannot use the display device 2.

表示制御部71は、提供制御部73が提供すると決定したチュートリアルをディスプレイ3に表示する。なお、表示制御部71はUI画像生成部33が有する機能とするが、UI画像生成部33とは独立の機能でもよい。 The display control unit 71 displays the tutorial determined to be provided by the provision control unit 73 on the display 3. Although the display control unit 71 has a function of the UI image generation unit 33, it may have a function independent of the UI image generation unit 33.

提供制御部73は、ユーザによる表示装置2の利用状況に応じて機能使用履歴テーブルを更新する。また、機能使用履歴テーブルの情報をもとに提供するチュートリアルを決定し、教材データDB74からチュートリアルのデータを読み込む。 The provision control unit 73 updates the function usage history table according to the usage status of the display device 2 by the user. In addition, the tutorial to be provided is determined based on the information in the function usage history table, and the tutorial data is read from the teaching material data DB 74.

図14は、機能使用履歴DB75に記憶されている機能使用履歴テーブルの一例を示す。機能使用履歴テーブルは、ユーザがどの機能をいつ使用したか(機能が使用された旨)、機能のチュートリアルがいつ提供されたか(機能の使用方法を提供した旨)をユーザごとに記録したテーブルである。機能使用履歴テーブルはユーザIDに対応づけられている。また、ユーザごとのログイン回数が記録されている。更に、管理者又はユーザがチュートリアルを提供すると設定したか否か(ONかOFFか)が登録されている。管理者はチュートリアルを提供するか否かについてデフォルトの設定(初期設定)を行い、ユーザは個別に設定を行う。 FIG. 14 shows an example of the function usage history table stored in the function usage history DB 75. The function usage history table is a table that records for each user when and when the user used the function (that the function was used) and when the tutorial of the function was provided (that the function was used). is there. The function usage history table is associated with the user ID. In addition, the number of logins for each user is recorded. Furthermore, whether or not the administrator or the user has set to provide the tutorial (ON or OFF) is registered. The administrator sets the default settings (initial settings) as to whether or not to provide the tutorial, and the user sets them individually.

図14に示すように、機能使用履歴テーブルは、機能情報、優先度、ユーザ使用時刻、チュートリアル提供時刻、及び、機能使用率の各項目を有している。 As shown in FIG. 14, the function usage history table has items of function information, priority, user usage time, tutorial provision time, and function usage rate.

機能情報は、表示装置2が有する機能(ユーザが利用できるチュートリアルを有する機能)の識別情報である。換言すると、表示装置2がチュートリアルを提供してユーザに使い方を提示できる機能である。 The function information is identification information of a function (a function having a tutorial available to the user) of the display device 2. In other words, the display device 2 is a function that can provide a tutorial and show the user how to use it.

優先度は、チュートリアルが提供される機能情報を決定するために参照される程度を表す情報である。数字が小さいものほど優先度が高い。管理者等は予め基本的な機能ほど優先度を高く設定しておく。基本的な機能とは、電子黒板としての機能を提供するために必要な機能、一般に電子黒板の機能として認識されている機能、又は、ユーザにより使用される頻度が大きい機能である。管理者はPCから又は表示装置2を操作して優先度を個別に設定できる。また、所定のサーバから表示装置2が機能情報と優先度が対応づけられた状態でダウンロードしてもよい。 Priority is information that represents the degree to which the tutorial is referenced to determine the functional information provided. The smaller the number, the higher the priority. The administrator or the like sets the priority of the basic function in advance. The basic function is a function required to provide a function as an electronic blackboard, a function generally recognized as a function of an electronic blackboard, or a function frequently used by a user. The administrator can set the priority individually from the PC or by operating the display device 2. Further, the display device 2 may be downloaded from a predetermined server in a state where the function information and the priority are associated with each other.

ユーザ使用時刻は、ユーザが最後に該機能情報を使用した日時と過去の使用回数である(当然ながらログインからログアウトまでの間である)。ユーザ使用時刻は機能使用率を提供制御部73が算出するために使用される。チュートリアル実行時刻は、ユーザに対して該機能のチュートリアルを提供した日時である(当然ながらログインからログアウトまでの間である)。チュートリアル実行時刻は過去にチュートリアルが提供されたかどうか(提供した旨)を記録できればよく、日時まではなくてもよい。また、使用回数は1回のログインで1回以上使用されると1回が計上される(ログイン中にユーザが2回以上使用しても1回でカウントする)。 The user usage time is the date and time when the user last used the function information and the number of times it has been used in the past (of course, between login and logout). The user usage time is used by the providing control unit 73 to calculate the function usage rate. The tutorial execution time is the date and time when the tutorial of the function is provided to the user (of course, between login and logout). The tutorial execution time does not have to be until the date and time as long as it can record whether or not the tutorial was provided in the past (that it was provided). In addition, the number of times of use is counted once if it is used once or more in one login (even if the user uses it twice or more during login, it is counted as one time).

機能使用率は、機能ごとの使用率である。例えば、提供制御部73はユーザのログイン時刻よりも後のユーザ使用時刻の機能情報の使用回数を更新して、これとログイン回数から機能ごとに機能使用率を算出する。全ての機能に対して機能使用率が存在するわけではない。算出式は例えば以下のようになる。
最新の使用回数=
・ログイン時刻より後のユーザ使用時刻が記録されている場合は過去の使用回数+1
・ログイン時刻より後のユーザ使用時刻が記録されていない場合は過去の使用回数
機能使用履歴=最新の使用回数/ログイン回数
図15は、教材データDB74に記憶されている教材データの一例を示す。教材データは、機能情報に対応づけてチュートリアル内容を保持している。機能情報は機能使用履歴テーブルと同じものである。チュートリアル内容は機能ごとにチュートリアルを提供するためのデータである。チュートリアル内容には例えば、表示装置2が実行するコマンド、メッセージや画像(図15では枠線)の表示位置が登録されている。
The function usage rate is the usage rate for each function. For example, the provision control unit 73 updates the number of times the function information is used at the user's usage time after the user's login time, and calculates the function usage rate for each function from this and the number of logins. Not all functions have a function usage rate. The calculation formula is as follows, for example.
Latest number of uses =
-If the user usage time after the login time is recorded, the number of past usages + 1
-When the user usage time after the login time is not recorded, the past usage count function usage history = latest usage count / login count FIG. 15 shows an example of teaching material data stored in the teaching material data DB 74. The teaching material data holds the tutorial contents in association with the functional information. The function information is the same as the function usage history table. The tutorial content is data for providing a tutorial for each function. In the tutorial content, for example, the display positions of commands, messages and images (frame lines in FIG. 15) executed by the display device 2 are registered.

例えば、「書き込む」という機能では、ユーザが「書き込むアイコン」を押下した場合と同じ画面を表示装置2が表示して(コマンド実行)、決まった位置に「線の色を変えられます。」「線の太さを変えられます」というメッセージや操作対象のボタンなどを強調する画像を表示することが登録されている。したがって、表示装置2はコマンドを実行し、メッセージ、画像を決まった位置に表示することで、チュートリアルを提供できる。 For example, with the "write" function, the display device 2 displays the same screen as when the user presses the "write icon" (command execution), and "the line color can be changed" at a fixed position. It is registered to display an image that emphasizes the message "You can change the line thickness" and the button to be operated. Therefore, the display device 2 can provide a tutorial by executing a command and displaying a message or an image at a fixed position.

あるいは、チュートリアル内容はPDFファイルで用意されてもよい。この場合は、表示装置2はPDFファイルを表示すればよい。 Alternatively, the tutorial content may be prepared as a PDF file. In this case, the display device 2 may display the PDF file.

この他、チュートリアル内容はURLでその内容を示されていてもよい。例えば、URLによりユーザを、チュートリアルを再生する動画サイトに誘導してもよい。また、チュートリアル内容は文字、画像、又は、図形、音声等、データの形式はどのようなものでもよい。 In addition, the tutorial content may be indicated by a URL. For example, the URL may direct the user to a video site that plays the tutorial. In addition, the tutorial content may be in any data format such as characters, images, figures, sounds, and the like.

<チュートリアルの提供設定>
ユーザによってはチュートリアルが不要な場合もあるため、各ユーザはチュートリアルの提供を受けるか否かを自分で設定できる。これにより、ユーザは煩わしく感じることを抑制できる。
<Tutorial provision settings>
Some users do not need the tutorial, so each user can set whether or not to receive the tutorial. As a result, the user can suppress feeling annoyed.

図16は、チュートリアルの提供設定画面320の一例を示す。提供設定画面320は、ログインしたユーザが各種の設定を行うアイコンを押下して表示させる。あるいは、最初のログイン時に自動的に表示される。最初のログインかどうかはこのユーザの機能情報テーブルがないことから判断される。 FIG. 16 shows an example of the tutorial provision setting screen 320. The provision setting screen 320 is displayed by the logged-in user pressing an icon for making various settings. Alternatively, it will be displayed automatically the first time you log in. Whether it is the first login or not is judged from the absence of the function information table of this user.

提供設定画面320は、「使用します」「使用しません」にそれぞれ対応づけられたラジオボタン321、キャンセルボタン322、及び、OKボタン323を有している。ユーザはラジオボタン321を選択して、OKボタン323を押下する。押下結果は機能使用履歴テーブルの「チュートリアル」にON又はOFFとして登録される。 The provision setting screen 320 has a radio button 321, a cancel button 322, and an OK button 323 associated with "use" and "not use", respectively. The user selects the radio button 321 and presses the OK button 323. The pressing result is registered as ON or OFF in the "tutorial" of the function usage history table.

なお、図16では各ユーザがチュートリアル機能のON(有効)/OFF(無効)を設定しているが、デフォルトの設定(初期設定)は管理者が予め行っている。ユーザがチュートリアル機能のON又はOFFを設定した場合は、デフォルトの設定よりもユーザの設定が優先される。 In FIG. 16, each user sets ON (enabled) / OFF (disabled) of the tutorial function, but the administrator sets the default setting (initial setting) in advance. When the user sets ON or OFF of the tutorial function, the user's setting has priority over the default setting.

<動作及び処理>
続いて、図17を用いて、表示装置2がチュートリアルを提供する全体的な処理の流れを説明する。図17は、ログインから機能使用率の更新までの手順を説明するシーケンス図の一例である。
<Operation and processing>
Subsequently, with reference to FIG. 17, the overall processing flow in which the display device 2 provides the tutorial will be described. FIG. 17 is an example of a sequence diagram illustrating a procedure from login to updating the function usage rate.

S1:まず、ユーザは表示装置2にログインする。すなわち、表示装置2にアカウント情報を入力する。 S1: First, the user logs in to the display device 2. That is, the account information is input to the display device 2.

S1.1:ユーザ認証要求部72がアカウント情報を受け付けてアカウントサーバ8に送信する。アカウントサーバ8のユーザ認証部82がユーザ認証を行い、送受信部81が認証結果を表示装置2に送信する。ここでは認証が成功し、ユーザIDを表示装置2に送信する。 S1.1: The user authentication request unit 72 receives the account information and sends it to the account server 8. The user authentication unit 82 of the account server 8 authenticates the user, and the transmission / reception unit 81 transmits the authentication result to the display device 2. Here, the authentication is successful, and the user ID is transmitted to the display device 2.

S1.2:表示装置2の通信制御部60は認証結果(認証成功、ユーザID)を受信し、表示装置2の提供制御部73は機能使用履歴DB75からこのユーザIDに対応付けられている機能使用履歴テーブルを取得する。 S1.2: The communication control unit 60 of the display device 2 receives the authentication result (authentication success, user ID), and the provision control unit 73 of the display device 2 has a function associated with this user ID from the function usage history DB 75. Get the usage history table.

S1.3:ステップS1.3、S1.4は、ユーザが使用したことなく、かつ、チュートリアルが提供されたことがない機能がある場合に実行される。したがって、提供制御部73は、機能使用履歴テーブルに、ユーザ使用時刻の記録がなく、かつ、チュートリアル実行時刻の記録がない機能を抽出する。そしてその中から最も優先度が高い機能のチュートリアルを提供する。同じ優先度の機能が複数ある場合、機能名のアルファベット順などの順番に実行する。1回に提供されるチュートリアルは1つとするが、提供制御部73は複数のチュートリアルを連続で提供してもよい。また、例えば、ユーザが次のチュートリアルを要求した場合は、要求に応じてチュートリアルを提供してもよい。このため、提供制御部73は優先度の高い順に複数のチュートリアルを用意しておいてよい。 S1.3: Steps S1.3 and S1.4 are executed when there is a function that has not been used by the user and the tutorial has never been provided. Therefore, the provision control unit 73 extracts the function in which the user usage time is not recorded and the tutorial execution time is not recorded in the function usage history table. And we will provide a tutorial of the highest priority function among them. If there are multiple functions with the same priority, execute them in the order of the function names in alphabetical order. Although the number of tutorials provided at one time is one, the provision control unit 73 may provide a plurality of tutorials in succession. Also, for example, if the user requests the next tutorial, the tutorial may be provided upon request. Therefore, the provision control unit 73 may prepare a plurality of tutorials in descending order of priority.

S1.4:チュートリアルを提供した場合、提供制御部73はチュートリアル実行時刻を機能使用履歴テーブルに記録する。 S1.4: When the tutorial is provided, the provided control unit 73 records the tutorial execution time in the function usage history table.

S2:ユーザがチュートリアルにしたがって機能を使用したものとする。図17では書き込みを行った。チュートリアルで提供された機能でない機能を使用してもよい。 S2: It is assumed that the user has used the function according to the tutorial. In FIG. 17, writing was performed. You may use features that are not provided in the tutorial.

S2.1:提供制御部73はイベント振分部25によってUI操作と判断され、イベントが発生されたUIの要素にしたがって、使用された機能を特定する。すなわち、イベント振分部25は電子ペン4が触れた座標によりあるアイコンへのUI操作であると特定する。操作処理部26は操作されたアイコンの機能を特定するので、提供制御部73は操作処理部26から通知された機能のユーザ使用時刻を機能使用履歴テーブルに記録する。表示装置2の機能が使用されたタイミングで記録するのでなく、ログアウト時に記録してもよい。 S2.1: The provision control unit 73 is determined by the event distribution unit 25 to be a UI operation, and identifies the function used according to the element of the UI in which the event has occurred. That is, the event distribution unit 25 identifies that it is a UI operation to a certain icon based on the coordinates touched by the electronic pen 4. Since the operation processing unit 26 identifies the function of the operated icon, the provision control unit 73 records the user usage time of the function notified from the operation processing unit 26 in the function usage history table. Instead of recording at the timing when the function of the display device 2 is used, it may be recorded at the time of logout.

S3:ユーザがログアウトの操作を入力する。例えば、ログアウトボタンを押下する。 S3: The user inputs the logout operation. For example, press the logout button.

S3.1:ログアウトした場合、提供制御部73は機能使用履歴テーブルのユーザ使用時刻が、ログイン時刻よりも後の機能を特定する。ユーザ使用時刻が、ログイン時刻よりも後の機能はログイン内で使用された機能であり、ログイン時刻よりも前の機能はログイン内で使用されていない機能である。提供制御部73は、「機能使用履歴=最新の使用回数/ログイン回数」により機能ごとに機能使用率を算出する。 S3.1: When logged out, the provision control unit 73 identifies a function whose user usage time in the function usage history table is later than the login time. Functions whose user usage time is later than the login time are functions used in the login, and functions before the login time are functions that are not used in the login. The provision control unit 73 calculates the function usage rate for each function based on "function usage history = latest usage count / login count".

S3.2:提供制御部73は、機能使用履歴テーブルの機能使用率を算出した機能使用率で更新する。これにより、機能ごとに機能使用率を更新できる。 S3.2: The provision control unit 73 updates the function usage rate of the function usage history table with the calculated function usage rate. As a result, the function usage rate can be updated for each function.

続いて、図18を用いてチュートリアルの提供処理について説明する。図18は表示装置2がチュートリアルを提供する処理を説明するフローチャート図の一例である。図18の処理は表示装置2の起動後に実行される。 Subsequently, the tutorial provision process will be described with reference to FIG. FIG. 18 is an example of a flowchart illustrating a process in which the display device 2 provides a tutorial. The process of FIG. 18 is executed after the display device 2 is started.

表示装置2のユーザ認証要求部72は認証を行うか否かの設定を確認する(S11)。これは、表示装置2によっては、認証機能を利用するかしないかを管理者が設定できるためである。認証しないという設定の場合、ユーザを特定できないので、図18の処理は終了する。 The user authentication request unit 72 of the display device 2 confirms the setting of whether or not to perform authentication (S11). This is because the administrator can set whether or not to use the authentication function depending on the display device 2. In the case of the setting of not authenticating, since the user cannot be specified, the process of FIG. 18 ends.

認証するという設定の場合、ユーザ認証要求部72はユーザからアカウント情報を受け付ける(S12)。ユーザがアカウント情報を入力しない場合、ユーザを特定できないので、図18の処理は終了する。 In the case of the setting of authentication, the user authentication request unit 72 receives the account information from the user (S12). If the user does not enter the account information, the user cannot be identified, so the process of FIG. 18 ends.

ユーザがアカウント情報を入力すると、ユーザ認証要求部72はアカウントサーバ8から認証結果(認証成功、認証失敗)を取得する(S13)。認証成功の場合、ユーザ認証要求部72は少なくともユーザIDを取得する。認証失敗の場合、図18の処理は終了する。 When the user inputs the account information, the user authentication request unit 72 acquires the authentication result (authentication success, authentication failure) from the account server 8 (S13). If the authentication is successful, the user authentication request unit 72 acquires at least the user ID. If the authentication fails, the process of FIG. 18 ends.

次に、提供制御部73はユーザIDに対応づけられている機能使用履歴テーブルが機能使用履歴DB75に存在するか否かを判断する(S14)。 Next, the provision control unit 73 determines whether or not the function usage history table associated with the user ID exists in the function usage history DB 75 (S14).

表示装置2に初めてログインするユーザは機能使用履歴テーブルを有していないので、提供制御部73は機能使用履歴テーブルを作成する(S15)。 Since the user who logs in to the display device 2 for the first time does not have the function usage history table, the provision control unit 73 creates the function usage history table (S15).

次に、提供制御部73はチュートリアル機能が有効か否かを、機能使用履歴テーブルを参照して判断する(S16)。チュートリアル機能が有効でない場合(OFF)、表示装置2はチュートリアルを提供しないので、図18の処理は終了する。初めてのログインの場合、チュートリアル機能が有効か無効かは管理者の設定(デフォルト)に準拠する。 Next, the provision control unit 73 determines whether or not the tutorial function is valid by referring to the function usage history table (S16). If the tutorial function is not enabled (OFF), the display device 2 does not provide the tutorial, and the process of FIG. 18 ends. When logging in for the first time, whether the tutorial function is enabled or disabled depends on the administrator's settings (default).

チュートリアル機能が有効な場合(ON)、提供制御部73は、ユーザが使用したことがなく(ユーザ使用時刻の記録がない)、かつ、チュートリアルが提供されていない(チュートリアル提供時刻の記録がない)機能があるか否かを判断する(S17)。ステップS17の判断がNoの場合、チュートリアルを提供しないので、図18の処理は終了する。 When the tutorial function is enabled (ON), the provided control unit 73 has never been used by the user (there is no record of the user's use time), and the tutorial is not provided (there is no record of the tutorial provided time). It is determined whether or not there is a function (S17). If the determination in step S17 is No, the tutorial is not provided, so the process of FIG. 18 ends.

ここでは、未使用かつチュートリアル未提供に限定しているが、ユーザが使用する頻度が所定以下の機能についてチュートリアルを提供してよい。例えば、使用回数が2回以下の機能のチュートリアルを提供してもよいし、機能使用率が閾値未満のチュートリアルを提供してもよい。 Here, although it is limited to unused and not provided tutorials, tutorials may be provided for functions that are used by the user less frequently than specified. For example, a tutorial of a function that has been used twice or less may be provided, or a tutorial that the function usage rate is less than the threshold value may be provided.

また、ユーザが使用したことがある機能、又は、チュートリアルが提供されたことがある機能でも、ユーザ使用時刻から一定時間が経過した機能のチュートリアルを提供してもよいし、チュートリアル提供時刻から一定時間が経過した機能のチュートリアルを提供してもよい。ユーザがあまり使用しない機能や、チュートリアル提供から時間が経った機能のチュートリアルを提供できる。ユーザ使用時刻又はチュートリアル提供時刻から一定時間が経過した機能を提供する場合、機能使用率が小さい順にチュートリアルを提供するとよい。 In addition, even if the function has been used by the user or the tutorial has been provided, the tutorial of the function for which a certain time has passed from the user's use time may be provided, or a certain time from the tutorial provision time. You may provide a tutorial on the features that have passed. It is possible to provide tutorials for functions that users do not use often or functions that have been provided for a long time. When providing a function for which a certain time has passed from the user usage time or the tutorial provision time, it is advisable to provide the tutorial in ascending order of function usage rate.

ステップS17の判断がYesの場合、提供制御部73は機能の優先度に応じてチュートリアルを提供する(S18)。優先度が同じ機能については機能名のアルファベット順、など決まった順番に決定する。 If the determination in step S17 is Yes, the provision control unit 73 provides a tutorial according to the priority of the function (S18). Functions with the same priority are determined in a fixed order, such as alphabetical order of function names.

なお、ソフトウェアのバージョンアップにより、新機能が追加された場合、管理者が各ユーザの機能使用履歴テーブルにこの機能を追加し、優先度を最大にする。一般に最も高い優先度1よりも高い特殊な優先度0などにする。こうすることで、提供制御部73は新機能のチュートリアルをバージョンアップ後の最初のログイン時に提供できる。 When a new function is added due to software version upgrade, the administrator adds this function to each user's function usage history table to maximize the priority. Generally, a special priority 0 or the like higher than the highest priority 1 is set. By doing so, the provision control unit 73 can provide the tutorial of the new function at the first login after the version upgrade.

<優先度の補足>
ユーザが使用する頻度が所定以下の機能を優先度が高い順に提供すると説明したが、この優先度を他のユーザの機能使用率で調整してもよい。例えば、ユーザが使用したことがなく、かつ、チュートリアルが提供されていない機能を、他のユーザの機能使用率が高い順にソートする。
<Supplement of priority>
It has been explained that the functions used by the user less frequently than the predetermined frequency are provided in descending order of priority, but this priority may be adjusted by the function usage rate of other users. For example, the functions that the user has never used and the tutorial is not provided are sorted in descending order of the function usage rate of other users.

図19は、ユーザが使用したことがなく、かつ、チュートリアルが提供されていない機能のチュートリアルの提供順を決定するフローチャート図の一例である。この処理は図18のステップS18で実行される。 FIG. 19 is an example of a flowchart diagram for determining the order in which tutorials are provided for functions that have not been used by the user and for which tutorials are not provided. This process is executed in step S18 of FIG.

提供制御部73は、ユーザが使用したことがなく、かつ、チュートリアルが提供されていない機能について、他のユーザ(好ましくは全てのユーザ)の機能使用率を機能使用履歴テーブルから取得する(S21)。 The provision control unit 73 acquires the function usage rate of another user (preferably all users) from the function usage history table for the function that the user has never used and the tutorial is not provided (S21). ..

次に、提供制御部73は他のユーザの機能使用率を機能ごとに平均する(S22)。提供制御部73は他のユーザの機能使用率が高い順に機能をソートする(S23)。 Next, the provision control unit 73 averages the function usage rates of other users for each function (S22). The provision control unit 73 sorts the functions in descending order of the function usage rate of other users (S23).

提供制御部73が他のユーザの機能使用率が高い順にチュートリアルを提供すれば、よく使用される機能のチュートリアルを優先して提供できる。他のユーザにとって便利な機能を当該ユーザも使用できる。 If the provision control unit 73 provides the tutorials in descending order of the function usage rate of other users, the tutorials of the frequently used functions can be provided with priority. The user can also use functions that are convenient for other users.

<2つ以上のチュートリアルの提供>
機能によっては、連続して使用されることが多い機能がある。例えば、ユーザが画面をキャプチャした後はメール送信するなどである。この場合、2つの機能のチュートリアルを連続して提供すると学習効果が高くなる。そこで、提供制御部73は、他のユーザのユーザ使用時刻を参照して、連続して実行されている複数の機能を抽出し、この複数の機能のチュートリアルを提供するとよい。
<Providing two or more tutorials>
Some functions are often used continuously. For example, after the user captures the screen, an email is sent. In this case, if the tutorials of the two functions are provided in succession, the learning effect will be enhanced. Therefore, the provision control unit 73 may refer to the user usage time of another user, extract a plurality of functions that are continuously executed, and provide a tutorial of the plurality of functions.

図20は、提供制御部73が連続してチュートリアルを提供する機能を決定する手順を示すフローチャート図の一例である。図20の処理は図18のステップS18で実行される。 FIG. 20 is an example of a flowchart showing a procedure in which the provision control unit 73 continuously determines a function for providing a tutorial. The process of FIG. 20 is executed in step S18 of FIG.

まず、提供制御部73はチュートリアルを提供する機能Aを決定する(S31)。決定方法は、優先度を使用してもよいし、図19の方法でもよい。 First, the provision control unit 73 determines the function A for providing the tutorial (S31). As the determination method, the priority may be used, or the method of FIG. 19 may be used.

次に、提供制御部73はこの機能A(第一の機能の一例)と連続して実行される機能B(第二の機能の一例)を他のユーザの機能使用履歴テーブルから抽出する(S32)。例えば、各ユーザの機能使用履歴テーブルから機能Aを検索し、機能Aのユーザ使用時刻に最も近い機能B'(機能Bの候補)を特定する。各ユーザの機能Aと機能B'のユーザ使用時刻の時間差のうち最も時間差が小さい機能B'を、機能Aと連続して実行される機能Bとする。なお、時間差は連続して操作されたと見なせる程度の閾値内であることを前提とし、閾定内でない場合は機能Bがなかったと判断してよい。 Next, the provision control unit 73 extracts the function A (an example of the first function) and the function B (an example of the second function) executed continuously from the function usage history table of another user (S32). ). For example, the function A is searched from the function usage history table of each user, and the function B'(candidate for the function B) closest to the user usage time of the function A is specified. The function B', which has the smallest time difference between the user's function A and the user's usage time of the function B', is defined as the function B to be executed continuously with the function A. It should be noted that it is assumed that the time difference is within the threshold value that can be regarded as being continuously operated, and if it is not within the threshold value, it may be determined that the function B has not existed.

提供制御部73は、機能Aのチュートリアルに続いて、機能Bのチュートリアルを提供する(S33)。 The provision control unit 73 provides a tutorial for function B following the tutorial for function A (S33).

こうすることで、連続して使用される可能性が高い2つの機能のチュートリアルを連続して提供でき、学習効果を高めることができる。 By doing so, it is possible to continuously provide tutorials on two functions that are likely to be used consecutively, and to enhance the learning effect.

<チュートリアルの表示例>
図21は表示装置2のディスプレイ3に表示されたチュートリアルの表示例を示す。まず、各機能のアイコンリスト331が表示された状態が初期状態のメニュー画面330である。アイコンリスト331には、他の表示装置2との接続に関するアイコン331a、書き込みのアイコン331b、ストロークの削除に関するアイコン331c、操作を1つ戻すアイコン331d、操作を1つ進めるアイコン331e、画面を拡大する拡大アイコン331fが表示されている。
<Tutorial display example>
FIG. 21 shows a display example of the tutorial displayed on the display 3 of the display device 2. First, the state in which the icon list 331 of each function is displayed is the menu screen 330 in the initial state. The icon list 331 includes an icon 331a relating to connection with another display device 2, a writing icon 331b, an icon 331c relating to deleting a stroke, an icon 331d for returning one operation, an icon 331e for advancing one operation, and enlarging the screen. The enlarged icon 331f is displayed.

図21では書き込みの機能に関するチュートリアルが提供されている。このため、書き込みのアイコン331bから選択可能な設定に関する各種のボタンが表示されている。例えば、色ボタン332、太さボタン333、グリッドボタン334等が表示されている。また、各種のボタンを囲む枠線342と「線の色を変えられます。」「線の太さを変えられます。」というメッセージ341が表示されている。この枠線342とメッセージ341により、ユーザは書き込みの機能がどのようなものか学習できる。すなわち、枠線342とメッセージ341がチュートリアルである。 FIG. 21 provides a tutorial on the writing function. Therefore, various buttons related to the settings that can be selected from the writing icon 331b are displayed. For example, a color button 332, a thickness button 333, a grid button 334, and the like are displayed. In addition, the frame line 342 surrounding various buttons and the message 341 "You can change the color of the line" and "You can change the thickness of the line" are displayed. The border 342 and the message 341 allow the user to learn what the write function looks like. That is, the border 342 and the message 341 are tutorials.

提供制御部73は、アイコンリスト331を含む初期状態のメニュー画面330が表示されている状態で、教材データDB74から「書き込む」という機能のチュートリアル内容を取得して、「書き込むアイコン押下」というコマンドに応じて書き込みのアイコン331bが押下された状態を再現して、2つのメッセージ341と枠線342を決まった位置に表示する。こうすることで、機能ごとのチュートリアルを提供できる。 The provision control unit 73 acquires the tutorial content of the function of "writing" from the teaching material data DB 74 while the menu screen 330 in the initial state including the icon list 331 is displayed, and issues a command of "pressing the writing icon". Correspondingly, the state in which the writing icon 331b is pressed is reproduced, and the two messages 341 and the frame line 342 are displayed at fixed positions. By doing this, you can provide tutorials for each function.

なお、チュートリアルは音声で提供されてもよい。この場合、教材データには音声ファイルが登録されており、提供制御部73は音声ファイルを再生する。 The tutorial may be provided by voice. In this case, an audio file is registered in the teaching material data, and the provision control unit 73 reproduces the audio file.

<利用率が高い機能のショートカットによる提供>
機能使用履歴テーブルに機能使用率が登録されていることを利用して、表示制御部71は利用率が高い機能を呼び出すアイコンを表示することもできる。通常よりも少ない操作で機能を呼び出す操作をショートカットという。以下、ショートカットが可能なアイコンを機能呼び出しアイコン331gという。
<Provided by shortcuts for functions with high usage rate>
By utilizing the fact that the function usage rate is registered in the function usage history table, the display control unit 71 can also display an icon for calling a function having a high usage rate. An operation that calls a function with fewer operations than usual is called a shortcut. Hereinafter, the icon that can be shortcut is referred to as a function call icon 331g.

図22は、機能使用率が高い機能を呼び出すアイコンを含むアイコンリスト331の一例である。機能呼び出しアイコン331gには機能使用率が高い上位N個(図22ではN=3)の機能が対応付けられており、ユーザが機能呼び出しアイコン331gを押下するとN個の機能の説明336a〜336cが表示される。説明336a〜336cを押下するとその機能のアイコンを押下した場合と同じ処理が行われる。したがって、ユーザがよく使う機能について、ユーザは一箇所(機能呼び出しアイコン331g)から簡単にアクセスする(呼び出す)ことができる。 FIG. 22 is an example of an icon list 331 including an icon that calls a function having a high function usage rate. The function call icon 331g is associated with the top N functions (N = 3 in FIG. 22) having a high function usage rate, and when the user presses the function call icon 331g, the explanations of the N functions 336a to 336c are given. Is displayed. Description When 336a to 336c are pressed, the same processing as when the icon of the function is pressed is performed. Therefore, the user can easily access (call) the function frequently used by the user from one place (function call icon 331g).

このような機能呼び出しアイコン331gは階層が深いがよく使用される機能をユーザが使用する場合に便利である。 Such a function call icon 331g is convenient when the user uses a function that is deep in the hierarchy but is often used.

図23は、表示制御部71が機能呼び出しアイコン331gを表示する手順を示すフローチャート図の一例である。図23の処理は表示装置2がアイコンリスト331を表示する際に実行される。 FIG. 23 is an example of a flowchart showing a procedure in which the display control unit 71 displays the function call icon 331g. The process of FIG. 23 is executed when the display device 2 displays the icon list 331.

例えば、ユーザが表示装置2にログインする(S41)。表示制御部71はアイコンリスト331を表示するため、このユーザの機能使用履歴テーブルにおいて機能使用率が高い上位N件の機能を特定する(S42)。 For example, the user logs in to the display device 2 (S41). Since the display control unit 71 displays the icon list 331, the display control unit 71 identifies the top N functions having a high function usage rate in the function usage history table of this user (S42).

表示制御部71は機能呼び出しアイコン331gにN件の機能を関連付けて表示する(S43)。関連付けるとは、機能の説明336と機能へのリンクを機能呼び出しアイコン331gに設定することをいう。表示制御部71は機能呼び出しアイコン331gの押下により機能の説明336を表示し、機能の説明336が押下されると操作処理部26がリンク先の機能を実行する。 The display control unit 71 displays N functions in association with the function call icon 331g (S43). To associate means to set the function description 336 and the link to the function to the function call icon 331g. The display control unit 71 displays the function description 336 by pressing the function call icon 331g, and when the function description 336 is pressed, the operation processing unit 26 executes the linked function.

このように、機能使用率を使うことで、ユーザがよく使う機能について一箇所から簡単にアクセスすることができる。 In this way, by using the function usage rate, it is possible to easily access the functions frequently used by the user from one place.

<まとめ>
以上説明したように、本実施形態の表示装置2によれば、ユーザはチュートリアルにしたがって、アイコンを押下することで、使用したことがない機能を使用してみることができる。ユーザはログインした直後なので、会議においても同じアイコンを使用することができ、機能を覚えやすくなる。このように本実施形態の表示装置2は、ユーザが使用しない機能を少なくすることができる。
<Summary>
As described above, according to the display device 2 of the present embodiment, the user can try to use a function that has never been used by pressing the icon according to the tutorial. Since the user has just logged in, the same icon can be used in the meeting, making it easier to remember the function. As described above, the display device 2 of the present embodiment can reduce the functions that the user does not use.

本実施例では画像を投影することで表示する表示装置について説明する。 In this embodiment, a display device that displays by projecting an image will be described.

<<表示装置の構成の別の例1>>
本実施形態の表示装置は大型のタッチパネルを有するものとして説明されているが、表示装置はタッチパネルを有するものに限られない。
<< Another example of display device configuration 1 >>
Although the display device of the present embodiment is described as having a large touch panel, the display device is not limited to the one having a touch panel.

図24は、表示装置の他の構成例を示す図である。図24では、通常のホワイトボード413の上辺にプロジェクター411が設置されている。このプロジェクター411が表示装置に相当する。通常のホワイトボード413とは、タッチパネルと一体のフラットパネルディスプレイではなく、ユーザがマーカーで直接、手書きするホワイトボードである。なお、ホワイトボードは黒板でもよく、映像を投影するだけの広さの平面であればよい。 FIG. 24 is a diagram showing another configuration example of the display device. In FIG. 24, the projector 411 is installed on the upper side of the normal whiteboard 413. This projector 411 corresponds to a display device. The normal whiteboard 413 is not a flat panel display integrated with a touch panel, but a whiteboard that the user directly handwrites with a marker. The whiteboard may be a blackboard, and may be a flat surface large enough to project an image.

プロジェクター411は超短焦点の光学系を有しており、10cm程度から歪みの少ない映像をホワイトボード413に投影できる。この映像は、無線又は有線で接続されたPC400ー1から送信されてもよいし、プロジェクター411が記憶していてもよい。 The projector 411 has an ultra-short focus optical system, and can project an image with little distortion from about 10 cm onto the whiteboard 413. This image may be transmitted from the PC 400-1 connected wirelessly or by wire, or may be stored in the projector 411.

ユーザは専用の電子ペン2501を使ってホワイトボード413に手書きする。電子ペン2501は、ユーザが手書きのためにホワイトボード413に押しつけるとスイッチがONになり発光する発光部を例えば先端部に有している。光の波長は近赤外や赤外なのでユーザの目には見えない。プロジェクター411はカメラを有しており、発光部を撮像して画像を解析し電子ペン2501の方向を特定する。また、電子ペン2501は発光と共に音波を発信しており、プロジェクター411は音波の到達時間により距離を算出する。方向と距離により電子ペン2501の位置を特定できる。電子ペン2501の位置にはストロークが描画(投影)される。 The user writes on the whiteboard 413 using a dedicated electronic pen 2501. The electronic pen 2501 has, for example, a tip portion that emits light when the user presses it against the whiteboard 413 for handwriting and the switch is turned on. Since the wavelength of light is near infrared or infrared, it is invisible to the user's eyes. The projector 411 has a camera, captures a light emitting unit, analyzes the image, and identifies the direction of the electronic pen 2501. Further, the electronic pen 2501 emits sound waves together with light emission, and the projector 411 calculates the distance from the arrival time of the sound waves. The position of the electronic pen 2501 can be specified by the direction and the distance. A stroke is drawn (projected) at the position of the electronic pen 2501.

プロジェクター411はメニュー430を投影するので、ユーザが電子ペン2501でボタンを押下すると、プロジェクター411が電子ペン2501の位置とスイッチのON信号により押下されたボタンを特定する。例えば、保存ボタン431が押下されると、ユーザが手書きしたストローク(座標の集合)がプロジェクター411で保存される。プロジェクター411は、予め定められたサーバ412又はUSBメモリ2600等に手書き情報を保存する。手書き情報はページごとに保存されている。画像データではなく座標のまま保存されるので、ユーザが再編集することができる。ただし、本実施形態では操作コマンドを手書きで呼び出せるのでメニュー430は表示されなくてもよい。 Since the projector 411 projects the menu 430, when the user presses a button with the electronic pen 2501, the projector 411 identifies the pressed button by the position of the electronic pen 2501 and the ON signal of the switch. For example, when the save button 431 is pressed, the stroke (set of coordinates) handwritten by the user is saved by the projector 411. The projector 411 stores handwritten information in a predetermined server 412, a USB memory 2600, or the like. Handwritten information is stored page by page. Since the coordinates are saved instead of the image data, the user can re-edit them. However, in the present embodiment, since the operation command can be called by hand, the menu 430 does not have to be displayed.

<<表示装置の構成の別の例2>>
図25は、表示装置の他の構成例を示す図である。図25の例では、表示装置として、端末装置600、画像投影装置700A、及び、ペン動作検出装置810を有する。
<< Another example of display device configuration 2 >>
FIG. 25 is a diagram showing another configuration example of the display device. In the example of FIG. 25, the display device includes a terminal device 600, an image projection device 700A, and a pen motion detection device 810.

端末装置600は、画像投影装置700A及びペン動作検出装置810と有線で接続されている。画像投影装置700Aは、端末装置600により入力された画像データをスクリーン800に投影させる。 The terminal device 600 is connected to the image projection device 700A and the pen motion detection device 810 by wire. The image projection device 700A projects the image data input by the terminal device 600 onto the screen 800.

ペン動作検出装置810は、電子ペン820と通信を行っており、スクリーン800の近傍における電子ペン820の動作を検出する。具体的には、電子ペン820は、スクリーン800上において、電子ペン820が示している点を示す座標情報を検出し、端末装置600へ送信する。 The pen motion detection device 810 communicates with the electronic pen 820 and detects the motion of the electronic pen 820 in the vicinity of the screen 800. Specifically, the electronic pen 820 detects coordinate information indicating a point indicated by the electronic pen 820 on the screen 800 and transmits the coordinate information to the terminal device 600.

端末装置600は、ペン動作検出装置810から受信した座標情報に基づき、電子ペン820によって入力されるストローク画像の画像データを生成し、画像投影装置700Aによってストローク画像をスクリーン800に描画させる。 The terminal device 600 generates image data of a stroke image input by the electronic pen 820 based on the coordinate information received from the pen motion detection device 810, and causes the image projection device 700A to draw the stroke image on the screen 800.

また、端末装置600は、画像投影装置700Aに投影させている背景画像と、電子ペン820によって入力されたストローク画像とを合成した重畳画像を示す重畳画像データを生成する。 Further, the terminal device 600 generates superimposed image data showing a superimposed image in which the background image projected on the image projection device 700A and the stroke image input by the electronic pen 820 are combined.

<<表示装置の構成の別の例3>>
図26は、表示装置の構成例を示す図である。図26の例では、表示装置として、端末装置600とディスプレイ800Aと、ペン動作検出装置810とを有する。
<< Another example of display device configuration 3 >>
FIG. 26 is a diagram showing a configuration example of the display device. In the example of FIG. 26, the display device includes a terminal device 600, a display 800A, and a pen motion detection device 810.

ペン動作検出装置810は、ディスプレイ800Aの近傍に配置され、ディスプレイ800A上に、電子ペン820Aが示している点を示す座標情報を検出し、端末装置600へ送信する。なお、図26の例では、電子ペン820Aは、端末装置600によってUSBコネクタを介して充電されても良い。 The pen motion detection device 810 is arranged in the vicinity of the display 800A, detects coordinate information indicating a point indicated by the electronic pen 820A on the display 800A, and transmits the coordinate information to the terminal device 600. In the example of FIG. 26, the electronic pen 820A may be charged by the terminal device 600 via the USB connector.

端末装置600は、ペン動作検出装置810から受信した座標情報に基づき、電子ペン820Aによって入力されるストローク画像の画像データを生成し、ディスプレイ800Aに表示させる。 The terminal device 600 generates image data of a stroke image input by the electronic pen 820A based on the coordinate information received from the pen motion detection device 810, and displays the image data on the display 800A.

<<表示装置の構成の別の例4>>
図27は、表示装置の構成例を示す図である。図27の例では、表示装置として、端末装置600と、画像投影装置700Aとを有する。
<< Another example of display device configuration 4 >>
FIG. 27 is a diagram showing a configuration example of the display device. In the example of FIG. 27, the display device includes a terminal device 600 and an image projection device 700A.

端末装置600は、電子ペン820Bと無線通信(Bluetooth(登録商標)等)を行って、スクリーン800上において電子ペン820Bが示す点の座標情報を受信する。そして、端末装置600は、受信した座標情報に基づき、電子ペン820Bにより入力されるストローク画像の画像データを生成し、画像投影装置700Aにストローク画像を投影させる。 The terminal device 600 performs wireless communication (Bluetooth (registered trademark), etc.) with the electronic pen 820B, and receives the coordinate information of the point indicated by the electronic pen 820B on the screen 800. Then, the terminal device 600 generates image data of the stroke image input by the electronic pen 820B based on the received coordinate information, and causes the image projection device 700A to project the stroke image.

また、端末装置600は、画像投影装置700Aに投影させている背景画像と、電子ペン820によって入力されたストローク画像とを合成した重畳画像を示す重畳画像データを生成する。 Further, the terminal device 600 generates superimposed image data showing a superimposed image in which the background image projected on the image projection device 700A and the stroke image input by the electronic pen 820 are combined.

以上のように、上記した各実施形態は、様々なシステム構成において適用することができる。 As described above, each of the above-described embodiments can be applied in various system configurations.

<その他の適用例>
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
<Other application examples>
Although the best mode for carrying out the present invention has been described above with reference to examples, the present invention is not limited to these examples, and various modifications are made without departing from the gist of the present invention. And substitutions can be made.

例えば、本実施形態では、電子黒板として使用できる表示装置を説明したが、表示装置は画像を表示できればよく、例えばデジタルサイネージなどでもよい。 For example, in the present embodiment, a display device that can be used as an electronic blackboard has been described, but the display device may be any display device as long as it can display an image, for example, digital signage.

また、表示する画像11は動画でも静止画でもよい。 Further, the image 11 to be displayed may be a moving image or a still image.

また、本実施形態では表示装置の一例として電子黒板を説明したが、タッチパネルを有する情報処理装置であれば好適に適用できる。タッチパネルを搭載した情報処理装置としては、例えば、PJ(Projector:プロジェクター)、デジタルサイネージ等の出力装置、HUD(Head Up Display)装置、産業機械、撮像装置、集音装置、医療機器、ネットワーク家電、ノートPC(Personal Computer)、携帯電話、スマートフォン、タブレット端末、ゲーム機、PDA(Personal Digital Assistant)、デジタルカメラ、ウェアラブルPC又はデスクトップPC等であってもよい。 Further, in the present embodiment, the electronic blackboard has been described as an example of the display device, but any information processing device having a touch panel can be suitably applied. Information processing devices equipped with a touch panel include, for example, PJs (Projectors), output devices such as digital signage, HUD (Head Up Display) devices, industrial machines, imaging devices, sound collectors, medical devices, network home appliances, etc. It may be a notebook PC (Personal Computer), a mobile phone, a smartphone, a tablet terminal, a game machine, a PDA (Personal Digital Assistant), a digital camera, a wearable PC, a desktop PC, or the like.

また、本実施形態ではペン先の座標をタッチパネルで検知する方法でペンの座標を検出したが、ペン先の座標を超音波により検出してもよい。ペンは発光と共に超音波を発信しており、表示装置2は超音波の到達時間により距離を算出する。方向と距離によりペンの位置を特定できる。ペンの軌跡をストロークとしてプロジェクターが描画(投影)する。 Further, in the present embodiment, the coordinates of the pen are detected by the method of detecting the coordinates of the pen tip with the touch panel, but the coordinates of the pen tip may be detected by ultrasonic waves. The pen emits ultrasonic waves together with light emission, and the display device 2 calculates the distance from the arrival time of the ultrasonic waves. The position of the pen can be specified by the direction and distance. The projector draws (projects) the trajectory of the pen as a stroke.

また、図5,図13などの構成例は、表示装置2による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。表示装置2の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、1つの処理単位が更に多くの処理を含むように分割することもできる。 Further, the configuration examples shown in FIGS. 5 and 13 are divided according to the main functions in order to facilitate understanding of the processing by the display device 2. The present invention is not limited by the method of dividing the processing unit or the name. The processing of the display device 2 can be divided into more processing units according to the processing content. It is also possible to divide one processing unit so as to include more processing.

また、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)や従来の回路モジュール等のデバイスを含むものとする。 Further, each function of the embodiment described above can be realized by one or a plurality of processing circuits. Here, the "processing circuit" in the present specification is a processor programmed to execute each function by software such as a processor implemented by an electronic circuit, or a processor designed to execute each function described above. It shall include devices such as ASIC (Application Specific Integrated Circuit), DSP (digital signal processor), FPGA (field programmable gate array) and conventional circuit modules.

1 画像処理システム
2 表示装置
3 ディスプレイ
1 Image processing system 2 Display device 3 Display

特開2014−230034号公報Japanese Unexamined Patent Publication No. 2014-230034

Claims (11)

外部又は内部の認証によりユーザを特定する表示装置であって、
前記ユーザが機能を使用したか否かが前記機能ごとに記録された機能使用履歴情報に基づいて、ユーザが使用する頻度が所定以下の機能の使用方法を提供する提供制御部を有することを特徴とする表示装置。
A display device that identifies a user by external or internal authentication.
It is characterized by having a provision control unit that provides a usage method of a function whose frequency of use by the user is less than or equal to a predetermined value based on the function usage history information recorded for each function as to whether or not the user has used the function. Display device.
前記提供制御部は、前記機能が使用された旨、及び、前記機能の使用方法を提供した旨を機能ごとに前記機能使用履歴情報に記録し、
前記ユーザが使用したことがなく、かつ、前記機能の使用方法が提供されていない前記機能の使用方法を提供することを特徴とする請求項1に記載の表示装置。
The provision control unit records the fact that the function has been used and the fact that the method of using the function has been provided in the function usage history information for each function.
The display device according to claim 1, wherein the user provides a usage method of the function that has never been used and the usage method of the function is not provided.
前記機能使用履歴情報には機能ごとに優先度が設定されており、
前記提供制御部は、ユーザが使用する頻度が所定以下の機能が複数ある場合、前記優先度が高い順に前記機能の使用方法を提供することを特徴とする請求項2に記載の表示装置。
Priority is set for each function in the function usage history information.
The display device according to claim 2, wherein the provision control unit provides a method of using the functions in descending order of priority when there are a plurality of functions that the user uses less frequently than a predetermined value.
前記提供制御部は、前記ユーザが使用した機能の機能使用率を機能ごとに前記機能使用履歴情報に登録し、
前記提供制御部は、ユーザが使用する頻度が所定以下の機能が複数ある場合、複数の機能について他のユーザの前記機能使用率が高い順に前記機能の使用方法を提供することを特徴とする請求項2に記載の表示装置。
The provided control unit registers the function usage rate of the function used by the user in the function usage history information for each function.
When there are a plurality of functions whose frequency of use by the user is less than or equal to a predetermined value, the provision control unit provides a method of using the functions in descending order of the function usage rate of other users for the plurality of functions. Item 2. The display device according to item 2.
前記提供制御部は、前記ユーザが機能を使用した使用時刻を機能ごとに前記機能使用履歴情報に登録し、
前記提供制御部は、前記機能の使用方法を提供する第一の機能と連続して実行される第二の機能を、他のユーザの前記機能使用履歴情報における前記第一の機能と前記第二の機能の候補の前記使用時刻の時間差に基づいて決定し、
前記第一の機能の使用方法と前記第二の機能の使用方法を連続して提供することを特徴とする請求項1〜4のいずれか1項に記載の表示装置。
The provision control unit registers the usage time when the user uses the function in the function usage history information for each function.
The provision control unit performs a second function that is continuously executed with the first function that provides a usage method of the function, the first function and the second function in the function usage history information of another user. Determined based on the time difference of the above-mentioned usage time of the function candidates of
The display device according to any one of claims 1 to 4, wherein the method of using the first function and the method of using the second function are continuously provided.
前記提供制御部は、ユーザのログイン時刻よりも後の前記使用時刻を有する機能の使用回数をログイン回数で割ることで前記機能使用率を算出することを特徴とする請求項5に記載の表示装置。 The display device according to claim 5, wherein the provided control unit calculates the function usage rate by dividing the number of times the function having the usage time after the user's login time is used by the number of logins. .. 前記提供制御部は、ユーザがログインした直後に前記機能の使用方法を提供することを特徴とする請求項1〜6のいずれか1項に記載の表示装置。 The display device according to any one of claims 1 to 6, wherein the provision control unit provides a method of using the function immediately after the user logs in. 前記機能使用率が高い上位N件の機能を前記機能使用履歴情報に基づいて決定し、
予め定められているアイコンにN件の機能の説明と機能へのリンクを設定し、前記アイコンを表示する表示制御部を有し、
前記アイコンが押下された場合、N件の機能の説明を表示し、更に、前記説明が押下された場合、押下された説明に対応する機能を実行することを特徴とする請求項4に記載の表示装置。
The top N functions with high function usage rates are determined based on the function usage history information.
It has a display control unit that sets a description of N functions and links to the functions to predetermined icons and displays the icons.
The fourth aspect of claim 4, wherein when the icon is pressed, a description of N functions is displayed, and when the description is pressed, a function corresponding to the pressed description is executed. Display device.
外部又は内部の認証によりユーザを特定する表示装置が行う使用方法提供方法であって、
前記ユーザが機能を使用したか否かが前記機能ごとに記録された機能使用履歴情報に基づいて、ユーザが使用する頻度が所定以下の機能の使用方法を提供することを特徴とする使用方法提供方法。
It is a usage method provided by a display device that identifies a user by external or internal authentication.
Providing a usage method characterized by providing a usage method of a function whose frequency of use by the user is less than or equal to a predetermined value, based on the function usage history information recorded for each function as to whether or not the user has used the function. Method.
外部又は内部の認証によりユーザを特定する表示装置を、
前記ユーザが機能を使用したか否かが前記機能ごとに記録された機能使用履歴情報に基づいて、ユーザが使用する頻度が所定以下の機能の使用方法を提供する提供制御部として機能させるためのプログラム。
A display device that identifies a user by external or internal authentication
To function as a provision control unit that provides a usage method of a function whose frequency of use by the user is less than or equal to a predetermined value, based on the function usage history information recorded for each function as to whether or not the user has used the function. program.
ユーザを認証するサーバと、前記サーバから認証結果を取得する表示装置とを有する画像処理システムであって、
前記サーバは、
前記表示装置から受信したアカウント情報に基づく認証結果とユーザの識別情報を前記表示装置に送信し、
前記表示装置は、
前記ユーザが機能を使用したか否かが前記機能ごとに記録された機能使用履歴情報に基づいて、ユーザが使用する頻度が所定以下の機能の使用方法を提供する提供制御部を有することを特徴とする画像処理システム。
An image processing system having a server that authenticates a user and a display device that acquires an authentication result from the server.
The server
The authentication result based on the account information received from the display device and the user's identification information are transmitted to the display device.
The display device is
It is characterized by having a provision control unit that provides a usage method of a function whose frequency of use by the user is less than or equal to a predetermined value based on the function usage history information recorded for each function as to whether or not the user has used the function. Image processing system.
JP2019181549A 2019-10-01 2019-10-01 Display device, usage providing method, program, image processing system Active JP7383959B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019181549A JP7383959B2 (en) 2019-10-01 2019-10-01 Display device, usage providing method, program, image processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019181549A JP7383959B2 (en) 2019-10-01 2019-10-01 Display device, usage providing method, program, image processing system

Publications (2)

Publication Number Publication Date
JP2021057843A true JP2021057843A (en) 2021-04-08
JP7383959B2 JP7383959B2 (en) 2023-11-21

Family

ID=75272880

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019181549A Active JP7383959B2 (en) 2019-10-01 2019-10-01 Display device, usage providing method, program, image processing system

Country Status (1)

Country Link
JP (1) JP7383959B2 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011259104A (en) * 2010-06-07 2011-12-22 Ricoh Co Ltd Image formation apparatus, manual presentation method, and manual presentation program
JP2015201056A (en) * 2014-04-08 2015-11-12 株式会社リコー Electronic apparatus, copier, and information presentation system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011259104A (en) * 2010-06-07 2011-12-22 Ricoh Co Ltd Image formation apparatus, manual presentation method, and manual presentation program
JP2015201056A (en) * 2014-04-08 2015-11-12 株式会社リコー Electronic apparatus, copier, and information presentation system

Also Published As

Publication number Publication date
JP7383959B2 (en) 2023-11-21

Similar Documents

Publication Publication Date Title
JP6094550B2 (en) Information processing apparatus and program
JP2016134014A (en) Electronic information board device, information processing method and program
JP6493546B2 (en) Electronic blackboard, storage medium, and information display method
JP7042622B2 (en) Image processing device, image processing system, image processing method, and program
JP2017112581A (en) Electronic board, program, data display method, and image processing system
US11294495B2 (en) Electronic whiteboard, method for image processing in electronic whiteboard, and recording medium containing computer program of electronic whiteboard
US10649754B2 (en) Image processing device and electronic whiteboard
JP5846270B2 (en) Image processing system and information processing apparatus
JP6988060B2 (en) Image processing equipment, image processing system, image processing method and program
US10990344B2 (en) Information processing apparatus, information processing system, and information processing method
JP2014033381A (en) Information processing apparatus and program, and image processing system
CN107037939B (en) Electronic blackboard and image processing method
JP7310546B2 (en) Display device, display method, program, image processing system
JP7155781B2 (en) Information processing device and information processing program
JP7383959B2 (en) Display device, usage providing method, program, image processing system
JP2022087633A (en) Display device, erasing method switching method, and program
JP7435184B2 (en) Communication device, communication device control method, and program
JP7388159B2 (en) Display device, display method
JP7331578B2 (en) Display device, image display method, program
JP7363064B2 (en) Image processing device, method, and program
JP2021093136A (en) Information processing apparatus, information processing system, and remote sharing method
JP2022146853A (en) Display device, program, method for display, and display system
JP2023137822A (en) Display device, fair copy method, program, and information sharing system
JP2021165964A (en) Display device, load control method, and program
JP2019161598A (en) Electronic blackboard, file display method, program, and communication system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220824

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230502

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230623

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231010

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231023

R151 Written notification of patent or utility model registration

Ref document number: 7383959

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151