JP2021036401A - Display device, display method and program - Google Patents

Display device, display method and program Download PDF

Info

Publication number
JP2021036401A
JP2021036401A JP2019158186A JP2019158186A JP2021036401A JP 2021036401 A JP2021036401 A JP 2021036401A JP 2019158186 A JP2019158186 A JP 2019158186A JP 2019158186 A JP2019158186 A JP 2019158186A JP 2021036401 A JP2021036401 A JP 2021036401A
Authority
JP
Japan
Prior art keywords
display
image
display device
aspect ratio
displays
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019158186A
Other languages
Japanese (ja)
Other versions
JP7338330B2 (en
Inventor
崇寛 亀倉
Takahiro Kamekura
崇寛 亀倉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2019158186A priority Critical patent/JP7338330B2/en
Publication of JP2021036401A publication Critical patent/JP2021036401A/en
Application granted granted Critical
Publication of JP7338330B2 publication Critical patent/JP7338330B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

To provide a display device which can display an image without fixing the display position of the image newly displayed in an image processing system.SOLUTION: A display device 2 for displaying an acquired image 11 comprises a menu screen generation unit and a display processing unit. The menu screen generation unit displays a display position specification screen 100 that receives specification on a position where an image is displayed in a display region when the aspect ratio of the image and the aspect ratio of the display region where the image is displayed are different from each other. The display processing unit displays the image at the display position specified on the display position specification screen.SELECTED DRAWING: Figure 3

Description

本発明は、表示装置、表示方法、及び、プログラムに関する。 The present invention relates to a display device, a display method, and a program.

液晶や有機ELなどのディスプレイに情報を表示する表示装置が知られている。例えばタッチパネルにユーザがペンや指で手書きしたデータを表示する表示装置や、通行人などに広告などを表示する表示装置などがある。 Display devices that display information on displays such as liquid crystals and organic EL are known. For example, there are a display device that displays data handwritten by a user with a pen or a finger on a touch panel, and a display device that displays an advertisement or the like on a passerby.

これらの表示装置が有するディスプレイの縦横比(アスペクト比)は表示装置によって様々であり、ディスプレイの縦横比に応じて画像を表示する技術が考案されている(例えば、特許文献1参照。)。特許文献1には、他の表示装置から受信した表示範囲を示す情報と表示装置における対象データの表示領域の情報とに基づいて、表示範囲の画像が表示領域に含まれるように、表示範囲及びその周囲の画像を拡大又は縮小して表示する表示装置が開示されている。 The aspect ratio of the display of these display devices varies depending on the display device, and a technique for displaying an image according to the aspect ratio of the display has been devised (see, for example, Patent Document 1). Patent Document 1 describes the display range and the display range so that the image of the display range is included in the display area based on the information indicating the display range received from another display device and the information of the display area of the target data in the display device. A display device for displaying an enlarged or reduced image of the surrounding image is disclosed.

しかしながら、従来の技術は、新たに表示する画像の表示位置が固定されてしまうという問題があった。記憶媒体から画像を読み込んでディスプレイに表示する場合、ディスプレイにおける画像の表示領域の縦横比が画像の縦横比と異なっている場合がある。このような場合、表示領域の全面に画像を表示することは困難なため、表示装置は画像の長い辺が表示領域に入るように変倍して(長辺フィット)、表示領域の中央など決まった表示位置に画像を表示する。 However, the conventional technique has a problem that the display position of the newly displayed image is fixed. When an image is read from a storage medium and displayed on a display, the aspect ratio of the display area of the image on the display may be different from the aspect ratio of the image. In such a case, it is difficult to display the image on the entire surface of the display area, so the display device scales the image so that the long side of the image fits in the display area (long side fit), and determines the center of the display area. The image is displayed at the displayed position.

本発明は、上記課題に鑑み、新たに表示する画像の表示位置を固定せずに表示できる表示装置を提供することを目的とする。 In view of the above problems, an object of the present invention is to provide a display device capable of displaying a newly displayed image without fixing the display position.

上記課題に鑑み、本発明は、取得した画像を表示する表示装置であって、前記画像の縦横比と前記画像が表示される表示領域の縦横比が異なる場合、前記表示領域のどの位置に前記画像を表示するかの指定を受け付ける表示位置指定画面を表示するメニュー画面生成部と、前記表示位置指定画面で指定された表示位置に前記画像を表示する表示処理部と、を有することを特徴とする。 In view of the above problems, the present invention is a display device for displaying an acquired image, and when the aspect ratio of the image and the aspect ratio of the display area in which the image is displayed are different, the position of the display area is said to be the same. It is characterized by having a menu screen generation unit that displays a display position specification screen that accepts designation of whether to display an image, and a display processing unit that displays the image at the display position specified on the display position specification screen. To do.

新たに表示する画像の表示位置を固定せずに表示できる表示装置を提供することができる。 It is possible to provide a display device capable of displaying a newly displayed image without fixing the display position.

表示装置が画像を表示する場合の比較技術を説明する図である。It is a figure explaining the comparison technique when the display device displays an image. 縦長の表示装置が画像を表示する場合の比較技術を説明する図である。It is a figure explaining the comparison technique when the vertically long display device displays an image. 画像を読み込む場合に表示装置が表示する表示位置指定画面の一例を示す図である。It is a figure which shows an example of the display position designation screen which a display device displays when reading an image. 画像処理システムの全体構成図の一例である。This is an example of an overall configuration diagram of an image processing system. 表示装置のハードウェア構成図の一例である。This is an example of a hardware configuration diagram of a display device. 表示装置の機能をブロック状に分けて説明する機能ブロック図の一例である。This is an example of a functional block diagram for explaining the functions of the display device by dividing them into blocks. 各画像レイヤの構成図の一例である。This is an example of a configuration diagram of each image layer. 読み込む画像とディスプレイのアスペクト比に応じた画像の表示位置の決定に関する表示装置の機能を示す機能ブロック図の一例である。This is an example of a functional block diagram showing the function of the display device regarding the determination of the display position of the image according to the aspect ratio of the image to be read and the display. ディスプレイ方向を説明する図である。It is a figure explaining the display direction. ディスプレイ方向に応じた表示位置指定画面の一例を示す図である。It is a figure which shows an example of the display position designation screen according to a display direction. メニュー画面生成部が表示する設定画面の一例を示す図である。It is a figure which shows an example of the setting screen which a menu screen generation part displays. 表示装置が読み込む画像とディスプレイのアスペクト比に応じて画像の表示位置を決定する手順を示すフローチャート図の一例である。This is an example of a flowchart showing a procedure for determining the display position of an image according to the aspect ratio of the image read by the display device and the display. 画像の変倍を説明する図である。It is a figure explaining the scaling of an image. 画像の上、下、又は両方に余白を形成する設定を受け付ける表示位置指定画面の一例を示す図である。It is a figure which shows an example of the display position designation screen which accepts the setting which forms the margin at the top, bottom, or both of an image. 表示位置への画像の表示例について説明する図である。It is a figure explaining the display example of the image to the display position. 表示位置指定画面の一例を示す図である(実施例2)。It is a figure which shows an example of the display position designation screen (Example 2). 表示装置の他の構成例を示す図である。It is a figure which shows the other configuration example of a display device. 表示装置の他の構成例を示す図である。It is a figure which shows the other configuration example of a display device. 表示装置の他の構成例を示す図である。It is a figure which shows the other configuration example of a display device. 表示装置の他の構成例を示す図である。It is a figure which shows the other configuration example of a display device.

以下、本発明を実施するための形態の一例として、表示装置及び表示装置が行う表示方法について図面を参照しながら説明する。 Hereinafter, as an example of the embodiment for carrying out the present invention, the display device and the display method performed by the display device will be described with reference to the drawings.

<比較技術について>
本実施形態の表示装置を説明するにあたり、好適な比較技術について説明する。
図1は、表示装置2が画像11を表示する場合の比較技術を説明する図である。まず、表示装置2には、縦長のディスプレイ3を搭載したもの(以下、縦型の表示装置2という)と、横長のディスプレイ3を搭載したもの(以下、横型の表示装置2という)がある。図1(a)では縦型の表示装置2がディスプレイ3に表示していた画像11を取り込んだ。なお、取り込むことを「保存する」「キャプチャする」ともいう。ディスプレイ3が縦長のため、保存された画像11も縦長となる(図1(b))。
<Comparison technology>
In explaining the display device of the present embodiment, a suitable comparison technique will be described.
FIG. 1 is a diagram illustrating a comparison technique when the display device 2 displays the image 11. First, the display device 2 includes a display device 2 having a vertically long display 3 (hereinafter referred to as a vertical display device 2) and a display device 2 having a horizontally long display 3 (hereinafter referred to as a horizontal display device 2). In FIG. 1A, the image 11 displayed on the display 3 by the vertical display device 2 was captured. In addition, capturing is also called "saving" or "capturing". Since the display 3 is vertically long, the saved image 11 is also vertically long (FIG. 1 (b)).

この画像11を図1(c)に示す横型の表示装置2が表示する場合、画像11のアスペクト比と横型の表示装置2のディスプレイ3のアスペクト比が合わない。このため、横型の表示装置2は画像11の長い方の辺がディスプレイ3の縦方向の長さに一致するように画像11を変倍して表示する(図1(d))。この場合、画像11の表示位置は左右方向の例えば中央に固定されていた。画像11の左右の領域は余白となる。 When the horizontal display device 2 shown in FIG. 1C displays the image 11, the aspect ratio of the image 11 and the aspect ratio of the display 3 of the horizontal display device 2 do not match. Therefore, the horizontal display device 2 scales and displays the image 11 so that the longer side of the image 11 matches the vertical length of the display 3 (FIG. 1 (d)). In this case, the display position of the image 11 is fixed in the left-right direction, for example, in the center. The left and right areas of the image 11 are margins.

図2は、縦長の表示装置2が画像11を表示する場合の比較技術を説明する図である。図2(a)では横型の表示装置2がディスプレイ3に表示していた画像11を取り込んだ。ディスプレイ3が横長のため、保存された画像11も横長となる(図2(b))。 FIG. 2 is a diagram illustrating a comparison technique when the vertically long display device 2 displays the image 11. In FIG. 2A, the horizontal display device 2 captured the image 11 displayed on the display 3. Since the display 3 is horizontally long, the saved image 11 is also horizontally long (FIG. 2B).

この画像11を図2(c)に示す縦型の表示装置2が表示する場合、画像11のアスペクト比と縦型の表示装置2のディスプレイ3のアスペクト比が合わない。このため、縦型の表示装置2は画像11の長い方の辺がディスプレイ3の横方向の長さに一致するように画像11を変倍して表示する(図2(d))。この場合、画像11の表示位置は上下方向の例えば中央に固定されていた。画像11の上下の領域は余白となる。 When the vertical display device 2 shown in FIG. 2C displays the image 11, the aspect ratio of the image 11 and the aspect ratio of the display 3 of the vertical display device 2 do not match. Therefore, the vertical display device 2 scales and displays the image 11 so that the longer side of the image 11 matches the horizontal length of the display 3 (FIG. 2D). In this case, the display position of the image 11 was fixed in the vertical direction, for example, in the center. The upper and lower areas of the image 11 are margins.

しかしながら、ユーザとしては画像11をディスプレイ3の端に表示して中央に余白を作り、余白に手書きしたり、余白に資料を表示したりしたい場合がある。一方、画像11をディスプレイ3の中央に表示して画像11について説明したい場合もある。いったん表示された画像11は、後からユーザが移動させることができるが、表示後に移動させることは手間となっていた。 However, the user may want to display the image 11 on the edge of the display 3 to create a margin in the center, handwrite in the margin, or display the material in the margin. On the other hand, there is a case where the image 11 is displayed in the center of the display 3 to explain the image 11. The image 11 once displayed can be moved by the user later, but it is troublesome to move the image 11 after the display.

<本実施例の表示装置の動作の概略>
そこで、本実施形態の表示装置2は、読み込む画像11とディスプレイ3のアスペクト比が異なる場合、画像11をディスプレイ3のどの表示位置に表示するかをユーザが指定する表示画面(以下、表示位置指定画面と記載する)を表示する。
<Outline of operation of the display device of this embodiment>
Therefore, the display device 2 of the present embodiment is a display screen (hereinafter, display position designation) in which the user specifies at which display position of the display 3 the image 11 is displayed when the aspect ratios of the image 11 to be read and the display 3 are different. (Described as screen) is displayed.

図3は、画像11を読み込む場合に表示装置2が表示する表示位置指定画面100の一例である。図3(a)の表示位置指定画面100には、中央101、右寄せ102、左寄せ103というボタンがあり、ユーザはいずれかを選択できる。 FIG. 3 is an example of the display position designation screen 100 displayed by the display device 2 when the image 11 is read. The display position designation screen 100 of FIG. 3A has buttons called center 101, right-aligned 102, and left-aligned 103, and the user can select any of them.

ユーザが左寄せ103を選択した場合、図3(b)に示すように、表示装置2はディスプレイ3の左端に画像11を表示する。ユーザが中央101を選択した場合、図3(c)に示すように、表示装置2はディスプレイ3の中央101に画像11を表示する。ユーザが右寄せ102を選択した場合、図3(d)に示すように、表示装置2はディスプレイ3の右端に画像11を表示する。 When the user selects the left-aligned 103, the display device 2 displays the image 11 on the left end of the display 3, as shown in FIG. 3 (b). When the user selects the center 101, the display device 2 displays the image 11 on the center 101 of the display 3, as shown in FIG. 3 (c). When the user selects right-aligned 102, the display device 2 displays the image 11 at the right end of the display 3, as shown in FIG. 3 (d).

このように、本実施例の表示装置2は、ユーザが画像11の表示位置を選択できるため、これから表示する画像の表示位置が固定されず、どこに余白が生じるように画像11を表示するかをユーザが決定できる。 In this way, since the display device 2 of the present embodiment allows the user to select the display position of the image 11, the display position of the image to be displayed from now on is not fixed, and the display position of the image 11 is determined so that a margin is generated. The user can decide.

<用語について>
縦横比とは、画面や画像の縦と横の長さ(ピクセル数)の比である。本実施形態ではアスペクト比という用語で説明する。アスペクト比が異なる場合、相似でないともいえる。
<Terminology>
The aspect ratio is the ratio of the height and width (number of pixels) of a screen or image. In this embodiment, the term aspect ratio will be used. If the aspect ratios are different, it can be said that they are not similar.

ディスプレイ方向が横向きとはアスペクト比が1より大きい場合を言い、ディスプレイ方向が縦向きとはアスペクト比が1より小さい場合を言う(アスペクト比が1の場合はどちらでもよい)。ただし、本実施形態では以下のように定義する。縦H、横Wとした場合、W:Hと表記し、
アスペクト比=W/H とする。
The horizontal orientation means that the aspect ratio is larger than 1, and the vertical orientation means that the aspect ratio is smaller than 1 (it does not matter if the aspect ratio is 1). However, in this embodiment, it is defined as follows. When vertical H and horizontal W, it is written as W: H.
Aspect ratio = W / H.

画像が表示される表示領域とは、ディスプレイのうち画像が表示される領域である。最大の表示領域はディスプレイ全体である。 The display area on which the image is displayed is an area of the display on which the image is displayed. The largest display area is the entire display.

表示領域のどの位置に画像を表示するかとは、画像が表示領域に入るように変倍した場合に、表示位置に任意性があり、一意に決まらない場合にどの位置に表示するかである。 The position in which the image is displayed in the display area is the position in which the image is displayed when the image is scaled so as to fit in the display area and the display position is arbitrary and cannot be uniquely determined.

<システムの概要>
図4は、本実施形態の画像処理システム1の全体構成図である。なお、図4では、説明を簡略化するために、2台の表示装置2a,2b及びこれに付随する電子ペン4a,4b等を示しているだけであって、3台以上の表示装置2や電子ペン等を利用してもよい。
<System overview>
FIG. 4 is an overall configuration diagram of the image processing system 1 of the present embodiment. In addition, in FIG. 4, for simplification of the description, only two display devices 2a and 2b and the electronic pens 4a and 4b associated therewith are shown, and three or more display devices 2 and the like. An electronic pen or the like may be used.

図4に示されているように、画像処理システム1は、複数の表示装置2a,2b、複数の電子ペン4a,4b、USBメモリ5a,5b、外部装置6a,6b、テレビ(ビデオ)会議端末7a,7b、及びPC(Personal Computer)8を有する。また、表示装置2a,2b、及びPC8は、通信ネットワークNを介して通信可能に接続されている。更に、複数の表示装置2a,2bには、それぞれディスプレイ3a,3bが設けられている。 As shown in FIG. 4, the image processing system 1 includes a plurality of display devices 2a and 2b, a plurality of electronic pens 4a and 4b, USB memory 5a and 5b, external devices 6a and 6b, and a television (video) conference terminal. It has 7a, 7b, and a PC (Personal Computer) 8. Further, the display devices 2a and 2b and the PC8 are communicably connected via the communication network N. Further, the plurality of display devices 2a and 2b are provided with displays 3a and 3b, respectively.

また、表示装置2aには、電子ペン4aによって生じたイベント(ディスプレイ3aに電子ペン4aのペン先、又は、電子ペン4aのペン尻のタッチ)による描画された画像11を、ディスプレイ3aに表示させることができる。なお、電子ペン4aだけでなく、ユーザの指を含む手Ha等によって生じたイベント(拡大、縮小、ページめくり等のジェスチャ)に基づいて、ディスプレイ3a上に表示されている画像11を変更させることもできる。 Further, the display device 2a causes the display 3a to display the image 11 drawn by the event (touch of the pen tip of the electronic pen 4a or the pen tail of the electronic pen 4a on the display 3a) caused by the electronic pen 4a. be able to. It should be noted that the image 11 displayed on the display 3a is changed based on not only the electronic pen 4a but also an event (gestures such as enlargement, reduction, page turning, etc.) caused by a hand Ha or the like including the user's finger. You can also.

また、表示装置2aには、USBメモリ5aが接続可能であり、表示装置2aはUSBメモリ5aからPDF等の電子ファイルを読み出したり、表示装置2aはUSBメモリ5aに電子ファイルを記録したりすることができる。また、表示装置2aには、DisplayPort(登録商標)、DVI(Digital Visual Interface)、HDMI(登録商標。High−Definition Multimedia Interface)及びVGA(Video Graphics Array)等の規格による通信が可能なケーブル10a1を介して、外部装置6aが接続されている。ケーブル10a1はネットワークでもよい。 Further, a USB memory 5a can be connected to the display device 2a, the display device 2a reads an electronic file such as a PDF from the USB memory 5a, and the display device 2a records an electronic file in the USB memory 5a. Can be done. Further, the display device 2a is provided with a cable 10a1 capable of communicating according to standards such as DisplayPort (registered trademark), DVI (Digital Visual Interface), HDMI (registered trademark. High-Definition Multimedia Interface) and VGA (Video Graphics Array). An external device 6a is connected via the device. The cable 10a1 may be a network.

そして、表示装置2aは、ディスプレイ3aに対する接触によってイベントを発生させ、このイベントを示すイベント情報を、マウスやキーボード等の入力装置からのイベントと同様に、外部装置6aに送信する。同じく、表示装置2aには、上記規格による通信が可能なケーブル10a2を介して、テレビ(ビデオ)会議端末7aが接続されている。なお、外部装置6a、及びテレビ会議端末7aは、Bluetooth(登録商標)等の各種無線通信プロトコルに準拠した無線通信により、表示装置2aと通信してもよい。 Then, the display device 2a generates an event by touching the display 3a, and transmits the event information indicating the event to the external device 6a in the same manner as the event from the input device such as a mouse or a keyboard. Similarly, a television (video) conference terminal 7a is connected to the display device 2a via a cable 10a2 capable of communicating according to the above standard. The external device 6a and the video conferencing terminal 7a may communicate with the display device 2a by wireless communication compliant with various wireless communication protocols such as Bluetooth (registered trademark).

一方、表示装置2bが設置されている他の拠点では、上記と同様に、ディスプレイ3bを備えた表示装置2b、電子ペン4b、USBメモリ5b、外部装置6b、テレビ会議端末7b、ケーブル10b1、ケーブル10b2が利用される。更に、ユーザの手Hb等によって生じたイベントに基づいて、ディスプレイ3b上に表示されている画像11を変更させることもできる。 On the other hand, at other bases where the display device 2b is installed, similarly to the above, the display device 2b equipped with the display 3b, the electronic pen 4b, the USB memory 5b, the external device 6b, the video conferencing terminal 7b, the cable 10b1, and the cable 10b2 is used. Further, the image 11 displayed on the display 3b can be changed based on the event generated by the user's hand Hb or the like.

これにより、一の拠点で表示装置2aのディスプレイ3a上に描画された画像11は、他の拠点で表示装置2bのディスプレイ3b上にも表示され、逆に他の拠点で表示装置2bのディスプレイ3b上に描画された画像11は、一の拠点で表示装置2aのディスプレイ3a上に表示される。このように、画像処理システム1では、遠隔地において同じ画像11を共有する遠隔共有処理を行うことができるため、遠隔地での会議等に用いると、非常に便利である。 As a result, the image 11 drawn on the display 3a of the display device 2a at one base is also displayed on the display 3b of the display device 2b at the other base, and conversely, the display 3b of the display device 2b at the other base. The image 11 drawn above is displayed on the display 3a of the display device 2a at one base. As described above, since the image processing system 1 can perform remote sharing processing for sharing the same image 11 at a remote location, it is very convenient to use it for a conference or the like at a remote location.

なお、以下では、複数の表示装置2のうち任意の表示装置2を示す場合には「表示装置2」と示す。複数のディスプレイ3のうち任意のディスプレイ3を示す場合には「ディスプレイ3」と示す。複数の電子ペンのうち任意の電子ペンを示す場合には「電子ペン4」と示す。複数のUSBメモリのうち任意のUSBメモリを示す場合には「USBメモリ5」と示す。複数の外部装置のうち任意の外部装置を示す場合には「外部装置6」と示す。複数のテレビ会議端末のうち任意のテレビ会議端末を示す場合には「テレビ会議端末7」と示す。また、複数のユーザの手のうち任意の手を示す場合には「手H」と示す。複数のケーブルのうち任意のケーブルを示す場合には「ケーブル10」と示す。 In the following, when any display device 2 among the plurality of display devices 2 is indicated, it is referred to as “display device 2”. When indicating an arbitrary display 3 among a plurality of displays 3, it is indicated as "display 3". When indicating an arbitrary electronic pen among a plurality of electronic pens, it is indicated as "electronic pen 4". When indicating an arbitrary USB memory among a plurality of USB memories, it is indicated as "USB memory 5". When indicating an arbitrary external device among a plurality of external devices, it is indicated as "external device 6". When indicating an arbitrary video conferencing terminal among a plurality of video conferencing terminals, it is indicated as "video conferencing terminal 7". Further, when indicating an arbitrary hand among the hands of a plurality of users, it is indicated as "hand H". When indicating an arbitrary cable among a plurality of cables, it is indicated as "cable 10".

また、本実施形態では、情報処理装置の一例として、表示装置2を説明するが、これに限るものではなく、情報処理装置の他の例として、電子看板(デジタルサイネージ)、スポーツや天気予報等で利用されるテレストレータ、又は、遠隔画像(映像)診断装置等であってもよい。また、外部装置6の一例としてノートPCが挙げられるが、外部装置6としては、デスクトップ型PCやタブレット型PC、スマートフォン、PDA(Personal Digital Assistant)、デジタルビデオカメラ、デジタルカメラ、ゲーム機等の画像フレームを供給可能な端末であってもよい。なお、これら情報処理装置では表示装置2用の所定のアプリケーション(プログラム)が動作しており、アプリケーションがタッチパネルに対する接触位置に基づいて手書きデータを表示する。 Further, in the present embodiment, the display device 2 will be described as an example of the information processing device, but the present invention is not limited to this, and other examples of the information processing device include electronic signage (digital signage), sports, weather forecast, and the like. It may be a telestrator used in the above, a remote image (video) diagnostic device, or the like. Further, an example of the external device 6 is a notebook PC, and the external device 6 is an image of a desktop PC, a tablet PC, a smartphone, a PDA (Personal Digital Assistant), a digital video camera, a digital camera, a game machine, or the like. It may be a terminal capable of supplying frames. A predetermined application (program) for the display device 2 is operating in these information processing devices, and the application displays handwritten data based on the contact position with respect to the touch panel.

更に、通信ネットワークNには、インターネット、LAN(Local Area Network)、携帯電話通信網等が含まれる。また、本実施形態では、記録媒体の一例として、USBメモリを説明するが、これに限るものではなく、記録媒体の他の例として、SDカード(登録商標)等の各種記録メディアであってもよい。 Further, the communication network N includes the Internet, a LAN (Local Area Network), a mobile phone communication network, and the like. Further, in the present embodiment, the USB memory will be described as an example of the recording medium, but the present invention is not limited to this, and as another example of the recording medium, various recording media such as an SD card (registered trademark) may be used. Good.

<表示装置のハードウェア構成>
図5は、表示装置のハードウェア構成図の一例である。図5では表示装置2として電子黒板を想定して説明する。図5に示されているように、表示装置2は、CPU(Central Processing Unit)201、ROM(Read Only Memory)202、RAM(Random Access Memory)203、SSD(Solid State Drive)204、ネットワークI/F205、及び、外部機器接続I/F(Interface)206を備えている。
<Hardware configuration of display device>
FIG. 5 is an example of a hardware configuration diagram of the display device. In FIG. 5, an electronic blackboard will be described as the display device 2. As shown in FIG. 5, the display device 2 includes a CPU (Central Processing Unit) 201, a ROM (Read Only Memory) 202, a RAM (Random Access Memory) 203, an SSD (Solid State Drive) 204, and a network I / It includes an F205 and an external device connection I / F (Interface) 206.

これらのうち、CPU201は、表示装置2全体の動作を制御する。ROM202は、CPU201やIPL(Initial Program Loader)等のCPU201の駆動に用いられるプログラムを記憶する。RAM203は、CPU201のワークエリアとして使用される。SSD204は、電子黒板用のプログラム等の各種データを記憶する。ネットワークI/F205は、通信ネットワークNとの通信を制御する。外部機器接続I/F206は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、USB(Universal Serial Bus)メモリ230、外付け機器(マイク240、スピーカ250、カメラ260)である。 Of these, the CPU 201 controls the operation of the entire display device 2. The ROM 202 stores a program used to drive the CPU 201 such as the CPU 201 and the IPL (Initial Program Loader). The RAM 203 is used as a work area of the CPU 201. The SSD 204 stores various data such as a program for an electronic blackboard. The network I / F 205 controls communication with the communication network N. The external device connection I / F 206 is an interface for connecting various external devices. The external device in this case is, for example, a USB (Universal Serial Bus) memory 230 and an external device (microphone 240, speaker 250, camera 260).

また、表示装置2は、キャプチャデバイス211、GPU212、ディスプレイ3コントローラ213、接触センサ214、センサコントローラ215、電子ペンコントローラ216、近距離通信回路219、及び近距離通信回路219のアンテナ219a、電源スイッチ222、選択スイッチ類223、カメラ224、及び、方向検知センサ225を備えている。 Further, the display device 2 includes a capture device 211, a GPU 212, a display 3 controller 213, a contact sensor 214, a sensor controller 215, an electronic pen controller 216, a short-range communication circuit 219, an antenna 219a of the short-range communication circuit 219, and a power switch 222. , Selection switches 223, a camera 224, and a direction detection sensor 225.

これらのうち、キャプチャデバイス211は、外付けのPC(Personal Computer))270のディスプレイ3に対して映像情報を静止画又は動画として表示させる。GPU(Graphics Processing Unit)212は、グラフィクスを専門に扱う半導体チップである。ディスプレイ3コントローラ213は、GPU212からの出力画像をディスプレイ3等へ出力するために画面表示の制御及び管理を行う。接触センサ214は、ディスプレイ3上に電子ペン290やユーザの手H等が接触したことを検知する。センサコントローラ215は、接触センサ214の処理を制御する。接触センサ214は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレイ3の上側両端部に設置された2つ受発光装置が、ディスプレイ3に平行して複数の赤外線を放射し、ディスプレイ3の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ214は、物体によって遮断された2つの受発光装置が放射した赤外線のIDをセンサコントローラ215に出力し、センサコントローラ215が、物体の接触位置である座標位置を特定する。電子ペンコントローラ216は、電子ペン290と通信することで、ディスプレイ3へのペン先のタッチやペン尻のタッチの有無を判断する。近距離通信回路219は、NFC(Near Field Communication)やBluetooth(登録商標)等の通信回路である。電源スイッチ222は、表示装置2の電源のON/OFFを切り換えるためのスイッチである。選択スイッチ類223は、例えば、ディスプレイ3の表示の明暗や色合い等を調整するためのスイッチ群である。 Of these, the capture device 211 causes the display 3 of the external PC (Personal Computer) 270 to display the video information as a still image or a moving image. The GPU (Graphics Processing Unit) 212 is a semiconductor chip that specializes in graphics. The display 3 controller 213 controls and manages the screen display in order to output the output image from the GPU 212 to the display 3 and the like. The contact sensor 214 detects that the electronic pen 290, the user's hand H, or the like has come into contact with the display 3. The sensor controller 215 controls the processing of the contact sensor 214. The contact sensor 214 inputs and detects the coordinates by the infrared blocking method. In the method of inputting the coordinates and detecting the coordinates, two light receiving and emitting devices installed at both upper ends of the display 3 radiate a plurality of infrared rays in parallel with the display 3 and are provided around the display 3. This is a method of receiving light that is reflected by a reflecting member and returns on the same optical path as the light path emitted by the light receiving element. The contact sensor 214 outputs an infrared ID emitted by two light emitting / receiving devices blocked by the object to the sensor controller 215, and the sensor controller 215 specifies a coordinate position which is a contact position of the object. The electronic pen controller 216 determines whether or not there is a touch of the pen tip or a touch of the pen tail on the display 3 by communicating with the electronic pen 290. The short-range communication circuit 219 is a communication circuit such as NFC (Near Field Communication) or Bluetooth (registered trademark). The power switch 222 is a switch for switching ON / OFF of the power of the display device 2. The selection switches 223 are, for example, a group of switches for adjusting the brightness and color tone of the display of the display 3.

カメラ224はディスプレイ3の例えばベゼルに内蔵されている撮像装置であり、表示装置2の前方を撮像する。カメラ224があればカメラ260のように外付け型のカメラはなくてもよい。 The camera 224 is an image pickup device built in, for example, the bezel of the display 3, and images the front of the display device 2. If there is a camera 224, it is not necessary to have an external camera like the camera 260.

方向検知センサ225は、ディスプレイ3の方向を検知するセンサである。ディスプレイ3の方向には縦向きと横向きがある。本実施例の表示装置2は、ディスプレイ3をユーザが縦向き又は横向きに切り替えることができる。このよう機能をピボット機能という。回転自体はディスプレイ3を支えるスタンドの機構によるが、方向検知センサ225はディスプレイ3の回転角度を検知する。例えば、加速度センサにより重力方向を検出して、縦向きか横向きかを検出する。あるいは、スタンド部分の回転を検出してもよい。表示装置2はディスプレイ3が横向きでも縦向きでも、画像11の上下を天地方向に合わせて回転させる。 The direction detection sensor 225 is a sensor that detects the direction of the display 3. The display 3 has a vertical orientation and a horizontal orientation. In the display device 2 of this embodiment, the user can switch the display 3 in portrait or landscape orientation. Such a function is called a pivot function. The rotation itself depends on the mechanism of the stand that supports the display 3, but the direction detection sensor 225 detects the rotation angle of the display 3. For example, the acceleration sensor detects the direction of gravity to detect whether it is in portrait or landscape orientation. Alternatively, the rotation of the stand portion may be detected. The display device 2 rotates the top and bottom of the image 11 according to the top-bottom direction regardless of whether the display 3 is oriented horizontally or vertically.

更に、表示装置2は、バスライン210を備えている。バスライン210は、図5に示されているCPU201等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。 Further, the display device 2 includes a bus line 210. The bus line 210 is an address bus, a data bus, or the like for electrically connecting each component such as the CPU 201 shown in FIG.

なお、接触センサ214は、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する2つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。また、電子ペンコントローラ216が、電子ペン290のペン先及びペン尻だけでなく、電子ペン290のユーザが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。 The contact sensor 214 is not limited to the infrared blocking method, but is a capacitive touch panel that specifies a contact position by detecting a change in capacitance, and a contact position is specified by a voltage change between two opposing resistance films. Various detection means such as a resistance film type touch panel and an electromagnetic induction type touch panel that detects the electromagnetic induction generated when a contact object comes into contact with the display unit and specifies the contact position may be used. Further, the electronic pen controller 216 may determine whether or not there is a touch not only on the pen tip and pen end of the electronic pen 290 but also on the portion gripped by the user of the electronic pen 290 and other electronic pen portions.

<表示装置の機能構成>
続いて、図6、図7を用いて、表示装置2の機能構成について説明する。なお、先ずは、図6を用いて、表示装置2の全体的な機能構成について説明する。図6は、表示装置2の機能をブロック状に分けて説明する機能ブロック図である。
<Functional configuration of display device>
Subsequently, the functional configuration of the display device 2 will be described with reference to FIGS. 6 and 7. First, the overall functional configuration of the display device 2 will be described with reference to FIG. FIG. 6 is a functional block diagram for explaining the functions of the display device 2 by dividing them into blocks.

表示装置2は、図5に示されているハードウェア構成及びプログラムによって、図6に示されている各機能構成を有する。表示装置2は、最初に遠隔共有処理を開始する「主催装置」となり得ると共に、既に開始されている遠隔共有処理に後から参加する「参加装置」にもなり得る。また、表示装置2は、大きく分けて、クライアント部20及びサーバ部90の両方によって構成されている。 The display device 2 has each functional configuration shown in FIG. 6 according to the hardware configuration and program shown in FIG. The display device 2 can be a "sponsoring device" that first starts the remote sharing process, and can also be a "participating device" that later participates in the remote sharing process that has already been started. Further, the display device 2 is roughly divided into both a client unit 20 and a server unit 90.

クライアント部20及びサーバ部90は、表示装置2の1台の筐体内で実現される機能である。そして、表示装置2が主催装置となる場合には、この表示装置2では、クライアント部20とサーバ部90が実現される。また、表示装置2が参加装置となる場合には、この表示装置2では、クライアント部20は実現されるが、サーバ部90は実現されない。即ち、図4において、表示装置2aが主催装置で、表示装置2bが参加装置となる場合、表示装置2aのクライアント部20は、同じ表示装置2a内に実現されたサーバ部90を介して、他の表示装置2bのクライアント部20と通信を行う。一方、表示装置2bのクライアント部20は、他の表示装置2a内に実現されたサーバ部90を介して、他の表示装置2aのクライアント部と通信を行う。 The client unit 20 and the server unit 90 are functions realized in one housing of the display device 2. When the display device 2 serves as the host device, the client unit 20 and the server unit 90 are realized in the display device 2. Further, when the display device 2 becomes a participating device, the client unit 20 is realized in the display device 2, but the server unit 90 is not realized. That is, in FIG. 4, when the display device 2a is the host device and the display device 2b is the participating device, the client unit 20 of the display device 2a is via the server unit 90 realized in the same display device 2a. Communicates with the client unit 20 of the display device 2b. On the other hand, the client unit 20 of the display device 2b communicates with the client unit of the other display device 2a via the server unit 90 realized in the other display device 2a.

〔クライアント部の機能構成〕
続いて、主に図6、図7を用いて、クライアント部20の機能構成について説明する。クライアント部20は、映像取得部21、座標検知部22、自動調整部23、接触検知部24、イベント振分部25、操作処理部26、ジェスチャ処理部27、映像重畳部28、画像処理部30、及び通信制御部60を有する。
[Functional configuration of client part]
Subsequently, the functional configuration of the client unit 20 will be described mainly with reference to FIGS. 6 and 7. The client unit 20 includes a video acquisition unit 21, a coordinate detection unit 22, an automatic adjustment unit 23, a contact detection unit 24, an event distribution unit 25, an operation processing unit 26, a gesture processing unit 27, an image superimposing unit 28, and an image processing unit 30. , And a communication control unit 60.

このうち、映像取得部21は、ケーブル10に接続された外部装置6の出力画像を取得する。映像取得部21は、外部装置6から映像を受信すると、この映像を解析して、この映像によって形成される外部装置6の表示画像である画像フレームの解像度や、この画像フレームの更新頻度などの画像情報を導出し、画像取得部31に出力する。 Of these, the video acquisition unit 21 acquires the output image of the external device 6 connected to the cable 10. When the image acquisition unit 21 receives the image from the external device 6, the image acquisition unit 21 analyzes the image and determines the resolution of the image frame which is the display image of the external device 6 formed by the image, the update frequency of the image frame, and the like. The image information is derived and output to the image acquisition unit 31.

座標検知部22は、ディスプレイ3上でユーザが入力手段を接触させた座標位置を検出する。ユーザがディスプレイ3上で入力手段を連続的に移動させた軌跡が手書きデータである。また、この手書きデータをストロークという場合がある。なお、入力手段は電子ペン4又はユーザの手Hのどちらでもよい。また、座標検知部22は、タッチされた面積も検出する。 The coordinate detection unit 22 detects the coordinate position on the display 3 that the user has brought into contact with the input means. The locus of the user continuously moving the input means on the display 3 is the handwritten data. In addition, this handwritten data may be referred to as a stroke. The input means may be either the electronic pen 4 or the user's hand H. The coordinate detection unit 22 also detects the touched area.

自動調整部23は、表示装置2の起動時(再起動時と表現してもよい)に起動され、座標検知部22が適切な値を出力できるように、光センサ方式により座標を検知する座標検知部22がセンサーカメラの画像を処理する際のパラメータを調整する。 The automatic adjustment unit 23 is activated when the display device 2 is activated (may be expressed as a restart), and the coordinates for detecting the coordinates by the optical sensor method so that the coordinate detection unit 22 can output an appropriate value. The detection unit 22 adjusts the parameters when processing the image of the sensor camera.

接触検知部24は、ユーザによって生じたイベント(ディスプレイ3上に電子ペン4のペン先又は電子ペン4のペン尻が押下(タッチ)された動作等)を検出する。 The contact detection unit 24 detects an event (such as an operation in which the pen tip of the electronic pen 4 or the pen tail of the electronic pen 4 is pressed (touched) on the display 3) caused by the user.

イベント振分部25は、座標検知部22によって検知されたイベントの座標位置と接触検知部24によって検出された検出結果を、ストローク描画、UI操作、及びジェスチャ操作の各イベントに振り分ける。ここで、「ストローク描画」は、ディスプレイ3上に図7に示されている後述のストローク画像(B)が表示されている場合に、ユーザがディスプレイ3上で電子ペン4を押下し、この押下した状態で電子ペン4を移動させ、最終的にディスプレイ3上から電子ペン4を離すまでのイベントである。このストローク描画により、例えば、アルファベット「S」や「T」等がディスプレイ3上に描画される。なお、この「ストローク描画」には、画像を描画するだけでなく、既に描画された画像を削除したり、描画された画像を編集したりするイベントも含まれる。 The event distribution unit 25 distributes the coordinate position of the event detected by the coordinate detection unit 22 and the detection result detected by the contact detection unit 24 into each event of stroke drawing, UI operation, and gesture operation. Here, in the "stroke drawing", when the stroke image (B) shown in FIG. 7 is displayed on the display 3, the user presses the electronic pen 4 on the display 3, and this pressing is performed. This is an event in which the electronic pen 4 is moved in this state, and finally the electronic pen 4 is released from the display 3. By this stroke drawing, for example, the alphabets "S" and "T" are drawn on the display 3. Note that this "stroke drawing" includes not only drawing an image, but also an event of deleting an already drawn image or editing the drawn image.

「UI操作」は、ディスプレイ3上に図7に示されている後述のUI画像(A)が表示されている場合に、ユーザが電子ペン4又は手Hによって所定の位置を押下したイベントである。このUI操作により、例えば、電子ペン4により描画される線の色や幅等が設定される。 The "UI operation" is an event in which the user presses a predetermined position with the electronic pen 4 or the hand H when the UI image (A) shown in FIG. 7 is displayed on the display 3. .. By this UI operation, for example, the color and width of the line drawn by the electronic pen 4 are set.

「ジェスチャ操作」は、ディスプレイ3上に図7に示されている後述のストローク画像(B)が表示されている場合に、ユーザが手Hでディスプレイ3上をタッチしたり移動させたりするイベントである。このジェスチャ操作により、例えば、ユーザがディスプレイ3に手Hをタッチさせた状態で手Hを移動させることで、画像の拡大(若しくは縮小)、表示領域の変更、又は、ページ切り換え等を行うことができる。 The "gesture operation" is an event in which the user touches or moves the display 3 with the hand H when the stroke image (B) shown in FIG. 7 is displayed on the display 3. is there. By this gesture operation, for example, by moving the hand H while the user touches the hand H on the display 3, the image can be enlarged (or reduced), the display area can be changed, the page can be switched, and the like. it can.

操作処理部26は、イベント振分部25によってUI操作と判断されたものから、イベントが発生されたUIの要素にしたがって、各種操作を実行する。このUIの要素としては、例えば、ボタン、リスト、チェックボックス、テキストボックスが挙げられる。ジェスチャ処理部27は、イベント振分部25によってジェスチャ操作と判断されたものに対応した操作を実行する。 The operation processing unit 26 executes various operations according to the elements of the UI in which the event has occurred from those determined to be UI operations by the event distribution unit 25. Elements of this UI include, for example, buttons, lists, checkboxes, and text boxes. The gesture processing unit 27 executes an operation corresponding to the gesture operation determined by the event distribution unit 25.

映像重畳部28は、後述の表示処理部36で重畳された画像を映像として表示部29に対して表示する。表示部29はディスプレイ3により実現される表示機能を示す。また、映像重畳部28は、外部装置6等からの映像に対して、テレビ会議端末7等から送られて来た映像をピクチャーインピクチャーする。更に、映像重畳部28は、ピクチャーインピクチャーされて表示部29の一部に表示された映像を、表示部29の全体に表示させるための切り替えを行う。 The image superimposing unit 28 displays the image superimposed by the display processing unit 36, which will be described later, on the display unit 29 as an image. The display unit 29 shows a display function realized by the display 3. Further, the image superimposing unit 28 pictures-in-pictures the image sent from the video conferencing terminal 7 or the like with respect to the image from the external device 6 or the like. Further, the image superimposing unit 28 switches to display the image that has been picture-in-pictured and displayed on a part of the display unit 29 on the entire display unit 29.

画像処理部30は、図7に示されているような各画像レイヤの重畳処理等を行う。この画像処理部30は、画像取得部31、ストローク処理部32、メニュー画面生成部33、画像生成部34、レイアウト管理部35、表示処理部36、ページ処理部37、ファイル処理部40、ページデータ記憶部300、及び遠隔ライセンス管理テーブル310を有している。 The image processing unit 30 performs superimposition processing of each image layer as shown in FIG. 7. The image processing unit 30 includes an image acquisition unit 31, a stroke processing unit 32, a menu screen generation unit 33, an image generation unit 34, a layout management unit 35, a display processing unit 36, a page processing unit 37, a file processing unit 40, and page data. It has a storage unit 300 and a remote license management table 310.

このうち、画像取得部31は、映像取得部21で取得された映像から、各フレームを画像として取得する。画像取得部31は、この画像のデータを、ページ処理部37に出力する。この画像は、図7に示されている外部装置6等からの出力画像(C)に相当する。本実施形態では出力画像(C)を映像と称している。 Of these, the image acquisition unit 31 acquires each frame as an image from the image acquired by the image acquisition unit 21. The image acquisition unit 31 outputs the data of this image to the page processing unit 37. This image corresponds to the output image (C) from the external device 6 or the like shown in FIG. In this embodiment, the output image (C) is referred to as a moving image.

ストローク処理部32は、イベント振分部25によって割り振られたストローク描画に係るイベントに基づいて、画像(手書きデータ)を描画したり、描画された画像を削除したり、描画された画像を編集する。このストローク描画による画像は、図7に示されているストローク画像(B)に相当する。また、このストローク描画に基づいた画像の描画、削除、編集の各結果は、後述の操作データとして、データ管理部80に記憶される。 The stroke processing unit 32 draws an image (handwritten data), deletes the drawn image, and edits the drawn image based on the event related to the stroke drawing assigned by the event distribution unit 25. .. The image obtained by drawing the stroke corresponds to the stroke image (B) shown in FIG. 7. Further, each result of drawing, deleting, and editing an image based on this stroke drawing is stored in the data management unit 80 as operation data described later.

メニュー画面生成部33は、表示装置2に予め設定されているUI(ユーザインターフェース)画像を生成する。このUI画像は、図7に示されているUI画像(A)に相当する。 The menu screen generation unit 33 generates a UI (user interface) image preset in the display device 2. This UI image corresponds to the UI image (A) shown in FIG.

画像生成部34は、ページ処理部37がページデータ記憶部300から読み出したページデータのうちのメディアデータを、ページ処理部37から受信する。画像生成部34は、この受信したメディアデータを表示処理部36に出力する。また、このメディアデータによる画像は、図7に示されている背景画像(D)に相当する。背景画像(D)のパターンは、無地、グリッド表示等である。 The image generation unit 34 receives the media data of the page data read from the page data storage unit 300 by the page processing unit 37 from the page processing unit 37. The image generation unit 34 outputs the received media data to the display processing unit 36. Further, the image based on this media data corresponds to the background image (D) shown in FIG. 7. The pattern of the background image (D) is a solid color, a grid display, or the like.

レイアウト管理部35は、表示処理部36に対して、画像取得部31、ストローク処理部32、及びメニュー画面生成部33(又は画像生成部34)から出力された各画像のレイアウトを示すレイアウト情報を管理している。これにより、レイアウト管理部35は、表示処理部36に対して、出力画像(C)及びストローク画像(B)を、UI画像(A)及び背景画像(D)中のどの位置に表示させるか又は非表示にさせるかを指示することができる。 The layout management unit 35 provides the display processing unit 36 with layout information indicating the layout of each image output from the image acquisition unit 31, the stroke processing unit 32, and the menu screen generation unit 33 (or the image generation unit 34). I manage it. As a result, the layout management unit 35 causes the display processing unit 36 to display the output image (C) and the stroke image (B) at which position in the UI image (A) and the background image (D). You can instruct whether to hide it.

表示処理部36は、レイアウト管理部35から出力されたレイアウト情報に基づき、画像取得部31、ストローク処理部32、及びメニュー画面生成部33(画像生成部34)から出力された各画像のレイアウトを行う。 Based on the layout information output from the layout management unit 35, the display processing unit 36 arranges the layout of each image output from the image acquisition unit 31, the stroke processing unit 32, and the menu screen generation unit 33 (image generation unit 34). Do.

ページ処理部37は、ストローク画像(B)のデータと出力画像(C)のデータを、1つのページデータにまとめてページデータ記憶部300に記憶する。ストローク画像(B)のデータは、ストローク配列データ(各ストロークデータ)としてページデータの一部を成す。出力画像(C)のデータは、メディアデータとしてページデータの一部を成す。そして、このメディアデータは、ページデータ記憶部300から読み出されると、背景画像(D)のデータとして取り扱われる。 The page processing unit 37 collects the data of the stroke image (B) and the data of the output image (C) into one page data and stores it in the page data storage unit 300. The data of the stroke image (B) forms a part of the page data as stroke array data (each stroke data). The data of the output image (C) forms a part of the page data as media data. Then, when this media data is read from the page data storage unit 300, it is treated as the data of the background image (D).

また、ページ処理部37は、一旦記憶されたページデータのうちのメディアデータを、画像生成部34を介して表示処理部36に送信することで、映像重畳部28が背景画像(D)をディスプレイ3に再表示させることができる。また、ページ処理部37は、ページデータのうちのストローク配列データ(各ストロークデータ)を、ストローク処理部32に戻すことで、ストロークの再編集ができる状態にすることができる。更に、ページ処理部37は、ページデータを削除したり複製したりすることもできる。 Further, the page processing unit 37 transmits the media data of the page data once stored to the display processing unit 36 via the image generation unit 34, so that the image superimposition unit 28 displays the background image (D). It can be redisplayed in 3. Further, the page processing unit 37 can return the stroke array data (each stroke data) of the page data to the stroke processing unit 32 so that the stroke can be re-edited. Further, the page processing unit 37 can also delete or duplicate the page data.

即ち、ページ処理部37がページデータ記憶部300にページデータを記憶する時点でディスプレイ3上に表示されている出力画像(C)のデータは、一旦、ページデータ記憶部300に記憶され、その後にページデータ記憶部300から読み出される際には、背景画像(D)を示すメディアデータとして読みされる。そして、ページ処理部37は、ページデータ記憶部300から読み出したページデータのうち、ストローク画像(B)を示すストローク配列データを、ストローク処理部32に出力する。また、ページ処理部37は、ページデータ記憶部300から読み出したページデータのうち、背景画像(D)を示すメディアデータを、画像生成部34に出力する。 That is, the data of the output image (C) displayed on the display 3 at the time when the page processing unit 37 stores the page data in the page data storage unit 300 is temporarily stored in the page data storage unit 300, and then stored in the page data storage unit 300. When it is read from the page data storage unit 300, it is read as media data indicating the background image (D). Then, the page processing unit 37 outputs the stroke array data indicating the stroke image (B) among the page data read from the page data storage unit 300 to the stroke processing unit 32. Further, the page processing unit 37 outputs the media data indicating the background image (D) among the page data read from the page data storage unit 300 to the image generation unit 34.

表示処理部36は、画像取得部31からの出力画像(C)、ストローク処理部32からのストローク画像(B)、メニュー画面生成部33からのUI画像(A)、及び、画像生成部34からの背景画像(D)を、レイアウト管理部35によって指定されたレイアウトにしたがって重畳する。これにより、図7に示されているように、各画像が重なってもユーザが見える順に、UI画像(A)、ストローク画像(B)、出力画像(C)、及び背景画像(D)の各レイアの構成となっている。 The display processing unit 36 is an output image (C) from the image acquisition unit 31, a stroke image (B) from the stroke processing unit 32, a UI image (A) from the menu screen generation unit 33, and an image generation unit 34. The background image (D) of the above is superimposed according to the layout specified by the layout management unit 35. As a result, as shown in FIG. 7, each of the UI image (A), the stroke image (B), the output image (C), and the background image (D) is in the order in which the user can see the images even if they overlap. It is composed of Leia.

また、表示処理部36は、図7に示されている画像(C)と画像(D)を切り替えて、画像(A)及び画像(B)に対して排他的に重畳することも可能である。例えば、当初、画像(A)、画像(B)及び画像(C)が表示されている状態で、表示装置2と外部装置6等との間のケーブル10が抜かれた場合には、レイアウト管理部35の指定によって、画像(C)を重畳対象から外し、画像(D)を表示させることができる。この場合に、また、表示処理部36は、表示の拡大、表示の縮小、表示領域の移動処理も行う。 Further, the display processing unit 36 can switch between the image (C) and the image (D) shown in FIG. 7 and superimpose the image (A) and the image (B) exclusively. .. For example, if the cable 10 between the display device 2 and the external device 6 or the like is disconnected while the image (A), the image (B), and the image (C) are initially displayed, the layout management unit By designating 35, the image (C) can be excluded from the superimposition target and the image (D) can be displayed. In this case, the display processing unit 36 also performs display enlargement, display reduction, and display area movement processing.

ファイル処理部40は、ファイルの入力と出力に関する処理を行う。ファイル処理部40は、USBメモリ5等の記憶装置から画像データを読み込み、各ページをページデータとしてページデータ記憶部300に記憶する。また、ファイル処理部40は、ページデータ記憶部300に記憶されているページデータを、PDF形式のファイルに変換して、USBメモリ5等の記憶装置に記憶させる。この他、PDFファイルを電子メールに添付して送信する。 The file processing unit 40 performs processing related to file input and output. The file processing unit 40 reads image data from a storage device such as a USB memory 5, and stores each page as page data in the page data storage unit 300. Further, the file processing unit 40 converts the page data stored in the page data storage unit 300 into a PDF format file and stores it in a storage device such as a USB memory 5. In addition, the PDF file is attached to an e-mail and sent.

〔サーバ部の機能構成〕
サーバ部90は、各表示装置2に設けられており、いずれの表示装置2であっても、サーバ部としての役割を果たすことができる。そのため、サーバ部90は、通信制御部70、及びデータ管理部80を有している。
[Functional configuration of server section]
The server unit 90 is provided in each display device 2, and any display device 2 can play a role as a server unit. Therefore, the server unit 90 has a communication control unit 70 and a data management unit 80.

通信制御部70は、同じ表示装置2内のクライアント部20における通信制御部70、及び通信ネットワークNを介して他の表示装置2内のクライアント部20における通信制御部70との通信を制御する。データ管理部80は、操作データや画像データ等を管理する。 The communication control unit 70 controls communication with the communication control unit 70 in the client unit 20 in the same display device 2 and the communication control unit 70 in the client unit 20 in another display device 2 via the communication network N. The data management unit 80 manages operation data, image data, and the like.

<読み込む画像とディスプレイのアスペクト比に応じた画像の表示位置の決定に関する表示装置の機能>
続いて、図8を参照して、画像11の表示位置の決定に関する表示装置の機能について説明する。図8は、読み込む画像11とディスプレイ3のアスペクト比に応じた画像11の表示位置の決定に関する表示装置2の機能を示す機能ブロック図の一例である。図8の表示装置は、図6に示した機能から一部が抽出された機能と、新たにディスプレイ方向検出部42とアスペクト比比較部41とを有している。また、画像記憶部43とアスペクト比記憶部44を有している。
<Function of the display device for determining the display position of the image according to the aspect ratio of the image to be read and the display>
Subsequently, with reference to FIG. 8, the function of the display device relating to the determination of the display position of the image 11 will be described. FIG. 8 is an example of a functional block diagram showing the function of the display device 2 regarding the determination of the display position of the image 11 according to the aspect ratio of the image 11 to be read and the display 3. The display device of FIG. 8 has a function partially extracted from the functions shown in FIG. 6, a display direction detection unit 42, and an aspect ratio comparison unit 41. It also has an image storage unit 43 and an aspect ratio storage unit 44.

画像記憶部43には表示装置2が表示する画像11の画像データが記憶されている。画像記憶部43は、上記USBメモリ5だけでなく、クラウド上のサーバ、及び、NAS(Network Attached Storage)なども含む。表示装置2のRAM203又はSSD204が対応する場合もある。また、スマートフォンなどの携帯端末が記憶している画像データを近距離通信回路219(Bluetooth(登録商標)、Wi−Fi、NFC)などで受信してもよい。また、他の拠点の表示装置2が画像データを記憶している場合、画像記憶部43に他の拠点の表示装置2も含まれる。 The image storage unit 43 stores the image data of the image 11 displayed by the display device 2. The image storage unit 43 includes not only the USB memory 5 but also a server on the cloud, NAS (Network Attached Storage), and the like. The RAM 203 or SSD 204 of the display device 2 may correspond to this. Further, the image data stored in the mobile terminal such as a smartphone may be received by the short-range communication circuit 219 (Bluetooth (registered trademark), Wi-Fi, NFC) or the like. When the display device 2 of another base stores image data, the image storage unit 43 also includes the display device 2 of the other base.

なお、表示装置2は、同じ表示装置2が保存した画像11を表示する場合もあるし、異なる表示装置2が保存した画像11を保存する場合もある。また、同じ表示装置2又は異なる表示装置2が保存した画像11を表示する場合、保存時と表示時とでディスプレイ方向が異なる場合と同じ場合がある。 The display device 2 may display an image 11 saved by the same display device 2, or may save an image 11 saved by a different display device 2. Further, when displaying an image 11 saved by the same display device 2 or a different display device 2, the display direction may be different between the time of saving and the time of displaying.

また、画像記憶部43に記憶されている画像11は、表示装置2が取り込んだ画像11だけでなく、任意の画像11が含まれる。例えば、カメラで撮像した画像、電子メールで送信された画像、ネットワークからダウンロードした画像などでもよい。 Further, the image 11 stored in the image storage unit 43 includes not only the image 11 captured by the display device 2 but also an arbitrary image 11. For example, an image captured by a camera, an image transmitted by e-mail, an image downloaded from a network, or the like may be used.

操作処理部26はユーザがUI画像に対し行った画像11(ファイル)の読み込み操作を受け付けて、ファイル処理部40に選択された画像11を通知する。ファイル処理部40は画像記憶部43からユーザが選択した画像11を読み込んで、アスペクト比をアスペクト比比較部41に通知する。 The operation processing unit 26 accepts the operation of reading the image 11 (file) performed by the user on the UI image, and notifies the file processing unit 40 of the selected image 11. The file processing unit 40 reads the image 11 selected by the user from the image storage unit 43, and notifies the aspect ratio comparison unit 41 of the aspect ratio.

アスペクト比は、画像11のメタデータに記載の縦と横の解像度又はサイズから算出できる。画像データのフォーマットには、JPEG、TIFF、BMP、PNG、GIFなどがあるが、JPEGとTIFFにはEXIF(Exchangeable image file format)という規格のメタデータが付随していており、メタデータの中に縦と横の解像度又はサイズが格納されている。その他のフォーマットの画像にも縦と横の解像度又はサイズがメタデータに含まれている。 The aspect ratio can be calculated from the vertical and horizontal resolutions or sizes described in the metadata of image 11. Image data formats include JPEG, TIFF, BMP, PNG, GIF, etc., but JPEG and TIFF are accompanied by metadata of the standard EXIF (Exchangeable image file format), which is included in the metadata. Vertical and horizontal resolutions or sizes are stored. Images in other formats also have vertical and horizontal resolutions or sizes in their metadata.

したがって、ファイル処理部40は画像データの本体まで読み込まなくてもアスペクト比を検出できる。なお、画像11のメタデータにアスペクト比がそのまま記載されていてもよい。 Therefore, the file processing unit 40 can detect the aspect ratio without reading the main body of the image data. The aspect ratio may be described as it is in the metadata of the image 11.

また、ディスプレイ方向検出部42は、現在のディスプレイ方向を検出する。図9は、ディスプレイ方向を説明する図である。図9(a)は横向きのディスプレイ方向を示し、図9(b)は縦向きのディスプレイ方向を示す。図9に示すように、ディスプレイ3は少なくとも90度回転できる。回転はユーザが行っても、モーターが行ってもよい。 Further, the display direction detection unit 42 detects the current display direction. FIG. 9 is a diagram illustrating a display direction. FIG. 9A shows a horizontal display direction, and FIG. 9B shows a vertical display direction. As shown in FIG. 9, the display 3 can be rotated at least 90 degrees. The rotation may be performed by the user or by the motor.

ディスプレイ方向検出部42は方向検知センサ225の検知結果に基づいて、ユーザが回転させたディスプレイ方向が横向きか又は縦向きかを検出する。ディスプレイ方向検出部42は検出したディスプレイ方向をアスペクト比比較部41に通知する。なお、表示装置2のディスプレイは方向が固定されていてもよく(ユーザが回転させる機構がない)、この場合、ディスプレイ方向は横向き又は縦向きに固定となる。 The display direction detection unit 42 detects whether the display direction rotated by the user is horizontal or vertical based on the detection result of the direction detection sensor 225. The display direction detection unit 42 notifies the aspect ratio comparison unit 41 of the detected display direction. The display of the display device 2 may have a fixed direction (there is no mechanism for the user to rotate the display), and in this case, the display direction is fixed to be horizontal or vertical.

図8に戻って説明する。アスペクト比比較部41は、ファイル処理部40が通知したアスペクト比と、アスペクト比記憶部44に記憶されているアスペクト比を比較する。表1に示すように、アスペクト比記憶部44にはディスプレイ方向に対応づけて、アスペクト比が記憶されている。 It will be described back to FIG. The aspect ratio comparison unit 41 compares the aspect ratio notified by the file processing unit 40 with the aspect ratio stored in the aspect ratio storage unit 44. As shown in Table 1, the aspect ratio storage unit 44 stores the aspect ratio in association with the display direction.

Figure 2021036401

表1は、アスペクト比記憶部44に記憶されているアスペクト情報の一例である。アスペクト情報は、ディスプレイ方向に対応づけられたディスプレイ3のアスペクト比を有している。例えば、縦向きの場合のアスペクト比は9:16であり、横向きの場合のアスペクト比は16:9である。
Figure 2021036401

Table 1 is an example of the aspect information stored in the aspect ratio storage unit 44. The aspect information has the aspect ratio of the display 3 associated with the display direction. For example, the aspect ratio in the portrait orientation is 9:16, and the aspect ratio in the landscape orientation is 16: 9.

ディスプレイ3のアスペクト比はディスプレイ3の物理的な形状(縦横の解像度)で決まるため、ディスプレイ3の全体が画像の表示領域となる場合、アスペクト情報には表1に示すように2つのアスペクト比が登録されていればよい。しかし、例えば、ディスプレイ3の一部(表示領域)にのみ表示装置2が画像11を表示する場合であって、その表示領域のアスペクト比がディスプレイ3のアスペクト比と異なる場合、アスペクト情報には表示領域用のアスペクト比が記憶されている。この場合、表示領域ごとに横方向と縦方向の2つのアスペクト比が登録されている。 Since the aspect ratio of the display 3 is determined by the physical shape (vertical and horizontal resolution) of the display 3, when the entire display 3 is the display area of the image, the aspect information includes two aspect ratios as shown in Table 1. It only needs to be registered. However, for example, when the display device 2 displays the image 11 only on a part (display area) of the display 3, and the aspect ratio of the display area is different from the aspect ratio of the display 3, the aspect information is displayed. The aspect ratio for the area is stored. In this case, two aspect ratios, one in the horizontal direction and the other in the vertical direction, are registered for each display area.

また、表示装置2においてユーザが任意の表示領域を指定できる場合、アスペクト比比較部41はOS(Operating System)から表示領域のアスペクト比を取得できる。 Further, when the user can specify an arbitrary display area in the display device 2, the aspect ratio comparison unit 41 can acquire the aspect ratio of the display area from the OS (Operating System).

アスペクト比比較部41は、ディスプレイ方向に対応づけられているアスペクト比をアスペクト比記憶部44から読み出して、ファイル処理部40が通知したアスペクト比と比較する。アスペクト比比較部41は比較結果(異)とディスプレイ方向をメニュー画面生成部33に通知する。アスペクト比比較部41は比較結果(同)に表示を画像生成部34に通知する。 The aspect ratio comparison unit 41 reads the aspect ratio associated with the display direction from the aspect ratio storage unit 44 and compares it with the aspect ratio notified by the file processing unit 40. The aspect ratio comparison unit 41 notifies the menu screen generation unit 33 of the comparison result (different) and the display direction. The aspect ratio comparison unit 41 notifies the image generation unit 34 of the display in the comparison result (same as above).

なお、表示装置2のディスプレイ方向が横向き又は縦向きに固定の場合、アスペクト比記憶部44にはアスペクト比が1つのみ記憶されているので、アスペクト比比較部41はアスペクト比記憶部44のアスペクト比と、画像11のアスペクト比を比較する。 When the display direction of the display device 2 is fixed to be horizontal or vertical, only one aspect ratio is stored in the aspect ratio storage unit 44, so that the aspect ratio comparison unit 41 has the aspect ratio of the aspect ratio storage unit 44. The ratio is compared with the aspect ratio of the image 11.

メニュー画面生成部33は、比較結果が異なる場合、図3に示したような、表示位置指定画面100をディスプレイ3に表示する。 When the comparison results are different, the menu screen generation unit 33 displays the display position designation screen 100 on the display 3 as shown in FIG.

操作処理部26は、表示位置指定画面100に対するユーザの操作(画像11の表示位置)を受け付け、表示位置情報を画像生成部34に通知する。ファイル処理部40は読み取った画像11を画像生成部34に通知するので、画像生成部34はこの画像11を表示位置情報に基づいて背景画像に配置する。 The operation processing unit 26 receives the user's operation (display position of the image 11) on the display position designation screen 100, and notifies the image generation unit 34 of the display position information. Since the file processing unit 40 notifies the image generation unit 34 of the read image 11, the image generation unit 34 arranges the image 11 on the background image based on the display position information.

また、比較結果(同)を通知された画像生成部34は、背景画像の全面にファイル処理部40が読み取った画像11を配置する。 Further, the image generation unit 34 notified of the comparison result (same as above) arranges the image 11 read by the file processing unit 40 on the entire surface of the background image.

<表示位置指定画面の例>
以下、図10を参照して、ディスプレイ方向に応じた表示位置指定画面100について説明する。
<Example of display position specification screen>
Hereinafter, the display position designation screen 100 according to the display direction will be described with reference to FIG.

・ディスプレイ方向が横向きの場合
図10(a)は、ディスプレイ方向が横向きの場合にディスプレイ3に表示される表示位置指定画面100の一例である。メニュー画面生成部33は、ディスプレイ方向が横向きなので、水平方向における画像11の表示位置を受け付ける表示位置指定画面100を表示する。このため、表示位置指定画面100は、中央101、右寄せ102、左寄せ103という表示位置の候補、ラジオボタン110、OKボタン104、及び、キャンセルボタン105を有している。ユーザは中央101、右寄せ102又は左寄せ103に対応するラジオボタン110を選択して、OKボタン104を押下する。
-When the display direction is landscape FIG. 10 (a) is an example of the display position designation screen 100 displayed on the display 3 when the display direction is landscape. Since the display direction is horizontal, the menu screen generation unit 33 displays the display position designation screen 100 that accepts the display position of the image 11 in the horizontal direction. Therefore, the display position designation screen 100 has display position candidates of center 101, right-aligned 102, and left-aligned 103, a radio button 110, an OK button 104, and a cancel button 105. The user selects the radio button 110 corresponding to the center 101, right-aligned 102, or left-aligned 103, and presses the OK button 104.

・ディスプレイ方向が縦向きの場合
図10(b)は、ディスプレイ方向が縦向きの場合にディスプレイ3に表示される表示位置指定画面100の一例である。メニュー画面生成部33は、ディスプレイ方向が縦向きなので、垂直方向における画像11の表示位置を受け付ける表示位置指定画面100を表示する。このため、表示位置指定画面100は、上寄せ106、中央107、下寄せ108という表示位置の候補、ラジオボタン110、OKボタン104、及び、キャンセルボタン105を有している。ユーザは上寄せ106、中央107又は下寄せ108に対応するラジオボタン110を選択して、OKボタン104を押下する。
-When the display direction is vertical FIG. 10B is an example of the display position designation screen 100 displayed on the display 3 when the display direction is vertical. Since the display direction is vertical, the menu screen generation unit 33 displays the display position designation screen 100 that accepts the display position of the image 11 in the vertical direction. Therefore, the display position designation screen 100 has display position candidates of top-aligned 106, center-aligned 107, and bottom-aligned 108, a radio button 110, an OK button 104, and a cancel button 105. The user selects the radio button 110 corresponding to the top alignment 106, the center alignment 107, or the bottom alignment 108, and presses the OK button 104.

なお、図10(a)(b)の表示位置指定画面100は一例であり、例えば、4つ以上の表示位置を選択可能に表示してもよい。 The display position designation screen 100 in FIGS. 10A and 10B is an example, and for example, four or more display positions may be selectably displayed.

また、図10(c)に示すようにユーザは数値で表示位置を指定してもよい。図10(c)の表示位置指定画面100は数値入力欄111を有し、数値入力欄111には左端からの乖離量をユーザが入力する。数値入力欄111には「A%(図では30%)」というように、ユーザが0〜100までの数値を指定できる。なお、図10(c)の表示位置指定画面100はディスプレイ方向が横向きの場合の例であるが、ディスプレイ方向が縦向きの場合の表示位置指定画面100でも同様に数値で表示位置を指定できる。 Further, as shown in FIG. 10C, the user may specify the display position numerically. The display position designation screen 100 of FIG. 10C has a numerical value input field 111, and the user inputs the amount of deviation from the left end in the numerical value input field 111. The user can specify a numerical value from 0 to 100 in the numerical value input field 111, such as "A% (30% in the figure)". The display position designation screen 100 in FIG. 10C is an example when the display direction is horizontal, but the display position can be similarly specified numerically on the display position designation screen 100 when the display direction is vertical.

また、表示装置2は表示位置指定画面100の代わりに、表示位置の候補となる点線の枠(画像11と同じアスペクト比の枠)をディスプレイ3に表示して、ユーザからの選択を受け付けてもよい。これにより、ユーザは画像11が表示される位置をイメージしやすくなる。 Further, the display device 2 may display a dotted line frame (a frame having the same aspect ratio as the image 11) as a candidate for the display position on the display 3 instead of the display position designation screen 100, and accept the selection from the user. Good. This makes it easier for the user to imagine the position where the image 11 is displayed.

<方向検知センサを有さない場合>
本実施例では表示装置2が方向検知センサ225を有する場合を前提に説明しているが、方向検知センサ225はなくてもよい。この場合、ディスプレイ3が縦向きか横向きかはユーザが設定する。
<If you do not have a direction detection sensor>
In this embodiment, the display device 2 has the direction detection sensor 225, but the direction detection sensor 225 may not be provided. In this case, the user sets whether the display 3 is in portrait orientation or landscape orientation.

図11はメニュー画面生成部33が表示する設定画面120の一例である。設定画面120は、初期設定時や起動時にユーザが表示させてもよいし、画像11の読み込み時に自動的に表示してもよい。設定画面120は、横向き121と縦向き122に対応するラジオボタン125、OKボタン123、及び、キャンセルボタン124を有している。ユーザは、自分の目で確認したディスプレイ3の方向を設定画面120で設定する。操作処理部26はこの設定を受け付けるので、アスペクト比比較部41はアスペクト比記憶部44からディスプレイ方向に対応しているアスペクト比を読み込むことができる。 FIG. 11 is an example of the setting screen 120 displayed by the menu screen generation unit 33. The setting screen 120 may be displayed by the user at the time of initial setting or startup, or may be automatically displayed at the time of reading the image 11. The setting screen 120 has a radio button 125, an OK button 123, and a cancel button 124 corresponding to the horizontal direction 121 and the vertical direction 122. The user sets the direction of the display 3 confirmed by his / her own eyes on the setting screen 120. Since the operation processing unit 26 accepts this setting, the aspect ratio comparison unit 41 can read the aspect ratio corresponding to the display direction from the aspect ratio storage unit 44.

<動作手順>
図12は、表示装置2が読み込む画像11とディスプレイ3のアスペクト比に応じて画像11の表示位置を決定する手順を示すフローチャート図の一例である。
<Operation procedure>
FIG. 12 is an example of a flowchart showing a procedure for determining the display position of the image 11 according to the aspect ratio of the image 11 read by the display device 2 and the display 3.

まず、ユーザが画像11を読み込む操作を行うため、操作処理部26が画像11(ファイル)の読み取り操作を受け付ける(S1)。ファイル処理部40が指定された画像11を読み込む(S2)。これにより、画像11のアスペクト比が検出される。 First, since the user performs the operation of reading the image 11, the operation processing unit 26 accepts the operation of reading the image 11 (file) (S1). The file processing unit 40 reads the designated image 11 (S2). As a result, the aspect ratio of the image 11 is detected.

一方、ディスプレイ方向検出部42が現在のディスプレイ方向を検出する(S3)。ディスプレイ方向は、リアルタイムに検出してもよいし、最後に検出したディスプレイ方向を保持していてもよい。ユーザが設定したディスプレイ方向を使用してもよい。 On the other hand, the display direction detection unit 42 detects the current display direction (S3). The display orientation may be detected in real time, or the last detected display orientation may be retained. The display orientation set by the user may be used.

次に、アスペクト比比較部41が画像11のアスペクト比と、ディスプレイ方向に応じてアスペクト比記憶部44から読み取ったアスペクト比を比較する(S4)。例えば、画像11のアスペクト比がW1:H1で、アスペクト比記憶部44から読み取ったアスペクト比がW2:H2の場合、
W2/H2−α < W1/H1 < W2/H2+α
を満たす場合はアスペクト比が同じであり、満たさない場合は異なると判断する。
Next, the aspect ratio comparison unit 41 compares the aspect ratio of the image 11 with the aspect ratio read from the aspect ratio storage unit 44 according to the display direction (S4). For example, when the aspect ratio of the image 11 is W1: H1 and the aspect ratio read from the aspect ratio storage unit 44 is W2: H2,
W2 / H2-α <W1 / H1 <W2 / H2 + α
If it satisfies, the aspect ratio is the same, and if it does not satisfy, it is judged to be different.

αは許容誤差であり、アスペクト比が完全に一致しなくても、アスペクト比が同じであると見なすことができる範囲を示す。許容誤差を設けることで全画面表示する機会を多くすることができる。なお、αはH2/W2の数%とすればよいが、例えばユーザが任意に設定してもよい。例えば、W1:H1が9:16、W2:H2が4:3、αを5%とすると、
4/3−0.067 < 16/9は成り立つが、 16/9 > 4/3+0.067 なので、アスペクト比が異なると判断される。
α is a margin of error, and indicates a range in which the aspect ratios can be considered to be the same even if the aspect ratios do not exactly match. By providing a margin of error, it is possible to increase the chances of full-screen display. Note that α may be a few percent of H2 / W2, but may be arbitrarily set by the user, for example. For example, if W1: H1 is 9:16, W2: H2 is 4: 3, and α is 5%.
4 / 3-0.067 <16/9 holds, but 16/9> 4/3 + 0.067, so it is judged that the aspect ratios are different.

アスペクト比が異なる場合(S5のNo)、メニュー画面生成部33がディスプレイ方向に応じた表示位置指定画面100をディスプレイ3に表示する(S6)。すなわち、ディスプレイ方向が横向きの場合、図10(a)に示した表示位置指定画面100を表示し、ディスプレイ方向が縦向きの場合、図10(b)に示した表示位置指定画面100を表示する。 When the aspect ratios are different (No in S5), the menu screen generation unit 33 displays the display position designation screen 100 according to the display direction on the display 3 (S6). That is, when the display direction is horizontal, the display position designation screen 100 shown in FIG. 10A is displayed, and when the display direction is vertical, the display position designation screen 100 shown in FIG. 10B is displayed. ..

ユーザは表示位置指定画面100に対し表示位置を指定するので、操作処理部26が表示位置を受け付ける(S7)。 Since the user specifies the display position with respect to the display position designation screen 100, the operation processing unit 26 accepts the display position (S7).

画像生成部34は表示位置にファイル処理部40が読み取った画像11を配置する(S8)。具体的には画像11の長い方の辺が、ディスプレイ3側の対応する辺の長さに一致するように、画像11を変倍する(拡大又は縮小する)。詳細は、図13にて説明する。 The image generation unit 34 arranges the image 11 read by the file processing unit 40 at the display position (S8). Specifically, the image 11 is scaled (enlarged or reduced) so that the longer side of the image 11 matches the length of the corresponding side on the display 3 side. Details will be described with reference to FIG.

アスペクト比が同じ場合(S5のYes)、画像生成部34がディスプレイの全面にファイル処理部40が読み取った画像11を配置する(S9)。この場合も、画像11を変倍する場合が多い。 When the aspect ratios are the same (Yes in S5), the image generation unit 34 arranges the image 11 read by the file processing unit 40 on the entire surface of the display (S9). In this case as well, the image 11 is often scaled.

表示処理部36は背景画像をストローク画像などと重畳して、ディスプレイ3に表示する(S10)。 The display processing unit 36 superimposes the background image on the stroke image or the like and displays it on the display 3 (S10).

<画像の変倍>
図13は、画像11の変倍を説明する図である。なお、図13ではディスプレイ3が横向きの場合を説明する。図13(a)に示す画像11の縦のサイズをH1、横のサイズをW1とする。また、図13(b)に示すディスプレイ3の縦のサイズをH2、横のサイズをW2とする。画像11をディスプレイ3内に収めるには、画像11の長い方の辺(図ではH1)をディスプレイ3内に収める必要がある。このためH2/H1を比率として、画像生成部34は、画像11を変倍する。
変倍後の画像11の縦のサイズ=H1×H2/H1
変倍後の画像11の横のサイズ=W1×H2/H1
こうすることで、画像11を最大限大きくしてディスプレイ3内に表示することができる。なお、画像11とディスプレイ3のアスペクト比が同じ場合も計算方法は同じになる。
<Scale of image>
FIG. 13 is a diagram illustrating the scaling of the image 11. Note that FIG. 13 describes a case where the display 3 is oriented sideways. Let H1 be the vertical size and W1 be the horizontal size of the image 11 shown in FIG. 13 (a). Further, the vertical size of the display 3 shown in FIG. 13B is H2, and the horizontal size is W2. In order to fit the image 11 in the display 3, it is necessary to fit the longer side (H1 in the figure) of the image 11 in the display 3. Therefore, the image generation unit 34 scales the image 11 with H2 / H1 as the ratio.
Vertical size of image 11 after scaling = H1 x H2 / H1
Horizontal size of image 11 after scaling = W1 x H2 / H1
By doing so, the image 11 can be maximized and displayed in the display 3. The calculation method is the same even when the aspect ratios of the image 11 and the display 3 are the same.

また、図13の計算例では、変倍により画像11の縦の長さがディスプレイ3の縦の長さと一致するが、必ずしも両者は一致しなくてよい。例えば、実際よりも小さいH2(例えば80〜90%など)を使用すれば、ディスプレイ3に表示された画像11の上又は下、又は両方に余白を形成できる。 Further, in the calculation example of FIG. 13, the vertical length of the image 11 matches the vertical length of the display 3 due to scaling, but the two do not necessarily have to match. For example, if H2 smaller than the actual size (for example, 80 to 90%) is used, a margin can be formed above, below, or both of the image 11 displayed on the display 3.

図14(a)は画像11の上、下、又は両方に余白を形成する設定を受け付ける表示位置指定画面100の一例である。図14(a)の表示位置指定画面100では、ユーザが表示位置を選択するとサブメニューが開く。サブメニューには、「やや小さめ」に対応したラジオボタン131、余白位置を指定するためのラジオボタン132がある。「やや小さめ」が選択された場合、画像11の短い方の辺と表示領域の端までの間に余白が設けられる。 FIG. 14A is an example of the display position designation screen 100 that accepts settings for forming margins at the top, bottom, or both of the image 11. On the display position designation screen 100 of FIG. 14A, a submenu opens when the user selects a display position. The submenu includes a radio button 131 corresponding to "slightly smaller" and a radio button 132 for designating a margin position. When "Slightly smaller" is selected, a margin is provided between the shorter side of the image 11 and the edge of the display area.

ユーザが「上」に対応するラジオボタン132を選択した場合、図14(b)に示すように、画像11の上側に余白が設けられる。ユーザが「下」に対応するラジオボタン132を選択した場合、図14(c)に示すように、画像11の下側に余白が設けられる。ユーザが「両方」に対応するラジオボタン132を選択した場合、図14(d)に示すように、画像11の上下に余白が設けられる。 When the user selects the radio button 132 corresponding to “top”, a margin is provided on the upper side of the image 11 as shown in FIG. 14 (b). When the user selects the radio button 132 corresponding to "bottom", a margin is provided on the lower side of the image 11 as shown in FIG. 14 (c). When the user selects the radio button 132 corresponding to "both", margins are provided at the top and bottom of the image 11 as shown in FIG. 14 (d).

このように、ユーザは表示位置指定画面100により、画像11の上、下、又は両方のどこに余白を形成するかを指定できる。 In this way, the user can specify where to form the margin above, below, or both of the image 11 on the display position designation screen 100.

なお、どの程度小さくするかをユーザが手動で入力できてもよいし、いくつかの候補から選択できてもよい。 The user may be able to manually input how small the size should be, or may be able to select from several candidates.

<各表示位置への画像11の表示例>
図15を用いて各表示位置への画像11の表示例について説明する。なお、ディスプレイ3が横向きの場合は図3で説明したので、図15ではディスプレイ3が縦向きの場合を説明する。
<Display example of image 11 at each display position>
An example of displaying the image 11 at each display position will be described with reference to FIG. Since the case where the display 3 is oriented horizontally has been described with reference to FIG. 3, the case where the display 3 is oriented vertically will be described with reference to FIG.

図15は、画像11を読み込む場合に表示装置2が表示する表示位置指定画面100の一例である。図15(a)の画面には、上寄せ106、中央107、下寄せ108というボタンがあり、ユーザはいずれかに対応したラジオボタン110を選択できる。 FIG. 15 is an example of the display position designation screen 100 displayed by the display device 2 when the image 11 is read. The screen of FIG. 15A has buttons called top-aligned 106, center-aligned 107, and bottom-aligned 108, and the user can select the radio button 110 corresponding to any of them.

ユーザが上寄せ106を選択した場合、図15(b)に示すように、表示装置2はディスプレイ3の上端に画像11を表示する。ユーザが中央107を選択した場合、図15(c)に示すように、表示装置2はディスプレイ3の中央に画像11を表示する。ユーザが下寄せ108を選択した場合、図15(d)に示すように、表示装置2はディスプレイ3の右端に画像11を表示する。 When the user selects the top alignment 106, the display device 2 displays the image 11 on the upper end of the display 3, as shown in FIG. 15 (b). When the user selects the center 107, the display device 2 displays the image 11 in the center of the display 3, as shown in FIG. 15 (c). When the user selects the bottom alignment 108, the display device 2 displays the image 11 at the right end of the display 3, as shown in FIG. 15 (d).

<まとめ>
以上説明したように、本実施例の表示装置2は、ユーザが画像11の表示位置を選択できるため、これから表示する画像データの表示位置が固定されず、どこに余白が生じるように画像11を表示するかをユーザが決定できる。
<Summary>
As described above, in the display device 2 of the present embodiment, since the user can select the display position of the image 11, the display position of the image data to be displayed from now on is not fixed, and the image 11 is displayed so that a margin is generated. The user can decide whether to do so.

本実施例では、ユーザが画像11を移動して表示位置を指定することができる表示装置2について説明する。 In this embodiment, the display device 2 in which the user can move the image 11 to specify the display position will be described.

なお、本実施例においては、上記の実施例1にて説明した図5のハードウェア構成図、及び、図8に示した機能ブロック図を援用できるものとして説明する。 In this embodiment, the hardware configuration diagram of FIG. 5 and the functional block diagram of FIG. 8 described in the above-described first embodiment will be described as being applicable.

<本実施例の表示位置指定画面の例>
図16は、本実施例の表示位置指定画面100の一例を示す。
<Example of display position specification screen of this embodiment>
FIG. 16 shows an example of the display position designation screen 100 of this embodiment.

・ディスプレイ3が横向きの場合
図16(a)に示すように、メニュー画面生成部33は、水平方向に移動できる態様で画像11を表示すると共に、操作処理部26は画像11の水平方向の移動を受け付ける。ユーザは画像11を手や電子ペンでタッチして、画面に接したまま手又は電子ペンを左又は右に移動させる。表示位置指定画面100は確定ボタン140を有しており、ユーザが確定ボタン140を押下すると、表示位置が決定される。画像生成部34は背景画像のユーザが決定した表示位置に画像11を表示する。
When the display 3 is in landscape orientation As shown in FIG. 16A, the menu screen generation unit 33 displays the image 11 in a manner that allows it to move in the horizontal direction, and the operation processing unit 26 moves the image 11 in the horizontal direction. Accept. The user touches the image 11 with a hand or an electronic pen, and moves the hand or the electronic pen to the left or right while touching the screen. The display position designation screen 100 has a confirmation button 140, and when the user presses the confirmation button 140, the display position is determined. The image generation unit 34 displays the image 11 at a display position determined by the user of the background image.

・ディスプレイ3が縦向きの場合
図16(b)に示すように、メニュー画面生成部33は、上下方向に移動できる態様で画像11を表示すると共に、操作処理部26は画像11の上下方向の移動を受け付ける。ユーザは画像11を手や電子ペンでタッチして、画面に接したまま手又は電子ペンを上又は下に移動させる。表示位置指定画面100は確定ボタン140を有しており、ユーザが確定ボタン140を押下すると、表示位置が決定される。画像生成部34は背景画像のユーザが決定した表示位置に画像11を表示する。
When the display 3 is oriented vertically As shown in FIG. 16B, the menu screen generation unit 33 displays the image 11 in a manner that allows it to move in the vertical direction, and the operation processing unit 26 displays the image 11 in the vertical direction of the image 11. Accept movement. The user touches the image 11 with a hand or an electronic pen, and moves the hand or the electronic pen up or down while touching the screen. The display position designation screen 100 has a confirmation button 140, and when the user presses the confirmation button 140, the display position is determined. The image generation unit 34 displays the image 11 at a display position determined by the user of the background image.

なお、図16では実際の画像11が表示されているが、表示装置2は点線の枠(画像11と同じアスペクト比の枠)などを画像11の代わりに表示して、枠に対する移動を受け付けてもよい。 Although the actual image 11 is displayed in FIG. 16, the display device 2 displays a dotted line frame (a frame having the same aspect ratio as the image 11) instead of the image 11 and accepts the movement with respect to the frame. May be good.

<動作手順>
表示装置2の動作手順は実施例1の図12と同様でよい。ただし、ステップS7では、操作処理部26が画像11の移動(ドラッグ)により表示位置を受け付ける。
<Operation procedure>
The operation procedure of the display device 2 may be the same as that of FIG. 12 of the first embodiment. However, in step S7, the operation processing unit 26 accepts the display position by moving (drag) the image 11.

<まとめ>
本実施例によれば、実施例1の効果に加え、ユーザが実際に画像11を表示させて確認した表示位置に画像11を表示できる。また、無段階に表示位置を決定できる。
<Summary>
According to this embodiment, in addition to the effect of the first embodiment, the image 11 can be displayed at the display position confirmed by the user actually displaying the image 11. Moreover, the display position can be determined steplessly.

本実施例では画像を投影することで表示する表示装置について説明する。 In this embodiment, a display device that displays by projecting an image will be described.

<<表示装置の構成の別の例1>>
本実施形態の表示装置は大型のタッチパネルを有するものとして説明されているが、表示装置はタッチパネルを有するものに限られない。
<< Another example of display device configuration 1 >>
Although the display device of the present embodiment is described as having a large touch panel, the display device is not limited to the one having a touch panel.

図17は、表示装置の他の構成例を示す図である。図17では、通常のホワイトボード413の上辺にプロジェクター411が設置されている。このプロジェクター411が表示装置に相当する。通常のホワイトボード413とは、タッチパネルと一体のフラットパネルディスプレイではなく、ユーザがマーカーで直接、手書きするホワイトボードである。なお、ホワイトボードは黒板でもよく、映像を投影するだけの広さの平面であればよい。 FIG. 17 is a diagram showing another configuration example of the display device. In FIG. 17, the projector 411 is installed on the upper side of the normal whiteboard 413. This projector 411 corresponds to a display device. The normal whiteboard 413 is not a flat panel display integrated with a touch panel, but a whiteboard that the user directly handwrites with a marker. The whiteboard may be a blackboard, and may be a flat surface large enough to project an image.

プロジェクター411は超短焦点の光学系を有しており、10cm程度から歪みの少ない映像をホワイトボード413に投影できる。この映像は、無線又は有線で接続されたPC400ー1から送信されてもよいし、プロジェクター411が記憶していてもよい。 The projector 411 has an ultra-short focus optical system, and can project an image with little distortion from about 10 cm onto the whiteboard 413. This image may be transmitted from the PC 400-1 connected wirelessly or by wire, or may be stored in the projector 411.

ユーザは専用の電子ペン2501を使ってホワイトボード413に手書きする。電子ペン2501は、ユーザが手書きのためにホワイトボード413に押しつけるとスイッチがONになり発光する発光部を例えば先端部に有している。光の波長は近赤外や赤外なのでユーザの目には見えない。プロジェクター411はカメラを有しており、発光部を撮像して画像を解析し電子ペン2501の方向を特定する。また、電子ペン2501は発光と共に音波を発信しており、プロジェクター411は音波の到達時間により距離を算出する。方向と距離により電子ペン2501の位置を特定できる。電子ペン2501の位置にはストロークが描画(投影)される。 The user writes on the whiteboard 413 using a dedicated electronic pen 2501. The electronic pen 2501 has, for example, a tip portion that emits light when the user presses it against the whiteboard 413 for handwriting and the switch is turned on. Since the wavelength of light is near infrared or infrared, it is invisible to the user's eyes. The projector 411 has a camera, captures a light emitting unit, analyzes the image, and identifies the direction of the electronic pen 2501. Further, the electronic pen 2501 emits sound waves together with light emission, and the projector 411 calculates the distance from the arrival time of the sound waves. The position of the electronic pen 2501 can be specified by the direction and the distance. A stroke is drawn (projected) at the position of the electronic pen 2501.

プロジェクター411はメニュー430を投影するので、ユーザが電子ペン2501でボタンを押下すると、プロジェクター411が電子ペン2501の位置とスイッチのON信号により押下されたボタンを特定する。例えば、保存ボタン431が押下されると、ユーザが手書きしたストローク(座標の集合)がプロジェクター411で保存される。プロジェクター411は、予め定められたサーバ412又はUSBメモリ2600等に手書き情報を保存する。手書き情報はページごとに保存されている。画像データではなく座標のまま保存されるので、ユーザが再編集することができる。ただし、本実施形態では操作コマンドを手書きで呼び出せるのでメニュー430は表示されなくてもよい。 Since the projector 411 projects the menu 430, when the user presses a button with the electronic pen 2501, the projector 411 identifies the pressed button by the position of the electronic pen 2501 and the ON signal of the switch. For example, when the save button 431 is pressed, the stroke (set of coordinates) handwritten by the user is saved by the projector 411. The projector 411 stores handwritten information in a predetermined server 412, a USB memory 2600, or the like. Handwritten information is stored page by page. Since the coordinates are saved instead of the image data, the user can re-edit them. However, in the present embodiment, since the operation command can be called by hand, the menu 430 does not have to be displayed.

<<表示装置の構成の別の例2>>
図18は、表示装置の他の構成例を示す図である。図18の例では、表示装置として、端末装置600、画像投影装置700A、及び、ペン動作検出装置810を有する。
<< Another example of display device configuration 2 >>
FIG. 18 is a diagram showing another configuration example of the display device. In the example of FIG. 18, the display device includes a terminal device 600, an image projection device 700A, and a pen motion detection device 810.

端末装置600は、画像投影装置700A及びペン動作検出装置810と有線で接続されている。画像投影装置700Aは、端末装置600により入力された画像データをスクリーン800に投影させる。 The terminal device 600 is wiredly connected to the image projection device 700A and the pen motion detection device 810. The image projection device 700A projects the image data input by the terminal device 600 onto the screen 800.

ペン動作検出装置810は、電子ペン820と通信を行っており、スクリーン800の近傍における電子ペン820の動作を検出する。具体的には、電子ペン820は、スクリーン800上において、電子ペン820が示している点を示す座標情報を検出し、端末装置600へ送信する。 The pen motion detection device 810 communicates with the electronic pen 820 and detects the motion of the electronic pen 820 in the vicinity of the screen 800. Specifically, the electronic pen 820 detects coordinate information indicating a point indicated by the electronic pen 820 on the screen 800 and transmits the coordinate information to the terminal device 600.

端末装置600は、ペン動作検出装置810から受信した座標情報に基づき、電子ペン820によって入力されるストローク画像の画像データを生成し、画像投影装置700Aによってストローク画像をスクリーン800に描画させる。 The terminal device 600 generates image data of a stroke image input by the electronic pen 820 based on the coordinate information received from the pen motion detection device 810, and causes the image projection device 700A to draw the stroke image on the screen 800.

また、端末装置600は、画像投影装置700Aに投影させている背景画像と、電子ペン820によって入力されたストローク画像とを合成した重畳画像を示す重畳画像データを生成する。 Further, the terminal device 600 generates superimposed image data showing a superimposed image in which the background image projected on the image projection device 700A and the stroke image input by the electronic pen 820 are combined.

<<表示装置の構成の別の例3>>
図19は、表示装置の構成例を示す図である。図19の例では、表示装置として、端末装置600とディスプレイ800Aと、ペン動作検出装置810とを有する。
<< Another example of display device configuration 3 >>
FIG. 19 is a diagram showing a configuration example of the display device. In the example of FIG. 19, the display device includes a terminal device 600, a display 800A, and a pen motion detection device 810.

ペン動作検出装置810は、ディスプレイ800Aの近傍に配置され、ディスプレイ800A上に、電子ペン820Aが示している点を示す座標情報を検出し、端末装置600へ送信する。なお、図19の例では、電子ペン820Aは、端末装置600によってUSBコネクタを介して充電されても良い。 The pen motion detection device 810 is arranged in the vicinity of the display 800A, detects coordinate information indicating a point indicated by the electronic pen 820A on the display 800A, and transmits the coordinate information to the terminal device 600. In the example of FIG. 19, the electronic pen 820A may be charged by the terminal device 600 via the USB connector.

端末装置600は、ペン動作検出装置810から受信した座標情報に基づき、電子ペン820Aによって入力されるストローク画像の画像データを生成し、ディスプレイ800Aに表示させる。 The terminal device 600 generates image data of a stroke image input by the electronic pen 820A based on the coordinate information received from the pen motion detection device 810, and displays the image data on the display 800A.

<<表示装置の構成の別の例4>>
図20は、表示装置の構成例を示す図である。図20の例では、表示装置として、端末装置600と、画像投影装置700Aとを有する。
<< Another example of display device configuration 4 >>
FIG. 20 is a diagram showing a configuration example of the display device. In the example of FIG. 20, the display device includes a terminal device 600 and an image projection device 700A.

端末装置600は、電子ペン820Bと無線通信(Bluetooth(登録商標)等)を行って、スクリーン800上において電子ペン820Bが示す点の座標情報を受信する。そして、端末装置600は、受信した座標情報に基づき、電子ペン820Bにより入力されるストローク画像の画像データを生成し、画像投影装置700Aにストローク画像を投影させる。 The terminal device 600 performs wireless communication (Bluetooth (registered trademark), etc.) with the electronic pen 820B, and receives the coordinate information of the point indicated by the electronic pen 820B on the screen 800. Then, the terminal device 600 generates image data of the stroke image input by the electronic pen 820B based on the received coordinate information, and causes the image projection device 700A to project the stroke image.

また、端末装置600は、画像投影装置700Aに投影させている背景画像と、電子ペン820によって入力されたストローク画像とを合成した重畳画像を示す重畳画像データを生成する。 Further, the terminal device 600 generates superimposed image data showing a superimposed image in which the background image projected on the image projection device 700A and the stroke image input by the electronic pen 820 are combined.

以上のように、上記した各実施形態は、様々なシステム構成において適用することができる。 As described above, each of the above-described embodiments can be applied in various system configurations.

<その他の適用例>
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
<Other application examples>
Although the best mode for carrying out the present invention has been described above with reference to examples, the present invention is not limited to these examples, and various modifications are made without departing from the gist of the present invention. And substitutions can be made.

例えば、本実施形態では、電子黒板として使用できる表示装置を説明したが、表示装置は画像を表示できればよく、例えばデジタルサイネージなどでもよい。 For example, in the present embodiment, a display device that can be used as an electronic blackboard has been described, but the display device may be any display device as long as it can display an image, for example, digital signage.

また、表示する画像11は動画でも静止画でもよい。 Further, the image 11 to be displayed may be a moving image or a still image.

また、本実施形態では電子黒板を一例として説明したが、タッチパネルを有する情報処理装置であれば好適に適用できる。タッチパネルを搭載した情報処理装置としては、例えば、PJ(Projector:プロジェクター)、デジタルサイネージ等の出力装置、HUD(Head Up Display)装置、産業機械、撮像装置、集音装置、医療機器、ネットワーク家電、ノートPC(Personal Computer)、携帯電話、スマートフォン、タブレット端末、ゲーム機、PDA(Personal Digital Assistant)、デジタルカメラ、ウェアラブルPC又はデスクトップPC等であってもよい。 Further, in the present embodiment, the electronic blackboard has been described as an example, but any information processing device having a touch panel can be suitably applied. Information processing devices equipped with a touch panel include, for example, PJs (Projectors), output devices such as digital signage, HUD (Head Up Display) devices, industrial machines, imaging devices, sound collectors, medical devices, network home appliances, etc. It may be a notebook PC (Personal Computer), a mobile phone, a smartphone, a tablet terminal, a game machine, a PDA (Personal Digital Assistant), a digital camera, a wearable PC, a desktop PC, or the like.

また、本実施形態ではペン先の座標をタッチパネルで検知する方法でペンの座標を検出したが、ペン先の座標を超音波により検出してもよい。ペンは発光と共に超音波を発信しており、表示装置2は超音波の到達時間により距離を算出する。方向と距離によりペンの位置を特定できる。ペンの軌跡をストロークとしてプロジェクターが描画(投影)する。 Further, in the present embodiment, the coordinates of the pen are detected by the method of detecting the coordinates of the pen tip with the touch panel, but the coordinates of the pen tip may be detected by ultrasonic waves. The pen emits ultrasonic waves together with light emission, and the display device 2 calculates the distance from the arrival time of the ultrasonic waves. The position of the pen can be specified by the direction and distance. The projector draws (projects) the trajectory of the pen as a stroke.

また、図6,図8などの構成例は、表示装置2による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。表示装置2の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、1つの処理単位が更に多くの処理を含むように分割することもできる。 Further, the configuration examples shown in FIGS. 6 and 8 are divided according to the main functions in order to facilitate understanding of the processing by the display device 2. The present invention is not limited by the method of dividing the processing unit or the name. The processing of the display device 2 can be divided into more processing units according to the processing content. It is also possible to divide one processing unit so as to include more processing.

また、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)や従来の回路モジュール等のデバイスを含むものとする。 Further, each function of the embodiment described above can be realized by one or a plurality of processing circuits. Here, the "processing circuit" in the present specification is a processor programmed to execute each function by software such as a processor implemented by an electronic circuit, or a processor designed to execute each function described above. It shall include devices such as ASIC (Application Specific Integrated Circuit), DSP (digital signal processor), FPGA (field programmable gate array) and conventional circuit modules.

1 画像処理システム
2 表示装置
3 ディスプレイ
5 USBメモリ
11 画像
100 表示位置指定画面
1 Image processing system 2 Display device 3 Display 5 USB memory 11 Image 100 Display position specification screen

特開2015−106222号公報Japanese Unexamined Patent Publication No. 2015-106222

Claims (12)

取得した画像を表示する表示装置であって、
前記画像の縦横比と前記画像が表示される表示領域の縦横比が異なる場合、
前記表示領域のどの位置に前記画像を表示するかの指定を受け付ける表示位置指定画面を表示するメニュー画面生成部と、
前記表示位置指定画面で指定された表示位置に前記画像を表示する表示処理部と、
を有することを特徴とする表示装置。
A display device that displays the acquired image.
When the aspect ratio of the image and the aspect ratio of the display area where the image is displayed are different,
A menu screen generator that displays a display position specification screen that accepts the specification of the position to display the image in the display area, and
A display processing unit that displays the image at the display position specified on the display position designation screen, and
A display device characterized by having.
前記表示位置指定画面は、複数の表示位置の候補を表示し、前記候補から前記画像を表示する表示位置を受け付ける画面であることを特徴とする請求項1に記載の表示装置。 The display device according to claim 1, wherein the display position designation screen is a screen that displays a plurality of display position candidates and accepts a display position for displaying the image from the candidates. 前記表示位置指定画面は、前記表示領域に表示した前記画像に対するユーザによる移動を受け付ける画面であることを特徴とする請求項1に記載の表示装置。 The display device according to claim 1, wherein the display position designation screen is a screen that accepts movement by a user with respect to the image displayed in the display area. 前記表示領域が表示されるディスプレイが横向きか縦向きかを検出するディスプレイ方向検出部を有し、
前記メニュー画面生成部は、前記ディスプレイが横向きの場合、前記表示領域における画像の水平方向の表示位置を受け付ける前記表示位置指定画面を表示し、
前記ディスプレイが縦向きの場合、前記表示領域における画像の垂直方向の表示位置を受け付ける前記表示位置指定画面を表示することを特徴とする請求項1〜3のいずれか1項に記載の表示装置。
It has a display direction detection unit that detects whether the display on which the display area is displayed is landscape or portrait.
When the display is in landscape orientation, the menu screen generation unit displays the display position designation screen that accepts the horizontal display position of the image in the display area.
The display device according to any one of claims 1 to 3, wherein when the display is in the vertical orientation, the display position designation screen that accepts the display position in the vertical direction of the image in the display area is displayed.
前記メニュー画面生成部は、前記表示領域が表示されるディスプレイが横向きか縦向きかの設定を受け付ける設定画面を表示し、
前記メニュー画面生成部は、前記ディスプレイが横向きであると設定されている場合、前記表示領域における前記画像の水平方向の表示位置を受け付ける前記表示位置指定画面を表示し、
前記ディスプレイが縦向きであると設定されている場合、前記表示領域における前記画像の垂直方向の表示位置を受け付ける前記表示位置指定画面を表示することを特徴とする請求項1〜3のいずれか1項に記載の表示装置。
The menu screen generator displays a setting screen that accepts a setting of whether the display on which the display area is displayed is landscape or portrait.
When the display is set to be landscape orientation, the menu screen generation unit displays the display position designation screen that accepts the horizontal display position of the image in the display area.
Any one of claims 1 to 3, wherein when the display is set to be vertically oriented, the display position designation screen that accepts the vertical display position of the image in the display area is displayed. The display device described in the section.
前記画像の縦横比と前記画像が表示される表示領域の縦横比が同じ場合、
前記表示処理部は、前記表示領域の全面に前記画像を表示することを特徴とする請求項1〜5のいずれか1項に記載の表示装置。
When the aspect ratio of the image and the aspect ratio of the display area where the image is displayed are the same,
The display device according to any one of claims 1 to 5, wherein the display processing unit displays the image on the entire surface of the display area.
前記表示領域の前記表示位置に配置される前記画像を生成する画像生成部を有し、
取得した前記画像の縦横比と前記画像が表示される前記表示領域の縦横比が異なる場合、
前記画像生成部は、前記画像の長い方の辺が、前記表示領域の対応する辺の長さに一致するように前記画像を変倍して、前記表示位置に前記画像を配置することを特徴とする請求項1〜6のいずれか1項に記載の表示装置。
It has an image generation unit that generates the image arranged at the display position in the display area.
When the aspect ratio of the acquired image and the aspect ratio of the display area where the image is displayed are different.
The image generation unit is characterized in that the image is scaled so that the longer side of the image matches the length of the corresponding side of the display area, and the image is arranged at the display position. The display device according to any one of claims 1 to 6.
前記表示位置指定画面は、前記画像の長い方の辺を、前記表示領域の対応する辺の長さよりも小さく変倍する設定を有し、
該設定を受け付けた場合、前記画像生成部は、前記画像の短い方の辺と前記表示領域の端までの間に余白を設けることを特徴とする請求項7に記載の表示装置。
The display position designation screen has a setting for scaling the longer side of the image to be smaller than the length of the corresponding side of the display area.
The display device according to claim 7, wherein when the setting is accepted, the image generation unit provides a margin between the shorter side of the image and the edge of the display area.
画像を表示するディスプレイは少なくとも90度回転でき、
前記表示装置は前記画像を保存した時とは異なるディスプレイ方向に回転した状態で、前記画像を取得し、
前記ディスプレイ方向が異なるために、前記画像の縦横比と前記画像が表示される表示領域の縦横比が異なる場合、
前記メニュー画面生成部は、前記表示位置指定画面を表示することを特徴とする請求項1〜8のいずれか1項に記載の表示装置。
The display displaying the image can be rotated at least 90 degrees
The display device acquires the image in a state of being rotated in a display direction different from that when the image is stored.
When the aspect ratio of the image and the aspect ratio of the display area where the image is displayed are different because the display directions are different.
The display device according to any one of claims 1 to 8, wherein the menu screen generation unit displays the display position designation screen.
前記表示装置は、前記画像を表示する表示装置とは異なる表示装置が保存した前記画像を表示することを特徴とする請求項1〜8のいずれか1項に記載の表示装置。 The display device according to any one of claims 1 to 8, wherein the display device displays the image stored by a display device different from the display device that displays the image. 取得した画像を表示装置が表示する表示方法であって、
前記画像の縦横比と前記画像が表示される表示領域の縦横比が異なる場合、
メニュー画面生成部が、前記表示領域のどの位置に前記画像を表示するかの指定を受け付ける表示位置指定画面を表示するステップと、
表示処理部が、前記表示位置指定画面で指定された表示位置に前記画像を表示するステップと、を有することを特徴とする表示方法。
This is a display method in which the display device displays the acquired image.
When the aspect ratio of the image and the aspect ratio of the display area where the image is displayed are different,
A step of displaying a display position specification screen in which the menu screen generation unit accepts a specification of a position in the display area to display the image.
A display method characterized in that the display processing unit includes a step of displaying the image at a display position designated on the display position designation screen.
取得した画像を表示する表示装置を、
前記画像の縦横比と前記画像が表示される表示領域の縦横比が異なる場合、
前記表示領域のどの位置に前記画像を表示するかの指定を受け付ける表示位置指定画面を表示するメニュー画面生成部と、
前記表示位置指定画面で指定された表示位置に前記画像を表示する表示処理部、
として機能させるためのプログラム。
A display device that displays the acquired image,
When the aspect ratio of the image and the aspect ratio of the display area where the image is displayed are different,
A menu screen generator that displays a display position specification screen that accepts the specification of the position to display the image in the display area, and
A display processing unit that displays the image at the display position specified on the display position designation screen.
A program to function as.
JP2019158186A 2019-08-30 2019-08-30 Display device, display method, program Active JP7338330B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019158186A JP7338330B2 (en) 2019-08-30 2019-08-30 Display device, display method, program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019158186A JP7338330B2 (en) 2019-08-30 2019-08-30 Display device, display method, program

Publications (2)

Publication Number Publication Date
JP2021036401A true JP2021036401A (en) 2021-03-04
JP7338330B2 JP7338330B2 (en) 2023-09-05

Family

ID=74716659

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019158186A Active JP7338330B2 (en) 2019-08-30 2019-08-30 Display device, display method, program

Country Status (1)

Country Link
JP (1) JP7338330B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11610560B2 (en) 2020-04-07 2023-03-21 Ricoh Company, Ltd. Output apparatus, output system, and method of changing format information

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001061083A (en) * 1999-08-23 2001-03-06 Hitachi Ltd Digital image recording and reproducing device
JP2004145291A (en) * 2002-10-03 2004-05-20 Casio Comput Co Ltd Image display apparatus, method and program for image display
US20060002687A1 (en) * 2004-06-30 2006-01-05 International Business Machines Corporation Shifting letterbox video to prolong display life
JP2008079111A (en) * 2006-09-22 2008-04-03 Nikon Corp Image reproducing system
JP2013097354A (en) * 2011-11-07 2013-05-20 Ricoh Co Ltd Image display device
JP2015095085A (en) * 2013-11-12 2015-05-18 株式会社東芝 Electronic device, method, and program
JP2017224985A (en) * 2016-06-15 2017-12-21 株式会社リコー Information processing apparatus, electronic blackboard, and program
JP2019511029A (en) * 2016-01-15 2019-04-18 華為技術有限公司Huawei Technologies Co.,Ltd. Display method and terminal

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001061083A (en) * 1999-08-23 2001-03-06 Hitachi Ltd Digital image recording and reproducing device
JP2004145291A (en) * 2002-10-03 2004-05-20 Casio Comput Co Ltd Image display apparatus, method and program for image display
US20060002687A1 (en) * 2004-06-30 2006-01-05 International Business Machines Corporation Shifting letterbox video to prolong display life
JP2008079111A (en) * 2006-09-22 2008-04-03 Nikon Corp Image reproducing system
JP2013097354A (en) * 2011-11-07 2013-05-20 Ricoh Co Ltd Image display device
JP2015095085A (en) * 2013-11-12 2015-05-18 株式会社東芝 Electronic device, method, and program
JP2019511029A (en) * 2016-01-15 2019-04-18 華為技術有限公司Huawei Technologies Co.,Ltd. Display method and terminal
JP2017224985A (en) * 2016-06-15 2017-12-21 株式会社リコー Information processing apparatus, electronic blackboard, and program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11610560B2 (en) 2020-04-07 2023-03-21 Ricoh Company, Ltd. Output apparatus, output system, and method of changing format information

Also Published As

Publication number Publication date
JP7338330B2 (en) 2023-09-05

Similar Documents

Publication Publication Date Title
CN109683716B (en) Visibility improvement method based on eye tracking and electronic device
US9479693B2 (en) Method and mobile terminal apparatus for displaying specialized visual guides for photography
JP2014123378A (en) Text-enlargement display method
US9888209B1 (en) Remote communication system, method for controlling remote communication system, and storage medium
WO2017138223A1 (en) Image processing device, image processing system, and image processing method
EP3547098A1 (en) Display control apparatus and control method
JP2019159261A (en) Electronic blackboard, picture display method, and program
JP2016038728A (en) Image display device, control method of image display device and program thereof
JP7338330B2 (en) Display device, display method, program
JP6729028B2 (en) Information processing device, electronic blackboard, program
JP7143642B2 (en) shared terminal, writing method, program
US20220291828A1 (en) Display apparatus, display method, and non-transitory recording medium
CN111381750B (en) Electronic device, control method thereof, and computer-readable storage medium
JP7187307B2 (en) Electronic device and its control method
JP2022087633A (en) Display device, erasing method switching method, and program
JP2022162409A (en) Electronic apparatus and control method thereof
JP7342501B2 (en) Display device, display method, program
JP7306190B2 (en) Display device, display method, program
JP7287156B2 (en) Display device, display method, program
JP7314719B2 (en) Display device, display method, program
JP2022036704A (en) Display device, display method, and program
JP7331578B2 (en) Display device, image display method, program
US11816327B2 (en) Display apparatus, method for displaying, and non-transitory recording medium
US11675496B2 (en) Apparatus, display system, and display control method
JP7279425B2 (en) DISPLAY DEVICE, DISPLAY SYSTEM, OPERATING MODE CONTROL METHOD, AND PROGRAM

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220622

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230515

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230725

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230807

R151 Written notification of patent or utility model registration

Ref document number: 7338330

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151