JP2020154071A - Display control device, display control method, program and display control system - Google Patents

Display control device, display control method, program and display control system Download PDF

Info

Publication number
JP2020154071A
JP2020154071A JP2019050866A JP2019050866A JP2020154071A JP 2020154071 A JP2020154071 A JP 2020154071A JP 2019050866 A JP2019050866 A JP 2019050866A JP 2019050866 A JP2019050866 A JP 2019050866A JP 2020154071 A JP2020154071 A JP 2020154071A
Authority
JP
Japan
Prior art keywords
information
display
display control
target area
related information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019050866A
Other languages
Japanese (ja)
Other versions
JP7180473B2 (en
Inventor
敦 村松
Atsushi Muramatsu
敦 村松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2019050866A priority Critical patent/JP7180473B2/en
Publication of JP2020154071A publication Critical patent/JP2020154071A/en
Application granted granted Critical
Publication of JP7180473B2 publication Critical patent/JP7180473B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

To improve browsing efficiency of relevant information by a user.SOLUTION: A display control device comprises: a display data acquisition unit that acquires a first display object area of first relevant information attached video data generated on the basis of first video data imaging a first site, position information of a first information terminal existing in the first site, and relevant information of the first information terminal; and a display control unit that controls the first display object area to be displayed on a first area. The display control unit controls scroll speed of the first display object area according to whether a predetermined kind of relevant information is attached to the first display object area.SELECTED DRAWING: Figure 1

Description

本発明は、表示制御装置、表示制御方法、プログラムおよび表示制御システムに関する。 The present invention relates to a display control device, a display control method, a program and a display control system.

(1)空間内の映像を撮像する撮像手段と、(2)空間内における各装置の位置を測位し、撮像手段により撮像された映像上の対応位置を示す測位情報を装置毎に求める位置検出手段と、(3)各装置が設けられた各対象に関する関連情報を収集する関連情報収集手段と、(4)関連情報収集手段により収集された関連情報を、位置検出手段により求められた各装置の測位情報と対応付けて保持する関連情報保持手段とを備える、空間情報可視化システムが提案されている(例えば、特許文献1参照)。 Position detection that (1) an imaging means that captures an image in space and (2) positions each device in space and obtains positioning information indicating a corresponding position on the image captured by the imaging means for each device. Means, (3) related information collecting means for collecting related information about each object provided with each device, and (4) related information collected by the related information collecting means for each device obtained by the position detecting means. A spatial information visualization system including a related information holding means for holding the positioning information in association with the above has been proposed (see, for example, Patent Document 1).

かかるシステムにおいて、(5)表示装置は、位置検出手段からの各装置の測位情報に相当する位置に、当該装置に設けられた対象映像を表示すると共に、対象の関連情報を表示するものであり、各装置が設けられた各対象との間で所定のアプリケーションを実行するアプリケーション提供手段を備える。そして、表示装置は、表示映像内の対象映像が選択されると、この対象映像の測位情報を含むアプリケーション要求をアプリケーション提供手段に与え、アプリケーション提供手段が、関連情報保持手段を参照して、アプリケーション要求に含まれる測位情報に対応する関連情報を用いて、所定のアプリケーションを提供する。 In such a system, (5) the display device displays the target image provided in the device at a position corresponding to the positioning information of each device from the position detecting means, and also displays the related information of the target. , Each device is provided with an application providing means for executing a predetermined application with each target provided. Then, when the target image in the display image is selected, the display device gives an application request including the positioning information of the target image to the application providing means, and the application providing means refers to the related information holding means and applies the application. A predetermined application is provided by using the related information corresponding to the positioning information included in the request.

かかるシステムによれば、空間映像に、(例えば、人または機器などといった)対象の位置および対象の映像を重畳表示すると共に、(例えば、人または機器などといった)対象の関連情報を抽出して重畳表示することにより、人と人との間、または、人と機器との間のコミュニケーションを円滑かつ効率的に行うことができる。 According to such a system, the position of the target (for example, a person or a device) and the image of the target are superimposed and displayed on the spatial image, and the related information of the target (for example, a person or a device) is extracted and superimposed. By displaying, communication between people or between people and devices can be performed smoothly and efficiently.

特開2011−176599号公報Japanese Unexamined Patent Publication No. 2011-176599

かかるシステムが利用者によって利用される場合、利用者は関連情報を閲覧することが可能である。しかし、利用者による関連情報の閲覧効率があまり良くない。 When such a system is used by a user, the user can view related information. However, the efficiency of viewing related information by users is not very good.

そこで本発明は、利用者による関連情報の閲覧効率を向上させることを目的とする。 Therefore, an object of the present invention is to improve the viewing efficiency of related information by a user.

上記問題を解決するために、本発明のある観点によれば、第1の拠点を撮影した第1の映像データと前記第1の拠点に存在する第1の情報端末の位置情報と前記第1の情報端末の関連情報とに基づいて生成された第1の関連情報付き映像データのうち第1の表示対象領域を取得する表示用データ取得部と、前記第1の表示対象領域が第1の領域に表示されるように制御する表示制御部と、を備え、前記表示制御部は、前記第1の表示対象領域に所定の種類の関連情報が付されているか否かに応じて、前記第1の表示対象領域のスクロール速度を制御する、表示制御装置が提供される。 In order to solve the above problem, according to a certain viewpoint of the present invention, the first video data obtained by photographing the first base, the position information of the first information terminal existing in the first base, and the first. Of the first video data with related information generated based on the related information of the information terminal of the above, the display data acquisition unit for acquiring the first display target area and the first display target area are the first. The display control unit includes a display control unit that controls the display in the area, and the display control unit has the first display target area according to whether or not a predetermined type of related information is attached to the first display target area. A display control device for controlling the scroll speed of the display target area of 1 is provided.

前記表示制御部は、前記第1の表示対象領域に前記所定の種類の関連情報が付されている場合には、前記第1の表示対象領域に前記所定の種類の関連情報が付されていない場合と比較して、前記第1の表示対象領域のスクロール速度を小さくしてもよい。 When the first display target area is attached with the predetermined type of related information, the display control unit does not attach the predetermined type of related information to the first display target area. The scroll speed of the first display target area may be reduced as compared with the case.

前記表示用データ取得部は、前記第1の映像データの解像度を低下させた第1の低解像度データを取得し、前記表示制御部は、前記第1の低解像度データが前記第1の領域よりも小さい第2の領域に表示されるように制御してもよい。 The display data acquisition unit acquires the first low-resolution data obtained by reducing the resolution of the first video data, and the display control unit obtains the first low-resolution data from the first region. May be controlled so that it is displayed in a small second area.

前記表示制御部は、前記第1の表示対象領域と前記第1の低解像度データとの間でスクロールを連動させてもよい。 The display control unit may interlock scrolling between the first display target area and the first low-resolution data.

前記表示用データ取得部は、第2の拠点を撮影した第2の映像データと前記第2の拠点に存在する第2の情報端末の位置情報と前記第2の情報端末の関連情報とに基づいて生成された第2の関連情報付き映像データのうち第2の表示対象領域を取得し、前記表示制御部は、前記第1の表示対象領域から第2の表示対象領域への表示切り替えをシームレスに行ってもよい。 The display data acquisition unit is based on the second video data obtained by photographing the second base, the position information of the second information terminal existing in the second base, and the related information of the second information terminal. The second display target area of the second video data with related information generated is acquired, and the display control unit seamlessly switches the display from the first display target area to the second display target area. You may go to.

前記表示制御部は、前記第1の表示対象領域に所定の種類の関連情報が付されている場合、前記第1の表示対象領域に付されている前記所定の種類の関連情報の数に応じて、前記第1の表示対象領域のスクロール速度を制御してもよい。 When a predetermined type of related information is attached to the first display target area, the display control unit responds to the number of the predetermined type of related information attached to the first display target area. Therefore, the scroll speed of the first display target area may be controlled.

前記表示制御部は、前記第1の表示対象領域に所定の種類の関連情報が付されている場合、前記第1の表示対象領域に付されている前記所定の種類の関連情報の種類に応じて、前記第1の表示対象領域のスクロール速度を制御してもよい。 When a predetermined type of related information is attached to the first display target area, the display control unit responds to the type of the predetermined type of related information attached to the first display target area. Therefore, the scroll speed of the first display target area may be controlled.

前記表示制御部は、前記第1の表示対象領域に前記所定の種類の関連情報が付されていない場合、フリック操作に基づいて、前記所定の種類の関連情報が付されている第1の表示対象領域が前記第1の領域に達するまでスクロールさせてもよい。 When the predetermined type of related information is not attached to the first display target area, the display control unit has a first display to which the predetermined type of related information is attached based on a flick operation. You may scroll until the target area reaches the first area.

前記表示制御装置は、利用者によって選択された前記所定の種類の関連情報を取得する選択情報取得部を備えてもよい。 The display control device may include a selection information acquisition unit that acquires the predetermined type of related information selected by the user.

前記所定の種類の関連情報は、前記利用者の二本指による上下方向へのスワイプ操作に基づいて選択可能であってもよい。 The predetermined type of related information may be selectable based on a vertical swipe operation with the user's two fingers.

前記第1の情報端末の関連情報は、前記第1の情報端末の利用者のプレゼンス情報、前記第1の情報端末の利用者によって入力されたテキストメッセージおよび前記第1の情報端末の利用者の感情情報の少なくともいずれか一つを含んでもよい。 The related information of the first information terminal includes the presence information of the user of the first information terminal, the text message input by the user of the first information terminal, and the user of the first information terminal. It may contain at least one of the emotional information.

前記表示制御部は、前記第1の情報端末の位置情報と前記第1の情報端末の利用者の感情情報とに基づいて、前記感情情報が表示されるように制御してもよい。 The display control unit may control so that the emotional information is displayed based on the position information of the first information terminal and the emotional information of the user of the first information terminal.

前記表示用データ取得部は、前記第1の映像データの解像度を低下させた第1の低解像度データを取得し、前記表示制御部は、前記第1の低解像度データが前記第1の領域よりも小さい第2の領域に表示されるように制御し、前記第1の情報端末の位置情報に応じた前記第1の低解像度データにおける位置に前記感情情報が表示されるように制御してもよい。 The display data acquisition unit acquires first low-resolution data obtained by reducing the resolution of the first video data, and the display control unit obtains the first low-resolution data from the first region. Even if it is controlled so that it is displayed in a small second area and the emotion information is displayed at a position in the first low resolution data corresponding to the position information of the first information terminal. Good.

また、本発明の他の観点によれば、第1の拠点を撮影した第1の映像データと前記第1の拠点に存在する第1の情報端末の位置情報と前記第1の情報端末の関連情報とに基づいて生成された第1の関連情報付き映像データのうち第1の表示対象領域を取得することと、前記第1の表示対象領域が第1の領域に表示されるように制御することと、を含み、前記第1の表示対象領域に所定の種類の関連情報が付されているか否かに応じて、前記第1の表示対象領域のスクロール速度を制御することを含む、表示制御方法が提供される。 Further, according to another viewpoint of the present invention, the relationship between the first video data obtained by photographing the first base, the position information of the first information terminal existing in the first base, and the first information terminal. It is controlled to acquire the first display target area of the first video data with related information generated based on the information and to display the first display target area in the first area. Display control including controlling the scroll speed of the first display target area according to whether or not a predetermined type of related information is attached to the first display target area. A method is provided.

また、本発明の他の観点によれば、コンピュータを、第1の拠点を撮影した第1の映像データと前記第1の拠点に存在する第1の情報端末の位置情報と前記第1の情報端末の関連情報とに基づいて生成された第1の関連情報付き映像データのうち第1の表示対象領域を取得する表示用データ取得部と、前記第1の表示対象領域が第1の領域に表示されるように制御する表示制御部と、を備え、前記表示制御部は、前記第1の表示対象領域に所定の種類の関連情報が付されているか否かに応じて、前記第1の表示対象領域のスクロール速度を制御する、表示制御装置として機能させるためのプログラムが提供される。 Further, according to another aspect of the present invention, the computer uses the first video data obtained by photographing the first base, the position information of the first information terminal existing in the first base, and the first information. Of the first video data with related information generated based on the related information of the terminal, the display data acquisition unit that acquires the first display target area and the first display target area are in the first area. The display control unit includes a display control unit that controls the display so that the display can be displayed, and the display control unit includes the first display target area according to whether or not a predetermined type of related information is attached to the first display target area. A program for functioning as a display control device for controlling the scroll speed of a display target area is provided.

また、本発明の他の観点によれば、第1の拠点を撮影した第1の映像データと前記第1の拠点に存在する第1の情報端末の位置情報と前記第1の情報端末の関連情報とに基づいて第1の関連情報付き映像データを生成する処理部と、前記第1の関連情報付き映像データのうち第1の表示対象領域を取得する表示用データ取得部と、前記第1の表示対象領域が第1の領域に表示されるように制御する表示制御部と、を備え、前記表示制御部は、前記第1の表示対象領域に所定の種類の関連情報が付されているか否かに応じて、前記第1の表示対象領域のスクロール速度を制御する、表示制御システムが提供される。 Further, according to another viewpoint of the present invention, the relationship between the first video data obtained by photographing the first base, the position information of the first information terminal existing in the first base, and the first information terminal. A processing unit that generates first video data with related information based on information, a display data acquisition unit that acquires a first display target area of the first video data with related information, and the first The display control unit includes a display control unit that controls the display target area of the above to be displayed in the first area, and the display control unit has a predetermined type of related information attached to the first display target area. A display control system for controlling the scroll speed of the first display target area is provided depending on whether or not the first display target area is used.

以上説明したように本発明によれば、利用者による関連情報の閲覧効率を向上させることが可能となる。 As described above, according to the present invention, it is possible to improve the viewing efficiency of related information by the user.

本発明の第1の実施形態に係る表示制御システムの概略的な構成の一例を示す図である。It is a figure which shows an example of the schematic structure of the display control system which concerns on 1st Embodiment of this invention. 同実施形態に係る情報端末の機能構成の一例を示すブロック図である。It is a block diagram which shows an example of the functional structure of the information terminal which concerns on this embodiment. 同実施形態に係るサーバの機能構成の一例を示すブロック図である。It is a block diagram which shows an example of the functional structure of the server which concerns on this embodiment. 同実施形態に係る情報端末によって表示される画面例を示す図である。It is a figure which shows the screen example displayed by the information terminal which concerns on the same embodiment. 図4に示された画面例においてメイン領域に対する左方向へのスワイプ操作が入力された場合に表示される画面例を示す図である。It is a figure which shows the screen example which is displayed when the swipe operation to the left with respect to the main area is input in the screen example shown in FIG. 同実施形態に係る表示制御システムの動作例を示すフローチャートである。It is a flowchart which shows the operation example of the display control system which concerns on this embodiment. 本発明の第2の実施形態に係る情報端末の機能構成の一例を示すブロック図である。It is a block diagram which shows an example of the functional structure of the information terminal which concerns on 2nd Embodiment of this invention. 同実施形態に係るサーバの機能構成の一例を示すブロック図である。It is a block diagram which shows an example of the functional structure of the server which concerns on this embodiment. 同実施形態に係る情報端末によって表示される画面例を示す図である。It is a figure which shows the screen example displayed by the information terminal which concerns on the same embodiment. 同実施形態に係る表示制御システムの動作例を示すフローチャートである。It is a flowchart which shows the operation example of the display control system which concerns on this embodiment. 同実施形態に係る表示制御システムの動作例を示すフローチャートである。It is a flowchart which shows the operation example of the display control system which concerns on this embodiment. 同実施形態に係る表示制御システムの動作例を示すフローチャートである。It is a flowchart which shows the operation example of the display control system which concerns on this embodiment. 本発明の実施形態に係る装置のハードウェア構成の一例を示すブロック図である。It is a block diagram which shows an example of the hardware composition of the apparatus which concerns on embodiment of this invention.

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 A preferred embodiment of the present invention will be described in detail below with reference to the accompanying drawings. In the present specification and the drawings, components having substantially the same functional configuration are designated by the same reference numerals, so that duplicate description will be omitted.

また、本明細書及び図面において、実質的に同一または類似の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する。ただし、実質的に同一または類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。 Further, in the present specification and the drawings, a plurality of components having substantially the same or similar functional configurations are distinguished by adding different alphabets after the same reference numerals. However, if it is not necessary to distinguish each of a plurality of components having substantially the same or similar functional configurations, only the same reference numerals are given.

(0.概要)
(1)空間内の映像を撮像する撮像手段と、(2)空間内における各装置の位置を測位し、撮像手段により撮像された映像上の対応位置を示す測位情報を装置毎に求める位置検出手段と、(3)各装置が設けられた各対象に関する関連情報を収集する関連情報収集手段と、(4)関連情報収集手段により収集された関連情報を、位置検出手段により求められた各装置の測位情報と対応付けて保持する関連情報保持手段とを備える、空間情報可視化システムが提案されている。
(0. Overview)
Position detection that (1) an imaging means for capturing an image in space and (2) positioning of each device in space and obtaining positioning information indicating a corresponding position on the image captured by the imaging means for each device Means, (3) related information collecting means for collecting related information about each object provided with each device, and (4) related information collected by the related information collecting means for each device obtained by the position detecting means. A spatial information visualization system has been proposed, which is provided with a related information holding means for holding the positioning information in association with the above.

かかるシステムにおいて、(5)表示装置は、位置検出手段からの各装置の測位情報に相当する位置に、当該装置に設けられた対象映像を表示すると共に、対象の関連情報を表示するものであり、各装置が設けられた各対象との間で所定のアプリケーションを実行するアプリケーション提供手段を備える。そして、表示装置は、表示映像内の対象映像が選択されると、この対象映像の測位情報を含むアプリケーション要求をアプリケーション提供手段に与え、アプリケーション提供手段が、関連情報保持手段を参照して、アプリケーション要求に含まれる測位情報に対応する関連情報を用いて、所定のアプリケーションを提供する。 In such a system, (5) the display device displays the target image provided in the device at a position corresponding to the positioning information of each device from the position detecting means, and also displays the related information of the target. , Each device is provided with an application providing means for executing a predetermined application with each target provided. Then, when the target image in the display image is selected, the display device gives an application request including the positioning information of the target image to the application providing means, and the application providing means refers to the related information holding means and applies the application. A predetermined application is provided by using the related information corresponding to the positioning information included in the request.

かかるシステムによれば、空間映像に、(例えば、人または機器などといった)対象の位置および対象の映像を重畳表示すると共に、(例えば、人または機器などといった)対象の関連情報を抽出して重畳表示することにより、人と人との間、または、人と機器との間のコミュニケーションを円滑かつ効率的に行うことができる。 According to such a system, the position of the target (for example, a person or a device) and the image of the target are superimposed and displayed on the spatial image, and the related information of the target (for example, a person or a device) is extracted and superimposed. By displaying, communication between people or between people and devices can be performed smoothly and efficiently.

かかるシステムが利用者によって利用される場合、利用者は関連情報を閲覧することが可能である。しかし、利用者による関連情報の閲覧効率があまり良くない。 When such a system is used by a user, the user can view related information. However, the efficiency of viewing related information by users is not very good.

そこで本発明は、利用者による関連情報の閲覧効率を向上させることを目的とする。より具体的に、本発明の実施形態では、複数の拠点それぞれの映像を連続的に表示するに際して、複数の拠点それぞれに存在する情報端末の関連情報の閲覧効率を向上させることが可能な技術について提案する。 Therefore, an object of the present invention is to improve the viewing efficiency of related information by a user. More specifically, in the embodiment of the present invention, when continuously displaying images of each of a plurality of bases, a technique capable of improving the viewing efficiency of related information of information terminals existing in each of the plurality of bases. suggest.

(1.第1の実施形態)
続いて、本発明の第1の実施形態について説明する。
(1. First Embodiment)
Subsequently, the first embodiment of the present invention will be described.

(1−1.システム構成)
図1は、本発明の第1の実施形態に係る表示制御システムの概略的な構成の一例を示す図である。図1を参照すると、本発明の第1の実施形態に係る表示制御システム1は、複数の拠点(拠点A〜E)と、サーバ20と、ネットワーク30とを有する。
(1-1. System configuration)
FIG. 1 is a diagram showing an example of a schematic configuration of a display control system according to the first embodiment of the present invention. Referring to FIG. 1, the display control system 1 according to the first embodiment of the present invention has a plurality of bases (bases A to E), a server 20, and a network 30.

なお、本発明の第1の実施形態においては、図1に示したように、複数の拠点が5つの拠点によって構成される場合を主に想定する。しかし、拠点の数は、5つに限定されない。あるいは、拠点の数は複数でなくてもよく、1つであってもよい。また、本発明の第1の実施形態においては、各拠点がオフィスである場合を主に想定する。しかし、各拠点はオフィスに限定されず、住宅などといった他の場所であってもよい。 In the first embodiment of the present invention, as shown in FIG. 1, it is mainly assumed that a plurality of bases are composed of five bases. However, the number of bases is not limited to five. Alternatively, the number of bases does not have to be plural, and may be one. Further, in the first embodiment of the present invention, it is mainly assumed that each base is an office. However, each base is not limited to an office, and may be another place such as a house.

図1に示したように、拠点A〜Eそれぞれには、測位部61および俯瞰映像撮影部62が設置されている。また、拠点A〜Eの少なくとも一部には、1または複数の情報端末10が存在している(図1に示した例では、拠点Aに情報端末10が3つ存在している)。あるいは、拠点A〜Eの中には、情報端末10が1つも存在しない拠点があってもよい。 As shown in FIG. 1, a positioning unit 61 and a bird's-eye view image capturing unit 62 are installed at each of the bases A to E. In addition, one or a plurality of information terminals 10 are present in at least a part of the bases A to E (in the example shown in FIG. 1, three information terminals 10 are present in the base A). Alternatively, some of the bases A to E may not have any information terminal 10.

測位部61は、設置されている拠点に存在する情報端末10の位置を測定する(情報端末10を測位する)。例えば、測位部61は、(1または複数の)基地局から送信された無線信号の情報端末10における受信強度に基づいて、情報端末10の位置を測定してもよい。しかし、測位部61による情報端末10の測位手法は限定されない。測位部61によって測定された情報端末10の位置を示す情報(情報端末10の位置情報)は、ネットワーク30を介してサーバ20に送信される。情報端末10の位置情報がサーバ20に送信されるタイミングは限定されない。例えば、情報端末10の位置情報は、情報端末10からサーバ20に所定の時間ごとに送信されてよい。 The positioning unit 61 measures the position of the information terminal 10 existing at the base where the information terminal 10 is installed (positions the information terminal 10). For example, the positioning unit 61 may measure the position of the information terminal 10 based on the reception strength of the radio signal transmitted from the base station (s) at the information terminal 10. However, the positioning method of the information terminal 10 by the positioning unit 61 is not limited. Information indicating the position of the information terminal 10 (position information of the information terminal 10) measured by the positioning unit 61 is transmitted to the server 20 via the network 30. The timing at which the location information of the information terminal 10 is transmitted to the server 20 is not limited. For example, the location information of the information terminal 10 may be transmitted from the information terminal 10 to the server 20 at predetermined time intervals.

俯瞰映像撮影部62は、設置されている拠点の映像を撮影する。俯瞰映像撮影部62は、1または複数の可視光カメラによって構成されてよい。また、俯瞰映像撮影部62が全方位カメラによって構成される場合を主に想定する。しかし、俯瞰映像撮影部62の画角は限定されない。例えば、俯瞰映像撮影部62の画角が所定の角度よりも狭い場合には、1つの拠点に複数のカメラが設置され、複数のカメラによって撮影された映像が繋ぎ合わされてもよい。このように、俯瞰映像撮影部62の具体的なハードウェア構成は限定されない。 The bird's-eye view video shooting unit 62 shoots a video of the base where it is installed. The bird's-eye view image capturing unit 62 may be composed of one or a plurality of visible light cameras. Further, it is mainly assumed that the bird's-eye view image capturing unit 62 is composed of an omnidirectional camera. However, the angle of view of the bird's-eye view image capturing unit 62 is not limited. For example, when the angle of view of the bird's-eye view image capturing unit 62 is narrower than a predetermined angle, a plurality of cameras may be installed at one base, and images captured by the plurality of cameras may be joined together. As described above, the specific hardware configuration of the bird's-eye view video capturing unit 62 is not limited.

俯瞰映像撮影部62は、所定のフレームレートで映像を撮影し、サーバ20に対しては所定のフレームレートで映像を送信してよい。なお、俯瞰映像撮影部62によって撮影される映像は、斜め下方向または下方向に撮影された映像であってよい。これによって、拠点に存在する人を閲覧しやすい映像が得られる。しかし、俯瞰映像撮影部62による撮影方向は限定されない。俯瞰映像撮影部62によって得られた映像は、ネットワーク30を介してサーバ20に送信される。 The bird's-eye view image capturing unit 62 may capture an image at a predetermined frame rate and transmit the image to the server 20 at a predetermined frame rate. The image taken by the bird's-eye view image capturing unit 62 may be an image taken obliquely downward or downward. As a result, it is possible to obtain an image that makes it easy for people existing at the base to browse. However, the shooting direction by the bird's-eye view video shooting unit 62 is not limited. The image obtained by the bird's-eye view image capturing unit 62 is transmitted to the server 20 via the network 30.

情報端末10は、自身に対応する利用者によって利用される。情報端末10は、(例えば、無線LAN(Local Area Network)などを介して)ネットワーク30に接続されている。本発明の第1の実施形態においては、情報端末10がタブレット端末である場合を想定する。しかし、情報端末10の種類は限定されない。例えば、情報端末10は、スマートフォンであってもよいし、携帯電話であってもよいし、PC(Personal Computer)などであってもよい。なお、情報端末10は、利用者によって視認される情報の表示を制御する表示制御装置の例として機能し得る。 The information terminal 10 is used by a user corresponding to the information terminal 10. The information terminal 10 is connected to the network 30 (for example, via a wireless LAN (Local Area Network) or the like). In the first embodiment of the present invention, it is assumed that the information terminal 10 is a tablet terminal. However, the type of information terminal 10 is not limited. For example, the information terminal 10 may be a smartphone, a mobile phone, a PC (Personal Computer), or the like. The information terminal 10 can function as an example of a display control device that controls the display of information visually recognized by the user.

サーバ20は、コンピュータによって構成される。サーバ20は、俯瞰映像撮影部62から送信された各拠点の映像を、ネットワーク30を介して受信する。また、サーバ20は、測位部61から送信された各拠点に存在する情報端末10の位置情報を、ネットワーク30を介して受信する。そして、サーバ20は、各拠点の映像と各拠点に存在する情報端末10の位置情報とに基づいて、利用者によって視認される情報を情報端末10に提供する情報提供装置の例として機能し得る。 The server 20 is composed of a computer. The server 20 receives the video of each base transmitted from the bird's-eye view video shooting unit 62 via the network 30. Further, the server 20 receives the position information of the information terminals 10 existing at each base transmitted from the positioning unit 61 via the network 30. Then, the server 20 can function as an example of an information providing device that provides information visually recognized by the user to the information terminal 10 based on the image of each base and the position information of the information terminal 10 existing in each base. ..

以上、本発明の第1の実施形態に係る表示制御システム1の概略的な構成の一例について説明した。 The example of the schematic configuration of the display control system 1 according to the first embodiment of the present invention has been described above.

(1−2.情報端末の機能構成)
次に、図2を参照して、本発明の第1の実施形態に係る情報端末10の機能構成の一例を説明する。図2は、本発明の第1の実施形態に係る情報端末10の機能構成の一例を示すブロック図である。図2を参照すると、情報端末10は、制御部110、操作部120、音声入力部130、記憶部140、通信部150、音声出力部160および表示部170を備える。
(1-2. Functional configuration of information terminal)
Next, an example of the functional configuration of the information terminal 10 according to the first embodiment of the present invention will be described with reference to FIG. FIG. 2 is a block diagram showing an example of the functional configuration of the information terminal 10 according to the first embodiment of the present invention. Referring to FIG. 2, the information terminal 10 includes a control unit 110, an operation unit 120, a voice input unit 130, a storage unit 140, a communication unit 150, a voice output unit 160, and a display unit 170.

(制御部110)
制御部110は、情報端末10が有する様々な機能を提供する。制御部110は、関連情報取得部111、送信制御部112、表示用データ取得部113、選択情報取得部114、操作情報取得部115、表示制御部116および通話制御部117を有する。なお、制御部110は、CPU803、ROM805およびRAM807(図13)により実装され、CPU803によってROM805から読み込まれたプログラムがRAM807に展開され、当該プログラムがCPU803によって実行されることによって実現される。
(Control unit 110)
The control unit 110 provides various functions of the information terminal 10. The control unit 110 includes a related information acquisition unit 111, a transmission control unit 112, a display data acquisition unit 113, a selection information acquisition unit 114, an operation information acquisition unit 115, a display control unit 116, and a call control unit 117. The control unit 110 is implemented by the CPU 803, the ROM 805, and the RAM 807 (FIG. 13), and the program read from the ROM 805 by the CPU 803 is expanded into the RAM 807, and the program is executed by the CPU 803.

(操作部120)
操作部120は、入力部の一例として機能し、利用者からの入力を受け付ける。ここでは、操作部120がタッチパネルを含んでいる場合を想定するが、操作部120の形態は限定されない。例えば、操作部120は、キーボードおよびマウスなどを含んでもよいし、ボタンなどを含んでもよい。あるいは、操作部120は、利用者からの入力を制御部110へ提供する。なお、操作部120は、入力装置815(図13)により実装され得る。
(Operation unit 120)
The operation unit 120 functions as an example of the input unit and receives input from the user. Here, it is assumed that the operation unit 120 includes a touch panel, but the form of the operation unit 120 is not limited. For example, the operation unit 120 may include a keyboard, a mouse, and the like, and may include buttons and the like. Alternatively, the operation unit 120 provides the input from the user to the control unit 110. The operation unit 120 can be mounted by the input device 815 (FIG. 13).

(音声入力部130)
音声入力部130は、利用者によって発せられた音声の入力を受け付ける。ここでは、音声入力部130がマイクロフォンによって構成される場合を想定する。しかし、音声入力部130の形態は限定されない。
(Voice input unit 130)
The voice input unit 130 receives the voice input emitted by the user. Here, it is assumed that the voice input unit 130 is composed of a microphone. However, the form of the voice input unit 130 is not limited.

(記憶部140)
記憶部140は、情報端末10の動作を制御するためのプログラムおよびデータを記憶する。当該プログラムには、OS(Operating System)およびアプリケーションなどが含まれる。なお、記憶部140は、記憶装置809(図13)により実装され得る。
(Memory unit 140)
The storage unit 140 stores programs and data for controlling the operation of the information terminal 10. The program includes an OS (Operating System), an application, and the like. The storage unit 140 can be mounted by the storage device 809 (FIG. 13).

(通信部150)
通信部150は、他の装置と通信する。例えば、通信部150は、ネットワーク30に直接的に接続され、ネットワーク30を介してサーバ20と通信する。なお、通信部150は、通信インタフェース811(図13)により実装され得る。
(Communication unit 150)
The communication unit 150 communicates with another device. For example, the communication unit 150 is directly connected to the network 30 and communicates with the server 20 via the network 30. The communication unit 150 can be mounted by the communication interface 811 (FIG. 13).

(音声出力部160)
音声出力部160は、提示部の一例として機能し、制御部110による制御に従って、VUI(Voice User Interface)によって提示情報を利用者に提示する(音声を出力する)。なお、音声出力部160は、スピーカ819(図13)により実装され得る。
(Audio output unit 160)
The voice output unit 160 functions as an example of the presentation unit, and presents the presentation information to the user (outputs voice) by VUI (Voice User Interface) according to the control by the control unit 110. The audio output unit 160 may be mounted by the speaker 819 (FIG. 13).

(表示部170)
表示部170は、提示部の一例として機能し、表示制御部116による制御に従って、GUI(Graphical User Interface)によって提示情報を利用者に提示する(画面に表示する)。ここでは、表示部170がタッチパネルに積層されたディスプレイによって構成される場合を想定するが、表示部170の形態は限定されない。なお、表示部170は、表示装置823(図13)により実装され得る。
(Display unit 170)
The display unit 170 functions as an example of the presentation unit, and presents the presentation information to the user (displays on the screen) by the GUI (Graphical User Interface) according to the control by the display control unit 116. Here, it is assumed that the display unit 170 is composed of a display laminated on the touch panel, but the form of the display unit 170 is not limited. The display unit 170 can be mounted by the display device 823 (FIG. 13).

以上、本発明の第1の実施形態に係る情報端末10の機能構成の一例について説明した。 The example of the functional configuration of the information terminal 10 according to the first embodiment of the present invention has been described above.

(1−3.サーバの機能構成)
次に、図3を参照して、本発明の第1の実施形態に係るサーバ20の機能構成の一例について説明する。図3は、本発明の第1の実施形態に係るサーバ20の機能構成の一例を示すブロック図である。図3を参照すると、サーバ20は、制御部210、記憶部240および通信部250を備える。
(1-3. Server function configuration)
Next, an example of the functional configuration of the server 20 according to the first embodiment of the present invention will be described with reference to FIG. FIG. 3 is a block diagram showing an example of the functional configuration of the server 20 according to the first embodiment of the present invention. Referring to FIG. 3, the server 20 includes a control unit 210, a storage unit 240, and a communication unit 250.

(制御部210)
制御部210は、サーバ20が有する様々な機能を提供する。制御部210は、取得部212、処理部213および送信制御部214を有する。なお、制御部210は、CPU803、ROM805およびRAM807(図13)により実装され、CPU803によってROM805から読み込まれたプログラムがRAM807に展開され、当該プログラムがCPU803によって実行されることによって実現される。
(Control unit 210)
The control unit 210 provides various functions of the server 20. The control unit 210 includes an acquisition unit 212, a processing unit 213, and a transmission control unit 214. The control unit 210 is implemented by the CPU 803, the ROM 805, and the RAM 807 (FIG. 13), and the program read from the ROM 805 by the CPU 803 is expanded into the RAM 807, and the program is executed by the CPU 803.

(記憶部240)
記憶部240は、サーバ20の動作を制御するためのプログラムおよびデータを記憶する。当該プログラムには、OS(Operating System)およびアプリケーションなどが含まれる。なお、記憶部240は、記憶装置809(図13)により実装され得る。
(Memory unit 240)
The storage unit 240 stores programs and data for controlling the operation of the server 20. The program includes an OS (Operating System), an application, and the like. The storage unit 240 may be mounted by the storage device 809 (FIG. 13).

(通信部250)
通信部250は、他の装置と通信する。例えば、通信部250は、ネットワーク30に直接的に接続され、ネットワーク30を介して、各拠点に存在する情報端末10、測位部61および俯瞰映像撮影部62と通信する。なお、通信部250は、通信インタフェース811(図13)により実装され得る。
(Communication unit 250)
The communication unit 250 communicates with another device. For example, the communication unit 250 is directly connected to the network 30 and communicates with the information terminal 10, the positioning unit 61, and the bird's-eye view image capturing unit 62 existing at each base via the network 30. The communication unit 250 can be mounted by the communication interface 811 (FIG. 13).

以上、本発明の第1の実施形態に係るサーバ20の機能構成の一例について説明した。 The example of the functional configuration of the server 20 according to the first embodiment of the present invention has been described above.

(1−4.システムの利用例)
続いて、本発明の第1の実施形態に係る表示制御システム1の利用例について説明する。まず、拠点A〜Eそれぞれにおいて、俯瞰映像撮影部62によって(俯瞰映像撮影部62が設置された)拠点の映像が撮影される。そして、拠点A〜Eそれぞれの俯瞰映像撮影部62によって得られた映像は、(例えば、所定のフレームレートで)ネットワーク30を介してサーバ20に送信される。一方、拠点A〜Eそれぞれにおいて、測位部61によって拠点に存在する情報端末10の位置が測定される。拠点A〜Eそれぞれの測位部61によって得られた情報端末10の位置情報は、(例えば、所定の時間ごとに)ネットワーク30を介してサーバ20に送信される。
(1-4. System usage example)
Subsequently, a usage example of the display control system 1 according to the first embodiment of the present invention will be described. First, at each of the bases A to E, the image of the base (where the bird's-eye view video shooting unit 62 is installed) is shot by the bird's-eye view video shooting unit 62. Then, the image obtained by the bird's-eye view image capturing unit 62 of each of the bases A to E is transmitted to the server 20 via the network 30 (for example, at a predetermined frame rate). On the other hand, at each of the bases A to E, the position of the information terminal 10 existing at the base is measured by the positioning unit 61. The position information of the information terminal 10 obtained by the positioning unit 61 of each of the bases A to E is transmitted to the server 20 via the network 30 (for example, at predetermined time intervals).

サーバ20において、通信部250は、俯瞰映像撮影部62から送信された拠点A〜Eそれぞれの映像を、ネットワーク30を介して受信する。また、通信部250は、測位部61から送信された拠点A〜Eそれぞれに存在する情報端末10の位置情報を、ネットワーク30を介して受信する。取得部212は、拠点A〜Eそれぞれの映像および拠点A〜Eそれぞれに存在する情報端末10の位置情報を取得する。情報端末10の位置情報は、情報端末10が存在する拠点における情報端末10の三次元的な位置情報である。したがって、処理部213は、情報端末10の三次元的な位置情報に基づいて、情報端末10の映像における位置(二次元位置)を算出する。 In the server 20, the communication unit 250 receives the images of the bases A to E transmitted from the bird's-eye view image capturing unit 62 via the network 30. Further, the communication unit 250 receives the position information of the information terminals 10 existing in each of the bases A to E transmitted from the positioning unit 61 via the network 30. The acquisition unit 212 acquires the video of each of the bases A to E and the position information of the information terminal 10 existing in each of the bases A to E. The position information of the information terminal 10 is three-dimensional position information of the information terminal 10 at the base where the information terminal 10 exists. Therefore, the processing unit 213 calculates the position (two-dimensional position) of the information terminal 10 in the video based on the three-dimensional position information of the information terminal 10.

また、サーバ20において、記憶部240は、1または複数の情報端末10の少なくとも一部に対応する関連情報を記憶している。ここでは、情報端末10の関連情報が、情報端末10の利用者によって入力されたテキストメッセージを含む場合を想定する。 Further, in the server 20, the storage unit 240 stores related information corresponding to at least a part of one or a plurality of information terminals 10. Here, it is assumed that the related information of the information terminal 10 includes a text message input by the user of the information terminal 10.

かかる場合には、情報端末10において入力されたテキストメッセージが関連情報取得部111によって取得され、送信制御部112によって通信部150を介してサーバ20に提供され、取得部212によって通信部250を介して取得されるたびに、処理部213は、記憶部240において情報端末10に対応付けられたテキストメッセージを更新してよい。 In such a case, the text message input in the information terminal 10 is acquired by the related information acquisition unit 111, provided to the server 20 by the transmission control unit 112 via the communication unit 150, and is provided to the server 20 by the acquisition unit 212 via the communication unit 250. The processing unit 213 may update the text message associated with the information terminal 10 in the storage unit 240 each time it is acquired.

しかし、情報端末10の関連情報は、情報端末10の利用者によって入力されたテキストメッセージを含む場合に限定されない。例えば、情報端末10の関連情報は、情報端末10の利用者のプレゼンス情報(例えば、通話中、在席中、または、不在中など)を含んでもよいし、情報端末10の利用者の感情情報(例えば、ポジティブ度など)を含んでもよい。 However, the related information of the information terminal 10 is not limited to the case where the text message input by the user of the information terminal 10 is included. For example, the related information of the information terminal 10 may include presence information of the user of the information terminal 10 (for example, during a call, present, or absent), or emotional information of the user of the information terminal 10. (For example, positiveness, etc.) may be included.

ここで、情報端末10の利用者のプレゼンス情報は、情報端末10の利用者によって選択可能であってもよいし、情報端末10によって自動的に取得されてもよい。例えば、利用者の携帯するタグから発せられた無線信号を、席に置いてある情報端末10が受信可能である場合、タグから発せられた無線信号を情報端末10が受信した場合に、情報端末10は、利用者が在席中であると判断してもよい。 Here, the presence information of the user of the information terminal 10 may be selectable by the user of the information terminal 10, or may be automatically acquired by the information terminal 10. For example, when the information terminal 10 placed in the seat can receive the wireless signal emitted from the tag carried by the user, or when the information terminal 10 receives the wireless signal emitted from the tag, the information terminal 10 may determine that the user is present.

かかる場合には、情報端末10においてプレゼンス情報が関連情報取得部111によって取得され、送信制御部112によって通信部150を介してサーバ20に提供され、取得部212によって通信部250を介して取得されるたびに、処理部213は、記憶部240において情報端末10に対応付けられたプレゼンス情報を更新してよい。 In such a case, the presence information is acquired by the related information acquisition unit 111 in the information terminal 10, is provided to the server 20 by the transmission control unit 112 via the communication unit 150, and is acquired by the acquisition unit 212 via the communication unit 250. Each time, the processing unit 213 may update the presence information associated with the information terminal 10 in the storage unit 240.

情報端末10の利用者の感情情報も、情報端末10の利用者によって選択可能であってもよいし、情報端末10によって自動的に取得されてもよい。例えば、本発明の第2の実施形態においても説明するように、情報端末10の利用者の感情情報は、情報端末10の利用者に対するセンシングデータがサーバ20によって解析されることによって得られてもよい。 The emotional information of the user of the information terminal 10 may also be selectable by the user of the information terminal 10, or may be automatically acquired by the information terminal 10. For example, as described in the second embodiment of the present invention, the emotional information of the user of the information terminal 10 may be obtained by analyzing the sensing data for the user of the information terminal 10 by the server 20. Good.

かかる場合には、情報端末10において感情情報またはセンシングデータが関連情報取得部111によって取得され、送信制御部112によって通信部150を介してサーバ20に提供され、取得部212によって通信部250を介して感情情報またはセンシングデータが取得されるたびに、処理部213は、記憶部240において情報端末10に対応付けられた感情情報を更新してよい。 In such a case, the information terminal 10 acquires emotional information or sensing data by the related information acquisition unit 111, provides the transmission control unit 112 to the server 20 via the communication unit 150, and the acquisition unit 212 via the communication unit 250. Each time the emotional information or sensing data is acquired, the processing unit 213 may update the emotional information associated with the information terminal 10 in the storage unit 240.

処理部213は、情報端末10の映像における位置(二次元位置)に情報端末10の関連情報を付する。これによって、処理部213は、拠点A〜Eそれぞれに存在する情報端末10の関連情報が対応する位置(二次元位置)に付された拠点A〜Eの映像(以下、「関連情報が付された拠点A〜Eの映像」とも言う。)を得る。処理部213は、拠点A〜Eの映像それぞれの解像度を低下させることによって、拠点A〜Eの低解像度データ(以下、「拠点A〜Eのサムネイル画像」とも言う。)を生成する。 The processing unit 213 attaches the related information of the information terminal 10 to the position (two-dimensional position) in the image of the information terminal 10. As a result, the processing unit 213 has the images of the bases A to E attached to the corresponding positions (two-dimensional positions) of the related information of the information terminals 10 existing in the bases A to E (hereinafter, "related information is attached". Also referred to as "videos of bases A to E"). The processing unit 213 generates low-resolution data of the bases A to E (hereinafter, also referred to as “thumbnail images of the bases A to E”) by lowering the resolution of each of the images of the bases A to E.

ここで、拠点A〜Eそれぞれに存在する情報端末10の表示部170において、第1の領域(以下、「メイン領域」とも言う。)には、関連情報が付された拠点A〜Eの映像のうち、表示対象領域(表示対象映像には関連情報が付されている場合もある)が表示される。表示対象領域は、表示を行う情報端末10ごとに異なり得る。一方、メイン領域よりも小さい第2の領域(以下、「サムネイル領域」とも言う。)には、拠点A〜Eのサムネイル画像が表示される。 Here, in the display unit 170 of the information terminal 10 existing in each of the bases A to E, the image of the bases A to E to which the related information is attached to the first area (hereinafter, also referred to as “main area”). Of these, the display target area (the display target video may be accompanied by related information) is displayed. The display target area may differ depending on the information terminal 10 that displays. On the other hand, thumbnail images of the bases A to E are displayed in the second area (hereinafter, also referred to as “thumbnail area”) smaller than the main area.

そこで、送信制御部214は、拠点A〜Eのサムネイル画像と表示対象映像とを、通信部150を介して情報端末10に提供する。なお、以下では、拠点A〜Eのサムネイル画像と表示対象映像との組み合わせを、「表示用データ」と言う場合がある。 Therefore, the transmission control unit 214 provides the thumbnail images of the bases A to E and the display target video to the information terminal 10 via the communication unit 150. In the following, the combination of the thumbnail images of the bases A to E and the display target video may be referred to as "display data".

拠点A〜Eそれぞれに存在する情報端末10において、表示用データ取得部113は、通信部150を介して表示用データを取得する。表示制御部116は、表示用データに基づいて、表示用データが表示部170によって表示されるように表示部170を制御する。以下では、(拠点Aに存在する)ある情報端末10によって表示される画面例について主に説明を続ける。当該情報端末10の利用者は「Aさん」であるとする。しかし、他の情報端末10によっても、拠点Aに存在する情報端末10によって表示される画面と同様な画面(表示対象領域は異なり得る)が表示される。 In the information terminals 10 existing in each of the bases A to E, the display data acquisition unit 113 acquires the display data via the communication unit 150. The display control unit 116 controls the display unit 170 so that the display data is displayed by the display unit 170 based on the display data. In the following, a screen example displayed by a certain information terminal 10 (existing at the base A) will be mainly described. It is assumed that the user of the information terminal 10 is "Mr. A". However, the other information terminal 10 also displays a screen similar to the screen displayed by the information terminal 10 existing at the base A (the display target area may be different).

図4は、本発明の第1の実施形態に係る情報端末10によって表示される画面例を示す図である。図4を参照すると、(拠点Aに存在する)情報端末10によって表示される画面の一例として画面G11が示されている。画面G11には、メイン領域R1とサムネイル領域R2とが含まれている。ここで、図4に示した例では、メイン領域R1の下にサムネイル領域R2が存在している。しかし、メイン領域R1とサムネイル領域R2との位置関係は限定されない。 FIG. 4 is a diagram showing an example of a screen displayed by the information terminal 10 according to the first embodiment of the present invention. Referring to FIG. 4, the screen G11 is shown as an example of the screen displayed by the information terminal 10 (existing at the base A). The screen G11 includes a main area R1 and a thumbnail area R2. Here, in the example shown in FIG. 4, the thumbnail area R2 exists below the main area R1. However, the positional relationship between the main area R1 and the thumbnail area R2 is not limited.

表示制御部116は、メイン領域R1に表示対象映像が表示されるように表示部170を制御する。ここでは、拠点Bの映像の一部が表示対象映像に含まれる場合を想定する。したがって、メイン領域R1には、拠点Bの映像の一部(当該一部には、利用者U1と利用者U1によって利用される情報端末10とが写っている)が表示されている。一方、表示制御部116は、サムネイル領域R2に拠点A〜Eのサムネイル画像が表示されるように表示部170を制御する。サムネイル領域R2の注目領域86には、メイン領域R1に表示されている表示対象映像に対応するデータ(表示対象映像の低解像度データ)が表示されている。 The display control unit 116 controls the display unit 170 so that the display target image is displayed in the main area R1. Here, it is assumed that a part of the image of the base B is included in the display target image. Therefore, a part of the image of the base B (the user U1 and the information terminal 10 used by the user U1 are shown in the part) is displayed in the main area R1. On the other hand, the display control unit 116 controls the display unit 170 so that the thumbnail images of the bases A to E are displayed in the thumbnail area R2. In the attention area 86 of the thumbnail area R2, data corresponding to the display target image displayed in the main area R1 (low resolution data of the display target image) is displayed.

なお、図4に示した例では、サムネイル領域R2に、拠点A〜Eのサムネイル画像がこの順に左から右へスペースなく並べられている。しかし、拠点A〜Eのサムネイル画像が並べられる方向は、左右方向に限定されない。例えば、拠点A〜Eのサムネイル画像が並べられる方向は、上下方向であってもよい。 In the example shown in FIG. 4, the thumbnail images of the bases A to E are arranged in this order from left to right without any space in the thumbnail area R2. However, the direction in which the thumbnail images of the bases A to E are arranged is not limited to the left-right direction. For example, the direction in which the thumbnail images of the bases A to E are arranged may be the vertical direction.

その他、画面G11には、拠点名71、メッセージ入力欄72、メニュー選択欄73、電話帳アイコン74、閲覧人数75、利用者名76、賛同数77が表示されている。拠点名71は、メイン領域R1に写っている拠点(ここでは、拠点B)の名称である。メッセージ入力欄72は、利用者によるテキストメッセージの入力欄である。メニュー選択欄73は、各種設定のためのメニュー選択欄である。電話帳アイコン74は、通話先候補が登録された電話帳を表示するためのアイコンである。閲覧人数75は、画面を通して当該情報端末の利用者(ここでは、Aさん)を見ている人数である。利用者名76は、当該情報端末の利用者の名前である。賛同数77は、当該情報端末の利用者(ここでは、Aさん)が他の利用者から得た賛同数である。 In addition, the base name 71, the message input field 72, the menu selection field 73, the telephone directory icon 74, the number of viewers 75, the user name 76, and the number of approvals 77 are displayed on the screen G11. The base name 71 is the name of the base (here, base B) shown in the main area R1. The message input field 72 is a text message input field by the user. The menu selection field 73 is a menu selection field for various settings. The telephone directory icon 74 is an icon for displaying a telephone directory in which call destination candidates are registered. The number of viewers 75 is the number of people viewing the user of the information terminal (here, Mr. A) through the screen. The user name 76 is the name of the user of the information terminal. The number of approvals 77 is the number of approvals obtained by the user of the information terminal (here, Mr. A) from other users.

また、画面G11には、利用者名81、関連情報82および賛同数83が表示されている。利用者名81は、(メイン領域R1に表示された)表示対象映像に写る情報端末10の利用者U1(ここでは、Bさん)の名前である。関連情報82は、(メイン領域R1に表示された)表示対象映像に写る情報端末10の関連情報である。賛同数83は、(メイン領域R1に表示された)表示対象映像に写る情報端末10の利用者U1(ここでは、Bさん)が他の利用者から得た賛同数である。 In addition, the user name 81, the related information 82, and the number of approvals 83 are displayed on the screen G11. The user name 81 is the name of the user U1 (here, Mr. B) of the information terminal 10 shown in the display target image (displayed in the main area R1). The related information 82 is related information of the information terminal 10 appearing in the display target video (displayed in the main area R1). The number of approvals 83 is the number of approvals obtained from other users by the user U1 (here, Mr. B) of the information terminal 10 shown in the display target image (displayed in the main area R1).

図4に示した例では、(メイン領域R1に表示された)表示対象映像における位置(二次元位置)に、関連情報82が付されている他、利用者名81および賛同数83も付されている。そして、利用者名81、関連情報82および賛同数83が、1つの吹き出しの中に収まっている。 In the example shown in FIG. 4, the related information 82 is attached to the position (two-dimensional position) in the display target image (displayed in the main area R1), and the user name 81 and the approval number 83 are also attached. ing. Then, the user name 81, the related information 82, and the number of approvals 83 are contained in one balloon.

また、画面G11には、音量バー84および音声認識中表示85が表示されている。音量バー84は、音声入力部130によって受け付けられた利用者が発した音声の音量を示す。音声入力部130によって受け付けられた音声は、通話中である場合には通話制御部117によって通信部150を介して相手先に送信される。また、通話中に通信部150を介して入力された相手先の音声は、通話制御部117によって音声出力部160を介して出力される。 Further, the volume bar 84 and the voice recognition in-progress display 85 are displayed on the screen G11. The volume bar 84 indicates the volume of the voice emitted by the user received by the voice input unit 130. The voice received by the voice input unit 130 is transmitted to the other party via the communication unit 150 by the call control unit 117 when the call is in progress. Further, the voice of the other party input via the communication unit 150 during a call is output by the call control unit 117 via the voice output unit 160.

音声認識中表示85は、音声入力部130によって受け付けられた利用者が発した音声に対して音声認識が実行されていることを示す。音声認識が実行されている場合には、音声認識中表示85に含まれる3つのランプが順に点滅する。なお、音声認識によって得られたテキストデータは、メッセージ入力欄72に設定される。通話制御部117によって通信部150を介して相手先に送信される。 The voice recognition in-display 85 indicates that voice recognition is being executed for the voice uttered by the user received by the voice input unit 130. When voice recognition is being executed, the three lamps included in the voice recognition in-display 85 blink in order. The text data obtained by voice recognition is set in the message input field 72. It is transmitted to the other party by the call control unit 117 via the communication unit 150.

図4に示された例では、メイン領域R1に拠点Bの映像の一部が表示されている。このとき、利用者が拠点Bにおける他の領域を閲覧したいと考えた場合、または、拠点Bとは異なる拠点の映像を閲覧したいと考えた場合を想定する。かかる場合には、利用者は、メイン領域R1に対するスワイプ操作を入力すればよい。操作情報取得部115によって操作部120を介してメイン領域R1に対するスワイプ操作が受け付けられると、表示制御部116は、スワイプ操作に基づいてメイン領域R1に表示された表示対象映像をスクロールさせる。 In the example shown in FIG. 4, a part of the image of the base B is displayed in the main area R1. At this time, it is assumed that the user wants to browse another area in the base B, or wants to browse the video of a base different from the base B. In such a case, the user may input a swipe operation for the main area R1. When the operation information acquisition unit 115 receives a swipe operation for the main area R1 via the operation unit 120, the display control unit 116 scrolls the display target image displayed in the main area R1 based on the swipe operation.

ここでは、利用者が拠点Cの映像を閲覧したいと考えた場合を想定する。かかる場合には、メイン領域R1に対する左方向へのスワイプ操作を入力すればよい。図5は、図4に示された画面例においてメイン領域R1に対する左方向へのスワイプ操作が入力された場合に表示される画面例を示す図である。表示制御部116は、スワイプ操作に基づいて、メイン領域R1の表示切り替えを行う。 Here, it is assumed that the user wants to view the video of the base C. In such a case, a swipe operation to the left with respect to the main area R1 may be input. FIG. 5 is a diagram showing a screen example displayed when a swipe operation to the left with respect to the main area R1 is input in the screen example shown in FIG. The display control unit 116 switches the display of the main area R1 based on the swipe operation.

このとき、メイン領域R1に表示される表示対象映像が拠点Bの映像の一部を含んだ状態から拠点Cの映像の一部を含んだ状態に切り替わる。表示制御部116は、かかる表示切り替えをシームレスに行う。図5を参照すると、メイン領域R1に表示される表示対象映像が拠点Bの映像の右端に到達したため、表示制御部116は、拠点Bの映像の右端と繋がった拠点Cの映像の左端を表示させ始めている。 At this time, the display target image displayed in the main area R1 is switched from the state including a part of the image of the base B to the state including a part of the image of the base C. The display control unit 116 seamlessly performs such display switching. Referring to FIG. 5, since the display target image displayed in the main area R1 reaches the right end of the image of the base B, the display control unit 116 displays the left end of the image of the base C connected to the right end of the image of the base B. I'm starting to let you.

なお、操作情報取得部115によって操作部120を介してメイン領域R1に対するスワイプ操作が受け付けられる場合を主に想定した。しかし、操作情報取得部115によって操作部120を介してサムネイル領域R2に対するスワイプ操作が受け付けられてもよい。かかる場合には、表示制御部116は、スワイプ操作に基づいてサムネイル領域R2に表示された拠点A〜Eのサムネイル画像をスクロールさせる。なお、スワイプ操作が行われなくても、メイン領域R1に表示される表示対象映像またはサムネイル領域R2に表示された拠点A〜Eのサムネイル画像が自動的にスクロールされてもよい。 It is mainly assumed that the operation information acquisition unit 115 accepts a swipe operation for the main area R1 via the operation unit 120. However, the operation information acquisition unit 115 may accept the swipe operation for the thumbnail area R2 via the operation unit 120. In such a case, the display control unit 116 scrolls the thumbnail images of the bases A to E displayed in the thumbnail area R2 based on the swipe operation. Even if the swipe operation is not performed, the display target image displayed in the main area R1 or the thumbnail images of the bases A to E displayed in the thumbnail area R2 may be automatically scrolled.

上記したように、サムネイル領域R2の注目領域86には、メイン領域R1に表示されている表示対象映像に対応するデータ(表示対象映像の低解像度データ)が表示される。すなわち、メイン領域R1に対してスワイプ操作が行われようと、サムネイル領域R2に対してスワイプ操作が行われようと、表示制御部116は、メイン領域R1に表示される表示対象映像とサムネイル領域R2に表示された拠点A〜Eのサムネイル画像との間でスクロールを連動させるのがよい。 As described above, in the attention area 86 of the thumbnail area R2, the data corresponding to the display target image displayed in the main area R1 (low resolution data of the display target image) is displayed. That is, regardless of whether the swipe operation is performed on the main area R1 or the thumbnail area R2, the display control unit 116 displays the display target image and the thumbnail area R2 displayed in the main area R1. It is preferable to link the scrolling with the thumbnail images of the bases A to E displayed in.

なお、メイン領域R1に表示される表示対象映像とサムネイル領域R2に表示された拠点A〜Eのサムネイル画像との間のスクロールの連動には、時間差があってもよいし、時間差がなくてもよい。あるいは、メイン領域R1に表示される表示対象映像とサムネイル領域R2に表示された拠点A〜Eのサムネイル画像との間のスクロールは、連動しなくてもよい。 Note that there may or may not be a time difference in the interlocking of scrolling between the display target image displayed in the main area R1 and the thumbnail images of the bases A to E displayed in the thumbnail area R2. Good. Alternatively, the scrolling between the display target image displayed in the main area R1 and the thumbnail images of the bases A to E displayed in the thumbnail area R2 does not have to be linked.

表示制御部116は、メイン領域R1に表示される表示対象映像をスクロールさせるに際して、メイン領域R1に表示される表示対象映像に、重視すべき関連情報(所定の種類の関連情報)が付されているか否かを判断する。そして、表示制御部116は、メイン領域R1に表示される表示対象映像に、重視すべき関連情報が付されているか否かに応じて、表示対象映像のスクロール速度を制御する。かかる構成によれば、利用者による関連情報の閲覧効率を向上させることが可能となる。 When scrolling the display target image displayed in the main area R1, the display control unit 116 attaches important related information (predetermined type of related information) to the display target image displayed in the main area R1. Judge whether or not. Then, the display control unit 116 controls the scroll speed of the display target image according to whether or not the display target image displayed in the main area R1 is provided with related information to be emphasized. According to such a configuration, it is possible to improve the viewing efficiency of related information by the user.

具体的に、利用者は、時間を掛けて関連情報を閲覧したいと考えるのが通例である。そこで、表示制御部116は、メイン領域R1に表示される表示対象映像に関連情報に重視すべき関連情報が付されている場合には、メイン領域R1に表示される表示対象映像に重視すべき関連情報が付されていない場合と比較して、表示対象映像のスクロール速度を小さくするのがよい。 Specifically, users usually want to spend time browsing related information. Therefore, when the display target image displayed in the main area R1 has related information that should be emphasized in the related information, the display control unit 116 should emphasize the display target image displayed in the main area R1. It is better to reduce the scroll speed of the display target image as compared with the case where the related information is not attached.

なお、重視すべき関連情報は特定の種類の関連情報に限定されない。例えば、利用者が「在席中」または「通話中」の他の利用者を閲覧したい場合、重視すべき関連情報は、「在席中」または「通話中」を示すプレゼンス情報であってもよい。あるいは、重視すべき関連情報は、テキストメッセージであってもよい(例えば、初期値としてテキストメッセージが設定されていてもよい)。 The related information that should be emphasized is not limited to a specific type of related information. For example, if a user wants to browse other users who are "in attendance" or "in a call", the relevant information that should be emphasized may be presence information indicating "in attendance" or "in a call". Good. Alternatively, the relevant information to be emphasized may be a text message (for example, a text message may be set as an initial value).

このとき、重視すべき関連情報は、利用者によって選択可能であってよい。すなわち、選択情報取得部114は、利用者によって操作部120を介して選択された重視すべき関連情報を取得してよい。しかし、メイン領域R1またはサムネイル領域R2に対して一本指によるスワイプ操作がなされた場合、メイン領域R1に表示される表示対象映像またはサムネイル領域R2に表示された拠点A〜Eのサムネイル画像がスクロールされてしまう。そこで、例えば、重視すべき関連情報は、利用者の二本指による上下方向へのスワイプ操作に基づいて選択可能であってもよい。 At this time, the related information to be emphasized may be selectable by the user. That is, the selection information acquisition unit 114 may acquire important related information selected by the user via the operation unit 120. However, when a one-finger swipe operation is performed on the main area R1 or the thumbnail area R2, the display target image displayed in the main area R1 or the thumbnail images of the bases A to E displayed in the thumbnail area R2 scroll. Will be done. Therefore, for example, related information to be emphasized may be selectable based on a swipe operation in the vertical direction with two fingers of the user.

以上、本発明の第1の実施形態に係る表示制御システム1の利用例について説明した。 The usage example of the display control system 1 according to the first embodiment of the present invention has been described above.

(1−5.システムの動作例)
続いて、本発明の第1の実施形態に係る表示制御システム1の動作例について説明する。図6は、本発明の第1の実施形態に係る表示制御システム1の動作例を示すフローチャートである。図6に示されるように、各拠点の俯瞰映像撮影部62は、各拠点の映像を撮影する(S11)。また、各拠点の測位部61は、各拠点に存在する情報端末10の位置を測定する(S12)。サーバ20において、取得部212は、拠点A〜Eそれぞれの映像および、拠点A〜Eそれぞれの映像および拠点A〜Eそれぞれに存在する情報端末10の位置情報を、通信部250を介して取得する。
(1-5. System operation example)
Subsequently, an operation example of the display control system 1 according to the first embodiment of the present invention will be described. FIG. 6 is a flowchart showing an operation example of the display control system 1 according to the first embodiment of the present invention. As shown in FIG. 6, the bird's-eye view video capturing unit 62 of each base captures a video of each base (S11). Further, the positioning unit 61 of each base measures the position of the information terminal 10 existing at each base (S12). In the server 20, the acquisition unit 212 acquires the images of the bases A to E, the images of the bases A to E, and the position information of the information terminals 10 existing in each of the bases A to E via the communication unit 250. ..

処理部213は、情報端末10の映像における位置(二次元位置)に情報端末10の関連情報を付する。これによって、処理部213は、拠点A〜Eそれぞれに存在する情報端末10の関連情報が対応する位置(二次元位置)に付された拠点A〜Eの映像を得る。また、処理部213は、拠点A〜Eの映像それぞれの解像度を低下させることによって、拠点A〜Eのサムネイル画像を生成する。表示対象映像と拠点A〜Eのサムネイル画像とは、表示用データとして生成され、各拠点に存在する情報端末10に配信される(S13)。 The processing unit 213 attaches the related information of the information terminal 10 to the position (two-dimensional position) in the image of the information terminal 10. As a result, the processing unit 213 obtains images of the bases A to E attached to the corresponding positions (two-dimensional positions) of the related information of the information terminals 10 existing in the bases A to E respectively. Further, the processing unit 213 generates thumbnail images of the bases A to E by lowering the resolution of each of the images of the bases A to E. The display target video and the thumbnail images of the bases A to E are generated as display data and distributed to the information terminals 10 existing at each base (S13).

各拠点に存在する情報端末10において、表示制御部116は、表示対象映像がメイン領域R1に表示されるように制御し、拠点A〜Eのサムネイル画像がサムネイル領域R2に表示されるように制御する(S14)。表示制御部116は、重視する関連情報を変更する場合には(S15において「YES」)、重視する関連情報を切り替えて(S16)、S17に進む。一方、表示制御部116は、重視する関連情報を変更しない場合には(S15において「NO」)、S17に進む。 In the information terminal 10 existing in each base, the display control unit 116 controls so that the display target image is displayed in the main area R1 and controls the thumbnail images of the bases A to E to be displayed in the thumbnail area R2. (S14). When the display control unit 116 changes the important related information (“YES” in S15), the display control unit 116 switches the important related information (S16) and proceeds to S17. On the other hand, if the display control unit 116 does not change the related information to be emphasized (“NO” in S15), the display control unit 116 proceeds to S17.

各拠点に存在する情報端末10において、表示制御部116は、メイン領域R1またはサムネイル領域R2に対して利用者からスクロール操作が入力されない場合には(S17において「NO」)、動作を終了する。一方、表示制御部116は、メイン領域R1またはサムネイル領域R2に対して利用者からスクロール操作が入力された場合には(S17において「YES」)、拠点映像(メイン領域R1に表示される表示対象映像)およびサムネイル領域R2に表示された拠点A〜Eのサムネイル画像をスクロールさせる。 In the information terminal 10 existing at each base, the display control unit 116 ends the operation when the scroll operation is not input from the user to the main area R1 or the thumbnail area R2 (“NO” in S17). On the other hand, when the scroll operation is input from the user to the main area R1 or the thumbnail area R2 (“YES” in S17), the display control unit 116 displays the base image (display target displayed in the main area R1). (Video) and the thumbnail images of the bases A to E displayed in the thumbnail area R2 are scrolled.

このとき、表示制御部116は、メイン領域R1に表示中の拠点映像に所定の関連情報が付されている場合(S18において「YES」)、スクロール速度を通常にする(S19)。これによって、関連情報の視認性が高まる。一方、表示制御部116は、拠点映像に所定の関連情報が付されていない場合(S18において「NO」)、スクロール速度を早くする(S20)。表示制御部116は、拠点映像のスクロールを継続する場合には(S21において「NO」)、S18に進む。一方、表示制御部116は、拠点映像のスクロールを終了する場合には(S21)、動作をする。 At this time, the display control unit 116 makes the scroll speed normal (S19) when the base image being displayed in the main area R1 is provided with predetermined related information (“YES” in S18). This enhances the visibility of related information. On the other hand, the display control unit 116 increases the scroll speed (S20) when the base image does not have predetermined related information (“NO” in S18). When the display control unit 116 continues scrolling the base image (“NO” in S21), the display control unit 116 proceeds to S18. On the other hand, the display control unit 116 operates when the scrolling of the base image is finished (S21).

以上、本発明の第1の実施形態に係る表示制御システム1の動作例について説明した。 The operation example of the display control system 1 according to the first embodiment of the present invention has been described above.

(1−6.まとめ)
本発明の第1の実施形態によれば、利用者による関連情報の閲覧効率を向上させることが可能となる。より具体的に、本発明の第1の実施形態によれば、複数の拠点それぞれの映像を連続的に表示するに際して、複数の拠点それぞれに存在する情報端末の関連情報の閲覧効率を向上させることが可能となる。
(1-6. Summary)
According to the first embodiment of the present invention, it is possible to improve the viewing efficiency of related information by the user. More specifically, according to the first embodiment of the present invention, when the images of the plurality of bases are continuously displayed, the viewing efficiency of the related information of the information terminals existing in the plurality of bases is improved. Is possible.

上記では、表示制御部116が、メイン領域R1に表示される表示対象映像に重視すべき関連情報が付されているか否かに応じて、表示対象映像のスクロール速度を制御する場合を主に想定した。しかし、表示制御部116は、メイン領域R1に表示される表示対象映像のスクロール速度を、他のパラメータに応じて制御してもよい。 In the above, it is mainly assumed that the display control unit 116 controls the scroll speed of the display target image according to whether or not the display target image displayed in the main area R1 has related information to be emphasized. did. However, the display control unit 116 may control the scroll speed of the display target image displayed in the main area R1 according to other parameters.

例えば、表示制御部116は、メイン領域R1に表示される表示対象映像に重視すべき関連情報が付されている場合、表示対象映像に付されている重視すべき関連情報の数に応じて、表示対象映像のスクロール速度を制御してもよい。一例として、表示制御部116は、表示対象映像に付されている重視すべき関連情報の数が多いほど、重視すべき関連情報の閲覧に時間を要するため、表示対象映像のスクロール速度を小さくしてもよい。 For example, when the display target image displayed in the main area R1 is attached with important related information, the display control unit 116 responds to the number of important related information attached to the display target image. The scroll speed of the image to be displayed may be controlled. As an example, the display control unit 116 reduces the scroll speed of the display target image because the larger the number of important related information attached to the display target image, the longer it takes to browse the important related information. You may.

また、表示制御部116は、メイン領域R1に表示される表示対象映像に重視すべき関連情報が付されている場合、表示対象映像に付されている重視すべき関連情報の種類に応じて、表示対象領域のスクロール速度を制御してもよい。一例として、表示制御部116は、表示対象映像に付されている重視すべき関連情報の重要度が高いほど、重視すべき関連情報の閲覧に時間を要するため、表示対象映像のスクロール速度を小さくしてもよい。 Further, when the display target image displayed in the main area R1 is attached with the related information to be emphasized, the display control unit 116 responds to the type of the related information to be emphasized attached to the display target image. You may control the scroll speed of the display target area. As an example, the display control unit 116 reduces the scroll speed of the display target image because the higher the importance of the important related information attached to the display target image, the longer it takes to browse the important related information. You may.

また、表示制御部116は、メイン領域R1に表示される表示対象領域に重視すべき関連情報が付されていない場合、利用者によるフリック操作に基づいて、重視すべき関連情報が付されている表示対象領域がメイン領域R1に達するまでスクロールさせてもよい。これによって、利用者による関連情報の閲覧効率を向上させることが可能となる。 Further, when the display target area displayed in the main area R1 is not provided with the related information to be emphasized, the display control unit 116 is provided with the related information to be emphasized based on the flick operation by the user. You may scroll until the display target area reaches the main area R1. This makes it possible to improve the viewing efficiency of related information by the user.

以上、本発明の第1の実施形態について説明した。 The first embodiment of the present invention has been described above.

(2.第2の実施形態)
続いて、本発明の第2の実施形態について説明する。以下では、本発明の第2の実施形態に係る表示制御システムが有する構成のうち、本発明の第1の実施形態に係る表示制御システムが有する構成と異なる構成について主に説明する。そして、本発明の第2の実施形態に係る表示制御システムが有する構成のうち、本発明の第1の実施形態に係る表示制御システムが有する構成と共通する構成については、詳細な説明を省略する。
(2. Second embodiment)
Subsequently, a second embodiment of the present invention will be described. Hereinafter, among the configurations of the display control system according to the second embodiment of the present invention, configurations different from the configurations of the display control system according to the first embodiment of the present invention will be mainly described. Then, among the configurations of the display control system according to the second embodiment of the present invention, detailed description of the configurations common to the configurations of the display control system according to the first embodiment of the present invention will be omitted. ..

具体的に、本発明の第2の実施形態では、表示制御システム1が、本発明の第1の実施形態に係る情報端末10の代わりに、情報端末12を有する。また、本発明の第2の実施形態では、表示制御システム1が、本発明の第1の実施形態に係るサーバ20の代わりに、サーバ22を有する。したがって、以下では、本発明の第2の実施形態に係る情報端末12およびサーバ22について主に説明する。 Specifically, in the second embodiment of the present invention, the display control system 1 has an information terminal 12 instead of the information terminal 10 according to the first embodiment of the present invention. Further, in the second embodiment of the present invention, the display control system 1 has a server 22 instead of the server 20 according to the first embodiment of the present invention. Therefore, the information terminal 12 and the server 22 according to the second embodiment of the present invention will be mainly described below.

(2−1.情報端末の機能構成)
次に、図7を参照して、本発明の第2の実施形態に係る情報端末12の機能構成の一例を説明する。図7は、本発明の第2の実施形態に係る情報端末12の機能構成の一例を示すブロック図である。図7を参照すると、本発明の第2の実施形態に係る情報端末12は、利用者映像取得部118および利用者映像撮影部180を有する点において、本発明の第1の実施形態に係る情報端末10と異なっている。したがって、以下では、利用者映像取得部118および利用者映像撮影部180について主に説明する。
(2-1. Functional configuration of information terminal)
Next, an example of the functional configuration of the information terminal 12 according to the second embodiment of the present invention will be described with reference to FIG. 7. FIG. 7 is a block diagram showing an example of the functional configuration of the information terminal 12 according to the second embodiment of the present invention. Referring to FIG. 7, the information terminal 12 according to the second embodiment of the present invention has the user image acquisition unit 118 and the user image capturing unit 180, and the information according to the first embodiment of the present invention. It is different from the terminal 10. Therefore, in the following, the user image acquisition unit 118 and the user image shooting unit 180 will be mainly described.

以上、本発明の第2の実施形態に係る情報端末12の機能構成の一例について説明した。 The example of the functional configuration of the information terminal 12 according to the second embodiment of the present invention has been described above.

(2−2.サーバの機能構成)
次に、図8を参照して、本発明の第2の実施形態に係るサーバ22の機能構成の一例を説明する。図8は、本発明の第2の実施形態に係るサーバ22の機能構成の一例を示すブロック図である。図8を参照すると、本発明の第2の実施形態に係るサーバ22は、感情推定部215を有する点において、本発明の第1の実施形態に係るサーバ20と異なっている。したがって、以下では、感情推定部215について主に説明する。
(2-2. Server function configuration)
Next, an example of the functional configuration of the server 22 according to the second embodiment of the present invention will be described with reference to FIG. FIG. 8 is a block diagram showing an example of the functional configuration of the server 22 according to the second embodiment of the present invention. Referring to FIG. 8, the server 22 according to the second embodiment of the present invention is different from the server 20 according to the first embodiment of the present invention in that it has an emotion estimation unit 215. Therefore, in the following, the emotion estimation unit 215 will be mainly described.

以上、本発明の第2の実施形態に係るサーバ22の機能構成の一例について説明した。 The example of the functional configuration of the server 22 according to the second embodiment of the present invention has been described above.

(2−3.システムの利用例)
続いて、本発明の第2の実施形態に係る表示制御システム1の利用例について説明する。拠点A〜Eそれぞれに存在する情報端末12において、利用者映像撮影部180は、(例えば、所定の時間ごとに)当該情報端末12の利用者に対するセンシングデータを得る。ここでは、利用者映像撮影部180は、可視光カメラを含んで構成され、可視光カメラによって利用者の顔を撮影し、利用者の顔映像をセンシングデータとして得る場合を主に想定する。しかし、センシングデータは、利用者の顔映像に限定されない。
(2-3. System usage example)
Subsequently, a usage example of the display control system 1 according to the second embodiment of the present invention will be described. In the information terminals 12 existing in each of the bases A to E, the user image capturing unit 180 obtains sensing data for the user of the information terminal 12 (for example, at predetermined time intervals). Here, it is mainly assumed that the user image capturing unit 180 includes a visible light camera, photographs the user's face with the visible light camera, and obtains the user's face image as sensing data. However, the sensing data is not limited to the user's facial image.

なお、利用者映像撮影部180が利用者の顔映像を得るタイミングは限定されない。例えば、利用者映像撮影部180は、所定の時間ごとに利用者の顔映像を得てもよい。また、利用者の感情情報を高精度に得るため、利用者映像撮影部180は、利用者が情報端末12を閲覧している場合に(例えば、プレゼンス情報が「在席中」である場合などに)、利用者の顔映像を得てもよい。なお、利用者映像撮影部180は、センサ813により実装され得る。 The timing at which the user image capturing unit 180 obtains the user's face image is not limited. For example, the user image capturing unit 180 may obtain a user's face image at predetermined time intervals. Further, in order to obtain the user's emotional information with high accuracy, the user video capturing unit 180 is used when the user is browsing the information terminal 12 (for example, when the presence information is "in attendance"). In), the user's facial image may be obtained. The user image capturing unit 180 may be mounted by the sensor 813.

利用者の顔映像が、利用者映像取得部118によって取得され、送信制御部112によって通信部150を介してサーバ22に提供され、取得部212によって通信部250を介して取得されるたびに、感情推定部215は、顔映像に基づいて利用者の感情情報を推定する。ここでは、感情推定部215が感情情報の例として、ポジティブ度を算出する場合を主に想定する。しかし、感情推定部215によって推定される感情情報は、ポジティブ度に限定されない。感情推定部215は、推定した感情情報を利用者の情報端末12に対応付けて、記憶部240に記憶させる。 Each time the user's face image is acquired by the user image acquisition unit 118, provided by the transmission control unit 112 to the server 22 via the communication unit 150, and acquired by the acquisition unit 212 via the communication unit 250, The emotion estimation unit 215 estimates the user's emotion information based on the facial image. Here, it is mainly assumed that the emotion estimation unit 215 calculates the positive degree as an example of emotion information. However, the emotion information estimated by the emotion estimation unit 215 is not limited to the positive degree. The emotion estimation unit 215 associates the estimated emotion information with the user's information terminal 12 and stores it in the storage unit 240.

ここで、拠点A〜Eそれぞれに存在する情報端末12の表示部170において、各拠点に存在する情報端末12の利用者の感情情報が表示される。そこで、送信制御部214は、各拠点に存在する情報端末12の利用者の感情情報を、通信部150を介して情報端末12に提供する。なお、送信制御部214は、各拠点に存在する情報端末12の利用者の感情情報を、所定の時間ごとに利用者の顔映像を提供してもよい。このとき、送信制御部214は、プレゼンス情報が「在席中」である利用者の感情情報のみを提供してもよい。 Here, the emotion information of the user of the information terminal 12 existing at each base is displayed on the display unit 170 of the information terminal 12 existing at each of the bases A to E. Therefore, the transmission control unit 214 provides the emotion information of the user of the information terminal 12 existing at each base to the information terminal 12 via the communication unit 150. The transmission control unit 214 may provide the emotional information of the user of the information terminal 12 existing at each base with the face image of the user at predetermined time intervals. At this time, the transmission control unit 214 may provide only the emotional information of the user whose presence information is “in attendance”.

拠点A〜Eそれぞれに存在する情報端末12において、表示制御部116は、通信部150を介して、拠点A〜Eそれぞれに存在する情報端末12の感情情報を取得する。表示制御部116は、拠点A〜Eそれぞれに存在する情報端末12の位置情報と当該情報端末12の利用者の感情情報とに基づいて、感情情報が表示されるように制御する。一例として、表示制御部116は、拠点A〜Eそれぞれに存在する情報端末12の位置情報に応じた拠点A〜Eのサムネイル画像における位置に、感情情報が表示されるように制御する。 In the information terminals 12 existing in each of the bases A to E, the display control unit 116 acquires the emotional information of the information terminals 12 existing in each of the bases A to E via the communication unit 150. The display control unit 116 controls so that the emotion information is displayed based on the position information of the information terminals 12 existing in each of the bases A to E and the emotion information of the user of the information terminal 12. As an example, the display control unit 116 controls so that the emotion information is displayed at the position in the thumbnail image of the bases A to E according to the position information of the information terminals 12 existing in each of the bases A to E.

図9は、本発明の第2の実施形態に係る情報端末12によって表示される画面例を示す図である。図9を参照すると、(拠点Aに存在する)情報端末12によって表示される画面の一例として画面G13が示されている。画面G13には、画面G11(図4)の表示内容とほぼ同内容が表示されている。また、画面G13には、画面G11(図4)と同様に、サムネイル領域R2に拠点A〜Eのサムネイル画像が表示されている。 FIG. 9 is a diagram showing an example of a screen displayed by the information terminal 12 according to the second embodiment of the present invention. Referring to FIG. 9, the screen G13 is shown as an example of the screen displayed by the information terminal 12 (existing at the base A). On the screen G13, substantially the same contents as those displayed on the screen G11 (FIG. 4) are displayed. Further, on the screen G13, the thumbnail images of the bases A to E are displayed in the thumbnail area R2 as in the screen G11 (FIG. 4).

画面G13においては、サムネイル領域R2の上下方向をポジティブ度、サムネイル領域R2の左右方向を拠点における水平方向の座標として扱う。図9に示すように、表示制御部116は、拠点A〜Eそれぞれに存在する(例えば、利用者が在席中の)情報端末12の水平方向の位置と拠点A〜Eのサムネイル画像における左右方向の位置が一致し、当該情報端末12の利用者のポジティブ度と拠点A〜Eのサムネイル画像における上下方向の位置が一致する点を見つけ、見つけた点同士を結ぶことによって折れ線グラフC1(感情グラフ)を描いてもよい。 On the screen G13, the vertical direction of the thumbnail area R2 is treated as the positive degree, and the horizontal direction of the thumbnail area R2 is treated as the horizontal coordinates at the base. As shown in FIG. 9, the display control unit 116 is located at each of the bases A to E (for example, when the user is present) in the horizontal direction and left and right in the thumbnail images of the bases A to E. Find points where the positions in the directions match, and the positiveness of the user of the information terminal 12 matches the positions in the vertical direction in the thumbnail images of the bases A to E, and connect the found points to form a line graph C1 (emotion). You may draw a graph).

以上、本発明の第2の実施形態に係る表示制御システム1の利用例について説明した。 The usage example of the display control system 1 according to the second embodiment of the present invention has been described above.

(2−3.システムの動作例)
続いて、本発明の第2の実施形態に係る表示制御システム1の動作例について説明する。図10〜図12は、本発明の第2の実施形態に係る表示制御システム1の動作例を示すフローチャートである。
(2-3. System operation example)
Subsequently, an operation example of the display control system 1 according to the second embodiment of the present invention will be described. 10 to 12 are flowcharts showing an operation example of the display control system 1 according to the second embodiment of the present invention.

図10に示されるように、感情推定が開始されると、各拠点の情報端末12において、利用者映像撮影部180は、利用者の映像を撮影する(S31)。利用者の映像は、利用者映像取得部118によって取得され、送信制御部112によって通信部150を介してサーバ22に送信される(S32)。サーバ22において、取得部212によって通信部250を介して取得されるたびに、感情推定部215は、利用者の映像に基づいて利用者の感情情報を推定する(S33)。感情推定部215は、推定した感情情報を利用者の情報端末12に対応付けて、記憶部240に記憶させる。 As shown in FIG. 10, when the emotion estimation is started, the user image capturing unit 180 captures the user's image at the information terminal 12 of each base (S31). The user's video is acquired by the user video acquisition unit 118, and is transmitted to the server 22 by the transmission control unit 112 via the communication unit 150 (S32). In the server 22, each time the acquisition unit 212 acquires the user's emotion information via the communication unit 250, the emotion estimation unit 215 estimates the user's emotion information based on the user's image (S33). The emotion estimation unit 215 associates the estimated emotion information with the user's information terminal 12 and stores it in the storage unit 240.

図11および図12に示すように、本発明の第2の実施形態においても、本発明の第1の実施形態と同様に、S11〜S20が実行される。 As shown in FIGS. 11 and 12, in the second embodiment of the present invention, S11 to S20 are executed in the same manner as in the first embodiment of the present invention.

表示制御部116は、メイン領域R1に表示中の拠点映像に在席中の利用者の情報端末12が存在しない場合(S41において「YES」)、S21に進む。一方、表示制御部116は、メイン領域R1に表示中の拠点映像に在席中の利用者の情報端末12が存在する場合(S41において「NO」)、当該情報端末の利用者の感情情報を取得し(S42)、取得した感情情報に基づいて感情グラフを描画し(S43)、S21に進む。 The display control unit 116 proceeds to S21 when the information terminal 12 of the user who is present does not exist in the base image displayed in the main area R1 (“YES” in S41). On the other hand, when the information terminal 12 of the user who is present is present in the base image displayed in the main area R1 (“NO” in S41), the display control unit 116 outputs the emotion information of the user of the information terminal. Acquired (S42), draws an emotion graph based on the acquired emotion information (S43), and proceeds to S21.

表示制御部116は、拠点映像のスクロールを継続する場合には(S21において「NO」)、S18に進む。一方、表示制御部116は、拠点映像のスクロールを終了する場合には(S21)、動作をする。 When the display control unit 116 continues scrolling the base image (“NO” in S21), the display control unit 116 proceeds to S18. On the other hand, the display control unit 116 operates when the scrolling of the base image is finished (S21).

以上、本発明の第2の実施形態に係る表示制御システム1の動作例について説明した。 The operation example of the display control system 1 according to the second embodiment of the present invention has been described above.

(2−4.まとめ)
本発明の第2の実施形態によれば、本発明の第1の実施形態と同様の効果を奏し得る。さらに、本発明の第2の実施形態によれば、各拠点に存在する利用者の感情情報を閲覧することができるため、各拠点を直接訪れなくても各拠点の雰囲気を簡易に把握することが可能となる。
(2-4. Summary)
According to the second embodiment of the present invention, the same effect as that of the first embodiment of the present invention can be obtained. Further, according to the second embodiment of the present invention, since the emotional information of the user existing at each base can be browsed, the atmosphere of each base can be easily grasped without directly visiting each base. Is possible.

以上、本発明の第2の実施形態について説明した。 The second embodiment of the present invention has been described above.

(3.ハードウェア構成)
図13は、本発明の実施形態に係る情報端末10およびサーバ20(以下、情報端末10およびサーバ20それぞれを区別せずに「本実施形態に係る装置」と言う場合がある。)のハードウェア構成の一例を示すブロック図である。なお、情報端末10およびサーバ20それぞれに下記のハードウェア構成のすべてが備えられている必要はなく(例えば、サーバ20に直接的にセンサが備えられている必要はない)、各装置の機能構成を実現できるハードウェアモジュールが適宜限定して備えられてもよい。
(3. Hardware configuration)
FIG. 13 shows the hardware of the information terminal 10 and the server 20 according to the embodiment of the present invention (hereinafter, the information terminal 10 and the server 20 may be referred to as “devices according to the present embodiment” without distinction). It is a block diagram which shows an example of a structure. The information terminal 10 and the server 20 do not have to be provided with all of the following hardware configurations (for example, the server 20 does not need to be directly provided with a sensor), and the functional configurations of each device A hardware module capable of realizing the above may be provided in a limited manner as appropriate.

図13を参照すると、本実施形態に係る装置は、バス801、CPU(Central Processing Unit)803、ROM(Read Only Memory)805、RAM(Random Access Memory)807、記憶装置809、通信インタフェース811、センサ813、入力装置815、表示装置817、スピーカ819を備える。 Referring to FIG. 13, the apparatus according to the present embodiment includes a bus 801 and a CPU (Central Processing Unit) 803, a ROM (Read Only Memory) 805, a RAM (Random Access Memory) 807, a storage device 809, a communication interface 811, and a sensor. It includes an 813, an input device 815, a display device 817, and a speaker 819.

CPU803は、本実施形態に係る装置における様々な処理を実行する。また、ROM805は、本実施形態に係る装置における処理をCPU803に実行させるためのプログラム及びデータを記憶する。また、RAM807は、CPU803の処理の実行時に、プログラム及びデータを一時的に記憶する。 The CPU 803 executes various processes in the apparatus according to the present embodiment. Further, the ROM 805 stores a program and data for causing the CPU 803 to execute the processing in the apparatus according to the present embodiment. Further, the RAM 807 temporarily stores the program and the data when the processing of the CPU 803 is executed.

バス801は、CPU803、ROM805及びRAM807を相互に接続する。バス801には、さらに、記憶装置809、通信インタフェース811、センサ813、入力装置815、表示装置817及びスピーカ819が接続される。バス801は、例えば、複数の種類のバスを含む。一例として、バス801は、CPU803、ROM805及びRAM807を接続する高速バスと、該高速バスよりも低速の1つ以上の別のバスを含む。 The bus 801 connects the CPU 803, the ROM 805, and the RAM 807 to each other. A storage device 809, a communication interface 811, a sensor 813, an input device 815, a display device 817, and a speaker 819 are further connected to the bus 801. Bus 801 includes, for example, a plurality of types of buses. As an example, the bus 801 includes a high-speed bus connecting the CPU 803, ROM 805 and RAM 807, and one or more other buses slower than the high-speed bus.

記憶装置809は、本実施形態に係る装置内で一時的または恒久的に保存すべきデータを記憶する。記憶装置809は、例えば、ハードディスク(Hard Disk)等の磁気記憶装置であってもよく、または、EEPROM(Electrically Erasable and Programmable Read Only Memory)、フラッシュメモリ(flash memory)、MRAM(Magnetoresistive Random Access Memory)、FeRAM(Ferroelectric Random Access Memory)及びPRAM(Phase change Random Access Memory)等の不揮発性メモリ(nonvolatile memory)であってもよい。 The storage device 809 stores data to be temporarily or permanently stored in the device according to the present embodiment. The storage device 809 may be, for example, a magnetic storage device such as a hard disk (Hard Disk), or an EEPROM (Electricularly Erasable and Programmable Read Only Memory), a flash memory (flash memory), or a MRAM (Memories). , FeRAM (Ferroelectric Random Access Memory) and PRAM (Phase change Random Access Memory) may be non-volatile memory (nonvolatile memory).

通信インタフェース811は、本実施形態に係る装置が備える通信手段であり、ネットワークを介して(あるいは直接的に)外部装置と通信する。通信インタフェース811は、無線通信用のインタフェースであってもよく、この場合に、例えば、通信アンテナ、RF回路及びその他の通信処理用の回路を含んでもよい。また、通信インタフェース811は、有線通信用のインタフェースであってもよく、この場合に、例えば、LAN端子、伝送回路及びその他の通信処理用の回路を含んでもよい。 The communication interface 811 is a communication means included in the device according to the present embodiment, and communicates with an external device via a network (or directly). The communication interface 811 may be an interface for wireless communication, and in this case, for example, a communication antenna, an RF circuit, and other circuits for communication processing may be included. Further, the communication interface 811 may be an interface for wired communication, and in this case, for example, a LAN terminal, a transmission circuit, and other circuits for communication processing may be included.

センサ813は、例えばカメラ、マイクロフォン、生体センサ、その他のセンサまたはそれらの複合である。カメラは、被写体を撮像するもので、例えば光学系、撮像素子及び画像処理回路を含む。マイクロフォンは、周囲の音を収音するもので、該音を電気信号へ変換し該電気信号をデジタルデータに変換する。 The sensor 813 is, for example, a camera, a microphone, a biosensor, another sensor, or a combination thereof. The camera captures a subject and includes, for example, an optical system, an image sensor, and an image processing circuit. A microphone picks up ambient sound, converts the sound into an electric signal, and converts the electric signal into digital data.

入力装置815は、タッチパネル、マウス、カメラなどの視線検出装置、マイクロフォン等である。表示装置817は、本実施形態に係る装置からの出力画像(すなわち表示画面)を表示するもので、例えば液晶、有機EL(Organic Light−Emitting Diode)、CRT(Cathode Ray Tube)等を用いて実現され得る。スピーカ819は、音声を出力するもので、デジタルデータを電気信号に変換し該電気信号を音声に変換する。 The input device 815 is a touch panel, a mouse, a line-of-sight detection device such as a camera, a microphone, or the like. The display device 817 displays an output image (that is, a display screen) from the device according to the present embodiment, and is realized by using, for example, a liquid crystal, an organic EL (Organic Light-Emitting Diode), a CRT (Cathode Ray Tube), or the like. Can be done. The speaker 819 outputs voice, converts digital data into an electric signal, and converts the electric signal into voice.

(4.変形例)
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
(4. Modification example)
Although the preferred embodiments of the present invention have been described in detail with reference to the accompanying drawings, the present invention is not limited to such examples. It is clear that anyone with ordinary knowledge in the field of technology to which the present invention belongs can come up with various modifications or modifications within the scope of the technical ideas described in the claims. , These are also naturally understood to belong to the technical scope of the present invention.

例えば、上記では、表示制御部116が、メイン領域R1に表示される表示対象映像に、重視すべき関連情報が付されているか否かに応じて、表示対象映像のスクロール速度を制御する例を主に説明した。しかし、表示制御部116は、メイン領域R1に表示される表示対象映像のスクロール速度を、他のパラメータに応じて制御してもよい。 For example, in the above, the display control unit 116 controls the scroll speed of the display target image according to whether or not the display target image displayed in the main area R1 has related information to be emphasized. Mainly explained. However, the display control unit 116 may control the scroll speed of the display target image displayed in the main area R1 according to other parameters.

また、上記では、表示制御部116は、メイン領域R1に表示される表示対象映像に、重視すべき関連情報が付されているか否かに応じて、表示対象映像のスクロール速度を制御する例を主に説明した。しかし、表示制御部116は、メイン領域R1に表示される表示対象映像のスクロール速度を、他のパラメータに応じて制御してもよい。 Further, in the above, the display control unit 116 controls the scroll speed of the display target image according to whether or not the display target image displayed in the main area R1 has related information to be emphasized. Mainly explained. However, the display control unit 116 may control the scroll speed of the display target image displayed in the main area R1 according to other parameters.

例えば、表示制御部116は、現在の時間帯に応じて、表示対象映像のスクロール速度を制御してもよい。一例として、表示制御部116は、午前の時間帯よりも午後の時間帯のほうが、表示対象映像のスクロール速度を小さくしてもよい。 For example, the display control unit 116 may control the scroll speed of the display target image according to the current time zone. As an example, the display control unit 116 may make the scroll speed of the display target image smaller in the afternoon time zone than in the morning time zone.

あるいは、表示制御部116は、メイン領域R1に表示される表示対象映像に写っている利用者の数に応じて、表示対象映像のスクロール速度を制御してもよい。一例として、表示制御部116は、メイン領域R1に表示される表示対象映像に写っている利用者の数が多いほど、表示対象映像のスクロール速度を遅くしてもよい。あるいは、表示制御部116は、メイン領域R1に表示される表示対象映像に写っている利用者の感情情報に応じて、表示対象映像のスクロール速度を制御してもよい。 Alternatively, the display control unit 116 may control the scroll speed of the display target image according to the number of users in the display target image displayed in the main area R1. As an example, the display control unit 116 may slow down the scroll speed of the display target image as the number of users in the display target image displayed in the main area R1 increases. Alternatively, the display control unit 116 may control the scroll speed of the display target image according to the emotion information of the user reflected in the display target image displayed in the main area R1.

また、上記では、処理部213が、サーバ20の内部に存在する場合を主に説明した。しかし、処理部213は、サーバ20の外部に存在してもよい。例えば、情報端末10の内部に、処理部213が存在してもよい。あるいは、上記では、感情推定部215が、サーバ22の内部に存在する場合を主に説明した。しかし、感情推定部215は、サーバ22の外部に存在してもよい。例えば、情報端末12の内部に、感情推定部215が存在してもよい。 Further, in the above, the case where the processing unit 213 exists inside the server 20 has been mainly described. However, the processing unit 213 may exist outside the server 20. For example, the processing unit 213 may exist inside the information terminal 10. Alternatively, in the above, the case where the emotion estimation unit 215 exists inside the server 22 has been mainly described. However, the emotion estimation unit 215 may exist outside the server 22. For example, the emotion estimation unit 215 may exist inside the information terminal 12.

1 表示制御システム
10、12 情報端末
110 制御部
111 関連情報取得部
112 送信制御部
113 表示用データ取得部
114 選択情報取得部
115 操作情報取得部
116 表示制御部
117 通話制御部
118 利用者映像取得部
120 操作部
130 音声入力部
140 記憶部
150 通信部
160 音声出力部
170 表示部
180 利用者映像撮影部
20、22 サーバ
210 制御部
212 取得部
213 処理部
214 送信制御部
215 感情推定部
240 記憶部
250 通信部
30 ネットワーク
61 測位部
62 俯瞰映像撮影部
1 Display control system 10, 12 Information terminal 110 Control unit 111 Related information acquisition unit 112 Transmission control unit 113 Display data acquisition unit 114 Selection information acquisition unit 115 Operation information acquisition unit 116 Display control unit 117 Call control unit 118 User video acquisition Unit 120 Operation unit 130 Audio input unit 140 Storage unit 150 Communication unit 160 Audio output unit 170 Display unit 180 User video shooting unit 20, 22 Server 210 Control unit 212 Acquisition unit 213 Processing unit 214 Transmission control unit 215 Emotion estimation unit 240 Storage Department 250 Communication Department 30 Network 61 Positioning Department 62 Bird's-eye view video shooting unit

Claims (16)

第1の拠点を撮影した第1の映像データと前記第1の拠点に存在する第1の情報端末の位置情報と前記第1の情報端末の関連情報とに基づいて生成された第1の関連情報付き映像データのうち第1の表示対象領域を取得する表示用データ取得部と、
前記第1の表示対象領域が第1の領域に表示されるように制御する表示制御部と、を備え、
前記表示制御部は、前記第1の表示対象領域に所定の種類の関連情報が付されているか否かに応じて、前記第1の表示対象領域のスクロール速度を制御する、
表示制御装置。
The first association generated based on the first video data obtained by photographing the first base, the position information of the first information terminal existing in the first base, and the related information of the first information terminal. A display data acquisition unit that acquires the first display target area of the information-attached video data,
A display control unit for controlling the first display target area to be displayed in the first area is provided.
The display control unit controls the scroll speed of the first display target area according to whether or not a predetermined type of related information is attached to the first display target area.
Display control device.
前記表示制御部は、前記第1の表示対象領域に前記所定の種類の関連情報が付されている場合には、前記第1の表示対象領域に前記所定の種類の関連情報が付されていない場合と比較して、前記第1の表示対象領域のスクロール速度を小さくする、
請求項1に記載の表示制御装置。
When the first display target area is attached with the predetermined type of related information, the display control unit does not attach the predetermined type of related information to the first display target area. Compared with the case, the scroll speed of the first display target area is reduced.
The display control device according to claim 1.
前記表示用データ取得部は、前記第1の映像データの解像度を低下させた第1の低解像度データを取得し、
前記表示制御部は、前記第1の低解像度データが前記第1の領域よりも小さい第2の領域に表示されるように制御する、
請求項1に記載の表示制御装置。
The display data acquisition unit acquires the first low-resolution data obtained by reducing the resolution of the first video data.
The display control unit controls so that the first low-resolution data is displayed in a second region smaller than the first region.
The display control device according to claim 1.
前記表示制御部は、前記第1の表示対象領域と前記第1の低解像度データとの間でスクロールを連動させる、
請求項3に記載の表示制御装置。
The display control unit links scrolling between the first display target area and the first low-resolution data.
The display control device according to claim 3.
前記表示用データ取得部は、第2の拠点を撮影した第2の映像データと前記第2の拠点に存在する第2の情報端末の位置情報と前記第2の情報端末の関連情報とに基づいて生成された第2の関連情報付き映像データのうち第2の表示対象領域を取得し、
前記表示制御部は、前記第1の表示対象領域から第2の表示対象領域への表示切り替えをシームレスに行う、
請求項1に記載の表示制御装置。
The display data acquisition unit is based on the second video data obtained by photographing the second base, the position information of the second information terminal existing in the second base, and the related information of the second information terminal. Acquire the second display target area of the second video data with related information generated in
The display control unit seamlessly switches the display from the first display target area to the second display target area.
The display control device according to claim 1.
前記表示制御部は、前記第1の表示対象領域に所定の種類の関連情報が付されている場合、前記第1の表示対象領域に付されている前記所定の種類の関連情報の数に応じて、前記第1の表示対象領域のスクロール速度を制御する、
請求項1に記載の表示制御装置。
When a predetermined type of related information is attached to the first display target area, the display control unit responds to the number of the predetermined type of related information attached to the first display target area. To control the scroll speed of the first display target area.
The display control device according to claim 1.
前記表示制御部は、前記第1の表示対象領域に所定の種類の関連情報が付されている場合、前記第1の表示対象領域に付されている前記所定の種類の関連情報の種類に応じて、前記第1の表示対象領域のスクロール速度を制御する、
請求項1に記載の表示制御装置。
When a predetermined type of related information is attached to the first display target area, the display control unit responds to the type of the predetermined type of related information attached to the first display target area. To control the scroll speed of the first display target area.
The display control device according to claim 1.
前記表示制御部は、前記第1の表示対象領域に前記所定の種類の関連情報が付されていない場合、フリック操作に基づいて、前記所定の種類の関連情報が付されている第1の表示対象領域が前記第1の領域に達するまでスクロールさせる、
請求項1に記載の表示制御装置。
When the predetermined type of related information is not attached to the first display target area, the display control unit has a first display to which the predetermined type of related information is attached based on a flick operation. Scroll until the target area reaches the first area.
The display control device according to claim 1.
前記表示制御装置は、利用者によって選択された前記所定の種類の関連情報を取得する選択情報取得部を備える、
請求項1に記載の表示制御装置。
The display control device includes a selection information acquisition unit that acquires the predetermined type of related information selected by the user.
The display control device according to claim 1.
前記所定の種類の関連情報は、前記利用者の二本指による上下方向へのスワイプ操作に基づいて選択可能である、
請求項9に記載の表示制御装置。
The predetermined type of related information can be selected based on a vertical swipe operation with the user's two fingers.
The display control device according to claim 9.
前記第1の情報端末の関連情報は、前記第1の情報端末の利用者のプレゼンス情報、前記第1の情報端末の利用者によって入力されたテキストメッセージおよび前記第1の情報端末の利用者の感情情報の少なくともいずれか一つを含む、
請求項1に記載の表示制御装置。
The related information of the first information terminal includes the presence information of the user of the first information terminal, the text message input by the user of the first information terminal, and the user of the first information terminal. Contains at least one of the emotional information,
The display control device according to claim 1.
前記表示制御部は、前記第1の情報端末の位置情報と前記第1の情報端末の利用者の感情情報とに基づいて、前記感情情報が表示されるように制御する、
請求項1に記載の表示制御装置。
The display control unit controls so that the emotional information is displayed based on the position information of the first information terminal and the emotional information of the user of the first information terminal.
The display control device according to claim 1.
前記表示用データ取得部は、前記第1の映像データの解像度を低下させた第1の低解像度データを取得し、
前記表示制御部は、前記第1の低解像度データが前記第1の領域よりも小さい第2の領域に表示されるように制御し、前記第1の情報端末の位置情報に応じた前記第1の低解像度データにおける位置に前記感情情報が表示されるように制御する、
請求項12に記載の表示制御装置。
The display data acquisition unit acquires the first low-resolution data obtained by reducing the resolution of the first video data.
The display control unit controls the first low-resolution data to be displayed in a second area smaller than the first area, and the first information terminal according to the position information of the first information terminal. Control so that the emotional information is displayed at the position in the low resolution data of
The display control device according to claim 12.
第1の拠点を撮影した第1の映像データと前記第1の拠点に存在する第1の情報端末の位置情報と前記第1の情報端末の関連情報とに基づいて生成された第1の関連情報付き映像データのうち第1の表示対象領域を取得することと、
前記第1の表示対象領域が第1の領域に表示されるように制御することと、を含み、
前記第1の表示対象領域に所定の種類の関連情報が付されているか否かに応じて、前記第1の表示対象領域のスクロール速度を制御することを含む、
表示制御方法。
The first association generated based on the first video data obtained by photographing the first base, the position information of the first information terminal existing in the first base, and the related information of the first information terminal. Acquiring the first display target area of the video data with information,
Including controlling the first display target area to be displayed in the first area.
This includes controlling the scroll speed of the first display target area according to whether or not a predetermined type of related information is attached to the first display target area.
Display control method.
コンピュータを、
第1の拠点を撮影した第1の映像データと前記第1の拠点に存在する第1の情報端末の位置情報と前記第1の情報端末の関連情報とに基づいて生成された第1の関連情報付き映像データのうち第1の表示対象領域を取得する表示用データ取得部と、
前記第1の表示対象領域が第1の領域に表示されるように制御する表示制御部と、を備え、
前記表示制御部は、前記第1の表示対象領域に所定の種類の関連情報が付されているか否かに応じて、前記第1の表示対象領域のスクロール速度を制御する、
表示制御装置として機能させるためのプログラム。
Computer,
The first association generated based on the first video data obtained by photographing the first base, the position information of the first information terminal existing in the first base, and the related information of the first information terminal. A display data acquisition unit that acquires the first display target area of the information-attached video data,
A display control unit for controlling the first display target area to be displayed in the first area is provided.
The display control unit controls the scroll speed of the first display target area according to whether or not a predetermined type of related information is attached to the first display target area.
A program for functioning as a display control device.
第1の拠点を撮影した第1の映像データと前記第1の拠点に存在する第1の情報端末の位置情報と前記第1の情報端末の関連情報とに基づいて第1の関連情報付き映像データを生成する処理部と、
前記第1の関連情報付き映像データのうち第1の表示対象領域を取得する表示用データ取得部と、
前記第1の表示対象領域が第1の領域に表示されるように制御する表示制御部と、を備え、
前記表示制御部は、前記第1の表示対象領域に所定の種類の関連情報が付されているか否かに応じて、前記第1の表示対象領域のスクロール速度を制御する、
表示制御システム。
An image with the first related information based on the first video data obtained by photographing the first base, the position information of the first information terminal existing in the first base, and the related information of the first information terminal. The processing unit that generates data and
A display data acquisition unit that acquires the first display target area of the first video data with related information, and a display data acquisition unit.
A display control unit for controlling the first display target area to be displayed in the first area is provided.
The display control unit controls the scroll speed of the first display target area according to whether or not a predetermined type of related information is attached to the first display target area.
Display control system.
JP2019050866A 2019-03-19 2019-03-19 Display control device, display control method, program and display control system Active JP7180473B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019050866A JP7180473B2 (en) 2019-03-19 2019-03-19 Display control device, display control method, program and display control system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019050866A JP7180473B2 (en) 2019-03-19 2019-03-19 Display control device, display control method, program and display control system

Publications (2)

Publication Number Publication Date
JP2020154071A true JP2020154071A (en) 2020-09-24
JP7180473B2 JP7180473B2 (en) 2022-11-30

Family

ID=72558794

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019050866A Active JP7180473B2 (en) 2019-03-19 2019-03-19 Display control device, display control method, program and display control system

Country Status (1)

Country Link
JP (1) JP7180473B2 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011176599A (en) * 2010-02-24 2011-09-08 Oki Networks Co Ltd Space information visualization system and related information providing device
JP2012006263A (en) * 2010-06-24 2012-01-12 Konica Minolta Business Technologies Inc Image processing apparatus, method for displaying interface screen, and computer program
US20160352887A1 (en) * 2015-05-26 2016-12-01 Samsung Electronics Co., Ltd. Electronic device and method of processing information based on context in electronic device
JP2019030557A (en) * 2017-08-09 2019-02-28 沖電気工業株式会社 Presentation device, presentation method, emotion estimation server, emotion estimation method, and emotion estimation system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011176599A (en) * 2010-02-24 2011-09-08 Oki Networks Co Ltd Space information visualization system and related information providing device
JP2012006263A (en) * 2010-06-24 2012-01-12 Konica Minolta Business Technologies Inc Image processing apparatus, method for displaying interface screen, and computer program
US20160352887A1 (en) * 2015-05-26 2016-12-01 Samsung Electronics Co., Ltd. Electronic device and method of processing information based on context in electronic device
JP2019030557A (en) * 2017-08-09 2019-02-28 沖電気工業株式会社 Presentation device, presentation method, emotion estimation server, emotion estimation method, and emotion estimation system

Also Published As

Publication number Publication date
JP7180473B2 (en) 2022-11-30

Similar Documents

Publication Publication Date Title
US10530998B2 (en) Image processing device, imaging device, image processing method, and program
US10171731B2 (en) Method and apparatus for image processing
JP6573755B2 (en) Display control method, information processing program, and information processing apparatus
KR20200028481A (en) Imaging apparatus, image display system and operation method
JP6262920B2 (en) Application interaction method, apparatus, program, and recording medium
CN107317993B (en) A kind of video call method and mobile terminal
JP6229816B2 (en) Mobile monitoring device, program, and control method
US20150070247A1 (en) Information processing apparatus, information processing method, and program
AU2014221568A1 (en) Apparatus and method for positioning image area using image sensor location
KR20160061133A (en) Method for dispalying image and electronic device thereof
WO2019174628A1 (en) Photographing method and mobile terminal
CN108196755B (en) Background picture display method and device
CN110196673B (en) Picture interaction method, device, terminal and storage medium
CN113613053B (en) Video recommendation method and device, electronic equipment and storage medium
US9509733B2 (en) Program, communication apparatus and control method
US9955068B2 (en) Apparatus and method for operating a composition of a picture in a portable terminal
JP2017532618A (en) Information processing method and apparatus
CN112805995A (en) Information processing apparatus
CN109104564B (en) Shooting prompting method and terminal equipment
KR102246645B1 (en) Apparatus and method for obtaining image
CN109618192A (en) Play method, apparatus, system and the storage medium of video
KR101672268B1 (en) Exhibition area control system and control method thereof
JP2019057849A (en) Program, information processing apparatus, and image processing system
JP6413521B2 (en) Display control method, information processing program, and information processing apparatus
JP2014204412A (en) Information processing device and program

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190327

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190328

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211110

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220922

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221018

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221031

R150 Certificate of patent or registration of utility model

Ref document number: 7180473

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150