JP2020154071A - Display control device, display control method, program and display control system - Google Patents
Display control device, display control method, program and display control system Download PDFInfo
- Publication number
- JP2020154071A JP2020154071A JP2019050866A JP2019050866A JP2020154071A JP 2020154071 A JP2020154071 A JP 2020154071A JP 2019050866 A JP2019050866 A JP 2019050866A JP 2019050866 A JP2019050866 A JP 2019050866A JP 2020154071 A JP2020154071 A JP 2020154071A
- Authority
- JP
- Japan
- Prior art keywords
- information
- display
- display control
- target area
- related information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 7
- 238000012545 processing Methods 0.000 claims description 23
- 230000002996 emotional effect Effects 0.000 claims description 18
- 238000003384 imaging method Methods 0.000 abstract description 5
- 238000004891 communication Methods 0.000 description 47
- 230000008451 emotion Effects 0.000 description 31
- 240000004050 Pentaglottis sempervirens Species 0.000 description 19
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 19
- 230000005540 biological transmission Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 9
- 230000015654 memory Effects 0.000 description 9
- 238000001514 detection method Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012800 visualization Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、表示制御装置、表示制御方法、プログラムおよび表示制御システムに関する。 The present invention relates to a display control device, a display control method, a program and a display control system.
(1)空間内の映像を撮像する撮像手段と、(2)空間内における各装置の位置を測位し、撮像手段により撮像された映像上の対応位置を示す測位情報を装置毎に求める位置検出手段と、(3)各装置が設けられた各対象に関する関連情報を収集する関連情報収集手段と、(4)関連情報収集手段により収集された関連情報を、位置検出手段により求められた各装置の測位情報と対応付けて保持する関連情報保持手段とを備える、空間情報可視化システムが提案されている(例えば、特許文献1参照)。 Position detection that (1) an imaging means that captures an image in space and (2) positions each device in space and obtains positioning information indicating a corresponding position on the image captured by the imaging means for each device. Means, (3) related information collecting means for collecting related information about each object provided with each device, and (4) related information collected by the related information collecting means for each device obtained by the position detecting means. A spatial information visualization system including a related information holding means for holding the positioning information in association with the above has been proposed (see, for example, Patent Document 1).
かかるシステムにおいて、(5)表示装置は、位置検出手段からの各装置の測位情報に相当する位置に、当該装置に設けられた対象映像を表示すると共に、対象の関連情報を表示するものであり、各装置が設けられた各対象との間で所定のアプリケーションを実行するアプリケーション提供手段を備える。そして、表示装置は、表示映像内の対象映像が選択されると、この対象映像の測位情報を含むアプリケーション要求をアプリケーション提供手段に与え、アプリケーション提供手段が、関連情報保持手段を参照して、アプリケーション要求に含まれる測位情報に対応する関連情報を用いて、所定のアプリケーションを提供する。 In such a system, (5) the display device displays the target image provided in the device at a position corresponding to the positioning information of each device from the position detecting means, and also displays the related information of the target. , Each device is provided with an application providing means for executing a predetermined application with each target provided. Then, when the target image in the display image is selected, the display device gives an application request including the positioning information of the target image to the application providing means, and the application providing means refers to the related information holding means and applies the application. A predetermined application is provided by using the related information corresponding to the positioning information included in the request.
かかるシステムによれば、空間映像に、(例えば、人または機器などといった)対象の位置および対象の映像を重畳表示すると共に、(例えば、人または機器などといった)対象の関連情報を抽出して重畳表示することにより、人と人との間、または、人と機器との間のコミュニケーションを円滑かつ効率的に行うことができる。 According to such a system, the position of the target (for example, a person or a device) and the image of the target are superimposed and displayed on the spatial image, and the related information of the target (for example, a person or a device) is extracted and superimposed. By displaying, communication between people or between people and devices can be performed smoothly and efficiently.
かかるシステムが利用者によって利用される場合、利用者は関連情報を閲覧することが可能である。しかし、利用者による関連情報の閲覧効率があまり良くない。 When such a system is used by a user, the user can view related information. However, the efficiency of viewing related information by users is not very good.
そこで本発明は、利用者による関連情報の閲覧効率を向上させることを目的とする。 Therefore, an object of the present invention is to improve the viewing efficiency of related information by a user.
上記問題を解決するために、本発明のある観点によれば、第1の拠点を撮影した第1の映像データと前記第1の拠点に存在する第1の情報端末の位置情報と前記第1の情報端末の関連情報とに基づいて生成された第1の関連情報付き映像データのうち第1の表示対象領域を取得する表示用データ取得部と、前記第1の表示対象領域が第1の領域に表示されるように制御する表示制御部と、を備え、前記表示制御部は、前記第1の表示対象領域に所定の種類の関連情報が付されているか否かに応じて、前記第1の表示対象領域のスクロール速度を制御する、表示制御装置が提供される。 In order to solve the above problem, according to a certain viewpoint of the present invention, the first video data obtained by photographing the first base, the position information of the first information terminal existing in the first base, and the first. Of the first video data with related information generated based on the related information of the information terminal of the above, the display data acquisition unit for acquiring the first display target area and the first display target area are the first. The display control unit includes a display control unit that controls the display in the area, and the display control unit has the first display target area according to whether or not a predetermined type of related information is attached to the first display target area. A display control device for controlling the scroll speed of the display target area of 1 is provided.
前記表示制御部は、前記第1の表示対象領域に前記所定の種類の関連情報が付されている場合には、前記第1の表示対象領域に前記所定の種類の関連情報が付されていない場合と比較して、前記第1の表示対象領域のスクロール速度を小さくしてもよい。 When the first display target area is attached with the predetermined type of related information, the display control unit does not attach the predetermined type of related information to the first display target area. The scroll speed of the first display target area may be reduced as compared with the case.
前記表示用データ取得部は、前記第1の映像データの解像度を低下させた第1の低解像度データを取得し、前記表示制御部は、前記第1の低解像度データが前記第1の領域よりも小さい第2の領域に表示されるように制御してもよい。 The display data acquisition unit acquires the first low-resolution data obtained by reducing the resolution of the first video data, and the display control unit obtains the first low-resolution data from the first region. May be controlled so that it is displayed in a small second area.
前記表示制御部は、前記第1の表示対象領域と前記第1の低解像度データとの間でスクロールを連動させてもよい。 The display control unit may interlock scrolling between the first display target area and the first low-resolution data.
前記表示用データ取得部は、第2の拠点を撮影した第2の映像データと前記第2の拠点に存在する第2の情報端末の位置情報と前記第2の情報端末の関連情報とに基づいて生成された第2の関連情報付き映像データのうち第2の表示対象領域を取得し、前記表示制御部は、前記第1の表示対象領域から第2の表示対象領域への表示切り替えをシームレスに行ってもよい。 The display data acquisition unit is based on the second video data obtained by photographing the second base, the position information of the second information terminal existing in the second base, and the related information of the second information terminal. The second display target area of the second video data with related information generated is acquired, and the display control unit seamlessly switches the display from the first display target area to the second display target area. You may go to.
前記表示制御部は、前記第1の表示対象領域に所定の種類の関連情報が付されている場合、前記第1の表示対象領域に付されている前記所定の種類の関連情報の数に応じて、前記第1の表示対象領域のスクロール速度を制御してもよい。 When a predetermined type of related information is attached to the first display target area, the display control unit responds to the number of the predetermined type of related information attached to the first display target area. Therefore, the scroll speed of the first display target area may be controlled.
前記表示制御部は、前記第1の表示対象領域に所定の種類の関連情報が付されている場合、前記第1の表示対象領域に付されている前記所定の種類の関連情報の種類に応じて、前記第1の表示対象領域のスクロール速度を制御してもよい。 When a predetermined type of related information is attached to the first display target area, the display control unit responds to the type of the predetermined type of related information attached to the first display target area. Therefore, the scroll speed of the first display target area may be controlled.
前記表示制御部は、前記第1の表示対象領域に前記所定の種類の関連情報が付されていない場合、フリック操作に基づいて、前記所定の種類の関連情報が付されている第1の表示対象領域が前記第1の領域に達するまでスクロールさせてもよい。 When the predetermined type of related information is not attached to the first display target area, the display control unit has a first display to which the predetermined type of related information is attached based on a flick operation. You may scroll until the target area reaches the first area.
前記表示制御装置は、利用者によって選択された前記所定の種類の関連情報を取得する選択情報取得部を備えてもよい。 The display control device may include a selection information acquisition unit that acquires the predetermined type of related information selected by the user.
前記所定の種類の関連情報は、前記利用者の二本指による上下方向へのスワイプ操作に基づいて選択可能であってもよい。 The predetermined type of related information may be selectable based on a vertical swipe operation with the user's two fingers.
前記第1の情報端末の関連情報は、前記第1の情報端末の利用者のプレゼンス情報、前記第1の情報端末の利用者によって入力されたテキストメッセージおよび前記第1の情報端末の利用者の感情情報の少なくともいずれか一つを含んでもよい。 The related information of the first information terminal includes the presence information of the user of the first information terminal, the text message input by the user of the first information terminal, and the user of the first information terminal. It may contain at least one of the emotional information.
前記表示制御部は、前記第1の情報端末の位置情報と前記第1の情報端末の利用者の感情情報とに基づいて、前記感情情報が表示されるように制御してもよい。 The display control unit may control so that the emotional information is displayed based on the position information of the first information terminal and the emotional information of the user of the first information terminal.
前記表示用データ取得部は、前記第1の映像データの解像度を低下させた第1の低解像度データを取得し、前記表示制御部は、前記第1の低解像度データが前記第1の領域よりも小さい第2の領域に表示されるように制御し、前記第1の情報端末の位置情報に応じた前記第1の低解像度データにおける位置に前記感情情報が表示されるように制御してもよい。 The display data acquisition unit acquires first low-resolution data obtained by reducing the resolution of the first video data, and the display control unit obtains the first low-resolution data from the first region. Even if it is controlled so that it is displayed in a small second area and the emotion information is displayed at a position in the first low resolution data corresponding to the position information of the first information terminal. Good.
また、本発明の他の観点によれば、第1の拠点を撮影した第1の映像データと前記第1の拠点に存在する第1の情報端末の位置情報と前記第1の情報端末の関連情報とに基づいて生成された第1の関連情報付き映像データのうち第1の表示対象領域を取得することと、前記第1の表示対象領域が第1の領域に表示されるように制御することと、を含み、前記第1の表示対象領域に所定の種類の関連情報が付されているか否かに応じて、前記第1の表示対象領域のスクロール速度を制御することを含む、表示制御方法が提供される。 Further, according to another viewpoint of the present invention, the relationship between the first video data obtained by photographing the first base, the position information of the first information terminal existing in the first base, and the first information terminal. It is controlled to acquire the first display target area of the first video data with related information generated based on the information and to display the first display target area in the first area. Display control including controlling the scroll speed of the first display target area according to whether or not a predetermined type of related information is attached to the first display target area. A method is provided.
また、本発明の他の観点によれば、コンピュータを、第1の拠点を撮影した第1の映像データと前記第1の拠点に存在する第1の情報端末の位置情報と前記第1の情報端末の関連情報とに基づいて生成された第1の関連情報付き映像データのうち第1の表示対象領域を取得する表示用データ取得部と、前記第1の表示対象領域が第1の領域に表示されるように制御する表示制御部と、を備え、前記表示制御部は、前記第1の表示対象領域に所定の種類の関連情報が付されているか否かに応じて、前記第1の表示対象領域のスクロール速度を制御する、表示制御装置として機能させるためのプログラムが提供される。 Further, according to another aspect of the present invention, the computer uses the first video data obtained by photographing the first base, the position information of the first information terminal existing in the first base, and the first information. Of the first video data with related information generated based on the related information of the terminal, the display data acquisition unit that acquires the first display target area and the first display target area are in the first area. The display control unit includes a display control unit that controls the display so that the display can be displayed, and the display control unit includes the first display target area according to whether or not a predetermined type of related information is attached to the first display target area. A program for functioning as a display control device for controlling the scroll speed of a display target area is provided.
また、本発明の他の観点によれば、第1の拠点を撮影した第1の映像データと前記第1の拠点に存在する第1の情報端末の位置情報と前記第1の情報端末の関連情報とに基づいて第1の関連情報付き映像データを生成する処理部と、前記第1の関連情報付き映像データのうち第1の表示対象領域を取得する表示用データ取得部と、前記第1の表示対象領域が第1の領域に表示されるように制御する表示制御部と、を備え、前記表示制御部は、前記第1の表示対象領域に所定の種類の関連情報が付されているか否かに応じて、前記第1の表示対象領域のスクロール速度を制御する、表示制御システムが提供される。 Further, according to another viewpoint of the present invention, the relationship between the first video data obtained by photographing the first base, the position information of the first information terminal existing in the first base, and the first information terminal. A processing unit that generates first video data with related information based on information, a display data acquisition unit that acquires a first display target area of the first video data with related information, and the first The display control unit includes a display control unit that controls the display target area of the above to be displayed in the first area, and the display control unit has a predetermined type of related information attached to the first display target area. A display control system for controlling the scroll speed of the first display target area is provided depending on whether or not the first display target area is used.
以上説明したように本発明によれば、利用者による関連情報の閲覧効率を向上させることが可能となる。 As described above, according to the present invention, it is possible to improve the viewing efficiency of related information by the user.
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 A preferred embodiment of the present invention will be described in detail below with reference to the accompanying drawings. In the present specification and the drawings, components having substantially the same functional configuration are designated by the same reference numerals, so that duplicate description will be omitted.
また、本明細書及び図面において、実質的に同一または類似の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する。ただし、実質的に同一または類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。 Further, in the present specification and the drawings, a plurality of components having substantially the same or similar functional configurations are distinguished by adding different alphabets after the same reference numerals. However, if it is not necessary to distinguish each of a plurality of components having substantially the same or similar functional configurations, only the same reference numerals are given.
(0.概要)
(1)空間内の映像を撮像する撮像手段と、(2)空間内における各装置の位置を測位し、撮像手段により撮像された映像上の対応位置を示す測位情報を装置毎に求める位置検出手段と、(3)各装置が設けられた各対象に関する関連情報を収集する関連情報収集手段と、(4)関連情報収集手段により収集された関連情報を、位置検出手段により求められた各装置の測位情報と対応付けて保持する関連情報保持手段とを備える、空間情報可視化システムが提案されている。
(0. Overview)
Position detection that (1) an imaging means for capturing an image in space and (2) positioning of each device in space and obtaining positioning information indicating a corresponding position on the image captured by the imaging means for each device Means, (3) related information collecting means for collecting related information about each object provided with each device, and (4) related information collected by the related information collecting means for each device obtained by the position detecting means. A spatial information visualization system has been proposed, which is provided with a related information holding means for holding the positioning information in association with the above.
かかるシステムにおいて、(5)表示装置は、位置検出手段からの各装置の測位情報に相当する位置に、当該装置に設けられた対象映像を表示すると共に、対象の関連情報を表示するものであり、各装置が設けられた各対象との間で所定のアプリケーションを実行するアプリケーション提供手段を備える。そして、表示装置は、表示映像内の対象映像が選択されると、この対象映像の測位情報を含むアプリケーション要求をアプリケーション提供手段に与え、アプリケーション提供手段が、関連情報保持手段を参照して、アプリケーション要求に含まれる測位情報に対応する関連情報を用いて、所定のアプリケーションを提供する。 In such a system, (5) the display device displays the target image provided in the device at a position corresponding to the positioning information of each device from the position detecting means, and also displays the related information of the target. , Each device is provided with an application providing means for executing a predetermined application with each target provided. Then, when the target image in the display image is selected, the display device gives an application request including the positioning information of the target image to the application providing means, and the application providing means refers to the related information holding means and applies the application. A predetermined application is provided by using the related information corresponding to the positioning information included in the request.
かかるシステムによれば、空間映像に、(例えば、人または機器などといった)対象の位置および対象の映像を重畳表示すると共に、(例えば、人または機器などといった)対象の関連情報を抽出して重畳表示することにより、人と人との間、または、人と機器との間のコミュニケーションを円滑かつ効率的に行うことができる。 According to such a system, the position of the target (for example, a person or a device) and the image of the target are superimposed and displayed on the spatial image, and the related information of the target (for example, a person or a device) is extracted and superimposed. By displaying, communication between people or between people and devices can be performed smoothly and efficiently.
かかるシステムが利用者によって利用される場合、利用者は関連情報を閲覧することが可能である。しかし、利用者による関連情報の閲覧効率があまり良くない。 When such a system is used by a user, the user can view related information. However, the efficiency of viewing related information by users is not very good.
そこで本発明は、利用者による関連情報の閲覧効率を向上させることを目的とする。より具体的に、本発明の実施形態では、複数の拠点それぞれの映像を連続的に表示するに際して、複数の拠点それぞれに存在する情報端末の関連情報の閲覧効率を向上させることが可能な技術について提案する。 Therefore, an object of the present invention is to improve the viewing efficiency of related information by a user. More specifically, in the embodiment of the present invention, when continuously displaying images of each of a plurality of bases, a technique capable of improving the viewing efficiency of related information of information terminals existing in each of the plurality of bases. suggest.
(1.第1の実施形態)
続いて、本発明の第1の実施形態について説明する。
(1. First Embodiment)
Subsequently, the first embodiment of the present invention will be described.
(1−1.システム構成)
図1は、本発明の第1の実施形態に係る表示制御システムの概略的な構成の一例を示す図である。図1を参照すると、本発明の第1の実施形態に係る表示制御システム1は、複数の拠点(拠点A〜E)と、サーバ20と、ネットワーク30とを有する。
(1-1. System configuration)
FIG. 1 is a diagram showing an example of a schematic configuration of a display control system according to the first embodiment of the present invention. Referring to FIG. 1, the display control system 1 according to the first embodiment of the present invention has a plurality of bases (bases A to E), a
なお、本発明の第1の実施形態においては、図1に示したように、複数の拠点が5つの拠点によって構成される場合を主に想定する。しかし、拠点の数は、5つに限定されない。あるいは、拠点の数は複数でなくてもよく、1つであってもよい。また、本発明の第1の実施形態においては、各拠点がオフィスである場合を主に想定する。しかし、各拠点はオフィスに限定されず、住宅などといった他の場所であってもよい。 In the first embodiment of the present invention, as shown in FIG. 1, it is mainly assumed that a plurality of bases are composed of five bases. However, the number of bases is not limited to five. Alternatively, the number of bases does not have to be plural, and may be one. Further, in the first embodiment of the present invention, it is mainly assumed that each base is an office. However, each base is not limited to an office, and may be another place such as a house.
図1に示したように、拠点A〜Eそれぞれには、測位部61および俯瞰映像撮影部62が設置されている。また、拠点A〜Eの少なくとも一部には、1または複数の情報端末10が存在している(図1に示した例では、拠点Aに情報端末10が3つ存在している)。あるいは、拠点A〜Eの中には、情報端末10が1つも存在しない拠点があってもよい。
As shown in FIG. 1, a
測位部61は、設置されている拠点に存在する情報端末10の位置を測定する(情報端末10を測位する)。例えば、測位部61は、(1または複数の)基地局から送信された無線信号の情報端末10における受信強度に基づいて、情報端末10の位置を測定してもよい。しかし、測位部61による情報端末10の測位手法は限定されない。測位部61によって測定された情報端末10の位置を示す情報(情報端末10の位置情報)は、ネットワーク30を介してサーバ20に送信される。情報端末10の位置情報がサーバ20に送信されるタイミングは限定されない。例えば、情報端末10の位置情報は、情報端末10からサーバ20に所定の時間ごとに送信されてよい。
The
俯瞰映像撮影部62は、設置されている拠点の映像を撮影する。俯瞰映像撮影部62は、1または複数の可視光カメラによって構成されてよい。また、俯瞰映像撮影部62が全方位カメラによって構成される場合を主に想定する。しかし、俯瞰映像撮影部62の画角は限定されない。例えば、俯瞰映像撮影部62の画角が所定の角度よりも狭い場合には、1つの拠点に複数のカメラが設置され、複数のカメラによって撮影された映像が繋ぎ合わされてもよい。このように、俯瞰映像撮影部62の具体的なハードウェア構成は限定されない。
The bird's-eye view
俯瞰映像撮影部62は、所定のフレームレートで映像を撮影し、サーバ20に対しては所定のフレームレートで映像を送信してよい。なお、俯瞰映像撮影部62によって撮影される映像は、斜め下方向または下方向に撮影された映像であってよい。これによって、拠点に存在する人を閲覧しやすい映像が得られる。しかし、俯瞰映像撮影部62による撮影方向は限定されない。俯瞰映像撮影部62によって得られた映像は、ネットワーク30を介してサーバ20に送信される。
The bird's-eye view
情報端末10は、自身に対応する利用者によって利用される。情報端末10は、(例えば、無線LAN(Local Area Network)などを介して)ネットワーク30に接続されている。本発明の第1の実施形態においては、情報端末10がタブレット端末である場合を想定する。しかし、情報端末10の種類は限定されない。例えば、情報端末10は、スマートフォンであってもよいし、携帯電話であってもよいし、PC(Personal Computer)などであってもよい。なお、情報端末10は、利用者によって視認される情報の表示を制御する表示制御装置の例として機能し得る。
The
サーバ20は、コンピュータによって構成される。サーバ20は、俯瞰映像撮影部62から送信された各拠点の映像を、ネットワーク30を介して受信する。また、サーバ20は、測位部61から送信された各拠点に存在する情報端末10の位置情報を、ネットワーク30を介して受信する。そして、サーバ20は、各拠点の映像と各拠点に存在する情報端末10の位置情報とに基づいて、利用者によって視認される情報を情報端末10に提供する情報提供装置の例として機能し得る。
The
以上、本発明の第1の実施形態に係る表示制御システム1の概略的な構成の一例について説明した。 The example of the schematic configuration of the display control system 1 according to the first embodiment of the present invention has been described above.
(1−2.情報端末の機能構成)
次に、図2を参照して、本発明の第1の実施形態に係る情報端末10の機能構成の一例を説明する。図2は、本発明の第1の実施形態に係る情報端末10の機能構成の一例を示すブロック図である。図2を参照すると、情報端末10は、制御部110、操作部120、音声入力部130、記憶部140、通信部150、音声出力部160および表示部170を備える。
(1-2. Functional configuration of information terminal)
Next, an example of the functional configuration of the
(制御部110)
制御部110は、情報端末10が有する様々な機能を提供する。制御部110は、関連情報取得部111、送信制御部112、表示用データ取得部113、選択情報取得部114、操作情報取得部115、表示制御部116および通話制御部117を有する。なお、制御部110は、CPU803、ROM805およびRAM807(図13)により実装され、CPU803によってROM805から読み込まれたプログラムがRAM807に展開され、当該プログラムがCPU803によって実行されることによって実現される。
(Control unit 110)
The
(操作部120)
操作部120は、入力部の一例として機能し、利用者からの入力を受け付ける。ここでは、操作部120がタッチパネルを含んでいる場合を想定するが、操作部120の形態は限定されない。例えば、操作部120は、キーボードおよびマウスなどを含んでもよいし、ボタンなどを含んでもよい。あるいは、操作部120は、利用者からの入力を制御部110へ提供する。なお、操作部120は、入力装置815(図13)により実装され得る。
(Operation unit 120)
The
(音声入力部130)
音声入力部130は、利用者によって発せられた音声の入力を受け付ける。ここでは、音声入力部130がマイクロフォンによって構成される場合を想定する。しかし、音声入力部130の形態は限定されない。
(Voice input unit 130)
The
(記憶部140)
記憶部140は、情報端末10の動作を制御するためのプログラムおよびデータを記憶する。当該プログラムには、OS(Operating System)およびアプリケーションなどが含まれる。なお、記憶部140は、記憶装置809(図13)により実装され得る。
(Memory unit 140)
The
(通信部150)
通信部150は、他の装置と通信する。例えば、通信部150は、ネットワーク30に直接的に接続され、ネットワーク30を介してサーバ20と通信する。なお、通信部150は、通信インタフェース811(図13)により実装され得る。
(Communication unit 150)
The
(音声出力部160)
音声出力部160は、提示部の一例として機能し、制御部110による制御に従って、VUI(Voice User Interface)によって提示情報を利用者に提示する(音声を出力する)。なお、音声出力部160は、スピーカ819(図13)により実装され得る。
(Audio output unit 160)
The
(表示部170)
表示部170は、提示部の一例として機能し、表示制御部116による制御に従って、GUI(Graphical User Interface)によって提示情報を利用者に提示する(画面に表示する)。ここでは、表示部170がタッチパネルに積層されたディスプレイによって構成される場合を想定するが、表示部170の形態は限定されない。なお、表示部170は、表示装置823(図13)により実装され得る。
(Display unit 170)
The
以上、本発明の第1の実施形態に係る情報端末10の機能構成の一例について説明した。
The example of the functional configuration of the
(1−3.サーバの機能構成)
次に、図3を参照して、本発明の第1の実施形態に係るサーバ20の機能構成の一例について説明する。図3は、本発明の第1の実施形態に係るサーバ20の機能構成の一例を示すブロック図である。図3を参照すると、サーバ20は、制御部210、記憶部240および通信部250を備える。
(1-3. Server function configuration)
Next, an example of the functional configuration of the
(制御部210)
制御部210は、サーバ20が有する様々な機能を提供する。制御部210は、取得部212、処理部213および送信制御部214を有する。なお、制御部210は、CPU803、ROM805およびRAM807(図13)により実装され、CPU803によってROM805から読み込まれたプログラムがRAM807に展開され、当該プログラムがCPU803によって実行されることによって実現される。
(Control unit 210)
The
(記憶部240)
記憶部240は、サーバ20の動作を制御するためのプログラムおよびデータを記憶する。当該プログラムには、OS(Operating System)およびアプリケーションなどが含まれる。なお、記憶部240は、記憶装置809(図13)により実装され得る。
(Memory unit 240)
The
(通信部250)
通信部250は、他の装置と通信する。例えば、通信部250は、ネットワーク30に直接的に接続され、ネットワーク30を介して、各拠点に存在する情報端末10、測位部61および俯瞰映像撮影部62と通信する。なお、通信部250は、通信インタフェース811(図13)により実装され得る。
(Communication unit 250)
The
以上、本発明の第1の実施形態に係るサーバ20の機能構成の一例について説明した。
The example of the functional configuration of the
(1−4.システムの利用例)
続いて、本発明の第1の実施形態に係る表示制御システム1の利用例について説明する。まず、拠点A〜Eそれぞれにおいて、俯瞰映像撮影部62によって(俯瞰映像撮影部62が設置された)拠点の映像が撮影される。そして、拠点A〜Eそれぞれの俯瞰映像撮影部62によって得られた映像は、(例えば、所定のフレームレートで)ネットワーク30を介してサーバ20に送信される。一方、拠点A〜Eそれぞれにおいて、測位部61によって拠点に存在する情報端末10の位置が測定される。拠点A〜Eそれぞれの測位部61によって得られた情報端末10の位置情報は、(例えば、所定の時間ごとに)ネットワーク30を介してサーバ20に送信される。
(1-4. System usage example)
Subsequently, a usage example of the display control system 1 according to the first embodiment of the present invention will be described. First, at each of the bases A to E, the image of the base (where the bird's-eye view
サーバ20において、通信部250は、俯瞰映像撮影部62から送信された拠点A〜Eそれぞれの映像を、ネットワーク30を介して受信する。また、通信部250は、測位部61から送信された拠点A〜Eそれぞれに存在する情報端末10の位置情報を、ネットワーク30を介して受信する。取得部212は、拠点A〜Eそれぞれの映像および拠点A〜Eそれぞれに存在する情報端末10の位置情報を取得する。情報端末10の位置情報は、情報端末10が存在する拠点における情報端末10の三次元的な位置情報である。したがって、処理部213は、情報端末10の三次元的な位置情報に基づいて、情報端末10の映像における位置(二次元位置)を算出する。
In the
また、サーバ20において、記憶部240は、1または複数の情報端末10の少なくとも一部に対応する関連情報を記憶している。ここでは、情報端末10の関連情報が、情報端末10の利用者によって入力されたテキストメッセージを含む場合を想定する。
Further, in the
かかる場合には、情報端末10において入力されたテキストメッセージが関連情報取得部111によって取得され、送信制御部112によって通信部150を介してサーバ20に提供され、取得部212によって通信部250を介して取得されるたびに、処理部213は、記憶部240において情報端末10に対応付けられたテキストメッセージを更新してよい。
In such a case, the text message input in the
しかし、情報端末10の関連情報は、情報端末10の利用者によって入力されたテキストメッセージを含む場合に限定されない。例えば、情報端末10の関連情報は、情報端末10の利用者のプレゼンス情報(例えば、通話中、在席中、または、不在中など)を含んでもよいし、情報端末10の利用者の感情情報(例えば、ポジティブ度など)を含んでもよい。
However, the related information of the
ここで、情報端末10の利用者のプレゼンス情報は、情報端末10の利用者によって選択可能であってもよいし、情報端末10によって自動的に取得されてもよい。例えば、利用者の携帯するタグから発せられた無線信号を、席に置いてある情報端末10が受信可能である場合、タグから発せられた無線信号を情報端末10が受信した場合に、情報端末10は、利用者が在席中であると判断してもよい。
Here, the presence information of the user of the
かかる場合には、情報端末10においてプレゼンス情報が関連情報取得部111によって取得され、送信制御部112によって通信部150を介してサーバ20に提供され、取得部212によって通信部250を介して取得されるたびに、処理部213は、記憶部240において情報端末10に対応付けられたプレゼンス情報を更新してよい。
In such a case, the presence information is acquired by the related
情報端末10の利用者の感情情報も、情報端末10の利用者によって選択可能であってもよいし、情報端末10によって自動的に取得されてもよい。例えば、本発明の第2の実施形態においても説明するように、情報端末10の利用者の感情情報は、情報端末10の利用者に対するセンシングデータがサーバ20によって解析されることによって得られてもよい。
The emotional information of the user of the
かかる場合には、情報端末10において感情情報またはセンシングデータが関連情報取得部111によって取得され、送信制御部112によって通信部150を介してサーバ20に提供され、取得部212によって通信部250を介して感情情報またはセンシングデータが取得されるたびに、処理部213は、記憶部240において情報端末10に対応付けられた感情情報を更新してよい。
In such a case, the
処理部213は、情報端末10の映像における位置(二次元位置)に情報端末10の関連情報を付する。これによって、処理部213は、拠点A〜Eそれぞれに存在する情報端末10の関連情報が対応する位置(二次元位置)に付された拠点A〜Eの映像(以下、「関連情報が付された拠点A〜Eの映像」とも言う。)を得る。処理部213は、拠点A〜Eの映像それぞれの解像度を低下させることによって、拠点A〜Eの低解像度データ(以下、「拠点A〜Eのサムネイル画像」とも言う。)を生成する。
The
ここで、拠点A〜Eそれぞれに存在する情報端末10の表示部170において、第1の領域(以下、「メイン領域」とも言う。)には、関連情報が付された拠点A〜Eの映像のうち、表示対象領域(表示対象映像には関連情報が付されている場合もある)が表示される。表示対象領域は、表示を行う情報端末10ごとに異なり得る。一方、メイン領域よりも小さい第2の領域(以下、「サムネイル領域」とも言う。)には、拠点A〜Eのサムネイル画像が表示される。
Here, in the
そこで、送信制御部214は、拠点A〜Eのサムネイル画像と表示対象映像とを、通信部150を介して情報端末10に提供する。なお、以下では、拠点A〜Eのサムネイル画像と表示対象映像との組み合わせを、「表示用データ」と言う場合がある。
Therefore, the
拠点A〜Eそれぞれに存在する情報端末10において、表示用データ取得部113は、通信部150を介して表示用データを取得する。表示制御部116は、表示用データに基づいて、表示用データが表示部170によって表示されるように表示部170を制御する。以下では、(拠点Aに存在する)ある情報端末10によって表示される画面例について主に説明を続ける。当該情報端末10の利用者は「Aさん」であるとする。しかし、他の情報端末10によっても、拠点Aに存在する情報端末10によって表示される画面と同様な画面(表示対象領域は異なり得る)が表示される。
In the
図4は、本発明の第1の実施形態に係る情報端末10によって表示される画面例を示す図である。図4を参照すると、(拠点Aに存在する)情報端末10によって表示される画面の一例として画面G11が示されている。画面G11には、メイン領域R1とサムネイル領域R2とが含まれている。ここで、図4に示した例では、メイン領域R1の下にサムネイル領域R2が存在している。しかし、メイン領域R1とサムネイル領域R2との位置関係は限定されない。
FIG. 4 is a diagram showing an example of a screen displayed by the
表示制御部116は、メイン領域R1に表示対象映像が表示されるように表示部170を制御する。ここでは、拠点Bの映像の一部が表示対象映像に含まれる場合を想定する。したがって、メイン領域R1には、拠点Bの映像の一部(当該一部には、利用者U1と利用者U1によって利用される情報端末10とが写っている)が表示されている。一方、表示制御部116は、サムネイル領域R2に拠点A〜Eのサムネイル画像が表示されるように表示部170を制御する。サムネイル領域R2の注目領域86には、メイン領域R1に表示されている表示対象映像に対応するデータ(表示対象映像の低解像度データ)が表示されている。
The
なお、図4に示した例では、サムネイル領域R2に、拠点A〜Eのサムネイル画像がこの順に左から右へスペースなく並べられている。しかし、拠点A〜Eのサムネイル画像が並べられる方向は、左右方向に限定されない。例えば、拠点A〜Eのサムネイル画像が並べられる方向は、上下方向であってもよい。 In the example shown in FIG. 4, the thumbnail images of the bases A to E are arranged in this order from left to right without any space in the thumbnail area R2. However, the direction in which the thumbnail images of the bases A to E are arranged is not limited to the left-right direction. For example, the direction in which the thumbnail images of the bases A to E are arranged may be the vertical direction.
その他、画面G11には、拠点名71、メッセージ入力欄72、メニュー選択欄73、電話帳アイコン74、閲覧人数75、利用者名76、賛同数77が表示されている。拠点名71は、メイン領域R1に写っている拠点(ここでは、拠点B)の名称である。メッセージ入力欄72は、利用者によるテキストメッセージの入力欄である。メニュー選択欄73は、各種設定のためのメニュー選択欄である。電話帳アイコン74は、通話先候補が登録された電話帳を表示するためのアイコンである。閲覧人数75は、画面を通して当該情報端末の利用者(ここでは、Aさん)を見ている人数である。利用者名76は、当該情報端末の利用者の名前である。賛同数77は、当該情報端末の利用者(ここでは、Aさん)が他の利用者から得た賛同数である。
In addition, the
また、画面G11には、利用者名81、関連情報82および賛同数83が表示されている。利用者名81は、(メイン領域R1に表示された)表示対象映像に写る情報端末10の利用者U1(ここでは、Bさん)の名前である。関連情報82は、(メイン領域R1に表示された)表示対象映像に写る情報端末10の関連情報である。賛同数83は、(メイン領域R1に表示された)表示対象映像に写る情報端末10の利用者U1(ここでは、Bさん)が他の利用者から得た賛同数である。
In addition, the
図4に示した例では、(メイン領域R1に表示された)表示対象映像における位置(二次元位置)に、関連情報82が付されている他、利用者名81および賛同数83も付されている。そして、利用者名81、関連情報82および賛同数83が、1つの吹き出しの中に収まっている。
In the example shown in FIG. 4, the
また、画面G11には、音量バー84および音声認識中表示85が表示されている。音量バー84は、音声入力部130によって受け付けられた利用者が発した音声の音量を示す。音声入力部130によって受け付けられた音声は、通話中である場合には通話制御部117によって通信部150を介して相手先に送信される。また、通話中に通信部150を介して入力された相手先の音声は、通話制御部117によって音声出力部160を介して出力される。
Further, the
音声認識中表示85は、音声入力部130によって受け付けられた利用者が発した音声に対して音声認識が実行されていることを示す。音声認識が実行されている場合には、音声認識中表示85に含まれる3つのランプが順に点滅する。なお、音声認識によって得られたテキストデータは、メッセージ入力欄72に設定される。通話制御部117によって通信部150を介して相手先に送信される。
The voice recognition in-
図4に示された例では、メイン領域R1に拠点Bの映像の一部が表示されている。このとき、利用者が拠点Bにおける他の領域を閲覧したいと考えた場合、または、拠点Bとは異なる拠点の映像を閲覧したいと考えた場合を想定する。かかる場合には、利用者は、メイン領域R1に対するスワイプ操作を入力すればよい。操作情報取得部115によって操作部120を介してメイン領域R1に対するスワイプ操作が受け付けられると、表示制御部116は、スワイプ操作に基づいてメイン領域R1に表示された表示対象映像をスクロールさせる。
In the example shown in FIG. 4, a part of the image of the base B is displayed in the main area R1. At this time, it is assumed that the user wants to browse another area in the base B, or wants to browse the video of a base different from the base B. In such a case, the user may input a swipe operation for the main area R1. When the operation
ここでは、利用者が拠点Cの映像を閲覧したいと考えた場合を想定する。かかる場合には、メイン領域R1に対する左方向へのスワイプ操作を入力すればよい。図5は、図4に示された画面例においてメイン領域R1に対する左方向へのスワイプ操作が入力された場合に表示される画面例を示す図である。表示制御部116は、スワイプ操作に基づいて、メイン領域R1の表示切り替えを行う。
Here, it is assumed that the user wants to view the video of the base C. In such a case, a swipe operation to the left with respect to the main area R1 may be input. FIG. 5 is a diagram showing a screen example displayed when a swipe operation to the left with respect to the main area R1 is input in the screen example shown in FIG. The
このとき、メイン領域R1に表示される表示対象映像が拠点Bの映像の一部を含んだ状態から拠点Cの映像の一部を含んだ状態に切り替わる。表示制御部116は、かかる表示切り替えをシームレスに行う。図5を参照すると、メイン領域R1に表示される表示対象映像が拠点Bの映像の右端に到達したため、表示制御部116は、拠点Bの映像の右端と繋がった拠点Cの映像の左端を表示させ始めている。
At this time, the display target image displayed in the main area R1 is switched from the state including a part of the image of the base B to the state including a part of the image of the base C. The
なお、操作情報取得部115によって操作部120を介してメイン領域R1に対するスワイプ操作が受け付けられる場合を主に想定した。しかし、操作情報取得部115によって操作部120を介してサムネイル領域R2に対するスワイプ操作が受け付けられてもよい。かかる場合には、表示制御部116は、スワイプ操作に基づいてサムネイル領域R2に表示された拠点A〜Eのサムネイル画像をスクロールさせる。なお、スワイプ操作が行われなくても、メイン領域R1に表示される表示対象映像またはサムネイル領域R2に表示された拠点A〜Eのサムネイル画像が自動的にスクロールされてもよい。
It is mainly assumed that the operation
上記したように、サムネイル領域R2の注目領域86には、メイン領域R1に表示されている表示対象映像に対応するデータ(表示対象映像の低解像度データ)が表示される。すなわち、メイン領域R1に対してスワイプ操作が行われようと、サムネイル領域R2に対してスワイプ操作が行われようと、表示制御部116は、メイン領域R1に表示される表示対象映像とサムネイル領域R2に表示された拠点A〜Eのサムネイル画像との間でスクロールを連動させるのがよい。
As described above, in the
なお、メイン領域R1に表示される表示対象映像とサムネイル領域R2に表示された拠点A〜Eのサムネイル画像との間のスクロールの連動には、時間差があってもよいし、時間差がなくてもよい。あるいは、メイン領域R1に表示される表示対象映像とサムネイル領域R2に表示された拠点A〜Eのサムネイル画像との間のスクロールは、連動しなくてもよい。 Note that there may or may not be a time difference in the interlocking of scrolling between the display target image displayed in the main area R1 and the thumbnail images of the bases A to E displayed in the thumbnail area R2. Good. Alternatively, the scrolling between the display target image displayed in the main area R1 and the thumbnail images of the bases A to E displayed in the thumbnail area R2 does not have to be linked.
表示制御部116は、メイン領域R1に表示される表示対象映像をスクロールさせるに際して、メイン領域R1に表示される表示対象映像に、重視すべき関連情報(所定の種類の関連情報)が付されているか否かを判断する。そして、表示制御部116は、メイン領域R1に表示される表示対象映像に、重視すべき関連情報が付されているか否かに応じて、表示対象映像のスクロール速度を制御する。かかる構成によれば、利用者による関連情報の閲覧効率を向上させることが可能となる。
When scrolling the display target image displayed in the main area R1, the
具体的に、利用者は、時間を掛けて関連情報を閲覧したいと考えるのが通例である。そこで、表示制御部116は、メイン領域R1に表示される表示対象映像に関連情報に重視すべき関連情報が付されている場合には、メイン領域R1に表示される表示対象映像に重視すべき関連情報が付されていない場合と比較して、表示対象映像のスクロール速度を小さくするのがよい。
Specifically, users usually want to spend time browsing related information. Therefore, when the display target image displayed in the main area R1 has related information that should be emphasized in the related information, the
なお、重視すべき関連情報は特定の種類の関連情報に限定されない。例えば、利用者が「在席中」または「通話中」の他の利用者を閲覧したい場合、重視すべき関連情報は、「在席中」または「通話中」を示すプレゼンス情報であってもよい。あるいは、重視すべき関連情報は、テキストメッセージであってもよい(例えば、初期値としてテキストメッセージが設定されていてもよい)。 The related information that should be emphasized is not limited to a specific type of related information. For example, if a user wants to browse other users who are "in attendance" or "in a call", the relevant information that should be emphasized may be presence information indicating "in attendance" or "in a call". Good. Alternatively, the relevant information to be emphasized may be a text message (for example, a text message may be set as an initial value).
このとき、重視すべき関連情報は、利用者によって選択可能であってよい。すなわち、選択情報取得部114は、利用者によって操作部120を介して選択された重視すべき関連情報を取得してよい。しかし、メイン領域R1またはサムネイル領域R2に対して一本指によるスワイプ操作がなされた場合、メイン領域R1に表示される表示対象映像またはサムネイル領域R2に表示された拠点A〜Eのサムネイル画像がスクロールされてしまう。そこで、例えば、重視すべき関連情報は、利用者の二本指による上下方向へのスワイプ操作に基づいて選択可能であってもよい。
At this time, the related information to be emphasized may be selectable by the user. That is, the selection
以上、本発明の第1の実施形態に係る表示制御システム1の利用例について説明した。 The usage example of the display control system 1 according to the first embodiment of the present invention has been described above.
(1−5.システムの動作例)
続いて、本発明の第1の実施形態に係る表示制御システム1の動作例について説明する。図6は、本発明の第1の実施形態に係る表示制御システム1の動作例を示すフローチャートである。図6に示されるように、各拠点の俯瞰映像撮影部62は、各拠点の映像を撮影する(S11)。また、各拠点の測位部61は、各拠点に存在する情報端末10の位置を測定する(S12)。サーバ20において、取得部212は、拠点A〜Eそれぞれの映像および、拠点A〜Eそれぞれの映像および拠点A〜Eそれぞれに存在する情報端末10の位置情報を、通信部250を介して取得する。
(1-5. System operation example)
Subsequently, an operation example of the display control system 1 according to the first embodiment of the present invention will be described. FIG. 6 is a flowchart showing an operation example of the display control system 1 according to the first embodiment of the present invention. As shown in FIG. 6, the bird's-eye view
処理部213は、情報端末10の映像における位置(二次元位置)に情報端末10の関連情報を付する。これによって、処理部213は、拠点A〜Eそれぞれに存在する情報端末10の関連情報が対応する位置(二次元位置)に付された拠点A〜Eの映像を得る。また、処理部213は、拠点A〜Eの映像それぞれの解像度を低下させることによって、拠点A〜Eのサムネイル画像を生成する。表示対象映像と拠点A〜Eのサムネイル画像とは、表示用データとして生成され、各拠点に存在する情報端末10に配信される(S13)。
The
各拠点に存在する情報端末10において、表示制御部116は、表示対象映像がメイン領域R1に表示されるように制御し、拠点A〜Eのサムネイル画像がサムネイル領域R2に表示されるように制御する(S14)。表示制御部116は、重視する関連情報を変更する場合には(S15において「YES」)、重視する関連情報を切り替えて(S16)、S17に進む。一方、表示制御部116は、重視する関連情報を変更しない場合には(S15において「NO」)、S17に進む。
In the
各拠点に存在する情報端末10において、表示制御部116は、メイン領域R1またはサムネイル領域R2に対して利用者からスクロール操作が入力されない場合には(S17において「NO」)、動作を終了する。一方、表示制御部116は、メイン領域R1またはサムネイル領域R2に対して利用者からスクロール操作が入力された場合には(S17において「YES」)、拠点映像(メイン領域R1に表示される表示対象映像)およびサムネイル領域R2に表示された拠点A〜Eのサムネイル画像をスクロールさせる。
In the
このとき、表示制御部116は、メイン領域R1に表示中の拠点映像に所定の関連情報が付されている場合(S18において「YES」)、スクロール速度を通常にする(S19)。これによって、関連情報の視認性が高まる。一方、表示制御部116は、拠点映像に所定の関連情報が付されていない場合(S18において「NO」)、スクロール速度を早くする(S20)。表示制御部116は、拠点映像のスクロールを継続する場合には(S21において「NO」)、S18に進む。一方、表示制御部116は、拠点映像のスクロールを終了する場合には(S21)、動作をする。
At this time, the
以上、本発明の第1の実施形態に係る表示制御システム1の動作例について説明した。 The operation example of the display control system 1 according to the first embodiment of the present invention has been described above.
(1−6.まとめ)
本発明の第1の実施形態によれば、利用者による関連情報の閲覧効率を向上させることが可能となる。より具体的に、本発明の第1の実施形態によれば、複数の拠点それぞれの映像を連続的に表示するに際して、複数の拠点それぞれに存在する情報端末の関連情報の閲覧効率を向上させることが可能となる。
(1-6. Summary)
According to the first embodiment of the present invention, it is possible to improve the viewing efficiency of related information by the user. More specifically, according to the first embodiment of the present invention, when the images of the plurality of bases are continuously displayed, the viewing efficiency of the related information of the information terminals existing in the plurality of bases is improved. Is possible.
上記では、表示制御部116が、メイン領域R1に表示される表示対象映像に重視すべき関連情報が付されているか否かに応じて、表示対象映像のスクロール速度を制御する場合を主に想定した。しかし、表示制御部116は、メイン領域R1に表示される表示対象映像のスクロール速度を、他のパラメータに応じて制御してもよい。
In the above, it is mainly assumed that the
例えば、表示制御部116は、メイン領域R1に表示される表示対象映像に重視すべき関連情報が付されている場合、表示対象映像に付されている重視すべき関連情報の数に応じて、表示対象映像のスクロール速度を制御してもよい。一例として、表示制御部116は、表示対象映像に付されている重視すべき関連情報の数が多いほど、重視すべき関連情報の閲覧に時間を要するため、表示対象映像のスクロール速度を小さくしてもよい。
For example, when the display target image displayed in the main area R1 is attached with important related information, the
また、表示制御部116は、メイン領域R1に表示される表示対象映像に重視すべき関連情報が付されている場合、表示対象映像に付されている重視すべき関連情報の種類に応じて、表示対象領域のスクロール速度を制御してもよい。一例として、表示制御部116は、表示対象映像に付されている重視すべき関連情報の重要度が高いほど、重視すべき関連情報の閲覧に時間を要するため、表示対象映像のスクロール速度を小さくしてもよい。
Further, when the display target image displayed in the main area R1 is attached with the related information to be emphasized, the
また、表示制御部116は、メイン領域R1に表示される表示対象領域に重視すべき関連情報が付されていない場合、利用者によるフリック操作に基づいて、重視すべき関連情報が付されている表示対象領域がメイン領域R1に達するまでスクロールさせてもよい。これによって、利用者による関連情報の閲覧効率を向上させることが可能となる。
Further, when the display target area displayed in the main area R1 is not provided with the related information to be emphasized, the
以上、本発明の第1の実施形態について説明した。 The first embodiment of the present invention has been described above.
(2.第2の実施形態)
続いて、本発明の第2の実施形態について説明する。以下では、本発明の第2の実施形態に係る表示制御システムが有する構成のうち、本発明の第1の実施形態に係る表示制御システムが有する構成と異なる構成について主に説明する。そして、本発明の第2の実施形態に係る表示制御システムが有する構成のうち、本発明の第1の実施形態に係る表示制御システムが有する構成と共通する構成については、詳細な説明を省略する。
(2. Second embodiment)
Subsequently, a second embodiment of the present invention will be described. Hereinafter, among the configurations of the display control system according to the second embodiment of the present invention, configurations different from the configurations of the display control system according to the first embodiment of the present invention will be mainly described. Then, among the configurations of the display control system according to the second embodiment of the present invention, detailed description of the configurations common to the configurations of the display control system according to the first embodiment of the present invention will be omitted. ..
具体的に、本発明の第2の実施形態では、表示制御システム1が、本発明の第1の実施形態に係る情報端末10の代わりに、情報端末12を有する。また、本発明の第2の実施形態では、表示制御システム1が、本発明の第1の実施形態に係るサーバ20の代わりに、サーバ22を有する。したがって、以下では、本発明の第2の実施形態に係る情報端末12およびサーバ22について主に説明する。
Specifically, in the second embodiment of the present invention, the display control system 1 has an
(2−1.情報端末の機能構成)
次に、図7を参照して、本発明の第2の実施形態に係る情報端末12の機能構成の一例を説明する。図7は、本発明の第2の実施形態に係る情報端末12の機能構成の一例を示すブロック図である。図7を参照すると、本発明の第2の実施形態に係る情報端末12は、利用者映像取得部118および利用者映像撮影部180を有する点において、本発明の第1の実施形態に係る情報端末10と異なっている。したがって、以下では、利用者映像取得部118および利用者映像撮影部180について主に説明する。
(2-1. Functional configuration of information terminal)
Next, an example of the functional configuration of the
以上、本発明の第2の実施形態に係る情報端末12の機能構成の一例について説明した。
The example of the functional configuration of the
(2−2.サーバの機能構成)
次に、図8を参照して、本発明の第2の実施形態に係るサーバ22の機能構成の一例を説明する。図8は、本発明の第2の実施形態に係るサーバ22の機能構成の一例を示すブロック図である。図8を参照すると、本発明の第2の実施形態に係るサーバ22は、感情推定部215を有する点において、本発明の第1の実施形態に係るサーバ20と異なっている。したがって、以下では、感情推定部215について主に説明する。
(2-2. Server function configuration)
Next, an example of the functional configuration of the
以上、本発明の第2の実施形態に係るサーバ22の機能構成の一例について説明した。
The example of the functional configuration of the
(2−3.システムの利用例)
続いて、本発明の第2の実施形態に係る表示制御システム1の利用例について説明する。拠点A〜Eそれぞれに存在する情報端末12において、利用者映像撮影部180は、(例えば、所定の時間ごとに)当該情報端末12の利用者に対するセンシングデータを得る。ここでは、利用者映像撮影部180は、可視光カメラを含んで構成され、可視光カメラによって利用者の顔を撮影し、利用者の顔映像をセンシングデータとして得る場合を主に想定する。しかし、センシングデータは、利用者の顔映像に限定されない。
(2-3. System usage example)
Subsequently, a usage example of the display control system 1 according to the second embodiment of the present invention will be described. In the
なお、利用者映像撮影部180が利用者の顔映像を得るタイミングは限定されない。例えば、利用者映像撮影部180は、所定の時間ごとに利用者の顔映像を得てもよい。また、利用者の感情情報を高精度に得るため、利用者映像撮影部180は、利用者が情報端末12を閲覧している場合に(例えば、プレゼンス情報が「在席中」である場合などに)、利用者の顔映像を得てもよい。なお、利用者映像撮影部180は、センサ813により実装され得る。
The timing at which the user
利用者の顔映像が、利用者映像取得部118によって取得され、送信制御部112によって通信部150を介してサーバ22に提供され、取得部212によって通信部250を介して取得されるたびに、感情推定部215は、顔映像に基づいて利用者の感情情報を推定する。ここでは、感情推定部215が感情情報の例として、ポジティブ度を算出する場合を主に想定する。しかし、感情推定部215によって推定される感情情報は、ポジティブ度に限定されない。感情推定部215は、推定した感情情報を利用者の情報端末12に対応付けて、記憶部240に記憶させる。
Each time the user's face image is acquired by the user
ここで、拠点A〜Eそれぞれに存在する情報端末12の表示部170において、各拠点に存在する情報端末12の利用者の感情情報が表示される。そこで、送信制御部214は、各拠点に存在する情報端末12の利用者の感情情報を、通信部150を介して情報端末12に提供する。なお、送信制御部214は、各拠点に存在する情報端末12の利用者の感情情報を、所定の時間ごとに利用者の顔映像を提供してもよい。このとき、送信制御部214は、プレゼンス情報が「在席中」である利用者の感情情報のみを提供してもよい。
Here, the emotion information of the user of the
拠点A〜Eそれぞれに存在する情報端末12において、表示制御部116は、通信部150を介して、拠点A〜Eそれぞれに存在する情報端末12の感情情報を取得する。表示制御部116は、拠点A〜Eそれぞれに存在する情報端末12の位置情報と当該情報端末12の利用者の感情情報とに基づいて、感情情報が表示されるように制御する。一例として、表示制御部116は、拠点A〜Eそれぞれに存在する情報端末12の位置情報に応じた拠点A〜Eのサムネイル画像における位置に、感情情報が表示されるように制御する。
In the
図9は、本発明の第2の実施形態に係る情報端末12によって表示される画面例を示す図である。図9を参照すると、(拠点Aに存在する)情報端末12によって表示される画面の一例として画面G13が示されている。画面G13には、画面G11(図4)の表示内容とほぼ同内容が表示されている。また、画面G13には、画面G11(図4)と同様に、サムネイル領域R2に拠点A〜Eのサムネイル画像が表示されている。
FIG. 9 is a diagram showing an example of a screen displayed by the
画面G13においては、サムネイル領域R2の上下方向をポジティブ度、サムネイル領域R2の左右方向を拠点における水平方向の座標として扱う。図9に示すように、表示制御部116は、拠点A〜Eそれぞれに存在する(例えば、利用者が在席中の)情報端末12の水平方向の位置と拠点A〜Eのサムネイル画像における左右方向の位置が一致し、当該情報端末12の利用者のポジティブ度と拠点A〜Eのサムネイル画像における上下方向の位置が一致する点を見つけ、見つけた点同士を結ぶことによって折れ線グラフC1(感情グラフ)を描いてもよい。
On the screen G13, the vertical direction of the thumbnail area R2 is treated as the positive degree, and the horizontal direction of the thumbnail area R2 is treated as the horizontal coordinates at the base. As shown in FIG. 9, the
以上、本発明の第2の実施形態に係る表示制御システム1の利用例について説明した。 The usage example of the display control system 1 according to the second embodiment of the present invention has been described above.
(2−3.システムの動作例)
続いて、本発明の第2の実施形態に係る表示制御システム1の動作例について説明する。図10〜図12は、本発明の第2の実施形態に係る表示制御システム1の動作例を示すフローチャートである。
(2-3. System operation example)
Subsequently, an operation example of the display control system 1 according to the second embodiment of the present invention will be described. 10 to 12 are flowcharts showing an operation example of the display control system 1 according to the second embodiment of the present invention.
図10に示されるように、感情推定が開始されると、各拠点の情報端末12において、利用者映像撮影部180は、利用者の映像を撮影する(S31)。利用者の映像は、利用者映像取得部118によって取得され、送信制御部112によって通信部150を介してサーバ22に送信される(S32)。サーバ22において、取得部212によって通信部250を介して取得されるたびに、感情推定部215は、利用者の映像に基づいて利用者の感情情報を推定する(S33)。感情推定部215は、推定した感情情報を利用者の情報端末12に対応付けて、記憶部240に記憶させる。
As shown in FIG. 10, when the emotion estimation is started, the user
図11および図12に示すように、本発明の第2の実施形態においても、本発明の第1の実施形態と同様に、S11〜S20が実行される。 As shown in FIGS. 11 and 12, in the second embodiment of the present invention, S11 to S20 are executed in the same manner as in the first embodiment of the present invention.
表示制御部116は、メイン領域R1に表示中の拠点映像に在席中の利用者の情報端末12が存在しない場合(S41において「YES」)、S21に進む。一方、表示制御部116は、メイン領域R1に表示中の拠点映像に在席中の利用者の情報端末12が存在する場合(S41において「NO」)、当該情報端末の利用者の感情情報を取得し(S42)、取得した感情情報に基づいて感情グラフを描画し(S43)、S21に進む。
The
表示制御部116は、拠点映像のスクロールを継続する場合には(S21において「NO」)、S18に進む。一方、表示制御部116は、拠点映像のスクロールを終了する場合には(S21)、動作をする。
When the
以上、本発明の第2の実施形態に係る表示制御システム1の動作例について説明した。 The operation example of the display control system 1 according to the second embodiment of the present invention has been described above.
(2−4.まとめ)
本発明の第2の実施形態によれば、本発明の第1の実施形態と同様の効果を奏し得る。さらに、本発明の第2の実施形態によれば、各拠点に存在する利用者の感情情報を閲覧することができるため、各拠点を直接訪れなくても各拠点の雰囲気を簡易に把握することが可能となる。
(2-4. Summary)
According to the second embodiment of the present invention, the same effect as that of the first embodiment of the present invention can be obtained. Further, according to the second embodiment of the present invention, since the emotional information of the user existing at each base can be browsed, the atmosphere of each base can be easily grasped without directly visiting each base. Is possible.
以上、本発明の第2の実施形態について説明した。 The second embodiment of the present invention has been described above.
(3.ハードウェア構成)
図13は、本発明の実施形態に係る情報端末10およびサーバ20(以下、情報端末10およびサーバ20それぞれを区別せずに「本実施形態に係る装置」と言う場合がある。)のハードウェア構成の一例を示すブロック図である。なお、情報端末10およびサーバ20それぞれに下記のハードウェア構成のすべてが備えられている必要はなく(例えば、サーバ20に直接的にセンサが備えられている必要はない)、各装置の機能構成を実現できるハードウェアモジュールが適宜限定して備えられてもよい。
(3. Hardware configuration)
FIG. 13 shows the hardware of the
図13を参照すると、本実施形態に係る装置は、バス801、CPU(Central Processing Unit)803、ROM(Read Only Memory)805、RAM(Random Access Memory)807、記憶装置809、通信インタフェース811、センサ813、入力装置815、表示装置817、スピーカ819を備える。
Referring to FIG. 13, the apparatus according to the present embodiment includes a
CPU803は、本実施形態に係る装置における様々な処理を実行する。また、ROM805は、本実施形態に係る装置における処理をCPU803に実行させるためのプログラム及びデータを記憶する。また、RAM807は、CPU803の処理の実行時に、プログラム及びデータを一時的に記憶する。
The
バス801は、CPU803、ROM805及びRAM807を相互に接続する。バス801には、さらに、記憶装置809、通信インタフェース811、センサ813、入力装置815、表示装置817及びスピーカ819が接続される。バス801は、例えば、複数の種類のバスを含む。一例として、バス801は、CPU803、ROM805及びRAM807を接続する高速バスと、該高速バスよりも低速の1つ以上の別のバスを含む。
The
記憶装置809は、本実施形態に係る装置内で一時的または恒久的に保存すべきデータを記憶する。記憶装置809は、例えば、ハードディスク(Hard Disk)等の磁気記憶装置であってもよく、または、EEPROM(Electrically Erasable and Programmable Read Only Memory)、フラッシュメモリ(flash memory)、MRAM(Magnetoresistive Random Access Memory)、FeRAM(Ferroelectric Random Access Memory)及びPRAM(Phase change Random Access Memory)等の不揮発性メモリ(nonvolatile memory)であってもよい。
The
通信インタフェース811は、本実施形態に係る装置が備える通信手段であり、ネットワークを介して(あるいは直接的に)外部装置と通信する。通信インタフェース811は、無線通信用のインタフェースであってもよく、この場合に、例えば、通信アンテナ、RF回路及びその他の通信処理用の回路を含んでもよい。また、通信インタフェース811は、有線通信用のインタフェースであってもよく、この場合に、例えば、LAN端子、伝送回路及びその他の通信処理用の回路を含んでもよい。
The
センサ813は、例えばカメラ、マイクロフォン、生体センサ、その他のセンサまたはそれらの複合である。カメラは、被写体を撮像するもので、例えば光学系、撮像素子及び画像処理回路を含む。マイクロフォンは、周囲の音を収音するもので、該音を電気信号へ変換し該電気信号をデジタルデータに変換する。
The
入力装置815は、タッチパネル、マウス、カメラなどの視線検出装置、マイクロフォン等である。表示装置817は、本実施形態に係る装置からの出力画像(すなわち表示画面)を表示するもので、例えば液晶、有機EL(Organic Light−Emitting Diode)、CRT(Cathode Ray Tube)等を用いて実現され得る。スピーカ819は、音声を出力するもので、デジタルデータを電気信号に変換し該電気信号を音声に変換する。
The
(4.変形例)
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
(4. Modification example)
Although the preferred embodiments of the present invention have been described in detail with reference to the accompanying drawings, the present invention is not limited to such examples. It is clear that anyone with ordinary knowledge in the field of technology to which the present invention belongs can come up with various modifications or modifications within the scope of the technical ideas described in the claims. , These are also naturally understood to belong to the technical scope of the present invention.
例えば、上記では、表示制御部116が、メイン領域R1に表示される表示対象映像に、重視すべき関連情報が付されているか否かに応じて、表示対象映像のスクロール速度を制御する例を主に説明した。しかし、表示制御部116は、メイン領域R1に表示される表示対象映像のスクロール速度を、他のパラメータに応じて制御してもよい。
For example, in the above, the
また、上記では、表示制御部116は、メイン領域R1に表示される表示対象映像に、重視すべき関連情報が付されているか否かに応じて、表示対象映像のスクロール速度を制御する例を主に説明した。しかし、表示制御部116は、メイン領域R1に表示される表示対象映像のスクロール速度を、他のパラメータに応じて制御してもよい。
Further, in the above, the
例えば、表示制御部116は、現在の時間帯に応じて、表示対象映像のスクロール速度を制御してもよい。一例として、表示制御部116は、午前の時間帯よりも午後の時間帯のほうが、表示対象映像のスクロール速度を小さくしてもよい。
For example, the
あるいは、表示制御部116は、メイン領域R1に表示される表示対象映像に写っている利用者の数に応じて、表示対象映像のスクロール速度を制御してもよい。一例として、表示制御部116は、メイン領域R1に表示される表示対象映像に写っている利用者の数が多いほど、表示対象映像のスクロール速度を遅くしてもよい。あるいは、表示制御部116は、メイン領域R1に表示される表示対象映像に写っている利用者の感情情報に応じて、表示対象映像のスクロール速度を制御してもよい。
Alternatively, the
また、上記では、処理部213が、サーバ20の内部に存在する場合を主に説明した。しかし、処理部213は、サーバ20の外部に存在してもよい。例えば、情報端末10の内部に、処理部213が存在してもよい。あるいは、上記では、感情推定部215が、サーバ22の内部に存在する場合を主に説明した。しかし、感情推定部215は、サーバ22の外部に存在してもよい。例えば、情報端末12の内部に、感情推定部215が存在してもよい。
Further, in the above, the case where the
1 表示制御システム
10、12 情報端末
110 制御部
111 関連情報取得部
112 送信制御部
113 表示用データ取得部
114 選択情報取得部
115 操作情報取得部
116 表示制御部
117 通話制御部
118 利用者映像取得部
120 操作部
130 音声入力部
140 記憶部
150 通信部
160 音声出力部
170 表示部
180 利用者映像撮影部
20、22 サーバ
210 制御部
212 取得部
213 処理部
214 送信制御部
215 感情推定部
240 記憶部
250 通信部
30 ネットワーク
61 測位部
62 俯瞰映像撮影部
1
Claims (16)
前記第1の表示対象領域が第1の領域に表示されるように制御する表示制御部と、を備え、
前記表示制御部は、前記第1の表示対象領域に所定の種類の関連情報が付されているか否かに応じて、前記第1の表示対象領域のスクロール速度を制御する、
表示制御装置。 The first association generated based on the first video data obtained by photographing the first base, the position information of the first information terminal existing in the first base, and the related information of the first information terminal. A display data acquisition unit that acquires the first display target area of the information-attached video data,
A display control unit for controlling the first display target area to be displayed in the first area is provided.
The display control unit controls the scroll speed of the first display target area according to whether or not a predetermined type of related information is attached to the first display target area.
Display control device.
請求項1に記載の表示制御装置。 When the first display target area is attached with the predetermined type of related information, the display control unit does not attach the predetermined type of related information to the first display target area. Compared with the case, the scroll speed of the first display target area is reduced.
The display control device according to claim 1.
前記表示制御部は、前記第1の低解像度データが前記第1の領域よりも小さい第2の領域に表示されるように制御する、
請求項1に記載の表示制御装置。 The display data acquisition unit acquires the first low-resolution data obtained by reducing the resolution of the first video data.
The display control unit controls so that the first low-resolution data is displayed in a second region smaller than the first region.
The display control device according to claim 1.
請求項3に記載の表示制御装置。 The display control unit links scrolling between the first display target area and the first low-resolution data.
The display control device according to claim 3.
前記表示制御部は、前記第1の表示対象領域から第2の表示対象領域への表示切り替えをシームレスに行う、
請求項1に記載の表示制御装置。 The display data acquisition unit is based on the second video data obtained by photographing the second base, the position information of the second information terminal existing in the second base, and the related information of the second information terminal. Acquire the second display target area of the second video data with related information generated in
The display control unit seamlessly switches the display from the first display target area to the second display target area.
The display control device according to claim 1.
請求項1に記載の表示制御装置。 When a predetermined type of related information is attached to the first display target area, the display control unit responds to the number of the predetermined type of related information attached to the first display target area. To control the scroll speed of the first display target area.
The display control device according to claim 1.
請求項1に記載の表示制御装置。 When a predetermined type of related information is attached to the first display target area, the display control unit responds to the type of the predetermined type of related information attached to the first display target area. To control the scroll speed of the first display target area.
The display control device according to claim 1.
請求項1に記載の表示制御装置。 When the predetermined type of related information is not attached to the first display target area, the display control unit has a first display to which the predetermined type of related information is attached based on a flick operation. Scroll until the target area reaches the first area.
The display control device according to claim 1.
請求項1に記載の表示制御装置。 The display control device includes a selection information acquisition unit that acquires the predetermined type of related information selected by the user.
The display control device according to claim 1.
請求項9に記載の表示制御装置。 The predetermined type of related information can be selected based on a vertical swipe operation with the user's two fingers.
The display control device according to claim 9.
請求項1に記載の表示制御装置。 The related information of the first information terminal includes the presence information of the user of the first information terminal, the text message input by the user of the first information terminal, and the user of the first information terminal. Contains at least one of the emotional information,
The display control device according to claim 1.
請求項1に記載の表示制御装置。 The display control unit controls so that the emotional information is displayed based on the position information of the first information terminal and the emotional information of the user of the first information terminal.
The display control device according to claim 1.
前記表示制御部は、前記第1の低解像度データが前記第1の領域よりも小さい第2の領域に表示されるように制御し、前記第1の情報端末の位置情報に応じた前記第1の低解像度データにおける位置に前記感情情報が表示されるように制御する、
請求項12に記載の表示制御装置。 The display data acquisition unit acquires the first low-resolution data obtained by reducing the resolution of the first video data.
The display control unit controls the first low-resolution data to be displayed in a second area smaller than the first area, and the first information terminal according to the position information of the first information terminal. Control so that the emotional information is displayed at the position in the low resolution data of
The display control device according to claim 12.
前記第1の表示対象領域が第1の領域に表示されるように制御することと、を含み、
前記第1の表示対象領域に所定の種類の関連情報が付されているか否かに応じて、前記第1の表示対象領域のスクロール速度を制御することを含む、
表示制御方法。 The first association generated based on the first video data obtained by photographing the first base, the position information of the first information terminal existing in the first base, and the related information of the first information terminal. Acquiring the first display target area of the video data with information,
Including controlling the first display target area to be displayed in the first area.
This includes controlling the scroll speed of the first display target area according to whether or not a predetermined type of related information is attached to the first display target area.
Display control method.
第1の拠点を撮影した第1の映像データと前記第1の拠点に存在する第1の情報端末の位置情報と前記第1の情報端末の関連情報とに基づいて生成された第1の関連情報付き映像データのうち第1の表示対象領域を取得する表示用データ取得部と、
前記第1の表示対象領域が第1の領域に表示されるように制御する表示制御部と、を備え、
前記表示制御部は、前記第1の表示対象領域に所定の種類の関連情報が付されているか否かに応じて、前記第1の表示対象領域のスクロール速度を制御する、
表示制御装置として機能させるためのプログラム。 Computer,
The first association generated based on the first video data obtained by photographing the first base, the position information of the first information terminal existing in the first base, and the related information of the first information terminal. A display data acquisition unit that acquires the first display target area of the information-attached video data,
A display control unit for controlling the first display target area to be displayed in the first area is provided.
The display control unit controls the scroll speed of the first display target area according to whether or not a predetermined type of related information is attached to the first display target area.
A program for functioning as a display control device.
前記第1の関連情報付き映像データのうち第1の表示対象領域を取得する表示用データ取得部と、
前記第1の表示対象領域が第1の領域に表示されるように制御する表示制御部と、を備え、
前記表示制御部は、前記第1の表示対象領域に所定の種類の関連情報が付されているか否かに応じて、前記第1の表示対象領域のスクロール速度を制御する、
表示制御システム。 An image with the first related information based on the first video data obtained by photographing the first base, the position information of the first information terminal existing in the first base, and the related information of the first information terminal. The processing unit that generates data and
A display data acquisition unit that acquires the first display target area of the first video data with related information, and a display data acquisition unit.
A display control unit for controlling the first display target area to be displayed in the first area is provided.
The display control unit controls the scroll speed of the first display target area according to whether or not a predetermined type of related information is attached to the first display target area.
Display control system.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019050866A JP7180473B2 (en) | 2019-03-19 | 2019-03-19 | Display control device, display control method, program and display control system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019050866A JP7180473B2 (en) | 2019-03-19 | 2019-03-19 | Display control device, display control method, program and display control system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020154071A true JP2020154071A (en) | 2020-09-24 |
JP7180473B2 JP7180473B2 (en) | 2022-11-30 |
Family
ID=72558794
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019050866A Active JP7180473B2 (en) | 2019-03-19 | 2019-03-19 | Display control device, display control method, program and display control system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7180473B2 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011176599A (en) * | 2010-02-24 | 2011-09-08 | Oki Networks Co Ltd | Space information visualization system and related information providing device |
JP2012006263A (en) * | 2010-06-24 | 2012-01-12 | Konica Minolta Business Technologies Inc | Image processing apparatus, method for displaying interface screen, and computer program |
US20160352887A1 (en) * | 2015-05-26 | 2016-12-01 | Samsung Electronics Co., Ltd. | Electronic device and method of processing information based on context in electronic device |
JP2019030557A (en) * | 2017-08-09 | 2019-02-28 | 沖電気工業株式会社 | Presentation device, presentation method, emotion estimation server, emotion estimation method, and emotion estimation system |
-
2019
- 2019-03-19 JP JP2019050866A patent/JP7180473B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011176599A (en) * | 2010-02-24 | 2011-09-08 | Oki Networks Co Ltd | Space information visualization system and related information providing device |
JP2012006263A (en) * | 2010-06-24 | 2012-01-12 | Konica Minolta Business Technologies Inc | Image processing apparatus, method for displaying interface screen, and computer program |
US20160352887A1 (en) * | 2015-05-26 | 2016-12-01 | Samsung Electronics Co., Ltd. | Electronic device and method of processing information based on context in electronic device |
JP2019030557A (en) * | 2017-08-09 | 2019-02-28 | 沖電気工業株式会社 | Presentation device, presentation method, emotion estimation server, emotion estimation method, and emotion estimation system |
Also Published As
Publication number | Publication date |
---|---|
JP7180473B2 (en) | 2022-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10530998B2 (en) | Image processing device, imaging device, image processing method, and program | |
US10171731B2 (en) | Method and apparatus for image processing | |
JP6573755B2 (en) | Display control method, information processing program, and information processing apparatus | |
KR20200028481A (en) | Imaging apparatus, image display system and operation method | |
JP6262920B2 (en) | Application interaction method, apparatus, program, and recording medium | |
CN107317993B (en) | A kind of video call method and mobile terminal | |
JP6229816B2 (en) | Mobile monitoring device, program, and control method | |
US20150070247A1 (en) | Information processing apparatus, information processing method, and program | |
AU2014221568A1 (en) | Apparatus and method for positioning image area using image sensor location | |
KR20160061133A (en) | Method for dispalying image and electronic device thereof | |
WO2019174628A1 (en) | Photographing method and mobile terminal | |
CN108196755B (en) | Background picture display method and device | |
CN110196673B (en) | Picture interaction method, device, terminal and storage medium | |
CN113613053B (en) | Video recommendation method and device, electronic equipment and storage medium | |
US9509733B2 (en) | Program, communication apparatus and control method | |
US9955068B2 (en) | Apparatus and method for operating a composition of a picture in a portable terminal | |
JP2017532618A (en) | Information processing method and apparatus | |
CN112805995A (en) | Information processing apparatus | |
CN109104564B (en) | Shooting prompting method and terminal equipment | |
KR102246645B1 (en) | Apparatus and method for obtaining image | |
CN109618192A (en) | Play method, apparatus, system and the storage medium of video | |
KR101672268B1 (en) | Exhibition area control system and control method thereof | |
JP2019057849A (en) | Program, information processing apparatus, and image processing system | |
JP6413521B2 (en) | Display control method, information processing program, and information processing apparatus | |
JP2014204412A (en) | Information processing device and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190327 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190328 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211110 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220829 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220906 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220922 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221018 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221031 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7180473 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |