JP2021060859A - Information processing apparatus, method, and program - Google Patents

Information processing apparatus, method, and program Download PDF

Info

Publication number
JP2021060859A
JP2021060859A JP2019185259A JP2019185259A JP2021060859A JP 2021060859 A JP2021060859 A JP 2021060859A JP 2019185259 A JP2019185259 A JP 2019185259A JP 2019185259 A JP2019185259 A JP 2019185259A JP 2021060859 A JP2021060859 A JP 2021060859A
Authority
JP
Japan
Prior art keywords
information processing
processing device
user
display
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019185259A
Other languages
Japanese (ja)
Inventor
陽一 落合
Yoichi Ochiai
陽一 落合
健介 安間
Kensuke Yasuma
健介 安間
広樹 中西
Hiroki Nakanishi
広樹 中西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pixie Dust Technologies Inc
Original Assignee
Pixie Dust Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pixie Dust Technologies Inc filed Critical Pixie Dust Technologies Inc
Priority to JP2019185259A priority Critical patent/JP2021060859A/en
Publication of JP2021060859A publication Critical patent/JP2021060859A/en
Pending legal-status Critical Current

Links

Images

Abstract

To provide an information processing apparatus which can present various information to a user with texture of the surface of an object and can receive operation from the user.SOLUTION: In a system 1, information processing apparatuses 30A and 30B include a display, a micropore member having micropores, a touch sensor, and a control unit for controlling the contents displayed on the display in response to detecting user operation on the touch sensor. The touch sensor is disposed between the display and the micropore member. The information processing apparatus is embedded in at least one of a pillar, a wall, a table, a floor surface, and a moving body. The micropore member has micropores filled with a transparent member having light transparency. The control unit determines the contents to be displayed on the basis of a position that the user operates the touch sensor on a floor surface.SELECTED DRAWING: Figure 2

Description

本開示は、情報処理装置、方法およびプログラムに関する。 The present disclosure relates to information processing devices, methods and programs.

近年、薄型ディスプレイの普及に伴い、表示装置の存在感の低下が進んでいる。 In recent years, with the spread of thin displays, the presence of display devices has been declining.

一方、薄型ディスプレイに代えて、スクリーンに画像を投影するように構成されたプロジェクタを用いることにより、薄型ディスプレイの存在感を消失させることができる。 On the other hand, the presence of the thin display can be eliminated by using a projector configured to project an image on the screen instead of the thin display.

例えば、特許文献1には、スクリーンに画像を投影するように構成されたプロジェクタが開示されている。 For example, Patent Document 1 discloses a projector configured to project an image on a screen.

特開2011−022235号公報Japanese Unexamined Patent Publication No. 2011-022235

しかしながら、特許文献1の技術では、プロジェクタによって投影される画像に適したスクリーンを設置する必要がある。そのため、表示装置を構成するスクリーンの存在感を低減することはできない。仮に、壁に対して画像を直接投影する場合、壁の質感に応じて画質が劣化する。 However, in the technique of Patent Document 1, it is necessary to install a screen suitable for the image projected by the projector. Therefore, the presence of the screen constituting the display device cannot be reduced. If the image is projected directly onto the wall, the image quality deteriorates according to the texture of the wall.

また、特許文献1の技術では、スクリーンに対するユーザ操作を受け付けるものではないため、画像を表示することはできるが、表示された画像に応じたユーザ操作を受け付けることはできない。 Further, in the technique of Patent Document 1, since the user operation on the screen is not accepted, the image can be displayed, but the user operation corresponding to the displayed image cannot be accepted.

そこで、本開示は、物体の表面の質感を残したまま、様々な情報をユーザに提示し、ユーザから操作を受け付けることが可能な情報処理装置を提供することを目的とする。 Therefore, an object of the present disclosure is to provide an information processing device capable of presenting various information to a user and accepting an operation from the user while leaving the texture of the surface of the object.

一実施形態によると、情報処理装置が提供される。情報処理装置は、ディスプレイと、微小孔を有する微小孔部材と、ディスプレイと微小孔部材との間に配置されるタッチセンサと、タッチセンサへのユーザの操作を検出することに応答して、ディスプレイの表示内容を制御する制御部とを備える。 According to one embodiment, an information processing device is provided. The information processing device responds to detecting the user's operation on the display, the microhole member having the microhole, the touch sensor arranged between the display and the microhole member, and the touch sensor. It is provided with a control unit that controls the display contents of.

本開示によれば、物体の表面の質感を残したまま、様々な情報をユーザに提示し、ユーザから操作を受け付けることが可能な情報処理装置を提供することができる。 According to the present disclosure, it is possible to provide an information processing device capable of presenting various information to a user and accepting an operation from the user while leaving the texture of the surface of the object.

情報処理装置30の概要を示す図である。It is a figure which shows the outline of an information processing apparatus 30. 情報処理システム1の全体の構成を示す図である。It is a figure which shows the whole structure of an information processing system 1. 情報処理装置30の構成を示すブロック図である。It is a block diagram which shows the structure of an information processing apparatus 30. サーバ20の機能的な構成を示す図である。It is a figure which shows the functional configuration of a server 20. 情報提示履歴382のデータ構造を示す図である。It is a figure which shows the data structure of the information presentation history 382. 処理のフローを示す図である。It is a figure which shows the flow of processing. 処理のフローを示す図である。It is a figure which shows the flow of processing. 情報処理装置30を配置する局面を示す図である。It is a figure which shows the aspect which arranges the information processing apparatus 30. 情報処理装置30を配置する、別の局面を示す図である。It is a figure which shows another aspect in which the information processing apparatus 30 is arranged. 複数の画像をディスプレイ332に重畳表示させる局面を示す図である。It is a figure which shows the aspect which superimposes and displays a plurality of images on a display 332.

以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the following description, the same parts are designated by the same reference numerals. Their names and functions are the same. Therefore, the detailed description of them will not be repeated.

<概要>
以下の実施形態では、ユーザに情報を提示する情報処理装置30を含む情報処理システム1について説明する。
<Overview>
In the following embodiment, the information processing system 1 including the information processing device 30 that presents information to the user will be described.

図1は、情報処理装置30の概要を示す図である。情報処理装置30は、壁、床、柱、机、椅子、アームレスト、扉など建物の内外にある様々な構造または設備に組み込まれている。情報処理装置30が情報を表示しない状態では、ユーザは、これら設備の表面素材を視認している。つまり、情報処理装置30が情報を表示していない場合、ユーザは、ディスプレイの枠などを視認しないため、ディスプレイの存在感は消失する。 FIG. 1 is a diagram showing an outline of the information processing device 30. The information processing device 30 is incorporated in various structures or equipment inside and outside the building such as walls, floors, pillars, desks, chairs, armrests, and doors. When the information processing device 30 does not display information, the user is visually recognizing the surface material of these facilities. That is, when the information processing device 30 does not display the information, the user does not visually recognize the frame of the display or the like, so that the presence of the display disappears.

情報処理装置30は、情報処理装置30の表面素材を透過してユーザに対し情報を提示することができる。 The information processing device 30 can present information to the user through the surface material of the information processing device 30.

また、情報処理装置30は、ユーザからの操作を受け付けることができ、ユーザの操作に応答して、様々な情報を提示する。 Further, the information processing device 30 can accept an operation from the user and present various information in response to the operation of the user.

以上により、ユーザは、日常生活においてディスプレイの認知を強いられることもなく、情報の提示を受けたい場合、また、操作を行いたい場合に、これら構造または設備に組み込まれている情報処理装置30を利用することができる。つまり、ユーザは、必要に応じて、壁、床、柱等に情報を表示させ、且つ、これら壁、床、柱等に対して操作を行うことができる。 As described above, the user can use the information processing device 30 incorporated in these structures or equipment when he / she wants to receive information presentation or to operate the display without being forced to recognize the display in daily life. It can be used. That is, the user can display information on the walls, floors, pillars, etc., and operate on these walls, floors, pillars, etc., as needed.

図1Aは、情報処理装置30の断面の構成の概略図を示す。情報処理装置30が情報を表示する面について、X軸およびY軸を設定し、当該情報を表示する面に対して法線方向にZ軸を設定している。 FIG. 1A shows a schematic view of the cross-sectional configuration of the information processing apparatus 30. The X-axis and the Y-axis are set for the surface on which the information processing apparatus 30 displays information, and the Z-axis is set in the normal direction with respect to the surface for displaying the information.

図1Aに示すように、情報処理装置30は、ディスプレイ332と、微小孔を有する部材である微小孔パネル333と、ディスプレイ332と微小孔パネル333との間に配置されるタッチセンサ331とを備える。また、図1では図示していないが、情報処理装置30は、タッチセンサ331へのユーザの操作を検出することに応答して、ディスプレイ332の表示内容を制御する制御部を備える。 As shown in FIG. 1A, the information processing apparatus 30 includes a display 332, a microhole panel 333 which is a member having micropores, and a touch sensor 331 arranged between the display 332 and the microhole panel 333. .. Further, although not shown in FIG. 1, the information processing device 30 includes a control unit that controls the display content of the display 332 in response to detecting the user's operation on the touch sensor 331.

図1Bに示すように、微小孔パネル333は、複数の微小孔335を有している。複数の微小孔335は、所定のピッチで規則的または不規則的に配列される。一例として、ユーザが微小孔パネル333の表面素材を所定距離(例えば、数メートル程度)から視認した場合においても微小孔335を視認できない程度の径であることとしてもよい。 As shown in FIG. 1B, the micropore panel 333 has a plurality of micropores 335. The plurality of micropores 335 are regularly or irregularly arranged at a predetermined pitch. As an example, even when the surface material of the micropore panel 333 is visually recognized from a predetermined distance (for example, about several meters), the diameter of the micropore 335 may be such that the micropores 335 cannot be visually recognized.

微小孔335には、光透過性を有する透明部材(例えば、透明樹脂)が充填されてもよい。これにより、微小孔パネル333および微小孔335の耐久性を向上させることができる。 The micropores 335 may be filled with a transparent member having light transmittance (for example, a transparent resin). Thereby, the durability of the micropore panel 333 and the micropore 335 can be improved.

制御部390がディスプレイ332を発光させていない場合(つまり、情報の提示をしていない場合)、表面素材で反射した光のみがユーザの目5に入光する。これにより、ユーザは、情報処理装置30の外観として、微小孔パネル333の表面素材を視認することができる。 When the control unit 390 does not emit light from the display 332 (that is, when information is not presented), only the light reflected by the surface material enters the user's eyes 5. As a result, the user can visually recognize the surface material of the micropore panel 333 as the appearance of the information processing apparatus 30.

図1Cに示すように、制御部390がディスプレイ332を発光させている場合、発光された光8が、微小孔パネル333の微小孔を通過してユーザの目5に入光し、且つ、表面素材で反射した光もユーザの目5に入光する。これにより、ユーザは、表面素材上に表示された情報(ディスプレイ332に表示された情報)を視認することができる。 As shown in FIG. 1C, when the control unit 390 emits light from the display 332, the emitted light 8 passes through the micropores of the micropore panel 333 and enters the user's eyes 5 and has a surface. The light reflected by the material also enters the user's eyes 5. As a result, the user can visually recognize the information displayed on the surface material (information displayed on the display 332).

微小孔335は、ディスプレイ332に表示される画像の画素(以下「表示画素」という)と1対1に対応しても良いし、表示画素と1:n(nは2以上の整数)に対応しても良い。 The micropores 335 may correspond one-to-one with the pixels of the image displayed on the display 332 (hereinafter referred to as "display pixels"), or correspond to the display pixels 1: n (n is an integer of 2 or more). You may.

<システム全体の構成図>
図2は、情報処理システム1の全体の構成を示す図である。
<Structure of the entire system>
FIG. 2 is a diagram showing the overall configuration of the information processing system 1.

図2に示すように、情報処理システム1は、サーバ(「外部装置」の一例)20と、情報処理装置30(図示する例では、情報処理装置30Aと情報処理装置30Bを示している)とを含む。サーバ20、情報処理装置30は、ネットワーク80を介して通信接続する。図示するように、情報処理装置30(情報処理装置30B)は、家電機器40(「外部装置」の一例)と通信することもある。 As shown in FIG. 2, the information processing system 1 includes a server (an example of an "external device") 20 and an information processing device 30 (in the illustrated example, the information processing device 30A and the information processing device 30B are shown). including. The server 20 and the information processing device 30 communicate with each other via the network 80. As shown in the figure, the information processing device 30 (information processing device 30B) may communicate with the home electric appliance 40 (an example of an "external device").

図2に情報処理装置30Bとして示すように、情報処理装置30Bは、通信IF(Interface)32と、入出力IF33と、メモリ35と、記憶部36と、プロセッサ39とを備える。サーバ20は、通信IF22と、入出力IF23と、メモリ25と、ストレージ26と、プロセッサ29とを備える。 As shown as the information processing device 30B in FIG. 2, the information processing device 30B includes a communication IF (Interface) 32, an input / output IF 33, a memory 35, a storage unit 36, and a processor 39. The server 20 includes a communication IF 22, an input / output IF 23, a memory 25, a storage 26, and a processor 29.

情報処理装置30は、ネットワーク80を介してサーバ20と通信可能に接続される。情報処理装置30は、移動体無線通信規格(例えば、5G、LTE(Long Term Evolution)などの通信規格)に対応した無線基地局81、IEEE802.11などの無線LAN(Local Area Network)規格に対応した無線LANルータ82等の通信機器と通信することによりネットワーク80に接続される。 The information processing device 30 is communicably connected to the server 20 via the network 80. The information processing device 30 is compatible with wireless base stations 81 compatible with mobile wireless communication standards (for example, communication standards such as 5G and LTE (Long Term Evolution)) and wireless LAN (Local Area Network) standards such as IEEE802.11. It is connected to the network 80 by communicating with a communication device such as the wireless LAN router 82.

通信IF32は、情報処理装置30が外部の装置と通信するため、信号を入出力するためのインタフェースである。 The communication IF 32 is an interface for inputting / outputting signals because the information processing device 30 communicates with an external device.

入力装置33は、ユーザからの入力操作を受け付けるための入力装置(例えば、タッチパネル等のポインティングデバイス等)である。 The input device 33 is an input device (for example, a pointing device such as a touch panel) for receiving an input operation from a user.

出力装置34は、ユーザに対し情報を提示するための出力装置(ディスプレイ、スピーカ等)である。 The output device 34 is an output device (display, speaker, etc.) for presenting information to the user.

メモリ35は、プログラム、および、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばDRAM(Dynamic Random Access Memory)等の揮発性のメモリである。 The memory 35 is for temporarily storing a program, data processed by the program or the like, and is a volatile memory such as a DRAM (Dynamic Random Access Memory).

記憶部36は、データを保存するための記憶装置であり、例えばフラッシュメモリ、HDD(Hard Disc Drive)である。 The storage unit 36 is a storage device for storing data, for example, a flash memory or an HDD (Hard Disc Drive).

プロセッサ39は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路などにより構成される。 The processor 39 is hardware for executing an instruction set described in a program, and is composed of an arithmetic unit, registers, peripheral circuits, and the like.

サーバ20は、各情報処理装置30における表示の履歴およびユーザの操作の履歴を取得して、データベースとして保持する。サーバ20は、データベースに蓄積されるデータに基づいて、各情報処理装置30へ配信する情報を決定する。 The server 20 acquires the history of display in each information processing device 30 and the history of user operations and holds them as a database. The server 20 determines the information to be distributed to each information processing device 30 based on the data stored in the database.

通信IF22は、サーバ20が外部の装置と通信するため、信号を入出力するためのインタフェースである。 The communication IF 22 is an interface for inputting / outputting signals because the server 20 communicates with an external device.

入出力IF23は、ユーザからの入力操作を受け付けるための入力装置、および、ユーザに対し情報を提示するための出力装置とのインタフェースとして機能する。 The input / output IF 23 functions as an interface between an input device for receiving an input operation from the user and an output device for presenting information to the user.

メモリ25は、プログラム、および、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばDRAM(Dynamic Random Access Memory)等の揮発性のメモリである。 The memory 25 is for temporarily storing a program, data processed by the program or the like, and is a volatile memory such as a DRAM (Dynamic Random Access Memory).

ストレージ26は、データを保存するための記憶装置であり、例えばフラッシュメモリ、HDD(Hard Disc Drive)である。 The storage 26 is a storage device for storing data, for example, a flash memory or an HDD (Hard Disc Drive).

プロセッサ29は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路などにより構成される。 The processor 29 is hardware for executing an instruction set described in a program, and is composed of an arithmetic unit, registers, peripheral circuits, and the like.

次に、情報処理システム1を構成する各装置について説明する。 Next, each device constituting the information processing system 1 will be described.

<情報処理装置30の構成>
まず、情報処理システム1を構成する情報処理装置30について説明する。
<Configuration of information processing device 30>
First, the information processing device 30 constituting the information processing system 1 will be described.

図3は、情報処理装置30の構成を示すブロック図である。 FIG. 3 is a block diagram showing the configuration of the information processing device 30.

情報処理装置30は、外部の装置と通信するための構成と、データ処理を行うための構成とを有している。情報処理装置30は、複数のアンテナ(アンテナ311、アンテナ312)と、各アンテナに対応する無線通信部(無線通信部321、無線通信部322)と、操作受付部330(タッチセンサ331、ディスプレイ332、微小孔パネル333)と、音声処理部340と、マイク341と、スピーカ342と、位置情報センサ350と、カメラ360と、記憶部380と、制御部390と、を含む。 The information processing device 30 has a configuration for communicating with an external device and a configuration for performing data processing. The information processing device 30 includes a plurality of antennas (antenna 311 and antenna 312), a wireless communication unit (wireless communication unit 321 and wireless communication unit 322) corresponding to each antenna, and an operation reception unit 330 (touch sensor 331 and display 332). , Microhole panel 333), voice processing unit 340, microphone 341, speaker 342, position information sensor 350, camera 360, storage unit 380, and control unit 390.

情報処理装置30は、図3では特に図示していない機能及び構成(例えば、電源と接続して電力の供給を受けるための回路、電力を保持するためのバッテリ、バッテリから各回路への電力の供給を制御する電力供給回路など)も有している。図3に示すように、情報処理装置30に含まれる各ブロックは、バス等により電気的に接続される。 The information processing device 30 has a function and configuration (for example, a circuit for connecting to a power source to receive power supply, a battery for holding power, and power from the battery to each circuit) which are not particularly shown in FIG. It also has a power supply circuit that controls the supply). As shown in FIG. 3, each block included in the information processing apparatus 30 is electrically connected by a bus or the like.

なお、情報処理装置30は、図3に示す全ての構成を有する必要はなく、一部の構成を有することとしてもよい。例えば、情報処理装置30は、情報処理装置30の位置を取得するための構成(位置情報センサ350)については有さないこととしてもよい。例えば、情報処理装置30を配置した後に移動させないことがあり得る。 The information processing apparatus 30 does not have to have all the configurations shown in FIG. 3, and may have some configurations. For example, the information processing device 30 may not have a configuration (position information sensor 350) for acquiring the position of the information processing device 30. For example, after arranging the information processing device 30, it may not be moved.

また、例えば、情報処理装置30は、音声処理部340、マイク341、スピーカ342などの構成の一部を有さないこととしてもよい。 Further, for example, the information processing device 30 may not have a part of the configuration such as the voice processing unit 340, the microphone 341, and the speaker 342.

また、情報処理装置30は、カメラ360など、情報処理装置30の周囲の環境をセンシングするための構成については有さず、センシング可能なセンサ装置からセンシング結果を取得することとしてもよい。 Further, the information processing device 30 does not have a configuration for sensing the environment around the information processing device 30 such as a camera 360, and the sensing result may be acquired from a sensor device capable of sensing.

また、情報処理装置30が、移動体通信システムまたは近距離無線通信のいずれかに対応すればよい等、複数の通信規格に応じてアンテナおよび無線通信部を有する必要がない場合もあり得る。 Further, it may not be necessary for the information processing device 30 to have an antenna and a wireless communication unit according to a plurality of communication standards, such as the information processing device 30 may be compatible with either a mobile communication system or short-range wireless communication.

アンテナ311、312は、情報処理装置30が発する信号を電波として放射する。アンテナ311は、空間から電波を受信して受信信号を無線通信部321へ与える。アンテナ312は、空間から電波を受信して受信信号を無線通信部322へ与える。 The antennas 311 and 312 radiate the signal emitted by the information processing device 30 as radio waves. The antenna 311 receives radio waves from space and gives a received signal to the wireless communication unit 321. The antenna 312 receives radio waves from space and gives a received signal to the wireless communication unit 322.

無線通信部321、322は、情報処理装置30が他の無線機器と通信するため、アンテナ311、312を介して信号を送受信するための変復調処理などを行う。無線通信部321、322は、チューナー、RSSI(Received Signal Strength Indicator)算出回路、CRC(Cyclic Redundancy Check)算出回路、高周波回路などを含む通信モジュールである。無線通信部321、322は、情報処理装置30が送受信する無線信号の変復調や周波数変換を行い、受信信号を制御部390へ与える。 The wireless communication units 321 and 322 perform modulation / demodulation processing for transmitting and receiving signals via the antennas 311 and 312 in order for the information processing device 30 to communicate with other wireless devices. The wireless communication units 321 and 322 are communication modules including a tuner, an RSSI (Received Signal Strength Indicator) calculation circuit, a CRC (Cyclic Redundancy Check) calculation circuit, a high frequency circuit, and the like. The wireless communication units 321 and 322 perform modulation / demodulation and frequency conversion of the wireless signals transmitted and received by the information processing device 30, and give the received signals to the control unit 390.

操作受付部330は、ユーザの入力操作を受け付けるための機構を有する。具体的には、操作受付部330は、タッチセンサ331と、ディスプレイ332と、微小孔パネル333とを含み、タッチスクリーンを構成する。タッチセンサ331は、情報処理装置30のユーザの入力操作を受け付ける。タッチセンサ331は、例えば静電容量方式、または感圧方式のタッチパネルを用いることによって、タッチパネルに対するユーザの操作位置を検出する。タッチセンサ331は、タッチパネルにより検出したユーザの操作位置を示す信号を入力操作として制御部390へ出力する。なお、操作受付部330は、ボタンなど物理的に変形する機構(以下「物理ボタン」という)を有し、当該物理ボタンにより入力操作を受け付けることとしてもよい。 The operation receiving unit 330 has a mechanism for receiving a user's input operation. Specifically, the operation reception unit 330 includes a touch sensor 331, a display 332, and a microhole panel 333 to form a touch screen. The touch sensor 331 accepts the input operation of the user of the information processing device 30. The touch sensor 331 detects the user's operating position with respect to the touch panel by using, for example, a capacitive touch panel or a pressure sensitive touch panel. The touch sensor 331 outputs a signal indicating the user's operation position detected by the touch panel to the control unit 390 as an input operation. The operation receiving unit 330 may have a mechanism (hereinafter referred to as "physical button") that physically deforms such as a button, and may accept an input operation by the physical button.

ディスプレイ332は、制御部390の制御に応じて、静止画、動画、テキストなどの画像を表示する。ディスプレイ332は、例えばLCD(Liquid Crystal Display)や有機EL(Electro-Luminescence)ディスプレイ、電子ペーパー等によって実現される。 The display 332 displays an image such as a still image, a moving image, or a text under the control of the control unit 390. The display 332 is realized by, for example, an LCD (Liquid Crystal Display), an organic EL (Electro-Luminescence) display, electronic paper, or the like.

音声処理部340は、音声信号処理を行う。音声処理部340は、マイク341から与えられる信号を変調して、変調後の信号を制御部390へ与える。また、音声処理部340は、音声信号をスピーカ342へ与える。音声処理部340は、例えば音声処理用のプロセッサによって実現される。マイク341は、音声入力を受け付けて、当該音声入力に対応する音声信号を音声処理部340へ与える。スピーカ342は、音声処理部340から与えられる音声信号を音声に変換して当該音声を情報処理装置30の外部へ出力する。 The voice processing unit 340 performs voice signal processing. The voice processing unit 340 modulates the signal given from the microphone 341 and gives the modulated signal to the control unit 390. Further, the voice processing unit 340 gives a voice signal to the speaker 342. The voice processing unit 340 is realized by, for example, a processor for voice processing. The microphone 341 receives the voice input and gives the voice signal corresponding to the voice input to the voice processing unit 340. The speaker 342 converts the voice signal given from the voice processing unit 340 into voice and outputs the voice to the outside of the information processing device 30.

位置情報センサ350は、情報処理装置30の位置を検出するセンサであり、例えばGPS(Global Positioning System)モジュールである。GPSモジュールは、衛星測位システムで用いられる受信装置である。衛星測位システムでは、少なくとも3個または4個の衛星からの信号を受信し、受信した信号に基づいて、GPSモジュールが搭載される情報処理装置30の現在位置を検出する。このGPSモジュールが検出する位置は、例えば、情報処理装置30の位置情報をサーバ20に通知する際、等に利用され得る。例えば、情報処理装置30が、航空機、鉄道、バス、車両等に搭載される場合に、位置情報センサ350により情報処理装置30の位置を取得することができる。 The position information sensor 350 is a sensor that detects the position of the information processing device 30, and is, for example, a GPS (Global Positioning System) module. The GPS module is a receiving device used in a satellite positioning system. The satellite positioning system receives signals from at least three or four satellites, and detects the current position of the information processing device 30 on which the GPS module is mounted based on the received signals. The position detected by the GPS module can be used, for example, when notifying the server 20 of the position information of the information processing device 30. For example, when the information processing device 30 is mounted on an aircraft, railroad, bus, vehicle, or the like, the position of the information processing device 30 can be acquired by the position information sensor 350.

カメラ360は、受光素子により光を受光して、撮影画像として出力するためのデバイスである。カメラ360は、例えば、カメラ360から撮影対象までの距離を検出できる深度カメラである。カメラ360は、情報処理装置30の周囲の環境をセンシングするための装置である。情報処理装置30は、カメラ360の撮影画像に基づいて、撮影画像に含まれるユーザの身体(例えば、顔)を認識すること、ユーザが視線を注ぐ方向、ユーザが視線を注ぐ対象等を認識することができる。 The camera 360 is a device for receiving light by a light receiving element and outputting it as a captured image. The camera 360 is, for example, a depth camera capable of detecting the distance from the camera 360 to the shooting target. The camera 360 is a device for sensing the environment around the information processing device 30. The information processing device 30 recognizes the user's body (for example, face) included in the captured image based on the captured image of the camera 360, the direction in which the user gazes, the target in which the user gazes, and the like. be able to.

記憶部380は、例えばフラッシュメモリ等により構成され、情報処理装置30が使用するデータおよびプログラムを記憶する。ある局面において、記憶部380は、装置識別情報381と、情報提示履歴382と、周辺環境情報383とを記憶する。 The storage unit 380 is composed of, for example, a flash memory or the like, and stores data and programs used by the information processing apparatus 30. In a certain aspect, the storage unit 380 stores the device identification information 381, the information presentation history 382, and the surrounding environment information 383.

装置識別情報381は、情報処理装置30それぞれを識別するための、装置に固有に割り当てられる情報を含む。 The device identification information 381 includes information uniquely assigned to the device for identifying each of the information processing devices 30.

情報提示履歴382は、情報処理装置30がディスプレイ332により情報を提示した履歴と、ユーザが操作受付部330(タッチセンサ331)により操作を行った履歴とを示す。詳細は後述する。 The information presentation history 382 shows a history in which the information processing device 30 presents information on the display 332 and a history in which the user performs an operation by the operation reception unit 330 (touch sensor 331). Details will be described later.

周辺環境情報383は、カメラ360等のセンサ装置により、情報処理装置30が配置される周囲の環境について取得されたデータを含む。周辺環境情報383は、情報処理装置30の周囲を往来する人に関する情報(例えば、カメラ360により情報処理装置30の周囲を撮影した撮影結果に基づいて特定され得る)、情報処理装置30が配置される周囲の交通機関の運行状況の情報(例えば、交通機関の運行状況が平常時と異なる場合に、その旨を情報処理装置30が表示する)等を含む。例えば、情報処理装置30の周囲を撮影するカメラの撮影画像を解析することにより、情報処理装置30の周囲にいるユーザの数、ユーザの属性(性別、年齢など)を認識し得る。 The surrounding environment information 383 includes data acquired about the surrounding environment in which the information processing device 30 is arranged by a sensor device such as a camera 360. The surrounding environment information 383 includes information about a person who travels around the information processing device 30 (for example, it can be specified based on the result of photographing the surroundings of the information processing device 30 by the camera 360), and the information processing device 30 is arranged. Information on the operating status of the surrounding transportation (for example, when the operating status of the transportation is different from normal, the information processing device 30 displays to that effect) and the like are included. For example, by analyzing the captured image of the camera that captures the surroundings of the information processing device 30, the number of users around the information processing device 30 and the attributes of the users (gender, age, etc.) can be recognized.

また、周辺環境情報383は、ユーザを識別するユーザ識別情報を含むこととしてもよい。例えば、情報処理装置30が配置される周囲の環境に配置されるコンピュータにより、ユーザ識別情報が取得される。例えば、情報処理装置30が配置される施設において、受付用の端末など、ユーザ識別情報を認証する情報機器を配置する場合に、情報処理装置30を利用するユーザ識別情報を認識し得る。 Further, the surrounding environment information 383 may include user identification information that identifies the user. For example, the user identification information is acquired by a computer arranged in the surrounding environment in which the information processing device 30 is arranged. For example, in a facility where the information processing device 30 is arranged, when an information device for authenticating the user identification information such as a reception terminal is arranged, the user identification information using the information processing device 30 can be recognized.

また、周辺環境情報383は、情報処理装置30が、家電機器40など他の通信機器と信号を送受信する場合に、当該他の通信機器から取得した情報も含む。つまり、情報処理装置30が配置される空間における他の機器の動作状況の情報も、周辺環境情報383に含まれ得る。 The surrounding environment information 383 also includes information acquired from the other communication device when the information processing device 30 transmits / receives a signal to / from another communication device such as the home appliance 40. That is, information on the operating status of other devices in the space where the information processing device 30 is arranged can also be included in the surrounding environment information 383.

制御部390は、記憶部380に記憶されるプログラムを読み込んで、プログラムに含まれる命令を実行することにより、情報処理装置30の動作を制御する。制御部390は、例えばアプリケーションプロセッサである。制御部390は、プログラムに従って動作することにより、入力操作受付部391と、送受信部392と、データ処理部393と、通知制御部394としての機能を発揮する。 The control unit 390 controls the operation of the information processing device 30 by reading the program stored in the storage unit 380 and executing the instructions included in the program. The control unit 390 is, for example, an application processor. By operating according to the program, the control unit 390 exerts functions as an input operation reception unit 391, a transmission / reception unit 392, a data processing unit 393, and a notification control unit 394.

入力操作受付部391は、タッチセンサ331等の入力装置に対するユーザの入力操作を受け付ける処理を行う。入力操作受付部391は、微小孔パネル333に対してユーザが指などを接触させた座標(つまり、操作位置)の情報に基づき、ユーザの操作がフリック操作であるか、タップ操作であるか、ドラッグ(スワイプ)操作であるか等の操作の種別を判別する。また、入力操作受付部391は、ディスプレイ332に対してユーザがポインティングデバイス等により指定した位置等の情報を取得する。 The input operation reception unit 391 performs a process of accepting a user's input operation to an input device such as a touch sensor 331. The input operation reception unit 391 determines whether the user's operation is a flick operation or a tap operation based on the information of the coordinates (that is, the operation position) at which the user touches the microhole panel 333 with a finger or the like. Determine the type of operation, such as whether it is a drag (swipe) operation. Further, the input operation reception unit 391 acquires information such as a position designated by the user with a pointing device or the like with respect to the display 332.

送受信部392は、情報処理装置30が、サーバ20等の外部の装置と、通信プロトコルに従ってデータを送受信するための処理を行う。 The transmission / reception unit 392 performs a process for the information processing device 30 to transmit / receive data to / from an external device such as a server 20 according to a communication protocol.

データ処理部393は、情報処理装置30が入力を受け付けたデータに対し、プログラムに従って演算を行い、演算結果をメモリ等に出力する処理を行う。 The data processing unit 393 performs a calculation on the data received by the information processing device 30 according to a program, and outputs the calculation result to a memory or the like.

通知制御部394は、ユーザに情報を通知する処理を行う。通知制御部394は、例えば、時刻、天候、広告、交通案内、ユーザが指定したコンテンツなど各種情報を示す表示画像をディスプレイ332に表示させる処理、音声をスピーカ342に出力させる処理などを行う。 The notification control unit 394 performs a process of notifying the user of information. The notification control unit 394 performs, for example, a process of displaying a display image showing various information such as time, weather, advertisement, traffic guidance, and contents specified by the user on the display 332, and a process of outputting sound to the speaker 342.

<サーバ20の機能的な構成>
次に、サーバ20の構成について説明する。
<Functional configuration of server 20>
Next, the configuration of the server 20 will be described.

図4は、サーバ20の機能的な構成を示す図である。図4に示すように、サーバ20は、通信部201と、記憶部202と、制御部203としての機能を発揮する。 FIG. 4 is a diagram showing a functional configuration of the server 20. As shown in FIG. 4, the server 20 functions as a communication unit 201, a storage unit 202, and a control unit 203.

通信部201は、サーバ20が外部の装置(例えば、情報処理装置30、家電機器40)と通信するための処理を行う。 The communication unit 201 performs processing for the server 20 to communicate with an external device (for example, an information processing device 30 and a home electric appliance 40).

記憶部202は、サーバ20が使用するデータ及びプログラムを記憶する。記憶部202は、操作履歴データベース281を記憶する。操作履歴データベース281は、サーバ20が、各情報処理装置30から取得した、各情報処理装置30において情報を表示した履歴と、各情報処理装置30においてユーザが操作した履歴を示す。 The storage unit 202 stores data and programs used by the server 20. The storage unit 202 stores the operation history database 281. The operation history database 281 shows a history in which the server 20 displays information in each information processing device 30 acquired from each information processing device 30, and a history in which the user operates in each information processing device 30.

制御部203は、サーバ20のプロセッサがプログラムに従って処理を行うことにより、各種モジュールとして示す機能を発揮する。 The control unit 203 exerts the functions shown as various modules when the processor of the server 20 performs processing according to the program.

操作内容取得モジュール2041は、サーバ20が、情報処理装置30等のユーザから情報の入力を受け付ける場合に、ユーザの操作内容を取得する。 The operation content acquisition module 2041 acquires the operation content of the user when the server 20 accepts the input of information from the user such as the information processing device 30.

受信制御モジュール2042は、サーバ20が外部の装置から通信プロトコルに従って信号を受信する処理を制御する。 The reception control module 2042 controls the process by which the server 20 receives a signal from an external device according to a communication protocol.

送信制御モジュール2043は、サーバ20が外部の装置に対し通信プロトコルに従って信号を送信する処理を制御する。 The transmission control module 2043 controls a process in which the server 20 transmits a signal to an external device according to a communication protocol.

配信内容特定モジュール2044は、各情報処理装置30に対して配信し各情報処理装置30に表示させる情報を特定する。例えば、サーバ20は、情報処理装置30において、広告を表示させることもあり得る。 The distribution content specifying module 2044 specifies information to be distributed to each information processing device 30 and displayed on each information processing device 30. For example, the server 20 may display an advertisement in the information processing device 30.

<データ構造>
図5は、情報提示履歴382のデータ構造を示す図である。
<Data structure>
FIG. 5 is a diagram showing a data structure of the information presentation history 382.

図5に示すように、情報提示履歴382のレコードのそれぞれは、項目「時刻」と、項目「表示内容」と、項目「ユーザが見ている対象」と、項目「ユーザの属性、ユーザの視点」と、項目「ユーザの操作履歴」とを含む。 As shown in FIG. 5, each of the records of the information presentation history 382 includes the item "time", the item "display content", the item "object seen by the user", and the item "user attribute, user's viewpoint". , And the item "user operation history".

項目「時刻」は、情報処理装置30がディスプレイ332により情報の表示を行った時刻を示す。 The item "time" indicates the time when the information processing apparatus 30 displays information on the display 332.

項目「表示内容」は、情報処理装置30がディスプレイ332により表示をした内容を示す。表示をした内容としては、広告、交通案内、天気情報、時刻の情報、ユーザが視聴するコンテンツ等がある。 The item "display content" indicates the content displayed by the information processing apparatus 30 on the display 332. The displayed contents include advertisements, traffic information, weather information, time information, contents to be viewed by the user, and the like.

項目「ユーザが見ている対象」は、情報処理装置30の周囲のユーザが見ている対象を示す。例えば、カメラ360の撮影画像を解析した結果に基づきユーザの視線を特定することにより、情報処理装置30がディスプレイ332に表示している内容のいずれをユーザが見ているか、また、情報処理装置30の周囲に掲示されている情報のいずれをユーザが見ているかについて判別することができる。 The item "object seen by the user" indicates an object seen by the user around the information processing apparatus 30. For example, by specifying the user's line of sight based on the result of analyzing the captured image of the camera 360, which of the contents displayed on the display 332 by the information processing device 30 is viewed by the user, and the information processing device 30 It is possible to determine which of the information posted around the user is viewing.

項目「ユーザの属性、ユーザの視点」は、ユーザの属性の情報と、ユーザの視点の情報とを含む。 The item "user's attribute, user's viewpoint" includes information on the user's attribute and information on the user's viewpoint.

ユーザの属性は、例えば、ユーザの性別、年齢、ユーザが携行している物品等により分類される。情報処理装置30は、ユーザがタッチセンサ331により操作を行った内容に基づいて、または、カメラ360の撮影画像に対して解析を行うことにより、ユーザの属性を特定することができる。 The attributes of the user are classified according to, for example, the gender, age, and the goods carried by the user. The information processing device 30 can identify the user's attributes based on the content operated by the user with the touch sensor 331 or by analyzing the captured image of the camera 360.

ユーザの視点は、ディスプレイ332に表示される情報をユーザが見る角度または位置を示す。例えば、ユーザの視点は、ディスプレイ332に対して左側の視点から見ているか、右側の視点から見ているか等がある。 The user's point of view indicates the angle or position at which the user views the information displayed on the display 332. For example, the user's viewpoint may be viewed from the left side of the display 332 or from the right side.

項目「ユーザの操作履歴」は、操作受付部130(タッチセンサ331)に対してユーザが行った操作の履歴を示す。 The item "user operation history" indicates the history of operations performed by the user with respect to the operation reception unit 130 (touch sensor 331).

<動作>
以下、情報処理システム1の各装置の動作を説明する。
<Operation>
The operation of each device of the information processing system 1 will be described below.

図6は、サーバ20が情報処理装置30において表示させる配信内容を情報処理装置30に送信することで、情報処理装置30が情報の表示を行う処理のフローを示す図である。 FIG. 6 is a diagram showing a flow of processing in which the information processing device 30 displays information by transmitting the distribution contents displayed by the server 20 in the information processing device 30 to the information processing device 30.

ステップS653において、サーバ20(制御部203)は、各情報処理装置30について、情報処理装置30に配信させる内容を特定し、配信スケジュールと、配信内容を示す情報とを情報処理装置30へ送信する。 In step S653, the server 20 (control unit 203) specifies the content to be distributed to the information processing device 30 for each information processing device 30, and transmits the distribution schedule and the information indicating the distribution content to the information processing device 30. ..

ステップS601において、情報処理装置30(制御部390)は、サーバ20から、情報処理装置30において表示する配信内容を示す情報と、配信スケジュールとを受信して記憶部380に記憶させる。情報処理装置30は、配信スケジュールに従って、配信内容の情報を表示する。例えば、情報処理装置30は、配信スケジュールに従って、時刻情報、広告等を表示する。 In step S601, the information processing device 30 (control unit 390) receives from the server 20 the information indicating the distribution content to be displayed on the information processing device 30, and the distribution schedule, and stores the information in the storage unit 380. The information processing device 30 displays information on the distribution contents according to the distribution schedule. For example, the information processing device 30 displays time information, advertisements, and the like according to a distribution schedule.

ステップS605において、情報処理装置30は、ユーザの入力操作をタッチセンサ331により受け付けて、ユーザの操作内容を判別することにより、ユーザの操作に応じた情報をディスプレイ332に表示する。 In step S605, the information processing device 30 receives the user's input operation by the touch sensor 331, determines the user's operation content, and displays the information according to the user's operation on the display 332.

ステップS607において、情報処理装置30は、装置識別情報381と対応付けて、ユーザが操作を行った操作履歴(情報提示履歴382)をサーバ20へ送信する。 In step S607, the information processing device 30 transmits the operation history (information presentation history 382) of the user's operation to the server 20 in association with the device identification information 381.

ステップS655において、サーバ20は、各情報処理装置30から、ユーザの操作履歴を受信して、ユーザの操作履歴を、情報処理装置30それぞれの識別情報と対応付けて記憶する。 In step S655, the server 20 receives the user's operation history from each information processing device 30, and stores the user's operation history in association with the identification information of each of the information processing devices 30.

これにより、サーバ20は、各情報処理装置30において情報を表示させた履歴と、これらの情報に対してユーザが行った操作履歴とを関連付けて蓄積することができる。 As a result, the server 20 can store the history of displaying information in each information processing device 30 in association with the operation history performed by the user with respect to the information.

なお、情報処理装置30は、常時、情報をディスプレイ332に表示することとしてもよい。例えば、配信スケジュールにおいて情報を配信することが予定されていない場合においても、情報処理装置30は、時刻、天気予報、交通案内など、予め定められた情報を表示することとしてもよい。 The information processing device 30 may always display information on the display 332. For example, even when the information is not scheduled to be distributed in the distribution schedule, the information processing device 30 may display predetermined information such as time, weather forecast, and traffic guidance.

また、情報処理装置30は、カメラ360または人感センサにより、情報処理装置30から所定の周囲にユーザがいることを検出したことに応答して、情報をディスプレイ332に表示することとしてもよい。 Further, the information processing device 30 may display the information on the display 332 in response to the detection by the camera 360 or the motion sensor that the user is in a predetermined surrounding area from the information processing device 30.

図7は、情報処理装置30が、所定の条件が満たされることによりディスプレイ332に情報を表示して、ユーザから操作を受け付ける処理のフローを示す図である。情報処理装置30は、まず、ディスプレイ332に情報を表示しておらず、ユーザからは、微小孔パネル333の表面が視認できているとする。 FIG. 7 is a diagram showing a flow of processing in which the information processing device 30 displays information on the display 332 when a predetermined condition is satisfied and accepts an operation from the user. First, it is assumed that the information processing device 30 does not display information on the display 332, and the user can visually recognize the surface of the micropore panel 333.

ステップS703において、情報処理装置30は、(i)情報処理装置30の周囲のユーザが視線を向ける対象が所定の対象物である場合(例えば、情報処理装置30の周囲にある案内板をユーザが視認していると判別した場合)、(ii)ディスプレイ332に対するユーザの視点(ユーザがディスプレイ332を見る角度)が所定の範囲にある場合、(iii)ユーザの情報(例えば、ユーザの識別情報またはユーザの属性のセンシング結果)に基づいて、ユーザが所定のユーザ(所定の識別情報のユーザ、または、所定の属性のユーザ)である場合(例えば、ユーザが特定の性別であると判別される場合)、(iv)周辺環境情報383に基づいて、情報処理装置30の周辺の環境が所定の条件を満たす場合(例えば、情報処理装置30の周囲に人が往来する頻度が閾値を超える場合、情報処理装置30の周囲の移動体(一例として、自動車、パーソナルモビリティ、飛翔体、自動運転型移動体、又はそれらの組合せ)の移動に異常が発生している場合、情報処理装置30の周囲の交通機関(一例として、情報処理装置30が配置されている場所(具体的には、駅)に対応する交通機関)の運行に異常が発生している場合など)、(v)情報処理装置30の周辺の機器(例えば、家電機器40)の稼働状況が所定の条件を満たす場合(例えば、家電機器40の電源がオンになった場合、家電機器40がディスプレイである場合に家電機器40においてコンテンツを視聴するためのアプリケーションを起動させた場合など)に、ディスプレイ332の表示内容を決定する。例えば、情報処理装置30は、上記の各状況に応じて、ユーザに提示する情報を対応付けて記憶している。情報処理装置30は、上記の各状況を検出したことに応答して、ディスプレイ332の表示内容を決定する。 In step S703, in the information processing device 30, (i) when the target to which the user around the information processing device 30 looks is a predetermined object (for example, the user uses a guide plate around the information processing device 30). (Ii) When the user's viewpoint (angle at which the user looks at the display 332) with respect to the display 332 is within a predetermined range, (iii) the user's information (for example, the user's identification information or) When the user is a predetermined user (a user with a predetermined identification information or a user with a predetermined attribute) based on the sensing result of the user's attribute (for example, when the user is determined to have a specific gender). ), (Iv) Information when the environment around the information processing device 30 satisfies a predetermined condition based on the surrounding environment information 383 (for example, when the frequency of people coming and going around the information processing device 30 exceeds the threshold value). When an abnormality occurs in the movement of moving objects (for example, automobiles, personal mobility, flying objects, self-driving moving objects, or a combination thereof) around the processing device 30, traffic around the information processing device 30 (For example, when there is an abnormality in the operation of the engine (for example, the transportation system corresponding to the place (specifically, the station) where the information processing device 30 is located)), (v) The information processing device 30 When the operating status of the peripheral device (for example, the home appliance 40) satisfies a predetermined condition (for example, when the power of the home appliance 40 is turned on, or when the home appliance 40 is a display, the content is displayed in the home appliance 40. The display content of the display 332 is determined when an application for viewing is started). For example, the information processing device 30 stores information to be presented to the user in association with each other according to each of the above situations. The information processing device 30 determines the display content of the display 332 in response to detecting each of the above situations.

ステップS705において、情報処理装置30は、ディスプレイ332に情報を表示させ、操作受付部330(タッチセンサ331)においてユーザからの操作を待ち受ける。情報処理装置30は、ユーザの操作内容を判別し、ユーザの操作内容に応じた情報をディスプレイ332に表示させる。 In step S705, the information processing device 30 displays information on the display 332 and waits for an operation from the user on the operation reception unit 330 (touch sensor 331). The information processing device 30 determines the operation content of the user, and displays information according to the operation content of the user on the display 332.

ステップS707において、情報処理装置30は、装置識別情報381と対応付けて、ユーザが操作を行った操作履歴(情報提示履歴382)をサーバ20へ送信する。 In step S707, the information processing device 30 transmits the operation history (information presentation history 382) of the user's operation to the server 20 in association with the device identification information 381.

<使用例>
図8は、情報処理装置30を配置する局面を示す図である。情報処理装置30は、例えば、壁、柱、机などに配置することができる。
<Usage example>
FIG. 8 is a diagram showing a phase in which the information processing device 30 is arranged. The information processing device 30 can be arranged on a wall, a pillar, a desk, or the like, for example.

図8に示すように、建物内などの空間において、壁面に情報処理装置30Aが組み込まれ、柱に情報処理装置30Bが組み込まれ、机に情報処理装置30Cが組み込まれている。各情報処理装置30がディスプレイ332により情報を表示していない場合、ユーザは、壁、柱、机の表面素材を視認することとなる。 As shown in FIG. 8, in a space such as a building, the information processing device 30A is incorporated in the wall surface, the information processing device 30B is incorporated in the pillar, and the information processing device 30C is incorporated in the desk. When each information processing device 30 does not display information on the display 332, the user will visually recognize the surface materials of the wall, the pillar, and the desk.

なお、壁において、情報処理装置30Aの近傍にカメラ360Aを配置している。カメラ360Aは、情報処理装置30Aを視認するユーザを正面方向から撮影する位置に配置されている。情報処理装置30Aは、ユーザの視線の方向(ユーザが見ている対象物)、情報処理装置30Aに対するユーザの視点を、カメラ360Aの撮影画像に基づいて特定することができる。例えば、情報処理装置30Aは、情報処理装置30Aをユーザが見る角度(ユーザの視点)として、情報処理装置30Aの周囲の複数の領域のいずれからであるか(例えば、第1の領域54A、第2の領域54B、第3の領域54Cのいずれから見ているか。図示する例ではユーザは第1の領域54Aの位置から情報処理装置30Aを視認している)を特定することができる。例えば、図8に示す空間において、案内板60を配置しており、案内板60において、ユーザの属性に応じて、情報処理装置30Aを左側から見るか、右側から見るかの案内をユーザに提示してもよい。これにより、ユーザに対し、情報処理装置30Aを所定の角度から見るよう促すことができる。例えば、情報処理装置30Aにおいて案内文を表示する場合に、ユーザが第1の領域54Aから見ている場合には、第1の情報(例えば、初めて建物に来訪したユーザ向けの情報)を表示して、第2の領域54Bまたは第3の領域54Cから見ている場合には、第2の情報(例えば、建物を複数回利用しているユーザに向けた情報)を表示することとしてもよい。 On the wall, the camera 360A is arranged in the vicinity of the information processing device 30A. The camera 360A is arranged at a position where the user who visually recognizes the information processing device 30A is photographed from the front direction. The information processing device 30A can specify the direction of the user's line of sight (the object that the user is looking at) and the user's viewpoint with respect to the information processing device 30A based on the captured image of the camera 360A. For example, the information processing device 30A is from any of a plurality of regions around the information processing device 30A as the angle at which the user views the information processing device 30A (user's viewpoint) (for example, the first region 54A, the first region 54A, the first region 54A, Which of the two regions 54B and the third region 54C is viewed from? In the illustrated example, the user is visually recognizing the information processing device 30A from the position of the first region 54A). For example, in the space shown in FIG. 8, the guide plate 60 is arranged, and the guide plate 60 presents the user with guidance on whether to view the information processing device 30A from the left side or the right side according to the user's attributes. You may. As a result, the user can be urged to look at the information processing device 30A from a predetermined angle. For example, when displaying a guide text on the information processing device 30A, when the user is looking from the first area 54A, the first information (for example, information for a user who visits the building for the first time) is displayed. When viewed from the second area 54B or the third area 54C, the second information (for example, information for a user who uses the building a plurality of times) may be displayed.

このように壁面に情報処理装置30Aを組み込むことにより、ユーザに対し、物理的な表示用インタフェースを認知させることなく、壁面の質感(例えば、壁面に配置された壁紙本来の質感)を保持したまま、画像を出力する。これにより、ディスプレイを壁面に配置しなくても、壁面を表示用のインタフェースとして提供することができる。その結果、ユーザに対し、新たな視聴体験が創出される。 By incorporating the information processing device 30A into the wall surface in this way, the texture of the wall surface (for example, the original texture of the wallpaper arranged on the wall surface) is maintained without causing the user to recognize the physical display interface. , Output the image. As a result, the wall surface can be provided as an interface for display without arranging the display on the wall surface. As a result, a new viewing experience is created for the user.

例えば、ユーザの生活環境において、ユーザの意思により情報処理装置30に画像を表示させる局面があり得る。例えば、ユーザが動画配信サイトなどの画像配信サービスを利用する局面において、壁面に視線を向ける、壁面に近づく、情報処理装置30が組み込まれる壁の周囲の所定の対象物を見続ける等のトリガにより、壁に組み込まれた情報処理装置30により動画を再生させることができる。ユーザの生活環境、例えばユーザが居住している空間において、ユーザが壁面に組み込まれた情報処理装置30Aを起動させるトリガを認識していることがあり得る。これにより、ディスプレイを壁面に設置しなくても、また、室内に、壁に画像を投影するためのプロジェクタを設置しなくても、ユーザの意思に基づくタイミングにより、壁に画像を表示させることができる。その結果、ユーザの生活環境、例えば室内における新たな居住体験が創出される。 For example, in the user's living environment, there may be a situation in which the information processing apparatus 30 displays an image at the user's will. For example, when a user uses an image distribution service such as a video distribution site, a trigger such as directing the line of sight to the wall surface, approaching the wall surface, or continuing to look at a predetermined object around the wall surface in which the information processing device 30 is incorporated is used. , The moving image can be reproduced by the information processing device 30 built in the wall. In the user's living environment, for example, in the space in which the user lives, the user may recognize a trigger for activating the information processing device 30A incorporated in the wall surface. As a result, the image can be displayed on the wall at a timing based on the user's intention without installing the display on the wall surface or installing a projector for projecting the image on the wall in the room. it can. As a result, a new living environment of the user, for example, a new living experience indoors is created.

また、例えば、ユーザの生活環境において、ユーザが画像を表示させるための意思にかかわらず、情報処理装置30に画像を表示させる局面があり得る。例えば、天候の変化、ユーザが利用する交通機関の運行状況に異常が生じている場合など、ユーザの生活習慣に影響を及ぼしうる事象について、ユーザの意思により情報処理装置30を起動させるためのトリガによらず、壁に組み込まれた情報処理装置30に画像を表示させることができる。その結果、ユーザの生活習慣に影響を及ぼす事象が発生していない場合には、壁面の質感を保持しつつ、当該事象が発生した場合に壁面を表示用のインタフェースとして提供することができる。ユーザの生活環境において、緊急度合いの高い事象が発生したことをユーザに容易に認識させることができる。 Further, for example, in the living environment of the user, there may be a phase in which the information processing apparatus 30 displays the image regardless of the user's intention to display the image. For example, a trigger for activating the information processing device 30 at the user's will regarding an event that may affect the user's lifestyle, such as a change in the weather or an abnormality in the operation status of the transportation system used by the user. Regardless, the image can be displayed on the information processing device 30 built in the wall. As a result, when an event that affects the lifestyle of the user does not occur, the wall surface can be provided as a display interface when the event occurs while maintaining the texture of the wall surface. It is possible to easily make the user aware that an event with a high degree of urgency has occurred in the user's living environment.

また、情報処理装置30Aが、ユーザ指示(例えば、外部装置(一例として、空調装置)に対する指示)を受け付けるオブジェクト画像をディスプレイ332に表示し、且つ、タッチセンサ331を介して、当該オブジェクト画像に対するユーザの操作を受け付ける。これにより、ボタン類、リモコン類などの物理的な操作用インタフェースを用意せずとも、壁面を操作用インタフェースとして提供することができる。その結果、ユーザに対して、新たな操作体験が創出される。また、例えば、壁面を、給湯器、照明、音響装置、通話機器等の、室内空間に配置される機器を操作する操作用インタフェースとして提供することができる。例えば、居住空間に対して来訪者がない場合は壁面の質感を保持しつつ、来訪者がありインターフォンが動作している場合に、壁面に、来訪者の画像を表示させることができる。 Further, the information processing device 30A displays an object image for receiving a user instruction (for example, an instruction for an external device (for example, an air conditioner)) on the display 332, and the user for the object image via the touch sensor 331. Accepts the operation of. As a result, the wall surface can be provided as an operation interface without preparing a physical operation interface such as buttons and remote controllers. As a result, a new operation experience is created for the user. Further, for example, the wall surface can be provided as an operation interface for operating equipment arranged in the indoor space, such as a water heater, lighting, an audio device, and a telephone equipment. For example, when there is no visitor in the living space, the texture of the wall surface can be maintained, and when there is a visitor and the intercom is operating, the image of the visitor can be displayed on the wall surface.

壁面に情報処理装置30Aを組み込み、風景を示す画像を表示させることにより、ユーザに対し、仮想的な窓を提供することができる。例えば、居住空間またはオフィス空間において、窓を設置できることが可能な範囲が規定されていることがある。窓を設置することができない範囲において、情報処理装置30Aを壁に組み込むことにより、壁面の質感を保持しつつ、情報処理装置30Aが、例えば、所定の時刻ごとに、居住空間またはオフィス空間の外部の風景の撮影画像を表示する。これにより、ユーザに対し、太陽光など自然光の入射が時刻に応じて変化することに基づいて、時刻の変化を認識させることができ得る。これにより、居住空間またはオフィス空間において外部と遮断される場合においても、ユーザに対し、規則正しい生活習慣を送ることを支援することができる。 By incorporating the information processing device 30A on the wall surface and displaying an image showing the landscape, a virtual window can be provided to the user. For example, in a living space or an office space, the range in which windows can be installed may be defined. By incorporating the information processing device 30A into the wall within the range where windows cannot be installed, the information processing device 30A can be installed outside the living space or office space, for example, at predetermined time intervals while maintaining the texture of the wall surface. Display the captured image of the landscape of. This makes it possible for the user to recognize the change in time based on the fact that the incident of natural light such as sunlight changes according to the time. As a result, it is possible to support the user to lead a regular lifestyle even when the living space or the office space is cut off from the outside.

柱において、図示するように、複数個所にわたって、情報処理装置(情報処理装置30B−01、30B−02、30B−03、30B−11)を配置している(以下、柱の複数個所にわたって配置する情報処理装置を、「情報処理装置30B」と総称することもある)。情報処理装置30Bの近傍にカメラ360Bを配置している。これにより、情報処理装置30Bは、ユーザの視線を判別することにより、柱の周囲にユーザが近づいたか否か、ユーザが柱に着目しているか否か、ユーザが柱のどの部分を見ているかを判別して、判別結果に応じて、情報を表示することができる。 In the pillar, as shown in the figure, information processing devices (information processing devices 30B-01, 30B-02, 30B-03, 30B-11) are arranged over a plurality of places (hereinafter, arranged over a plurality of places of the pillar). The information processing device may be collectively referred to as "information processing device 30B"). A camera 360B is arranged in the vicinity of the information processing device 30B. As a result, the information processing device 30B determines whether or not the user has approached the circumference of the pillar, whether or not the user is paying attention to the pillar, and which part of the pillar the user is looking at by determining the line of sight of the user. Can be discriminated and information can be displayed according to the discriminant result.

なお、図示するように、柱の複数の面に情報処理装置30Bを配置することとしてもよい。図示する例では、柱は直方体形状(つまり、ユーザが視認可能な4つの面)を有しており、第1の面には3つの情報処理装置(情報処理装置30B−01、30B−02、30B−03)を配置し、第1の面とは異なる第2の面には1つの情報処理装置30B−11を配置している。 As shown in the figure, the information processing apparatus 30B may be arranged on a plurality of surfaces of the pillar. In the illustrated example, the pillar has a rectangular parallelepiped shape (that is, four faces visible to the user), and the first face has three information processing devices (information processing devices 30B-01, 30B-02, 30B-03) is arranged, and one information processing apparatus 30B-11 is arranged on the second surface different from the first surface.

柱の各面に配置する情報処理装置30Bの数は、それぞれ異なることとしてもよいし、同一であることとしてもよい。例えば、ユーザが視認しやすい柱の面については多くの情報処理装置30Bを配置することとしてもよい。 The number of information processing devices 30B arranged on each surface of the pillar may be different or the same. For example, many information processing devices 30B may be arranged on the surface of the pillar that is easily visible to the user.

また、柱の複数の面において、面ごとに、情報処理装置30Bに表示させる情報を異なるものとしてもよい。例えば、ユーザが柱の第1の面を視認できる範囲内と、柱の第2の面を視認できる範囲とが同一の範囲ではない場合、各範囲においてユーザの視界に含まれ得る対象が異なると想定される。情報処理装置30Bは、情報処理装置30Bが配置される柱の面に応じて、ユーザの視界に含まれ得る対象に関連する情報を表示することとしてもよい。 Further, the information to be displayed on the information processing apparatus 30B may be different for each of the plurality of surfaces of the pillar. For example, if the range in which the user can see the first surface of the pillar and the range in which the second surface of the pillar can be seen are not the same range, the objects that can be included in the user's field of view are different in each range. is assumed. The information processing device 30B may display information related to an object that may be included in the user's field of view, depending on the surface of the pillar on which the information processing device 30B is arranged.

このように柱に情報処理装置30Bを組み込むことにより、ユーザに対し、ディスプレイとは思えない質感の素材(木、革など)の柱面から画像を出力し、物理的な表示用インタフェースを認知させることなく、柱面の質感を保持したまま、画像を出力する。これにより、ディスプレイを柱面に配置しなくても、柱面を表示用のインタフェースとして提供することができ、新たな視聴体験を創出することができる。 By incorporating the information processing device 30B into the pillar in this way, the user is made to recognize the physical display interface by outputting an image from the pillar surface of a material (wood, leather, etc.) having a texture that does not seem to be a display. The image is output while maintaining the texture of the pillar surface. As a result, the pillar surface can be provided as an interface for display without arranging the display on the pillar surface, and a new viewing experience can be created.

例えば、オフィス空間や施設において、図8に示すように、柱の周囲をユーザが視認できる状態で柱が配置されることがある。当該柱の周囲に沿って情報処理装置30Bを組み込むことにより、ユーザが柱を視認する方向に応じて、情報処理装置30Bに画像を表示させることができる。例えば、施設内の各部屋において研修、検査を行う場合のように、ユーザが施設内の複数個所を巡回する際、ユーザの巡回の経路にあわせて、柱に組み込まれた複数の情報処理装置30Bに情報を表示させることができる。つまり、ユーザが施設内を巡回するスケジュールおよび巡回の経路にあわせて、ユーザが柱を視認するタイミングおよび柱を視認する方向に応じて、柱に組み込まれた複数の情報処理装置30Bのうち、ユーザが視認する情報処理装置30Bに、案内等を表示させる。一方、施設においてユーザを巡回させることが必要ではない期間においては、柱の情報処理装置30Bに画像を表示させないことで、柱の表面の質感をユーザが視認するようにすることができる。これにより、ユーザにとって案内等が必要でない場合には、柱をディスプレイとしてユーザに認識させず、案内等が必要な局面に応じて柱をディスプレイとして機能させることができ、ユーザに対し、施設の新たな利用体験を提供することができる。 For example, in an office space or facility, as shown in FIG. 8, the pillars may be arranged so that the user can visually recognize the circumference of the pillars. By incorporating the information processing device 30B along the periphery of the pillar, the information processing device 30B can display an image according to the direction in which the user visually recognizes the pillar. For example, when a user patrols a plurality of places in a facility, as in the case of conducting training and inspection in each room in the facility, a plurality of information processing devices 30B incorporated in a pillar according to the patrol route of the user. Information can be displayed on. That is, among the plurality of information processing devices 30B incorporated in the pillar, the user is among the plurality of information processing devices 30B incorporated in the pillar according to the timing at which the user visually recognizes the pillar and the direction in which the pillar is visually recognized according to the schedule and the patrol route of the user. The information processing device 30B visually recognized by the user displays guidance or the like. On the other hand, during the period when it is not necessary to patrol the user in the facility, the texture of the surface of the pillar can be visually recognized by not displaying the image on the information processing device 30B of the pillar. As a result, when the user does not need guidance or the like, the pillar can be made to function as a display according to the situation where the guidance or the like is required without causing the user to recognize the pillar as a display. It is possible to provide a comfortable usage experience.

情報処理装置30Bから出力する情報としては、この他に、広告全般、案内表示(例えば、駅などの公共交通機関、オフィスなどの事業所内)、時刻情報、天気情報などが含まれることとしてもよい。また、時刻、情報処理装置30Bを見るユーザ、情報処理装置30Bをユーザが見る角度、情報処理装置30Bの周辺環境の情報に応じて、表示内容を変化させてもよい。 In addition to this, the information output from the information processing device 30B may include general advertisements, guidance displays (for example, public transportation such as stations, business establishments such as offices), time information, weather information, and the like. .. Further, the display contents may be changed according to the time, the user viewing the information processing device 30B, the angle at which the user views the information processing device 30B, and the information of the surrounding environment of the information processing device 30B.

このように机に情報処理装置30Cを組み込むことにより、ユーザに対し、物理的な表示用インタフェースを認知させることなく、机の質感を保持したまま、画像を出力する。これにより、ディスプレイを机に配置しなくても、机面を表示用インタフェースとして提供することができる。例えば、打ち合わせ等により、複数人で机を使用する場合、複数人の間で共有すべき資料等がある場合に、机に予めコンピュータと接続するためのディスプレイまたはプロジェクタを用意せずとも、情報処理装置30Cを組み込んだ机をディスプレイとして機能させ、資料等の共有を容易に行えるようにすることができる。ミーティングスペースにおいてディスプレイまたはプロジェクタを予め用意する場合、ユーザは、まずディスプレイの位置またはプロジェクタが映像を投影する方向を確認してから、ディスプレイに表示される画像、または、プロジェクタにより投影される画像を見ることができるよう着席することが促される。一方、机においてディスプレイまたはプロジェクタを用意せず、机に情報処理装置30Cを組み込んでいる場合、ユーザは、まず机に対して着席をし、そのあとで、机に組み込まれた情報処理装置30Cが出力する画像を視認することになり得る。つまり、まず各ユーザが座席に着席したうえで、各ユーザの着席に適した位置に、机に組み込まれた情報処理装置30Cが画像を出力し得る。その結果、ユーザに対し、新たなミーティングスペースを提供することができる。 By incorporating the information processing device 30C into the desk in this way, the image is output while maintaining the texture of the desk without causing the user to recognize the physical display interface. As a result, the desk surface can be provided as a display interface without arranging the display on the desk. For example, when multiple people use a desk for a meeting or the like, or when there are materials to be shared among multiple people, information processing can be performed without preparing a display or projector for connecting to a computer in advance on the desk. A desk incorporating the device 30C can be made to function as a display so that materials and the like can be easily shared. When the display or projector is prepared in advance in the meeting space, the user first confirms the position of the display or the direction in which the projector projects the image, and then sees the image displayed on the display or the image projected by the projector. You will be encouraged to sit down so that you can. On the other hand, when the desk does not have a display or a projector and the information processing device 30C is installed in the desk, the user first sits at the desk, and then the information processing device 30C incorporated in the desk is installed. The output image may be visually recognized. That is, after each user is seated in the seat, the information processing device 30C incorporated in the desk can output an image at a position suitable for each user to be seated. As a result, a new meeting space can be provided to the user.

机において、情報処理装置30Cの近傍にカメラ360Cを配置している。これにより、情報処理装置30Cは、情報処理装置30Cの周囲にユーザが集まっているか否か、ユーザが机に視線を向けているか否か、机に対してユーザが着席している位置を判別することができる。例えば、机の周囲に複数のユーザが集まって打ち合わせをする場合に、当該複数のユーザが机の面に対して視線を注ぐことで(机の面を見ていることで)、情報処理装置30Cが情報を表示することとしてもよい。また、情報処理装置30Cの周囲に椅子等を配置する場合に、当該椅子にユーザが座ったことを検出することにより(例えば、カメラ360Cの撮影画像に基づいて、ユーザが立っているか座っているかを判別し得る)、情報処理装置30Cに情報を表示することとしてもよい。 At the desk, the camera 360C is arranged in the vicinity of the information processing device 30C. As a result, the information processing device 30C determines whether or not the users are gathered around the information processing device 30C, whether or not the user is looking at the desk, and the position where the user is seated with respect to the desk. be able to. For example, when a plurality of users gather around a desk and have a meeting, the information processing device 30C is obtained by having the plurality of users look at the surface of the desk (by looking at the surface of the desk). May display information. Further, when a chair or the like is arranged around the information processing device 30C, by detecting that the user is sitting on the chair (for example, whether the user is standing or sitting based on the captured image of the camera 360C). The information may be displayed on the information processing apparatus 30C.

また、このように机に情報処理装置30Cを組み込むことにより、情報処理装置30Cが必要なタイミングで画像を出力することで、PC(Personal Computer)、ディスプレイ等のコンピュータをユーザに認識させることなく、木などの質感を保持した空間デザインをユーザに提供することができる。つまり、ユーザが視認できる範囲にコンピュータを配置しないことで、コンピュータをユーザに意識させない空間を提供しつつ、必要なタイミングで情報処理装置30Cにより操作用インタフェースを提供することができる。その結果、ユーザに対し、新たな空間利用の体験を提供することができる。 Further, by incorporating the information processing device 30C into the desk in this way, the information processing device 30C outputs an image at a required timing, so that the user does not recognize a computer such as a PC (Personal Computer) or a display. It is possible to provide the user with a space design that retains the texture of wood and the like. That is, by not arranging the computer in a range that the user can see, the information processing device 30C can provide an operation interface at a required timing while providing a space that does not make the computer conscious of the user. As a result, it is possible to provide the user with a new experience of using the space.

例えば、情報処理装置30Cを組み込んだ机は、オフィスの会議室、学校の教室、講堂などで使用され得る。情報処理装置30Cは、タッチセンサ331において、ユーザの身体(一例として、指)またはタッチペンによるタッチ操作を受け付けることができる。情報処理装置30Cは、タブレット端末、スマートフォン等のユーザの端末装置と同期する等により、これら装置と同等の情報を表示することとしてもよい。 For example, a desk incorporating the information processing device 30C can be used in an office conference room, a school classroom, an auditorium, or the like. The information processing device 30C can receive a touch operation by the user's body (for example, a finger) or a touch pen in the touch sensor 331. The information processing device 30C may display information equivalent to these devices by synchronizing with a user's terminal device such as a tablet terminal or a smartphone.

図9は、情報処理装置30を配置する、別の局面を示す図である。情報処理装置30は、例えば、床に配置することができる。 FIG. 9 is a diagram showing another aspect in which the information processing device 30 is arranged. The information processing device 30 can be arranged on the floor, for example.

図9に示すように、建物内などの空間において、床面、または床面に配置されるフロアパネル(一例として、タイルパネル、点字ブロック)に情報処理装置30Dが組み込まれている。例えば、建物内において、案内端末61を配置することにより、ユーザの来訪を受け付けるとする。情報処理装置30Dは、ユーザの来訪先の情報に基づいて、床面において、ユーザの移動経路65を表示することができる。情報処理装置30Dは、ユーザの移動に伴ってタッチセンサ331によりユーザの操作位置を判別することにより、ユーザが移動経路65に沿って移動しているか、ユーザが移動経路65のいずれの位置にいるかを判別することができ、判別結果に応じて、目的地に関する情報(例えば、目的地までの移動経路に関する情報、または目的地の状況に関する情報)をディスプレイ332により表示することができる。 As shown in FIG. 9, in a space such as in a building, the information processing device 30D is incorporated in a floor surface or a floor panel (for example, a tile panel or a Braille block) arranged on the floor surface. For example, it is assumed that a user's visit is accepted by arranging the guidance terminal 61 in the building. The information processing device 30D can display the user's movement path 65 on the floor surface based on the information of the user's visit destination. The information processing device 30D determines the operation position of the user by the touch sensor 331 as the user moves, so that the user is moving along the movement path 65 or the user is in any position of the movement path 65. Can be determined, and information on the destination (for example, information on the movement route to the destination or information on the situation of the destination) can be displayed on the display 332 according to the determination result.

このように床に情報処理装置30Dを組み込むことにより、住宅や公共的な場所において、床面の質感を表現しつつ、広告や案内表示などの画像を出力することができ、ユーザに驚きを提供することができる。また、ユーザの操作位置をタッチセンサ331で判別した結果に応じてディスプレイ332に表示することにより、ユーザと床面との相互作用により情報を表示する。これにより、新たな移動体験を提供することができる。また、ユーザが経路などの情報を参照するために、手に持った端末や冊子を参照することなく(例えば、歩きながら携帯端末を注視することもなく)、床面のディスプレイ332に表示された情報をユーザに参照させることができ、ユーザの視線を、手元の端末や冊子ではなく、正面に向けるように誘導することができる。 By incorporating the information processing device 30D on the floor in this way, it is possible to output images such as advertisements and guidance displays while expressing the texture of the floor surface in a residential or public place, providing a surprise to the user. can do. Further, by displaying the operation position of the user on the display 332 according to the result of determining the operation position by the touch sensor 331, the information is displayed by the interaction between the user and the floor surface. This makes it possible to provide a new mobile experience. Further, in order for the user to refer to information such as a route, the display is displayed on the floor display 332 without referring to the terminal or booklet held in the hand (for example, without gazing at the mobile terminal while walking). The information can be referred to by the user, and the user's line of sight can be guided to face the front instead of the terminal or booklet at hand.

また、情報処理装置30に情報を表示させることで、ユーザに対し目的地への案内を行う場合に、目的地となり得る部屋の扉に情報処理装置30を組み込むこととしてもよい。図9に示すように、扉63Aに情報処理装置30Eが組み込まれており、ユーザの目的地が扉63Bの部屋であるとする。ユーザの来訪先が扉63Bの部屋である場合に、情報処理装置30Eに、ユーザの来訪先の扉63Bに案内する情報を表示することとしてもよい。これにより、ユーザが目的地となる部屋にたどり着くことを容易にすることができる。また、情報処理装置30Eが扉63Aの内部の部屋の概要に関する画像を表示する。これにより、部屋の概要をユーザに提示することができる。 Further, when the information processing device 30 displays information to guide the user to the destination, the information processing device 30 may be incorporated in the door of a room that can be the destination. As shown in FIG. 9, it is assumed that the information processing device 30E is incorporated in the door 63A and the user's destination is the room of the door 63B. When the user's visit destination is the room of the door 63B, the information processing device 30E may display the information to guide the user's visit destination door 63B. This makes it easier for the user to reach the destination room. Further, the information processing device 30E displays an image regarding the outline of the room inside the door 63A. As a result, the outline of the room can be presented to the user.

また、壁に情報処理装置30Fが組み込まれており、情報処理装置30Fが、情報処理装置30Fが配置された空間(例えば、オフィスビル)の外部の風景の風景画像を表示する。これにより、壁を窓であるかのようにユーザに認識させ得る。 Further, the information processing device 30F is incorporated in the wall, and the information processing device 30F displays a landscape image of the scenery outside the space (for example, an office building) in which the information processing device 30F is arranged. This allows the user to recognize the wall as if it were a window.

この他に、航空機、鉄道、バス、走行車両などの移動体において、情報処理装置30を配置することとしてもよい。例えば、高速鉄道サービス(新幹線)、バスの座席シートにおいて、前列のシートの後部側(シートに着座したユーザが見る面)に、シートの質感を残したまま様々な画像を出力することができ、ユーザに驚きを提供することができる。 In addition to this, the information processing device 30 may be arranged in a moving body such as an aircraft, a railroad, a bus, or a traveling vehicle. For example, in high-speed railway services (Shinkansen) and bus seats, various images can be output on the rear side of the front row seats (the surface seen by the user seated in the seat) while retaining the texture of the seats. It can provide surprises to users.

シートに備えられるアームレストにおいて情報処理装置30を組み込むことにより、映像に対して操作を行うための操作面として機能させることもできる。この場合、アームレストの質感をそのままにタッチスクリーンとして活用することができる。例えば、オフィス、会議室などにおいて、ディスプレイに表示される映像を、アームレストに組み込んだ情報処理装置30により操作することができる。また、住宅などにおいて、家電機器40(空調装置など)の操作、PC等の操作を、アームレストに組み込んだ情報処理装置30により行うことができる。 By incorporating the information processing device 30 in the armrest provided on the seat, it can also function as an operation surface for operating the image. In this case, the texture of the armrest can be used as it is as a touch screen. For example, in an office, a conference room, or the like, an image displayed on a display can be operated by an information processing device 30 incorporated in an armrest. Further, in a house or the like, the operation of the home electric appliance 40 (air conditioner or the like) and the operation of the PC or the like can be performed by the information processing device 30 incorporated in the armrest.

以上のように説明したディスプレイ332および微小孔パネル333は、平面でもよいし、曲面でもよい。 The display 332 and the microhole panel 333 described above may be a flat surface or a curved surface.

情報処理装置30は、複数の画像(例えば、第1画像および第2画像)をディスプレイ332に重畳表示させてもよい。図10は、複数の画像をディスプレイ332に重畳表示させる局面を示す図である。 The information processing device 30 may superimpose and display a plurality of images (for example, a first image and a second image) on the display 332. FIG. 10 is a diagram showing a situation in which a plurality of images are superimposed and displayed on the display 332.

図10(A)に示すように、情報処理装置30は、第1画像「ABC」および第2画像「XYZ」をディスプレイ332に重畳表示させる。 As shown in FIG. 10A, the information processing apparatus 30 superimposes and displays the first image “ABC” and the second image “XYZ” on the display 332.

例えば、図8に示すように、壁面に情報処理装置30Aが組み込まれている場合、図10(B)に示すように、第1の領域54Aのユーザは第1画像(一例として、天気予報の画像)を視認することができる。図10(C)に示すように、第2の領域54Bのユーザは第2画像(一例として、カレンダーの画像)を視認することができる。 For example, as shown in FIG. 8, when the information processing device 30A is incorporated in the wall surface, as shown in FIG. 10B, the user of the first area 54A is the first image (as an example, the weather forecast. The image) can be visually recognized. As shown in FIG. 10C, the user in the second area 54B can visually recognize the second image (as an example, an image of a calendar).

<付記>
以上の各実施形態で説明した事項を以下に付記する。
<Additional notes>
The matters described in each of the above embodiments will be added below.

(付記1)
情報処理装置(30)であって、ディスプレイ(332)と、微小孔(335)を有する微小孔部材(333)と、タッチセンサ(331)と、タッチセンサへのユーザの操作を検出することに応答して、ディスプレイの表示内容を制御する制御部(390)とを備える、情報処理装置。
(Appendix 1)
In the information processing device (30), the display (332), the microhole member (333) having the micropores (335), the touch sensor (331), and the user's operation on the touch sensor are detected. An information processing device including a control unit (390) that responds and controls the display contents of the display.

(付記2)
制御部は、ユーザの視線を取得し(382)、ユーザの視線が所定の対象に注がれていることに応答して、表示内容を決定する(S703)、(付記1)に記載の情報処理装置。
(Appendix 2)
The control unit acquires the user's line of sight (382) and determines the display content in response to the user's line of sight being focused on a predetermined target (S703), the information according to (Appendix 1). Processing equipment.

(付記3)
制御部は、ディスプレイに対するユーザの視点または視線に応答して、表示内容を決定する(S703、54A、54B、54C)、(付記1)または(付記2)に記載の情報処理装置。
(Appendix 3)
The information processing device according to (Appendix 1) or (Appendix 2), wherein the control unit determines the display content in response to the user's viewpoint or line of sight with respect to the display (S703, 54A, 54B, 54C).

(付記4)
制御部は、ディスプレイの周囲のユーザの情報に応答して、表示内容を決定する(S703)、(付記1)から(付記3)のいずれかに記載の情報処理装置。
(Appendix 4)
The information processing device according to any one of (Appendix 1) to (Appendix 3), wherein the control unit determines the display content in response to the information of the user around the display (S703).

(付記5)
制御部は、ユーザの情報として、ユーザの属性の情報またはユーザを識別する情報の少なくともいずれかに応答して、表示内容を決定する、(付記4)に記載の情報処理装置。
(Appendix 5)
The information processing device according to (Appendix 4), wherein the control unit determines the display content in response to at least one of the user attribute information and the user identification information as the user information.

(付記6)
制御部は、情報処理装置の周辺環境の情報(383)に応答して、表示内容を決定する、(付記1)から(付記5)のいずれかに記載の情報処理装置。
(Appendix 6)
The information processing device according to any one of (Appendix 1) to (Appendix 5), wherein the control unit determines the display content in response to the information (383) of the surrounding environment of the information processing device.

(付記7)
周辺環境の情報は、情報処理装置の周囲の人、移動体、および、交通機関の少なくとも1つに関する情報である、(付記6)に記載の情報処理装置。
(Appendix 7)
The information processing device according to (Appendix 6), wherein the information on the surrounding environment is information on at least one of a person, a mobile body, and a transportation system around the information processing device.

(付記8)
制御部は、情報処理装置が配置される空間に配置された外部装置(40)の稼働状況を取得し(383)、外部装置の稼働状況に応答して、表示内容を決定する(S703)、(付記1)から(付記7)のいずれかに記載の情報処理装置。
(Appendix 8)
The control unit acquires the operating status of the external device (40) arranged in the space where the information processing device is arranged (383), and determines the display content in response to the operating status of the external device (S703). The information processing device according to any one of (Appendix 1) to (Appendix 7).

(付記9)
情報処理装置は、柱、壁、机の少なくともいずれかに組み込まれる、(付記1)から(付記8)のいずれかに記載の情報処理装置。
(Appendix 9)
The information processing device according to any one of (Appendix 1) to (Appendix 8), which is incorporated in at least one of a pillar, a wall, and a desk.

(付記10)
情報処理装置は、床面に組み込まれており、制御部は、ユーザが床面においてタッチセンサに対する操作位置に基づいて、表示内容を決定する、(付記1)から(付記9)のいずれかに記載の情報処理装置。
(Appendix 10)
The information processing device is built in the floor surface, and the control unit determines the display content on the floor surface based on the operation position with respect to the touch sensor, in any of (Appendix 1) to (Appendix 9). The information processing device described.

(付記11)
制御部は、ユーザの目的地に関する情報を表示内容として決定する、(付記10)に記載の情報処理装置。
(Appendix 11)
The information processing device according to (Appendix 10), wherein the control unit determines information about the user's destination as display contents.

(付記12)
情報処理装置は、移動体に配置される、(付記1)から(付記11)のいずれかに記載の情報処理装置。
(Appendix 12)
The information processing device according to any one of (Appendix 1) to (Appendix 11), which is arranged on a mobile body.

(付記13)
微小孔部材は、微小孔に、光透過性を有する透明部材が充填される、(付記1)から(付記12)のいずれかに記載の情報処理装置。
(Appendix 13)
The information processing apparatus according to any one of (Appendix 1) to (Appendix 12), wherein the micropore member is filled with a transparent member having light transmittance.

(付記14)
情報処理装置は、ディスプレイに複数の画像を重畳表示させる、(付記1)から(付記13)の何れかに記載の情報処理装置。
(Appendix 14)
The information processing device according to any one of (Appendix 1) to (Appendix 13), which superimposes and displays a plurality of images on a display.

1 システム、20 サーバ、30 情報処理装置、331 タッチセンサ、332 ディスプレイ、333 微小孔パネル、40 家電機器。

1 system, 20 servers, 30 information processing devices, 331 touch sensors, 332 displays, 333 microhole panels, 40 home appliances.

Claims (16)

情報処理装置であって、
ディスプレイと、
微小孔を有する微小孔部材と、
タッチセンサと、
前記タッチセンサへのユーザの操作を検出することに応答して、前記ディスプレイの表示内容を制御する制御部とを備える、情報処理装置。
It is an information processing device
With the display
A micropore member with micropores and
With a touch sensor
An information processing device including a control unit that controls the display contents of the display in response to detecting a user's operation on the touch sensor.
前記制御部は、ユーザの視線を取得し、
前記ユーザの視線が所定の対象に注がれていることに応答して、前記表示内容を決定する、請求項1に記載の情報処理装置。
The control unit acquires the line of sight of the user and
The information processing device according to claim 1, wherein the display content is determined in response to the user's line of sight being focused on a predetermined object.
前記制御部は、前記ディスプレイに対する前記ユーザの視点または視線に応答して、前記表示内容を決定する、請求項1または2に記載の情報処理装置。 The information processing device according to claim 1 or 2, wherein the control unit determines the display content in response to the user's viewpoint or line of sight with respect to the display. 前記制御部は、前記ディスプレイの周囲のユーザの情報に応答して、前記表示内容を決定する、請求項1から3のいずれかに記載の情報処理装置。 The information processing device according to any one of claims 1 to 3, wherein the control unit determines the display content in response to information of a user around the display. 前記ユーザの情報は、前記ユーザの属性の情報および前記ユーザを識別するユーザ識別情報の少なくとも1つである、請求項4に記載の情報処理装置。 The information processing device according to claim 4, wherein the user information is at least one of the user attribute information and the user identification information that identifies the user. 前記制御部は、前記情報処理装置の周辺環境の情報に応答して、前記表示内容を決定する、請求項1から5のいずれかに記載の情報処理装置。 The information processing device according to any one of claims 1 to 5, wherein the control unit determines the display content in response to information on the surrounding environment of the information processing device. 前記周辺環境の情報は、前記情報処理装置の周囲の人、移動体、および、交通機関の少なくとも1つに関する情報である、請求項6に記載の情報処理装置。 The information processing device according to claim 6, wherein the information on the surrounding environment is information on at least one of a person, a mobile body, and a transportation system around the information processing device. 前記制御部は、外部装置の稼働状況を取得し、
前記外部装置の稼働状況に応答して、前記表示内容を決定する、請求項1から7のいずれかに記載の情報処理装置。
The control unit acquires the operating status of the external device and obtains the operating status.
The information processing device according to any one of claims 1 to 7, wherein the display content is determined in response to the operating status of the external device.
前記情報処理装置は、柱、壁、机の少なくともいずれかに組み込まれる、請求項1から8のいずれかに記載の情報処理装置。 The information processing device according to any one of claims 1 to 8, wherein the information processing device is incorporated in at least one of a pillar, a wall, and a desk. 前記情報処理装置は、床面に組み込まれており、
前記制御部は、前記ユーザが前記床面において前記タッチセンサに対する操作位置に基づいて、前記表示内容を決定する、請求項1から9のいずれかに記載の情報処理装置。
The information processing device is built in the floor surface.
The information processing device according to any one of claims 1 to 9, wherein the control unit determines the display content based on an operation position with respect to the touch sensor on the floor surface.
前記制御部は、前記ユーザの目的地に関する情報を前記表示内容として決定する、請求項10に記載の情報処理装置。 The information processing device according to claim 10, wherein the control unit determines information about the user's destination as the display content. 前記情報処理装置は、移動体に配置される、請求項1から11のいずれかに記載の情報処理装置。 The information processing device according to any one of claims 1 to 11, wherein the information processing device is arranged on a mobile body. 前記微小孔部材は、前記微小孔に充填された透明部材を有する、請求項1から12のいずれかに記載の情報処理装置。 The information processing device according to any one of claims 1 to 12, wherein the micropore member has a transparent member filled in the micropores. 前記情報処理装置は、前記ディスプレイに複数の画像を重畳表示させる、
請求項1から13の何れかに記載の情報処理装置。
The information processing device superimposes and displays a plurality of images on the display.
The information processing device according to any one of claims 1 to 13.
情報処理装置に行わせる方法であって、前記情報処理装置は、
ディスプレイと、
微小孔を有する微小孔部材と、
タッチセンサと、
制御部とを備え、
前記方法は、前記制御部が、前記タッチセンサへのユーザの操作を検出することに応答して、前記ディスプレイの表示内容を制御するステップを含む、方法。
A method of causing an information processing device to perform the information processing device.
With the display
A micropore member with micropores and
With a touch sensor
Equipped with a control unit
The method comprises a step in which the control unit controls the display content of the display in response to detecting a user's operation on the touch sensor.
制御部と、記憶部とを備える情報処理装置を動作させるためのプログラムであって、
前記情報処理装置は、
ディスプレイと、
微小孔を有する微小孔部材と、
タッチセンサとを備え、
前記プログラムは、前記制御部に、前記タッチセンサへのユーザの操作を検出することに応答して、前記ディスプレイの表示内容を制御するステップを実行させる、プログラム。
A program for operating an information processing device including a control unit and a storage unit.
The information processing device
With the display
A micropore member with micropores and
Equipped with a touch sensor
The program causes the control unit to execute a step of controlling the display contents of the display in response to detecting a user's operation on the touch sensor.
JP2019185259A 2019-10-08 2019-10-08 Information processing apparatus, method, and program Pending JP2021060859A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019185259A JP2021060859A (en) 2019-10-08 2019-10-08 Information processing apparatus, method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019185259A JP2021060859A (en) 2019-10-08 2019-10-08 Information processing apparatus, method, and program

Publications (1)

Publication Number Publication Date
JP2021060859A true JP2021060859A (en) 2021-04-15

Family

ID=75381389

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019185259A Pending JP2021060859A (en) 2019-10-08 2019-10-08 Information processing apparatus, method, and program

Country Status (1)

Country Link
JP (1) JP2021060859A (en)

Similar Documents

Publication Publication Date Title
US11687854B1 (en) Method and system for locating resources and communicating within an enterprise
US10969131B2 (en) Sensor with halo light system
US11713969B1 (en) Method and system for locating resources and communicating within an enterprise
US8884742B2 (en) Identifying locations within a building using a mobile device
US11277893B2 (en) Thermostat with area light system and occupancy sensor
CA2900250C (en) Wirelessly communicating configuration data for interactive display devices
CN108604129A (en) Based on wireless distance finding come control electronics and display information
US20160226956A1 (en) Electronic Device and Content Providing Method Thereof
US20200401209A1 (en) Identifying electrical power ports utilizing iot information and augmented reality
CN108141475B (en) Internet of things interaction system
CN106465052A (en) Automatically connecting a user equipment device with a partner device
CN110268468A (en) Information processing equipment, information processing method and computer program
US20180004840A1 (en) Interactive mobile multimedia service kiosk
US20170351470A1 (en) Multi-user display for smart signs
US20140372907A1 (en) Gesture-based construction project collaboration system
JP2019159953A (en) Table information provision system, information processing device and program
US11460994B2 (en) Information processing apparatus and information processing method
JP2021060859A (en) Information processing apparatus, method, and program
CN109508955B (en) Cinema management method, system, service platform and medium based on artificial intelligence
KR101298632B1 (en) Method for providing audio service based on location information and mobile device
KR101628975B1 (en) Real Time Live Image Sharing IoT System and Service Providing Method thereof
US20230394878A1 (en) Program, information processing device, and method
KR101756289B1 (en) Mobile terminal and information providing method thereof
JP7210884B2 (en) Information processing device, display system and program
CN112565165A (en) Interaction method and system based on optical communication device