JP2015200960A - Information system, information processing method, and program - Google Patents

Information system, information processing method, and program Download PDF

Info

Publication number
JP2015200960A
JP2015200960A JP2014078009A JP2014078009A JP2015200960A JP 2015200960 A JP2015200960 A JP 2015200960A JP 2014078009 A JP2014078009 A JP 2014078009A JP 2014078009 A JP2014078009 A JP 2014078009A JP 2015200960 A JP2015200960 A JP 2015200960A
Authority
JP
Japan
Prior art keywords
display
information
display information
data
procedure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014078009A
Other languages
Japanese (ja)
Inventor
雄大 今道
Takehiro Imamichi
雄大 今道
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2014078009A priority Critical patent/JP2015200960A/en
Publication of JP2015200960A publication Critical patent/JP2015200960A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

PROBLEM TO BE SOLVED: To facilitate display and operation of display information.SOLUTION: An information system includes an object identification device, a movement identification device, an information processing device, and a display device, and acquires object identification data for identifying an object, creates movement data for identifying the movement of a person, stores display information that is information to be displayed, selects the display information stored in display information storage means on the basis of the object identification data, performs predetermined processing to the selected display information on the basis of the movement data, and displays the display information subjected to the predetermined processing.

Description

本発明は、情報システム、情報処理方法、及びプログラムに関する。   The present invention relates to an information system, an information processing method, and a program.

従来、オブジェクトに付されたID(Identification)、及びオブジェクトの動作からコンテンツ情報の制御を行う方法が知られている(例えば特許文献1)。   Conventionally, a method of controlling content information from an ID (Identification) attached to an object and the operation of the object is known (for example, Patent Document 1).

しかしながら、従来の方法では、操作者のジェスチャー(Gesture)などを用いなかったため、表示情報の表示、及び操作を行いにくい場合があった。   However, in the conventional method, since the operator's gesture (Gesture) or the like is not used, it may be difficult to display and operate the display information.

本発明の1つの側面は、表示情報の表示、及び操作を行いやすくすることを目的とする。   One aspect of the present invention is to facilitate display and operation of display information.

一態様における、物体識別装置と、動作識別装置と、情報処理装置と、表示装置と、を有する情報システムであって、前記物体識別装置は、物体を識別する物体識別データを取得する取得手段を有し、前記動作識別装置は、人の動作を識別するための動作データを生成する生成手段を有し、前記情報処理装置は、前記表示装置が表示する情報である表示情報を記憶する表示情報記憶手段と、前記表示情報記憶手段に記憶されている前記表示情報を前記物体識別データに基づいて選択する選択手段と、前記選択手段が選択した表示情報を前記動作データに基づいて所定の処理を行う表示情報処理手段と、を有し、前記表示装置は、前記表示情報処理手段が前記所定の処理を行った表示情報を表示する表示手段を有することを特徴とする。   In one aspect, an information system including an object identification device, an operation identification device, an information processing device, and a display device, wherein the object identification device includes acquisition means for acquiring object identification data for identifying an object. The operation identification device includes generation means for generating operation data for identifying a human operation, and the information processing device stores display information that is information displayed by the display device. A storage unit; a selection unit that selects the display information stored in the display information storage unit based on the object identification data; and a display unit selected by the selection unit based on the operation data. Display information processing means for performing display, wherein the display device includes display means for displaying display information on which the display information processing means has performed the predetermined processing.

表示情報の表示、及び操作を行いやすくすることができる。   The display information can be easily displayed and operated.

本発明の一実施形態に係る情報システムの全体構成の一例を説明する概念図である。It is a conceptual diagram explaining an example of the whole structure of the information system which concerns on one Embodiment of this invention. 本発明の一実施形態に係る情報システムのハードウェア構成の一例を説明するブロック図である。It is a block diagram explaining an example of the hardware constitutions of the information system which concerns on one Embodiment of this invention. 本発明の一実施形態に係る情報システムによる全体処理の一例を説明するシーケンス図である。It is a sequence diagram explaining an example of the whole process by the information system which concerns on one Embodiment of this invention. 本発明の一実施形態に係る情報システムの各装置による全体処理の一例を説明するフローチャートである。It is a flowchart explaining an example of the whole process by each apparatus of the information system which concerns on one Embodiment of this invention. 本発明の一実施形態に係る情報システムのPCによる表示情報を選択する処理の一例を説明する表である。It is a table | surface explaining an example of the process which selects the display information by PC of the information system which concerns on one Embodiment of this invention. 本発明の一実施形態に係る情報システムのPCによる所定の処理の一例を説明する表である。It is a table | surface explaining an example of the predetermined process by PC of the information system which concerns on one Embodiment of this invention. 本発明の一実施形態に係るモーションセンサ、及び動作データに係る処理の一例を説明する図である。It is a figure explaining an example of processing concerning a motion sensor concerning one embodiment of the present invention, and operation data. 本発明の一実施形態に係る表示における位置関係の一例を説明する図である。It is a figure explaining an example of the positional relationship in the display which concerns on one Embodiment of this invention. 本発明の一実施形態に係る情報システムの機能構成の一例を説明する機能ブロック図である。It is a functional block diagram explaining an example of a function structure of the information system which concerns on one Embodiment of this invention.

<第1実施形態>
<システム構成>
情報システム1は、例えばいわゆるショールームなどで商品の展示を行う場合に用いられる。以下、情報システム1がショールームで用いられる場合を例に説明する。
<First Embodiment>
<System configuration>
The information system 1 is used, for example, when displaying products in a so-called showroom. Hereinafter, a case where the information system 1 is used in a showroom will be described as an example.

図1は、本発明の一実施形態に係る情報システムの全体構成の一例を説明する概念図である。以下、図1に示す情報システム1を例に説明する。   FIG. 1 is a conceptual diagram illustrating an example of the overall configuration of an information system according to an embodiment of the present invention. Hereinafter, the information system 1 shown in FIG. 1 will be described as an example.

情報システム1は、受信機11と、PC(Personal Computer)12と、モーションセンサ13と、プロジェクタ14と、を有する。   The information system 1 includes a receiver 11, a PC (Personal Computer) 12, a motion sensor 13, and a projector 14.

図1は、商品2を展示する場合を例に説明している図である。   FIG. 1 is a diagram illustrating an example in which a product 2 is displayed.

商品2は、NFC(Near Field Communication)タグ21を有する。   The product 2 has an NFC (Near Field Communication) tag 21.

物体識別装置は、例えば受信機11である。以下、受信機11を例に説明する。受信機11は、商品2のNFCタグ21から商品2を識別するための物体データを取得する。   The object identification device is, for example, the receiver 11. Hereinafter, the receiver 11 will be described as an example. The receiver 11 acquires object data for identifying the product 2 from the NFC tag 21 of the product 2.

PC12は、受信機11から物体識別データを取得し、物体識別データに基づいてカタログなどの表示情報を対応させる。物体識別データは、例えばNFCタグIDである。以下、NFCタグIDを例に説明する。   The PC 12 acquires object identification data from the receiver 11 and associates display information such as a catalog with the object identification data. The object identification data is, for example, an NFC tag ID. Hereinafter, an NFC tag ID will be described as an example.

情報処理装置は、例えばPC12である。以下、PC12を例に説明する。PC12は、モーションセンサ13から操作者のジェスチャーなどの動作データを取得する。PC12は、取得した動作データに基づいて表示情報に対して所定の処理を行う。   The information processing apparatus is, for example, the PC 12. Hereinafter, the PC 12 will be described as an example. The PC 12 acquires operation data such as an operator's gesture from the motion sensor 13. The PC 12 performs a predetermined process on the display information based on the acquired operation data.

動作識別装置は、例えばモーションセンサ13である。以下、モーションセンサ13を例に説明する。モーションセンサ13は、操作者4のジェスチャーなど人の動作を検出し、動作データを生成する。モーションセンサの詳細は、後述する。   The motion identification device is, for example, a motion sensor 13. Hereinafter, the motion sensor 13 will be described as an example. The motion sensor 13 detects a human motion such as the gesture of the operator 4 and generates motion data. Details of the motion sensor will be described later.

表示装置は、例えばプロジェクタ14である。以下、プロジェクタ14を例に説明する。プロジェクタ14は、PC12から取得した表示情報をスクリーン3に表示する。   The display device is, for example, a projector 14. Hereinafter, the projector 14 will be described as an example. The projector 14 displays the display information acquired from the PC 12 on the screen 3.

<ハードウェア構成>
図2は、本発明の一実施形態に係る情報システムのハードウェア構成の一例を説明するブロック図である。
<Hardware configuration>
FIG. 2 is a block diagram illustrating an example of a hardware configuration of the information system according to the embodiment of the present invention.

受信機11は、アンテナ11H1と、出力I/F(interface)11H2と、を有する。   The receiver 11 includes an antenna 11H1 and an output I / F (interface) 11H2.

アンテナ11H1は、商品2のNFCタグ21から無線で電波を受信する。   The antenna 11H1 receives radio waves from the NFC tag 21 of the product 2 wirelessly.

出力I/F11H2は、受信機11からデータを出力するためのインタフェースである。出力I/F11H2は、例えばコネクタ、ケーブル、及びドライバなどで構成される。   The output I / F 11H2 is an interface for outputting data from the receiver 11. The output I / F 11H2 includes, for example, a connector, a cable, and a driver.

PC12は、CPU(Central Processing Unit)12H1と、記憶装置12H2と、出力I/F12H3と、入力I/F12H4と、を有する。   The PC 12 includes a CPU (Central Processing Unit) 12H1, a storage device 12H2, an output I / F 12H3, and an input I / F 12H4.

CPU12H1は、PC12の行う処理に係る演算、及びPC12の有する各装置を制御する。   The CPU 12H1 controls operations related to processing performed by the PC 12 and each device included in the PC 12.

記憶装置12H2は、データを記憶する。記憶装置12H2は、主記憶装置と、補助記憶装置と、で構成される。主記憶装置は、いわゆるメモリである。補助記憶装置は、例えばハードディスクなどである。   The storage device 12H2 stores data. The storage device 12H2 includes a main storage device and an auxiliary storage device. The main storage device is a so-called memory. The auxiliary storage device is, for example, a hard disk.

出力I/F12H3は、PC12からデータを出力するためのインタフェースである。出力I/F12H3は、例えばコネクタ、ケーブル、及びドライバなどで構成される。   The output I / F 12H3 is an interface for outputting data from the PC 12. The output I / F 12H3 includes, for example, a connector, a cable, and a driver.

入力I/F12H4は、PC12にデータを入力するためのインタフェースである。入力I/F12H4は、例えばコネクタ、ケーブル、及びドライバなどで構成される。   The input I / F 12H4 is an interface for inputting data to the PC 12. The input I / F 12H4 includes, for example, a connector, a cable, and a driver.

モーションセンサ13は、センサ13H1と、出力I/F13H2と、を有する。   The motion sensor 13 includes a sensor 13H1 and an output I / F 13H2.

センサ13H1は、操作者4のジェスチャーなどを検出する。センサ13H1は、例えば複数のカメラを用いる装置、いわゆるステレオカメラなどである。   The sensor 13H1 detects the gesture of the operator 4 and the like. The sensor 13H1 is a device using a plurality of cameras, for example, a so-called stereo camera.

出力I/F13H2は、モーションセンサ13からデータを出力するためのインタフェースである。出力I/F13H2は、例えばコネクタ、ケーブル、及びドライバなどで構成される。   The output I / F 13H2 is an interface for outputting data from the motion sensor 13. The output I / F 13H2 includes, for example, a connector, a cable, and a driver.

プロジェクタ14は、出力装置14H1と、入力I/F14H2と、を有する。   The projector 14 has an output device 14H1 and an input I / F 14H2.

出力装置14H1は、スクリーン3などに画像を投影する。   The output device 14H1 projects an image on the screen 3 or the like.

入力I/F14H2は、プロジェクタ14にデータを入力するためのインタフェースである。入力I/F14H2は、例えばコネクタ、ケーブル、及びドライバなどで構成される。   The input I / F 14H2 is an interface for inputting data to the projector 14. The input I / F 14H2 includes, for example, a connector, a cable, and a driver.

なお、ハードウェア構成は、図2に示した構成に限られない。例えばハードウェア構成は、ネットワークを介して別の情報処理装置が接続されている構成でもよい。   The hardware configuration is not limited to the configuration shown in FIG. For example, the hardware configuration may be a configuration in which another information processing apparatus is connected via a network.

また、商品2は、実物に限られない。商品2は、実物に代えてNFCタグ21を有した模型、代替品、又は見本などでもよい。   The product 2 is not limited to the real product. The product 2 may be a model having an NFC tag 21 instead of the actual product, an alternative product, or a sample.

情報システム1は、受信機11、PC12、モーションセンサ13、及びプロジェクタ14で構成することで、低コストにシステムを構築できる。情報システム1は、受信機11、PC12、モーションセンサ13、及びプロジェクタ14で構成することで、可搬性よくシステムを構築できる。   By configuring the information system 1 with the receiver 11, the PC 12, the motion sensor 13, and the projector 14, a system can be constructed at low cost. By configuring the information system 1 with the receiver 11, the PC 12, the motion sensor 13, and the projector 14, a system can be constructed with high portability.

<全体処理>
図3は、本発明の一実施形態に係る情報システムによる全体処理の一例を説明するシーケンス図である。
<Overall processing>
FIG. 3 is a sequence diagram illustrating an example of overall processing by the information system according to an embodiment of the present invention.

ステップS0301では、受信機11は、商品2のNFCタグからNFCタグIDのデータを取得する処理を行う。   In step S0301, the receiver 11 performs a process of acquiring NFC tag ID data from the NFC tag of the product 2.

ステップS0302では、PC12は、ステップS0301で受信機11が取得したNFCタグIDのデータを取得する処理を行う。   In step S0302, the PC 12 performs processing for acquiring the NFC tag ID data acquired by the receiver 11 in step S0301.

ステップS0303では、PC12は、ステップS0302で取得したNFCタグIDに基づいてプロジェクタ14が表示する表示情報を選択する処理を行う。ステップS0303の処理の詳細は、後述する。   In step S0303, the PC 12 performs a process of selecting display information displayed by the projector 14 based on the NFC tag ID acquired in step S0302. Details of the processing in step S0303 will be described later.

ステップS0304では、モーションセンサ13は、操作者のジェスチャーによる人の動作を検出し、動作データを生成する処理を行う。動作データは、例えば被写体の座標データなどである。以下、動作データが被写体の座標データの場合を例に説明する。   In step S0304, the motion sensor 13 detects a human motion based on the gesture of the operator and performs processing for generating motion data. The operation data is, for example, subject coordinate data. Hereinafter, the case where the operation data is the coordinate data of the subject will be described as an example.

ステップS0305では、PC12は、ステップS0304で生成された動作データを取得する処理を行う。   In step S0305, the PC 12 performs processing for acquiring the operation data generated in step S0304.

ステップS0306では、PC12は、ステップS0303で選択された表示情報に対して所定の処理を行う。ステップS0306の処理の詳細は、後述する。   In step S0306, the PC 12 performs a predetermined process on the display information selected in step S0303. Details of the processing in step S0306 will be described later.

ステップS0307では、PC12は、プロジェクタ14にステップS0306で所定の処理を行った表示情報を出力する処理を行う。   In step S0307, the PC 12 performs a process of outputting the display information obtained by performing the predetermined process in step S0306 to the projector 14.

ステップS0308では、プロジェクタ14は、表示情報を表示する処理を行う。   In step S0308, the projector 14 performs a process of displaying display information.

図4は、本発明の一実施形態に係る情報システムの各装置による全体処理の一例を説明するフローチャートである。   FIG. 4 is a flowchart for explaining an example of overall processing by each device of the information system according to the embodiment of the present invention.

図4(A)は、本発明の一実施形態に係る情報システムの受信機による全体処理の一例を説明するフローチャートである。   FIG. 4A is a flowchart for explaining an example of overall processing by the receiver of the information system according to the embodiment of the present invention.

ステップS04A01では、受信機11は、商品2のNFCタグからNFCタグIDのデータを取得する処理を行う。ステップS04A01の処理は、図3のステップS0301の処理に相当する。   In step S04A01, the receiver 11 performs a process of acquiring NFC tag ID data from the NFC tag of the product 2. The process of step S04A01 corresponds to the process of step S0301 of FIG.

図4(B)は、本発明の一実施形態に係る情報システムのPCによる全体処理の一例を説明するフローチャートである。   FIG. 4B is a flowchart for explaining an example of the overall processing by the PC of the information system according to the embodiment of the present invention.

ステップS04B01では、PC12は、受信機11からNFCタグIDのデータを取得する処理を行う。ステップS04B01の処理は、図3のステップS0302の処理に相当する。   In step S04B01, the PC 12 performs a process of acquiring NFC tag ID data from the receiver 11. The process of step S04B01 corresponds to the process of step S0302 of FIG.

ステップS04B02では、PC12は、ステップS04B01で取得したNFCタグIDに基づいてプロジェクタ14が表示する表示情報を選択する処理を行う。ステップS04B02の処理は、図3のステップS0303の処理に相当する。   In step S04B02, the PC 12 performs a process of selecting display information displayed by the projector 14 based on the NFC tag ID acquired in step S04B01. The process in step S04B02 corresponds to the process in step S0303 in FIG.

図5は、本発明の一実施形態に係る情報システムのPCによる表示情報を選択する処理の一例を説明する表である。   FIG. 5 is a table for explaining an example of processing for selecting display information by the PC of the information system according to the embodiment of the present invention.

表示情報選択表5は、PC12が表示情報を選択するために用いる対応表である。   The display information selection table 5 is a correspondence table used by the PC 12 to select display information.

「NFCタグID」は、受信機11から取得するNFCタグIDのデータに対応する。   The “NFC tag ID” corresponds to NFC tag ID data acquired from the receiver 11.

「出力UI(User Interface、以下UIという。)セット」は、各NFCタグIDに対応するUIを定義するためのデータである。   “Output UI (User Interface, hereinafter referred to as UI) set” is data for defining a UI corresponding to each NFC tag ID.

「表示情報」は、NFCタグIDに対応してプロジェクタ14が表示する表示情報を特定するためのデータである。「表示情報」は、例えば表示情報のファイル名、又は表示情報の記憶されているアドレスなどのデータである。   “Display information” is data for specifying display information displayed by the projector 14 corresponding to the NFC tag ID. “Display information” is data such as a file name of display information or an address where display information is stored.

表示情報選択表5の場合、PC12は、ステップS04B01で取得したNFCタグIDが「T0001」の場合、後段のS04B05の処理でプロジェクタ14に「SC0001」の表示情報を出力する。   In the case of the display information selection table 5, when the NFC tag ID acquired in step S04B01 is “T0001”, the PC 12 outputs the display information “SC0001” to the projector 14 in the subsequent process of S04B05.

表示情報選択表5の場合、PC12は、ステップS04B01で取得したNFCタグIDが「T0001」の場合、後段のS04B04の処理で「UI0001」に定義された所定の処理を行う。所定の処理の詳細は、後述する。   In the case of the display information selection table 5, when the NFC tag ID acquired in step S04B01 is “T0001”, the PC 12 performs a predetermined process defined as “UI0001” in the subsequent process of S04B04. Details of the predetermined process will be described later.

ステップS04B03では、PC12は、モーションセンサ13から動作データを取得する処理を行う。ステップS04B03の処理は、図3のステップS0305の処理に相当する。   In step S04B03, the PC 12 performs a process of acquiring operation data from the motion sensor 13. The process of step S04B03 corresponds to the process of step S0305 in FIG.

ステップS04B04では、PC12は、動作データに基づいて表示情報に所定の処理を行う。ステップS04B04の処理は、図3のステップS0306の処理に相当する。   In step S04B04, the PC 12 performs a predetermined process on the display information based on the operation data. The process of step S04B04 corresponds to the process of step S0306 in FIG.

図6は、本発明の一実施形態に係る情報システムのPCによる所定の処理の一例を説明する表である。   FIG. 6 is a table for explaining an example of predetermined processing by the PC of the information system according to the embodiment of the present invention.

所定の処理定義表6は、所定の処理の内容を定義し、所定の処理に対応する操作者の動作を定義するために用いる表である。   The predetermined process definition table 6 is a table used to define the contents of the predetermined process and to define the operation of the operator corresponding to the predetermined process.

「有効座標範囲」は、モーションセンサ13がジェスチャーなどを検出する範囲を定義するための座標データである。例えば「有効座標範囲」に表示される画面全体を示す座標値が設定された場合、PC12は、画面のいずれの箇所で行われたジェスチャーでも所定の処理を行う。なお、「有効座標範囲」のパラメータは、必須ではない。   The “effective coordinate range” is coordinate data for defining a range in which the motion sensor 13 detects a gesture or the like. For example, when a coordinate value indicating the entire screen displayed in the “effective coordinate range” is set, the PC 12 performs a predetermined process with a gesture performed at any location on the screen. Note that the parameter of “effective coordinate range” is not essential.

「動作種類」は、所定の処理に対応した操作者の動作を定義するためのパラメータである。   The “operation type” is a parameter for defining the operation of the operator corresponding to a predetermined process.

「所定の処理の内容」は、「動作種類」で定義された動作が入力された際に行うPC12が行う処理を定義するためのパラメータである。すなわち、所定の処理は、所定の処理定義表6の「所定の処理の内容」に定義された処理である。   The “contents of the predetermined process” is a parameter for defining a process performed by the PC 12 when an operation defined by “operation type” is input. That is, the predetermined process is a process defined in “Contents of the predetermined process” in the predetermined process definition table 6.

例えば動作データの座標データが「有効座標範囲」である(100,100)及び(200,200)の範囲の値であり、かつ、「通過」の動作が行われた場合、PC12は、「T0001」の画面を切り替える処理を行う。   For example, when the coordinate data of the operation data is a value in the range of (100, 100) and (200, 200) that is the “effective coordinate range” and the “pass” operation is performed, the PC 12 determines that “T0001 ”Is performed.

「通過」は、操作者の手などが所定の範囲内を移動する動作である。「通過」の場合、動作データは、手と識別した座標が所定の時間内に予め定められた値以上に変化する値となる。すなわち、操作者の手の動作データの座標データが所定の時間内に予め定められた値以上に変化した場合、PC12は、「通過」の動作が行われたと識別し、「T0001」の画面を切り替える処理を行う。   “Pass” is an operation in which an operator's hand moves within a predetermined range. In the case of “passing”, the motion data is a value at which the coordinates identified as the hand change to a predetermined value or more within a predetermined time. That is, when the coordinate data of the motion data of the operator's hand changes to a predetermined value or more within a predetermined time, the PC 12 identifies that the “pass” motion has been performed and displays the screen of “T0001”. Perform the switching process.

「ホールド」は、操作者の手などが所定の時間、同じ位置に留まる動作である。「ホールド」の場合、動作データは、手と識別した座標が所定の時間において同じ座標値で一定である。操作者の手の動作データの座標データが所定の時間内で一定の場合、PC12は、「ホールド」の動作が行われたと識別し、「T0001」の画面を切り替える処理、及び予め設定されている音声データを再生するサウンド実行の処理を行う。   “Hold” is an operation in which the operator's hand or the like stays at the same position for a predetermined time. In the case of “hold”, the motion data is constant at the same coordinate value at a predetermined time for the coordinate identified as the hand. When the coordinate data of the operation data of the operator's hand is constant within a predetermined time, the PC 12 identifies that the “hold” operation has been performed, and performs a process of switching the screen of “T0001” and is set in advance. Performs sound execution processing that reproduces audio data.

なお、人の動作は、図6で示した種類に限られない。人の動作は、動作データから識別できる操作者の手、又は腕などの他の動作でもよい。   Note that human actions are not limited to the types shown in FIG. The human motion may be another motion such as an operator's hand or arm that can be identified from the motion data.

所定の処理定義表6を用いることで、PC12は、設定を変更することができ、新しいジェスチャーなどの動作をシステムを設置後も追加、又は変更することができる。   By using the predetermined process definition table 6, the PC 12 can change the setting, and can add or change the operation such as a new gesture even after the system is installed.

ステップS04B05では、PC12は、所定の処理を行った表示情報をプロジェクタに出力する処理を行う。ステップS04B05の処理は、図3のステップS0307の処理に相当する。   In step S04B05, the PC 12 performs a process of outputting display information obtained by performing a predetermined process to the projector. The process of step S04B05 corresponds to the process of step S0307 in FIG.

図4(C)は、本発明の一実施形態に係る情報システムのモーションセンサによる全体処理の一例を説明するフローチャートである。   FIG. 4C is a flowchart illustrating an example of overall processing by the motion sensor of the information system according to the embodiment of the present invention.

ステップS04C01では、モーションセンサ13は、ジェスチャーなどの動作データを生成する処理を行う。ステップS04C01の処理は、図3のステップS0304の処理に相当する。   In step S04C01, the motion sensor 13 performs a process of generating operation data such as a gesture. The process of step S04C01 corresponds to the process of step S0304 of FIG.

図4(D)は、本発明の一実施形態に係る情報システムのプロジェクタによる全体処理の一例を説明するフローチャートである。   FIG. 4D is a flowchart illustrating an example of overall processing by the projector of the information system according to the embodiment of the invention.

ステップS04D01では、プロジェクタ14は、表示情報を表示する処理を行う。ステップS04D01の処理は、図3のステップS0308の処理に相当する。   In step S04D01, the projector 14 performs a process of displaying display information. The process in step S04D01 corresponds to the process in step S0308 in FIG.

プロジェクタ14は、表示情報として商品2に対応するカタログ情報を表示する。以下、カタログ情報を表示する場合を例に説明する。   The projector 14 displays catalog information corresponding to the product 2 as display information. Hereinafter, a case where catalog information is displayed will be described as an example.

カタログ情報は、例えば商品2の色などのバリエーション、宣伝、機能、又はスペック(Specification)など商品2に係る情報を文書、図表、音声、動画、又は画像などで示す情報である。カタログ情報は、商品2のサンプルデータを含んでもよい。サンプルデータは、例えば商品2がカメラの場合、商品2によって撮影された風景の画像データなどである。   The catalog information is information indicating information related to the product 2 such as variations of the color of the product 2, advertisements, functions, specifications, etc., in a document, chart, sound, video, image, or the like. The catalog information may include sample data of the product 2. The sample data is, for example, image data of a landscape photographed by the product 2 when the product 2 is a camera.

カタログ情報は、ドキュメント(Document)データ、画像データ、動画データ、又は音声データなどで構成される情報である。カタログ情報は、例えばPDF(Portable Document Format)形式、又はJPEG(Joint Photographic Exports Group)形式などのファイル形式の情報である。   The catalog information is information composed of document data, image data, moving image data, audio data, or the like. The catalog information is information of a file format such as a PDF (Portable Document Format) format or a JPEG (Joint Photographic Exports Group) format.

カタログ情報は、複数のファイル、及び複数のページのデータで構成されてもよい。カタログ情報が複数のファイルで構成された場合、図6で説明した画面を切り替える処理は、現在表示しているファイルから他のファイルを表示、又は再生する処理などである。カタログ情報が複数のページで構成された場合、図6で説明した画面を切り替える処理は、現在表示しているページから他のページを表示するように切り替える処理などである。   The catalog information may be composed of a plurality of files and a plurality of pages of data. When the catalog information is composed of a plurality of files, the process of switching the screen described with reference to FIG. 6 is a process of displaying or playing back another file from the currently displayed file. When the catalog information is composed of a plurality of pages, the process of switching the screen described in FIG. 6 is a process of switching to display another page from the currently displayed page.

なお、表示情報に行われる所定の処理は、上述した処理に限られない。所定の処理は、例えばカタログ情報の表示を拡大、又は縮小する処理でもよい。拡大、及び縮小の処理によって、操作者4は、情報システム1の設置の際、又は設置後に表示情報が表示される位置、大きさ、又は範囲を変更することができる。ショールームなどでは、テーブルの大きさなど展示スペースに制限があるため、商品の入れ替えなどで大きさが合わない場合がある。情報システム1は、表示情報の拡大、及び縮小の処理によって、設置範囲の調整を行うことができる。すなわち、拡大、及び縮小の処理によって、情報システム1は、高い設置性を実現できる。   The predetermined process performed on the display information is not limited to the process described above. The predetermined process may be a process of enlarging or reducing the display of catalog information, for example. By the enlargement and reduction processes, the operator 4 can change the position, size, or range at which the display information is displayed during or after the information system 1 is installed. In a showroom or the like, the display space such as the size of the table is limited, so the size may not match due to product replacement. The information system 1 can adjust the installation range by expanding and reducing the display information. That is, the information system 1 can achieve high installation by the enlargement and reduction processes.

なお、実施形態は、図3、及び図4で示した装置が処理する場合に限られない。各処理は、並列、冗長、又は分散して処理するために、各装置が複数のCPU、専用のデバイス、又は複数のコア(core)のCPUを有してもよい。また、各処理を並列、冗長、又は分散して処理するために、処理の一部又は全部は、ネットワークを介して接続される別の情報処理装置に処理させる構成であってもよい。   The embodiment is not limited to the case where the apparatus shown in FIGS. 3 and 4 performs processing. Each process may have a plurality of CPUs, a dedicated device, or a plurality of core CPUs for processing in parallel, redundant, or distributed. Moreover, in order to process each process in parallel, redundantly, or distributedly, a part or all of a process may be made to process with another information processing apparatus connected via a network.

<モーションセンサ、及び動作データ>
図7は、本発明の一実施形態に係るモーションセンサ、及び動作データに係る処理の一例を説明する図である。
<Motion sensor and operation data>
FIG. 7 is a diagram illustrating an example of a process related to a motion sensor and operation data according to an embodiment of the present invention.

モーションセンサ13は、可視光、赤外光、又はこれを組み合わせて物体を識別する。図7は、図1の操作者4の手を識別する場合である。以下、図7の場合を例に説明する。   The motion sensor 13 identifies an object by visible light, infrared light, or a combination thereof. FIG. 7 shows a case where the hand of the operator 4 in FIG. 1 is identified. Hereinafter, the case of FIG. 7 will be described as an example.

図7(A)は、本発明の一実施形態に係るモーションセンサによる物体の識別の一例を説明する図である。   FIG. 7A is a diagram for explaining an example of object identification by a motion sensor according to an embodiment of the present invention.

モーションセンサ13は、画角、すなわち認識可能範囲に被写体である操作者4の手があるか否かを識別する。モーションセンサ13は、識別した操作者4の手の座標値のデータを生成する。   The motion sensor 13 identifies whether or not there is a hand of the operator 4 as a subject within the angle of view, that is, the recognizable range. The motion sensor 13 generates the coordinate value data of the identified operator 4 hand.

PC12は、モーションセンサ13から取得した座標値のデータに基づいて処理を行う。   The PC 12 performs processing based on the coordinate value data acquired from the motion sensor 13.

図7(B)は、本発明の一実施形態に係る「有効座標範囲」の一例を説明する図である。   FIG. 7B is a diagram illustrating an example of an “effective coordinate range” according to an embodiment of the present invention.

図6で説明したように、PC12には、「有効座標範囲」が定義される。PC12は、図示するように「有効座標範囲」に対応するの空間内で行われたジェスチャーを識別する。   As described with reference to FIG. 6, an “effective coordinate range” is defined in the PC 12. The PC 12 identifies a gesture performed in the space corresponding to the “effective coordinate range” as illustrated.

なお、「有効座標範囲」の範囲内で行われたか否かの判定は、PC12が行う構成に限られない。「有効座標範囲」の範囲内で行われたか否かの判定は、PC12の処理負担を軽減させるために、モーションセンサ13が行ってもよい。例えば「有効座標範囲」の上限値、及び下限値をモーションセンサ13に記憶させ、モーションセンサ13は、生成した座標値のデータが「有効座標範囲」の範囲内で行われたか否かの判定を行う。生成した座標値のデータが「有効座標範囲」の範囲内で行われた場合、モーションセンサ13は、生成した座標値のデータをPC12に出力する。生成した座標値のデータが「有効座標範囲」の範囲内で行われていない場合、モーションセンサ13は、生成した座標値のデータをPC12に出力しない。   Note that the determination as to whether or not the determination was made within the “effective coordinate range” is not limited to the configuration performed by the PC 12. The determination as to whether or not the determination was made within the “effective coordinate range” may be made by the motion sensor 13 in order to reduce the processing burden on the PC 12. For example, the upper limit value and the lower limit value of the “effective coordinate range” are stored in the motion sensor 13, and the motion sensor 13 determines whether the generated coordinate value data is performed within the “effective coordinate range” range. Do. When the generated coordinate value data is performed within the range of the “effective coordinate range”, the motion sensor 13 outputs the generated coordinate value data to the PC 12. If the generated coordinate value data is not performed within the “effective coordinate range”, the motion sensor 13 does not output the generated coordinate value data to the PC 12.

図7(C)は、本発明の一実施形態に係るジェスチャーの一例を説明する図である。   FIG. 7C is a diagram illustrating an example of a gesture according to an embodiment of the present invention.

図7(A)で説明したように、モーションセンサ13は、識別した操作者4の手の座標値のデータを生成する。図示するように操作者4の手が上下左右に動いた場合、操作者4の手の座標値のデータは、値が変化する。PC12は、取得した座標値のデータの変化量からジェスチャーを識別する。   As described with reference to FIG. 7A, the motion sensor 13 generates the coordinate value data of the identified operator 4's hand. As illustrated, when the hand of the operator 4 moves up, down, left, and right, the value of the coordinate value data of the hand of the operator 4 changes. The PC 12 identifies a gesture from the amount of change in the acquired coordinate value data.

なお、動作データから識別される人の動作は、被写体の移動に基づく動作に限られない。例えばモーションセンサ13は、操作者4の手の形状、又は指の動きなどに基づいてかざす、つまむ、いわゆるピンチイン(pinch in)、いわゆるピンチアウト(pinch out)などを識別してもよい。   Note that the movement of the person identified from the movement data is not limited to the movement based on the movement of the subject. For example, the motion sensor 13 may identify a so-called pinch-in, a so-called pinch-out, or the like pinched or pinched based on the shape of the hand of the operator 4 or the movement of a finger.

なお、モーションセンサ13は、色などの情報を図2のセンサ13H1が取得し、識別に用いてもよい。モーションセンサ13は、複数のカメラを用いる装置に限られない。例えばモーションセンサ13は、パターンマッチングなどで物体を識別する機能を有する単眼のカメラ、又は赤外線センサなどでもよい。   The motion sensor 13 may acquire information such as color by the sensor 13H1 in FIG. 2 and use it for identification. The motion sensor 13 is not limited to an apparatus using a plurality of cameras. For example, the motion sensor 13 may be a monocular camera or infrared sensor having a function of identifying an object by pattern matching or the like.

モーションセンサ13を用いることで、情報システム1は、タッチパネルなど入力装置を用いずに操作者4からデータの操作を受け付けることができる。情報システム1は、モーションセンサ13によって操作者4が触れることなく操作できるため、指紋の付着などを少なくすることができ、清潔を保つことができる。   By using the motion sensor 13, the information system 1 can accept data operations from the operator 4 without using an input device such as a touch panel. Since the information system 1 can be operated by the motion sensor 13 without being touched by the operator 4, it is possible to reduce adhesion of fingerprints and the like and to keep cleanliness.

モーションセンサ13を用いることで、情報システム1は、操作者4にジェスチャーなどによる直観的な動作で表示情報を操作させることができる。直観的な動作による操作であるため、操作者4は、操作について事前にマニュアルを熟読するなどの準備が少なくなる。したがって、モーションセンサ13を用いることで、情報システム1は、ショールームの来客などが操作者4となって操作を行わせることができる。   By using the motion sensor 13, the information system 1 can cause the operator 4 to operate the display information by an intuitive operation using a gesture or the like. Since the operation is an intuitive operation, the operator 4 is less required to read the manual in advance. Therefore, by using the motion sensor 13, the information system 1 can be operated by a showroom visitor or the like as the operator 4.

<表示における位置関係>
図8は、本発明の一実施形態に係る表示における位置関係の一例を説明する図である。
<Position relationship in display>
FIG. 8 is a diagram illustrating an example of a positional relationship in display according to an embodiment of the present invention.

情報システム1は、図8(A)のように、プロジェクタ14が表示面7に対して背面からカタログ情報を表示する、いわゆるリアプロジェクション(Rear Projection)方式が望ましい。   As shown in FIG. 8A, the information system 1 is desirably a so-called rear projection system in which the projector 14 displays catalog information from the back side with respect to the display surface 7.

表示面7は、いわゆるリアプロジェクションフィルム、又は透過型スクリーンなどである。   The display surface 7 is a so-called rear projection film or a transmissive screen.

プロジェクタ14、操作者4、及び表示面7の位置関係は、例えば図8(A)のように表示面7を挟んでプロジェクタ14と、操作者4と、が正対する位置関係である。   The positional relationship between the projector 14, the operator 4, and the display surface 7 is a positional relationship in which the projector 14 and the operator 4 face each other across the display surface 7 as shown in FIG. 8A, for example.

図8(A)の位置関係であることによって、操作者4の表示されているカタログ情報に対して行うジェスチャーがプロジェクタ14の表示を遮ることが少なくなる。したがって、情報システム1は、表示面7に対して背面からカタログ情報を表示することによって表示に操作者4の影の写り込みを少なくすることができる。   Due to the positional relationship of FIG. 8A, the gesture performed on the catalog information displayed by the operator 4 is less likely to block the display of the projector 14. Therefore, the information system 1 can reduce the reflection of the shadow of the operator 4 on the display by displaying the catalog information from the back side with respect to the display surface 7.

なお、表示における位置関係は、図8(A)の場合に限られない。例えば図8(B)に示すプロジェクタ14、操作者4、及び表示面7の位置関係であってもよい。図8(B)で図示するように、プロジェクタ14は、操作者4に対して床面の方向から表示する位置関係であってもよい。なお、図8(B)の構成で鏡は、必須の構成ではない。   Note that the positional relationship in the display is not limited to the case of FIG. For example, the positional relationship of the projector 14, the operator 4, and the display surface 7 shown in FIG. As shown in FIG. 8B, the projector 14 may be in a positional relationship for displaying to the operator 4 from the direction of the floor surface. Note that the mirror is not an essential component in the configuration of FIG.

<機能構成>
図9は、本発明の一実施形態に係る情報システムの機能構成の一例を説明する機能ブロック図である。
<Functional configuration>
FIG. 9 is a functional block diagram illustrating an example of a functional configuration of the information system according to an embodiment of the present invention.

情報システム1は、受信部1F1と、物体識別データ取得部1F2と、動作データ生成部1F3と、表示情報選択部1F4と、表示情報処理部1F5と、表示部1F6と、記憶部1F7と、を有する。   The information system 1 includes a reception unit 1F1, an object identification data acquisition unit 1F2, a motion data generation unit 1F3, a display information selection unit 1F4, a display information processing unit 1F5, a display unit 1F6, and a storage unit 1F7. Have.

受信部1F1は、商品2のNFCタグ21から物体識別データを受信する。受信部1F1は、例えば図2の受信機11のアンテナ11H1などによって実現される。   The receiving unit 1F1 receives object identification data from the NFC tag 21 of the product 2. The receiving unit 1F1 is realized by, for example, the antenna 11H1 of the receiver 11 in FIG.

物体識別データ取得部1F2は、受信部1F1からPC12が商品2を識別するための物体識別データを取得する。物体識別データ取得部1F2は、例えば図2の受信機11の出力I/F11H2、及びPC12の入力I/F12H4などによって実現される。   The object identification data acquisition unit 1F2 acquires object identification data for the PC 12 to identify the product 2 from the reception unit 1F1. The object identification data acquisition unit 1F2 is realized by, for example, the output I / F 11H2 of the receiver 11 and the input I / F 12H4 of the PC 12 shown in FIG.

動作データ生成部1F3は、操作者4のジェスチャーなどの動作を識別するための動作データを生成する。動作データ生成部1F3は、例えば図2のモーションセンサ13のセンサ13H1などによって実現される。   The motion data generation unit 1F3 generates motion data for identifying the motion of the operator 4 such as a gesture. The motion data generation unit 1F3 is realized by, for example, the sensor 13H1 of the motion sensor 13 in FIG.

表示情報選択部1F4は、物体識別データに基づいて表示情報記憶部1F71に記憶されている表示情報を選択する。すなわち、表示情報選択部1F4は、図5で説明した処理を行う。表示情報選択部1F4は、例えば図2のCPU12H1などによって実現される。   The display information selection unit 1F4 selects display information stored in the display information storage unit 1F71 based on the object identification data. That is, the display information selection unit 1F4 performs the processing described with reference to FIG. The display information selection unit 1F4 is realized by, for example, the CPU 12H1 in FIG.

表示情報処理部1F5は、表示情報選択部1F4が選択した表示情報に対して動作データに基づいて所定の処理を行う。すなわち、表示情報処理部1F5は、図6で説明した処理を行う。表示情報処理部1F5は、例えば図2のCPU12H1などによって実現される。   The display information processing unit 1F5 performs a predetermined process on the display information selected by the display information selection unit 1F4 based on the operation data. That is, the display information processing unit 1F5 performs the processing described with reference to FIG. The display information processing unit 1F5 is realized by, for example, the CPU 12H1 in FIG.

表示部1F6は、表示情報処理部1F5が所定の処理を行った表示情報を表示する。表示部1F6は、例えば図2のプロジェクタ14の出力装置14H1などによって実現される。   The display unit 1F6 displays display information on which the display information processing unit 1F5 has performed a predetermined process. The display unit 1F6 is realized by, for example, the output device 14H1 of the projector 14 of FIG.

記憶部1F7は、各種データを記憶する。記憶部1F7は、例えば図2のPC12の記憶装置12H2などによって実現される。記憶部1F7は、表示情報記憶部1F71と、選択情報記憶部1F72と、定義情報記憶部1F73と、を有する。   The storage unit 1F7 stores various data. The storage unit 1F7 is realized by, for example, the storage device 12H2 of the PC 12 in FIG. The storage unit 1F7 includes a display information storage unit 1F71, a selection information storage unit 1F72, and a definition information storage unit 1F73.

表示情報記憶部1F71は、プロジェクタ14に表示させるカタログ情報などを記憶する。   The display information storage unit 1F71 stores catalog information to be displayed on the projector 14.

選択情報記憶部1F72は、表示情報選択部1F4が表示情報記憶部1F71に記憶されている表示情報を選択するためのデータを記憶する。選択情報記憶部1F72が記憶するデータは、例えば図5の表示情報選択表5に係るデータである。   The selection information storage unit 1F72 stores data for the display information selection unit 1F4 to select display information stored in the display information storage unit 1F71. The data stored in the selection information storage unit 1F72 is, for example, data related to the display information selection table 5 in FIG.

定義情報記憶部1F73は、表示情報処理部1F5が行う所定の処理を定義するためのデータを記憶する。定義情報記憶部1F73が記憶するデータは、例えば図6の所定の処理定義表6に係るデータである。   The definition information storage unit 1F73 stores data for defining a predetermined process performed by the display information processing unit 1F5. The data stored in the definition information storage unit 1F73 is, for example, data related to the predetermined process definition table 6 in FIG.

情報システム1は、商品2から物体識別データを取得し、物体識別データに基づいて表示情報を選択する。したがって、情報システム1は、物体識別データによって、商品2に対応した表示情報を表示することができる。   The information system 1 acquires object identification data from the product 2 and selects display information based on the object identification data. Therefore, the information system 1 can display the display information corresponding to the product 2 by the object identification data.

情報システム1は、モーションセンサ13が操作者4のジェスチャーに基づいて動作データを生成し、動作データに基づいて所定の処理を行う。すなわち、情報システム1は、操作者4のジェスチャに基づいて表示情報について拡大、縮小、画面の切り替え、又は音声に係る処理などを行う。よって、情報システム1は、操作者4が直観的な操作であるジェスチャーによって表示情報を操作できるため、操作者4が操作を行いやすくすることができる。   In the information system 1, the motion sensor 13 generates motion data based on the gesture of the operator 4, and performs predetermined processing based on the motion data. That is, the information system 1 performs display processing on the display information based on the gesture of the operator 4 such as enlargement, reduction, screen switching, or voice processing. Therefore, the information system 1 can make the operator 4 easy to operate because the operator 4 can operate the display information by a gesture that is an intuitive operation.

以上、本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。   The preferred embodiments of the present invention have been described in detail above, but the present invention is not limited to such specific embodiments, and various modifications can be made within the scope of the gist of the present invention described in the claims. Can be changed.

1 情報システム
1F1 受信部
1F2 物体識別データ取得部
1F3 動作データ生成部
1F4 表示情報選択部
1F5 表示情報処理部
1F6 表示部
1F7 記憶部
1F71 表示情報記憶部
1F72 選択情報記憶部
1F73 定義情報記憶部
11 受信機
11H1 アンテナ
11H2 出力I/F
12 PC
12H1 CPU
12H2 記憶装置
12H3 出力I/F
12H4 入力I/F
13 モーションセンサ
13H1 センサ
13H2 出力I/F
14 プロジェクタ
14H1 出力装置
14H2 入力I/F
2 商品
21 NFCタグ
3 スクリーン
4 操作者
5 表示情報選択表
6 所定の処理定義表
7 表示面
DESCRIPTION OF SYMBOLS 1 Information system 1F1 Reception part 1F2 Object identification data acquisition part 1F3 Motion data generation part 1F4 Display information selection part 1F5 Display information processing part 1F6 Display part 1F7 Storage part 1F71 Display information storage part 1F72 Selection information storage part 1F73 Definition information storage part 11 Reception Machine 11H1 Antenna 11H2 Output I / F
12 PC
12H1 CPU
12H2 Storage device 12H3 Output I / F
12H4 input I / F
13 Motion sensor 13H1 Sensor 13H2 Output I / F
14 Projector 14H1 Output device 14H2 Input I / F
2 Product 21 NFC tag 3 Screen 4 Operator 5 Display information selection table 6 Predetermined process definition table 7 Display surface

特開2007−133702号公報JP 2007-133702 A

Claims (8)

物体識別装置と、動作識別装置と、情報処理装置と、表示装置と、を有する情報システムであって、
前記物体識別装置は、
物体を識別する物体識別データを取得する取得手段を有し、
前記動作識別装置は、
人の動作を識別するための動作データを生成する生成手段を有し、
前記情報処理装置は、
前記表示装置が表示する情報である表示情報を記憶する表示情報記憶手段と、
前記表示情報記憶手段に記憶されている前記表示情報を前記物体識別データに基づいて選択する選択手段と、
前記選択手段が選択した表示情報を前記動作データに基づいて所定の処理を行う表示情報処理手段と、を有し、
前記表示装置は、
前記表示情報処理手段が前記所定の処理を行った表示情報を表示する表示手段を有する情報システム。
An information system having an object identification device, an operation identification device, an information processing device, and a display device,
The object identification device includes:
Having acquisition means for acquiring object identification data for identifying an object;
The operation identification device is
Generating means for generating action data for identifying a person's action;
The information processing apparatus includes:
Display information storage means for storing display information which is information displayed by the display device;
Selection means for selecting the display information stored in the display information storage means based on the object identification data;
Display information processing means for performing predetermined processing on the display information selected by the selection means based on the operation data;
The display device
The information system which has a display means to display the display information which the said display information processing means performed the said predetermined process.
前記物体は、ICタグを有し、
前記取得手段は、
前記ICタグの前記物体識別データを取得する請求項1に記載の情報システム。
The object has an IC tag,
The acquisition means includes
The information system according to claim 1, wherein the object identification data of the IC tag is acquired.
前記動作識別装置は、
複数の撮影手段を有する請求項1又は2に記載の情報システム。
The operation identification device is
The information system according to claim 1, further comprising a plurality of photographing units.
前記所定の処理は、
前記表示情報の拡大、縮小、画面の切り替え、及び音声に係る処理の少なくともいずれかを実行する処理である請求項1乃至3のいずれかに記載の情報システム。
The predetermined process is:
The information system according to any one of claims 1 to 3, wherein the information system is a process that executes at least one of enlargement / reduction of the display information, screen switching, and processing related to sound.
前記表示装置は、
表示面に対して背面から前記表示情報を表示する請求項1乃至4のいずれかに記載の情報システム。
The display device
The information system according to claim 1, wherein the display information is displayed from a rear surface with respect to a display surface.
物体識別装置と、動作識別装置と、情報処理装置と、表示装置と、を有する情報システムに実行させる情報処理方法であって、
前記物体識別装置に、
物体を識別する物体識別データを取得させる取得手順を実行させ、
前記動作識別装置に、
人の動作を識別するための動作データを生成させる生成手順を実行させ、
前記情報処理装置に、
前記表示装置が表示する情報である表示情報を記憶させる表示情報記憶手順と、
前記表示情報記憶手順で記憶されている前記表示情報を前記物体識別データに基づいて選択させる選択手順と、
前記選択手順で選択した表示情報を前記動作データに基づいて所定の処理を行わせる表示情報処理手順と、を実行させ、
前記表示装置に、
前記表示情報処理手順で前記所定の処理を行った表示情報を表示させる表示手順を実行させる情報処理方法。
An information processing method to be executed by an information system having an object identification device, an operation identification device, an information processing device, and a display device,
In the object identification device,
Execute an acquisition procedure for acquiring object identification data for identifying an object,
In the operation identification device,
Run a generation procedure that generates motion data to identify human motion,
In the information processing apparatus,
A display information storage procedure for storing display information which is information displayed by the display device;
A selection procedure for causing the display information stored in the display information storage procedure to be selected based on the object identification data;
A display information processing procedure for causing the display information selected in the selection procedure to perform a predetermined process based on the operation data;
In the display device,
An information processing method for executing a display procedure for displaying display information obtained by performing the predetermined processing in the display information processing procedure.
物体識別装置と、動作識別装置と、情報処理装置と、表示装置と、を有する情報システムに実行させるためのプログラムであって、
前記物体識別装置に、
物体を識別する物体識別データを取得させる取得手順を実行させ、
前記動作識別装置に、
人の動作を識別するための動作データを生成させる生成手順を実行させ、
前記情報処理装置に、
前記表示装置が表示する情報である表示情報を記憶させる表示情報記憶手順と、
前記表示情報記憶手順で記憶されている前記表示情報を前記物体識別データに基づいて選択させる選択手順と、
前記選択手順で選択した表示情報を前記動作データに基づいて所定の処理を行わせる表示情報処理手順と、を実行させ、
前記表示装置に、
前記表示情報処理手順で前記所定の処理を行った表示情報を表示させる表示手順を実行させるためのプログラム。
A program for causing an information system having an object identification device, an operation identification device, an information processing device, and a display device to execute the program,
In the object identification device,
Execute an acquisition procedure for acquiring object identification data for identifying an object,
In the operation identification device,
Run a generation procedure that generates motion data to identify human motion,
In the information processing apparatus,
A display information storage procedure for storing display information which is information displayed by the display device;
A selection procedure for causing the display information stored in the display information storage procedure to be selected based on the object identification data;
A display information processing procedure for causing the display information selected in the selection procedure to perform a predetermined process based on the operation data;
In the display device,
The program for performing the display procedure which displays the display information which performed the said predetermined process by the said display information processing procedure.
1以上の情報処理装置を有する情報システムであって、
物体を識別する物体識別データを取得する取得手段と、
人の動作を識別するための動作データを生成する生成手段と、
表示する情報である表示情報を記憶する表示情報記憶手段と、
前記表示情報記憶手段に記憶されている前記表示情報を前記物体識別データに基づいて選択する選択手段と、
前記選択手段が選択した表示情報を前記動作データに基づいて所定の処理を行う表示情報処理手段と、
前記表示情報処理手段が前記所定の処理を行った表示情報を表示する表示手段を有する情報システム。
An information system having one or more information processing devices,
Obtaining means for obtaining object identification data for identifying an object;
Generating means for generating action data for identifying a person's action;
Display information storage means for storing display information which is information to be displayed;
Selection means for selecting the display information stored in the display information storage means based on the object identification data;
Display information processing means for performing predetermined processing on the display information selected by the selection means based on the operation data;
The information system which has a display means to display the display information which the said display information processing means performed the said predetermined process.
JP2014078009A 2014-04-04 2014-04-04 Information system, information processing method, and program Pending JP2015200960A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014078009A JP2015200960A (en) 2014-04-04 2014-04-04 Information system, information processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014078009A JP2015200960A (en) 2014-04-04 2014-04-04 Information system, information processing method, and program

Publications (1)

Publication Number Publication Date
JP2015200960A true JP2015200960A (en) 2015-11-12

Family

ID=54552189

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014078009A Pending JP2015200960A (en) 2014-04-04 2014-04-04 Information system, information processing method, and program

Country Status (1)

Country Link
JP (1) JP2015200960A (en)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006030444A (en) * 2004-07-14 2006-02-02 Toppan Printing Co Ltd Pop advertisement system and program
JP2007133702A (en) * 2005-11-10 2007-05-31 Uchida Yoko Co Ltd Information processing apparatus for content related to object and casing storing the information processing apparatus
JP2008529135A (en) * 2005-01-21 2008-07-31 ジェスチャー テック,インコーポレイテッド Tracking based on movement
US20090059175A1 (en) * 2007-08-30 2009-03-05 The Big Space Ltd. Display arrangement
JP2009134478A (en) * 2007-11-29 2009-06-18 Toshiba Tec Corp Article sales data processor and computer program
JP2010205223A (en) * 2009-03-06 2010-09-16 Seiko Epson Corp System and device for control following gesture for virtual object
JP2012503801A (en) * 2008-09-24 2012-02-09 マイクロソフト コーポレーション Object detection and user settings
JP2012088819A (en) * 2010-10-15 2012-05-10 Sharp Corp Display device and display method
JP2012137989A (en) * 2010-12-27 2012-07-19 Sony Computer Entertainment Inc Gesture operation input processor and gesture operation input processing method
JP2013109538A (en) * 2011-11-21 2013-06-06 Hitachi Consumer Electronics Co Ltd Input method and device
JP2013171529A (en) * 2012-02-22 2013-09-02 Shimane Prefecture Operation input device, operation determination method, and program
JP2013175160A (en) * 2011-12-26 2013-09-05 Semiconductor Energy Lab Co Ltd Motion recognition device

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006030444A (en) * 2004-07-14 2006-02-02 Toppan Printing Co Ltd Pop advertisement system and program
JP2008529135A (en) * 2005-01-21 2008-07-31 ジェスチャー テック,インコーポレイテッド Tracking based on movement
JP2007133702A (en) * 2005-11-10 2007-05-31 Uchida Yoko Co Ltd Information processing apparatus for content related to object and casing storing the information processing apparatus
US20090059175A1 (en) * 2007-08-30 2009-03-05 The Big Space Ltd. Display arrangement
JP2009134478A (en) * 2007-11-29 2009-06-18 Toshiba Tec Corp Article sales data processor and computer program
JP2012503801A (en) * 2008-09-24 2012-02-09 マイクロソフト コーポレーション Object detection and user settings
JP2010205223A (en) * 2009-03-06 2010-09-16 Seiko Epson Corp System and device for control following gesture for virtual object
JP2012088819A (en) * 2010-10-15 2012-05-10 Sharp Corp Display device and display method
JP2012137989A (en) * 2010-12-27 2012-07-19 Sony Computer Entertainment Inc Gesture operation input processor and gesture operation input processing method
JP2013109538A (en) * 2011-11-21 2013-06-06 Hitachi Consumer Electronics Co Ltd Input method and device
JP2013175160A (en) * 2011-12-26 2013-09-05 Semiconductor Energy Lab Co Ltd Motion recognition device
JP2013171529A (en) * 2012-02-22 2013-09-02 Shimane Prefecture Operation input device, operation determination method, and program

Similar Documents

Publication Publication Date Title
US9324305B2 (en) Method of synthesizing images photographed by portable terminal, machine-readable storage medium, and portable terminal
JP6525611B2 (en) Image processing apparatus and control method thereof
CN105814522B (en) Device and method for displaying user interface of virtual input device based on motion recognition
WO2015161653A1 (en) Terminal operation method and terminal device
JP6253127B2 (en) Information provision device
EP2811731B1 (en) Electronic device for editing dual image and method thereof
JP6354653B2 (en) Augmented reality operation system and augmented reality operation program
US9880721B2 (en) Information processing device, non-transitory computer-readable recording medium storing an information processing program, and information processing method
US9888209B1 (en) Remote communication system, method for controlling remote communication system, and storage medium
CN106293563B (en) Control method and electronic equipment
KR20170069600A (en) Electronic apparatus and operation method thereof
JPWO2018155267A1 (en) Image display device, image display method, and program
JP6286836B2 (en) Projection system, projection apparatus, projection method, and projection program
JP2019049899A (en) Information processing apparatus and program
JP2018112894A (en) System and control method
JP6354385B2 (en) Display device, display method, and program
JP5830055B2 (en) Image processing apparatus and image processing system
JP6070795B2 (en) Information processing apparatus, control method thereof, and program
CN106066775B (en) Interactive control system, touch display device and control method thereof
JP5999236B2 (en) INFORMATION PROCESSING SYSTEM, ITS CONTROL METHOD, AND PROGRAM, AND INFORMATION PROCESSING DEVICE, ITS CONTROL METHOD, AND PROGRAM
JP2015200960A (en) Information system, information processing method, and program
US10573090B2 (en) Non-transitory computer-readable storage medium, display control method, and display control apparatus
KR102473478B1 (en) Electronic device and control method thereof
CN104683720A (en) Electronic equipment and control method
JP6193180B2 (en) Presentation terminal and presentation method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170323

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181101

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190507