JP2015106907A - Image output system, image output method, and program - Google Patents

Image output system, image output method, and program Download PDF

Info

Publication number
JP2015106907A
JP2015106907A JP2013249848A JP2013249848A JP2015106907A JP 2015106907 A JP2015106907 A JP 2015106907A JP 2013249848 A JP2013249848 A JP 2013249848A JP 2013249848 A JP2013249848 A JP 2013249848A JP 2015106907 A JP2015106907 A JP 2015106907A
Authority
JP
Japan
Prior art keywords
content
image output
person
image
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013249848A
Other languages
Japanese (ja)
Inventor
周 山本
Shu Yamamoto
周 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2013249848A priority Critical patent/JP2015106907A/en
Publication of JP2015106907A publication Critical patent/JP2015106907A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

PROBLEM TO BE SOLVED: To lead a person to a store effectively.SOLUTION: An image output system has: a detection section for detecting behavior of a person in a predetermined area; a determination section for determining whether or not the behavior satisfies a predetermined behavior condition; a selection section for selecting a first content which causes a first image output device to output and a second content which causes a second image output device to output respectively, according to a determination result obtained by the determination section; and a control section which causes the first and second output devices respectively to output the selected first and second contents. The selection section selects a content indicating behavior satisfying the behavior condition as the first content when the behavior does not satisfy the behavior condition.

Description

本発明は、画像出力システム、画像出力方法及びプログラムに関する。   The present invention relates to an image output system, an image output method, and a program.

人の動作を検知して、その動作に対応した画像を出力するシステムが知られている。例えば、特許文献1には、カメラ、深度センサ、マイク及びプロセッサを内蔵したセンサを用いて、人物の動作を検出し、その動作に応じた内容を画面に出力するシステムを開示している。非特許文献1は、このようなセンサを応用してアプリケーションを開発するためのフレームワークに関する情報を開示している。アプリケーションの開発者は、非特許文献1に記載された情報を用いて、人の動作に応じて、コンテンツを変化させるアプリケーションを作成することができる。   There is known a system that detects a human motion and outputs an image corresponding to the motion. For example, Patent Document 1 discloses a system that detects a human motion using a camera, a depth sensor, a microphone, and a sensor with a built-in processor, and outputs contents corresponding to the motion to a screen. Non-Patent Document 1 discloses information related to a framework for developing an application by applying such a sensor. An application developer can use the information described in Non-Patent Document 1 to create an application that changes content according to a human action.

このようなシステムを店舗やショッピングモールに設置し、陳列の効果や買い物客の動線を分析するソリューションが開発されている(非特許文献2)。   A solution that installs such a system in a store or a shopping mall and analyzes the effect of display and the flow of a shopper has been developed (Non-Patent Document 2).

上述したシステムを用いることにより、買い物客の動作を検知して、店舗における売り上げ増を図りたいという要求がある。しかしながら、従来の技術では、店舗内にいる人の動作を検出することはできるが、店舗の外を通行する人の動作を検出し、店舗に効果的に誘導することで、売り上げ増を図ることができなかった。   By using the system described above, there is a demand for detecting an operation of a shopper and increasing sales in a store. However, with the conventional technology, it is possible to detect the movement of a person inside the store, but to increase the sales by detecting the movement of a person passing outside the store and effectively guiding it to the store. I could not.

本発明は、このような問題に鑑みてなされたものであり、人を効果的に店舗に誘導できるようにすることを目的とする。   This invention is made | formed in view of such a problem, and it aims at enabling it to guide a person to a store effectively.

上述した課題を解決し目的を達成するため、本発明の一実施形態における画像出力システムは、
所定の領域内の人の動作を検出する検出部と、
前記動作が予め定められた動作条件を満たすか判定する判定部と、
前記判定部による判定の結果に応じて、第一の画像出力装置に出力させる第一のコンテンツ及び第二の画像出力装置に出力させる第二のコンテンツを夫々選択する選択部と、
選択された前記第一及び第二のコンテンツを前記第一及び第二の画像出力装置に夫々出力させる制御部と、
を有し、
前記選択部は、前記動作が前記動作条件を満たさない場合に、前記動作条件を満たす動作を示すコンテンツを前記第一のコンテンツとして選択する。
In order to solve the above-described problems and achieve the object, an image output system according to an embodiment of the present invention includes:
A detection unit for detecting the movement of a person in a predetermined area;
A determination unit for determining whether the operation satisfies a predetermined operation condition;
A selection unit that selects the first content to be output to the first image output device and the second content to be output to the second image output device, respectively, according to the determination result by the determination unit;
A control unit for outputting the selected first and second contents to the first and second image output devices, respectively;
Have
The selection unit selects, as the first content, content indicating an operation that satisfies the operation condition when the operation does not satisfy the operation condition.

本発明の一実施形態により、人を効果的に店舗に誘導できるようになる。   According to an embodiment of the present invention, a person can be effectively guided to a store.

本発明の概要を説明する図。The figure explaining the outline | summary of this invention. 本発明の一実施形態における画像出力システムの外観を示す図。1 is a diagram illustrating an appearance of an image output system according to an embodiment of the present invention. 本発明の一実施形態における画像出力システムのハードウェア構成例を示す図。The figure which shows the hardware structural example of the image output system in one Embodiment of this invention. 本発明の一実施形態における画像出力システムの機能ブロック図。The functional block diagram of the image output system in one Embodiment of this invention. 状態定義情報を格納するテーブルの例を示す図。The figure which shows the example of the table which stores state definition information. 出力画像情報を格納するテーブルの例を示す図。The figure which shows the example of the table which stores output image information. 本発明の一実施形態における制御装置が管理する状態の遷移を説明する図。The figure explaining the transition of the state which the control apparatus in one Embodiment of this invention manages. 本発明の一実施形態における画像出力システムの具体的な動作例を示すシーケンス図。The sequence diagram which shows the specific operation example of the image output system in one Embodiment of this invention. 本発明の一実施形態における画像出力システムの外観を示す図。1 is a diagram illustrating an appearance of an image output system according to an embodiment of the present invention. 本発明の一実施形態における画像出力システムの機能ブロック図。The functional block diagram of the image output system in one Embodiment of this invention. 属性情報を格納するテーブルの例を示す図。The figure which shows the example of the table which stores attribute information. 出力画像情報を格納するテーブルの例を示す図。The figure which shows the example of the table which stores output image information. 本発明の一実施形態における画像出力システムの具体的な動作例を示すシーケンス図。The sequence diagram which shows the specific operation example of the image output system in one Embodiment of this invention.

以下、本発明の実施形態を図面に基づいて説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

1. システムの概要
2. ハードウェア構成
3. 機能
4. 動作例
5. 変形例
1. 1. System overview 2. Hardware configuration Function 4. Example of operation 5. Modified example

≪ 1. 概要 ≫
図1は、本発明の概要を説明する図である。図1(a)−(d)は、本発明の一実施形態における画像出力システム10が、店舗の近くを通りかかった人の動作を検知し、その動作に応じた画像を出力する処理の流れを示している。図1に示された画像出力システム10は、図2に例示される外観を有しており、ディスプレイの形状をした画像出力装置200−1と、プロジェクタの形状をした二つの画像出力装置200−2、200−3と、センサ300とを有する。画像出力システム10は、センサ300から得た画像情報を元に、人の存在、位置、動作、性別、衣服の色等を認識し、状況に応じた画像を、各画像出力装置に出力することができる。なお、画像出力装置200−1、200−2、200−3が出力する画像は、それぞれ、表示領域A、B、Cに出力される。また、センサ300は、例えば、Microsoft社のKinect for Windows(登録商標)である。
≪ 1. Overview ≫
FIG. 1 is a diagram for explaining the outline of the present invention. FIGS. 1A to 1D show a flow of processing in which the image output system 10 according to an embodiment of the present invention detects the movement of a person passing near a store and outputs an image corresponding to the movement. Show. The image output system 10 shown in FIG. 1 has the appearance illustrated in FIG. 2 and includes an image output device 200-1 in the shape of a display and two image output devices 200- in the shape of a projector. 2, 200-3 and the sensor 300. The image output system 10 recognizes the presence, position, movement, sex, color of clothes, etc. of a person based on the image information obtained from the sensor 300, and outputs an image according to the situation to each image output device. Can do. Note that images output from the image output devices 200-1, 200-2, and 200-3 are output to the display areas A, B, and C, respectively. The sensor 300 is, for example, Microsoft for Kinect for Windows (registered trademark).

図1(a)において、画像出力システム10は、店舗の近くを通行する人を検出し、人の注意を引きつけるような画像コンテンツを、画像出力装置200−1(すなわち表示領域A)に出力させる。このとき、画像出力システム10は、画像出力装置200−2(すなわち表示領域B)に、人を誘導するような画像を出力させる。図1(a)の例では、画像出力システム10は、人が何か動作を起こしたがっているような様子を表す動画コンテンツを、画像出力装置200−1に出力させる。また、画像出力システム10は、人を画像出力システム10の近くに誘導する矢印のような画像コンテンツを、画像出力装置200−2に出力させる。一方、画像出力システム10は、画像出力装置200−3(すなわち表示領域C)には、何も出力させない。   In FIG. 1A, an image output system 10 detects a person who passes near a store and causes the image output apparatus 200-1 (that is, the display area A) to output image content that attracts the attention of the person. . At this time, the image output system 10 causes the image output device 200-2 (that is, the display area B) to output an image that guides a person. In the example of FIG. 1A, the image output system 10 causes the image output device 200-1 to output moving image content representing a situation in which a person wants to take some action. Further, the image output system 10 causes the image output device 200-2 to output image content such as an arrow that guides a person near the image output system 10. On the other hand, the image output system 10 does not output anything to the image output apparatus 200-3 (that is, the display area C).

次に、図1(b)において、画像出力システム10は、接近した人に対して、予め定められた動作を行うよう促すコンテンツを、画像出力装置200−1に出力させる。図1(b)の例では、画像出力システム10は、ある一定の高さでジャンプするよう指示する動画コンテンツを、画像出力装置200−1に出力させている。図1(b)は、人がそのコンテンツを確認し、ジャンプの動作を繰り返す様子を表している。ここで、画像出力システム10は、人の動作が、予め定められた動作条件を満たすか(例えば、一定の高さ以上ジャンプするか)を行うまで、同様のコンテンツを画像出力装置200−1に出力させ続ける。   Next, in FIG. 1B, the image output system 10 causes the image output device 200-1 to output content that prompts a person who has approached to perform a predetermined operation. In the example of FIG. 1B, the image output system 10 causes the image output device 200-1 to output moving image content instructing to jump at a certain height. FIG. 1B shows how a person confirms the content and repeats the jump operation. Here, the image output system 10 sends similar content to the image output device 200-1 until the human motion satisfies a predetermined motion condition (for example, whether to jump more than a certain height). Continue to output.

次に、図1(c)において、画像出力システム10は、人が、動作条件を満たす動作を行ったことを検出すると、動作が成功したことを表すコンテンツを、画像出力装置200−1、200−2に出力させる。図1(c)の例では、高く跳躍した人が、表示領域Bから表示領域Cに飛び移り、そのまま店舗の方向に走り去る様子を表す一連の動画コンテンツを、画像出力装置200−1、200−2に出力させる。人は、このコンテンツを見ることにより、店舗内に視線を向け、店舗内の商品に関心を持つ。   Next, in FIG. 1C, when the image output system 10 detects that a person has performed an operation that satisfies the operation condition, the image output system 200-1 and 200 outputs content indicating that the operation has been successful. -2 is output. In the example of FIG. 1C, a series of moving image contents representing a state where a person who has jumped high jumps from the display area B to the display area C and runs away in the direction of the store are displayed on the image output devices 200-1 and 200-. 2 to output. By looking at this content, a person looks at the store and is interested in the products in the store.

さらに、図1(d)において、画像出力システム10は、さらに、人を店舗に呼び込むためのコンテンツを、画像出力装置200−1、200−2に出力させる。図1(d)の例では、画像出力システム10は、人の衣服の色(横縞で示す)を検知しておき、図1(c)で店舗方向に走り去ったキャラクターが、人と同じ色の服を着て戻ってくる一連の動画コンテンツを、画像出力装置に出力させる。この服は、店舗内で実際に販売されている形状をしている。また、画像出力システム10は、商品に関する追加情報を表すコンテンツを、画像出力装置200−1に追加で出力させてもよい。   Further, in FIG. 1D, the image output system 10 further causes the image output devices 200-1 and 200-2 to output content for calling a person into the store. In the example of FIG. 1D, the image output system 10 detects the color of a person's clothes (indicated by horizontal stripes), and the character that has run away in the store direction in FIG. 1C has the same color as the person. A series of moving image content returned with clothes is output to the image output device. The clothes have a shape that is actually sold in the store. Further, the image output system 10 may cause the image output apparatus 200-1 to additionally output content representing additional information related to the product.

以上のように、本発明の一実施形態における画像出力システム10は、店舗の近くを通行する人の注意を引き、その人に対して所定の動作を行わせることにより、店舗への関心をひきつけることができる。通行する人は、ゲーム感覚で、自らの体験と共に、コンテンツの中身を閲覧するため、単に客引きのコンテンツを提示するのに比べて、より深く店舗又は商品に関心を持つようになる。   As described above, the image output system 10 according to the embodiment of the present invention attracts the attention of a person who passes near the store and attracts the person to the store by performing a predetermined operation. be able to. The person who passes is browsing the contents of the content together with his / her own experience as if he / she is a game, so he / she is deeply interested in the store or the product as compared to simply presenting the content of customer attraction.

以下、本発明の一実施形態における画像出力システム10の詳細を説明する。   Details of the image output system 10 according to an embodiment of the present invention will be described below.

≪ 2. ハードウェア構成 ≫
本発明の一実施形態における画像出力システム10は、画像出力装置200−1、200−2、200−3と、センサ300とを制御する、制御装置100を有する。図2は、本発明の一実施形態における制御装置100のハードウェア構成例を示す。制御装置100は、CPU11と、RAM12と、ROM13と、HDD14と、キーボード15と、マウス16と、NIC(Network Interface Card)17と、GPU18と、USBポート19とを有する。
≪ 2. Hardware configuration ≫
The image output system 10 according to an embodiment of the present invention includes a control device 100 that controls the image output devices 200-1, 200-2, and 200-3 and the sensor 300. FIG. 2 shows a hardware configuration example of the control device 100 according to an embodiment of the present invention. The control device 100 includes a CPU 11, a RAM 12, a ROM 13, an HDD 14, a keyboard 15, a mouse 16, a NIC (Network Interface Card) 17, a GPU 18, and a USB port 19.

CPU11は、制御装置100の動作制御を行うプログラムを実行する。RAM12は、CPU11のワークエリアを構成する。ROM13は、CPU11が実行するプログラムや、プログラムの実行に必要なデータを記憶する。HDD14は、制御装置100が出力させるコンテンツ等を格納する。HDD14は、磁気ディスクや、ソリッドステートディスクであってもよい。   The CPU 11 executes a program that controls the operation of the control device 100. The RAM 12 constitutes a work area for the CPU 11. The ROM 13 stores a program executed by the CPU 11 and data necessary for executing the program. The HDD 14 stores contents to be output by the control device 100. The HDD 14 may be a magnetic disk or a solid state disk.

キーボード15及びマウス16は、制御装置100の管理者等からの入力を受け付ける装置である。NIC17は、例えばイーサネット(登録商標)によるLANと接続するための通信インターフェースである。GPU18は、画像処理を実行する処理装置であり、画像出力装置200−1、200−2、200−3に画像を出力する外部接続端子を有する。GPU18は、画像出力装置ごとに、複数設けられてもよい。USBポート19は、Kinect for Windowsのようなセンサと接続するための外部接続端子である。バス20は、上記の各装置を相互に接続する。   The keyboard 15 and the mouse 16 are devices that receive input from an administrator or the like of the control device 100. The NIC 17 is a communication interface for connecting to, for example, an Ethernet (registered trademark) LAN. The GPU 18 is a processing device that executes image processing, and has an external connection terminal that outputs an image to the image output devices 200-1, 200-2, and 200-3. A plurality of GPUs 18 may be provided for each image output device. The USB port 19 is an external connection terminal for connecting to a sensor such as Kinect for Windows. The bus 20 connects the above devices to each other.

なお、図3の例では、制御装置100と各画像出力装置とが、GPU18のみを用いて接続されているが、この例に限られず、例えば、任意の画像出力装置が、NIC17等を通じて、ネットワークを介して接続されてもよい。また、同様に、センサ300は、USBポート19を用いて接続される代わりに、他の規格の外部接続端子を通じて、接続されても良い。   In the example of FIG. 3, the control device 100 and each image output device are connected using only the GPU 18. However, the present invention is not limited to this example. For example, an arbitrary image output device is connected to the network via the NIC 17 or the like. It may be connected via. Similarly, the sensor 300 may be connected through an external connection terminal of another standard instead of being connected using the USB port 19.

また、図3の例では、制御装置100は、単一のコンピュータによって構成されているが、複数のコンピュータにまたがって構成されてもよい。また、そのような複数のコンピュータのそれぞれが、図3に示された装置の一部を有し、全体として、図3に示した装置を実現するよう構成されてもよい。   In the example of FIG. 3, the control device 100 is configured by a single computer, but may be configured across a plurality of computers. In addition, each of such a plurality of computers may include a part of the apparatus illustrated in FIG. 3 and may be configured to implement the apparatus illustrated in FIG. 3 as a whole.

≪ 3. 機能 ≫
図4は、本発明の一実施形態における制御装置100の機能ブロック図である。制御装置100は、記憶部101と、検知部102と、動作検出部103と、動作判定部104と、コンテンツ選択部105と、出力制御部106と、出力部107とを有する。
≪ 3. Function ≫
FIG. 4 is a functional block diagram of the control device 100 according to the embodiment of the present invention. The control device 100 includes a storage unit 101, a detection unit 102, an operation detection unit 103, an operation determination unit 104, a content selection unit 105, an output control unit 106, and an output unit 107.

記憶部101は、図3に示されるROM13又はHDD14によって実現され、制御装置100で実行されるプログラムが必要とするデータを記憶する。記憶部101は、状態定義情報151と、出力画像情報152を含む。   The storage unit 101 is realized by the ROM 13 or the HDD 14 illustrated in FIG. 3 and stores data required by a program executed by the control device 100. The storage unit 101 includes state definition information 151 and output image information 152.

状態定義情報151は、人に提示するコンテンツを切り替えるために用いる内部的なパラメータである状態を定義する。状態定義情報151は、例えば、図5に例示されるテーブルにより、状態ごとに付されたIDである状態IDと、状態に付された状態名と、その説明とを関連付けて格納する。本実施形態では、以下の6つの状態を定義している。
−非検知 :人を検知していない状態
−検知 :人を検知した状態
−滞在 :所定領域内に滞在する人を検知した状態
−動作検出 :所定領域内の人がコンテンツで指示した規定動作を行った後の状態
−接近/滞在:「動作検出」状態の後、人の接近又は所定領域内でのさらなる滞在を検出した状態
−離脱 :所定領域内からの人の離脱を検知した状態
制御装置100は、例えば、センサ300を通じて取得した画像データを元に、人の位置や動作を検知し、上記の状態を遷移させ、対応するコンテンツを出力させる。
The state definition information 151 defines a state that is an internal parameter used for switching content to be presented to a person. The state definition information 151 stores, for example, a state ID that is an ID assigned to each state, a state name assigned to the state, and a description thereof in association with the table illustrated in FIG. In the present embodiment, the following six states are defined.
-Non-detection: A state in which a person is not detected-Detection: A state in which a person is detected-Stay: A state in which a person staying in a predetermined area is detected-Motion detection: A prescribed action specified by content by a person in the predetermined area State after performing-approach / stay: State after detecting "approach" or further stay in a predetermined area after "motion detection" state-leaving: state control apparatus detecting that a person has left the predetermined area For example, 100 detects the position and movement of a person based on the image data acquired through the sensor 300, changes the above state, and outputs the corresponding content.

出力画像情報152は、各状態ごとに、画像出力装置200−1、200−2、200−3に出力させるコンテンツを定義する。出力画像情報152は、例えば、図6(a)−(f)に例示されるテーブルにより、状態ごとに設けられ得る。出力画像情報152は、出力させる画像出力装置を特定するための出力先IDと、出力する画像コンテンツを特定する出力画像IDの項目を有する。本実施例では、出力先IDの「1」は、画像出力装置200−1に対応し、出力先ID「2」は、画像出力装置200−2に対応し、出力先ID「3」は、画像出力装置200−3に対応する。   The output image information 152 defines contents to be output to the image output devices 200-1, 200-2, and 200-3 for each state. The output image information 152 can be provided for each state by, for example, a table illustrated in FIGS. The output image information 152 includes items of an output destination ID for specifying an image output device to be output and an output image ID for specifying image content to be output. In this embodiment, the output destination ID “1” corresponds to the image output device 200-1, the output destination ID “2” corresponds to the image output device 200-2, and the output destination ID “3” This corresponds to the image output apparatus 200-3.

図6(a)は、「非検知」状態において、画像出力システム10が、各画像出力装置に出力させるコンテンツの出力画像IDを定義する。この場合のコンテンツの具体例を以下に示す。
−info :商品紹介、カタログ、価格表のような情報を含むコンテンツ
−background:景色や模様等の背景画像のようなコンテンツ
−arrow :所定領域の方向を示すコンテンツ
図6(b)は、「検知」状態において、画像出力システム10が、各画像出力装置に出力させるコンテンツの出力画像IDを定義する。この場合のコンテンツの具体例を以下に示す。
−stand−by :キャラクターが何か動作を起こしたがっている様子を示すコンテンツ
−background:景色や模様等の背景画像のようなコンテンツ
−arrow :所定領域の方向を示すコンテンツ
図6(c)は、「滞在」状態において、画像出力システム10が、各画像出力装置に出力させるコンテンツの出力画像IDを定義する。この場合のコンテンツの具体例を以下に示す。
−guidance :規定の動作を行うよう指示するコンテンツ
−background:景色や模様等の背景画像のようなコンテンツ
−circle1 :所定領域を示すコンテンツ
図6(d)は、「動作検出」状態において、画像出力システム10が、各画像出力装置に出力させるコンテンツの出力画像IDを定義する。この場合のコンテンツの具体例を以下に示す。
−success1:動作条件を達成したことを祝福するとともに、人が店舗に関心をもつように、キャラクターを画像出力装置200−1の表示領域外に移動させるようなコンテンツ
−success2:success1のコンテンツと連携し、success1で表示領域外に移動したキャラクターが、画像出力装置200−2に現れ、さらに店舗方向に向かって、表示領域外に移動するようなコンテンツ
−circle2 :動作条件を達成したことを祝福するため、circle1とは異なる演出を行うコンテンツ
図6(e)は、「接近/滞在」状態において、画像出力システム10が、各画像出力装置に出力させるコンテンツの出力画像IDを定義する。この場合のコンテンツの具体例を以下に示す。
−welcpme1:success1、success2のコンテンツを通じて表示領域外に消えたキャラクターが、再び店舗方向から現れ、画像出力装置200−1の方向に向かって、画像出力装置200−2の表示領域外へ移動してゆくようなコンテンツ
−welcome2:welcome1のコンテンツと連携し、welcome1で表示領域外に移動したキャラクターが、画像出力装置200−1に現れるとともに、おすすめ商品や売れ筋商品等の紹介を行うコンテンツ
−circle2 :動作条件を達成したことを祝福するため、circle1とは異なる演出を行うコンテンツ
図6(f)は、「離脱」状態において、画像出力システム10が、各画像出力装置に出力させるコンテンツの出力画像IDを定義する。この場合のコンテンツの具体例を以下に示す。
−seeyou :感謝の意を示すコンテンツ
−background:景色や模様等の背景画像のようなコンテンツ
−arrow :所定領域の方向を示すコンテンツ
出力画像IDは、予め、記憶部101又は外部に保存された出力画像ファイル(例えば、jpegやgif形式の画像ファイル、又は、swfやavi形式等の動画ファイル)と関連付けられてもよい。また、出力画像IDは、制御装置100が、Open GLのような描画手段により、動的に生成して出力する、一連の動画像コンテンツと関連付けられてもよい。
FIG. 6A defines an output image ID of content that the image output system 10 causes each image output device to output in the “non-detection” state. A specific example of content in this case is shown below.
-Info: content including information such as product introduction, catalog, price list-background: content such as a background image such as scenery or pattern-arrow: content indicating the direction of a predetermined area FIG. In the state, the image output system 10 defines an output image ID of content to be output to each image output device. A specific example of content in this case is shown below.
-Stand-by: content indicating how the character wants to perform some action -background: content such as a background image such as a landscape or pattern -arrow: content indicating the direction of a predetermined area FIG. In the “stay” state, the image output system 10 defines an output image ID of content to be output to each image output device. A specific example of content in this case is shown below.
-Guidance: content instructing to perform a prescribed operation -background: content such as a background image such as a landscape or a pattern -cycle1: content indicating a predetermined area FIG. 6D shows an image output in the “motion detection” state. The system 10 defines an output image ID of content to be output to each image output device. A specific example of content in this case is shown below.
-Success1: Content that congratulates the achievement of the operating conditions and moves the character outside the display area of the image output device 200-1 so that people are interested in the store-success2: content with the success1 content Then, congratulate that the character that has moved out of the display area in success 1 appears in the image output device 200-2 and further moves out of the display area toward the store direction—cycle 2: the operating condition has been achieved. Therefore, content that produces an effect different from circle 1 FIG. 6E defines an output image ID of content that the image output system 10 causes each image output device to output in the “approach / stay” state. A specific example of content in this case is shown below.
-Welcpme1: Characters that disappeared outside the display area through the contents of success1 and success2 appear again from the store direction and move out of the display area of the image output apparatus 200-2 toward the direction of the image output apparatus 200-1. A content that is going to be -welcome2: A character that is linked to the content of welcome1 and moves outside the display area with welcome1 appears in the image output device 200-1, and introduces recommended products, best-selling products, and the like. Content that produces an effect different from circle 1 in order to congratulate the achievement of the condition. FIG. 6F shows the output image ID of the content that the image output system 10 causes each image output device to output in the “leave” state. Define. A specific example of content in this case is shown below.
-Seyou: content indicating gratitude -background: content such as a background image such as a landscape or pattern -arrow: content indicating the direction of a predetermined area The output image ID is output stored in advance in the storage unit 101 or outside It may be associated with an image file (for example, an image file in jpeg or gif format, or a moving image file in swf or avi format). Further, the output image ID may be associated with a series of moving image contents that the control device 100 dynamically generates and outputs by a drawing unit such as Open GL.

検知部102は、図3に示されるCPU11及びセンサ300の処理によって実現され、センサ300が取得した画像情報を取得し、画像出力システム10の近くを通行する人の接近を検知することができる。また、検知部102は、所定領域内における一定時間以上の人の滞在、及び、所定領域からの人の離脱を検知することができる。ここで、所定領域とは、人に対して規定の動作を行わせるための領域であり、例えば、画像出力装置200−1がコンテンツを出力する範囲と一致する。さらに、検知部102は、所定の領域内での人の接近や、後述する規定の動作後の一定時間以上の人の滞在を検知することができる。検知部102は、検知した内容を、コンテンツ選択部105に通知する。   The detection unit 102 is realized by the processing of the CPU 11 and the sensor 300 shown in FIG. 3, acquires the image information acquired by the sensor 300, and can detect the approach of a person passing near the image output system 10. In addition, the detection unit 102 can detect the stay of a person for a certain time or more in the predetermined area and the departure of the person from the predetermined area. Here, the predetermined area is an area for allowing a person to perform a prescribed operation, and, for example, coincides with a range in which the image output apparatus 200-1 outputs content. Furthermore, the detection unit 102 can detect the approach of a person within a predetermined area and the stay of a person for a certain period of time after a prescribed operation described later. The detection unit 102 notifies the content selection unit 105 of the detected content.

動作検出部103は、図3に示されるCPU11及びセンサ300の処理によって実現され、センサ300が取得した画像データに基づき、所定の領域内での人の動作を検出する。動作検出部103は、人の動作を表すデータを、動作判定部104に渡す。   The motion detection unit 103 is realized by the processing of the CPU 11 and the sensor 300 illustrated in FIG. 3, and detects a human motion within a predetermined area based on the image data acquired by the sensor 300. The motion detection unit 103 passes data representing a human motion to the motion determination unit 104.

動作判定部104は、図3に示されるCPU11の処理によって実現され、動作検出部103が検出した動作が、予め規定された動作条件を満たすか判定する。例えば、予め規定された動作条件が、ジャンプの高さに関するものである場合、動作判定部104は、動作検出部103が検出した人の「ジャンプ」動作の高さが、規定の高さ以上であるかどうかを判定する。動作判定部104は、他にも、人の動作の激しさ(体の特定部分の時間当たりの移動量)や、回転量(時間当たりに顔が前方を向く回数)、しゃがんだ回数(顔の位置の高さの変化の回数)により、人の動作が条件を満たすか判定することができる。動作判定部104は、動作検出部103が検出した人の動作が動作条件を満たしているか否かを、コンテンツ選択部105に通知する。   The operation determination unit 104 is realized by the processing of the CPU 11 illustrated in FIG. 3 and determines whether the operation detected by the operation detection unit 103 satisfies a predetermined operation condition. For example, when the predetermined motion condition is related to the jump height, the motion determination unit 104 determines that the height of the “jump” motion of the person detected by the motion detection unit 103 is equal to or higher than the predetermined height. Determine if it exists. In addition to the above, the motion determination unit 104 can also determine the intensity of human motion (the amount of movement of a specific part of the body per hour), the amount of rotation (the number of times the face turns to the front per time), the number of squats (the number of faces) It is possible to determine whether a person's action satisfies the condition based on the number of changes in position height. The motion determination unit 104 notifies the content selection unit 105 whether or not the human motion detected by the motion detection unit 103 satisfies the motion condition.

コンテンツ選択部105は、図3に示されるCPU11の処理によって実現され、検知部102又は動作判定部104から受け取った通知の内容に応じて状態を管理し、その状態に応じて、出力すべきコンテンツを選択する。コンテンツ選択部105は、検知部102又は動作判定部104からの通知に基づき、図5に例示されるテーブルによって定義される状態を管理する。そして、コンテンツ選択部105は、図6に例示されるテーブルを参照し、状態に応じて、各画像出力装置に出力させるコンテンツを選択する。そして、コンテンツ選択部105は、選択したコンテンツを各画像出力装置に出力するよう、出力制御部106に指示する。   The content selection unit 105 is realized by the processing of the CPU 11 shown in FIG. 3, manages the state according to the content of the notification received from the detection unit 102 or the operation determination unit 104, and the content to be output according to the state Select. The content selection unit 105 manages the state defined by the table illustrated in FIG. 5 based on the notification from the detection unit 102 or the operation determination unit 104. Then, the content selection unit 105 refers to the table illustrated in FIG. 6 and selects content to be output to each image output device according to the state. Then, the content selection unit 105 instructs the output control unit 106 to output the selected content to each image output device.

図7を用いて、コンテンツ選択部105が管理する状態の遷移を説明する。まず初めに、コンテンツ選択部105は、状態を「非検知」状態(S1)とする。非検知状態において、コンテンツ選択部105は、図6(a)に定義される画像出力IDを有するコンテンツを選択する。   The state transition managed by the content selection unit 105 will be described with reference to FIG. First, the content selection unit 105 sets the state to the “non-detection” state (S1). In the non-detection state, the content selection unit 105 selects content having an image output ID defined in FIG.

次に、コンテンツ選択部105は、検知部102から、人の接近を検知した旨の通知を受け取ると、状態を「検知」状態(S2)とする。検知状態において、コンテンツ選択部105は、図6(b)に定義される画像出力IDを有するコンテンツを選択する。   Next, when the content selection unit 105 receives a notification from the detection unit 102 that a human approach has been detected, the content selection unit 105 sets the state to the “detection” state (S2). In the detection state, the content selection unit 105 selects content having an image output ID defined in FIG.

次に、コンテンツ選択部105は、検知部102から、所定領域内における人の滞在を検知した旨の通知を受け取ると、状態を「滞在」状態(S3)とする。検知状態において、コンテンツ選択部105は、図6(c)に定義される画像出力IDを有するコンテンツを選択する。また、コンテンツ選択部105は、動作判定部104から、人の動作が動作条件を満たしていない旨の通知を受け取ると、図6(c)に定義される画像出力IDを有するコンテンツを選択する。   Next, when the content selection unit 105 receives a notification from the detection unit 102 that the stay of a person in the predetermined area has been detected, the content selection unit 105 sets the state to the “stay” state (S3). In the detection state, the content selection unit 105 selects content having an image output ID defined in FIG. In addition, when the content selection unit 105 receives a notification from the motion determination unit 104 that the human motion does not satisfy the motion conditions, the content selection unit 105 selects the content having the image output ID defined in FIG.

次に、コンテンツ選択部105は、動作判定部104から、人の動作が動作条件を満たしている旨の通知を受け取ると、状態を「動作検出」状態(S4)とする。動作検出状態において、コンテンツ選択部105は、図6(d)に定義される画像出力IDを有するコンテンツを選択する。   Next, when the content selection unit 105 receives a notification from the motion determination unit 104 that the human motion satisfies the motion condition, the content selection unit 105 sets the state to the “motion detection” state (S4). In the motion detection state, the content selection unit 105 selects content having an image output ID defined in FIG.

次に、コンテンツ選択部105は、検知部102から、動作条件を満たした動作後の人の滞在を検知した旨の通知を受け取ると、状態を「接近/滞在」状態(S5)とする。接近/滞在状態において、コンテンツ選択部105は、図6(e)に定義される画像出力IDを有するコンテンツを選択する。   Next, when the content selection unit 105 receives notification from the detection unit 102 that the stay of the person after the operation that satisfies the operation condition has been detected, the content selection unit 105 sets the state to the “approach / stay” state (S5). In the approach / stay state, the content selection unit 105 selects content having an image output ID defined in FIG.

そして、コンテンツ選択部105は、接近/滞在状態の後、一定時間が経過すると、「非検知」状態へと戻る。一方、コンテンツ選択部105は、検知状態、滞在状態、動作検出状態において、検知部102から、所定領域からの人の離脱の通知を受け取ると、状態を「離脱」状態(S6)とする。離脱状態において、コンテンツ選択部105は、図6(f)に定義される画像出力IDを有するコンテンツを選択する。そして、コンテンツ選択部105は、離脱状態となった後に、一定時間経過後、「非検知」状態へと戻る。   Then, after a certain time has elapsed after the approach / stay state, the content selection unit 105 returns to the “non-detection” state. On the other hand, when the content selection unit 105 receives a notification of the person leaving from the predetermined area from the detection unit 102 in the detection state, the stay state, and the motion detection state, the content selection unit 105 sets the state to the “leave” state (S6). In the detached state, the content selection unit 105 selects content having the image output ID defined in FIG. Then, the content selection unit 105 returns to the “non-detection” state after a certain period of time has elapsed after entering the withdrawal state.

出力制御部106は、図3に示されるCPU11の処理によって実現され、コンテンツ選択部105の指示に応じて、コンテンツが画像出力装置200−1、200−2、200−3でそれぞれ出力されるよう、出力部107を制御する。   The output control unit 106 is realized by the processing of the CPU 11 illustrated in FIG. 3, and the content is output by the image output devices 200-1, 200-2, and 200-3 in accordance with instructions from the content selection unit 105. The output unit 107 is controlled.

出力部107は、図3に示されるGPU18の処理によって実現され、各コンテンツを各画像出力装置に出力する。   The output unit 107 is realized by the processing of the GPU 18 illustrated in FIG. 3 and outputs each content to each image output device.

≪ 4. 動作例 ≫
図8を用いて、本発明の一実施形態における画像出力システム10の具体的な動作例を説明する。本実施形態における画像出力システム10は、通行している人に対して、キャラクターがジャンプする様子を提示することにより、ゲーム感覚で、実際にジャンプすることを促す。そして、ジャンプの高さが一定の高さに到達していた場合に、キャラクターが店舗内に走り去り、戻ってくるというパフォーマンスを行い、人の店舗への関心を高め、入店を促す。
<< 4. Example of operation ≫
A specific operation example of the image output system 10 according to the embodiment of the present invention will be described with reference to FIG. The image output system 10 according to the present embodiment prompts a person who is traveling to actually jump in a game-like manner by presenting a character jumping state. And when the height of the jump has reached a certain height, the character runs away in the store and returns, raising the interest of people in the store and encouraging people to enter the store.

まず、制御装置100のコンテンツ選択部105は、状態が初期状態である「非検出」状態であることから、図6(a)に示される三つのコンテンツ「info」、「background」、「arrow」を選択する(ステップS201)。次いで、コンテンツ選択部105は、選択した三つのコンテンツを、各画像出力装置に出力するよう、出力制御部106に指示する(ステップS202)。出力制御部106は、三つのコンテンツが、それぞれ、画像出力装置200−1、200−2、200−3から出力されるよう、出力部107を制御する(ステップS203)。出力部107は、画像出力装置200−1に、コンテンツ「info」を出力する(ステップS204)。「info」は、商品紹介、カタログ、価格表のような情報を含むコンテンツである。また、出力部107は、画像出力装置200−2に、コンテンツ「background」を出力する(ステップS205)。「background」は、景色や模様等の背景画像のようなコンテンツである。また、出力部107は、画像出力装置200−3に、コンテンツ「arrow」を出力する(ステップS206)。「arrow」は、所定領域の方向を示すコンテンツである。なお、ステップS204−S206は、実質的に同時に実行される。これにより、通行する人は、遠方より、何らかの商品情報が出力されていることを視認することができる。   First, the content selection unit 105 of the control device 100 is in the “non-detection” state, which is the initial state, so the three contents “info”, “background”, and “arrow” shown in FIG. Is selected (step S201). Next, the content selection unit 105 instructs the output control unit 106 to output the selected three contents to each image output device (step S202). The output control unit 106 controls the output unit 107 so that the three contents are output from the image output devices 200-1, 200-2, and 200-3, respectively (step S203). The output unit 107 outputs the content “info” to the image output device 200-1 (step S204). “Info” is content including information such as a product introduction, a catalog, and a price list. Further, the output unit 107 outputs the content “background” to the image output device 200-2 (step S205). “Background” is content such as a background image such as a landscape or a pattern. Further, the output unit 107 outputs the content “arrow” to the image output device 200-3 (step S206). “Arrow” is content indicating the direction of a predetermined area. Note that steps S204 to S206 are executed substantially simultaneously. Thereby, the person who passes can visually recognize that some merchandise information is output from a distance.

ここで、店舗の近くを通行していた人が、画像出力システム10に接近したものとする。センサ300は、取得した画像情報を、制御装置100の検知部102に渡す(ステップS207)。検知部102は、受け取った画像情報から、人の接近を検知する(ステップS208)。そして、検知部102は、人の接近を検知した旨を、コンテンツ選択部105に通知する(ステップS209)。   Here, it is assumed that a person passing near the store approaches the image output system 10. The sensor 300 passes the acquired image information to the detection unit 102 of the control device 100 (step S207). The detection unit 102 detects the approach of a person from the received image information (step S208). Then, the detection unit 102 notifies the content selection unit 105 that a human approach has been detected (step S209).

制御装置100のコンテンツ選択部105は、ステップS209の通知を受け、状態を「検知」状態とし、図6(b)に示される三つのコンテンツ「stand−by」、「background」、「arrow」を選択する(ステップS210)。「stand−by」は、キャラクターが何か動作を起こしたがっている様子を示すコンテンツである。その後、出力部107を通じて、選択したコンテンツを各画像出力装置に出力するステップS211−S215は、上述したステップS202−S206と同様である。これにより、通行する人は、キャラクターが、何らかの動作をしたがっている(人に、何らかの動作をさせたがっている)ことを認識することができる。   Upon receiving the notification in step S209, the content selection unit 105 of the control device 100 sets the state to the “detection” state, and sets the three contents “stand-by”, “background”, and “arrow” illustrated in FIG. Select (step S210). “Stand-by” is content indicating that the character wants to take some action. Thereafter, Steps S211 to S215 for outputting the selected content to each image output device through the output unit 107 are the same as Steps S202 to S206 described above. Thereby, the person who passes can recognize that the character wants some kind of action (the person wants to make some kind of action).

ここで、人が、所定領域内に一定時間以上滞在したものとする。センサ300は、取得した一連の画像情報を、制御装置100の検知部102に渡す(ステップS216)。検知部102は、受け取った画像情報から、人の所定領域内の滞在を検知する(ステップS217)。そして、検知部102は、人の所定領域内の滞在を検知した旨を、コンテンツ選択部105に通知する(ステップS218)。   Here, it is assumed that a person stays in a predetermined area for a certain period of time. The sensor 300 passes the acquired series of image information to the detection unit 102 of the control device 100 (step S216). The detection unit 102 detects a person staying in a predetermined area from the received image information (step S217). Then, the detection unit 102 notifies the content selection unit 105 that a person's stay in the predetermined area has been detected (step S218).

制御装置100のコンテンツ選択部105は、ステップS218の通知を受け、状態を「滞在」状態とし、図6(c)に示される三つのコンテンツ「guidance」、「background」、「circle1」を選択する(ステップS219)。「guidance」は、規定の動作を行うよう指示するコンテンツであり、ここでは、キャラクターがジャンプを繰り返し、その動作を人にもするよう促すコンテンツである。また、「circle」は、人が動作をするための所定領域をスポットライト風に示すコンテンツである。その後、出力部107を通じて、選択したコンテンツを各画像出力装置に出力するステップS220−S224は、上述したステップS202−S206、S211−S215と同様である。   Upon receiving the notification in step S218, the content selection unit 105 of the control device 100 sets the state to “stay”, and selects the three contents “guidance”, “background”, and “cycle1” shown in FIG. 6C. (Step S219). “Guidance” is content instructing to perform a prescribed action, and here is content that prompts the character to repeat the jump and also cause the person to perform the action. “Circle” is a content indicating a predetermined area for a person to operate in a spotlight style. Thereafter, Steps S220 to S224 for outputting the selected content to each image output device through the output unit 107 are the same as Steps S202 to S206 and S211 to S215 described above.

ここで、人が、出力されたコンテンツ「guidance」に従って、一定領域内でジャンプの動作を行ったものとする(但し、動作条件である、一定の高さには到達せず)。センサ300は、取得した一連の画像情報を、制御装置100の動作検出部103に渡す(ステップS225)。動作検出部103は、受け取った画像情報から、人の所定領域内の動作を検出する(ステップS226)。そして、動作検出部103は、動作を検出した旨を、動作判定部104に通知する(ステップS227)。動作判定部104は、動作検出部103が検出した動作が、動作条件を満たすか判定する(ステップS228)。ここでは、動作判定部104は、動作が動作条件を満たさないと判定する。そして、動作判定部104は、その旨を、コンテンツ選択部105に通知する(ステップS229)。   Here, it is assumed that a person performs a jump operation within a certain area according to the output content “guidance” (however, the operation condition does not reach a certain height). The sensor 300 passes the acquired series of image information to the operation detection unit 103 of the control device 100 (step S225). The motion detection unit 103 detects a motion within a predetermined area of the person from the received image information (step S226). Then, the motion detection unit 103 notifies the motion determination unit 104 that the motion has been detected (step S227). The operation determination unit 104 determines whether the operation detected by the operation detection unit 103 satisfies the operation condition (step S228). Here, the operation determination unit 104 determines that the operation does not satisfy the operation condition. Then, the operation determination unit 104 notifies the content selection unit 105 to that effect (step S229).

制御装置100のコンテンツ選択部105は、ステップS229の通知を受け、再度、図6(c)に示される三つのコンテンツ「guidance」、「background」、「circle1」を選択する(ステップS230)。その後、出力部107を通じて、選択したコンテンツを各画像出力装置に出力するステップS231−S235は、上述したステップS202−S206、S211−S215等と同様である。   Upon receiving the notification in step S229, the content selection unit 105 of the control device 100 selects again the three contents “guidance”, “background”, and “cycle1” shown in FIG. 6C (step S230). Thereafter, Steps S231 to S235 for outputting the selected content to each image output device through the output unit 107 are the same as Steps S202 to S206 and S211 to S215 described above.

その後、人が、出力されたコンテンツ「guidance」に従って、一定領域内でさらにジャンプの動作を行い、動作条件である、一定の高さに到達したものとする。センサ300は、取得した一連の画像情報を、制御装置100の動作検出部103に渡す(ステップS236)。動作検出部103は、受け取った画像情報から、人の所定領域内の動作を検出する(ステップS237)。そして、動作検出部103は、動作を検出した旨を、動作判定部104に通知する(ステップS238)。動作判定部104は、動作検出部103が検出した動作が、動作条件を満たすか判定する(ステップS239)。ここでは、動作判定部104は、動作が動作条件を満たすと判定する。そして、動作判定部104は、その旨を、コンテンツ選択部105に通知する(ステップS240)。   Thereafter, it is assumed that a person performs a jump operation in a certain area in accordance with the output content “guidance” and reaches a certain height as an operation condition. The sensor 300 passes the acquired series of image information to the operation detection unit 103 of the control device 100 (step S236). The motion detection unit 103 detects a motion within a predetermined area of the person from the received image information (step S237). Then, the motion detection unit 103 notifies the motion determination unit 104 that the motion has been detected (step S238). The operation determination unit 104 determines whether the operation detected by the operation detection unit 103 satisfies the operation condition (step S239). Here, the operation determination unit 104 determines that the operation satisfies the operation condition. Then, the operation determination unit 104 notifies the content selection unit 105 to that effect (step S240).

制御装置100のコンテンツ選択部105は、ステップS240の通知を受け、状態を「動作検出」状態とし、再度、図6(d)に示される三つのコンテンツ「success1」、「success2」、「circle2」を選択する(ステップS241)。「success1」は、動作条件を達成したことを祝福するとともに、人が店舗に関心をもつように、キャラクターが店舗の方向に向かって、画像出力装置200−1の表示領域外に走ってゆく演出のコンテンツである。また、「success2」は、「success1」と連動するコンテンツであり、success1で表示領域外に移動したキャラクターが、画像出力装置200−2に現れ、さらに店舗方向に向かって、表示領域外に走っていく演出のコンテンツである。「circle2」は、動作条件を達成したことを祝福するため、人の足元のスポットライトの演出を盛り上げるコンテンツである。その後、出力部107を通じて、選択したコンテンツを各画像出力装置に出力するステップS242−S246は、上述したステップS202−S206、S211−S215等と同様である。なお、二つのコンテンツの出力を連動させるために、出力制御部106は、まず「success1」を、画像出力装置200−1に出力させた後に、「success2」を、画像出力装置200−2に出力させても良い。   Upon receiving the notification in step S240, the content selection unit 105 of the control device 100 sets the state to the “motion detection” state, and again, the three contents “success1”, “success2”, and “cycle2” shown in FIG. Is selected (step S241). “Success1” congratulates that the operating conditions have been achieved, and the character runs in the direction of the store, outside the display area of the image output device 200-1, so that the person is interested in the store. Content. Also, “success2” is content linked to “success1”, and a character that has moved outside the display area in success1 appears in the image output device 200-2 and further runs out of the display area toward the store. It is the content of the direction that goes. “Circle2” is content that excites the effect of the spotlight at the foot of a person in order to congratulate the achievement of the operating condition. Thereafter, Steps S242 to S246 for outputting the selected content to each image output device through the output unit 107 are the same as Steps S202 to S206 and S211 to S215 described above. In order to link the output of the two contents, the output control unit 106 first outputs “success1” to the image output device 200-1 and then outputs “success2” to the image output device 200-2. You may let them.

その後、人が、さらに画像出力システム10に接近したとする。センサ300は、取得した一連の画像情報を、制御装置100の動作検出部103に渡す(ステップS247)。検知部102は、受け取った画像情報から、人の接近を検知する(ステップS248)。そして、検知部102は、人の接近を検知した旨を、コンテンツ選択部105に通知する(ステップS249)。   Thereafter, it is assumed that a person further approaches the image output system 10. The sensor 300 passes the acquired series of image information to the operation detection unit 103 of the control device 100 (step S247). The detection unit 102 detects the approach of a person from the received image information (step S248). Then, the detection unit 102 notifies the content selection unit 105 that a human approach has been detected (step S249).

制御装置100のコンテンツ選択部105は、ステップS249の通知を受け、状態を「接近/滞在」状態とし、図6(e)に示される三つのコンテンツ「welcome2」、「welcome1」、「circle2」を選択する(ステップS250)。「welcome1」は、表示領域外に消えたキャラクターが、再び店舗方向から現れ、画像出力装置200−1の方向(すなわち、人の方向)に向かって、画像出力装置200−2の表示領域外へ走っていく演出のコンテンツである。また、「welcome2」は、「welcome1」と連動するコンテンツであり、welcome1で表示領域外に移動したキャラクターが、画像出力装置200−1に現れるとともに、おすすめ商品や売れ筋商品等の紹介を行うコンテンツである。その後、出力部107を通じて、選択したコンテンツを各画像出力装置に出力するステップS251−S255は、上述したステップS202−S206、S211−S215等と同様である。なお、二つのコンテンツの出力を連動させるために、出力制御部106は、まず「welcome1」を、画像出力装置200−2に出力させた後に、「welcome2」を、画像出力装置200−1に出力させても良い。   Upon receiving the notification in step S249, the content selection unit 105 of the control device 100 sets the state to “approach / stay”, and sets the three contents “welcome2”, “welcome1”, and “cycle2” shown in FIG. Select (step S250). In “welcome1”, a character that disappears outside the display area appears again from the store direction, and moves out of the display area of the image output apparatus 200-2 in the direction of the image output apparatus 200-1 (ie, the direction of the person). This is the content of the running direction. In addition, “welcome2” is content linked to “welcome1”, and a character moved outside the display area by welcome1 appears on the image output device 200-1 and introduces recommended products and popular products. is there. Thereafter, Steps S251 to S255 for outputting the selected content to each image output device through the output unit 107 are the same as Steps S202 to S206 and S211 to S215 described above. In order to link the output of the two contents, the output control unit 106 first outputs “welcome1” to the image output device 200-2, and then outputs “welcome2” to the image output device 200-1. You may let them.

以上の動作により、本実施形態における画像出力システム10は、通行する人の注意を引き、さらに、ゲーム感覚で、コンテンツによる実体験を行わせることにより、人の店舗への関心を高めることができる。さらに、画像出力システム10は、ゲームでの目標の達成とともに、特別な演出を提示することにより、人の関心をよりひきつけることが可能となる。   With the above operation, the image output system 10 according to the present embodiment can increase the interest of the person in the store by attracting the attention of the passing person and causing the user to have a real experience with the content in a game-like manner. . Furthermore, the image output system 10 can attract more people's interest by presenting special effects as well as achieving the goals in the game.

≪ 5. 変形例 ≫
図9−図13を用いて、本発明の他の実施形態における画像出力システム10aを説明する。図9は、本実施形態における画像出力システム10aの外観を示している。画像出力システム10aは、図2を用いて説明した画像出力システム10と異なり、画像出力装置200−3を有していない。また、画像出力システム10aは、通行する人の存否や接近/離脱だけでなく、人の性別や衣服の色を検知することができる。
<< 5. Modified example ≫
An image output system 10a according to another embodiment of the present invention will be described with reference to FIGS. FIG. 9 shows the appearance of the image output system 10a in this embodiment. Unlike the image output system 10 described with reference to FIG. 2, the image output system 10a does not include the image output device 200-3. Further, the image output system 10a can detect not only the presence / absence of a passing person and the approach / withdrawal but also the sex of a person and the color of clothes.

図10は、画像出力システム10aを構成する制御装置100aの機能ブロック図である。図4で示した制御装置100と異なり、センサ300から取得した画像情報に基づき、人の性別や衣服の色(属性)を検知可能な検知部102aと、属性に応じてコンテンツを選択するコンテンツ選択部105aを有する。また、記憶部101には、属性を定義する属性情報153と、属性ごとに出力させるコンテンツを選択できるようにした出力画像情報152aとを記憶する。   FIG. 10 is a functional block diagram of the control device 100a constituting the image output system 10a. Unlike the control device 100 shown in FIG. 4, based on the image information acquired from the sensor 300, the detection unit 102 a that can detect the gender of a person and the color (attribute) of clothes, and content selection that selects content according to the attribute Part 105a. Further, the storage unit 101 stores attribute information 153 that defines attributes, and output image information 152a that enables selection of content to be output for each attribute.

図11は、属性情報153を格納するテーブルの例を表す。図11は、属性を特定するための属性IDと、人の性別及び衣服の色とを関連付ける。すなわち、検知部102aの検知した人の属性に応じて、属性IDが特定される。例えば、検知部102aが、人を「女性」であり、衣服の色を「黒」と検知した場合には、属性IDは「fb」となる。   FIG. 11 shows an example of a table that stores attribute information 153. FIG. 11 associates an attribute ID for specifying an attribute with a person's gender and clothing color. That is, the attribute ID is specified according to the attribute of the person detected by the detection unit 102a. For example, when the detection unit 102a detects that the person is “female” and the color of the clothes is “black”, the attribute ID is “fb”.

図12は、図6を用いて説明した出力画像情報152のうち、本実施形態において「接近/滞在」状態に用いられる、出力画像情報152−5aを格納するテーブルである。図12に例示されるテーブルは、図6(e)に例示されるテーブルと比べて、新たに「属性ID」の項目を有する。本実施形態におけるコンテンツ選択部105aは、「接近/滞在」状態において(すなわち、動作条件が満たされた場合)、「属性ID」に応じて出力画像IDを選択する。   FIG. 12 is a table for storing output image information 152-5a used in the “approach / stay” state in the present embodiment, among the output image information 152 described with reference to FIG. The table illustrated in FIG. 12 has a new “attribute ID” item as compared to the table illustrated in FIG. In this embodiment, the content selection unit 105a selects an output image ID according to the “attribute ID” in the “approach / stay” state (that is, when the operation condition is satisfied).

図12の例では、同じ画像出力装置に対して、図11で定義された属性IDごとに、異なる複数の出力画像IDが関連付けられている。ここで、「welcome1_mb」及び「welcome2_mb」は、黒い服の男性向けに用意されたコンテンツである。同様に、「welcome1_mw」及び「welcome2_mw」は、白い服の男性向けに、「welcome1_fb」及び「welcome2_fb」は、黒い服の女性向けに用意されたコンテンツである。なお、本実施形態において、画像出力装置200−3が備えられていないことから、出力画像情報は、出力先ID「1」と「2」に対してのみ出力画像IDが関連付けられる。   In the example of FIG. 12, a plurality of different output image IDs are associated with the same image output apparatus for each attribute ID defined in FIG. Here, “welcome1_mb” and “welcome2_mb” are contents prepared for men in black clothes. Similarly, “welcome1_mw” and “welcome2_mw” are contents prepared for men in white clothes, and “welcome1_fb” and “welcome2_fb” are contents prepared for women in black clothes. In the present embodiment, since the image output device 200-3 is not provided, the output image information is associated with the output image IDs only for the output destination IDs “1” and “2”.

図13は、本実施形態における画像出力システム10aの具体的な動作例を表す。人による動作の順序や、出力されるコンテンツは、動作条件が満たされた場合を除いて、図8を用いて説明した動作例と同様である。但し、画像出力システム10aは、画像出力装置200−1、200−2に対してのみ、コンテンツを出力する。また、ここでは、通行する人が、女性であり、黒い衣服を纏っているものとする。   FIG. 13 shows a specific operation example of the image output system 10a in the present embodiment. The order of actions by humans and the content to be output are the same as those in the operation example described with reference to FIG. 8 except when the operation conditions are satisfied. However, the image output system 10a outputs content only to the image output devices 200-1 and 200-2. Here, it is assumed that the person who passes is a woman and wears black clothes.

まず、初期状態から、「非検知」状態におけるコンテンツを選択して出力する、ステップS301−S305は、図8のステップS201−S205と同様である。ただし、ここでは、コンテンツ選択部105aは、出力先IDが「1」と「2」の出力画像IDと対応するコンテンツを選択する。   First, steps S301 to S305 in which contents in the “non-detection” state are selected and output from the initial state are the same as steps S201 to S205 in FIG. However, here, the content selection unit 105a selects content corresponding to the output image IDs whose output destination IDs are “1” and “2”.

次いで、図8の例と同様に、店舗の近くを通行していた人が、画像出力システム10aに接近したものとする。センサ300は、取得した画像情報を、制御装置100の検知部102aに渡す(ステップS306)。検知部102aは、受け取った画像情報から、人の接近を検知する(ステップS307)。さらに、検知部102aは、受け取った画像情報から、人の性別「女性」と、衣服の色「黒」とを検知し、図11に示される属性情報に基づいて、人の属性を表す属性ID「fb」を特定する(ステップS308)。そして、検知部102aは、人の接近を検知した旨と、特定した属性IDとを、コンテンツ選択部105aに通知する(ステップS309)。その後、コンテンツ選択部105aは、図8のステップS210−S214と同様に、状態を「検知」状態とし、図6(b)に示される、出力先ID「1」と「2」の出力画像IDのコンテンツを選択する。そして、出力部107がこれらのコンテンツを出力する(ステップS310−S314)。   Next, as in the example of FIG. 8, it is assumed that a person who has passed near the store approaches the image output system 10 a. The sensor 300 passes the acquired image information to the detection unit 102a of the control device 100 (step S306). The detection unit 102a detects the approach of a person from the received image information (step S307). Further, the detection unit 102a detects the gender “female” of the person and the color “black” of the clothes from the received image information, and the attribute ID representing the attribute of the person based on the attribute information shown in FIG. “Fb” is specified (step S308). Then, the detection unit 102a notifies the content selection unit 105a of the detection of the approach of a person and the specified attribute ID (step S309). After that, the content selection unit 105a sets the state to the “detection” state as in Steps S210 to S214 of FIG. 8, and the output image IDs of the output destination IDs “1” and “2” illustrated in FIG. Select content for. Then, the output unit 107 outputs these contents (steps S310 to S314).

その後、図8のステップS216−S223と同様に、人が、所定領域内に一定時間以上滞在すると、コンテンツ選択部105aは、状態を「滞在」状態とし、所定のコンテンツを選択して、出力部107に出力させる(ステップS315−S322)。さらに、図8のステップS225−S234と同様に、人が、動作条件を満たさない動作を行った場合には、再度同じコンテンツを出力部107に出力させる(ステップS323−S332)。   Thereafter, as in steps S216 to S223 in FIG. 8, when a person stays in the predetermined area for a predetermined time or longer, the content selection unit 105a sets the state to the “stay” state, selects the predetermined content, and outputs the output unit. 107 (steps S315 to S322). Further, similarly to steps S225 to S234 in FIG. 8, when a person performs an operation that does not satisfy the operation condition, the same content is output to the output unit 107 again (steps S323 to S332).

さらに、図8のステップS225−S234と同様に、人が、動作条件を満たす動作を行った場合には、コンテンツ選択部105aは、状態を「動作検出」状態とし、所定のコンテンツを選択して、出力部107に出力させる(ステップS333−S342)。   Furthermore, as in steps S225 to S234 in FIG. 8, when a person performs an operation that satisfies the operation condition, the content selection unit 105a sets the state to the “motion detection” state, selects a predetermined content, The output unit 107 outputs the data (steps S333 to S342).

そして、図8のステップS247−S249と同様に、人が、さらに画像出力システム10に接近したとすると、検知部102aは、その旨をコンテンツ選択部105aに通知する(ステップS343−S345)。次に、コンテンツ選択部105aは、ステップS345の通知を受け、状態を「接近/滞在」状態とする。そして、ステップS309で受け取った属性ID「fb」に基づき、図12に示される二つのコンテンツ「welcome2_fb」、「welcome1_fb」を選択する(ステップS346)。「welcome1_fb」は、表示領域外に消えたキャラクターが、再び店舗方向から現れ、女性向けの黒い服を着て、画像出力装置200−1の方向(すなわち、人の方向)に向かって、画像出力装置200−2の表示領域外へ走っていく演出のコンテンツである。また、「welcome2_fb」は、「welcome1」と連動するコンテンツであり、welcome1で表示領域外に移動したキャラクターが、画像出力装置200−1に現れるとともに、おすすめ商品や売れ筋商品等の紹介を行うコンテンツである。なお、キャラクターが身にまとっている黒い服は、店舗で取り扱っている商品であってもよい。その後、出力部107を通じて、選択したコンテンツを各画像出力装置に出力するステップS347−350は、図8のステップS251−S254と同様である。   Then, as in steps S247 to S249 of FIG. 8, if a person further approaches the image output system 10, the detection unit 102a notifies the content selection unit 105a to that effect (steps S343 to S345). Next, the content selection unit 105a receives the notification in step S345 and sets the state to the “approach / stay” state. Then, based on the attribute ID “fb” received in step S309, the two contents “welcome2_fb” and “welcome1_fb” shown in FIG. 12 are selected (step S346). “Welcome1_fb” is a character that has disappeared outside the display area, appears again from the store direction, wears black clothes for women, and outputs an image in the direction of the image output device 200-1 (ie, the direction of a person). This is the content of the effect that runs outside the display area of the device 200-2. “Welcome2_fb” is content linked to “welcome1”, and a character moved outside the display area by welcome1 appears on the image output device 200-1, and introduces recommended products, best-selling products, and the like. is there. Note that the black clothes worn by the character may be products handled at the store. Thereafter, steps S347-350 for outputting the selected content to each image output device through the output unit 107 are the same as steps S251-S254 in FIG.

以上の動作により、本実施形態における画像出力システム10aは、人の属性に合ったコンテンツを提示することにより、より店舗や商品に対する人の関心を惹くことができる。   With the above operation, the image output system 10a according to the present embodiment can attract more people's interest in stores and products by presenting content that matches human attributes.

なお、上述した変形例では、画像出力装置が二つである場合の例を用いたが、画像出力装置が三つであってもよい。   In the modification described above, an example in which there are two image output devices is used, but there may be three image output devices.

10、10a 画像出力システム
100、100a 制御装置
101 記憶部
102、102a 検知部
103 動作検出部
104 動作判定部
105 コンテンツ選択部
106 出力制御部
107 出力部
10, 10a Image output system 100, 100a Control device 101 Storage unit 102, 102a Detection unit 103 Operation detection unit 104 Operation determination unit 105 Content selection unit 106 Output control unit 107 Output unit

米国特許出願公開第2010/0199228号明細書US Patent Application Publication No. 2010/0199228

"KINECT for Windows"、[online]、インターネット<URL: http://www.microsoft.com/en-us/kinectforwindows/develop/>"KINECT for Windows", [online], Internet <URL: http://www.microsoft.com/en-us/kinectforwindows/develop/> "shopperception"、[online]、インターネット<URL: http://www.shopperception.com/>"shopperception", [online], Internet <URL: http://www.shopperception.com/>

Claims (10)

所定の領域内の人の動作を検出する検出部と、
前記動作が予め定められた動作条件を満たすか判定する判定部と、
前記判定部による判定の結果に応じて、第一の画像出力装置に出力させる第一のコンテンツ及び第二の画像出力装置に出力させる第二のコンテンツを夫々選択する選択部と、
選択された前記第一及び第二のコンテンツを前記第一及び第二の画像出力装置に夫々出力させる制御部と、
を有し、
前記選択部は、前記動作が前記動作条件を満たさない場合に、前記動作条件を満たす動作を示すコンテンツを前記第一のコンテンツとして選択する、
画像出力システム。
A detection unit for detecting the movement of a person in a predetermined area;
A determination unit for determining whether the operation satisfies a predetermined operation condition;
A selection unit that selects the first content to be output to the first image output device and the second content to be output to the second image output device, respectively, according to the determination result by the determination unit;
A control unit for outputting the selected first and second contents to the first and second image output devices, respectively;
Have
The selection unit selects, as the first content, content indicating an operation that satisfies the operation condition when the operation does not satisfy the operation condition;
Image output system.
前記選択部は、前記動作が前記動作条件を満たす場合に、前記動作が前記動作条件を満たさない場合に選択する前記第一及び第二のコンテンツと異なるコンテンツを夫々選択する、
請求項1に記載の画像出力システム。
The selection unit selects contents different from the first and second contents to be selected when the operation does not satisfy the operation condition when the operation satisfies the operation condition, respectively.
The image output system according to claim 1.
前記選択部は、前記動作が前記動作条件を満たす場合に、店内に人を誘導するよう促すコンテンツを、前記第一のコンテンツ及び前記第二のコンテンツとして選択する、
請求項2に記載の画像出力システム。
The selection unit selects, as the first content and the second content, content that prompts a person to be guided into a store when the operation satisfies the operation condition.
The image output system according to claim 2.
前記選択部は、前記動作が前記動作条件を満たす場合に、動作を行った人の属性を反映したコンテンツを、前記第一のコンテンツ及び前記第二のコンテンツとして選択する、
請求項2又は3に記載の画像出力システム。
The selection unit selects, as the first content and the second content, content reflecting the attribute of the person who performed the operation when the operation satisfies the operation condition.
The image output system according to claim 2 or 3.
前記選択部は、前記判定部による判定の結果に応じて、第三の画像出力装置に出力させる第三のコンテンツをさらに選択する、
請求項1乃至4の何れか一項に記載の画像出力システム。
The selection unit further selects third content to be output to the third image output device according to the determination result by the determination unit.
The image output system according to any one of claims 1 to 4.
前記第三のコンテンツは、前記所定の領域を示すコンテンツを含む、
請求項5に記載の画像出力システム。
The third content includes content indicating the predetermined area.
The image output system according to claim 5.
人の接近を検知する検知部
をさらに有し、
前記選択部は、前記検知部による検知の結果に応じて、前記第一のコンテンツを選択する、
請求項1乃至6の何れか一項に記載の画像出力システム。
A detection unit for detecting the approach of a person,
The selection unit selects the first content according to a detection result by the detection unit.
The image output system according to any one of claims 1 to 6.
前記選択部は、前記検知部が人の接近を検知した場合に、人の動作を促すコンテンツを前記第一のコンテンツとして選択する、
請求項7に記載の画像出力システム。
The selection unit selects, as the first content, content that prompts a human action when the detection unit detects the approach of a person.
The image output system according to claim 7.
所定の領域内の人の動作を検出する検出段階と、
前記動作が予め定められた動作条件を満たすか判定する判定段階と、
前記判定段階における判定の結果に応じて、第一の画像出力装置に出力させる第一のコンテンツ及び第二の画像出力装置に出力させる第二のコンテンツを夫々選択する選択段階と、
選択された前記第一及び第二のコンテンツを前記第一及び第二の画像出力装置に夫々出力させる出力段階と、
を有し、
前記選択段階において、前記動作が前記動作条件を満たさない場合に、前記動作条件を満たす動作を示すコンテンツを前記第一のコンテンツとして選択する、
画像出力方法。
A detection stage for detecting the movement of a person in a predetermined area;
Determining whether the operation satisfies a predetermined operation condition; and
A selection step of selecting a first content to be output to the first image output device and a second content to be output to the second image output device, respectively, according to the determination result in the determination step;
An output stage for outputting the selected first and second contents to the first and second image output devices, respectively;
Have
In the selection step, when the operation does not satisfy the operation condition, the content indicating the operation satisfying the operation condition is selected as the first content.
Image output method.
コンピュータに、請求項9に記載の画像出力方法を実行させるプログラム。   The program which makes a computer perform the image output method of Claim 9.
JP2013249848A 2013-12-03 2013-12-03 Image output system, image output method, and program Pending JP2015106907A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013249848A JP2015106907A (en) 2013-12-03 2013-12-03 Image output system, image output method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013249848A JP2015106907A (en) 2013-12-03 2013-12-03 Image output system, image output method, and program

Publications (1)

Publication Number Publication Date
JP2015106907A true JP2015106907A (en) 2015-06-08

Family

ID=53436780

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013249848A Pending JP2015106907A (en) 2013-12-03 2013-12-03 Image output system, image output method, and program

Country Status (1)

Country Link
JP (1) JP2015106907A (en)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003333359A (en) * 2002-05-13 2003-11-21 Sony Corp Video display system and video display controller
JP2008282092A (en) * 2007-05-08 2008-11-20 Canon Inc Information processor allowing user to learn gesture command during operation
JP2010113314A (en) * 2008-11-10 2010-05-20 Nec Corp Electronic advertisement system, electronic advertisement distribution apparatus, electronic advertisement distribution method and program
JP2010231355A (en) * 2009-03-26 2010-10-14 Sanyo Electric Co Ltd Information display device
JP2011077913A (en) * 2009-09-30 2011-04-14 Nhk Service Center Inc Apparatus and system for processing information transmission, and computer program to be used therefor
JP2012014602A (en) * 2010-07-05 2012-01-19 Hitachi Ltd Signage terminal and system for the same
JP2013050840A (en) * 2011-08-31 2013-03-14 Ube Machinery Corporation Ltd Construction information notification system
JP2013130682A (en) * 2011-12-21 2013-07-04 Canon Marketing Japan Inc Information processing apparatus, and control method thereof, and program
WO2013125032A1 (en) * 2012-02-24 2013-08-29 ジャパン サイエンス アンド テクノロジー トレーディング カンパニー リミテッド Attractive multipurpose electronic signboard system

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003333359A (en) * 2002-05-13 2003-11-21 Sony Corp Video display system and video display controller
JP2008282092A (en) * 2007-05-08 2008-11-20 Canon Inc Information processor allowing user to learn gesture command during operation
JP2010113314A (en) * 2008-11-10 2010-05-20 Nec Corp Electronic advertisement system, electronic advertisement distribution apparatus, electronic advertisement distribution method and program
JP2010231355A (en) * 2009-03-26 2010-10-14 Sanyo Electric Co Ltd Information display device
JP2011077913A (en) * 2009-09-30 2011-04-14 Nhk Service Center Inc Apparatus and system for processing information transmission, and computer program to be used therefor
JP2012014602A (en) * 2010-07-05 2012-01-19 Hitachi Ltd Signage terminal and system for the same
JP2013050840A (en) * 2011-08-31 2013-03-14 Ube Machinery Corporation Ltd Construction information notification system
JP2013130682A (en) * 2011-12-21 2013-07-04 Canon Marketing Japan Inc Information processing apparatus, and control method thereof, and program
WO2013125032A1 (en) * 2012-02-24 2013-08-29 ジャパン サイエンス アンド テクノロジー トレーディング カンパニー リミテッド Attractive multipurpose electronic signboard system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
加納 恵: "タッチ式、透過型、ジェスチャー操作ができる デジタルサイネージジャパン2012−3/17", CNET JAPAN, JPN6017032905, 13 June 2012 (2012-06-13), JP, ISSN: 0003630552 *

Similar Documents

Publication Publication Date Title
Helf et al. Apps for life change: Critical review and solution directions
US11061533B2 (en) Large format display apparatus and control method thereof
US11120601B2 (en) Animated expressive icon
Trajkova et al. Move your body: Engaging museum visitors with human-data interaction
CN109074368A (en) Use the graphics frame of isomery social networks
US11877203B2 (en) Controlled exposure to location-based virtual content
US11741294B2 (en) Decoupling website service from presentation layer
EP3336796A1 (en) Simulation program, simulation method, and simulation device
US20120169754A1 (en) Method and apparatus for providing synthesizable graphics for user terminals
US20240160655A1 (en) Media request system
Muller et al. A design approach towards affording the trend of privacy
US11120386B2 (en) Computer-readable recording medium, simulation method, and simulation apparatus
Almeida et al. Multi-device applications using the multimodal architecture
JP2015106907A (en) Image output system, image output method, and program
US11915571B2 (en) Systems and methods for dynamically monitoring distancing using a spatial monitoring platform
Liu et al. Interactive point system supporting point classification and spatial visualization
KR102528108B1 (en) Digital content output system using mirror media
US20230298239A1 (en) Data processing method based on augmented reality
WO2024021792A1 (en) Virtual scene information processing method and apparatus, device, storage medium, and program product
US11579684B1 (en) System and method for an augmented reality goal assistant
US20230376175A1 (en) Facilitating interactions based on user access patterns
US20230393730A1 (en) User interface including multiple interaction zones
US20240004534A1 (en) Click and swap
KR20210146638A (en) Method and apparatus for inducing user access
Duque AR interaction and collaboration in interchangeable reality

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180424

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20181023