JP2020201651A - Information processing device, information processing system, and information processing method - Google Patents

Information processing device, information processing system, and information processing method Download PDF

Info

Publication number
JP2020201651A
JP2020201651A JP2019107173A JP2019107173A JP2020201651A JP 2020201651 A JP2020201651 A JP 2020201651A JP 2019107173 A JP2019107173 A JP 2019107173A JP 2019107173 A JP2019107173 A JP 2019107173A JP 2020201651 A JP2020201651 A JP 2020201651A
Authority
JP
Japan
Prior art keywords
information
output
content
person
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019107173A
Other languages
Japanese (ja)
Other versions
JP7395850B2 (en
Inventor
幸一 畑
Koichi Hata
幸一 畑
関根 豊
Yutaka Sekine
豊 関根
山本 一
Hajime Yamamoto
一 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toppan Inc
Original Assignee
Toppan Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toppan Printing Co Ltd filed Critical Toppan Printing Co Ltd
Priority to JP2019107173A priority Critical patent/JP7395850B2/en
Publication of JP2020201651A publication Critical patent/JP2020201651A/en
Application granted granted Critical
Publication of JP7395850B2 publication Critical patent/JP7395850B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

To provide appropriate information content according to environment in which a detected person and an output device are placed.SOLUTION: An information processing device comprises: an image processing unit that detects a person included in image information captured by an imaging device and extracts attribute information of the detected person, which includes one of demographic characteristics and behavior attribute information indicating characteristic behavior of the detected person, based on the image information; a content extraction unit that extracts, when the image processing unit detects the detected person, information content corresponding to a device group to which an output device corresponding to the imaging device belongs and selects from the extracted information content the information content satisfying an output condition based on the attribute information of the detected person extracted by the image processing unit; and a content output processing unit that causes the output device corresponding to the imaging device to output the information content selected by the content extraction unit.SELECTED DRAWING: Figure 1

Description

本発明は、情報処理装置、情報処理システム、及び情報処理方法に関する。 The present invention relates to an information processing device, an information processing system, and an information processing method.

近年、店舗内のカメラで顧客の画像を取得し、画像から顧客の人物属性を判定して個人を判別し、更に、判別した個人毎にカメラ位置、顔向き、及び滞在時間から注目商品群を判断し、マーケティングに活用する技術が知られている(例えば、特許文献1、及び特許文献2を参照)。 In recent years, an image of a customer is acquired by a camera in the store, the personal attribute of the customer is determined from the image to identify an individual, and further, a group of products of interest is selected from the camera position, face orientation, and staying time for each identified individual. Techniques for determining and utilizing for marketing are known (see, for example, Patent Document 1 and Patent Document 2).

特開2004−348618号公報Japanese Unexamined Patent Publication No. 2004-348618 特開2008−152810号公報Japanese Unexamined Patent Publication No. 2008-152810

しかしながら、上述した従来技術では、店舗内の顧客情報を収集し、顧客が注目する注目商品群に対応する商品の案内を顧客に提供する技術であり、例えば、様々な環境に設置された出力デバイス及出力デバイスの周辺にいる人物に応じて、広告などの情報コンテンツを適切に提供するものではなかった。 However, the above-mentioned conventional technology is a technology that collects customer information in a store and provides the customer with information on products corresponding to the attention product group that the customer pays attention to. For example, an output device installed in various environments. It did not properly provide information content such as advertisements depending on the people around the output device.

本発明は、上記問題を解決すべくなされたもので、その目的は、検出した検出人物及び出力デバイスが置かれている環境に応じて、適切な情報コンテンツを提供することができる情報処理装置、情報処理システム、及び情報処理方法を提供することにある。 The present invention has been made to solve the above problems, and an object of the present invention is an information processing device capable of providing appropriate information content according to an environment in which a detected detection person and an output device are placed. The purpose is to provide an information processing system and an information processing method.

上記問題を解決するために、本発明の一態様は、撮像装置が撮像した画像情報に含まれる人物を検出し、検出した検出人物の属性情報であって、少なくとも前記検出人物の人口統計学的特性と、前記検出人物の特徴的な行動を示す行動属性情報とのいずれかを含む検出人物の属性情報を、前記画像情報に基づいて抽出する画像処理部と、前記画像処理部が前記検出人物を検出した場合に、前記撮像装置に対応する出力デバイスが所属するデバイスグループに対応する情報コンテンツを抽出し、抽出した前記情報コンテンツのうちから、前記画像処理部が抽出した前記検出人物の属性情報に基づく出力条件を満たす情報コンテンツを選択するコンテンツ抽出部と、前記コンテンツ抽出部が選択した当該情報コンテンツを、前記撮像装置に対応する前記出力デバイスに出力させるコンテンツ出力処理部とを備えることを特徴とする情報処理装置である。 In order to solve the above problem, one aspect of the present invention is the attribute information of a detected person who has detected a person included in the image information captured by the image pickup apparatus, and is at least the demographic of the detected person. An image processing unit that extracts attribute information of a detected person including any of a characteristic and behavior attribute information indicating a characteristic behavior of the detected person based on the image information, and the image processing unit is the detected person. Is detected, the information content corresponding to the device group to which the output device corresponding to the imaging device belongs is extracted, and the attribute information of the detected person extracted by the image processing unit is extracted from the extracted information content. It is characterized by including a content extraction unit that selects information content that satisfies the output condition based on the above, and a content output processing unit that outputs the information content selected by the content extraction unit to the output device corresponding to the image pickup device. It is an information processing device.

また、本発明の一態様は、上記に記載の情報処理装置と、複数の前記撮像装置と、前記撮像装置に対応付けられた前記出力デバイスとを備えることを特徴とする情報処理システムである。 Further, one aspect of the present invention is an information processing system including the information processing device described above, a plurality of the image pickup devices, and an output device associated with the image pickup device.

また、本発明の一態様は、画像処理部が、撮像装置が撮像した画像情報に含まれる人物を検出し、検出した検出人物の属性情報であって、少なくとも前記検出人物の人口統計学的特性と、前記検出人物の特徴的な行動を示す行動属性情報とのいずれかを含む検出人物の属性情報を、前記画像情報に基づいて抽出する画像処理ステップと、コンテンツ抽出部が、前記画像処理ステップによって前記検出人物が検出された場合に、前記撮像装置に対応する出力デバイスが所属するデバイスグループに対応する情報コンテンツを抽出し、抽出した前記情報コンテンツのうちから、前記画像処理によって抽出された前記検出人物の属性情報に基づく出力条件を満たす情報コンテンツを選択するコンテンツ抽出ステップと、コンテンツ出力処理部が、前記コンテンツ抽出ステップによって選択された当該情報コンテンツを、前記撮像装置に対応する前記出力デバイスに出力させるコンテンツ出力処理ステップとを含むことを特徴とする情報処理方法である。 Further, in one aspect of the present invention, the image processing unit detects a person included in the image information captured by the image pickup apparatus, and the attribute information of the detected person, which is at least the demographic characteristics of the detected person. An image processing step of extracting the attribute information of the detected person including any of the behavior attribute information indicating the characteristic behavior of the detected person based on the image information, and the content extraction unit performing the image processing step. When the detected person is detected by, the information content corresponding to the device group to which the output device corresponding to the imaging device belongs is extracted, and the information content extracted by the image processing is extracted from the extracted information content. A content extraction step that selects information content that satisfies the output conditions based on the attribute information of the detected person, and a content output processing unit transfers the information content selected by the content extraction step to the output device corresponding to the imaging device. It is an information processing method characterized by including a content output processing step to be output.

本発明によれば、検出した検出人物及び出力デバイスが置かれている環境に応じて、適切な情報コンテンツを提供することができる。 According to the present invention, it is possible to provide appropriate information content according to the environment in which the detected detection person and the output device are placed.

本実施形態による情報処理システムの一例を示すブロック図である。It is a block diagram which shows an example of the information processing system by this Embodiment. 本実施形態におけるカメラグループ情報記憶部のデータ例を示す図である。It is a figure which shows the data example of the camera group information storage part in this embodiment. 本実施形態におけるカメラグループ対応記憶部のデータ例を示す図である。It is a figure which shows the data example of the storage part corresponding to a camera group in this embodiment. 本実施形態におけるカメラ情報記憶部のデータ例を示す図である。It is a figure which shows the data example of the camera information storage part in this embodiment. 本実施形態における出力デバイスグループ情報記憶部のデータ例を示す図である。It is a figure which shows the data example of the output device group information storage part in this embodiment. 本実施形態における出力デバイスグループ対応記憶部のデータ例を示す図である。It is a figure which shows the data example of the output device group correspondence storage part in this embodiment. 本実施形態における出力デバイス情報記憶部のデータ例を示す図である。It is a figure which shows the data example of the output device information storage part in this embodiment. 本実施形態におけるキャンペーングループ情報記憶部のデータ例を示す図である。It is a figure which shows the data example of the campaign group information storage part in this embodiment. 本実施形態におけるキャンペーングループ対応記憶部のデータ例を示す図である。It is a figure which shows the data example of the campaign group correspondence storage part in this embodiment. 本実施形態におけるキャンペーン情報記憶部のデータ例を示す図である。It is a figure which shows the data example of the campaign information storage part in this embodiment. 本実施形態における人物情報記憶部のデータ例を示す図である。It is a figure which shows the data example of the person information storage part in this embodiment. 本実施形態における行動履歴記憶部のデータ例を示す図である。It is a figure which shows the data example of the action history storage part in this embodiment. 本実施形態におけるカメラデバイス対応記憶部のデータ例を示す図である。It is a figure which shows the data example of the storage part corresponding to a camera device in this embodiment. 本実施形態におけるデバイスロック情報記憶部のデータ例を示す図である。It is a figure which shows the data example of the device lock information storage part in this embodiment. 本実施形態におけるコンテンツ情報記憶部のデータ例を示す図である。It is a figure which shows the data example of the content information storage part in this embodiment. 本実施形態における出力履歴記憶部のデータ例を示す図である。It is a figure which shows the data example of the output history storage part in this embodiment. 本実施形態における情報処理システムの行動履歴の収集処理の一例を示すフローチャートである。It is a flowchart which shows an example of the collection process of the action history of the information processing system in this embodiment. 本実施形態における情報処理システムの情報コンテンツの出力処理の一例を示すフローチャートである。It is a flowchart which shows an example of the output processing of the information content of the information processing system in this embodiment. 本実施形態におけるキャンペーン情報の管理画面の一例を示す図である。It is a figure which shows an example of the management screen of the campaign information in this embodiment.

以下、本発明の一実施形態による情報処理装置、及び情報処理システムについて、図面を参照して説明する。 Hereinafter, the information processing apparatus and the information processing system according to the embodiment of the present invention will be described with reference to the drawings.

図1は、本実施形態による情報処理システム1の一例を示すブロック図である。
図1に示すように、情報処理システム1は、情報処理装置10と、複数のカメラ20と、複数の出力デバイス30と、データサーバ装置40と、管理端末装置50とを備えている。また、情報処理装置10と、複数のカメラ20と、複数の出力デバイス30と、データサーバ装置40と、管理端末装置50とは、ネットワークNW1を介して接続されている。
FIG. 1 is a block diagram showing an example of the information processing system 1 according to the present embodiment.
As shown in FIG. 1, the information processing system 1 includes an information processing device 10, a plurality of cameras 20, a plurality of output devices 30, a data server device 40, and a management terminal device 50. Further, the information processing device 10, the plurality of cameras 20, the plurality of output devices 30, the data server device 40, and the management terminal device 50 are connected via the network NW1.

カメラ20(撮像装置の一例)は、例えば、動画を含む画像を撮像可能な監視カメラなどであり、情報処理システム1が導入されている様々な場所に設置されている。カメラ20は、撮像した撮像情報(画像情報)を後述する情報処理装置10に出力する。なお、カメラ20には、店舗ST内に設置されているカメラ21と、店舗ST外に設置されているカメラ22とが含まれる。カメラ20は、常時撮像するものであってもよいし、人感センサ(不図示)を備えて、周辺に人が近づいたことを検出して、撮像を開始するものであってもよい。 The camera 20 (an example of an imaging device) is, for example, a surveillance camera capable of capturing an image including a moving image, and is installed in various places where the information processing system 1 is installed. The camera 20 outputs the captured image information (image information) to the information processing device 10 described later. The camera 20 includes a camera 21 installed inside the store ST and a camera 22 installed outside the store ST. The camera 20 may be one that constantly captures images, or may be provided with a motion sensor (not shown) to detect that a person is approaching the vicinity and start imaging.

なお、図1に示す例では、カメラ21とカメラ22とをそれぞれ1台記載しているが、カメラ21とカメラ22とのそれぞれは、複数台設置されているものとする。また、本実施形態において、カメラ21とカメラ22とは、情報処理システム1が備える任意のカメラを示す場合、又は特に区別しない場合には、カメラ20として説明する。 In the example shown in FIG. 1, one camera 21 and one camera 22 are described, but it is assumed that a plurality of each of the camera 21 and the camera 22 are installed. Further, in the present embodiment, the camera 21 and the camera 22 will be described as the camera 20 when indicating an arbitrary camera included in the information processing system 1 or when not particularly distinguished.

カメラ20は、設置環境(例えば、店舗ST内、店舗ST外など)の異なる複数の撮像グループのいずれかに所属している。図1に示す例では、複数の撮像グループは、店舗ST内に設置されたカメラ20のグループであるカメラグループGr1(第1グループ)と、店舗ST外に設置されたカメラ20のグループであるカメラグループGr2(第2グループ)とである。 The camera 20 belongs to one of a plurality of imaging groups having different installation environments (for example, inside the store ST, outside the store ST, etc.). In the example shown in FIG. 1, the plurality of imaging groups are a camera group Gr1 (first group) which is a group of cameras 20 installed in the store ST and a camera which is a group of cameras 20 installed outside the store ST. It is a group Gr2 (second group).

出力デバイス30は、例えば、デジタルサイネージ装置、AI(Artificial Intelligence)スピーカ、プロジェクタなどのコミュニケーションデバイスであり、カメラ20に対応付けられて、様々な場所に設置されている。出力デバイス30は、後述する情報処理装置10から提供された広告やコミュニケーションコンテンツなどの情報コンテンツを出力する。 The output device 30 is, for example, a communication device such as a digital signage device, an AI (Artificial Intelligence) speaker, or a projector, and is associated with the camera 20 and installed in various places. The output device 30 outputs information content such as advertisements and communication contents provided by the information processing device 10 described later.

なお、図1に示す例では、出力デバイス31と出力デバイス32とをそれぞれ1台記載しているが、出力デバイス31と出力デバイス32とのそれぞれは、カメラ20と同様に、複数台設置されているものとする。また、本実施形態において、出力デバイス31と出力デバイス32とは、情報処理システム1が備える任意の出力デバイスを示す場合、又は特に区別しない場合には、出力デバイス30として説明する。 In the example shown in FIG. 1, one output device 31 and one output device 32 are described, but a plurality of each of the output device 31 and the output device 32 are installed as in the camera 20. It is assumed that there is. Further, in the present embodiment, the output device 31 and the output device 32 will be described as the output device 30 when indicating an arbitrary output device included in the information processing system 1 or when not particularly distinguished.

データサーバ装置40は、例えば、ネットワークNW1に接続されたサーバ装置であり、情報処理システム1が利用する各種データ(各種情報)を記憶する。データサーバ装置40は、カメラグループ情報記憶部401と、カメラグループ対応記憶部402と、カメラ情報記憶部403と、出力デバイスグループ情報記憶部404と、出力デバイスグループ対応記憶部405と、出力デバイス情報記憶部406と、キャンペーングループ情報記憶部407と、キャンペーングループ対応記憶部408と、キャンペーン情報記憶部409と、人物情報記憶部410と、行動履歴記憶部411と、カメラデバイス対応記憶部412と、デバイスロック情報記憶部413と、コンテンツ情報記憶部414と、コンテンツファイル記憶部415と、出力履歴記憶部416とを備えている。 The data server device 40 is, for example, a server device connected to the network NW1 and stores various data (various information) used by the information processing system 1. The data server device 40 includes a camera group information storage unit 401, a camera group compatible storage unit 402, a camera information storage unit 403, an output device group information storage unit 404, an output device group compatible storage unit 405, and an output device information. Storage unit 406, campaign group information storage unit 407, campaign group compatible storage unit 408, campaign information storage unit 409, person information storage unit 410, action history storage unit 411, camera device compatible storage unit 412, and so on. It includes a device lock information storage unit 413, a content information storage unit 414, a content file storage unit 415, and an output history storage unit 416.

カメラグループ情報記憶部401は、カメラ20のグループ情報であるカメラグループマスタデータを記憶する。カメラグループ情報記憶部401は、例えば、図2に示すように、「カメラグループID」と、「カメラグループ名」とを対応付けて記憶する。ここで、「カメラグループID」は、カメラ20のグループを識別する識別情報であり、「カメラグループ名」は、カメラグループの名称である。 The camera group information storage unit 401 stores camera group master data, which is group information of the camera 20. For example, as shown in FIG. 2, the camera group information storage unit 401 stores the “camera group ID” and the “camera group name” in association with each other. Here, the "camera group ID" is identification information for identifying the group of the cameras 20, and the "camera group name" is the name of the camera group.

カメラグループは、例えば、カメラ20の設置場所(例えば、店舗ST内、商品○○の売り場、店舗ST外のメイン通り、等)などの設置環境を示すグループである。
例えば、図2に示す例では、「カメラグループID」が“CG01”に対応する「カメラグループ名」が、“○○店”であることを示している。また、「カメラグループID」が“CG02”に対応する「カメラグループ名」が、“店外カメラ”であることを示している。
The camera group is a group indicating an installation environment such as an installation location of the camera 20 (for example, in the store ST, the sales floor of the product XX, the main street outside the store ST, etc.).
For example, in the example shown in FIG. 2, the "camera group name" corresponding to the "camera group ID" of "CG01" is "○○ store". Further, it is shown that the "camera group name" corresponding to the "camera group ID" of "CG02" is the "out-of-store camera".

カメラグループ対応記憶部402は、情報処理システム1におけるカメラ20とカメラグループとの対応を示す対応テーブル(紐付けテーブル)を記憶する。カメラグループ対応記憶部402は、例えば、図3に示すように、「カメラID」と、「カメラグループID」とを対応付けて記憶する。ここで、「カメラID」は、カメラ20を識別するカメラ識別情報(撮像識別情報)である。
図3に示す例では、「カメラID」が“C001”のカメラ20に対応する「カメラグループID」が“CG01”であることを示している。
The camera group correspondence storage unit 402 stores a correspondence table (association table) indicating the correspondence between the camera 20 and the camera group in the information processing system 1. For example, as shown in FIG. 3, the camera group-corresponding storage unit 402 stores the “camera ID” and the “camera group ID” in association with each other. Here, the "camera ID" is camera identification information (camera identification information) that identifies the camera 20.
In the example shown in FIG. 3, it is shown that the "camera group ID" corresponding to the camera 20 whose "camera ID" is "C001" is "CG01".

カメラ情報記憶部403は、カメラ20に関する管理情報であるカメラマスタデータを記憶する。カメラ情報記憶部403は、例えば、図4に示すように、「カメラID」と、「ロケーション種別」と、「設置場所名」と、「設置場所情報」とを対応付けて記憶する。ここで、「ロケーション種別」は、撮像場所の種別を示す情報であり、「設置場所名」は、カメラ20が設置されている場所の名称を示している。また、「設置場所情報」は、カメラ20が設置されている場所の詳細情報(例えば、場所情報、緯度・経度情報など)を示している。 The camera information storage unit 403 stores camera master data which is management information about the camera 20. For example, as shown in FIG. 4, the camera information storage unit 403 stores the “camera ID”, the “location type”, the “installation location name”, and the “installation location information” in association with each other. Here, the "location type" is information indicating the type of the imaging location, and the "installation location name" indicates the name of the location where the camera 20 is installed. Further, the "installation location information" indicates detailed information (for example, location information, latitude / longitude information, etc.) of the location where the camera 20 is installed.

例えば、図4に示す例では、「カメラID」が“C001”のカメラ20は、「ロケーション種別」が“○○店内”であり、「設置場所名」が“○○売り場”であり、「設置場所情報」が“○○横、緯度XXX,経度YYY”であることを示している。 For example, in the example shown in FIG. 4, the camera 20 having the "camera ID" of "C001" has the "location type" of "inside the XX store", the "installation location name" of the "XX sales floor", and " It indicates that "installation location information" is "○○ horizontal, latitude XXX, longitude YYY".

出力デバイスグループ情報記憶部404は、出力デバイス30のグループ情報であるデバイスグループマスタデータを記憶する。出力デバイスグループ情報記憶部404は、例えば、図5に示すように、「デバイスグループID」と、「デバイスグループ名」とを対応付けて記憶する。ここで、「デバイスグループID」は、出力デバイス30のグループを識別する識別情報であり、「デバイスグループ名」は、デバイスグループの名称である。 The output device group information storage unit 404 stores device group master data which is group information of the output device 30. For example, as shown in FIG. 5, the output device group information storage unit 404 stores the “device group ID” and the “device group name” in association with each other. Here, the "device group ID" is identification information for identifying the group of the output device 30, and the "device group name" is the name of the device group.

例えば、図5に示す例では、「デバイスグループID」が“DG01”に対応する「デバイスグループ名」が、“○○デバイス”であることを示している。また、「デバイスグループID」が“DG02”に対応する「デバイスグループ名」が、“店外デバイス”であることを示している。 For example, in the example shown in FIG. 5, the "device group name" corresponding to the "device group ID" of "DG01" is "○○ device". Further, it is shown that the "device group name" corresponding to the "device group ID" of "DG02" is the "out-of-store device".

出力デバイスグループ対応記憶部405は、情報処理システム1における出力デバイス30とデバイスグループとの対応を示す対応テーブル(紐付けテーブル)を記憶する。出力デバイスグループ対応記憶部405は、例えば、図6に示すように、「デバイスID」と、「デバイスグループID」とを対応付けて記憶する。ここで、「デバイスID」は、出力デバイス30を識別するデバイス識別情報である。
図6に示す例では、「デバイスID」が“D001”の出力デバイス30に対応する「デバイスグループID」が“DG01”であることを示している。
The output device group correspondence storage unit 405 stores a correspondence table (association table) indicating the correspondence between the output device 30 and the device group in the information processing system 1. As shown in FIG. 6, for example, the output device group-corresponding storage unit 405 stores the “device ID” and the “device group ID” in association with each other. Here, the "device ID" is device identification information that identifies the output device 30.
In the example shown in FIG. 6, it is shown that the "device group ID" corresponding to the output device 30 whose "device ID" is "D001" is "DG01".

出力デバイス情報記憶部406は、出力デバイス30に関する管理情報であるデバイスマスタデータを記憶する。出力デバイス情報記憶部406は、例えば、図7に示すように、「デバイスID」と、「ロケーション種別」と、「設置場所名」と、「設置場所情報」と、「デバイスロック時間」とを対応付けて記憶する。ここで、「ロケーション種別」は、出力場所の種別を示す情報であり、「設置場所名」は、出力デバイス30が設置されている場所の名称を示している。また、「設置場所情報」は、出力デバイス30が設置されている場所の詳細情報(例えば、場所情報、緯度・経度情報など)を示している。 The output device information storage unit 406 stores device master data which is management information about the output device 30. For example, as shown in FIG. 7, the output device information storage unit 406 sets the "device ID", the "location type", the "installation location name", the "installation location information", and the "device lock time". Store in association with each other. Here, the "location type" is information indicating the type of the output location, and the "installation location name" indicates the name of the location where the output device 30 is installed. Further, the "installation location information" indicates detailed information (for example, location information, latitude / longitude information, etc.) of the location where the output device 30 is installed.

また、「デバイスロック時間」は、出力デバイス30が情報コンテンツを既に出力中であり、新たな情報コンテンツを出力できない状態となる時間を示している。
例えば、図7に示す例では、「デバイスID」が“D001”の出力デバイス30は、「ロケーション種別」が“○○店内”であり、「設置場所名」が“○○売り場”であり、「設置場所情報」が“○○横、緯度XXX,経度YYY”であることを示している。また、「デバイスロック時間」が“30秒”であることを示している。
Further, the "device lock time" indicates the time during which the output device 30 is already outputting the information content and cannot output the new information content.
For example, in the example shown in FIG. 7, the output device 30 having the “device ID” of “D001” has the “location type” of “○○ store” and the “installation location name” of “○○ sales floor”. It indicates that the "installation location information" is "○○ horizontal, latitude XXX, longitude YYY". It also indicates that the "device lock time" is "30 seconds".

キャンペーングループ情報記憶部407は、広告などのキャンペーンのグループ情報であるキャンペーングループマスタデータを記憶する。キャンペーングループ情報記憶部407は、例えば、図8に示すように、「キャンペーングループID」と、「キャンペーングループ名」とを対応付けて記憶する。ここで、「キャンペーングループID」は、キャンペーンのグループを識別する識別情報であり、「キャンペーングループ名」は、キャンペーングループの名称である。 The campaign group information storage unit 407 stores campaign group master data which is group information of a campaign such as an advertisement. For example, as shown in FIG. 8, the campaign group information storage unit 407 stores the “campaign group ID” and the “campaign group name” in association with each other. Here, the "campaign group ID" is identification information for identifying the campaign group, and the "campaign group name" is the name of the campaign group.

例えば、図8に示す例では、「キャンペーングループID」が“CP001”に対応する「キャンペーングループ名」が、“○○アイスリニューアルPR”であることを示している。また、「キャンペーングループID」が“CP002”に対応する「キャンペーングループ名」が、“××ドリンクPR”であることを示している。 For example, in the example shown in FIG. 8, it is shown that the “campaign group name” corresponding to the “campaign group ID” “CP001” is “○○ ice renewal PR”. Further, it is shown that the "campaign group name" corresponding to the "campaign group ID" of "CP002" is "XX drink PR".

キャンペーングループ対応記憶部408は、本実施形態におけるキャンペーンとキャンペーングループとの対応を示す対応テーブル(紐付けテーブル)を記憶する。キャンペーングループ対応記憶部408は、例えば、図9に示すように、「キャンペーングループID」と、「キャンペーンID」とを対応付けて記憶する。ここで、「キャンペーンID」は、キャンペーンを識別するキャンペーン識別情報である。
図9に示す例では、「キャンペーングループID」が“CP001”に対応する「キャンペーンID」が“CP001−01”であることを示している。
The campaign group correspondence storage unit 408 stores a correspondence table (association table) indicating the correspondence between the campaign and the campaign group in the present embodiment. For example, as shown in FIG. 9, the campaign group corresponding storage unit 408 stores the “campaign group ID” and the “campaign ID” in association with each other. Here, the "campaign ID" is the campaign identification information that identifies the campaign.
In the example shown in FIG. 9, it is shown that the "campaign ID" corresponding to the "campaign group ID" is "CP001" is "CP001-01".

キャンペーン情報記憶部409は、キャンペーンに関する管理情報であるキャンペーンマスタデータを記憶する。キャンペーン情報記憶部409は、例えば、図10に示すように、「キャンペーンID」と、「キャンペーン名」と、「適用開始日時」と、「適用終了日時」と、「出力条件」と、「デバイスグループID」と、「コンテンツID」とを対応付けたキャンペーン情報を記憶する。ここで、「キャンペーン名」は、キャンペーンの名称を示し、「適用開始日時」及び「適用終了日時」は、キャンペーンの開始日時及び終了日時を示している。 The campaign information storage unit 409 stores campaign master data, which is management information related to the campaign. As shown in FIG. 10, for example, the campaign information storage unit 409 includes a "campaign ID", a "campaign name", an "application start date and time", an "application end date and time", an "output condition", and a "device". The campaign information in which the "group ID" and the "content ID" are associated with each other is stored. Here, the "campaign name" indicates the name of the campaign, and the "application start date and time" and the "application end date and time" indicate the start date and time and the end date and time of the campaign.

また、「出力条件」は、キャンペーンを出力デバイス30に出力するための出力条件を示している。なお、「出力条件」は、例えば、後述する画像処理部111が、カメラ20の撮像情報から抽出した検出人物の属性情報に基づく条件である。また、「デバイスグループID」は、キャンペーンに対応するデバイスグループを示し、「コンテンツID」は、キャンペーンで出力する情報コンテンツを識別するコンテンツ識別情報を示している。 Further, the "output condition" indicates an output condition for outputting the campaign to the output device 30. The "output condition" is, for example, a condition based on the attribute information of the detected person extracted from the image pickup information of the camera 20 by the image processing unit 111 described later. Further, the "device group ID" indicates a device group corresponding to the campaign, and the "content ID" indicates content identification information for identifying the information content to be output in the campaign.

図10に示す例では、「キャンペーンID」が“CP001−01”に対応するキャンペーンは、「キャンペーン名」が“男性20代店内”であり、「適用開始日時」及び「適用終了日時」が“2019/2/3”及び“2019/2/15”であることを示している。また、このキャンペーンは、「出力条件」が“男性、20歳代、デバイス注視行動”であることを示している。また、このキャンペーンの「デバイスグループID」が“DG02”であり、「コンテンツID」が“CT001”であることを示している。 In the example shown in FIG. 10, in the campaign corresponding to the "campaign ID" of "CP001-01", the "campaign name" is "inside the male 20s store", and the "application start date and time" and "application end date and time" are ". It shows that it is "2019/2/3" and "2019/2/15". In addition, this campaign shows that the "output condition" is "male, 20s, device gaze behavior". Further, it is shown that the "device group ID" of this campaign is "DG02" and the "content ID" is "CT001".

人物情報記憶部410は、カメラ20が撮像した画像情報から検出された人物に関する情報である人物マスタデータを記憶する。人物情報記憶部410は、例えば、図11に示すように、「人物ID」と、「性別」と、「性別信頼度」と、「年代」と、「年代信頼度」と、「行動属性情報」と、「初回登録日時」と、「初回登録カメラID」と、「最終更新日時」とを対応付けて記憶する。ここで、「人物ID」は、カメラ20が撮像した画像情報から検出された人物を識別する人物識別情報であり、画像情報から特徴量を抽出し、抽出した当該特徴量に基づいて特定された人物(検出人物)に付与される。 The person information storage unit 410 stores person master data which is information about a person detected from the image information captured by the camera 20. As shown in FIG. 11, for example, the person information storage unit 410 includes "person ID", "gender", "gender reliability", "age", "age reliability", and "behavior attribute information". , "First registration date and time", "First registration camera ID", and "Last update date and time" are stored in association with each other. Here, the "person ID" is person identification information for identifying a person detected from the image information captured by the camera 20, and the feature amount is extracted from the image information and specified based on the extracted feature amount. It is given to a person (detected person).

また、「性別」及び「年代」は、検出人物の性別及び年齢を示し、人口統計学的特性の一例である。また、「性別信頼度」は、抽出された性別の信頼度を示し、「年代信頼度」は、抽出された年代の信頼度を示している。また、「行動属性情報」は、検出人物の特徴的な行動を示し、「初回登録日時」及び「初回登録カメラID」は、検出人物が最初に検出された際の登録日時及びカメラIDを示している。また、「最終更新日時」は、この検出人物に対する人物情報の最終更新日を示している。 In addition, "gender" and "age" indicate the gender and age of the detected person, and are examples of demographic characteristics. In addition, "gender reliability" indicates the reliability of the extracted gender, and "age reliability" indicates the reliability of the extracted age. In addition, "behavior attribute information" indicates the characteristic behavior of the detected person, and "first registration date and time" and "first registration camera ID" indicate the registration date and time and camera ID when the detected person was first detected. ing. Further, the "last update date and time" indicates the last update date of the person information for the detected person.

例えば、図11に示す例では、「人物ID」が“U001”の検出人物は、「性別」及び「年代」が“M”(男性)及び“20−29”(20歳代)であり、「性別信頼度」及び「年代信頼度」が“XXX”及び“YYY”であり、「行動属性情報」が“店内回遊行動”であることを示している。また、この検出人物は、「初回登録日時」が“2019/2/3”であり、「初回登録カメラID」が“C001”であることを示している。
なお、人物情報記憶部410は、上述した情報の他に、最終更新した際のカメラIDや登録・更新回数を示す情報を記憶するようにしてもよい。
For example, in the example shown in FIG. 11, the detected persons whose "person ID" is "U001" are "gender" and "age" of "M" (male) and "20-29"(20's). It indicates that "gender reliability" and "age reliability" are "XXX" and "YYY", and "behavior attribute information" is "in-store migration behavior". Further, this detection person indicates that the "first registration date and time" is "2019/2/3" and the "first registration camera ID" is "C001".
In addition to the above-mentioned information, the person information storage unit 410 may store information indicating the camera ID and the number of registrations / updates at the time of the last update.

行動履歴記憶部411は、カメラ20の画像情報に基づいて検出された検出人物の行動履歴を記憶する。行動履歴記憶部411は、例えば、図12に示すように、「行動ログ番号」と、「人物ID」と、「行動日時」と、「カメラID」と、「行動詳細」とを対応付けて記憶する。ここで、「行動ログ番号」は、行動履歴の番号(行動ログSEQ)を示し、各行動履歴のレコードを識別する識別情報である。また、「行動詳細」は、検出された行動属性情報の詳細を示している。 The action history storage unit 411 stores the action history of the detected person detected based on the image information of the camera 20. As shown in FIG. 12, for example, the action history storage unit 411 associates the "action log number", the "person ID", the "action date and time", the "camera ID", and the "action details". Remember. Here, the "action log number" indicates an action history number (action log SEQ), and is identification information that identifies a record of each action history. In addition, "behavior details" indicates the details of the detected behavior attribute information.

例えば、図12に示す例では、「行動ログ番号」が“AL001”の行動履歴(レコード)は、「人物ID」が“U001”であり、「行動日時」が“2019/2/3”で「カメラID」が“C001”のカメラで検出され、「行動詳細」が“店内回遊行動”であることを示している。 For example, in the example shown in FIG. 12, the action history (record) having the "action log number" of "AL001" has the "person ID" of "U001" and the "action date and time" of "2019/2/3". The "camera ID" is detected by the camera of "C001", and the "action details" indicates that the "in-store walking behavior".

カメラデバイス対応記憶部412は、情報処理システム1におけるカメラ20と、出力デバイス30との対応を示す対応テーブル(紐付けテーブル)を記憶する。カメラデバイス対応記憶部412は、例えば、図13に示すように、「カメラID」と、「デバイスID」とを対応付けて記憶する。
例えば、図13に示す例では、「カメラID」が“C001”のカメラ20と、「デバイスID」が“D001”の出力デバイス30とが対応付けられていることを示している。本実施形態の情報処理システム1では、“C001”のカメラ20により人物を検出した場合には、当該“C001”のカメラ20に対応する“D001”の出力デバイス30を使用して、広告などのキャンペーンのコンテンツを出力する。
The camera device correspondence storage unit 412 stores a correspondence table (association table) indicating the correspondence between the camera 20 in the information processing system 1 and the output device 30. As shown in FIG. 13, for example, the camera device-compatible storage unit 412 stores the “camera ID” and the “device ID” in association with each other.
For example, in the example shown in FIG. 13, it is shown that the camera 20 having the “camera ID” of “C001” and the output device 30 having the “device ID” of “D001” are associated with each other. In the information processing system 1 of the present embodiment, when a person is detected by the camera 20 of the "C001", the output device 30 of the "D001" corresponding to the camera 20 of the "C001" is used to display an advertisement or the like. Output the content of the campaign.

デバイスロック情報記憶部413は、出力デバイス30が情報コンテンツを既に出力中であることを示すデバイスロック情報を記憶する。デバイスロック情報記憶部413は、例えば、図14に示すように、「デバイスID」と、「ロック開始日時」と、「設定ロック時間」とを対応付けて記憶する。ここで、「ロック開始日時」は、出力デバイス30が情報コンテンツの出力を開始した日時を示し、「設定ロック時間」は、出力中の時間(コンテンツの出力時間)を示している。 The device lock information storage unit 413 stores device lock information indicating that the output device 30 is already outputting information content. For example, as shown in FIG. 14, the device lock information storage unit 413 stores the “device ID”, the “lock start date / time”, and the “set lock time” in association with each other. Here, the "lock start date and time" indicates the date and time when the output device 30 starts outputting the information content, and the "set lock time" indicates the time during output (content output time).

例えば、図14に示す例では、「デバイスID」が“D001”の出力デバイス30は、「ロック開始日時」の“2019/05/05、10:00:00”から“30秒”の期間、ロック中であることを示している。 For example, in the example shown in FIG. 14, the output device 30 having the "device ID" of "D001" has a period of "30 seconds" from "2019/05/05/05, 10:00: 00" of the "lock start date and time". Indicates that it is locked.

コンテンツ情報記憶部414は、出力デバイス30から出力する情報コンテンツの情報であるコンテンツマスタデータを記憶する。コンテンツ情報記憶部414は、例えば、図15に示すように、「コンテンツID」と、「コンテンツ種別」と、「ファイルパス」とを対応付けて記憶する。ここで、「コンテンツID」は、情報コンテンツを識別するための識別情報であり、「コンテンツ種別」は、例えば、動画や音声、プロジェクション画像などのコンテンツの種別を示している。また、「ファイルパス」は、情報コンテンツのファイルが格納されている格納先(ファイルパス)を示している。 The content information storage unit 414 stores content master data which is information of information content output from the output device 30. For example, as shown in FIG. 15, the content information storage unit 414 stores the "content ID", the "content type", and the "file path" in association with each other. Here, the "content ID" is identification information for identifying information content, and the "content type" indicates a type of content such as a moving image, an audio, or a projection image. Further, the "file path" indicates a storage destination (file path) in which the information content file is stored.

例えば、図15に示す例では、「コンテンツID」が“CT001”の情報コンテンツは、「コンテンツ種別」が“動画”であり、「ファイルパス」が“\\XXXX\movie\A.mp4”であることを示している。
コンテンツファイル記憶部415は、出力デバイス30から出力する情報コンテンツのファイルを記憶する。コンテンツファイル記憶部415は、上述したコンテンツ情報記憶部414の「ファイルパス」が示す格納先となる記憶部である。
For example, in the example shown in FIG. 15, the information content having the "content ID" of "CT001" has the "content type" of "video" and the "file path" of "\\ XXXX \ movie \ A.mp4". It shows that there is.
The content file storage unit 415 stores a file of information content output from the output device 30. The content file storage unit 415 is a storage unit that serves as a storage destination indicated by the “file path” of the content information storage unit 414 described above.

出力履歴記憶部416は、キャンペーンにより出力デバイス30から情報コンテンツを出力した出力履歴を記憶する。出力履歴記憶部416は、例えば、図16に示すように、「出力ログ番号」と、「行動ログ番号」と、「デバイスID」と、「出力日時」と、「キャンペーンID」とを対応付けた出力履歴情報を記憶する。ここで、「出力ログ番号」は、出力履歴の番号(出力ログSEQ)を示し、各出力履歴のレコードを識別する識別情報である。また、「行動ログ番号」は、上述した行動履歴記憶部411の「行動ログ番号」を示している。また、「出力日時」は、出力デバイス30が情報コンテンツを出力した日時を示している。 The output history storage unit 416 stores the output history of outputting the information content from the output device 30 by the campaign. For example, as shown in FIG. 16, the output history storage unit 416 associates the “output log number”, the “action log number”, the “device ID”, the “output date / time”, and the “campaign ID”. The output history information is stored. Here, the "output log number" indicates an output history number (output log SEQ), and is identification information that identifies a record of each output history. Further, the "action log number" indicates the "action log number" of the above-mentioned action history storage unit 411. The "output date and time" indicates the date and time when the output device 30 outputs the information content.

図16に示す例では、「出力ログ番号」が“LG001”の出力履歴は、「行動ログ番号」が“AL001”に対して、「デバイスID」が“D001”の出力デバイス30を使用して、「出力日時」の“2019/05/05、10:00”に、「キャンペーンID」が“CP001−01”に対応する情報コンテンツを出力したことを示している。
このように、出力履歴記憶部416は、検出人物の行動履歴(「行動ログ番号」)と、使用した出力デバイス30の情報(「デバイスID」)と、出力した内容(「キャンペーンID」)と、出力した日時(「出力日時」)とを対応付けた出力履歴を記憶する。
In the example shown in FIG. 16, the output history in which the "output log number" is "LG001" uses the output device 30 in which the "action log number" is "AL001" and the "device ID" is "D001". , It is shown that the information content corresponding to the "campaign ID" of "CP001-01" is output at "2019/05/05, 10:00" of the "output date and time".
In this way, the output history storage unit 416 includes the action history (“action log number”) of the detected person, the information of the output device 30 used (“device ID”), and the output content (“campaign ID”). , Stores the output history associated with the output date and time (“output date and time”).

管理端末装置50は、例えば、パーソナルコンピュータ(PC)や、タブレット端末などの端末装置であり、ネットワークNW1を介して、データサーバ装置40が記憶する各種情報の管理処理を実行する。管理端末装置50は、入力部51と、表示部52と、端末制御部53とを備えている。 The management terminal device 50 is, for example, a terminal device such as a personal computer (PC) or a tablet terminal, and executes management processing of various information stored in the data server device 40 via the network NW1. The management terminal device 50 includes an input unit 51, a display unit 52, and a terminal control unit 53.

入力部51は、例えば、キーボードやマウスなどの入力装置であり、管理端末装置50の使用者(管理者)から必要な各種情報を受け付ける。
表示部52は、例えば、液晶ディスプレイなどの表示装置であり、各種情報を表示する。表示部52は、例えば、データサーバ装置40が記憶する各種情報を管理する際に、各種表示画面などを表示する。
The input unit 51 is, for example, an input device such as a keyboard or a mouse, and receives various necessary information from the user (administrator) of the management terminal device 50.
The display unit 52 is, for example, a display device such as a liquid crystal display, and displays various information. The display unit 52 displays various display screens and the like when managing various information stored in the data server device 40, for example.

端末制御部53は、例えば、CPU(Central Processing Unit)などを含むプロセッサであり、管理端末装置50を統括的に制御する。端末制御部53は、例えば、管理処理部531を備えている。
管理処理部531は、ネットワークNW1を介して、データサーバ装置40との間で通信を行い、データサーバ装置40が記憶する各種情報を管理する管理処理を実行する。管理処理部531は、例えば、キャンペーン情報記憶部409、キャンペーングループ情報記憶部407、及びキャンペーングループ対応記憶部408へのキャンペーン情報の登録や削除、更新などの管理処理を実行する。また、管理処理部531は、例えば、コンテンツ情報記憶部414及びコンテンツファイル記憶部415に、情報コンテンツの登録や削除、更新などの管理処理を実行する。
The terminal control unit 53 is, for example, a processor including a CPU (Central Processing Unit) and the like, and controls the management terminal device 50 in an integrated manner. The terminal control unit 53 includes, for example, a management processing unit 531.
The management processing unit 531 communicates with the data server device 40 via the network NW1 and executes a management process for managing various information stored in the data server device 40. The management processing unit 531 executes management processing such as registration, deletion, and update of campaign information in the campaign information storage unit 409, the campaign group information storage unit 407, and the campaign group corresponding storage unit 408, for example. Further, the management processing unit 531 executes management processing such as registration, deletion, and update of information content in the content information storage unit 414 and the content file storage unit 415, for example.

情報処理装置10は、例えば、ネットワークNW1に接続されたサーバ装置である。情報処理装置10は、カメラ20を用いて検出した検出人物及び当該検出人物の行動履歴を収集するとともに、検出人物に対応したキャンペーンを選択し、選択したキャンペーンに対応する情報コンテンツ(広告、PR情報、コミュニケーションコンテンツなど)を、出力デバイス30から出力させる。情報処理装置10は、制御部11を備えている。 The information processing device 10 is, for example, a server device connected to the network NW1. The information processing device 10 collects the detected person detected by using the camera 20 and the action history of the detected person, selects a campaign corresponding to the detected person, and provides information content (advertisement, PR information) corresponding to the selected campaign. , Communication content, etc.) is output from the output device 30. The information processing device 10 includes a control unit 11.

制御部11は、例えば、CPUなどを含むプロセッサであり、情報処理装置10を統括的に制御する。制御部11は、画像処理部111と、人物登録処理部112と、行動履歴処理部113と、キャンペーン抽出部114と、コンテンツ出力処理部115と、出力履歴処理部116とを備えている。 The control unit 11 is, for example, a processor including a CPU and the like, and controls the information processing device 10 in an integrated manner. The control unit 11 includes an image processing unit 111, a person registration processing unit 112, an action history processing unit 113, a campaign extraction unit 114, a content output processing unit 115, and an output history processing unit 116.

画像処理部111は、カメラ20が撮像した画像情報に含まれる人物を検出し、検出した検出人物の属性情報を、画像情報に基づいて抽出する。ここで、検出人物の属性情報には、少なくとも検出人物の人口統計学的特性(例えば、性別、年代など)と、検出人物の特徴的な行動を示す行動属性情報とのいずれかが含まれる。画像処理部111は、人物を検出した場合に、例えば、人物の顔や体形、衣服などから特徴量を抽出する。また、画像処理部111は、画像処理部111が抽出した検出人物の特徴量と、不図示の記憶部に記憶されている過去の特徴量とを比較した比較結果に基づいて、新たな人物が検出されたと判定された場合に、検出人物に対して、新たな人物IDを付与する。 The image processing unit 111 detects a person included in the image information captured by the camera 20, and extracts the attribute information of the detected detected person based on the image information. Here, the attribute information of the detected person includes at least one of the demographic characteristics of the detected person (for example, gender, age, etc.) and the behavior attribute information indicating the characteristic behavior of the detected person. When a person is detected, the image processing unit 111 extracts a feature amount from, for example, the face, body shape, clothes, or the like of the person. Further, the image processing unit 111 creates a new person based on a comparison result of comparing the feature amount of the detected person extracted by the image processing unit 111 with the past feature amount stored in the storage unit (not shown). When it is determined that the person has been detected, a new person ID is assigned to the detected person.

また、画像処理部111は、検出人物の動作などから行動属性情報を抽出する。ここで、行動属性情報には、例えば、検出人物の動線に基づく店舗ST内の回遊行動、商品の棚前などの滞留行動、商品を手に取る行動、検出人物の視線や顔の向きに基づく、出力デバイス30や商品などへの注視行動などが含まれる。 In addition, the image processing unit 111 extracts behavior attribute information from the movement of the detected person. Here, the behavior attribute information includes, for example, the behavior of wandering in the store ST based on the movement line of the detected person, the behavior of staying in front of the shelf of the product, the behavior of picking up the product, the direction of the line of sight and the face of the detected person. Based on this, the action of gazing at the output device 30 or the product is included.

なお、画像処理部111は、カメラ20が所属するカメラグループ(撮像グループ)に応じて、異なる行動属性情報を抽出するようにしてもよい。例えば、人物を撮像したカメラ20が、店舗ST内のカメラグループGr1に所属する場合には、画像処理部111は、滞留行動、商品を手に取る行動などを検出し、カメラ20が、店舗ST外のカメラグループGr2に所属する場合には、画像処理部111は、注視行動などを検出するようにしてもよい。 The image processing unit 111 may extract different behavior attribute information according to the camera group (imaging group) to which the camera 20 belongs. For example, when the camera 20 that captures a person belongs to the camera group Gr1 in the store ST, the image processing unit 111 detects the staying behavior, the behavior of picking up the product, and the like, and the camera 20 performs the store ST. When belonging to the outside camera group Gr2, the image processing unit 111 may detect the gaze behavior or the like.

人物登録処理部112(登録処理部の一例)は、画像処理部111が新たに検出した検出人物に、検出人物を識別する人物ID(人物識別情報)を付与し、当該人物IDと、検出人物の属性情報とを対応付けて人物情報記憶部410に記憶させる。人物登録処理部112は、例えば、上述した図11に示すように、人物情報を人物情報記憶部410に記憶させる。 The person registration processing unit 112 (an example of the registration processing unit) assigns a person ID (person identification information) for identifying the detected person to the detected person newly detected by the image processing unit 111, and the person ID and the detected person Is stored in the person information storage unit 410 in association with the attribute information of. The person registration processing unit 112 stores the person information in the person information storage unit 410, for example, as shown in FIG. 11 described above.

また、人物登録処理部112は、画像処理部111が抽出した検出人物の特徴量に基づいて、過去に検出した人物であると判定された場合に、当該検出人物に対応する人物情報記憶部410の人物情報を更新する。なお、人物登録処理部112は、行動履歴記憶部411が記憶する行動履歴情報のうち、人物IDに対応する代表的な行動属性情報を、人物IDに対応する検出人物の属性情報として、人物情報記憶部410に記憶させる。 Further, when the person registration processing unit 112 determines that the person is a person detected in the past based on the feature amount of the detected person extracted by the image processing unit 111, the person information storage unit 410 corresponding to the detected person. Update the person information of. In addition, the person registration processing unit 112 uses the representative action attribute information corresponding to the person ID among the action history information stored in the action history storage unit 411 as the attribute information of the detected person corresponding to the person ID. It is stored in the storage unit 410.

行動履歴処理部113は、画像処理部111が検出人物を検出した場合に、人物IDと、カメラID(撮像識別情報)と、行動属性情報と、行動属性情報が抽出された日時情報とを対応付けた行動履歴情報を行動履歴記憶部411に記憶させる。行動履歴処理部113は、例えば、図12に示すように、検出された検出人物の行動履歴情報を、行動履歴記憶部411に記憶させる。 When the image processing unit 111 detects the detected person, the action history processing unit 113 corresponds to the person ID, the camera ID (imaging identification information), the action attribute information, and the date and time information from which the action attribute information is extracted. The attached action history information is stored in the action history storage unit 411. For example, as shown in FIG. 12, the action history processing unit 113 stores the action history information of the detected detected person in the action history storage unit 411.

キャンペーン抽出部114(コンテンツ抽出部の一例)は、画像処理部111が検出人物を検出した場合に、カメラ20に対応する出力デバイス30が所属するデバイスグループに対応する情報コンテンツを抽出する。キャンペーン抽出部114は、検出人物の人物IDに対応する属性情報(性別、年代、及び行動属性情報)を、人物情報記憶部410から取得する。なお、キャンペーン抽出部114は、複数の検出人物が検出された場合には、例えば、多数決により属性情報を決定するなど、複数の検出人物を代表する属性情報を適用(選択)する。また、キャンペーン抽出部114は、画像処理部111が検出した検出人物が既に人物情報記憶部410に記憶されている場合に、検出人物に付与されている人物IDに対応する検出人物の属性情報を人物情報記憶部410から取得する。 When the image processing unit 111 detects a detected person, the campaign extraction unit 114 (an example of the content extraction unit) extracts information content corresponding to the device group to which the output device 30 corresponding to the camera 20 belongs. The campaign extraction unit 114 acquires attribute information (gender, age, and behavior attribute information) corresponding to the person ID of the detected person from the person information storage unit 410. When a plurality of detected persons are detected, the campaign extraction unit 114 applies (selects) the attribute information representing the plurality of detected persons, for example, determining the attribute information by a majority vote. Further, when the detected person detected by the image processing unit 111 is already stored in the person information storage unit 410, the campaign extraction unit 114 obtains the attribute information of the detected person corresponding to the person ID given to the detected person. Obtained from the person information storage unit 410.

また、キャンペーン抽出部114は、人物が検出されたカメラ20のカメラIDに対応する出力デバイス30のデバイスIDを、カメラデバイス対応記憶部412から取得する。キャンペーン抽出部114は、さらに、取得したデバイスIDが所属するデバイスグループのデバイスグループIDを、出力デバイスグループ対応記憶部405から取得する。キャンペーン抽出部114は、キャンペーン情報記憶部409が記憶する複数のキャンペーン情報のうちから、取得したデバイスグループIDに対応するキャンペーン情報を抽出する。なお、キャンペーン抽出部114は、抽出したキャンペーン情報に含まれるコンテンツIDに対応する情報コンテンツを抽出したものとする。 Further, the campaign extraction unit 114 acquires the device ID of the output device 30 corresponding to the camera ID of the camera 20 in which the person is detected from the camera device compatible storage unit 412. The campaign extraction unit 114 further acquires the device group ID of the device group to which the acquired device ID belongs from the output device group corresponding storage unit 405. The campaign extraction unit 114 extracts the campaign information corresponding to the acquired device group ID from the plurality of campaign information stored in the campaign information storage unit 409. It is assumed that the campaign extraction unit 114 has extracted the information content corresponding to the content ID included in the extracted campaign information.

また、キャンペーン抽出部114は、抽出した情報コンテンツのうちから、画像処理部111が抽出した検出人物の属性情報に基づく出力条件を満たす情報コンテンツを選択する。すなわち、キャンペーン抽出部114は、抽出したキャンペーン情報のうちから、人物情報記憶部410から取得した属性情報(性別、年代、及び行動属性情報)に基づく出力条件に一致する(出力条件を満たす)キャンペーン情報を選択する。
なお、キャンペーン抽出部114は、画像処理部111が複数の検出人物を検出した場合に、キャンペーン抽出部114によって適用された複数の検出人物を代表する属性情報に基づく出力条件を満たす情報コンテンツを選択する。また、キャンペーン抽出部114は、出力条件に一致するキャンペーンが複数ある場合に、例えば、更新日時の新しいキャンペーンを優先して選択する。
Further, the campaign extraction unit 114 selects information content that satisfies the output condition based on the attribute information of the detected person extracted by the image processing unit 111 from the extracted information content. That is, the campaign extraction unit 114 matches the output condition (output condition) based on the attribute information (gender, age, and behavior attribute information) acquired from the person information storage unit 410 from the extracted campaign information. Select information.
When the image processing unit 111 detects a plurality of detected persons, the campaign extraction unit 114 selects information content that satisfies the output condition based on the attribute information representing the plurality of detected persons applied by the campaign extraction unit 114. To do. Further, when there are a plurality of campaigns that match the output conditions, the campaign extraction unit 114 preferentially selects, for example, a new campaign with an update date and time.

コンテンツ出力処理部115は、キャンペーン抽出部114が選択した当該情報コンテンツを、カメラ20に対応する出力デバイス30に出力させる。コンテンツ出力処理部115は、キャンペーン抽出部114が選択したキャンペーン情報に含まれるコンテンツIDに対応する情報コンテンツを、カメラ20に対応する出力デバイス30に出力させる。 The content output processing unit 115 outputs the information content selected by the campaign extraction unit 114 to the output device 30 corresponding to the camera 20. The content output processing unit 115 causes the output device 30 corresponding to the camera 20 to output the information content corresponding to the content ID included in the campaign information selected by the campaign extraction unit 114.

具体的に、コンテンツ出力処理部115は、キャンペーン情報記憶部409のキャンペーン情報に含まれるコンテンツIDに対応するファイルパス(例えば、図15に示す“\\XXXX\movie\A.mp4”など)を、コンテンツ情報記憶部414から取得する。そして、コンテンツ出力処理部115は、取得したファイルパスにより、コンテンツファイル記憶部415から情報コンテンツを取得し、取得した情報コンテンツを、カメラ20に対応する出力デバイス30に出力させる。 Specifically, the content output processing unit 115 sets a file path (for example, “\\ XXXX \ movie \ A.mp4” shown in FIG. 15) corresponding to the content ID included in the campaign information of the campaign information storage unit 409. , Obtained from the content information storage unit 414. Then, the content output processing unit 115 acquires information content from the content file storage unit 415 according to the acquired file path, and outputs the acquired information content to the output device 30 corresponding to the camera 20.

また、コンテンツ出力処理部115は、カメラ20に対応する出力デバイス30が情報コンテンツを出力中である場合に、選択した情報コンテンツの出力を保留する。コンテンツ出力処理部115は、出力デバイス30に情報コンテンツを出力させる際に、デバイスロック情報記憶部413を確認し、デバイスIDに対応する出力デバイス30がロック中(出力中)であるか否かを判定し、当該出力デバイス30がロック中(出力中)である場合に、選択した情報コンテンツの出力を保留する。
また、コンテンツ出力処理部115は、カメラ20に対応する出力デバイス30がロック中(出力中)でない場合に、キャンペーン抽出部114が選択した情報コンテンツを出力デバイス30に出力させる。
Further, the content output processing unit 115 suspends the output of the selected information content when the output device 30 corresponding to the camera 20 is outputting the information content. The content output processing unit 115 confirms the device lock information storage unit 413 when causing the output device 30 to output information content, and determines whether or not the output device 30 corresponding to the device ID is locked (outputting). When the determination is made and the output device 30 is locked (outputting), the output of the selected information content is suspended.
Further, the content output processing unit 115 causes the output device 30 to output the information content selected by the campaign extraction unit 114 when the output device 30 corresponding to the camera 20 is not locked (outputting).

出力履歴処理部116は、コンテンツ出力処理部115が出力した情報コンテンツに対応する出力情報と、情報コンテンツを出力した出力デバイス30を識別する出力識別情報と、情報コンテンツを出力した日時を示す出力日時情報とを対応付けた出力履歴情報を、出力履歴記憶部416に記憶させる。出力履歴処理部116は、例えば、図16に示すように、情報コンテンツを出力した出力履歴情報を、出力履歴記憶部416に記憶させる。
また、出力履歴処理部116は、例えば、図14に示すように、デバイスロック情報をデバイスロック情報記憶部413に記憶させる。
The output history processing unit 116 indicates the output information corresponding to the information content output by the content output processing unit 115, the output identification information for identifying the output device 30 that output the information content, and the output date and time indicating the date and time when the information content was output. The output history information associated with the information is stored in the output history storage unit 416. For example, as shown in FIG. 16, the output history processing unit 116 stores the output history information that outputs the information content in the output history storage unit 416.
Further, the output history processing unit 116 stores the device lock information in the device lock information storage unit 413, for example, as shown in FIG.

次に、図面を参照して、本実施形態による情報処理システム1の動作について説明する。
図17は、本実施形態における情報処理システム1の行動履歴の収集処理の一例を示すフローチャートである。
Next, the operation of the information processing system 1 according to the present embodiment will be described with reference to the drawings.
FIG. 17 is a flowchart showing an example of the action history collection process of the information processing system 1 in the present embodiment.

図17に示すように、情報処理装置10は、まず、カメラ20から画像情報を取得する(ステップS101)。制御部11の画像処理部111は、各カメラ20が撮像した画像情報を定期的に取得する。 As shown in FIG. 17, the information processing apparatus 10 first acquires image information from the camera 20 (step S101). The image processing unit 111 of the control unit 11 periodically acquires the image information captured by each camera 20.

次に、画像処理部111は、画像情報に人物が含まれるか否かを判定する(ステップS102)。画像処理部111は、例えば、既存の画像処理技術を用いて、画像情報に含まれる人物を抽出(検出)する。画像処理部111は、画像情報に人物が含まれている場合(ステップS102:YES)に、処理をステップS103に進める。また、画像処理部111は、画像情報に人物が含まれていない場合(ステップS102:NO)に、処理をステップS101に戻す。 Next, the image processing unit 111 determines whether or not the image information includes a person (step S102). The image processing unit 111 extracts (detects) a person included in the image information by using, for example, an existing image processing technique. When the image information includes a person (step S102: YES), the image processing unit 111 advances the processing to step S103. Further, the image processing unit 111 returns the processing to step S101 when the image information does not include a person (step S102: NO).

ステップS103において、画像処理部111は、検出人物の特徴量を抽出する。画像処理部111は、例えば、既存の顔認識技術を用いて、検出人物の特徴量を抽出する。
次に、画像処理部111は、検出人物に対して、人口統計学的特性を抽出する(ステップS104)。画像処理部111は、例えば、既存の画像処理技術により、検出人物の性別、年代などの人口統計学的特性及び、人口統計学的特性の信頼度を推定する。
In step S103, the image processing unit 111 extracts the feature amount of the detected person. The image processing unit 111 extracts the feature amount of the detected person by using, for example, an existing face recognition technique.
Next, the image processing unit 111 extracts the demographic characteristics of the detected person (step S104). The image processing unit 111 estimates the demographic characteristics such as the gender and age of the detected person and the reliability of the demographic characteristics by using, for example, an existing image processing technique.

次に、画像処理部111は、検出人物が登録済みであるか否かを判定する(ステップS105)。画像処理部111は、抽出した検出人物の特徴量と、不図示の記憶部に記憶されている過去の特徴量とを比較して、一致率が所定の閾値以上であるか否かにより、検出人物が登録済みであるか否かを判定する。 Next, the image processing unit 111 determines whether or not the detected person has been registered (step S105). The image processing unit 111 compares the extracted feature amount of the detected person with the past feature amount stored in the storage unit (not shown), and detects whether the matching rate is equal to or higher than a predetermined threshold value. Determine if the person is already registered.

画像処理部111は、一致率が所定の閾値以上である場合に検出人物が登録済みであると判定し、検出人物が登録済みである場合(ステップS105:YES)に、処理をステップS110に進める。また、画像処理部111は、一致率が所定の閾値未満である場合に検出人物が登録済みでない(未登録である)と判定し、検出人物が未登録である場合(ステップS104:NO)に、処理をステップS106に進める。 The image processing unit 111 determines that the detected person is registered when the match rate is equal to or higher than a predetermined threshold value, and proceeds to the process in step S110 when the detected person is registered (step S105: YES). .. Further, the image processing unit 111 determines that the detected person is not registered (unregistered) when the match rate is less than a predetermined threshold value, and when the detected person is not registered (step S104: NO). , The process proceeds to step S106.

ステップS106において、制御部11の人物登録処理部112は、人物情報を登録する。人物登録処理部112は、検出人物に対して、新たな人物IDを付与して、画像処理部111が抽出した人口統計学的特性(性別、年代など)とともに、人物情報として、人物情報記憶部410に記憶させる。すなわち、人物登録処理部112は、例えば、図11に示すように、人物情報を人物情報記憶部410に記憶させる。 In step S106, the person registration processing unit 112 of the control unit 11 registers the person information. The person registration processing unit 112 assigns a new person ID to the detected person, and together with the demographic characteristics (gender, age, etc.) extracted by the image processing unit 111, the person information storage unit as person information. Store in 410. That is, the person registration processing unit 112 stores the person information in the person information storage unit 410, for example, as shown in FIG.

次に、ステップS107において、画像処理部111は、検出人物に対して、行動属性情報を抽出する。画像処理部111は、例えば、既存の画像処理技術により、画像情報から検出人物の行動属性情報を抽出する。 Next, in step S107, the image processing unit 111 extracts behavior attribute information from the detected person. The image processing unit 111 extracts the behavior attribute information of the detected person from the image information by, for example, the existing image processing technique.

次に、制御部11の行動履歴処理部113は、行動履歴情報を追加を実行する(ステップS108)。行動履歴処理部113は、例えば、図12に示すように、検出された検出人物の行動履歴情報を、行動履歴記憶部411に記憶させる。 Next, the action history processing unit 113 of the control unit 11 executes the addition of the action history information (step S108). For example, as shown in FIG. 12, the action history processing unit 113 stores the action history information of the detected detected person in the action history storage unit 411.

次に、人物登録処理部112は、人物情報の更新を行う(ステップS109)。人物登録処理部112は、人物情報記憶部410に記憶されている人物情報を更新させる。ステップS109の処理後に、人物登録処理部112は、行動履歴の収集処理を終了する。 Next, the person registration processing unit 112 updates the person information (step S109). The person registration processing unit 112 updates the person information stored in the person information storage unit 410. After the process of step S109, the person registration processing unit 112 ends the action history collection process.

また、ステップS110において、人物登録処理部112は、信頼度の高い人口統計学的特性を人物情報に採用する。人物登録処理部112は、画像処理部111が推定した人口統計学的特性の信頼度と、人物情報記憶部410が記憶する人口統計学的特性の信頼度とを比較し、信頼度の高い人口統計学的特性を人物情報記憶部410に採用する。すなわち、人物登録処理部112は、画像処理部111が新たに推定した信頼度が高い場合に、当該新たに推定した信頼度を、人物情報記憶部410に記憶させる。 Further, in step S110, the person registration processing unit 112 adopts highly reliable demographic characteristics for the person information. The person registration processing unit 112 compares the reliability of the demographic characteristics estimated by the image processing unit 111 with the reliability of the demographic characteristics stored in the person information storage unit 410, and has a highly reliable population. The statistical characteristics are adopted in the person information storage unit 410. That is, when the person registration processing unit 112 has a high reliability newly estimated by the image processing unit 111, the person information storage unit 410 stores the newly estimated reliability.

なお、上述したステップS101からステップS110までの行動履歴の収集処理は、予定の時間間隔で実行されてもよいし、カメラ20が人感センサを備えている場合には、人感センサが人物を検出した際に実行されるようにしてもよい。 The action history collection process from step S101 to step S110 described above may be executed at scheduled time intervals, and when the camera 20 is equipped with a motion sensor, the motion sensor detects a person. It may be executed when it is detected.

次に、図18を参照して、本実施形態における情報コンテンツの出力処理について説明する。
図18は、本実施形態における情報処理システム1の情報コンテンツの出力処理の一例を示すフローチャートである。なお、図18に示す処理は、上述した図17に示す行動履歴の収集処理後に実行されるものとする。
Next, the output processing of the information content in the present embodiment will be described with reference to FIG.
FIG. 18 is a flowchart showing an example of output processing of the information content of the information processing system 1 in the present embodiment. It is assumed that the process shown in FIG. 18 is executed after the action history collection process shown in FIG. 17 described above.

図18に示すように、情報処理装置10は、まず、人物を検出したか否かを判定する(ステップS201)。情報処理装置10の画像処理部111は、カメラ20が撮像した画像情報に含まれる人物がいるか否かを判定する。画像処理部111は、画像情報に人物を検出した場合(ステップS201:YES)に、処理をステップS202に進める。また、画像処理部111は、画像情報に人物を検出していない場合(ステップS201:NO)に、処理をステップS201に戻す。 As shown in FIG. 18, the information processing apparatus 10 first determines whether or not a person has been detected (step S201). The image processing unit 111 of the information processing device 10 determines whether or not there is a person included in the image information captured by the camera 20. When the image processing unit 111 detects a person in the image information (step S201: YES), the image processing unit 111 proceeds to the process in step S202. Further, when the image processing unit 111 does not detect a person in the image information (step S201: NO), the image processing unit 111 returns the processing to step S201.

ステップS202において、情報処理装置10のキャンペーン抽出部114は、検出人物の性別、年代、及び行動属性情報を取得する。キャンペーン抽出部114は、例えば、図11に示すような人物情報記憶部410から、検出人物の人物IDに対応する性別、年代、及び行動属性情報を読み出して取得する。 In step S202, the campaign extraction unit 114 of the information processing device 10 acquires the gender, age, and behavior attribute information of the detected person. For example, the campaign extraction unit 114 reads and acquires the gender, age, and behavior attribute information corresponding to the person ID of the detected person from the person information storage unit 410 as shown in FIG.

次に、キャンペーン抽出部114は、人物を検出したカメラ20に対応する出力デバイス30のデバイスIDを取得する(ステップS203)。キャンペーン抽出部114は、例えば、図13に示すようなカメラデバイス対応記憶部412から、人物を検出したカメラ20のカメラIDに対応するデバイスIDを取得する。 Next, the campaign extraction unit 114 acquires the device ID of the output device 30 corresponding to the camera 20 that has detected the person (step S203). For example, the campaign extraction unit 114 acquires a device ID corresponding to the camera ID of the camera 20 that has detected a person from the camera device compatible storage unit 412 as shown in FIG.

次に、キャンペーン抽出部114は、出力デバイス30がロック中であるか否かを判定する(ステップS204)。キャンペーン抽出部114は、例えば、図14に示すようなデバイスロック情報記憶部413を確認し、デバイスIDに対応する出力デバイス30がロック中(出力中)であるか否かを判定する。キャンペーン抽出部114は、出力デバイス30がロック中である場合(ステップS204:YES)に、処理をステップS201に戻す。また、キャンペーン抽出部114は、出力デバイス30がロック中でない場合(ステップS204:NO)に、処理をステップS205に進める。 Next, the campaign extraction unit 114 determines whether or not the output device 30 is locked (step S204). For example, the campaign extraction unit 114 confirms the device lock information storage unit 413 as shown in FIG. 14, and determines whether or not the output device 30 corresponding to the device ID is locked (outputting). When the output device 30 is locked (step S204: YES), the campaign extraction unit 114 returns the process to step S201. Further, the campaign extraction unit 114 advances the process to step S205 when the output device 30 is not locked (step S204: NO).

ステップS205において、キャンペーン抽出部114は、デバイスIDに対応するデバイスグループIDを取得する。キャンペーン抽出部114は、例えば、図6に示すような出力デバイスグループ対応記憶部405から、デバイスIDに対応するデバイスグループIDを取得する。 In step S205, the campaign extraction unit 114 acquires the device group ID corresponding to the device ID. The campaign extraction unit 114 acquires the device group ID corresponding to the device ID from the output device group corresponding storage unit 405 as shown in FIG. 6, for example.

次に、キャンペーン抽出部114は、デバイスグループIDに対応するキャンペーンのリストを抽出する(ステップS206)。キャンペーン抽出部114は、例えば、図10に示すようなキャンペーン情報記憶部409が記憶するキャンペーン情報の中から、デバイスグループIDに対応するキャンペーン情報を抽出して、キャンペーンのリストを生成する。 Next, the campaign extraction unit 114 extracts a list of campaigns corresponding to the device group ID (step S206). For example, the campaign extraction unit 114 extracts the campaign information corresponding to the device group ID from the campaign information stored in the campaign information storage unit 409 as shown in FIG. 10, and generates a list of campaigns.

次に、キャンペーン抽出部114は、性別、年代、及び行動属性情報に基づく出力条件を満たすキャンペーンを選択する(ステップS207)。キャンペーン抽出部114は、上述したキャンペーンのリストのうちから、検出人物の人物IDに対応する性別、年代、及び行動属性情報に基づく、出力条件を満たすキャンペーンを選択する。例えば、検出人物の人物IDに対応する性別、年代、及び行動属性情報が“男性”、“20歳代”、及び“デバイス注視行動”である場合に、キャンペーン抽出部114は、例えば、図10に示す「キャンペーンID」が“CP001−01”のキャンペーンを選択する。 Next, the campaign extraction unit 114 selects a campaign that satisfies the output conditions based on the gender, age, and behavior attribute information (step S207). From the list of campaigns described above, the campaign extraction unit 114 selects a campaign that satisfies the output condition based on the gender, age, and behavior attribute information corresponding to the person ID of the detected person. For example, when the gender, age, and behavior attribute information corresponding to the person ID of the detected person is “male”, “20s”, and “device gaze behavior”, the campaign extraction unit 114 may see, for example, FIG. Select a campaign whose "campaign ID" shown in (1) is "CP001-01".

次に、情報処理装置10のコンテンツ出力処理部115は、選択したキャンペーンに対応する情報コンテンツを取得する(ステップS208)。コンテンツ出力処理部115は、選択したキャンペーンのキャンペーン情報に対応する情報コンテンツを取得する。コンテンツ出力処理部115は、例えば、図10に示す「キャンペーンID」が“CP001−01”のキャンペーンの場合には、まず、キャンペーン情報に含まれる「コンテンツID」(“CT001”)を取得する。コンテンツ出力処理部115は、取得した「コンテンツID」(“CT001”)に対応する「ファイルパス」(例えば、図15に示す“\\XXXX\movie\A.mp4”)を、コンテンツ情報記憶部414から取得し、当該「ファイルパス」により、コンテンツファイル記憶部415から情報コンテンツを取得する。 Next, the content output processing unit 115 of the information processing device 10 acquires the information content corresponding to the selected campaign (step S208). The content output processing unit 115 acquires information content corresponding to the campaign information of the selected campaign. For example, in the case of a campaign in which the "campaign ID" shown in FIG. 10 is "CP001-01", the content output processing unit 115 first acquires the "content ID" ("CT001") included in the campaign information. The content output processing unit 115 stores the "file path" (for example, "\\ XXXX \ movie \ A.mp4" shown in FIG. 15) corresponding to the acquired "content ID" ("CT001") in the content information storage unit. It is acquired from 414, and information content is acquired from the content file storage unit 415 by the "file path".

次に、コンテンツ出力処理部115は、取得した情報コンテンツをカメラ20に対応する出力デバイス30から出力させる(ステップS209)。コンテンツ出力処理部115は、上述したステップS203の処理において、取得したデバイスIDに対応する出力デバイス30を、例えば、図7に示すような出力デバイス情報記憶部406から特定し、当該出力デバイス30から情報コンテンツを出力させる。 Next, the content output processing unit 115 outputs the acquired information content from the output device 30 corresponding to the camera 20 (step S209). In the process of step S203 described above, the content output processing unit 115 identifies the output device 30 corresponding to the acquired device ID from, for example, the output device information storage unit 406 as shown in FIG. 7, and from the output device 30. Output information content.

次に、情報処理装置10の出力履歴処理部116は、出力履歴情報を追加する(ステップS210)。出力履歴処理部116は、例えば、図16に示すように、情報コンテンツを出力した出力履歴情報を、出力履歴記憶部416に記憶させる。
次に、出力履歴処理部116は、デバイスロック情報を追加する(ステップS211)。出力履歴処理部116は、例えば、図14に示すように、デバイスロック情報をデバイスロック情報記憶部413に記憶させる。ステップS211の処理後に、出力履歴処理部116は、処理をステップS201に戻す。
Next, the output history processing unit 116 of the information processing device 10 adds the output history information (step S210). For example, as shown in FIG. 16, the output history processing unit 116 stores the output history information that outputs the information content in the output history storage unit 416.
Next, the output history processing unit 116 adds device lock information (step S211). The output history processing unit 116 stores the device lock information in the device lock information storage unit 413, for example, as shown in FIG. After the processing in step S211 the output history processing unit 116 returns the processing to step S201.

次に、図19を参照して、管理端末装置50による管理処理の一例について説明する。
図19は、本実施形態におけるキャンペーン情報の管理画面の一例を示す図である。
管理端末装置50の管理処理部531は、キャンペーン情報を管理する際に、表示部52に図19に示すような管理画面を表示させる。
Next, an example of the management process by the management terminal device 50 will be described with reference to FIG.
FIG. 19 is a diagram showing an example of a management screen for campaign information according to the present embodiment.
The management processing unit 531 of the management terminal device 50 causes the display unit 52 to display a management screen as shown in FIG. 19 when managing the campaign information.

図19(a)に示す画面G1は、キャンペーン情報の追加、又は削除を行う管理画面である。管理処理部531は、画面G1のような管理画面を表示部52に表示させる。この場合、管理処理部531は、ネットワークNW1を介して、データサーバ装置40のキャンペーングループ情報記憶部407、キャンペーングループ対応記憶部408、及びキャンペーン情報記憶部409からキャンペーン情報を取得する。 The screen G1 shown in FIG. 19A is a management screen for adding or deleting campaign information. The management processing unit 531 causes the display unit 52 to display a management screen such as the screen G1. In this case, the management processing unit 531 acquires campaign information from the campaign group information storage unit 407, the campaign group corresponding storage unit 408, and the campaign information storage unit 409 of the data server device 40 via the network NW1.

また、管理処理部531は、入力部51により受け付けた情報を、キャンペーン情報に反映させる。管理処理部531は、追加、又は削除されたキャンペーン情報を更新させる処理を、ネットワークNW1を介して、データサーバ装置40に要求し、データサーバ装置40は、キャンペーングループ情報記憶部407、キャンペーングループ対応記憶部408、及びキャンペーン情報記憶部409のキャンペーン情報を更新する。
なお、管理処理部531は、画面G1において、“詳細”ボタンが押下された場合に、図19(b)に示す画面G2のような詳細入力画面を表示部52に表示させる。
In addition, the management processing unit 531 reflects the information received by the input unit 51 in the campaign information. The management processing unit 531 requests the data server device 40 to update the added or deleted campaign information via the network NW1, and the data server device 40 corresponds to the campaign group information storage unit 407 and the campaign group. The campaign information of the storage unit 408 and the campaign information storage unit 409 is updated.
The management processing unit 531 causes the display unit 52 to display a detailed input screen such as the screen G2 shown in FIG. 19B when the "details" button is pressed on the screen G1.

管理処理部531は、上述したキャンペーン情報の他に、カメラ20の情報や出力デバイス30の情報、各種グループの情報などの管理処理を実行する。
なお、上述したカメラグループ情報記憶部401、出力デバイスグループ情報記憶部404、キャンペーングループ情報記憶部407、及びキャンペーングループ対応記憶部408が記憶する情報は、上述した情報コンテンツの出力処理では使用していないが、管理端末装置50の管理処理により利用される。
In addition to the campaign information described above, the management processing unit 531 executes management processing such as information on the camera 20, information on the output device 30, and information on various groups.
The information stored in the camera group information storage unit 401, the output device group information storage unit 404, the campaign group information storage unit 407, and the campaign group compatible storage unit 408 described above is used in the output processing of the information content described above. Although not, it is used by the management process of the management terminal device 50.

以上説明したように、本実施形態による情報処理装置10は、画像処理部111と、キャンペーン抽出部114(コンテンツ抽出部)と、コンテンツ出力処理部115とを備える。画像処理部111は、カメラ20(撮像装置)が撮像した画像情報に含まれる人物を検出し、検出した検出人物の属性情報であって、少なくとも検出人物の人口統計学的特性と、検出人物の特徴的な行動を示す行動属性情報とのいずれかを含む検出人物の属性情報を、画像情報に基づいて抽出する。キャンペーン抽出部114は、画像処理部111が検出人物を検出した場合に、カメラ20に対応する出力デバイス30が所属するデバイスグループに対応する情報コンテンツを抽出し、抽出した情報コンテンツのうちから、画像処理部111が抽出した検出人物の属性情報に基づく出力条件を満たす情報コンテンツを選択する。コンテンツ出力処理部115は、キャンペーン抽出部114が選択した当該情報コンテンツを、カメラ20に対応する出力デバイス30に出力させる。 As described above, the information processing device 10 according to the present embodiment includes an image processing unit 111, a campaign extraction unit 114 (content extraction unit), and a content output processing unit 115. The image processing unit 111 detects a person included in the image information captured by the camera 20 (imaging device), and is attribute information of the detected person, which is at least the demographic characteristics of the detected person and the detected person. The attribute information of the detected person including any of the behavior attribute information indicating the characteristic behavior is extracted based on the image information. When the image processing unit 111 detects the detected person, the campaign extraction unit 114 extracts the information content corresponding to the device group to which the output device 30 corresponding to the camera 20 belongs, and the image from the extracted information content. Information content that satisfies the output conditions based on the attribute information of the detected person extracted by the processing unit 111 is selected. The content output processing unit 115 outputs the information content selected by the campaign extraction unit 114 to the output device 30 corresponding to the camera 20.

これにより、本実施形態による情報処理装置10は、検出人物の属性情報及び出力デバイス30が所属するデバイスグループに応じた適切な情報コンテンツを出力することができる。よって、本実施形態による情報処理装置10は、検出した検出人物及び出力デバイス30が置かれている環境に応じて、適切な情報コンテンツを提供することができる。 As a result, the information processing apparatus 10 according to the present embodiment can output the attribute information of the detecting person and the appropriate information content according to the device group to which the output device 30 belongs. Therefore, the information processing device 10 according to the present embodiment can provide appropriate information content according to the environment in which the detected detection person and the output device 30 are placed.

また、本実施形態による情報処理装置10は、画像処理部111が新たに検出した検出人物に、検出人物を識別する人物ID(人物識別情報)を付与し、当該人物IDと、検出人物の属性情報とを対応付けて人物情報記憶部410に記憶させる人物登録処理部112(登録処理部)を備える。キャンペーン抽出部114は、画像処理部111が検出した検出人物が既に人物情報記憶部410に記憶されている場合に、検出人物に付与されている人物IDに対応する検出人物の属性情報を人物情報記憶部410から取得する。 Further, the information processing apparatus 10 according to the present embodiment assigns a person ID (person identification information) for identifying the detected person to the detected person newly detected by the image processing unit 111, and the person ID and the attributes of the detected person. A person registration processing unit 112 (registration processing unit) for associating information with information and storing it in the person information storage unit 410 is provided. When the detected person detected by the image processing unit 111 is already stored in the person information storage unit 410, the campaign extraction unit 114 obtains the attribute information of the detected person corresponding to the person ID given to the detected person. Obtained from the storage unit 410.

これにより、本実施形態による情報処理装置10は、検出人物の情報を人物情報記憶部410に登録することで、継続して検出人物の行動を把握することができ、より適切な情報コンテンツを提供することができる。 As a result, the information processing device 10 according to the present embodiment can continuously grasp the behavior of the detected person by registering the information of the detected person in the person information storage unit 410, and provides more appropriate information content. can do.

また、本実施形態による情報処理装置10は、人物IDと、カメラ20を識別するカメラID(撮像識別情報)と、行動属性情報と、行動属性情報が抽出された日時情報とを対応付けた行動履歴情報を行動履歴記憶部411に記憶させる行動履歴処理部113を備える。人物登録処理部112は、行動履歴記憶部411が記憶する行動履歴情報のうち、人物IDに対応する代表的な行動属性情報を、人物IDに対応する検出人物の属性情報として、人物情報記憶部410に記憶させる。 Further, the information processing device 10 according to the present embodiment is an action in which the person ID, the camera ID (imaging identification information) for identifying the camera 20, the action attribute information, and the date and time information from which the action attribute information is extracted are associated with each other. The action history processing unit 113 for storing the history information in the action history storage unit 411 is provided. The person registration processing unit 112 uses the representative action attribute information corresponding to the person ID among the action history information stored in the action history storage unit 411 as the attribute information of the detected person corresponding to the person ID, as the person information storage unit. Store in 410.

これにより、本実施形態による情報処理装置10は、行動履歴情報を行動履歴記憶部411に記憶させるため、例えば、検出人物の過去の行動も考慮して、適切な情報コンテンツを提供することができる。また、本実施形態による情報処理装置10は、行動履歴情報を記憶させることにより、例えば、マーケティング施策(広告、コミュニケーションコンテンツなどの施策)の効果検証を適切に行うことができる。また、本実施形態による情報処理装置10は、行動履歴情報を解析することで、より有効なマーケティング施策を立案することができる。 As a result, since the information processing device 10 according to the present embodiment stores the action history information in the action history storage unit 411, it is possible to provide appropriate information content in consideration of, for example, the past actions of the detected person. .. Further, the information processing device 10 according to the present embodiment can appropriately verify the effect of marketing measures (measures such as advertisements and communication contents) by storing the action history information. Further, the information processing device 10 according to the present embodiment can formulate a more effective marketing measure by analyzing the behavior history information.

また、本実施形態では、コンテンツ出力処理部115は、カメラ20に対応する出力デバイス30が情報コンテンツを出力中である場合に、選択した情報コンテンツの出力を保留する。また、コンテンツ出力処理部115は、カメラ20に対応する出力デバイス30が情報コンテンツを出力中でない場合に、選択した情報コンテンツを出力デバイス30に出力させる。
これにより、本実施形態による情報処理装置10は、出力デバイス30に情報コンテンツが出力している途中で、他の情報コンテンツが出力されることを防止することができる。
Further, in the present embodiment, the content output processing unit 115 suspends the output of the selected information content when the output device 30 corresponding to the camera 20 is outputting the information content. Further, the content output processing unit 115 causes the output device 30 to output the selected information content when the output device 30 corresponding to the camera 20 is not outputting the information content.
As a result, the information processing device 10 according to the present embodiment can prevent other information contents from being output while the information contents are being output to the output device 30.

また、本実施形態では、キャンペーン抽出部114は、画像処理部111が複数の検出人物を検出した場合に、複数の検出人物を代表する属性情報に基づく出力条件を満たす情報コンテンツを選択する。例えば、代表する属性情報は、多数決で決定される。
これにより、本実施形態による情報処理装置10は、複数の検出人物を検出した場合であっても、適切な情報コンテンツを提供することができる。
Further, in the present embodiment, when the image processing unit 111 detects a plurality of detected persons, the campaign extraction unit 114 selects information content that satisfies the output condition based on the attribute information representing the plurality of detected persons. For example, representative attribute information is determined by majority vote.
As a result, the information processing apparatus 10 according to the present embodiment can provide appropriate information content even when a plurality of detected persons are detected.

また、本実施形態では、カメラ20は、設置環境の異なる複数の撮像グループのいずれかに所属しており、画像処理部111は、カメラ20が所属する撮像グループに応じて、異なる行動属性情報を抽出する。画像処理部111は、例えば、店舗ST内に設置されたカメラ20のグループであるカメラグループGr1(第1グループ)と、店舗ST外に設置されたカメラ20のグループであるカメラグループGr2(第2グループ)とで抽出する行動属性情報を変更してもよい。
これにより、本実施形態による情報処理装置10は、カメラ20が設置されている環境に応じて、適切な行動属性情報を抽出することができ、環境に応じた行動属性情報の違いにより、環境に応じた適切な情報コンテンツを提供することができる。
Further, in the present embodiment, the camera 20 belongs to one of a plurality of imaging groups having different installation environments, and the image processing unit 111 outputs different behavior attribute information according to the imaging group to which the camera 20 belongs. Extract. The image processing unit 111 is, for example, a camera group Gr1 (first group) which is a group of cameras 20 installed in the store ST and a camera group Gr2 (second group) which is a group of cameras 20 installed outside the store ST. The behavior attribute information extracted by the group) may be changed.
As a result, the information processing device 10 according to the present embodiment can extract appropriate behavior attribute information according to the environment in which the camera 20 is installed, and the difference in behavior attribute information according to the environment causes the environment. It is possible to provide appropriate information content according to the situation.

また、本実施形態では、複数の撮像グループは、店舗ST内に設置されたカメラ20のグループであるカメラグループGr1(第1グループ)と、店舗ST外に設置されたカメラ20のグループであるカメラグループGr2(第2グループ)とである。
これにより、本実施形態による情報処理装置10は、店舗ST内と店舗ST外とを一括して把握及び一元管理することができ、環境に応じた適切な情報コンテンツを提供することができる。
Further, in the present embodiment, the plurality of imaging groups are a camera group Gr1 (first group) which is a group of cameras 20 installed in the store ST and a camera which is a group of cameras 20 installed outside the store ST. It is a group Gr2 (second group).
As a result, the information processing device 10 according to the present embodiment can collectively grasp and centrally manage the inside of the store ST and the outside of the store ST, and can provide appropriate information content according to the environment.

また、本実施形態による情報処理装置10は、出力履歴処理部116を備える。出力履歴処理部116は、コンテンツ出力処理部115が出力した情報コンテンツに対応する出力情報と、情報コンテンツを出力した出力デバイス30を識別する出力識別情報と、情報コンテンツを出力した日時を示す出力日時情報とを対応付けた出力履歴情報を、出力履歴記憶部416に記憶させる。
これにより、本実施形態による情報処理装置10は、出力履歴情報を記憶させることにより、例えば、マーケティング施策(広告、コミュニケーションコンテンツなどの施策)の効果検証を適切に行うことができる。また、本実施形態による情報処理装置10は、出力履歴情報を解析することで、より有効なマーケティング施策を立案することができる。
Further, the information processing apparatus 10 according to the present embodiment includes an output history processing unit 116. The output history processing unit 116 indicates the output information corresponding to the information content output by the content output processing unit 115, the output identification information for identifying the output device 30 that output the information content, and the output date and time indicating the date and time when the information content was output. The output history information associated with the information is stored in the output history storage unit 416.
As a result, the information processing device 10 according to the present embodiment can appropriately verify the effect of marketing measures (measures such as advertisements and communication contents) by storing the output history information. Further, the information processing apparatus 10 according to the present embodiment can formulate a more effective marketing measure by analyzing the output history information.

また、本実施形態による情報処理システム1は、上述した情報処理装置10と、複数のカメラ20と、カメラ20に対応付けられた出力デバイス30とを備える。
これにより、本実施形態による情報処理システム1は、上述した情報処理装置10と同様の効果を奏し、検出した検出人物及び出力デバイス30が置かれている環境に応じて、適切な情報コンテンツを提供することができる。
Further, the information processing system 1 according to the present embodiment includes the above-mentioned information processing device 10, a plurality of cameras 20, and an output device 30 associated with the cameras 20.
As a result, the information processing system 1 according to the present embodiment has the same effect as the information processing device 10 described above, and provides appropriate information content according to the environment in which the detected detection person and the output device 30 are placed. can do.

また、本実施形態による情報処理方法は、画像処理ステップと、コンテンツ抽出ステップと、コンテンツ出力処理ステップとを含む。画像処理ステップにおいて、画像処理部111が、カメラ20が撮像した画像情報に含まれる人物を検出し、検出した検出人物の属性情報であって、少なくとも検出人物の人口統計学的特性と、検出人物の特徴的な行動を示す行動属性情報とのいずれかを含む検出人物の属性情報を、画像情報に基づいて抽出する。コンテンツ抽出ステップにおいて、キャンペーン抽出部114が、画像処理ステップによって検出人物が検出された場合に、カメラ20に対応する出力デバイス30が所属するデバイスグループに対応する情報コンテンツを抽出し、抽出された情報コンテンツのうちから、画像処理ステップによって抽出された検出人物の属性情報に基づく出力条件を満たす情報コンテンツを選択する。コンテンツ出力処理ステップにおいて、コンテンツ出力処理部115が、コンテンツ抽出ステップによって選択された当該情報コンテンツを、カメラ20に対応する出力デバイス30に出力させる。
これにより、本実施形態による情報処理は、上述した情報処理装置10と同様の効果を奏し、検出した検出人物及び出力デバイス30が置かれている環境に応じて、適切な情報コンテンツを提供することができる。
Further, the information processing method according to the present embodiment includes an image processing step, a content extraction step, and a content output processing step. In the image processing step, the image processing unit 111 detects a person included in the image information captured by the camera 20, and is the attribute information of the detected person, which is at least the demographic characteristics of the detected person and the detected person. The attribute information of the detected person including any of the behavior attribute information indicating the characteristic behavior of the above is extracted based on the image information. In the content extraction step, when the detected person is detected by the image processing step, the campaign extraction unit 114 extracts the information content corresponding to the device group to which the output device 30 corresponding to the camera 20 belongs, and the extracted information. From the contents, information content that satisfies the output condition based on the attribute information of the detected person extracted by the image processing step is selected. In the content output processing step, the content output processing unit 115 causes the output device 30 corresponding to the camera 20 to output the information content selected by the content extraction step.
As a result, the information processing according to the present embodiment has the same effect as the information processing device 10 described above, and provides appropriate information content according to the environment in which the detected detection person and the output device 30 are placed. Can be done.

なお、本発明は、上記の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。
例えば、上記の実施形態において、情報処理装置10は、1つの装置である例を説明したが、これに限定されるものではなく、情報処理装置10は、複数の装置で構成されてもよい。また、例えば、情報処理装置10の画像処理部111を、カメラ20が備えて、各カメラ20によって分散処理されてもよい。
The present invention is not limited to the above embodiment, and can be modified without departing from the spirit of the present invention.
For example, in the above embodiment, the information processing device 10 has been described as one device, but the present invention is not limited to this, and the information processing device 10 may be composed of a plurality of devices. Further, for example, the image processing unit 111 of the information processing apparatus 10 may be provided in the camera 20 and distributed processing may be performed by each camera 20.

また、上記の実施形態において、データサーバ装置40は、1つの装置である例を説明したが、これに限定されるものではなく、データサーバ装置40は、複数の装置で構成されてもよい。また、データサーバ装置40が記憶する記憶部の一部又は全部を、情報処理装置10が備えるようにしてもよい。 Further, in the above embodiment, the example in which the data server device 40 is one device has been described, but the present invention is not limited to this, and the data server device 40 may be composed of a plurality of devices. Further, the information processing device 10 may include a part or all of the storage unit stored in the data server device 40.

また、データサーバ装置40が記憶する記憶部の一部を1つの記憶部に統合してもよい。例えば、カメラグループ情報記憶部401と、カメラグループ対応記憶部402とは、1つの記憶部に統合してもよいし、出力デバイスグループ情報記憶部404と、出力デバイスグループ対応記憶部405とは、1つの記憶部に統合してもよい。また、キャンペーングループ情報記憶部407と、キャンペーングループ対応記憶部408とは、1つの記憶部に統合してもよい。 Further, a part of the storage unit stored in the data server device 40 may be integrated into one storage unit. For example, the camera group information storage unit 401 and the camera group compatible storage unit 402 may be integrated into one storage unit, and the output device group information storage unit 404 and the output device group compatible storage unit 405 may be integrated. It may be integrated into one storage unit. Further, the campaign group information storage unit 407 and the campaign group correspondence storage unit 408 may be integrated into one storage unit.

また、上記の実施形態において、カメラ20と出力デバイス30とが1対1で対応する例を説明したが、カメラ20と出力デバイス30とが、複数対1(又は1対複数)に対応するようにしてもよい。 Further, in the above embodiment, the example in which the camera 20 and the output device 30 have a one-to-one correspondence has been described, but the camera 20 and the output device 30 have a plurality of one-to-one (or one-to-many) correspondence. It may be.

また、上記の実施形態において、複数の検出人物が検出された場合に、多数決により行代表する属性情報を決定する例を説明したが、これに限定されるものではない。例えば、人物を検出したカメラ20に一番近い人物の属性情報に決定してもよいし、複数の検出人物に対して優先順位を付与して、全ての検出人物に対応した情報コンテンツを順番に出力デバイス30から出力させるようにしてもよい。 Further, in the above embodiment, when a plurality of detected persons are detected, an example in which the attribute information representing the line is determined by a majority vote has been described, but the present invention is not limited to this. For example, the attribute information of the person closest to the camera 20 that detected the person may be determined, or priority is given to a plurality of detected persons, and the information contents corresponding to all the detected persons are sequentially assigned. It may be output from the output device 30.

また、上記の実施形態において、出力履歴処理部116が、出力履歴情報を、出力履歴記憶部416に記憶させる例を説明したが、情報処理装置10は、出力履歴情報に基づいて、広告料金の集計や請求を行うようにしてもよい。 Further, in the above embodiment, an example in which the output history processing unit 116 stores the output history information in the output history storage unit 416 has been described, but the information processing apparatus 10 charges the advertisement fee based on the output history information. Aggregation and billing may be performed.

また、上記の実施形態において、検出人物の人口統計学的特性の一例として、性別と年代(年齢)を検出する例を説明したが、これに限定されるものではなく、例えば、身長、体重、人種、民族などの他の特性情報を検出して用いるようにしてもよい。 Further, in the above embodiment, an example of detecting gender and age (age) has been described as an example of the demographic characteristics of the detected person, but the present invention is not limited to this, and for example, height, weight, and the like. Other characteristic information such as race and ethnicity may be detected and used.

また、カメラグループ及びデバイスグループは、上記の実施形態に限定されるものではなく、他のグループを適用してもよい。例えば、カメラグループは、店舗内のカメラグループと、店舗外のカメラグループとに限定されるものではなく、売り場ごとにカメラグループを設定してもよいし、店舗ごとに異なるカメラぐープを設定し、複数の店舗に対して、本実施形態による情報処理システム1を適用するようにしてもよい。また、デバイスグループについても同様である。 Further, the camera group and the device group are not limited to the above-described embodiment, and other groups may be applied. For example, the camera group is not limited to the camera group inside the store and the camera group outside the store, and a camera group may be set for each sales floor, or a different camera group may be set for each store. , The information processing system 1 according to the present embodiment may be applied to a plurality of stores. The same applies to device groups.

なお、上述した情報処理システム1が備える各構成は、内部に、コンピュータシステムを有している。そして、上述した情報処理システム1が備える各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述した情報処理システム1が備える各構成における処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、インターネットやWAN、LAN、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、CD−ROM等の非一過性の記録媒体であってもよい。
Each configuration included in the above-mentioned information processing system 1 has a computer system inside. Then, a program for realizing the functions of each configuration included in the above-mentioned information processing system 1 is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into the computer system and executed. Therefore, the processing in each configuration provided in the above-mentioned information processing system 1 may be performed. Here, "loading a computer system a program recorded on a recording medium and executing it" includes installing the program in the computer system. The term "computer system" as used herein includes hardware such as an OS and peripheral devices.
Further, the "computer system" may include a plurality of computer devices connected via a network including a communication line such as the Internet, WAN, LAN, and a dedicated line. Further, the "computer-readable recording medium" refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM, or a CD-ROM, or a storage device such as a hard disk built in a computer system. As described above, the recording medium in which the program is stored may be a non-transient recording medium such as a CD-ROM.

また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部又は外部に設けられた記録媒体も含まれる。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に情報処理システム1が備える各構成で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。 The recording medium also includes a recording medium provided inside or outside that can be accessed from the distribution server for distributing the program. It should be noted that the program may be divided into a plurality of parts, downloaded at different timings, and then combined with each configuration provided in the information processing system 1, or the distribution server for distributing each of the divided programs may be different. Furthermore, a "computer-readable recording medium" holds a program for a certain period of time, such as a volatile memory (RAM) inside a computer system that serves as a server or client when the program is transmitted via a network. It shall include things. Further, the above program may be for realizing a part of the above-mentioned functions. Further, a so-called difference file (difference program) may be used, which can realize the above-mentioned functions in combination with a program already recorded in the computer system.

また、上述した機能の一部又は全部を、LSI(Large Scale Integration)等の集積回路として実現してもよい。上述した各機能は個別にプロセッサ化してもよいし、一部、又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はLSIに限らず専用回路、又は汎用プロセッサで実現してもよい。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。 Further, a part or all of the above-mentioned functions may be realized as an integrated circuit such as LSI (Large Scale Integration). Each of the above-mentioned functions may be made into a processor individually, or a part or all of them may be integrated into a processor. Further, the method of making an integrated circuit is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor. Further, when an integrated circuit technology that replaces an LSI appears due to advances in semiconductor technology, an integrated circuit based on this technology may be used.

1 情報処理システム
10 情報処理装置
11 制御部
20、21、22 カメラ
30、31、32 出力デバイス
40 データサーバ装置
50 管理端末装置
51 入力部
52 表示部
53 端末制御部
111 画像処理部
112 人物登録処理部
113 行動履歴処理部
114 キャンペーン抽出部
115 コンテンツ出力処理部
116 出力履歴処理部
401 カメラグループ情報記憶部
402 カメラグループ対応記憶部
403 カメラ情報記憶部
404 出力デバイスグループ情報記憶部
405 出力デバイスグループ対応記憶部
406 出力デバイス情報記憶部
407 キャンペーングループ情報記憶部
408 キャンペーングループ対応記憶部
409 キャンペーン情報記憶部
410 人物情報記憶部
411 行動履歴記憶部
412 カメラデバイス対応記憶部
413 デバイスロック情報記憶部
414 コンテンツ情報記憶部
415 コンテンツファイル記憶部
416 出力履歴記憶部
531 管理処理部
NW1 ネットワーク
1 Information processing system 10 Information processing device 11 Control unit 20, 21, 22 Cameras 30, 31, 32 Output device 40 Data server device 50 Management terminal device 51 Input unit 52 Display unit 53 Terminal control unit 111 Image processing unit 112 Person registration processing Unit 113 Action history processing unit 114 Campaign extraction unit 115 Content output processing unit 116 Output history processing unit 401 Camera group information storage unit 402 Camera group compatible storage unit 403 Camera information storage unit 404 Output device group information storage unit 405 Output device group compatible storage 406 Output device information storage 407 Campaign group information storage 408 Campaign group compatible storage 409 Campaign information storage 410 Person information storage 411 Action history storage 412 Camera device compatible storage 413 Device lock information storage 414 Content information storage Department 415 Content file storage unit 416 Output history storage unit 531 Management processing unit NW1 Network

Claims (10)

撮像装置が撮像した画像情報に含まれる人物を検出し、検出した検出人物の属性情報であって、少なくとも前記検出人物の人口統計学的特性と、前記検出人物の特徴的な行動を示す行動属性情報とのいずれかを含む検出人物の属性情報を、前記画像情報に基づいて抽出する画像処理部と、
前記画像処理部が前記検出人物を検出した場合に、前記撮像装置に対応する出力デバイスが所属するデバイスグループに対応する情報コンテンツを抽出し、抽出した前記情報コンテンツのうちから、前記画像処理部が抽出した前記検出人物の属性情報に基づく出力条件を満たす情報コンテンツを選択するコンテンツ抽出部と、
前記コンテンツ抽出部が選択した当該情報コンテンツを、前記撮像装置に対応する前記出力デバイスに出力させるコンテンツ出力処理部と
を備えることを特徴とする情報処理装置。
A person included in the image information captured by the image pickup device is detected, and the attribute information of the detected person, which is at least the demographic characteristics of the detected person and the behavioral attribute indicating the characteristic behavior of the detected person. An image processing unit that extracts attribute information of a detected person including any of the information based on the image information, and an image processing unit.
When the image processing unit detects the detected person, the information content corresponding to the device group to which the output device corresponding to the imaging device belongs is extracted, and the image processing unit extracts the information content from the extracted information content. A content extraction unit that selects information content that satisfies the output conditions based on the extracted attribute information of the detected person, and a content extraction unit.
An information processing device including a content output processing unit that outputs the information content selected by the content extraction unit to the output device corresponding to the image pickup device.
前記画像処理部が新たに検出した前記検出人物に、前記検出人物を識別する人物識別情報を付与し、当該人物識別情報と、前記検出人物の属性情報とを対応付けて人物情報記憶部に記憶させる登録処理部を備え、
前記コンテンツ抽出部は、前記画像処理部が検出した前記検出人物が既に前記人物情報記憶部に記憶されている場合に、前記検出人物に付与されている前記人物識別情報に対応する前記検出人物の属性情報を前記人物情報記憶部から取得する
ことを特徴とする請求項1に記載の情報処理装置。
Person identification information for identifying the detected person is added to the detected person newly detected by the image processing unit, and the person identification information and the attribute information of the detected person are associated and stored in the person information storage unit. Equipped with a registration processing unit
When the detected person detected by the image processing unit is already stored in the person information storage unit, the content extracting unit of the detected person corresponds to the person identification information given to the detected person. The information processing device according to claim 1, wherein the attribute information is acquired from the person information storage unit.
前記人物識別情報と、前記撮像装置を識別する撮像識別情報と、前記行動属性情報と、前記行動属性情報が抽出された日時情報とを対応付けた行動履歴情報を行動履歴記憶部に記憶させる行動履歴処理部を備え、
前記登録処理部は、前記行動履歴記憶部が記憶する前記行動履歴情報のうち、前記人物識別情報に対応する代表的な前記行動属性情報を、前記人物識別情報に対応する前記検出人物の属性情報として、人物情報記憶部に記憶させる
ことを特徴とする請求項2に記載の情報処理装置。
An action of storing the action history information in which the person identification information, the image pickup identification information for identifying the image pickup device, the action attribute information, and the date and time information from which the action attribute information is extracted are stored in the action history storage unit. Equipped with a history processing unit
Among the action history information stored in the action history storage unit, the registration processing unit uses the representative action attribute information corresponding to the person identification information as the attribute information of the detected person corresponding to the person identification information. The information processing apparatus according to claim 2, wherein the information processing device is stored in a person information storage unit.
前記コンテンツ出力処理部は、
前記撮像装置に対応する前記出力デバイスが情報コンテンツを出力中である場合に、選択した前記情報コンテンツの出力を保留し、
前記撮像装置に対応する前記出力デバイスが情報コンテンツを出力中でない場合に、選択した前記情報コンテンツを前記出力デバイスに出力させる
ことを特徴とする請求項1から請求項3のいずれか一項に記載の情報処理装置。
The content output processing unit
When the output device corresponding to the image pickup device is outputting information content, the output of the selected information content is suspended.
The invention according to any one of claims 1 to 3, wherein the selected information content is output to the output device when the output device corresponding to the image pickup device is not outputting the information content. Information processing equipment.
前記コンテンツ抽出部は、
前記画像処理部が複数の前記検出人物を検出した場合に、複数の前記検出人物を代表する前記属性情報に基づく出力条件を満たす情報コンテンツを選択する
ことを特徴とする請求項1から請求項4のいずれか一項に記載の情報処理装置。
The content extraction unit
Claims 1 to 4 are characterized in that, when the image processing unit detects a plurality of the detected persons, information content satisfying the output conditions based on the attribute information representing the plurality of detected persons is selected. The information processing apparatus according to any one of the above.
前記撮像装置は、設置環境の異なる複数の撮像グループのいずれかに所属しており、
前記画像処理部は、前記撮像装置が所属する前記撮像グループに応じて、異なる前記行動属性情報を抽出する
ことを特徴とする請求項1から請求項5のいずれか一項に記載の情報処理装置。
The imaging device belongs to one of a plurality of imaging groups having different installation environments.
The information processing apparatus according to any one of claims 1 to 5, wherein the image processing unit extracts different behavior attribute information according to the imaging group to which the imaging device belongs. ..
前記複数の撮像グループは、店舗内に設置された前記撮像装置のグループである第1グループと、店舗外に設置された前記撮像装置のグループである第2グループとである
ことをと特徴とする請求項6に記載の情報処理装置。
The plurality of imaging groups are characterized in that they are a first group, which is a group of the imaging devices installed in the store, and a second group, which is a group of the imaging devices installed outside the store. The information processing device according to claim 6.
前記コンテンツ出力処理部が出力した前記情報コンテンツに対応する出力情報と、前記情報コンテンツを出力した前記出力デバイスを識別する出力識別情報と、前記情報コンテンツを出力した日時を示す出力日時情報とを対応付けた出力履歴情報を、出力履歴記憶部に記憶させる出力履歴処理部を備える
ことを特徴とする請求項1から請求項7のいずれか一項に記載の情報処理装置。
Corresponds to the output information corresponding to the information content output by the content output processing unit, the output identification information for identifying the output device that output the information content, and the output date and time information indicating the date and time when the information content was output. The information processing apparatus according to any one of claims 1 to 7, further comprising an output history processing unit that stores the attached output history information in the output history storage unit.
請求項1から請求項8のいずれか一項に記載の情報処理装置と、
複数の前記撮像装置と、
前記撮像装置に対応付けられた前記出力デバイスと
を備えることを特徴とする情報処理システム。
The information processing apparatus according to any one of claims 1 to 8.
With the plurality of the imaging devices
An information processing system including the output device associated with the image pickup apparatus.
画像処理部が、撮像装置が撮像した画像情報に含まれる人物を検出し、検出した検出人物の属性情報であって、少なくとも前記検出人物の人口統計学的特性と、前記検出人物の特徴的な行動を示す行動属性情報とのいずれかを含む検出人物の属性情報を、前記画像情報に基づいて抽出する画像処理ステップと、
コンテンツ抽出部が、前記画像処理ステップによって前記検出人物が検出された場合に、前記撮像装置に対応する出力デバイスが所属するデバイスグループに対応する情報コンテンツを抽出し、抽出した前記情報コンテンツのうちから、前記画像処理ステップによって抽出された前記検出人物の属性情報に基づく出力条件を満たす情報コンテンツを選択するコンテンツ抽出ステップと、
コンテンツ出力処理部が、前記コンテンツ抽出ステップによって選択された当該情報コンテンツを、前記撮像装置に対応する前記出力デバイスに出力させるコンテンツ出力処理ステップと
を含むことを特徴とする情報処理方法。
The image processing unit detects a person included in the image information captured by the imaging device, and is the attribute information of the detected person, which is at least the demographic characteristics of the detected person and the characteristic of the detected person. An image processing step of extracting the attribute information of the detected person including any of the behavior attribute information indicating the behavior based on the image information, and
When the detected person is detected by the image processing step, the content extraction unit extracts the information content corresponding to the device group to which the output device corresponding to the imaging device belongs, and from the extracted information content. , A content extraction step that selects information content that satisfies the output conditions based on the attribute information of the detected person extracted by the image processing step.
An information processing method characterized in that the content output processing unit includes a content output processing step of outputting the information content selected by the content extraction step to the output device corresponding to the imaging device.
JP2019107173A 2019-06-07 2019-06-07 Information processing device, information processing system, and information processing method Active JP7395850B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019107173A JP7395850B2 (en) 2019-06-07 2019-06-07 Information processing device, information processing system, and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019107173A JP7395850B2 (en) 2019-06-07 2019-06-07 Information processing device, information processing system, and information processing method

Publications (2)

Publication Number Publication Date
JP2020201651A true JP2020201651A (en) 2020-12-17
JP7395850B2 JP7395850B2 (en) 2023-12-12

Family

ID=73742115

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019107173A Active JP7395850B2 (en) 2019-06-07 2019-06-07 Information processing device, information processing system, and information processing method

Country Status (1)

Country Link
JP (1) JP7395850B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023181109A1 (en) * 2022-03-22 2023-09-28 シャープNecディスプレイソリューションズ株式会社 Information processing device, display system, and information processing method

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002337795A (en) * 2001-05-15 2002-11-27 Nippon Telegraph & Telephone West Corp Advertisement display control system and method for passenger transport, and advertisement display method for passenger transport
JP2004348618A (en) * 2003-05-26 2004-12-09 Nec Soft Ltd Customer information collection and management method and system therefor
JP2010113692A (en) * 2008-11-10 2010-05-20 Nec Corp Apparatus and method for recording customer behavior, and program
JP2012018457A (en) * 2010-07-06 2012-01-26 Nippon Telegr & Teleph Corp <Ntt> Signage display information providing apparatus, signage display information providing method, and signage display information providing program
JP2012208854A (en) * 2011-03-30 2012-10-25 Nippon Telegraph & Telephone East Corp Action history management system and action history management method
JP2012226017A (en) * 2011-04-15 2012-11-15 Panasonic Corp Digital signage system and signage terminal management server
JP2013109051A (en) * 2011-11-18 2013-06-06 Glory Ltd Electronic information providing system and electronic information providing method
JP2017204013A (en) * 2016-05-09 2017-11-16 株式会社ハッピースマイル Advertisement display system, display control apparatus, and advertisement display method

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4724589B2 (en) 2006-04-17 2011-07-13 パイオニア株式会社 Advertisement distribution display system, advertisement distribution display method, advertisement display device, and advertisement display program
JP5657606B2 (en) 2012-05-29 2015-01-21 東芝テック株式会社 Information display system
JP6274237B2 (en) 2016-03-11 2018-02-07 パナソニックIpマネジメント株式会社 Signage server, signage system, and content distribution method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002337795A (en) * 2001-05-15 2002-11-27 Nippon Telegraph & Telephone West Corp Advertisement display control system and method for passenger transport, and advertisement display method for passenger transport
JP2004348618A (en) * 2003-05-26 2004-12-09 Nec Soft Ltd Customer information collection and management method and system therefor
JP2010113692A (en) * 2008-11-10 2010-05-20 Nec Corp Apparatus and method for recording customer behavior, and program
JP2012018457A (en) * 2010-07-06 2012-01-26 Nippon Telegr & Teleph Corp <Ntt> Signage display information providing apparatus, signage display information providing method, and signage display information providing program
JP2012208854A (en) * 2011-03-30 2012-10-25 Nippon Telegraph & Telephone East Corp Action history management system and action history management method
JP2012226017A (en) * 2011-04-15 2012-11-15 Panasonic Corp Digital signage system and signage terminal management server
JP2013109051A (en) * 2011-11-18 2013-06-06 Glory Ltd Electronic information providing system and electronic information providing method
JP2017204013A (en) * 2016-05-09 2017-11-16 株式会社ハッピースマイル Advertisement display system, display control apparatus, and advertisement display method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023181109A1 (en) * 2022-03-22 2023-09-28 シャープNecディスプレイソリューションズ株式会社 Information processing device, display system, and information processing method

Also Published As

Publication number Publication date
JP7395850B2 (en) 2023-12-12

Similar Documents

Publication Publication Date Title
US10346929B2 (en) Computer-vision content detection for connecting objects in media to users
JP5795580B2 (en) Estimating and displaying social interests in time-based media
US10863324B2 (en) Mobile content delivery optimization
CN110264268B (en) Advertisement putting device, method, equipment and storage medium thereof
US10210429B2 (en) Image based prediction of user demographics
JP6406953B2 (en) Advertisement distribution apparatus, advertisement distribution method, and advertisement distribution program
JP5353193B2 (en) Behavior analysis apparatus, behavior analysis method, and program
JP2012252613A (en) Customer behavior tracking type video distribution system
JP2010211485A (en) Gaze degree measurement device, gaze degree measurement method, gaze degree measurement program and recording medium with the same program recorded
US20180160960A1 (en) Information processing system and information processing method
JP7395850B2 (en) Information processing device, information processing system, and information processing method
JP2024026415A (en) Information processing device and method and program
CN115392944A (en) Promotion content processing method and device, computer equipment and storage medium
JP6406954B2 (en) Advertisement distribution apparatus, advertisement distribution method, and advertisement distribution program
JP6700146B2 (en) A system that determines recommended content based on evaluation values
JP6856084B2 (en) Information processing device, content control device, information processing method, and program
JP7367847B2 (en) Recommended control devices, systems, methods and programs
JP6734487B2 (en) Regional smile level display system, regional smile level display method and program
JPWO2020066444A1 (en) Customer information registration device
US20150220614A1 (en) Information collection device, system, method and program
JP7400944B2 (en) Recommended control devices, systems, methods and programs
US20240135411A1 (en) Display control device, display control method, and program
US20240073482A1 (en) Systems and methods for recommending content items based on an identified posture
WO2023182693A1 (en) Cafe curation device and cafe curation method
WO2021144908A1 (en) Display control device, management device, display control system, display control method, management method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220525

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230601

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230801

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231031

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231113

R150 Certificate of patent or registration of utility model

Ref document number: 7395850

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150