JP2011017883A - Target specifying system, target specifying method, advertisement output system, and advertisement output method - Google Patents
Target specifying system, target specifying method, advertisement output system, and advertisement output method Download PDFInfo
- Publication number
- JP2011017883A JP2011017883A JP2009162424A JP2009162424A JP2011017883A JP 2011017883 A JP2011017883 A JP 2011017883A JP 2009162424 A JP2009162424 A JP 2009162424A JP 2009162424 A JP2009162424 A JP 2009162424A JP 2011017883 A JP2011017883 A JP 2011017883A
- Authority
- JP
- Japan
- Prior art keywords
- advertisement
- person
- image
- observer
- appeal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、訴求対象として最も適する人物を特定するための技術に関する。 The present invention relates to a technique for specifying a person who is most suitable as an appeal target.
従来より、公衆の目に触れる場所に設置した表示装置に広告映像を表示させることで広告を展開する手法(いわゆる、デジタルサイネージ)はよく知られている。 2. Description of the Related Art Conventionally, a technique (so-called digital signage) that develops an advertisement by displaying an advertisement video on a display device installed in a place that can be seen by the public is well known.
このようなデジタルサイネージに関し、例えば、特許文献1には、表示装置に表示された広告映像の効果を把握することを目的とした技術(広告配信システム)が開示されている。
With regard to such digital signage, for example,
この広告配信システムは、カメラにより表示装置の近傍を撮影し、撮影された画像を分析することで、人数や視線方向等を取得し、これらに基づいて、表示された広告映像の注目度(広告効果)を測定する。 This advertisement distribution system captures the vicinity of the display device with a camera and analyzes the captured image to acquire the number of people, the direction of the line of sight, etc., and based on these, the degree of attention (advertisement) of the displayed advertisement video Effect).
ところで、広告映像の観察者達(即ち、表示装置の表示画面を見ている不特定多数の人達)において、当該広告映像に対する関心の度合いは、個々人で様々であるといえる。即ち、意識して広告映像に見入る人もいれば、たまたま表示装置近傍を通行中に無意識に表示装置の表示画面に目を向ける人もいる。 By the way, it can be said that the degree of interest in the advertisement video varies among the observers of the advertisement video (that is, an unspecified number of people watching the display screen of the display device). That is, some people consciously look into the advertisement video, and some people accidentally look at the display screen of the display device while walking in the vicinity of the display device.
例えば、表示された広告映像に対して最も強い関心を示した人物を特定でき、その人物に適した広告映像をリアルタイムで表示させることができたら、当該広告映像の訴求効果を高めることが期待できる。 For example, if the person who showed the strongest interest in the displayed advertisement video can be identified and the advertisement video suitable for the person can be displayed in real time, the appeal effect of the advertisement video can be expected to be enhanced. .
しかしながら、上記特許文献1には、このような人物の特定について一切の言及はなく、他の従来技術においても、このような技術思想の開示はなされていない。
However, the above-mentioned
本発明は、上記実情に鑑みてなされたものであり、訴求対象として最も適する人物を特定する訴求対象特定システム及び訴求対象特定方法、並びに、その特定した人物に適した広告映像を表示する広告出力システム及び広告出力方法を提供することを目的とする。 The present invention has been made in view of the above circumstances, and an appeal target identification system and an appeal target identification method for identifying a person most suitable as an appeal target, and an advertisement output for displaying an advertisement video suitable for the identified person It is an object to provide a system and an advertisement output method.
本発明に係る訴求対象特定システムは、
広告出力装置から出力される広告映像を観察し得る領域の画像を取得する撮像装置と、
該撮像装置で取得した画像を解析して、当該画像に写り込んでいる人物の顔画像を検出することで、前記広告映像の観察者を検出し、所定条件に基づいて、検出した全ての観察者の中から訴求対象として最も適する人物を特定する訴求対象特定手段と、を備えることを特徴とする。
The appeal target identification system according to the present invention is:
An imaging device that acquires an image of a region where the advertisement video output from the advertisement output device can be observed;
By analyzing the image acquired by the imaging device and detecting a face image of a person reflected in the image, an observer of the advertisement video is detected, and all the detected observations are performed based on a predetermined condition. And an appeal target specifying means for specifying a person most suitable as an appeal target from among the persons.
また、本発明に係る訴求対象特定方法は、
広告出力装置から出力される広告映像を観察し得る領域の画像を取得し、
該取得した画像を解析して、当該画像に写り込んでいる人物の顔画像を検出することで、前記広告映像の観察者を検出し、所定条件に基づいて、検出した全ての観察者の中から訴求対象として最も適する人物を特定することを特徴とする。
Further, the appeal target identification method according to the present invention is:
Obtain an image of the area where you can observe the advertisement video output from the advertisement output device,
By analyzing the acquired image and detecting a face image of a person reflected in the image, an observer of the advertisement video is detected, and based on a predetermined condition, among the detected observers The most suitable person to be appealed is identified from the above.
また、本発明に係る広告出力システムは、
広告映像を出力する広告出力装置と、
該広告出力装置から出力される前記広告映像を観察し得る領域の画像を取得する撮像装置と、
該撮像装置で取得した画像を解析して、当該画像に写り込んでいる人物の顔画像を検出することで、前記広告映像の観察者を検出し、所定条件に基づいて、検出した全ての観察者の中から訴求対象として最も適する人物を特定する訴求対象特定手段と、
広告用の複数のコンテンツの中から前記訴求対象特定手段で特定した人物に適するコンテンツを選択し、前記広告出力装置に配信する広告配信手段と、を備え、
前記広告出力装置は、前記広告配信手段から配信されたコンテンツに係る広告映像を出力することを特徴とする。
Moreover, the advertisement output system according to the present invention includes:
An advertisement output device for outputting an advertisement video;
An imaging device for acquiring an image of a region where the advertisement video output from the advertisement output device can be observed;
By analyzing the image acquired by the imaging device and detecting a face image of a person reflected in the image, an observer of the advertisement video is detected, and all the detected observations are performed based on a predetermined condition. Appeal target identification means for identifying the most suitable person to appeal from among the persons,
An advertisement distribution unit that selects content suitable for the person identified by the appeal target identification unit from a plurality of content for advertisement, and distributes the content to the advertisement output device;
The advertisement output device outputs an advertisement video related to the content distributed from the advertisement distribution means.
また、本発明に係る広告出力方法は、
広告出力装置から出力される広告映像を観察し得る領域の画像を取得し、
該取得した画像を解析して、当該画像に写り込んでいる人物の顔画像を検出することで、前記広告映像の観察者を検出し、所定条件に基づいて、検出した全ての観察者の中から訴求対象として最も適する人物を特定し、
広告用の複数のコンテンツの中から前記特定した人物に適するコンテンツを選択し、前記広告出力装置に配信することを特徴とする。
An advertisement output method according to the present invention includes:
Obtain an image of the area where you can observe the advertisement video output from the advertisement output device,
By analyzing the acquired image and detecting a face image of a person reflected in the image, an observer of the advertisement video is detected, and based on a predetermined condition, among the detected observers To identify the most appropriate person to appeal,
Content suitable for the specified person is selected from a plurality of content for advertisement and distributed to the advertisement output device.
本発明によれば、訴求対象として最も適する人物を高精度で特定することが可能になる。また、その特定した人物に適した広告映像を表示することで、当該広告映像の訴求効果を高めることが可能になる。 According to the present invention, it is possible to specify a person most suitable as a appeal target with high accuracy. In addition, by displaying an advertisement video suitable for the specified person, it is possible to increase the appeal effect of the advertisement video.
以下、本発明に係る広告出力システムの一実施形態について図面を参照して説明する。 Hereinafter, an embodiment of an advertisement output system according to the present invention will be described with reference to the drawings.
図1に示すように、本実施形態に係る広告出力システム1は、出力装置10と、撮像装置20と、広告配信装置30と、訴求対象特定装置40と、から構成されている。なお、撮像装置20及び訴求対象特定装置40は、本発明の本実施形態に係る訴求対象特定システムを構成する。
As illustrated in FIG. 1, the
出力装置10は、例えば、プラズマディスプレイ、液晶ディスプレイ等の比較的大型の表示装置と、スピーカ等の音響装置と、から構成され、街頭や公共交通機関等、公衆の目に触れる場所に設置されている。出力装置10は、広告配信装置30からのマルチメディアデータを受信し、受信したマルチメディアデータに含まれる広告映像を表示すると共に音声を放音して、観察者OBに提供する。
The
撮像装置20は、CCD(Charge Coupled Device)カメラ、CMOS(Complementary Metal Oxide Semiconductor)センサカメラ等から構成され、出力装置10の近傍に設置される。本実施形態では、撮像装置20は、図2(a)、(b)に示すように、出力装置10の上面(地表からの高さL(cm)の位置)中央に、出力装置10の前方側を見下ろす態様で設置され、前方下側の所定領域を撮影する。撮像装置20は、出力装置10から出力される広告映像及び音声を観察者OBが視聴し得る領域を撮影する。本実施形態では、高さLが約195cm、俯角θ1が約12度、画角θ2が約60度となっている。
The
撮像装置20は、上記領域を常時撮影し、例えば、1/30秒のフレーム周期でフレーム画像を取得して、訴求対象特定装置40に供給する。
The
広告配信装置30は、所定のネットワークを介して出力装置10に接続され、訴求対象特定装置40からの情報に従って、特定の広告を選択し、選択した広告に対応するマルチメディアデータを出力装置10に供給する。
The
図3は、広告配信装置30の構成の一例を示すブロック図である。図3に示すように、広告配信装置30は、コンテンツ選択用メモリ300と、コンテンツDB301と、通信部302と、入出力部303と、制御部304と、を備える。
FIG. 3 is a block diagram illustrating an example of the configuration of the
コンテンツ選択用メモリ300は、コンテンツ選択用テーブルを記憶する。コンテンツ選択用テーブルは、図4に示すように、コンテンツ(即ち、配信対象のマルチメディアデータ)の格納位置を示すアドレス(URL(Uniform Resource Locator))と、その表示時間と、そのコンテンツの視聴対象者として最も適した人物属性(本実施形態では、年齢層と性別)と、を対応付けたデータテーブルである。ここで、「コンテンツの視聴対象者として最も適した人物」とは、当該コンテンツに係る広告の訴求効果が最も見込める人物という意味を示す。
The
コンテンツDB301は、配信対象のコンテンツ(例えば、MPEGフォーマットの音声付動画)を格納する。コンテンツDB301に格納されている各コンテンツは、URLで特定される。
The
通信部302は、インターネット等の所定のネットワークを介して、出力装置10、訴求対象特定装置40等と通信を行う。
The
入出力部303は、キーボード、マウス、表示装置などから構成され、制御部304に種々の指示やデータを入力し、また、制御部304から出力される情報を表示する。
The input /
制御部304は、プロセッサなどから構成され、図示しないROM(Read Only Memory)に記憶されている制御プログラムに従って動作する。例えば、制御部304は、次に配信すべきコンテンツを決定するため、人物属性情報の送信を要求するメッセージ(人物属性情報要求メッセージ)を訴求対象特定装置40に通信部302を介して送信する。
The
制御部304は、この人物属性情報要求メッセージに応答して、訴求対象特定装置40から送られてくる人物属性情報を受信すると、かかる人物属性情報が示す人物属性(年齢層及び性別)をキーにして、コンテンツ選択用テーブルから対応するコンテンツのURLを取得する。そして、取得したURLを使用して、コンテンツDB301から配信すべきコンテンツを読み出し、通信部302を介して出力装置10に供給する。
When the
図1の訴求対象特定装置40は、広告配信装置30からの上述した人物属性情報要求メッセージを受信すると、訴求対象特定処理を開始する。この訴求対象特定処理が開始されると、訴求対象特定装置40は、撮像装置20の撮影画像をフレーム単位に解析し、出力装置10に表示された広告映像を見ている人(観察者OB)を検出する。そして、検出した1又は複数の観察者OBの中から、所定条件に基づいて、特定の一人を訴求対象として選出する。なお、検出した観察者OBが一人の場合は、当該観察者OBが訴求対象として選出されることになる。
When the appeal
訴求対象特定装置40は、訴求対象となる人物を選出すると、その属性(年齢層、性別)を含む応答情報(即ち、人物属性情報)を生成し、広告配信装置30に送信する。
When the appeal
図5は、訴求対象特定装置40の構成の一例を示すブロック図である。図5に示すように、訴求対象特定装置40は、モデルDB400と、フレームメモリ401と、ワークメモリ402と、コスト算出用メモリ403と、入出力部404と、通信部405と、制御部406と、から構成される。
FIG. 5 is a block diagram illustrating an example of the configuration of the appeal
モデルDB400は、図6に例示するように、多種多様な顔画像のモデル(母集団)を解析して得られた各種特徴量の組み合わせと、年齢層及び性別との対応関係を記憶する。
As illustrated in FIG. 6, the
フレームメモリ401は、撮像装置20から供給される各フレーム画像を順次記憶する。
The
ワークメモリ402は、制御部406のワークエリアとして機能する。
The
コスト算出用メモリ403は、図7に示すように、各種のコスト変換テーブルを記憶する。コスト変換テーブルは、フレーム画像を解析した結果からコストを導出するためのデータテーブルである。ここでいうコストとは、訴求対象を選出する際に指標となる値である。
The
位置コスト変換テーブルは、観察者OBの位置コストを求めるために使用するコスト変換テーブルであり、フレーム画像(例えば、640×480(ピクセル)のビットマップ画像)における位置と位置コストとの対応関係を示す(図7(a)参照)。 The position cost conversion table is a cost conversion table used for obtaining the position cost of the observer OB, and shows the correspondence between the position and the position cost in the frame image (for example, a 640 × 480 (pixel) bitmap image). This is shown (see FIG. 7A).
図7(a)から判るように、位置コストは、観察者OBが出力装置10に表示された広告映像を最も見やすい場所(領域)に位置する場合に最も大きくなり、観察者OBがその場所を離れるに従って小さくなる。つまり、出力装置10に表示された広告映像をより見やすい場所に位置する観察者OBほど、より高い値の位置コストが付与されることになる。
As can be seen from FIG. 7A, the position cost becomes the highest when the observer OB is located in the place (area) where the advertisement image displayed on the
制御部406は、フレーム画像を解析して、検出した観察者OBの顔画像の中心部の座標を取得し、位置コスト変換テーブルを用いて、当該観察者OBの今回の(即ち、当該フレーム画像における)位置コストを求める。制御部406は、各フレーム画像の解析処理毎に当該観察者OBの位置コストを求め、これを平均することで、訴求対象となる人物を特定する際の指標となる最終的な位置コストを求める。
The
図7(b)に示す注視コスト変換テーブルは、観察者OBの注視コストを求めるために使用するコスト変換テーブルであり、観察者OBの平均移動量と注視コストとの対応関係を示す。制御部406は、各フレーム画像の解析処理毎に、当該フレーム画像における観察者OBの顔画像の中心座標(xi,yi)と、1つ前に解析したフレーム画像における当該観察者OBの顔画像の中心座標(xi−1,yi−1)と間の距離(ピクセル)を求め、これを平均することで、フレーム周期間における当該観察者OB(の顔画像)の平均移動量を求める。平均移動量が求まると、制御部406は、注視コスト変換テーブルを用いて、当該観察者OBの注視コストを取得する。
The gaze cost conversion table shown in FIG. 7B is a cost conversion table used for obtaining the gaze cost of the observer OB, and shows a correspondence relationship between the average movement amount of the observer OB and the gaze cost. For each frame image analysis process, the
図7(b)に示すように、この注視コスト変換テーブルでは、平均移動量の値が小さくなる程、対応する注視コストの値は大きくなる。これは、一般に、広告映像を注視している人は、動きが少ないと推測できることによる。 As shown in FIG. 7B, in this gaze cost conversion table, the corresponding gaze cost value increases as the average movement amount value decreases. This is because, in general, a person who is watching an advertisement video can be estimated to have little movement.
図7(c)に示す滞留コスト変換テーブルは、観察者OBの滞留コストを求めるために使用するコスト変換テーブルであり、訴求対象特定処理において、同一の観察者OBが検出されたフレーム画像の枚数と滞留コストとの対応関係を示す。この滞留コスト変換テーブルの内容から判るように、検出枚数が増加する程、対応する滞留コストの値は大きくなる。 The stay cost conversion table shown in FIG. 7C is a cost conversion table used for obtaining the stay cost of the observer OB, and the number of frame images in which the same observer OB is detected in the appeal target specifying process. Shows the correspondence between the cost and residence cost. As can be seen from the contents of this stay cost conversion table, the corresponding stay cost value increases as the number of detected sheets increases.
図5に戻り、入出力部404は、キーボード、マウス、表示装置などから構成され、制御部に406に種々の指示やデータを入力し、また、制御部406から出力される情報を表示する。
Returning to FIG. 5, the input /
通信部405は、撮像装置20と所定の通信ケーブルを介して接続すると共に、インターネット等の所定のネットワークを介して広告配信装置30等と通信を行う。
The
制御部406は、プロセッサなどから構成され、図示しないROMに記憶されている制御プログラムに従って動作し、撮像装置20から出力されるフレーム画像を通信部405を介して受信して、フレームメモリ401に格納する。
The
また、制御部406は、広告配信装置30からの人物属性情報要求メッセージを受信すると、訴求対象特定処理を実行する。以下、訴求対象特定処理の詳細について、図8のフローチャートに沿って説明する。
In addition, when receiving the person attribute information request message from the
まず、制御部406は、フレームメモリ401から1枚のフレーム画像を取得し、ワークメモリ402に展開する(ステップS101)。
First, the
次に、制御部406は、取得したフレーム画像を解析して、表示装置20に表示中の広告映像を見ている人物(即ち、観察者OB)の顔画像を抽出する(ステップS102)。
Next, the
観察者OBの顔画像を抽出する手法は任意である。例えば、フレーム画像全体の平均輝度に基づいて定めた閾値により画像を二値化し、二値化画像中で一定の距離(10〜18cm相当)にある2つの黒点(目の画像と推定されるもの)の組を抽出し、続いて、元のフレーム画像中で、抽出された黒点の組を基準として一定範囲の画像を抽出し、これを予め用意されている顔の画像のサンプルとマッチングし、一致する場合に、その抽出画像を観察者OBの顔画像として認識する。 The method for extracting the face image of the observer OB is arbitrary. For example, the image is binarized with a threshold value determined based on the average luminance of the entire frame image, and two black spots (estimated as an eye image) at a certain distance (equivalent to 10 to 18 cm) in the binarized image ), And then, in the original frame image, extract a range of images based on the extracted set of black spots, and match this with a sample of facial images prepared in advance, If they match, the extracted image is recognized as the face image of the observer OB.
なお、観察者OBの検出精度を高めるため、抽出した顔画像から目線の方向を求め、その方向が表示装置20の表示画面に向いている場合に、当該顔画像を観察者OBの顔画像として認識する仕様にしてもよい。
In order to improve the detection accuracy of the observer OB, the direction of the line of sight is obtained from the extracted face image, and when the direction is directed to the display screen of the
次に、制御部406は、各顔画像について、その中心位置(x、y座標)と、顔を識別するための複数の特徴量を求める(ステップS103)。
Next, the
「特徴量」とは、顔画像の特徴を表すパラメータを指し、その画像における各画素の濃度勾配を表す勾配ベクトル、各画素の色情報(色相、彩度)、濃度、テクスチャーの特徴、奥行情報、その画像に含まれるエッジの特徴等、いかなる特徴を表すものであってもよい。この特徴量としては、既知の種々の特徴量を使用できる。例えば、両目と鼻の頂点との距離などを使用することも可能である。 The “feature amount” refers to a parameter representing the feature of the face image, a gradient vector representing the density gradient of each pixel in the image, color information (hue, saturation), density, texture feature, depth information of each pixel. Any feature such as a feature of an edge included in the image may be expressed. As this feature value, various known feature values can be used. For example, the distance between both eyes and the apex of the nose can be used.
制御部406は、各観察者OBの顔画像の中心位置と特徴量を取得すると、これらの情報を用いて、観察者情報テーブルの内容を更新する(ステップS104)。観察者情報テーブルは、当該訴求対象特定処理の間、制御部406によって一時的にワークメモリ402に展開され、識別した各観察者の情報が格納されるデータテーブルである。図9に示すように、観察者情報テーブルは、「No.」、「属性」、「継続検出数」、「通算位置コスト」、「通算移動量」、「顔位置」、「特徴量1〜m」等のデータ項目を有する。
When the
この観察者情報テーブルにおいて、「継続検出数」には、各フレーム画像の解析で、同一の観察者OBの顔画像が検出された連続数、つまり、同一の観察者OBの顔画像が写り込んだ時系列的に連続するフレーム画像の枚数を示す数値が格納される。 In this observer information table, “continuous detection number” includes the continuous number in which the face image of the same observer OB was detected in the analysis of each frame image, that is, the face image of the same observer OB. A numerical value indicating the number of continuous frame images is stored.
「通算位置コスト」には、同一の観察者OBの時系列的に連続する各フレーム画像毎の位置コストの総和を示す数値が格納される。 Stored in the “total position cost” is a numerical value indicating the total position cost of each frame image of the same observer OB in time series.
「通算移動量」には、時系列的に連続する各フレーム画像毎(より詳細には、2枚目以降のフレーム画像毎)に求めた同一の観察者OBの顔画像の中心位置の移動距離(ピクセル)の総和を示す数値が格納される。 The “total movement amount” includes the movement distance of the center position of the face image of the same observer OB obtained for each frame image continuous in time series (more specifically, for each frame image after the second frame). A numerical value indicating the total sum of (pixels) is stored.
「顔位置」には、今回解析したフレーム画像における当該観察者OBの顔画像の中心位置を示す座標(x,y)がピクセル単位で格納される。 In “face position”, coordinates (x, y) indicating the center position of the face image of the observer OB in the frame image analyzed this time are stored in units of pixels.
制御部406は、観察者情報テーブルの各レコードを検索して、今回取得した各観察者OBの顔画像の中心位置及び特徴量と一致するレコードが含まれているか否かを判定する。フレーム周期(例えば、1/30秒)の間に、人間はほとんど移動できないものといえる。例えば、通常の歩行では、この時間内に10cm程度しか移動できない。そこで、制御部406は、従前の位置から10cm程度の移動範囲内にあって、特徴量がほぼ一致するものがあれば、同一人物の顔であると判定する。一方、位置がほぼ一致しても、特徴量が大きく異なっている場合や、特徴量がほぼ一致しても、位置が大きくずれている場合には、異なる人物の顔であると判別する。
The
一致するレコードがある場合、制御部406は、当該レコードの該当するデータ項目の内容を更新する。以下、具体的に説明する。
If there is a matching record, the
制御部406は、今回解析したフレーム画像における当該観察者OBの位置コスト(今回の位置コスト)を求める。また、制御部406は、当該レコードの「顔位置」に格納されている座標(即ち、前回のフレーム画像における顔画像の中心座標)と、今回取得した顔画像の中心座標との間の距離(即ち、今回の移動量)を求める。
The
そして、制御部406は、当該レコードの「継続検出数」の格納値を+1し、「通算位置コスト」の格納値に今回の位置コストを加え、「通算移動量」の格納値に今回の移動量を加える。そして、「顔位置」に今回取得した顔画像の中心座標を上書きする。
Then, the
以上のようにして、観察者情報テーブルの該当レコードが更新される。 As described above, the corresponding record in the observer information table is updated.
一方、一致するレコードが観察者情報テーブルに存在しない場合、観察者情報テーブルに当該観察者OB用のレコードが新規に追加される。以下、この場合について具体的に説明する。 On the other hand, if no matching record exists in the observer information table, a new record for the observer OB is added to the observer information table. Hereinafter, this case will be specifically described.
制御部406は、今回求めた特徴量の組と、モデルDB400に格納されている特徴量の組(図6参照))量の組とを比較し、当該観察者OBの年齢層と性別を求め、観察者情報テーブル(図9参照)における新たなレコードの「属性」に格納する。また、制御部406は、「継続検出数」に1を格納し、「通算位置コスト」に今回の位置コストを格納し、「通算移動量」に0を格納する。そして、「顔位置」に今回取得した顔画像の中心座標を格納し、「特徴量1〜m」に今回取得した特徴量の組を格納する。
The
以上のようにして新規レコードが追加される。 A new record is added as described above.
また、前回まで検出されていた観察者OBの顔画像が、今回のフレーム画像から検出されなかった場合、制御部406は、当該観察者OBを訴求対象から外すため、観察者情報テーブルの該当レコードを削除する。
When the face image of the observer OB that has been detected until the previous time is not detected from the current frame image, the
以上のようにして観察者情報テーブルの内容を更新すると、制御部406は、本処理(訴求対象特定処理)が開始してからの経過時間(処理時間)が、所定時間(例えば、5秒)を超えたか否かを判定する(ステップS105)。処理時間が所定時間を超えていない場合(ステップS105でNO)、制御部406は、フレームメモリ401から次のフレーム画像を取得し(ステップS101)、ワークメモリ402に展開し、上述した処理を繰り返し行う。
When the contents of the observer information table are updated as described above, the
一方、処理時間が所定時間を超えている場合(ステップS105でYES)、制御部406は、観察者情報テーブルの各レコードの内容に基づいて、各観察者OBのコスト(最終コスト)を算出する(ステップS106)。最終コストの算出式を以下に示す。
On the other hand, when the processing time exceeds the predetermined time (YES in step S105), the
最終コスト=α×位置コスト+β×注視コスト+γ×滞留コスト
α、β、γは、重み調整用の係数
Final cost = α x position cost + β x gaze cost + γ x dwell cost α, β, and γ are weight adjustment factors
上記式において、位置コストは、「通算位置コスト」を「継続検出数」で除算することで求まる。また、注視コストは、「通算移動量」を「継続検出数」−1で除算して平均移動量を求め、この平均移動量と注視コスト変換テーブル(図7(b)参照)を用いることで導出される。また、滞留コストは、「継続検出数」を検出フレーム数とし、滞留コスト変換テーブル(図7(c)参照)を用いて変換することで導出される。 In the above formula, the position cost is obtained by dividing the “total position cost” by the “continuous detection number”. Further, the gaze cost is obtained by dividing the “total movement amount” by the “continuous detection number” −1 to obtain an average movement amount, and using this average movement amount and the gaze cost conversion table (see FIG. 7B). Derived. Further, the stay cost is derived by converting the “continuation detection number” as the number of detected frames and using the stay cost conversion table (see FIG. 7C).
制御部406は、以上のようにして、各観察者OBの最終コストを算出し、最終コストが最も大きい観察者OBを訴求対象として選出する。そして、制御部406は、当該観察者OBに対応するレコードの「属性」を含む人物属性情報を生成し、人物属性情報要求メッセージの応答として広告配信装置30に送信する(ステップS107)。
As described above, the
以上で訴求対象特定処理は終了する。 Thus, the appeal target specifying process ends.
広告配信装置30は、訴求対象特定装置40からの人物属性情報を受信すると、かかる人物属性情報が示す人物属性(年齢層及び性別)に適したコンテンツを選択し、通信部302を介して出力装置10に供給する。これにより、訴求対象として選出された観察者OBに適した広告映像が出力装置10から出力され、当該観察者OBにリアルタイムで提供することができる。
Upon receiving the person attribute information from the appeal
以上説明したように、本実施形態の広告出力システム1によれば、出力装置10の近傍に設置した撮像装置20にて、出力装置10の表示画面側前方の所定領域を撮影し、それにより得られたフレーム画像を解析することで、広告映像を視聴していると推定できる人物(観察者OB)を検出する。そして、検出した各観察者OBの中から訴求対象とする人物を一人選出する。かかる選出では、図7に示す各種のコスト変換テーブルを用いて取得した各種のコストが指標として使用される。
As described above, according to the
本実施形態では、各観察者OB毎に、広告映像を視認しやすい位置にいるかどうかの指標となる位置コスト、広告映像を注視しているかどうかの指標となる注視コスト及び視聴時間の指標となる滞留コストをそれぞれ求める。そして、求めたこれら各種のコストに基づいて、訴求対象とする人物を選出する。このように、複数の観点に基づく指標を取り入れて訴求対象を選出するため、訴求対象として最も適する人物を高精度で特定することが可能になる。 In the present embodiment, for each observer OB, a position cost that is an index as to whether or not the advertisement video is easily visible, a gaze cost that is an index as to whether or not the advertisement video is being watched, and a viewing time index. Find the residence cost. Then, based on the various costs obtained, a person to be appealed is selected. In this way, since the appeal target is selected by incorporating the indexes based on a plurality of viewpoints, it becomes possible to specify the person most suitable as the appeal target with high accuracy.
そして、このように選出した訴求対象者に適した広告映像をリアルタイムで表示することができるので、当該広告映像の訴求効果を高めることが可能となる。 And since the advertisement video suitable for the appeal target person selected in this way can be displayed in real time, it becomes possible to enhance the appeal effect of the advertisement video.
なお、本発明は、上記実施形態に限定されず、本発明の要旨を逸脱しない範囲での種々の変更は勿論可能である。 In addition, this invention is not limited to the said embodiment, Of course, the various change in the range which does not deviate from the summary of this invention is possible.
例えば、上記実施形態では、訴求対象特定装置40により特定された訴求対象者の情報(人物属性)を次に配信する広告映像の訴求効果を高める観点で利用しているが、特定した訴求対象者の情報の利用態様は様々である。例えば、特定した訴求対象者は、表示した広告映像に対して最も強い関心を示した人物ともいえるため、その情報を広告効果を分析する際のデータとして利用してもよく、その価値は十分にあるといえる。
For example, in the above embodiment, the information (person attribute) of the appeal target person specified by the appeal
また、広告効果の分析に利用することを主たる目的として訴求対象者を特定する場合では、上記実施形態のように、訴求対象特定システム(撮像装置20と訴求対象特定装置40とから構成される)を広告表示システム1に組み込まずに、単独のシステムで流通させてもよい。この場合、分析対象の広告は、表示装置に表示される映像に係る広告でなくても構わない。例えば、撮像装置20を公衆の目に触れる場所に設置された広告用の看板やポスター等の近傍に設置し、訴求対象特定装置40が、当該看板等が示す広告を観察する複数の人物の中から訴求対象者を特定してもよい。
Further, in the case where the person to be appealed is specified mainly for use in the analysis of the advertising effect, the object to be appealed identification system (comprised of the
また、上記実施形態では、訴求対象特定処理は、その開始後、所定時間が経過すると終了するが、処理を終了させるタイミングは任意である。例えば、解析したフレーム画像の枚数が所定数に達した場合に処理を終了させるようにしてもよい。さらに、訴求対象特定処理の開始タイミングについても様々である。例えば、訴求対象特定装置40は、周期的に訴求対象特定処理を実行してもよいし、広告映像の切り替わりに同期して訴求対象特定処理を開始してもよい。
Moreover, in the said embodiment, although the appeal target specific process is complete | finished when predetermined time passes after the start, the timing which complete | finishes a process is arbitrary. For example, the processing may be terminated when the number of analyzed frame images reaches a predetermined number. Furthermore, there are various timings for starting the appeal target identification process. For example, the appeal
また、上記実施形態では、位置コスト、注視コスト及び滞留コストの3種類のコストを用いて訴求対象者を選出しているが、これらの内の1つ又は2つのコストを用いて訴求対象者を選出してもよい。 Moreover, in the said embodiment, although the object person of appeal is selected using three types of costs, a position cost, a gaze cost, and a stay cost, an object person of appeal is selected using one or two of these costs. May be elected.
また、滞留コスト変換テーブルが、観察者OBの滞留時間と滞留コストとを対応付けたものであってもよい。 Further, the stay cost conversion table may associate the stay time of the observer OB with the stay cost.
また、上記実施形態では、訴求対象特定処理における観察者情報テーブルの更新の際(図8のフロチャートのステップS104)、前回まで検出されていた観察者OBの顔画像の検出が1回でも途絶えると、観察者情報テーブル(図9参照)の該当レコードを削除していたが、一旦検出された観察者OBを訴求対象から除外するための条件に限定はない。例えば、ある観察者OBの顔画像が、所定回数以上連続して検出できなかった場合に、当該観察者OBに対応するレコードを削除する等、一定の猶予期間を設けてもよい。 In the above embodiment, when updating the observer information table in the appeal target specifying process (step S104 in the flowchart of FIG. 8), the detection of the face image of the observer OB that has been detected until the previous time is interrupted even once. The corresponding record in the observer information table (see FIG. 9) has been deleted, but there is no limitation on the conditions for excluding the detected observer OB from the appeal target. For example, when a face image of a certain observer OB cannot be detected continuously for a predetermined number of times, a certain grace period may be provided such as deleting a record corresponding to the observer OB.
1 広告出力システム
10 出力装置
20 撮像装置
30 広告配信装置
40 訴求対象特定装置
300 コンテンツ選択用メモリ
301 コンテンツDB
302 通信部
303 入出力部
304 制御部
400 モデルDB
401 フレームメモリ
402 ワークメモリ
403 コスト算出用メモリ
404 入出力部
405 通信部
406 制御部
DESCRIPTION OF
302
401
Claims (7)
該撮像装置で取得した画像を解析して、当該画像に写り込んでいる人物の顔画像を検出することで、前記広告映像の観察者を検出し、所定条件に基づいて、検出した全ての観察者の中から訴求対象として最も適する人物を特定する訴求対象特定手段と、を備える、
ことを特徴とする訴求対象特定システム。 An imaging device that acquires an image of a region where the advertisement video output from the advertisement output device can be observed;
By analyzing the image acquired by the imaging device and detecting a face image of a person reflected in the image, an observer of the advertisement video is detected, and all the detected observations are performed based on a predetermined condition. An appeal target identification means for identifying a person most suitable as an appeal target from among the persons,
A target identification system characterized by that.
ことを特徴とする請求項1に記載の訴求対象特定システム。 The appeal target specifying means specifies the person most suitable as the appeal target based on the position of the face image of each observer in the acquired image of the imaging device.
The appeal target identification system according to claim 1, wherein:
ことを特徴とする請求項1又は2に記載の訴求対象特定システム。 The appeal target specifying means detects the amount of movement of the position of each observer's face image in the acquired image of the imaging device, and based on the detection result, specifies the person most suitable as the appeal target.
The appeal target identification system according to claim 1 or 2, characterized in that
ことを特徴とする請求項1乃至3の何れか1項に記載の訴求対象特定システム。 The appeal target specifying means specifies the most suitable person as the appeal target based on the observation time of the advertisement video of each observer.
The appeal target identification system according to any one of claims 1 to 3, wherein
該取得した画像を解析して、当該画像に写り込んでいる人物の顔画像を検出することで、前記広告映像の観察者を検出し、所定条件に基づいて、検出した全ての観察者の中から訴求対象として最も適する人物を特定する、
ことを特徴とする訴求対象特定方法。 Obtain an image of the area where you can observe the advertisement video output from the advertisement output device,
By analyzing the acquired image and detecting a face image of a person reflected in the image, an observer of the advertisement video is detected, and based on a predetermined condition, among the detected observers To identify the most suitable person to appeal for,
The appeal target identification method characterized by this.
該広告出力装置から出力される前記広告映像を観察し得る領域の画像を取得する撮像装置と、
該撮像装置で取得した画像を解析して、当該画像に写り込んでいる人物の顔画像を検出することで、前記広告映像の観察者を検出し、所定条件に基づいて、検出した全ての観察者の中から訴求対象として最も適する人物を特定する訴求対象特定手段と、
広告用の複数のコンテンツの中から前記訴求対象特定手段で特定した人物に適するコンテンツを選択し、前記広告出力装置に配信する広告配信手段と、を備え、
前記広告出力装置は、前記広告配信手段から配信されたコンテンツに係る広告映像を出力する、
ことを特徴とする広告出力システム。 An advertisement output device for outputting an advertisement video;
An imaging device for acquiring an image of a region where the advertisement video output from the advertisement output device can be observed;
By analyzing the image acquired by the imaging device and detecting a face image of a person reflected in the image, an observer of the advertisement video is detected, and all the detected observations are performed based on a predetermined condition. Appeal target identification means for identifying the most suitable person to appeal from among the persons,
An advertisement distribution unit that selects content suitable for the person identified by the appeal target identification unit from a plurality of content for advertisement, and distributes the content to the advertisement output device;
The advertisement output device outputs an advertisement video related to the content distributed from the advertisement distribution means;
An advertisement output system characterized by that.
該取得した画像を解析して、当該画像に写り込んでいる人物の顔画像を検出することで、前記広告映像の観察者を検出し、所定条件に基づいて、検出した全ての観察者の中から訴求対象として最も適する人物を特定し、
広告用の複数のコンテンツの中から前記特定した人物に適するコンテンツを選択し、前記広告出力装置に配信する、
ことを特徴とする広告出力方法。 Obtain an image of the area where you can observe the advertisement video output from the advertisement output device,
By analyzing the acquired image and detecting a face image of a person reflected in the image, an observer of the advertisement video is detected, and based on a predetermined condition, among the detected observers To identify the most appropriate person to appeal,
Selecting content suitable for the specified person from among a plurality of contents for advertisement, and delivering to the advertisement output device;
An advertisement output method characterized by the above.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009162424A JP2011017883A (en) | 2009-07-09 | 2009-07-09 | Target specifying system, target specifying method, advertisement output system, and advertisement output method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009162424A JP2011017883A (en) | 2009-07-09 | 2009-07-09 | Target specifying system, target specifying method, advertisement output system, and advertisement output method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011017883A true JP2011017883A (en) | 2011-01-27 |
Family
ID=43595721
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009162424A Pending JP2011017883A (en) | 2009-07-09 | 2009-07-09 | Target specifying system, target specifying method, advertisement output system, and advertisement output method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011017883A (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5527423B2 (en) * | 2010-11-10 | 2014-06-18 | 日本電気株式会社 | Image processing system, image processing method, and storage medium storing image processing program |
JP2015168516A (en) * | 2014-03-06 | 2015-09-28 | 東芝エレベータ株式会社 | elevator display system |
JP2019066700A (en) * | 2017-10-02 | 2019-04-25 | 株式会社ぐるなび | Control method, information processing apparatus, and control program |
CN111046788A (en) * | 2019-12-10 | 2020-04-21 | 北京文安智能技术股份有限公司 | Method, device and system for detecting staying personnel |
CN111246296A (en) * | 2020-01-17 | 2020-06-05 | 北京市商汤科技开发有限公司 | Data pushing method and device, electronic equipment and computer storage medium |
WO2024079778A1 (en) * | 2022-10-11 | 2024-04-18 | シャープNecディスプレイソリューションズ株式会社 | Information processing device, display system, and information processing method |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001265304A (en) * | 2000-03-10 | 2001-09-28 | Doko Kagi Kofun Yugenkoshi | Quick-response screen display method and quick-response screen |
JP2003271084A (en) * | 2002-03-15 | 2003-09-25 | Omron Corp | Apparatus and method for providing information |
JP2003271283A (en) * | 2002-03-19 | 2003-09-26 | Fuji Xerox Co Ltd | Information display apparatus |
-
2009
- 2009-07-09 JP JP2009162424A patent/JP2011017883A/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001265304A (en) * | 2000-03-10 | 2001-09-28 | Doko Kagi Kofun Yugenkoshi | Quick-response screen display method and quick-response screen |
JP2003271084A (en) * | 2002-03-15 | 2003-09-25 | Omron Corp | Apparatus and method for providing information |
JP2003271283A (en) * | 2002-03-19 | 2003-09-26 | Fuji Xerox Co Ltd | Information display apparatus |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5527423B2 (en) * | 2010-11-10 | 2014-06-18 | 日本電気株式会社 | Image processing system, image processing method, and storage medium storing image processing program |
JP2015168516A (en) * | 2014-03-06 | 2015-09-28 | 東芝エレベータ株式会社 | elevator display system |
JP2019066700A (en) * | 2017-10-02 | 2019-04-25 | 株式会社ぐるなび | Control method, information processing apparatus, and control program |
CN111046788A (en) * | 2019-12-10 | 2020-04-21 | 北京文安智能技术股份有限公司 | Method, device and system for detecting staying personnel |
CN111246296A (en) * | 2020-01-17 | 2020-06-05 | 北京市商汤科技开发有限公司 | Data pushing method and device, electronic equipment and computer storage medium |
WO2024079778A1 (en) * | 2022-10-11 | 2024-04-18 | シャープNecディスプレイソリューションズ株式会社 | Information processing device, display system, and information processing method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4934861B2 (en) | Display system, display method, display effect measurement system, and display effect measurement method | |
JP5224360B2 (en) | Electronic advertising device, electronic advertising method and program | |
JP6267861B2 (en) | Usage measurement techniques and systems for interactive advertising | |
JP5396062B2 (en) | Electronic advertising system | |
US20130067513A1 (en) | Content output device, content output method, content output program, and recording medium having content output program recorded thereon | |
US20110128283A1 (en) | File selection system and method | |
WO2010053191A1 (en) | Electronic advertisement system, electronic advertisement distribution apparatus, electronic advertisement distribution method, and recording medium | |
JP2011017883A (en) | Target specifying system, target specifying method, advertisement output system, and advertisement output method | |
JP2007286995A (en) | Attention level measurement device and attention level measurement system | |
CN105338887A (en) | Skin function evaluation device and skin evaluation method | |
US20150088637A1 (en) | Information processing system, information processing method, and non-transitory computer readable storage medium | |
US20110175992A1 (en) | File selection system and method | |
CN107293236A (en) | The intelligent display device of adaptive different user | |
US9218794B2 (en) | Image processing apparatus, image processing method, and non-transitory computer readable medium | |
JP5489197B2 (en) | Electronic advertisement apparatus / method and program | |
JP2013109469A (en) | Apparatus, method, and program for image processing | |
CN116761037B (en) | Method, device, equipment and medium for video implantation of multimedia information | |
JP6318289B1 (en) | Related information display system | |
KR20160091119A (en) | Apparatus and Method for Estimating Human Characteristics based on Imaga | |
JPWO2020246596A1 (en) | Digital signage for stores | |
JP2011180917A (en) | Image processing apparatus, content distribution system, image processing method, and program | |
JP7110738B2 (en) | Information processing device, program and information processing system | |
US20230104061A1 (en) | Methods and apparatuses for determining statuses of positions on shelves, shelves and non-transitory computer-readable storage media | |
CN106354457A (en) | Targeted advertising through multi-screen display | |
EP3287975A1 (en) | Advertisement image generation system and advertisement image generating method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120607 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120926 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130917 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140617 |