JP2009139857A - Contents display control device, contents display control method, and contents display control program - Google Patents

Contents display control device, contents display control method, and contents display control program Download PDF

Info

Publication number
JP2009139857A
JP2009139857A JP2007318778A JP2007318778A JP2009139857A JP 2009139857 A JP2009139857 A JP 2009139857A JP 2007318778 A JP2007318778 A JP 2007318778A JP 2007318778 A JP2007318778 A JP 2007318778A JP 2009139857 A JP2009139857 A JP 2009139857A
Authority
JP
Japan
Prior art keywords
content
attribute information
display screen
image
passers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007318778A
Other languages
Japanese (ja)
Inventor
Mitsuhiro Kurosaki
Ko Mishima
Toshihiro Mochizuki
Takehiro Sekine
巧 三嶋
敏弘 望月
剛宏 関根
光洋 黒崎
Original Assignee
Unicast Corp
ユニキャスト株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Unicast Corp, ユニキャスト株式会社 filed Critical Unicast Corp
Priority to JP2007318778A priority Critical patent/JP2009139857A/en
Publication of JP2009139857A publication Critical patent/JP2009139857A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To select and display contents in accordance with attributes of the whole of a multiplicity of passers-by in a manner to enhance the effectiveness of information transmission from a macroscopic standpoint. <P>SOLUTION: (1) First to third cameras transmit photographed images of an unspecified number of passers-by to a contents display control device. (2) The contents display control device acquires "personal attribute information" of passers-by A-F on an individual basis. (3) The contents display control device determines macro attributes of recognized passers-by as a whole based on the pieces of the "personal attribute information" of the passers-by A-F on an individual basis. (4) The contents display control device selects contents in which the objects match the "macro attribute information" of the passers-by A-F, and controls to display the contents on a display screen. (5) The contents that match the "macro attribute information" of the passers-by A-F are displayed on the display screen. Thereby, the display effectiveness of the contents can be enhanced more by seeing an unspecified number of passers-by as a whole from a macroscopic standpoint. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、不特定多数の通行人により視認可能な位置に配設された表示装置の表示画面の前面を通行人が通過する際に、該通行人に適したコンテンツを前記表示画面に表示制御するコンテンツ表示制御装置、コンテンツ表示制御方法およびコンテンツ表示制御プログラムに関し、特に、多数の通行人全体の属性に応じたコンテンツを、マクロ的に見て情報伝達の効果がより高まるように選択して表示させることが可能なコンテンツ表示制御装置、コンテンツ表示制御方法およびコンテンツ表示制御プログラムに関する。   The present invention controls display of content suitable for a passer-by on the display screen when the passer-by passes through the front of a display screen of a display device arranged at a position that can be viewed by an unspecified number of passers-by. The content display control device, the content display control method, and the content display control program for selecting and displaying the content according to the attributes of the entire many passers-by so as to increase the information transmission effect in a macro manner The present invention relates to a content display control device, a content display control method, and a content display control program that can be executed.
従来から、企業の商品宣伝などを目的として、屋外屋内を問わず、人通りが多い場所の、見やすい位置に、大きな広告看板が設置されている。通行人が広告看板に掲示されている広告を見ることによって、企業の商品の販売促進などが期待できる。   Conventionally, large advertising billboards have been installed at easy-to-see locations in busy places, whether indoors or outdoors, for the purpose of corporate product promotion. When passers-by sees advertisements posted on advertising billboards, it can be expected to promote sales of corporate products.
しかし、広告看板に掲示されている広告は、広告を差し替えない限り同じ広告であるので、広告を掲示する事前に、設置場所付近を通行する通行人の属性を調査しておき、該属性に見合った広告を掲示するようにしないと、広告が効果を発揮しない。   However, since the advertisement posted on the advertisement signboard is the same advertisement unless the advertisement is replaced, the attributes of passers-by who pass near the installation site are investigated and displayed in accordance with the attributes before posting the advertisement. If the advertisement is not posted, the advertisement will not be effective.
そこで、例えば、特許文献1および特許文献2に開示されるように、通行人に対して提供する情報を切り替えて表示可能な電子ディスプレイなどに表示するようにし、通行人の属性をカメラなどで撮影した画像に基づいて取得し、該通行人の属性に応じた情報を選択して電子ディスプレイに表示する情報提供装置が開示されている。   Therefore, for example, as disclosed in Patent Document 1 and Patent Document 2, information provided to a passerby is displayed on an electronic display that can be switched and displayed, and the attribute of the passerby is captured by a camera or the like. An information providing apparatus is disclosed that acquires information on the basis of a captured image, selects information according to the attribute of the passerby, and displays the selected information on an electronic display.
特開2003−271084号公報Japanese Patent Laid-Open No. 2003-271084 特開2006−235311号公報Japanese Patent Laid-Open No. 2006-235311
しかしながら、上記特許文献1および特許文献2に代表される従来技術では、通行人が少ない場合では、通行人ごとにその属性に応じた情報を選択して電子ディスプレイに表示することによって、該通行人に限っては、最適な情報が提供されることとなるが、通行人が多数の場合は、通行人がカメラなどで撮影されるごとに、撮影された画像に基づいて該通行人の属性を取得し、該通行人の属性に応じた情報を選択して電子ディスプレイに表示していては、多数の通行人の属性にバラツキがあると、情報の表示が頻繁に切り替えられてしまう場合がある。   However, in the conventional techniques represented by Patent Document 1 and Patent Document 2 described above, when there are few passers-by, the passers-by can be displayed by selecting information corresponding to the attribute of each passer-by and displaying it on the electronic display. However, in the case of a large number of passers-by, each time a passer-by is photographed by a camera or the like, the attribute of the passer-by is determined based on the photographed image. If information obtained according to the attributes of the passers-by is selected and displayed on the electronic display, the display of information may be frequently switched if there are variations in the attributes of many passers-by .
ここで、一般的に、人への情報の伝達を表示によっておこなう場合は、該情報が該人に視認されるために、一定時間以上にわたって情報を表示することが重要である。特に、伝達する情報が広告である場合は、表示が頻繁に切り替えられていては、広告の効果が全く期待できない。   Here, in general, when information is transmitted to a person by display, it is important to display the information for a certain time or more in order for the person to visually recognize the information. In particular, when the information to be transmitted is an advertisement, the effect of the advertisement cannot be expected at all if the display is frequently switched.
さらに、多数の通行人がカメラなどで同時に撮影された場合は、取得される通行人の属性にバラツキが生じるため、同時に属性が取得された通行人のうちのいずれの通行人の属性に応じた情報を選択して表示させるかの問題が発生する。例えば、多数の通行人のうちの特定の通行人のみの属性に応じた情報を選択して電子ディスプレイに表示していては、多数の通行人を全体的に見れば、情報伝達の効果が十分に発揮できない場合もある。   Furthermore, when a large number of passersby are photographed at the same time with a camera or the like, the attributes of the acquired passersby vary, so the attributes of the passers who have acquired the attributes at the same time depend on the attributes of the passersby The problem of selecting and displaying information occurs. For example, if information corresponding to the attributes of only a particular passerby among many passers-by is selected and displayed on the electronic display, the information transmission effect is sufficient if the overall number of passers-by is seen. In some cases, it cannot be demonstrated.
本発明は、上記問題点(課題)を解消するためになされたものであって、多数の通行人全体の属性に応じたコンテンツを、マクロ的に見て情報伝達の効果がより高まるように選択して表示させることが可能なコンテンツ表示制御装置、コンテンツ表示制御方法およびコンテンツ表示制御プログラムを提供することを目的とする。   The present invention has been made to solve the above problems (problems), and selects content corresponding to the attributes of the entire number of passers-by so as to increase the effect of information transmission in a macro view. It is an object of the present invention to provide a content display control device, a content display control method, and a content display control program that can be displayed.
上述した問題を解決し、目的を達成するため、本発明は、不特定多数の通行人により視認可能な位置に配設された表示装置の表示画面の前面を通行人が通過する際に、該通行人に適したコンテンツを前記表示画面に表示制御するコンテンツ表示制御装置であって、前記表示画面の前面を通過する複数の通行人個々の個人属性情報をそれぞれ取得する個人属性情報取得手段と、前記個人属性情報取得手段によって取得された前記複数の通行人個々の個人属性情報から、該複数の通行人全体のマクロ属性情報を決定するマクロ属性情報決定手段と、前記表示画面への表示対象となる複数のコンテンツを前記マクロ属性情報とそれぞれ対応付けて記憶するコンテンツ記憶手段と、前記マクロ属性情報決定手段によって決定されたマクロ属性情報を用いて前記コンテンツ記憶手段を検索して、前記表示画面へ表示すべきコンテンツを選択するコンテンツ選択手段とを有することを特徴とする。   In order to solve the above-described problem and achieve the object, the present invention is directed to a case where a passerby passes through the front of a display screen of a display device arranged at a position that can be viewed by an unspecified number of passersby. A content display control device for controlling display of content suitable for a passerby on the display screen, and a personal attribute information acquisition unit for acquiring individual attribute information of each of a plurality of passers passing through the front of the display screen; Macro attribute information determination means for determining macro attribute information of the plurality of passers-by from the individual attribute information of the plurality of passers-by acquired by the personal attribute information acquisition means, and a display target on the display screen Content storage means for storing a plurality of contents in association with the macro attribute information, and macro attribute information determined by the macro attribute information determination means. It said content storage device searched by the, and having a content selection means for selecting content to be displayed on the display screen Te.
また、本発明は、上記発明において、前記個人属性情報取得手段によって取得された前記複数の通行人個々の個人属性情報を該通行人ごとに記憶する個人属性情報記憶手段をさらに有し、前記マクロ属性情報決定手段は、前記個人属性情報記憶手段によって所定時間にわたって記憶されたすべての通行人の個人属性情報から、該すべての通行人全体のマクロ属性情報を決定することを特徴とする。   Further, in the above invention, the present invention further includes personal attribute information storage means for storing the individual attribute information of each of the plurality of passers acquired by the personal attribute information acquisition means for each passer-by, and the macro The attribute information determining means determines macro attribute information of all passersby from the personal attribute information of all passersby stored for a predetermined time by the personal attribute information storage means.
また、本発明は、上記発明において、前記個人属性情報取得手段は、前記複数の通行人個々の顔を検出し、該顔ごとの属性と、該顔ごとのサイズと、該顔ごとの前記表示画面への方向および該顔ごとの前記表示画面への方向が所定角度以上で検出された時間とを前記個人属性情報として取得することを特徴とする。   Further, the present invention is the above invention, wherein the personal attribute information acquisition means detects the face of each of the plurality of passersby, the attribute for each face, the size for each face, and the display for each face The personal attribute information includes a direction to the screen and a time when the direction to the display screen for each face is detected at a predetermined angle or more.
また、本発明は、上記発明において、前記個人属性情報記憶手段によって前記所定時間にわたって記憶されている通行人ごとの前記個人属性情報のうち、顔の前記表示画面への方向が所定角度以上であることによって前記表示画面を視認していたと見なされうる表示画面視認通行人数を算出する表示画面視認通行人数算出手段と、前記表示画面視認通行人数算出手段によって算出された前記表示画面視認通行人数を、前記個人属性情報記憶手段に前記個人属性情報が前記所定時間にわたって記憶されている通行人の総数で除したコンテンツ視認率を算出するコンテンツ視認率算出手段とをさらに有し、前記コンテンツ選択手段は、前記表示画面視認通行人数、前記通行人の総数または前記コンテンツ視認率の少なくとも一つにさらに基づいて前記表示画面へ表示すべきコンテンツを選択することを特徴とする。   Further, in the present invention according to the present invention, in the personal attribute information for each passerby stored for the predetermined time by the personal attribute information storage unit, the direction of the face toward the display screen is equal to or greater than a predetermined angle. Display screen visualizing passable number calculating means for calculating the display screen visualizing passable number of people who can be considered to have been viewing the display screen, and the display screen visualizing passable number calculating means, A content visibility ratio calculating means for calculating a content visibility ratio obtained by dividing the personal attribute information by the total number of passers-by who have stored the personal attribute information for the predetermined time in the personal attribute information storage means, and the content selection means, Further based on at least one of the display screen viewing passers, the total number of passers, or the content visibility rate And selects the content to be displayed on the serial display screen.
また、本発明は、上記発明において、前記コンテンツを前記表示画面に表示制御する所定条件または該所定条件の組み合わせを含むコンテンツ表示条件を記憶する表示条件記憶手段と、前記表示条件記憶手段によって記憶されている前記コンテンツ表示条件が充足されたか否かを判定する条件充足判定手段とをさらに有し、前記コンテンツ選択手段は、前記条件充足判定手段によって前記コンテンツ表示条件が充足されたと判定された場合に、前記マクロ属性情報決定手段によって決定された前記マクロ属性情報を用いて前記表示画面へ表示すべきコンテンツを選択することを特徴とする。   Further, the present invention is the above invention, wherein the display condition storage means for storing a predetermined condition for controlling display of the content on the display screen or a content display condition including a combination of the predetermined conditions, and the display condition storage means are stored. A condition satisfaction determination unit that determines whether or not the content display condition is satisfied, and the content selection unit is configured to determine that the content display condition is satisfied by the condition satisfaction determination unit. The content to be displayed on the display screen is selected using the macro attribute information determined by the macro attribute information determining means.
また、本発明は、上記発明において、前記個人属性情報取得手段は、前記複数の通行人の画像を取得する通行人画像取得手段と、前記通行人画像取得手段によって取得された前記複数の通行人の画像に含まれる動体を検出して該動体の画像領域を特定する動体画像領域特定手段とを含み、前記動体画像領域特定手段によって特定された前記画像領域のみから前記表示画面の前面を通過する複数の通行人個々の個人属性情報をそれぞれ取得することを特徴とする。   Further, the present invention is the above invention, wherein the personal attribute information acquisition unit is a passer image acquisition unit that acquires images of the plurality of passers-by, and the plurality of passers-by acquired by the passer-by image acquisition unit. Moving object image area specifying means for detecting a moving object included in the image and specifying the image area of the moving object, and passes through the front of the display screen only from the image area specified by the moving object image area specifying means Individual attribute information of each of a plurality of passers-by is acquired.
また、本発明は、上記発明において、前記個人属性情報取得手段は、前記通行人画像取得手段によって取得された画像に前記表示画面の前面を通過する通行人が存在しなかった場合に、該画像を背景画像として取得する背景画像取得手段と、前記背景画像取得手段によって取得された前記背景画像に基づいて前記個人属性情報取得手段を更新することを特徴とする個人属性情報取得更新手段とをさらに有することを特徴とする。   Further, the present invention is the above invention, wherein the personal attribute information acquisition means, when there is no passerby passing through the front of the display screen in the image acquired by the passer-by image acquisition means, the image A background image acquisition means for acquiring the image as a background image, and a personal attribute information acquisition update means for updating the personal attribute information acquisition means based on the background image acquired by the background image acquisition means. It is characterized by having.
また、本発明は、上記発明において、前記コンテンツ選択手段によって選択されたコンテンツを前記表示画面へ表示制御するコンテンツ表示制御手段をさらに有し、前記コンテンツ表示制御手段は、前記通行人画像取得手段によって前記表示画面の前面を通過する通行人の画像が所定時間にわたって取得されなかった場合に前記表示画面へのコンテンツの表示の制限をおこない、前記通行人画像取得手段によって前記表示画面の前面を通過する通行人の画像が取得された場合に前記制限を解除することを特徴とする。   The present invention further includes content display control means for controlling the display of the content selected by the content selection means on the display screen, wherein the content display control means is controlled by the passerby image acquisition means. When an image of a passer-by passing through the front of the display screen is not acquired for a predetermined time, display of content on the display screen is limited, and the passer-by image acquiring means passes the front of the display screen. The restriction is canceled when an image of a passerby is acquired.
また、本発明は、上記発明において、前記通行人画像取得手段により取得される画像の理想特性値の範囲を予め記憶しておく理想特性値記憶手段と、前記通行人画像取得手段によって取得された前記画像の特性値が前記理想特性値記憶手段によって記憶されている前記理想特性値の範囲内となるように該通行人画像取得手段を制御する通行人画像取得制御手段とをさらに有することを特徴とする。   Further, the present invention is the above invention, wherein the ideal characteristic value storage unit that stores in advance the range of the ideal characteristic value of the image acquired by the passer-by image acquisition unit and the passer-by image acquisition unit And a passer image acquisition control means for controlling the passer image acquisition means so that the characteristic value of the image falls within the range of the ideal characteristic value stored by the ideal characteristic value storage means. And
また、本発明は、不特定多数の通行人により視認可能な位置に配設された表示装置の表示画面の前面を通行人が通過する際に、該通行人に適したコンテンツを前記表示画面に表示制御するコンテンツ表示制御装置であって、前記通行人の画像を取得する通行人画像取得手段と、前記通行人画像取得手段によって取得された連続するフレームの画像の差分情報に含まれない非動体の画像部分を抽出する非動体画像部分抽出手段と、前記非動体画像部分抽出手段によって抽出された前記非動体の画像部分と、前記通行人画像取得手段によって取得された、通行人の画像が含まれない画像である背景画像との差分画像を取得する画像差分取得手段と、前記画像差分取得手段によって取得された前記差分画像に含まれる非動体を検出する非動体検出手段と、前記通行人画像取得手段によって所定時間にわたって前記非動体が検出された場合に、該非動体が前記通行人画像取得手段の視界内に存在することを報知する報知手段とを有することを特徴とする。   The present invention also provides content suitable for the passers-by on the display screen when the passers pass through the front of the display screen of a display device arranged at a position that can be viewed by an unspecified number of passers-by. A content display control device that performs display control, and includes a passer-by image acquisition unit that acquires an image of the passer-by and a non-moving object that is not included in difference information between consecutive frame images acquired by the passer-by image acquisition unit. A non-moving object image part extracting unit that extracts the image part of the non-moving object, a non-moving object image part extracted by the non-moving object image part extracting unit, and a passer-by image acquired by the passer-by person image acquiring unit. An image difference acquisition unit that acquires a difference image from a background image that is a non-moving image, and a non-moving object detection hand that detects a non-moving object included in the difference image acquired by the image difference acquisition unit And a notification means for notifying that the non-moving object is present in the field of view of the passer-by image acquisition means when the non-moving object is detected for a predetermined time by the passer-by image acquisition means. To do.
また、本発明は、不特定多数の通行人により視認可能な位置に配設された表示装置の表示画面の前面を通行人が通過する際に、該通行人に適したコンテンツを前記表示画面に表示制御する処理をコンテンツ表示制御装置がおこなうコンテンツ表示制御方法であって、
前記表示画面の前面を通過する複数の通行人個々の個人属性情報をそれぞれ取得する個人属性情報取得ステップと、前記個人属性情報取得ステップによって取得された前記複数の通行人個々の個人属性情報から、該複数の通行人全体のマクロ属性情報を決定するマクロ属性情報決定ステップと、前記マクロ属性情報決定ステップによって決定されたマクロ属性情報を用いて、前記表示画面への表示対象となる複数のコンテンツを該マクロ属性情報とそれぞれ対応付けて記憶しているコンテンツデータベースを検索して、前記表示画面へ表示すべきコンテンツを選択するコンテンツ選択ステップとを含むことを特徴とする。
The present invention also provides content suitable for the passers-by on the display screen when the passers pass through the front of the display screen of a display device arranged at a position that can be viewed by an unspecified number of passers-by. A content display control method in which a content display control device performs processing for display control,
From the individual attribute information acquisition step of acquiring individual attribute information of each of a plurality of passers who pass through the front of the display screen, and from the individual attribute information of the plurality of passersby acquired by the individual attribute information acquisition step, Macro attribute information determining step for determining macro attribute information for all of the plurality of passers-by, and using the macro attribute information determined by the macro attribute information determining step, a plurality of contents to be displayed on the display screen A content selection step of searching a content database stored in association with each of the macro attribute information and selecting a content to be displayed on the display screen.
また、本発明は、不特定多数の通行人により視認可能な位置に配設された表示装置の表示画面の前面を通行人が通過する際に、該通行人に適したコンテンツを前記表示画面に表示制御する処理をコンピュータ装置に実行させるコンテンツ表示制御プログラムであって、前記表示画面の前面を通過する複数の通行人個々の個人属性情報をそれぞれ取得する個人属性情報取得手順と、前記個人属性情報取得手順によって取得された前記複数の通行人個々の個人属性情報から、該複数の通行人全体のマクロ属性情報を決定するマクロ属性情報決定手順と、前記マクロ属性情報決定手順によって決定されたマクロ属性情報を用いて、前記表示画面への表示対象となる複数のコンテンツを該マクロ属性情報とそれぞれ対応付けて記憶しているコンテンツデータベースを検索して、前記表示画面へ表示すべきコンテンツを選択するコンテンツ選択手順とを前記コンピュータ装置に実行させることを特徴とする。   The present invention also provides content suitable for the passers-by on the display screen when the passers pass through the front of the display screen of a display device arranged at a position that can be viewed by an unspecified number of passers-by. A content display control program for causing a computer device to execute a display control process, the personal attribute information acquisition procedure for acquiring individual attribute information of each of a plurality of passers-by passing through the front of the display screen, and the personal attribute information A macro attribute information determination procedure for determining macro attribute information of the plurality of passers-by from the individual attribute information of the plurality of passers acquired by the acquisition procedure; and a macro attribute determined by the macro attribute information determination procedure. Content that uses information to store a plurality of contents to be displayed on the display screen in association with the macro attribute information. Searching for database, a content selection procedure for selecting the content to be displayed on the display screen, characterized in that to be executed by the computing device.
本発明によれば、複数の通行人のマクロ属性情報に応じたコンテンツを選択して表示画面に表示制御するので、複数の通行人を全体的に見た場合の最適なコンテンツを表示することが可能になり、複数の通行人に対するコンテンツ表示効果が向上するという効果を奏する。   According to the present invention, since content corresponding to macro attribute information of a plurality of passers-by is selected and displayed on the display screen, it is possible to display the optimum content when the plurality of passers-by are viewed as a whole. It becomes possible, and there exists an effect that the content display effect with respect to a several passerby improves.
また、本発明によれば、複数の通行人の個人属性情報を該通行人ごとに記憶し、所定時間にわたって記憶されたすべての通行人ごとの個人属性情報から該すべての通行人全体のマクロ属性情報を決定するので、過去の複数の通行人のマクロ属性情報から未来の通行人のマクロ属性情報を推定することが可能になり、未来の通行人に対して最適なコンテンツを表示することが可能になり、コンテンツ表示効果が向上するという効果を奏する。   Further, according to the present invention, the personal attribute information of a plurality of passers-by is stored for each passer-by, and the macro attributes of all the passers-by from the personal attribute information for all the passers-by stored for a predetermined time. Since the information is determined, it is possible to estimate the macro attribute information of future passers-by from the macro attribute information of multiple past passers-by, and it is possible to display the optimal content for future passers-by Thus, the content display effect is improved.
また、本発明によれば、複数の通行人個々の顔の属性、該顔ごとのサイズ、該顔ごとの表示画面への方向および該顔ごとの表示画面への方向が所定角度以上で検出された時間を個人属性情報として取得するので、通行人の通行方向(歩行正面方向)や、通行人と表示画面と位置関係が多様であっても、複数の通行人の顔に関する情報を個人属性情報とすることが可能になるという効果を奏する。   Further, according to the present invention, the face attributes of the plurality of passersby, the size of each face, the direction to the display screen for each face, and the direction to the display screen for each face are detected at a predetermined angle or more. Time information is acquired as personal attribute information, so even if the passer's direction (walking front direction) and the positional relationship between the passer-by and the display screen are diverse, information about the faces of multiple passers-by is displayed. It has the effect of becoming possible.
また、本発明によれば、個人属性情報憶手段によって所定時間にわたって記憶されている通行人ごとの個人属性情報のうち該通行人の顔の角度が所定角度以上である通行人の数、個人属性情報記憶手段に個人属性情報が所定時間にわたって記憶されている通行人の総数およびコンテンツ視認率を算出するので、複数の通行人に関わるこれらの数値および指標に基づいてコンテンツを選択することが可能になるという効果を奏する。   Further, according to the present invention, among the personal attribute information for each passerby stored for a predetermined time by the personal attribute information storing means, the number of passersby whose passer's face angle is equal to or greater than the predetermined angle, personal attributes Since the total number of passers-by and the content visibility of personal attribute information stored in the information storage means for a predetermined time are calculated, it is possible to select content based on these numerical values and indicators related to a plurality of passers-by The effect of becoming.
また、本発明によれば、コンテンツ選択手段は、所定条件または該所定条件の組み合わせが充足されたと判定された場合にコンテンツを選択するので、効率的にコンテンツを選択し、効果的なコンテンツを選択して表示することが可能になるという効果を奏する。   Further, according to the present invention, the content selection means selects the content when it is determined that the predetermined condition or a combination of the predetermined conditions is satisfied. Therefore, the content selection means efficiently selects the content and selects the effective content. The effect that it becomes possible to display it is produced.
また、本発明によれば、個人属性情報取得手段は、動体画像領域特定手段によって特定された画像領域から表示画面の前面を通過する複数の通行人個々の個人属性情報をそれぞれ取得するで、複数の通行人の個人属性情報の取得処理の効率化、処理の高速化を図ることが可能になるという効果を奏する。   Further, according to the present invention, the personal attribute information acquisition unit acquires the individual attribute information of each of a plurality of passers-by passing through the front of the display screen from the image area specified by the moving body image area specifying unit. It is possible to increase the efficiency and speed of the acquisition process of personal attribute information of passersby.
また、本発明によれば、背景画像取得手段によって取得された前記背景画像に基づいて前記個人属性情報取得手段を更新することを特徴とするので、個人属性情報取得手段は、背景画像を考慮してより高い精度で複数の通行人の個人属性情報を取得することが可能になるという効果を奏する。   Further, according to the present invention, the personal attribute information acquisition unit is updated based on the background image acquired by the background image acquisition unit. Therefore, the personal attribute information acquisition unit considers the background image. As a result, the personal attribute information of a plurality of passers-by can be obtained with higher accuracy.
また、本発明によれば、所定時間にわたって、通行人の画像が取得されなかった場合に、表示画面へのコンテンツの表示の制限をおこなうので、コンテンツ表示装置の表示画面に無駄にコンテンツを表示させることを防ぎ、省電力化、コンテンツ表示装置の寿命延長を図ることが可能になるという効果を奏する。   In addition, according to the present invention, when the passerby image is not acquired for a predetermined time, the display of the content on the display screen is restricted, so that the content is displayed on the display screen of the content display device. This is advantageous in that it is possible to reduce power consumption and extend the life of the content display device.
また、本発明によれば、通行人画像取得手段によって取得された画像の特性値が理想特性値記憶手段によって記憶されている理想特性値の範囲内となるように該通行人画像取得手段を制御するので、自動的に通行人画像取得手段の制御をおこなって最適な特性値の画像を取得することが可能になるという効果を奏する。   According to the present invention, the passer-by image acquisition unit is controlled so that the characteristic value of the image acquired by the passer-by image acquisition unit falls within the range of the ideal characteristic value stored in the ideal characteristic value storage unit. Therefore, there is an effect that it becomes possible to automatically control the passer-by image acquisition means and acquire an image having an optimum characteristic value.
また、本発明によれば、通行人画像取得手段によって取得された連続するフレームの画像の差分情報に含まれない非動体の画像部分を抽出し、背景画像との差分画像に含まれる非動体が所定時間検出されると該非動体が通行人画像取得手段の視界内に存在することを報知するので、不特定多数の通行人により視認可能な位置に配設された表示装置の表示画面の前面を通行人が通過する際に、該通行人に適したコンテンツを前記表示画面に表示させるとともに、危険な放置物を早期に発見することが可能になるという効果を奏する。   According to the present invention, the non-moving object image portion that is not included in the difference information of the images of successive frames acquired by the passerby image acquisition means is extracted, and the non-moving object included in the difference image from the background image is extracted. When the predetermined time is detected, the non-moving object is informed in the field of view of the passerby image acquisition means, so the front of the display screen of the display device arranged at a position that can be seen by an unspecified number of passersby is displayed. When the passer-by passes, the content suitable for the passer-by is displayed on the display screen, and an effect that it is possible to find a dangerous abandoned item at an early stage.
以下に添付図面を参照し、本発明のコンテンツ表示制御装置、コンテンツ表示制御方法およびコンテンツ表示制御プログラムにかかる実施例を詳細に説明する。なお、以下に示す実施例1〜実施例6にかかるコンテンツ表示制御装置、コンテンツ表示制御方法およびコンテンツ表示制御プログラムは、不特定多数の通行人が通行する屋内外の道路や通路、特に、駅構内の通路において、該不特定多数の通行人が視認可能な位置に設置される表示内容が切り替え可能な電子ディスプレイ装置に表示する広告表示を選択し、該不特定多数の通行人に対して表示するものである。   Exemplary embodiments of a content display control device, a content display control method, and a content display control program according to the present invention will be described below in detail with reference to the accompanying drawings. In addition, the content display control apparatus, the content display control method, and the content display control program according to the following first to sixth embodiments are used for roads and passages indoors and outdoors where many unspecified passers-by pass, particularly in station premises. The advertisement display to be displayed on the electronic display device capable of switching the display content installed at a position where the unspecified number of passers-by can be viewed is selected and displayed to the unspecified number of passers-by Is.
実施例の説明に先立ち、本実施例の概要と特徴について説明する。図1は、本実施例の概要と特徴を説明するための図である。同図に示すように、例えば駅構内の通路を通行する不特定多数の通行人をそれぞれ異なる方向から撮像するために、第1カメラ〜第3カメラの3台のカメラが、表示画面の近傍に設置されている。表示画面は、表示内容が切り替え可能な電子ディスプレイ装置の表示画面であり、コンテンツとして広告が表示されるものである。なお、以下の実施例では、撮像装置としてCMOSイメージセンサを有し、動画を撮影するデジタルカメラを採用した場合を示すが、デジタルカメラに限らず、画像を取得可能なセンサであれば、赤外線センサ、音波センサ、ミリ波センサなどあらゆるセンサを採用してもよい。   Prior to the description of the embodiment, the outline and features of the present embodiment will be described. FIG. 1 is a diagram for explaining the outline and features of the present embodiment. As shown in the figure, for example, in order to capture an unspecified number of passers-by passing through a passage in a station from different directions, three cameras, a first camera to a third camera, are located in the vicinity of the display screen. is set up. The display screen is a display screen of an electronic display device whose display content can be switched, and an advertisement is displayed as the content. In the following embodiments, a case where a digital camera that has a CMOS image sensor and captures a moving image is employed as an imaging device is shown. However, the present invention is not limited to a digital camera, and any sensor that can acquire an image is an infrared sensor. Any sensor such as a sound wave sensor or a millimeter wave sensor may be employed.
(1)先ず、第1カメラ〜第3カメラは、撮像した不特定多数の通行人の画像をコンテンツ表示制御装置へと送信する。コンテンツ表示制御装置によって、該画像に基づき、不特定多数の通行人として通行人A〜通行人Fの6人が認識される。   (1) First, the first camera to the third camera transmit images of an unspecified number of passersby to the content display control device. On the basis of the image, the content display control device recognizes six passers-by A to passers F as an unspecified number of passers-by.
(2)続いて、コンテンツ表示制御装置は、通行人A〜通行人F個々の属性を取得する。ここで属性とは、性別、年齢層など、個人の外見的な属性をいう。ここで取得された通行人A〜通行人F個々の属性を、「個人属性情報」という。   (2) Subsequently, the content display control apparatus acquires attributes of passersby A to passers F. Here, the attributes refer to individual attributes such as sex and age group. The attributes of the passers A to F acquired here are referred to as “personal attribute information”.
なお、図1によれば、通行人Aは『女性、20歳台』、通行人Bは『女性、20歳台』、通行人Cは『女性、20歳台』、通行人Dは『女性、20歳台』、通行人Eは『男性、20歳台』、通行人Fは『女性、20歳台』という「個人属性情報」が得られる。   According to FIG. 1, passer A is “female, 20s”, passer B is “female, 20s”, passer C is “female, 20s”, and passer D is “female. “20-year-old”, passer-by E gets “male, 20-year-old”, and passer-by F gets “personal attribute information” “female, 20-year-old”.
(3)続いて、コンテンツ表示制御装置は、通行人A〜通行人F個々の「個人属性情報」に基づいて、認識された通行人全体としてのマクロ属性を決定する。ここでマクロ属性は、例えば、通行人A〜通行人Fの「個人属性情報」で、最多の「個人属性情報」とする。マクロ属性は、以下、「マクロ属性情報」と呼ぶ。   (3) Subsequently, the content display control apparatus determines the macro attribute of the recognized passerby as a whole based on the “personal attribute information” of the passerby A to the passerby F. Here, the macro attribute is, for example, “personal attribute information” of passers-by A to F, which is the most “personal attribute information”. The macro attribute is hereinafter referred to as “macro attribute information”.
図1によれば、認識された6人の通行人のうち、『女性、20歳台』の「個人属性情報」を持つ通行人が5人、『男性、20歳台』の「個人属性情報」を持つ通行人が1人である。よって、通行人A〜通行人Fの「マクロ属性情報」は、『女性、20歳台』であると決定される。   According to FIG. 1, among 6 recognized passers-by, 5 passers-by with “personal attribute information” of “female, 20s”, “personal attribute information of“ male, 20s ” Is one passer-by. Accordingly, the “macro attribute information” of passers-by A to F is determined to be “female, 20 years old”.
(4)続いて、コンテンツ表示制御装置は、通行人A〜通行人Fの「マクロ属性情報」に対象が合致するコンテンツを選択し、表示画面に表示制御する。なお、コンテンツ表示制御装置は、予め、コンテンツデータと、該コンテンツデータが対象とする「マクロ属性情報」とを対応付けて記憶しているものとする。   (4) Subsequently, the content display control device selects content whose target matches the “macro attribute information” of passers-by A to F, and controls display on the display screen. It is assumed that the content display control device stores content data and “macro attribute information” targeted by the content data in advance in association with each other.
(5)そして、表示画面には、通行人A〜通行人Fの「マクロ属性情報」に一致するコンテンツが表示画面に表示される。すなわち、『女性、20歳台』を対象とするコンテンツが、表示画面に表示されることとなる。   (5) On the display screen, content that matches the “macro attribute information” of passers-by A to F is displayed on the display screen. That is, content targeted for “female, 20s” is displayed on the display screen.
上記の例では、通行人A〜通行人Fのうち通行人Eのみが『男性、20歳台』という「個人属性情報」を有する。これに対して、その他の5人は、すべて『女性、20歳台』という「個人属性情報」を有する。従って、通行人A〜通行人Fに対しては、『男性、20歳台』を対象とするコンテンツを表示するよりも、『女性、20歳台』を対象とするコンテンツを表示するほうが、圧倒的にコンテンツ表示効果が高い。   In the above example, only the passer E among the passers A to F has “personal attribute information” of “male, 20 years old”. On the other hand, the other five people all have “personal attribute information” of “female, 20 years old”. Therefore, it is more overwhelming for passers-by A to F to display content targeting “female, 20s” than to display content targeting “male, 20s”. The content display effect is high.
特に、コンテンツが、企業が製品の販売促進を目的に出稿する広告であれば、1人の『男性、20歳台』を対象とする広告を表示するよりも、5人の『女性、20歳台』を対象とする広告を表示するほうが、圧倒的に広告の効果が高くなる。すなわち、マクロ的な広告効果を追求すれば、1人の『男性、20歳台』の通行人は対象とせず、多数の『女性、20歳台』を対象とする広告を表示するということである。   In particular, if the content is an advertisement that a company puts out for the purpose of promoting product sales, rather than displaying an advertisement targeting one “male, 20-year-old”, 5 “female, 20-year-old” Displaying an advertisement targeting “Taiwan” overwhelmingly increases the effectiveness of the advertisement. In other words, if a macro effect is pursued, a single “male, 20s” passerby will not be targeted, but a large number of “women, 20s” will be displayed. is there.
このように、本実施例は、複数の通行人の「マクロ属性情報」に応じたコンテンツを選択して表示画面に表示制御することによって、複数の通行人をマクロ的に見た場合の最適なコンテンツを表示し、該複数の通行人に対するコンテンツ表示効果がより高まるようにすることを目的として考案されたものである。   As described above, the present embodiment selects the content corresponding to the “macro attribute information” of the plurality of passers-by and controls the display on the display screen, so that it is optimal when the plurality of passers-by are viewed macroscopically. The present invention has been devised for the purpose of displaying content and enhancing the content display effect for the plurality of passers-by.
以下に図2〜図7を参照して、実施例1について説明する。実施例1では、カメラで撮像された不特定多数の通行人個々の「個人属性情報」に基づき不特定多数の通行人全体の「マクロ属性情報」を決定し、この「マクロ属性情報」に合致する対象のコンテンツを表示制御するコンテンツ表示制御装置を示す。   Embodiment 1 will be described below with reference to FIGS. In the first embodiment, the “macro attribute information” of the entire unspecified number of passers-by is determined based on the “personal attribute information” of each unspecified number of passers-by captured by the camera, and matches the “macro attribute information”. 1 shows a content display control apparatus that controls display of content to be processed.
先ず、実施例1にかかるコンテンツ表示制御装置の構成について説明する。図2は、実施例1にかかるコンテンツ表示制御装置の構成を示す機能ブロック図である。同図に示すように、実施例1にかかるコンテンツ表示制御装置100aには、第1カメラ111aと、第2カメラ111bと、第3カメラ111cと、コンテンツ表示画面112aを有するコンテンツ表示装置112と接続されている。   First, the configuration of the content display control apparatus according to the first embodiment will be described. FIG. 2 is a functional block diagram of the configuration of the content display control apparatus according to the first embodiment. As shown in the figure, the content display control apparatus 100a according to the first embodiment is connected to a first camera 111a, a second camera 111b, a third camera 111c, and a content display apparatus 112 having a content display screen 112a. Has been.
第1カメラ111a〜第3カメラ111cの3台のカメラは、コンテンツ表示画面112aの前面を通行する不特定多数の通行人をそれぞれ異なる方向から撮像可能に、コンテンツ表示画面112a近傍に設置される。なお、カメラの数は、3台に限られるものではないが、コンテンツ表示画面112aの前面を通行する不特定多数の通行人を、複数のカメラであらゆる方向から撮像することによって、該不特定多数の通行人の「個人属性情報」の取得精度が高まる。   The three cameras, the first camera 111a to the third camera 111c, are installed in the vicinity of the content display screen 112a so that an unspecified number of passers-by passing through the front of the content display screen 112a can be captured from different directions. Note that the number of cameras is not limited to three, but the unspecified number of passersby who pass through the front of the content display screen 112a can be imaged from any direction with a plurality of cameras. The acquisition accuracy of “personal attribute information” of the passerby increases.
コンテンツ表示制御装置100aは、制御部101と、記憶部102と、第1カメラ111a〜第3カメラ111cから画像データを受け取り、コンテンツ表示装置112に対してコンテンツデータを送信するためのインターフェースである通信インターフェース部103とを有する。   The content display control device 100a is an interface for receiving image data from the control unit 101, the storage unit 102, and the first camera 111a to the third camera 111c and transmitting the content data to the content display device 112. And an interface unit 103.
制御部101は、コンテンツ表示制御装置100a全体の制御をおこなう制御装置であって、実施例1に関連する構成として、個人属性情報取得処理部101aと、マクロ属性情報決定処理部101bと、コンテンツ選択処理部101cと、コンテンツ表示制御処理部101dとを有する。   The control unit 101 is a control device that controls the entire content display control device 100a. As a configuration related to the first embodiment, a personal attribute information acquisition processing unit 101a, a macro attribute information determination processing unit 101b, and a content selection It has a processing unit 101c and a content display control processing unit 101d.
個人属性情報取得処理部101aは、第1カメラ111a〜第3カメラ111cによって撮像され、数十ミリ秒〜数百ミリ秒の一定周期で送信されてくる不特定多数の通行人の画像を、後述の記憶部102の通行人認識モジュール記憶部102aに記憶される通行人認識モジュールを利用して個々に画像認識することによって各通行人の顔を検出して、該各通行人の画像認識結果および/または検出された顔の属性に基づいて「個人属性情報」を取得する処理部である。   The personal attribute information acquisition processing unit 101a captures images of an unspecified number of passersby captured by the first camera 111a to the third camera 111c and transmitted at a fixed period of several tens of milliseconds to several hundreds of milliseconds. The passer-recognition module storage unit 102a of the passer-by-passenger storage unit 102a detects each passer-by's face by individually recognizing the image using the passer-by-passenger recognition module 102a. It is a processing unit that acquires “personal attribute information” based on the detected face attribute.
なお、ここで取得される「個人属性情報」は、例えば、性別、年齢層(または年齢)、人種、服装の色など、個人の外見上の特性を示すものである。なお、「個人属性情報」は、あくまで個人属性情報取得処理部101aによって推定される推定情報である。   The “personal attribute information” acquired here indicates personal characteristics such as gender, age group (or age), race, clothing color, and the like. The “personal attribute information” is estimated information estimated by the personal attribute information acquisition processing unit 101a.
さらに、個人属性情報取得処理部101aは、各通行人の顔のサイズ(以下、「顔サイズ」と呼ぶ)と、各通行人の顔の方向とコンテンツ表示画面112aの正面方向とがなす角度(以下、「顔角度」と呼ぶ)と、該角度が所定値以上であった時間(以下、「注視時間」と呼ぶ)とを算出する処理部である。   Furthermore, the personal attribute information acquisition processing unit 101a is configured to determine the size of each passer's face (hereinafter referred to as “face size”), the angle between each passer's face and the front direction of the content display screen 112a ( Hereinafter, the processing unit calculates a “face angle” and a time during which the angle is equal to or greater than a predetermined value (hereinafter referred to as “gaze time”).
なお、各通行人の顔の方向がコンテンツ表示画面112aとなす角度が所定値以上であった時間とは、該各通行人がコンテンツ表示画面112aに表示されるコンテンツを視認または注視していると見なしうる時間である。「顔サイズ」、「顔角度」および「注視時間」は、いずれも「個人属性情報」に含まれてもよい。   Note that the time when the angle formed by each passer's face and the content display screen 112a is equal to or greater than a predetermined value is that each passerby is viewing or gazing at the content displayed on the content display screen 112a. It is a time that can be considered. The “face size”, “face angle”, and “gaze time” may all be included in the “personal attribute information”.
そして、個人属性情報取得処理部101aは、取得した通行人個々の「個人属性情報」を、該通行人ごとに、後述する記憶部102の通行人個人属性情報蓄積DB(Data Base、データベース、以下同様)102bに記憶する。   Then, the personal attribute information acquisition processing unit 101a stores the “personal attribute information” of each acquired passerby for each passerby, a passer-by personal attribute information accumulation DB (Data Base, database, hereinafter) in the storage unit 102 to be described later. Similarly, the data is stored in 102b.
マクロ属性情報決定処理部101bは、個人属性情報取得処理部101aによって取得された不特定多数の通行人個々の「個人属性情報」に基づいて、不特定多数の通行人全体の「マクロ属性情報」を決定する。例えば、代表的な一例としては、「個人属性情報」が取得された不特定多数の通行人の「個人属性情報」のうち『性別』および『年齢層』の組み合わせのうちで、最も多い組み合わせを「マクロ属性情報」とする方法がある。   The macro attribute information determination processing unit 101b determines the “macro attribute information” of the entire unspecified number of passers-by based on the “personal attribute information” of each unspecified number of passers-by acquired by the personal attribute information acquisition processing unit 101a. To decide. For example, as a typical example, the most common combination of “gender” and “age group” among “personal attribute information” of an unspecified number of passersby who acquired “personal attribute information”. There is a method of “macro attribute information”.
これは、『性別』および『年齢層』の組み合わせで決定される「個人属性情報」または「マクロ属性情報」に応じてコンテンツの嗜好の傾向が異なることが一般的であるからである。例えば、「個人属性情報」が『男性、20歳台』の通行人に対しては、例えば「男性若者向けのファッション」の広告を表示することにより、通行人の注目を集めやすく、広告効果をより引き出すことができる。しかし、「個人属性情報」が『男性、20歳台』の通行人に対して、例えば「化粧品」の広告を表示しても、注目を集めることはほとんどなく、何ら広告効果を引き出すことはできない。   This is because the tendency of content preference generally differs depending on “personal attribute information” or “macro attribute information” determined by a combination of “sex” and “age group”. For example, for a passerby whose “personal attribute information” is “male, in his 20s”, for example, by displaying an advertisement of “fashion for men and young people”, it is easy to attract the attention of the passerby and increase the advertising effect. It can be pulled out more. However, for example, even if an advertisement of “cosmetics” is displayed to a passerby whose “personal attribute information” is “male, 20 years old”, there is hardly any attention and no advertising effect can be drawn out. .
これに対して、「個人属性情報」が『女性、20歳台』の通行人に対しては、例えば「化粧品」の広告を表示することにより、通行人の注目を集めやすく、広告効果をより引き出すことができる。しかし、「個人属性情報」が『女性、20歳台』の通行人に対して、例えば「男性若者向けのファッション」の広告を表示しても、注目を集めることはほとんどなく、何ら広告効果を引き出すことはできない。   On the other hand, for passers-by whose “personal attribute information” is “female, 20-year-old”, for example, by displaying an advertisement of “cosmetics”, it is easy to attract the attention of the passer-by and the advertising effect is further improved. It can be pulled out. However, even if you display an ad for “fashion for men and young people” for passers-by whose “personal attribute information” is “female, 20-year-old”, for example, there is almost no attention and no advertising effect. It cannot be pulled out.
そして、不特定多数の通行人の「個人属性情報」が取得された場合には、『性別』および『年齢層』の組み合わせのうちで、最も多い組み合わせを「マクロ属性情報」と決定して、この「マクロ属性情報」に対象が合致するコンテンツを表示する。   And when “personal attribute information” of an unspecified number of passers-by is acquired, the most common combination among “sex” and “age group” is determined as “macro attribute information”, The content whose target matches the “macro attribute information” is displayed.
例えば、不特定多数の通行人の「個人属性情報」として、『男性、20歳台』が1人分、『女性、20歳台』が5人分取得されたとする。このとき、『女性、20歳台』の通行人に対象を絞り、例えば「化粧品」の広告を表示することにより、より多くの通行人の注目を集めやすく、広告効果をより引き出すことができる。   For example, suppose that “male, 20-year-old” for one person and “female, 20-year-old” for five persons are acquired as “personal attribute information” of an unspecified number of passersby. At this time, by focusing on the passers-by of “female, 20-year-old” and displaying, for example, an advertisement of “cosmetics”, it is easy to attract more passers-by and more effective advertising.
しかし、『男性、20歳台』の通行人に対象を絞り、例えば「男性若者向けのファッション」の広告を表示しても、総計6人の不特定多数の通行人のうちの1人の『男性、20歳台』の通行人の注目を集めることはあっても、他の5人の『女性、20歳台』の通行人の注目を集めることはほとんどなく、不特定多数の通行人全体で見れば、広告効果を引き出すことはできない。   However, even if the target is “male, 20-year-old” passers-by, for example, an advertisement for “fashion for male youth” is displayed, one of a total of 6 unspecified passers-by “ Although it attracts the attention of passers of "Men, 20's", it rarely attracts the attention of other 5 "Women, 20's" passersby. If you look at it, you can not get the advertising effect.
このように、不特定多数の通行人の「マクロ属性情報」を決定して、この「マクロ属性情報」に対象が一致するコンテンツを表示することによって、不特定多数の通行人全体をマクロ的に見て、より広告効果を引き出すことが可能になる。   In this way, by determining the “macro attribute information” of an unspecified number of passers-by and displaying the content that matches the target with this “macro attribute information”, the entire unspecified number of passers-by can be viewed in macro form. As a result, it becomes possible to bring out the advertising effect more.
なお、上記「マクロ属性情報」の決定方法は一例を示したに過ぎず、状況に応じて、例えば『性別』や『年齢層』など、単独の「個人属性情報」のうち最も多い「個人属性情報」を「マクロ属性情報」と決定してもよい。すなわち、「個人属性情報」の項目のうちの少なくとも一つまたは該項目の組み合わせで、最も多い「個人属性情報」を「マクロ属性情報」と決定することとしてもよい。   The method for determining the “macro attribute information” is merely an example, and depending on the situation, for example, “sex” or “age group” is the most common “personal attribute information”. The “information” may be determined as “macro attribute information”. That is, the most “personal attribute information” may be determined as “macro attribute information” by at least one of the items of “personal attribute information” or a combination of the items.
また、「個人属性情報」の各項目の値を数値化して、その平均を取る方法や、「個人属性情報」の各項目の最頻値を集めて「マクロ属性情報」を決定するなど、「マクロ属性情報」の決定方法は、1つに限定されるものではなく、不特定多数の通行人全体をマクロ的に見て、コンテンツの表示効果をより高めるために、様々な方法を取ることができる。   In addition, the value of each item of “personal attribute information” is quantified and averaged, or the mode value of each item of “personal attribute information” is collected to determine “macro attribute information”. The determination method of the “macro attribute information” is not limited to one, and various methods can be used to enhance the content display effect by looking at the whole unspecified number of passersby in a macro manner. it can.
コンテンツ選択処理部101cは、後述する記憶部102のコンテンツ表示条件記憶部102cに記憶される「コンテンツ表示条件」が充足されているか否かを判定し、「コンテンツ表示条件」が充足されていると判定された場合にのみ、マクロ属性情報決定処理部101bによって決定された「マクロ属性情報」に対象が合致するコンテンツを、後述の記憶部102のコンテンツDB102dに記憶される各コンテンツデータから選択する処理をおこなう。   The content selection processing unit 101c determines whether or not a “content display condition” stored in a content display condition storage unit 102c of the storage unit 102 to be described later is satisfied, and the “content display condition” is satisfied. Only when it is determined, a process for selecting content that matches the “macro attribute information” determined by the macro attribute information determination processing unit 101b from each content data stored in the content DB 102d of the storage unit 102 to be described later To do.
コンテンツ表示制御処理部101dは、コンテンツ選択処理部101cによって選択されたコンテンツのコンテンツデータを、通信インターフェース部103を介して、コンテンツ表示画面112aに表示させるようにコンテンツ表示装置112に送信する。   The content display control processing unit 101d transmits the content data of the content selected by the content selection processing unit 101c to the content display device 112 so as to be displayed on the content display screen 112a via the communication interface unit 103.
記憶部102は、通行人認識モジュールを記憶する通行人認識モジュール記憶部102aと、通行人個人属性情報蓄積テーブルを格納する通行人個人属性情報蓄積DB102bと、「コンテンツ表示条件」を記憶するコンテンツ表示条件記憶部102cと、コンテンツデータを格納するコンテンツDB102dとを有する、不揮発性の記憶装置である。なお、通行人個人属性情報蓄積DB102bおよびコンテンツDB102dは、図示しないDBMS(Data Base Management System)によってデータの登録、抽出および更新がおこなわれるデータベースである。   The storage unit 102 includes a passer-by identification module storage unit 102a that stores a passer-by identification module, a passer-by personal attribute information storage DB 102b that stores a passer personal attribute information storage table, and a content display that stores “content display conditions”. This is a non-volatile storage device having a condition storage unit 102c and a content DB 102d for storing content data. The passer-by personal attribute information storage DB 102b and the content DB 102d are databases in which data is registered, extracted and updated by a DBMS (Data Base Management System) (not shown).
通行人認識モジュール記憶部102aに記憶される通行人認識モジュールは、画像データを入力として、該画像データに含まれる人物および該人物の顔を認識し、人物および該人物の顔の属性を人物個々に出力するアルゴリズムを含むプログラムである。   The passerby recognition module stored in the passerby recognition module storage unit 102a receives the image data, recognizes the person and the face of the person included in the image data, and sets the attributes of the person and the face of the person individually. This is a program that includes an algorithm to output to
通行人個人属性情報蓄積DB102bに格納される通行人個人属性情報蓄積テーブルは、個人属性情報取得処理部101aによって取得された通行人個々の「個人属性情報」を、該通行人ごとに記憶するデータテーブルである。   The passer-by individual attribute information storage table stored in the passer-individual attribute information storage DB 102b is data for storing the “personal attribute information” of each passer-by acquired by the personal attribute information acquisition processing unit 101a. It is a table.
なお、通行人個人属性情報蓄積DB102bは、コンテンツ表示制御装置100aと遠隔のデータセンタに配置され、セキュアなネットワークを介してコンテンツ表示制御装置100aから「個人属性情報」を受信して蓄積記憶する構成を取ってもよい。このようにすると、コンテンツ表示制御装置100aの記憶部102の資源圧迫を防止することができる。   The passer-by personal attribute information storage DB 102b is arranged in a data center remote from the content display control apparatus 100a, and receives and stores "personal attribute information" from the content display control apparatus 100a via a secure network. You may take In this way, resource compression in the storage unit 102 of the content display control apparatus 100a can be prevented.
また、データセンタは、各地に設置される複数のコンテンツ表示制御装置100aから、セキュアなネットワークを介して「個人属性情報」を受信して蓄積記憶することができるので、多数のコンテンツ表示制御装置100aによって取得された「個人属性情報」を統合し、別途取得可能な天候情報や周辺でのイベント開催情報などとあわせると、新規コンテンツ掲出の参考情報やコンテンツ表示価格設定の参考情報を得ることができる。   In addition, since the data center can receive and store “personal attribute information” from a plurality of content display control devices 100a installed in various places via a secure network, a large number of content display control devices 100a. By integrating the “personal attribute information” acquired by the system and combining it with weather information that can be acquired separately and event information in the surrounding area, you can obtain reference information for posting new content and reference information for content display pricing. .
コンテンツ表示条件記憶部102cに記憶される「コンテンツ表示条件」は、コンテンツ表示装置112のコンテンツ表示画面112aに表示するためにコンテンツを選択する処理をおこなうか否かを決定するための条件である。この「コンテンツ表示条件」が充足されない限り、コンテンツ選択処理部101cは、コンテンツの選択処理をおこなわないので、不必要にコンテンツを表示したり表示切替したりするという無駄を低減することができる。   The “content display condition” stored in the content display condition storage unit 102 c is a condition for determining whether or not to perform a process of selecting a content for display on the content display screen 112 a of the content display device 112. Unless the “content display condition” is satisfied, the content selection processing unit 101c does not perform the content selection process, so that it is possible to reduce waste of unnecessary content display and display switching.
また、コンテンツ表示条件記憶部102cに記憶されるコンテンツデータは、各コンテンツが対象とする「マクロ属性情報」が対応付けられて格納されている。コンテンツ選択処理部101cは、マクロ属性情報決定処理部101bによって決定された「マクロ属性情報」と一致する「マクロ属性情報」が対応付けられているコンテンツデータを選択することによって、不特定多数の通行人全体をマクロ的に見て、より適切なコンテンツを表示することが可能になる。   Further, the content data stored in the content display condition storage unit 102c is stored in association with “macro attribute information” targeted by each content. The content selection processing unit 101c selects the content data associated with the “macro attribute information” that matches the “macro attribute information” determined by the macro attribute information determination processing unit 101b, so that an unspecified number of traffics It is possible to display more appropriate content by looking at the whole person in a macro manner.
なお、コンテンツ表示条件記憶部102cに記憶されるコンテンツには、例えば、コンテンツが駅コンコース内に設置される広告である場合には、広告以外にも、駅の案内情報、列車の遅延情報、天候情報または災害情報などが含まれていてもよい。これらの情報は、コンテンツ表示装置112のコンテンツ表示画面112aにいずれの広告も表示されていない初期状態においてコンテンツ表示画面112aに表示される情報である。   Note that the content stored in the content display condition storage unit 102c includes, for example, in addition to the advertisement, station guidance information, train delay information, if the content is an advertisement installed in the station concourse, Weather information or disaster information may be included. These pieces of information are information displayed on the content display screen 112a in an initial state where no advertisement is displayed on the content display screen 112a of the content display device 112.
次に、図2に示した通行人個人属性情報蓄積DB102bに格納される通行人個人属性情報蓄積テーブルについて説明する。図3は、通行人個人属性情報蓄積テーブルの例を示す図である。同図に示すように、通行人個人属性情報蓄積テーブルは、少なくとも、「通行人ID」と、「人物認識開始日時」と、「顔検出開始日時」と、「顔角度検出時間」と、「性別」と、「年齢層」と、「顔属性」と、「顔角度」と、「注視時間」とのカラムを有する。   Next, the passer-by personal attribute information storage table stored in the passer-person personal attribute information storage DB 102b shown in FIG. 2 will be described. FIG. 3 is a diagram illustrating an example of a passer-by personal attribute information accumulation table. As shown in the figure, the passer-person personal attribute information accumulation table includes at least “passer-by ID”, “person recognition start date”, “face detection start date”, “face angle detection time”, “ It has columns of “gender”, “age group”, “face attribute”, “face angle”, and “gaze time”.
「通行人ID」は、個人属性情報取得処理部101aによって「個人属性情報」が取得された通行人を一意に識別するための識別情報である。「人物認識開始日時」は、当該「通行人ID」で識別される通行人が、個人属性情報取得処理部101aによって認識が開始された日時である。   The “passerby ID” is identification information for uniquely identifying the passerby whose “personal attribute information” has been acquired by the personal attribute information acquisition processing unit 101a. “Person recognition start date and time” is the date and time when the passerby identified by the “passerby ID” was recognized by the personal attribute information acquisition processing unit 101a.
また、「顔検出開始日時」は、当該「通行人ID」で識別される通行人の顔が、個人属性情報取得処理部101aによって認識が開始された日時である。また、「顔角度検出時間」は、当該「通行人ID」で識別される通行人の顔が、個人属性情報取得処理部101aによって認識が開始された日時である。   The “face detection start date / time” is the date / time when the personal attribute information acquisition processing unit 101a started to recognize the passerby face identified by the “passer ID”. The “face angle detection time” is the date and time when the personal attribute information acquisition processing unit 101a starts to recognize the face of the passerby identified by the “passerby ID”.
また、「性別」、「年齢層」、「顔属性」、「顔角度」および「注視時間」は、個人属性情報取得処理部101aによって取得された、当該「通行人ID」で識別される通行人の「個人属性情報」である。   Further, the “sex”, “age group”, “face attribute”, “face angle”, and “gaze time” are identified by the “passer ID” acquired by the personal attribute information acquisition processing unit 101a. It is “personal attribute information” of a person.
このように、「個人属性情報」が取得された通行人個々の「個人属性情報」を、「人物認識開始日時」、「顔検出開始日時」および「顔角度検出時間」とともに蓄積記憶することによって、過去の不特定多数の通行人の「個人属性情報」をもとに、未来の不特定多数の通行人の「個人属性情報」を予測することが可能になる。   In this way, by storing and storing “personal attribute information” of each passerby who has acquired “personal attribute information” together with “person recognition start date and time”, “face detection start date and time”, and “face angle detection time” Based on the “personal attribute information” of the past unspecified number of passers-by, it becomes possible to predict the “personal attribute information” of the future unspecified number of passers-by.
例えば、ある時間帯には、どのような「個人属性情報」を有する不特定多数の通行人が、どれだけの数だけコンテンツ表示画面112aの前面を通行するか、ということを予測することが可能になる。さらに、「人物認識開始日時」および「顔検出開始日時」をカレンダー情報と連携させると、ある曜日のある時間帯には、どのような「個人属性情報」を有する不特定多数の通行人が、どれだけの数だけコンテンツ表示画面112aの前面を通行するか、ということも予測することが可能になる。   For example, it is possible to predict how many unspecified passers-by having “personal attribute information” pass through the front of the content display screen 112a during a certain time period. become. Furthermore, when “person recognition start date and time” and “face detection start date and time” are linked with calendar information, an unspecified number of passersby having “personal attribute information” in a certain time zone of a certain day of the week, It is also possible to predict how many of the content display screen 112a will pass in front of.
このように、通行人個人属性情報蓄積DB102bに、過去の不特定多数の通行人個々の「個人属性情報」を蓄積することによって、未来の不特定多数の通行人全体の「マクロ属性情報」が予測できるので、どのような「マクロ属性情報」が対応付けられるコンテンツをコンテンツDB102dに用意しておきコンテンツ選択処理部101cによって選択可能にしておけば、コンテンツ表示効果がより高まりうるか、という判断が可能になる。   In this way, by storing the “personal attribute information” of each unspecified number of passers in the past in the passer-person personal attribute information storage DB 102b, the “macro attribute information” of all future unspecified number of passers-by can be obtained. Since it can be predicted, what kind of “macro attribute information” is associated with the content can be determined if the content DB 102d is prepared and can be selected by the content selection processing unit 101c. become.
次に、図2に示したコンテンツ表示条件記憶部102cに記憶される「コンテンツ表示条件」について説明する。図4は、コンテンツ表示条件テーブルの例を示す図である。同図に示すように、コンテンツ表示条件テーブルには、「コンテンツ表示条件」が、条件充足性を判定する優先順位の順序でリストされている。   Next, “content display conditions” stored in the content display condition storage unit 102c illustrated in FIG. 2 will be described. FIG. 4 is a diagram illustrating an example of a content display condition table. As shown in the figure, in the content display condition table, “content display conditions” are listed in order of priority for determining condition satisfaction.
このコンテンツ表示条件テーブルにリストされている「コンテンツ表示条件」から、コンテンツ選択処理をおこなうか否かの判定条件として選択された一つまたは複数の「コンテンツ表示条件」を、コンテンツ表示画面112aにコンテンツを表示させるための「シナリオ条件」と呼ぶ。   One or more “content display conditions” selected as determination conditions for determining whether or not to perform content selection processing from the “content display conditions” listed in the content display condition table are displayed on the content display screen 112a. This is called a “scenario condition” for displaying.
なお、「シナリオ条件」に含まれるすべての「コンテンツ表示条件」が条件充足性を有する場合に限り、コンテンツ表示画面112aにコンテンツを表示させる。また、「シナリオ条件」内においても「コンテンツ表示条件」の優先順位は有効であり、優先順位が高い「コンテンツ表示条件」を優先して条件充足性を判定する。そして、「コンテンツ表示条件」の条件充足性がないと判定された時点で、以降の「コンテンツ表示条件」の条件充足性の判定は中止する。このようにすると、「シナリオ条件」に含まれる「コンテンツ表示条件」が条件充足性の有無の判定処理を迅速化することができる。   Only when all the “content display conditions” included in the “scenario conditions” have condition satisfaction, the contents are displayed on the content display screen 112a. The priority of the “content display condition” is also valid in the “scenario condition”, and the condition satisfaction is determined by giving priority to the “content display condition” having a higher priority. Then, when it is determined that the condition of “content display condition” is not satisfied, the subsequent determination of the condition satisfaction of “content display condition” is stopped. In this way, it is possible to speed up the process of determining whether or not the “content display condition” included in the “scenario condition” satisfies the condition satisfaction.
例えば、第1位の優先順位の「コンテンツ表示条件」である「注視時間」は、個人属性情報取得処理部101aによって「個人属性情報」が取得された不特定多数の通行人の「注視時間」の合計が所定時間以上である場合に、コンテンツ表示画面112aにコンテンツを表示させるという「コンテンツ表示条件」である。   For example, “gaze time” which is the “content display condition” of the first priority is “gaze time” of an unspecified number of passers by whom “personal attribute information” is acquired by the personal attribute information acquisition processing unit 101a. This is a “content display condition” in which content is displayed on the content display screen 112a when the sum of the above is equal to or longer than a predetermined time.
また、第2位の優先順位の「コンテンツ表示条件」である「通行人のマクロ属性情報」は、マクロ属性情報決定処理部101bによって決定された「マクロ属性情報」に合致するコンテンツがコンテンツDB102dに格納されている場合に、コンテンツ表示画面112aにコンテンツを表示させるという「コンテンツ表示条件」である。   In addition, “passenger macro attribute information”, which is the “content display condition” of the second highest priority, has content that matches the “macro attribute information” determined by the macro attribute information determination processing unit 101b in the content DB 102d. This is a “content display condition” in which content is displayed on the content display screen 112a when stored.
また、第3位の優先順位の「コンテンツ表示条件」である「個人属性情報ごとの表示画面注視人数」は、個人属性情報取得処理部101aによって「個人属性情報」が取得された不特定多数の通行人の「注視時間」の「個人属性情報」ごとの「注視時間」の合計が所定値以上である場合に、コンテンツ表示画面112aにコンテンツを表示させるという「コンテンツ表示条件」である。   Further, the “content display condition” of the third highest priority “display screen gaze number for each personal attribute information” is an unspecified number of “personal attribute information” acquired by the personal attribute information acquisition processing unit 101a. This is a “content display condition” in which content is displayed on the content display screen 112a when the total “gaze time” for each “personal attribute information” of the “gaze time” of the passerby is equal to or greater than a predetermined value.
また、第4位の優先順位の「コンテンツ表示条件」である「一定時間あたりの表示画面注視人数」は、個人属性情報取得処理部101aによって「個人属性情報」が取得された不特定多数の通行人のうち、一定時間あたりに「顔角度」が所定角度以上であってコンテンツ表示画面112aを注視していると見なしうる通行人の数の合計が所定値以上である場合に、コンテンツ表示画面112aにコンテンツを表示させるという「コンテンツ表示条件」である。   The “content display condition” of the fourth highest priority “display screen gaze number per fixed time” is an unspecified number of traffics for which “personal attribute information” has been acquired by the personal attribute information acquisition processing unit 101a. Content display screen 112a when the total number of passers who can be considered to be watching the content display screen 112a is greater than or equal to a predetermined value when the “face angle” is a predetermined angle or more per certain time. This is a “content display condition” in which content is displayed on the screen.
また、第5位の優先順位の「コンテンツ表示条件」である「顔角度」は、個人属性情報取得処理部101aによって「個人属性情報」が取得された不特定多数の通行人のうち、「顔角度」が所定角度以上であってコンテンツ表示画面112aを注視していると見なしうる通行人が存在する場合に、コンテンツ表示画面112aにコンテンツを表示させるという「コンテンツ表示条件」である。   In addition, “face angle” which is the “content display condition” of the fifth highest priority is “face” among an unspecified number of passers-by whose “personal attribute information” has been acquired by the personal attribute information acquisition processing unit 101a. This is a “content display condition” in which content is displayed on the content display screen 112a when there is a passerby who can be regarded as watching the content display screen 112a because the “angle” is equal to or greater than a predetermined angle.
また、第6位の優先順位の「コンテンツ表示条件」である「顔サイズ(顔と表示画面との距離)」は、個人属性情報取得処理部101aによって「個人属性情報」が取得された不特定多数の通行人のうち、「顔サイズ」が所定サイズ以上であってコンテンツ表示画面112aとの距離が近いと見なしうる通行人が存在する場合に、コンテンツ表示画面112aにコンテンツを表示させるという「コンテンツ表示条件」である。   In addition, “face size (distance between the face and the display screen)” which is the “content display condition” of the sixth priority is unspecified in which “personal attribute information” is acquired by the personal attribute information acquisition processing unit 101a. Among the many passers-by, if there is a passerby whose “face size” is equal to or larger than a predetermined size and can be regarded as being close to the content display screen 112a, “content” is displayed on the content display screen 112a. Display conditions ”.
また、第7位の優先順位の「コンテンツ表示条件」である「通行人の数」は、個人属性情報取得処理部101aによって「個人属性情報」が取得された不特定多数の通行人の数が所定数以上である場合に、コンテンツ表示画面112aにコンテンツを表示させるという「コンテンツ表示条件」である。   The “number of passers-by” as the “content display condition” of the seventh highest priority is the number of unspecified passers whose “personal attribute information” is acquired by the personal attribute information acquisition processing unit 101a. This is a “content display condition” in which content is displayed on the content display screen 112a when the number is equal to or greater than the predetermined number.
また、第8位の優先順位の「コンテンツ表示条件」である「視認率」は、個人属性情報取得処理部101aによって「個人属性情報」が取得された不特定多数の全通行人のうち「顔角度」が所定角度以上である人数を該全通行人の数で割った「視認率」が所定比率以上である場合に、コンテンツ表示画面112aにコンテンツを表示させるという「コンテンツ表示条件」である。   The “viewing rate” which is the “content display condition” of the eighth highest priority is “face” of all unspecified passers whose “personal attribute information” is acquired by the personal attribute information acquisition processing unit 101a. This is a “content display condition” in which content is displayed on the content display screen 112a when a “viewing rate” obtained by dividing the number of people whose angle is equal to or greater than a predetermined angle by the number of all passers is equal to or greater than a predetermined ratio.
また、第9位の優先順位の「コンテンツ表示条件」である「コンテンツ提供者」は、コンテンツDB102dに「コンテンツ提供者」が特定人物、特定法人または特定団体であるコンテンツが格納されている場合に、コンテンツ表示画面112aに該「コンテンツ提供者」のコンテンツを表示させるという「コンテンツ表示条件」である。「コンテンツ提供者」は、コンテンツが広告である場合は、広告主である。   In addition, “content provider”, which is the “content display condition” of the ninth highest priority, is the content DB 102d in which content whose “content provider” is a specific person, a specific corporation, or a specific group is stored. The “content display condition” is to display the content of the “content provider” on the content display screen 112a. A “content provider” is an advertiser when the content is an advertisement.
また、第10位の優先順位の「コンテンツ表示条件」である「媒体販売価格または単価」は、コンテンツDB102dに「媒体販売価格または単価」が所定価格以上であるコンテンツが格納されている場合に、コンテンツ表示画面112aに該「媒体販売価格または単価」が所定価格以上であるコンテンツを表示させるという「コンテンツ表示条件」である。   Further, the “medium sales price or unit price” which is the “content display condition” of the tenth priority is when content whose “medium sales price or unit price” is equal to or higher than a predetermined price is stored in the content DB 102d. This is a “content display condition” for displaying content whose “medium sales price or unit price” is equal to or higher than a predetermined price on the content display screen 112a.
また、第11位の優先順位の「コンテンツ表示条件」である「気象情報」は、現在の気象が特定の気象である場合に、コンテンツ表示画面112aにコンテンツを表示させるという「コンテンツ表示条件」である。「気象情報」という「コンテンツ表示条件」に従えば、例えば、現在の気象が30℃以上の外気温である場合に、冷たい飲料の広告を表示したり、現在の気象が雨である場合に、雨具の広告を表示したりすると効果的である。   The “meteorological information”, which is the “content display condition” of the eleventh priority, is a “content display condition” that causes the content display screen 112a to display content when the current weather is a specific weather. is there. According to the “content display condition” of “weather information”, for example, when the current weather is outside air temperature of 30 ° C. or higher, an advertisement for a cold drink is displayed, or when the current weather is raining, It is effective to display rain gear advertisements.
また、第12位の優先順位の「コンテンツ表示条件」である「カレンダー情報」は、現在日時が特定の日時である場合に、コンテンツ表示画面112aにコンテンツを表示させるという「コンテンツ表示条件」である。「カレンダー情報」は、季節、曜日、祝祭日、クリスマスなどの季節的なイベント日時などを含む。   The “calendar information”, which is the “content display condition” of the twelfth priority, is the “content display condition” in which content is displayed on the content display screen 112a when the current date is a specific date. . “Calendar information” includes seasonal event dates such as seasons, days of the week, holidays, and Christmas.
「カレンダー情報」という「コンテンツ表示条件」に従えば、例えば、現在日時が平日である場合に、ビジネスマン向けの広告を表示したり、現在日時が休日である場合に、家族向けの広告を表示したりすると効果的である。また、現在日時が「夏」の季節であれば、夏物衣料の広告を表示したり、現在日時が「冬」の季節であれば、冬物衣料の広告を表示したりすると効果的である。   According to the “content display condition” called “calendar information”, for example, an advertisement for businessmen is displayed when the current date and time is a weekday, or an advertisement for family members when the current date and time is a holiday. It is effective to do. It is also effective to display an advertisement for summer clothing if the current date and time is in the “summer” season, or to display an advertisement for winter clothing if the current date and time is in the “winter” season.
例えば、「シナリオ条件」が、第1位の優先順位の「コンテンツ表示条件」である「注視時間」、第2位の優先順位の「コンテンツ表示条件」である「通行人のマクロ属性情報」および第6位の優先順位の「コンテンツ表示条件」である「顔サイズ(顔と表示画面との距離)」を含むとする。   For example, the “scenario condition” is “gaze time” which is “content display condition” of the first priority, “passerby macro attribute information” which is “content display condition” of the second priority, and It is assumed that “face size (distance between face and display screen)” which is the “content display condition” of the sixth priority is included.
この場合、個人属性情報取得処理部101aによって「個人属性情報」が取得された不特定多数の通行人の「注視時間」の合計が所定時間以上であって、マクロ属性情報決定処理部101bによって決定された「マクロ属性情報」に合致するコンテンツがコンテンツDB102dに格納されており、個人属性情報取得処理部101aによって「個人属性情報」が取得された不特定多数の通行人のうち、「顔サイズ」が所定サイズ以上であってコンテンツ表示画面112aとの距離が近いと見なしうる通行人が存在する場合に、該「マクロ属性情報」に合致するコンテンツをコンテンツ表示画面112aに表示させる。   In this case, the sum of the “gazing time” of an unspecified number of passers-by whose “personal attribute information” has been acquired by the personal attribute information acquisition processing unit 101a is equal to or greater than a predetermined time, and is determined by the macro attribute information determination processing unit 101b. Content matching the “macro attribute information” is stored in the content DB 102d, and “face size” among the unspecified number of passers-by whose “personal attribute information” is acquired by the personal attribute information acquisition processing unit 101a. Is equal to or larger than a predetermined size and there is a passerby who can be considered to be close to the content display screen 112a, the content matching the “macro attribute information” is displayed on the content display screen 112a.
「コンテンツ表示条件」は、上記したものに限られず、様々な条件であってもよい。例えば、「コンテンツ表示条件」として、「顔サイズ(顔と表示画面との距離)が所定サイズ以上である時間」を追加する。「顔サイズ(顔と表示画面との距離)が所定サイズ以上である時間」とは、「顔サイズ(顔と表示画面との距離)が所定サイズ以上である時間」が所定時間以上である場合に、コンテンツ表示画面112aにコンテンツを表示させるという「コンテンツ表示条件」である。   The “content display conditions” are not limited to those described above, and may be various conditions. For example, “a time during which the face size (the distance between the face and the display screen) is equal to or larger than a predetermined size” is added as the “content display condition”. “The time when the face size (distance between the face and the display screen) is equal to or larger than the predetermined size” means that “the time when the face size (distance between the face and the display screen) is equal to or larger than the predetermined size” is equal to or longer than the predetermined time. The “content display condition” is that the content is displayed on the content display screen 112a.
そして、「シナリオ条件」として「顔サイズ(顔と表示画面との距離)が所定サイズ以上である時間」を選択した場合に、「シナリオ条件」の条件充足性があるとき、少なくとも一人の通行人が、コンテンツ表示画面112aのある一定の距離に所定時間以上留まっていると見なしうるので、現在表示中のコンテンツに、さらに他のコンテンツを付加して表示するということが可能になる。   Then, when “time when face size (distance between face and display screen) is equal to or larger than predetermined size” is selected as “scenario condition”, and at least one passerby is satisfied when the condition of “scenario condition” is satisfied However, since it can be considered that the content display screen 112a stays at a certain distance for a predetermined time or more, it is possible to add another content to the currently displayed content for display.
また、上記「シナリオ条件」に応じて、コンテンツ表示画面112aを分割してコンテンツを複数同時に表示させるということも可能である。さらには、上記「シナリオ条件」に応じて、コンテンツ表示画面112aへのコンテンツの表示タイミングを制御することも可能である。   It is also possible to divide the content display screen 112a and display a plurality of contents simultaneously according to the “scenario conditions”. Furthermore, it is possible to control the display timing of the content on the content display screen 112a according to the “scenario condition”.
例えば、同時に異なる「個人属性情報」が取得された場合に、各「個人属性情報」に応じたコンテンツを、コンテンツ表示画面112aを分割して、複数同時に表示させることとしてもよい。もしくは、「注視時間」が所定時間以上となって初めて、当該通行人の「個人属性情報」に応じたコンテンツをコンテンツ表示画面112aに表示させることとしてもよい。   For example, when different “personal attribute information” is acquired at the same time, a plurality of contents corresponding to each “personal attribute information” may be displayed simultaneously by dividing the content display screen 112a. Alternatively, the content corresponding to the “personal attribute information” of the passerby may be displayed on the content display screen 112a only after the “gaze time” becomes equal to or longer than the predetermined time.
次に、図2に示したコンテンツDB102dに格納されるコンテンツ格納テーブルについて説明する。図5は、コンテンツ格納テーブルの例を示す図である。同図に示すように、コンテンツ格納テーブルは、コンテンツを一意に識別するための「コンテンツID」と、当該コンテンツが対象とする「マクロ属性情報」と、コンテンツの動画または静止画の画像データである「コンテンツデータ」とのカラムを有する。   Next, the content storage table stored in the content DB 102d shown in FIG. 2 will be described. FIG. 5 is a diagram illustrating an example of a content storage table. As shown in the figure, the content storage table includes “content ID” for uniquely identifying content, “macro attribute information” targeted by the content, and image data of a moving image or still image of the content. It has a column of “content data”.
次に、図2に示したコンテンツ表示制御装置100aでおこなわれるコンテンツ表示制御処理について説明する。図6は、コンテンツ表示制御処理手順を示すフローチャートである。コンテンツ表示制御処理は、所定周期で起動され、実行される。   Next, content display control processing performed by the content display control apparatus 100a shown in FIG. 2 will be described. FIG. 6 is a flowchart showing a content display control processing procedure. The content display control process is activated and executed at a predetermined cycle.
同図に示すように、先ず、個人属性情報取得処理部101aは、通行人認識モジュールを使用して、第1カメラ111a〜第3カメラ111cによって取得された画像から通行人が認識されたか否かを判定する(ステップS101)。通行人が認識されたと判定された場合に(ステップS101肯定)、ステップS102へ移り、通行人が認識されたと判定されなかった場合に(ステップS101否定)、ステップS101を繰り返す。   As shown in the figure, first, the personal attribute information acquisition processing unit 101a uses the passer-by recognition module to determine whether or not a passer-by is recognized from images acquired by the first camera 111a to the third camera 111c. Is determined (step S101). When it is determined that the passerby has been recognized (Yes at Step S101), the process proceeds to Step S102, and when it is not determined that the passerby has been recognized (No at Step S101), Step S101 is repeated.
ステップS102では、個人属性情報取得処理部101aは、通行人認識モジュールを使用して、通行人ごとの個人属性情報を取得する。続いて、個人属性情報取得処理部101aは、取得した通行人ごとの個人属性情報を通行人個人属性情報蓄積DB102bに登録する(ステップS103)。   In step S102, the personal attribute information acquisition processing unit 101a acquires personal attribute information for each passerby using the passerby recognition module. Subsequently, the personal attribute information acquisition processing unit 101a registers the acquired personal attribute information for each passer-by in the passer-by personal attribute information storage DB 102b (step S103).
続いて、個人属性情報取得処理部101aは、複数の通行人の個人属性情報が取得されたか否かを判定する(ステップS104)。複数の通行人の個人属性情報が取得されたと判定された場合に(ステップS104肯定)、ステップS105へ移り、複数の通行人の個人属性情報が取得されたと判定されなかった場合に(ステップS104否定)、ステップS110へ移る。   Subsequently, the personal attribute information acquisition processing unit 101a determines whether or not personal attribute information of a plurality of passersby has been acquired (step S104). When it is determined that personal attribute information of a plurality of passers-by has been acquired (Yes at Step S104), the process proceeds to Step S105, and when it is determined that personal attribute information of a plurality of passers-by has not been acquired (No at Step S104). ), The process proceeds to step S110.
ステップS105では、マクロ属性情報決定処理部101bは、複数の通行人の個人属性情報に基づいて、該複数の通行人全体の「マクロ属性情報」を決定する。続いて、コンテンツ選択処理部101cは、「シナリオ条件」が充足されているか否かを判定する(ステップS106)。「シナリオ条件」が充足されていると判定された場合に(ステップS106肯定)、ステップS107へ移り、「シナリオ条件」が充足されていると判定されなかった場合に(ステップS106否定)、ステップS101へ移る。   In step S105, the macro attribute information determination processing unit 101b determines “macro attribute information” of the plurality of passers-by based on the personal attribute information of the plurality of passers-by. Subsequently, the content selection processing unit 101c determines whether or not the “scenario condition” is satisfied (step S106). When it is determined that the “scenario condition” is satisfied (Yes at Step S106), the process proceeds to Step S107, and when it is not determined that the “scenario condition” is satisfied (No at Step S106), Step S101 is performed. Move on.
ステップS107では、コンテンツ選択処理部101cは、決定された「マクロ属性情報」をキーにしてコンテンツDB102を検索する。続いて、コンテンツ選択処理部101cは、ステップS107の検索がヒットしたか否かを判定する(ステップS108)。ステップS107の検索がヒットしたと判定された場合に(ステップS108肯定)、ステップS109へ移り、ステップS107の検索がヒットしたと判定されなかった場合に(ステップS108否定)、ステップS101へ移る。   In step S107, the content selection processing unit 101c searches the content DB 102 using the determined “macro attribute information” as a key. Subsequently, the content selection processing unit 101c determines whether or not the search in Step S107 has been hit (Step S108). If it is determined that the search in step S107 is hit (Yes in step S108), the process proceeds to step S109. If it is not determined that the search in step S107 is hit (No in step S108), the process proceeds to step S101.
ステップS109では、コンテンツ表示制御処理部101dは、コンテンツ選択処理部101cによって選択されたコンテンツのコンテンツデータを、通信インターフェース部103を介してコンテンツ表示装置112へと送信する。このコンテンツデータを受信したコンテンツ表示装置112は、コンテンツ表示画面112aにコンテンツを表示する。この処理が終了すると、コンテンツ表示制御処理は終了する。   In step S109, the content display control processing unit 101d transmits the content data of the content selected by the content selection processing unit 101c to the content display device 112 via the communication interface unit 103. The content display device 112 that has received the content data displays the content on the content display screen 112a. When this process ends, the content display control process ends.
一方、ステップS110では、コンテンツ選択処理部101cは、「シナリオ条件」が充足されているか否かを判定する。「シナリオ条件」が充足されていると判定された場合に(ステップS110肯定)、ステップS111へ移り、「シナリオ条件」が充足されていると判定されなかった場合に(ステップS110否定)、ステップS101へ移る。   On the other hand, in step S110, the content selection processing unit 101c determines whether or not the “scenario condition” is satisfied. When it is determined that the “scenario condition” is satisfied (Yes at Step S110), the process proceeds to Step S111. When it is not determined that the “scenario condition” is satisfied (No at Step S110), Step S101 is performed. Move on.
ステップS111では、コンテンツ選択処理部101cは、ステップS102で取得された「個人属性情報」をキーにしてコンテンツDB102dを検索する。この処理が終了すると、ステップS108へ移る。   In step S111, the content selection processing unit 101c searches the content DB 102d using the “personal attribute information” acquired in step S102 as a key. When this process ends, the process moves to step S108.
以上の処理を行うことによって、不特定多数の通行人の「個人属性情報」から「マクロ属性情報」を決定し、決定された「マクロ属性情報」に合致するコンテンツを表示するので、不特定多数の通行人全体をマクロで見た場合のコンテンツ表示効果がより向上する。   By performing the above processing, the “macro attribute information” is determined from the “personal attribute information” of an unspecified number of passersby, and the content that matches the determined “macro attribute information” is displayed. The content display effect when the entire passerby is viewed in macro is further improved.
次に、図2に示したコンテンツ表示制御装置100aでおこなわれるコンテンツ表示制限処理および表示制限解除処理について説明する。図7は、コンテンツ表示制限処理および表示制限解除処理の手順を示すフローチャートである。コンテンツ表示制限処理および表示制限解除処理は、所定周期で起動され、実行される。   Next, a content display restriction process and a display restriction release process performed by the content display control apparatus 100a shown in FIG. 2 will be described. FIG. 7 is a flowchart showing the procedure of the content display restriction process and the display restriction release process. The content display restriction process and the display restriction release process are activated and executed at a predetermined cycle.
先ず、コンテンツ表示制御処理部101dは、コンテンツ表示画面112aにコンテンツを表示中であるか否かを判定する(ステップS121)。コンテンツ表示画面112aにコンテンツを表示中であると判定された場合に(ステップS121肯定)、ステップS122へ移り、コンテンツ表示画面112aにコンテンツを表示中であると判定されなかった場合に(ステップS121否定)、コンテンツ表示制限処理および表示制限解除処理は終了する。   First, the content display control processing unit 101d determines whether or not content is being displayed on the content display screen 112a (step S121). When it is determined that the content is being displayed on the content display screen 112a (Yes at Step S121), the process proceeds to Step S122, and when it is not determined that the content is being displayed on the content display screen 112a (No at Step S121). ), The content display restriction process and the display restriction release process are terminated.
ステップS122では、個人属性情報取得処理部101aは、第1カメラ111a〜第3カメラ111cによって取得された画像から通行人が認識されたか否かを判定する。通行人が認識されたと判定された場合に(ステップS122肯定)、ステップS123へ移り、通行人が認識されなかった場合に(ステップS122否定)、ステップS125へ移る。   In step S122, the personal attribute information acquisition processing unit 101a determines whether or not a passerby has been recognized from the images acquired by the first camera 111a to the third camera 111c. If it is determined that the passerby has been recognized (Yes at Step S122), the process proceeds to Step S123. If the passerby is not recognized (No at Step S122), the process proceeds to Step S125.
ステップS123では、コンテンツ表示制御処理部101dは、タイマによる計時中であるか否かを判定する。タイマによる計時中であると判定された場合に(ステップS123肯定)、ステップS124へ移り、タイマによる計時中であると判定されなかった場合に(ステップS123否定)、コンテンツ表示制限処理および表示制限解除処理は終了する。   In step S123, the content display control processing unit 101d determines whether it is timed by a timer. When it is determined that the time is being measured by the timer (Yes at Step S123), the process proceeds to Step S124, and when it is not determined that the time is being measured by the timer (No at Step S123), the content display restriction process and the display restriction are released. The process ends.
ステップS124では、コンテンツ表示制御処理部101dは、タイマによる計時を終了する。この処理が終了すると、コンテンツ表示制限処理および表示制限解除処理は終了する。   In step S124, the content display control processing unit 101d ends the time measurement by the timer. When this process ends, the content display restriction process and the display restriction release process end.
一方、ステップS125では、コンテンツ表示制御処理部101dは、タイマによる計時中であるか否かを判定する。タイマによる計時中であると判定された場合に(ステップS125肯定)、ステップS127へ移り、タイマによる計時中であると判定されなかった場合に(ステップS125否定)、ステップS126へ移る。   On the other hand, in step S125, the content display control processing unit 101d determines whether it is timed by a timer. When it is determined that the time is being measured by the timer (Yes at Step S125), the process proceeds to Step S127. When it is not determined that the time is being measured by the timer (No at Step S125), the process proceeds to Step S126.
ステップS126では、コンテンツ表示制御処理部101dは、タイマによる計時を開始する。続いて、コンテンツ表示制御処理部101dは、タイマによる計時開始から所定時間経過したか否かを判定する(ステップS127)。タイマによる計時開始から所定時間経過したと判定された場合に(ステップS127肯定)、ステップS128へ移り、タイマによる計時開始から所定時間経過したと判定されなかった場合に(ステップS127否定)、ステップS122へ移る。   In step S126, the content display control processing unit 101d starts time measurement using a timer. Subsequently, the content display control processing unit 101d determines whether or not a predetermined time has elapsed from the start of time measurement by the timer (step S127). When it is determined that a predetermined time has elapsed from the start of time measurement by the timer (Yes at Step S127), the process proceeds to Step S128, and when it is not determined that the predetermined time has elapsed from the start of time measurement by the timer (No at Step S127), Step S122. Move on.
ステップS128では、コンテンツ表示制御処理部101dは、コンテンツ表示画面112aの表示を「初期状態」にする。ここで「初期状態」とは、例えば、コンテンツが駅コンコース内に設置される広告である場合の、広告以外の駅の案内情報、列車の遅延情報、天候情報または災害情報などである。これらの情報は、コンテンツ表示装置112のコンテンツ表示画面112aにいずれの広告も表示されていない「初期状態」においてコンテンツ表示画面112aに表示される。   In step S128, the content display control processing unit 101d sets the display of the content display screen 112a to the “initial state”. Here, the “initial state” is, for example, station information other than the advertisement, train delay information, weather information, disaster information, or the like when the content is an advertisement installed in the station concourse. These pieces of information are displayed on the content display screen 112a in an “initial state” in which no advertisement is displayed on the content display screen 112a of the content display device 112.
続いて、コンテンツ表示制御処理部101dは、タイマによる計時を終了する(ステップS129)。この処理が終了すると、コンテンツ表示制限処理および表示制限解除処理は終了する。   Subsequently, the content display control processing unit 101d ends the time measurement by the timer (step S129). When this process ends, the content display restriction process and the display restriction release process end.
以上のコンテンツ表示制限処理および表示制限解除処理によって、第1カメラ111a〜第3カメラ111cによって取得された画像から、所定時間にわたって通行人が認識されない場合に、コンテンツ表示画面112aに表示されるコンテンツの表示制限(例えば、表示を「初期状態」化する、表示をすべて消去するなど)をおこなって、コンテンツ表示装置112で消費される消費電力の節減およびコンテンツ表示画面112aの焼き付きを防止して、コンテンツ表示装置112の製品寿命を延ばすことができるという効果を奏する。   The content displayed on the content display screen 112a when the passerby is not recognized for a predetermined time from the images acquired by the first camera 111a to the third camera 111c by the content display restriction process and the display restriction release process. By restricting display (for example, setting the display to the “initial state”, deleting all the display, etc.), the power consumption consumed by the content display device 112 and the burn-in of the content display screen 112a are prevented. The product life of the display device 112 can be extended.
以下に図8および図9を参照して、実施例2について説明する。実施例2では、カメラで撮像された不特定多数の通行人個々の「個人属性情報」ごとに、顔の方向がコンテンツ表示画面を向いていると判断される通行人の割合を「コンテンツ視認率」として算出するコンテンツ表示制御装置を示す。実施例2は、実施例1にかかるコンテンツ表示制御装置100aに、「コンテンツ視認率」を算出する構成を加えた実施例である。実施例2の説明では、実施例1との差分のみを説明する。   Hereinafter, Example 2 will be described with reference to FIGS. 8 and 9. In the second embodiment, for each “personal attribute information” of an unspecified number of passers-by captured by the camera, the ratio of passers-by determined that the face direction is facing the content display screen is expressed as “content visibility rate”. The content display control apparatus calculated as "is shown. Example 2 is an example in which the content display control apparatus 100a according to Example 1 is added with a configuration for calculating a “content visibility ratio”. In the description of the second embodiment, only differences from the first embodiment will be described.
先ず、実施例2にかかるコンテンツ表示制御装置の構成について説明する。図8は、実施例2にかかるコンテンツ表示制御装置の構成を示す機能ブロック図である。実施例2にかかるコンテンツ表示制御装置100bは、実施例1にかかるコンテンツ表示制御装置100aの制御部101に、表示画面視認通行人数算出処理部101eと、コンテンツ視認率算出処理部101fとを加えた構成である。   First, the configuration of the content display control apparatus according to the second embodiment will be described. FIG. 8 is a functional block diagram of the configuration of the content display control apparatus according to the second embodiment. The content display control device 100b according to the second embodiment adds a display screen visualizing pass number calculation processing unit 101e and a content visual recognition rate calculation processing unit 101f to the control unit 101 of the content display control device 100a according to the first embodiment. It is a configuration.
なお、コンテンツ表示制御装置100bの制御部101において、表示画面視認通行人数算出処理部101eおよびコンテンツ視認率算出処理部101fは、個人属性情報取得処理部101aと、コンテンツ選択処理部101cとの間で処理をおこなうよう配置されればよく、マクロ属性情報決定処理部101bと、表示画面視認通行人数算出処理部101eおよびコンテンツ視認率算出処理部101fとの処理順序は問わない。   Note that, in the control unit 101 of the content display control apparatus 100b, the display screen viewing passers calculation processing unit 101e and the content viewing rate calculation processing unit 101f are between the personal attribute information acquisition processing unit 101a and the content selection processing unit 101c. The processing order of the macro attribute information determination processing unit 101b, the display screen viewing passer count calculation processing unit 101e, and the content visibility rate calculation processing unit 101f is not limited.
表示画面視認通行人数算出処理部101eは、通行人個人属性情報蓄積DB102bの通行人個人属性情報蓄積テーブルに「個人属性情報」が記憶されている、「顔検出開始日時」が所定の時刻の範囲内である通行人の人数(以下、「総通行人数」と呼ぶ)を、「性別」、「年齢層」などの「個人属性情報」ごとに合計する。   The display screen viewing passer-by-passenger calculation processing unit 101e stores “personal attribute information” in the passer-personal attribute information storage table of the passer-personal attribute information storage DB 102b, and the “face detection start date and time” is within a predetermined time range. The total number of passers in the list (hereinafter referred to as “total passers”) is totaled for each “personal attribute information” such as “sex” and “age group”.
また、表示画面視認通行人数算出処理部101eは、通行人個人属性情報蓄積DB102bの通行人個人属性情報蓄積テーブルに「個人属性情報」が記憶されている、「顔検出開始日時」が所定の時刻の範囲内でありかつ「顔角度」が所定角度以上である通行人の人数(以下、「注視人数」と呼ぶ)を、「性別」、「年齢層」などの「個人属性情報」ごとに合計する。   In addition, the display screen viewing passer count calculation processing unit 101e stores “personal attribute information” in the passer personal attribute information storage table of the passer personal attribute information storage DB 102b, and “face detection start date” is a predetermined time. The total number of passersby whose “face angle” is within the specified range (hereinafter referred to as “gaze number”) for each “personal attribute information” such as “sex” and “age group” To do.
コンテンツ視認率算出処理部101fは、表示画面視認通行人数算出処理部101eによって算出された、「性別」、「年齢層」などの「個人属性情報」ごとに合計された「注視人数」を「総通行人数」で割って、「コンテンツ視認率」を算出する。   The content viewing rate calculation processing unit 101f calculates the total number of “gazing people” for each “personal attribute information” such as “gender” and “age group” calculated by the display screen viewing passer-by-number calculation processing unit 101e. Divide by “passers” to calculate “content visibility”.
なお、コンテンツDB102dのコンテンツ格納テーブルに、「コンテンツ認識率」のカラムを設け、コンテンツごとの「コンテンツ認識率」を記憶させることとしてもよい。この場合、コンテンツ視認率算出処理部101fは、算出した「コンテンツ認識率」を、コンテンツ格納テーブルの、コンテンツ表示画面112aに現在表示中のコンテンツに対応するレコードに追加する。   Note that a “content recognition rate” column may be provided in the content storage table of the content DB 102d, and the “content recognition rate” for each content may be stored. In this case, the content viewing rate calculation processing unit 101f adds the calculated “content recognition rate” to the record corresponding to the content currently displayed on the content display screen 112a in the content storage table.
このように、コンテンツごとに、「個人属性情報」ごとの「コンテンツ視認率」を算出し、コンテンツDB102dのコンテンツ格納テーブルにおいてコンテンツに対応付けて記憶させることによって、コンテンツの表示効果を測ることが可能になる。   In this way, by calculating the “content visibility” for each “personal attribute information” for each content and storing the content in association with the content in the content storage table of the content DB 102d, the display effect of the content can be measured. become.
次に、図8に示したコンテンツ表示制御装置100bで実行されるコンテンツ認識率算出処理について説明する。図9は、コンテンツ認識率算出処理手順を示すフローチャートである。同図に示すように、先ず、表示画面視認通行人数算出処理部101eは、通行人個人属性情報蓄積DB102bを参照して、「顔検出開始日時」の抽出期間を設定して、該当する抽出期間内のレコード数(α)を、「個人属性情報」ごとにカウントする(ステップS131)。   Next, content recognition rate calculation processing executed by the content display control device 100b shown in FIG. 8 will be described. FIG. 9 is a flowchart showing a content recognition rate calculation processing procedure. As shown in the figure, first, the display screen viewing passer-by-passenger calculation processing unit 101e refers to the passer-by person personal attribute information accumulation DB 102b, sets an extraction period of “face detection start date and time”, and the corresponding extraction period The number of records (α) is counted for each “personal attribute information” (step S131).
続いて、表示画面視認通行人数算出処理部101eは、通行人個人属性情報蓄積DB102bを参照して、ステップS131と同一の「顔検出開始日時」の抽出期間を設定して、該当する抽出期間に「顔角度」が所定角度以上であったレコード数(β)を、「個人属性情報」ごとにカウントする(ステップS132)。   Subsequently, the display screen viewing passer count calculation processing unit 101e refers to the passer-by person personal attribute information storage DB 102b, sets the same “face detection start date and time” extraction period as in step S131, and sets the corresponding extraction period. The number of records (β) whose “face angle” is equal to or greater than a predetermined angle is counted for each “personal attribute information” (step S132).
続いて、表示画面視認通行人数算出処理部101eは、「コンテンツ認識率」として「個人属性情報」ごとにβ/αを算出する(ステップS133)。続いて、コンテンツDB102dのコンテンツ格納テーブルにおいて、ステップS133において「コンテンツ認識率」が算出されたコンテンツのレコードに、「個人属性情報」ごとの「コンテンツ認識率」を追加する(ステップS134)。   Subsequently, the display screen viewing passer count calculation processing unit 101e calculates β / α for each “personal attribute information” as the “content recognition rate” (step S133). Subsequently, in the content storage table of the content DB 102d, the “content recognition rate” for each “personal attribute information” is added to the content record for which the “content recognition rate” has been calculated in step S133 (step S134).
このように、「コンテンツ認識率」を「個人属性情報」ごとに算出し、コンテンツ格納テーブルのコンテンツのレコードに、「個人属性情報」ごとの「コンテンツ認識率」を追加することによって、「コンテンツ提供者」が想定した当該コンテンツの対象の「マクロ属性情報」と、実際にコンテンツを視認した通行人の「個人属性情報」ごとの「コンテンツ視認率」とに基づいて、「コンテンツ提供者」による当該コンテンツの対象属性の想定の妥当性やコンテンツの表示効果などを検証することが可能になる。   In this way, by calculating the “content recognition rate” for each “personal attribute information” and adding the “content recognition rate” for each “personal attribute information” to the content record in the content storage table, Based on the “macro attribute information” of the target of the content assumed by the “user” and the “content visibility” for each “personal attribute information” of the passerby who actually viewed the content. It becomes possible to verify the validity of the assumption of the target attribute of the content and the display effect of the content.
以下に図10〜図12−2を参照して、実施例3について説明する。実施例3では、カメラで撮像された不特定多数の通行人の顔検出の際に、画像の動体部分を先に特定し、この動体部分のみについて顔検出をおこなうコンテンツ表示制御装置を示す。実施例3は、実施例1にかかるコンテンツ表示制御装置100aの制御部101の個人属性情報取得処理部101aが、通行人画像取得処理部101gと、動体画像領域特定処理部101hとを含む構成である実施例である。実施例3の説明では、実施例1との差分のみを説明する。   Example 3 will be described below with reference to FIGS. 10 to 12-2. In the third embodiment, a content display control device that identifies a moving body part of an image first and performs face detection only on the moving body part when detecting the faces of an unspecified number of passersby captured by a camera is shown. In the third embodiment, the personal attribute information acquisition processing unit 101a of the control unit 101 of the content display control apparatus 100a according to the first embodiment includes a passerby image acquisition processing unit 101g and a moving object image area specifying processing unit 101h. It is an example. In the description of the third embodiment, only differences from the first embodiment will be described.
先ず、実施例3にかかるコンテンツ表示制御装置の構成について説明する。図10は、実施例3にかかるコンテンツ表示制御装置の構成を示す機能ブロック図である。実施例3にかかるコンテンツ表示制御装置100cは、実施例1にかかるコンテンツ表示制御装置100aの制御部101の個人属性情報取得処理部101aが、通行人画像取得処理部101gと、動体画像領域特定処理部101hとを含む。   First, the configuration of the content display control apparatus according to the third embodiment will be described. FIG. 10 is a functional block diagram of the configuration of the content display control apparatus according to the third embodiment. In the content display control device 100c according to the third embodiment, the personal attribute information acquisition processing unit 101a of the control unit 101 of the content display control device 100a according to the first embodiment includes a passerby image acquisition processing unit 101g and a moving body image region specifying process. Part 101h.
通行人画像取得処理部101gは、第1カメラ111a〜第3カメラ111cによって撮像された不特定多数の通行人の画像を取得する。また、動体画像領域特定処理部101hは、通行人画像取得処理部101gによって取得された画像から、動体(動く物体の画像)画像領域を特定する。   The passerby image acquisition processing unit 101g acquires images of an unspecified number of passersby captured by the first camera 111a to the third camera 111c. In addition, the moving object image region specifying processing unit 101h specifies a moving object (moving object image) image region from the image acquired by the passerby image acquisition processing unit 101g.
次に、図10に示したコンテンツ表示制御装置100cで実行される顔検出処理について説明する。図11は、顔検出処理手順を示すフロ−チャートである。同図に示すように、先ず、動体画像領域特定処理部101hは、「最小顔検出エリア」のサイズを設定する(ステップS141)。ここで、「最小顔検出エリア」とは、顔を検出するために画像を走査する画像走査ブロックの最小単位である。   Next, face detection processing executed by the content display control device 100c shown in FIG. 10 will be described. FIG. 11 is a flowchart showing a face detection processing procedure. As shown in the figure, first, the moving body image region specifying processing unit 101h sets the size of the “minimum face detection area” (step S141). Here, the “minimum face detection area” is the minimum unit of an image scanning block that scans an image to detect a face.
続いて、動体画像領域特定処理部101hは、「顔検出画像エリア」を設定する(ステップS142)。ここで、ここで、「顔検出画像エリア」とは、検出する顔の最小領域を囲む最小の矩形領域である。   Subsequently, the moving body image area specifying processing unit 101h sets a “face detection image area” (step S142). Here, the “face detection image area” is a minimum rectangular area surrounding the minimum area of the face to be detected.
続いて、動体画像領域特定処理部101hは、通行人画像取得処理部101gから、顔検出対象の画像フレームを取得する(画像フレームをセット)(ステップS143)。続いて、動体画像領域特定処理部101hは、「最小顔検出エリア」の顔検出開始位置を初期化する(ステップS144)。   Subsequently, the moving body image region specifying processing unit 101h acquires an image frame to be a face detection target (sets an image frame) from the passerby image acquisition processing unit 101g (step S143). Subsequently, the moving body image region identification processing unit 101h initializes the face detection start position of the “minimum face detection area” (step S144).
続いて、動体画像領域特定処理部101hは、ステップS143でセットされた画像フレーム内の顔検出処理をおこなう(ステップS145)。続いて、動体画像領域特定処理部101hは、「最小顔検出エリア」の顔検出位置を順番に従って1単位だけ移動させる(ステップS146)。   Subsequently, the moving body image region specifying processing unit 101h performs face detection processing in the image frame set in step S143 (step S145). Subsequently, the moving body image region specification processing unit 101h moves the face detection position of the “minimum face detection area” by one unit according to the order (step S146).
続いて、動体画像領域特定処理部101hは、現在の顔検出位置にある「最小顔検出エリア」において、動体が存在するか否かを判定する(ステップS147)。具体的には、連続するフレームの差分を計算して画像処理をおこなうことによって、画像中の動体を検出する。動体が存在すると判定された場合に(ステップS147肯定)、ステップS148へ移り、動体が存在すると判定されなかった場合に(ステップS147否定)、ステップS146へ移る。   Subsequently, the moving object image area specifying processing unit 101h determines whether or not a moving object exists in the “minimum face detection area” at the current face detection position (step S147). Specifically, a moving object in an image is detected by calculating a difference between successive frames and performing image processing. When it is determined that there is a moving object (Yes at Step S147), the process proceeds to Step S148, and when it is not determined that a moving object exists (No at Step S147), the process proceeds to Step S146.
ステップS148では、動体画像領域特定処理部101hは、「最小顔検出エリア」の現在の顔検出位置が「顔検出画像エリア」の末尾に達したか否かを判定する。現在の顔検出位置が「顔検出画像エリア」の末尾に達したと判定された場合に(ステップS148肯定)、ステップS149へ移り、現在の顔検出位置が「顔検出画像エリア」の末尾に達したと判定されなかった場合に(ステップS148否定)、ステップS145へ移る。   In step S148, the moving body image region specification processing unit 101h determines whether or not the current face detection position of the “minimum face detection area” has reached the end of the “face detection image area”. When it is determined that the current face detection position has reached the end of the “face detection image area” (Yes at step S148), the process proceeds to step S149, and the current face detection position reaches the end of the “face detection image area”. If it is not determined that the determination has been made (No at step S148), the process proceeds to step S145.
ステップS149では、動体画像領域特定処理部101hは、通行人画像取得処理部101gから、次の顔検出対象の画像フレームを取得する(次の画像フレームをセット)。続いて、動体画像領域特定処理部101hは、画像フレームのセットが停止した、すなわち、通行人画像取得処理部101gから、次の顔検出対象の画像フレームが取得されなくなったか否かを判定する(ステップS150)。   In step S149, the moving body image region identification processing unit 101h acquires the next face detection target image frame from the passerby image acquisition processing unit 101g (sets the next image frame). Subsequently, the moving body image region identification processing unit 101h determines whether or not the setting of the image frame is stopped, that is, the next face detection target image frame is no longer acquired from the passerby image acquisition processing unit 101g ( Step S150).
画像フレームのセットが停止したと判定された場合に(ステップS150肯定)、顔検出処理は終了し、画像フレームのセットが停止したと判定されなかった場合に(ステップS150否定)、ステップS144へ移る。   When it is determined that the set of image frames has been stopped (Yes at Step S150), the face detection process ends, and when it is not determined that the set of image frames has been stopped (No at Step S150), the process proceeds to Step S144. .
上記した顔検出処理の概要について、図12−1および図12−2を参照して説明する。図12−1は、従来の顔検出処理の概要を説明する図である。従来の顔検出処理は、画像フレームのほぼ全領域を「顔検出画像エリア」として、この広い「顔検出画像エリア」にわたって、顔検出および検出位置操作処理をおこなっていた。顔検出処理は処理負荷が大きいため、画像フレームのほぼ全領域にわたって顔検出処理をおこなうと、多くの処理時間がかかっていた。   The outline of the face detection process described above will be described with reference to FIGS. 12-1 and 12-2. FIG. 12A is a diagram for explaining an overview of a conventional face detection process. In the conventional face detection processing, face detection and detection position operation processing are performed over this wide “face detection image area” with almost the entire area of the image frame as the “face detection image area”. Since the face detection processing has a large processing load, it takes a lot of processing time to perform the face detection processing over almost the entire region of the image frame.
しかし、図12−2の、実施例3にかかる顔検出処理の概要を説明する図に示すように、顔検出処理を、画像フレームにおいて動体を検出した箇所のみを「顔検出画像エリア」とし、この限定された「顔検出画像エリア」のみにおいて顔検出および検出位置操作処理をおこなう。このため、顔検出処理の処理負荷を軽減し、処理時間の短縮を図ることができる。   However, as shown in FIG. 12-2, which illustrates the outline of the face detection process according to the third embodiment, the face detection process is performed by setting only a portion where a moving object is detected in the image frame as a “face detection image area” Only in this limited “face detection image area”, face detection and detection position operation processing are performed. For this reason, the processing load of the face detection process can be reduced and the processing time can be shortened.
以下に図13〜図15を参照して、実施例4について説明する。実施例4では、カメラで撮像された不特定多数の通行人の「個人属性情報」取得の際に使用する通行人認識モジュールを、より認識精度が高くなるようにチューニングするコンテンツ表示制御装置を示す。実施例4は、実施例1にかかるコンテンツ表示制御装置100aの制御部101の個人属性情報取得処理部101aが、背景画像取得処理部101iと、通行人認識モジュール更新処理部101jとを含む構成である実施例である。実施例4の説明では、実施例1との差分のみを説明する。   Embodiment 4 will be described below with reference to FIGS. Example 4 shows a content display control device that tunes a passer-by recognition module used when acquiring “personal attribute information” of an unspecified number of passers-by captured by a camera so that the recognition accuracy becomes higher. . In the fourth embodiment, the personal attribute information acquisition processing unit 101a of the control unit 101 of the content display control apparatus 100a according to the first embodiment includes a background image acquisition processing unit 101i and a passer-by recognition module update processing unit 101j. It is an example. In the description of the fourth embodiment, only differences from the first embodiment will be described.
先ず、実施例4にかかるコンテンツ表示制御装置の構成について説明する。図13は、実施例4にかかるコンテンツ表示制御装置の構成を示す機能ブロック図である。実施例4にかかるコンテンツ表示制御装置100dは、実施例1にかかるコンテンツ表示制御装置100aの制御部101の個人属性情報取得処理部101aが、背景画像取得処理部101iと、通行人認識モジュール更新処理部101jとを含む。   First, the configuration of the content display control apparatus according to the fourth embodiment will be described. FIG. 13 is a functional block diagram of the configuration of the content display control apparatus according to the fourth embodiment. In the content display control device 100d according to the fourth embodiment, the personal attribute information acquisition processing unit 101a of the control unit 101 of the content display control device 100a according to the first embodiment includes a background image acquisition processing unit 101i and a passerby recognition module update process. Part 101j.
背景画像取得処理部101iは、第1カメラ111a〜第3カメラ111cによって撮像された画像に通行人が含まれるか否かを判定し、撮像された画像に通行人が含まれないと判定された場合に、該画像を背景画像として取得する。   The background image acquisition processing unit 101i determines whether or not a passerby is included in the images captured by the first camera 111a to the third camera 111c, and determines that no passerby is included in the captured image. In this case, the image is acquired as a background image.
通行人認識モジュール更新処理部101jは、背景画像取得処理部101iによって取得された背景画像を使用して、通行人認識モジュール記憶部102aに記憶される通行人認識モジュールの再構成をおこなって更新する。   The passerby recognition module update processing unit 101j uses the background image acquired by the background image acquisition processing unit 101i to reconfigure and update the passerby recognition module stored in the passerby recognition module storage unit 102a. .
通常、通行人認識モジュールは、入力画像から通行人および通行人でない部分、該通行人の顔および顔でない部分を識別するアルゴリズムと、識別された通行人および該通行人の顔に基づいて「個人属性情報」を出力するためのデータとを含んでいる。通行人認識モジュールは、各種ベンダによって提供される周知技術に基づくものである。   Typically, the passer-by-passenger recognition module is configured to identify from the input image a passer-by and non-passer-by part, an algorithm for identifying the passer-by and the non-face-to-face part, and a “person” based on the identified passer-by and the passer-by's face. Data for outputting "attribute information". The passer-by recognition module is based on well-known technology provided by various vendors.
実施例4において、第1カメラ111a〜第3カメラ111cは、カメラ視界が固定されているので、撮像する画像のなかで通行人が映っている部分以外の部分は、基本的には静止部分である。しかし、第1カメラ111a〜第3カメラ111cの設置場所の輝度が変化したり、通行人やその他の物体の動きに伴って照明の反射や映り込みが変化したりと、微妙に画像の輝度が変化する場合がある。この輝度の変化や、カメラ視界の中に置かれている物体の映りこみが、通行人の顔と同様の配置(目、鼻、口などの顔の要素と類似の配置)になった場合に、通行人の顔として誤判定してしまうおそれがある。   In the fourth embodiment, since the camera field of view of the first camera 111a to the third camera 111c is fixed, the part other than the part where the passerby is shown in the image to be captured is basically a stationary part. is there. However, the luminance of the image is subtly changed as the luminance of the installation locations of the first camera 111a to the third camera 111c changes, or the reflection or reflection of illumination changes with the movement of passersby or other objects. May change. When this brightness change or reflection of an object placed in the camera field of view is similar to the face of a passerby (position similar to facial elements such as eyes, nose and mouth) There is a risk of misjudging as the face of a passerby.
そこで、実施例4では、通行人認識モジュールの、入力画像から通行人および通行人でない部分、該通行人の顔および顔でない部分を識別するアルゴリズムを作成する元画像に、第1カメラ111a〜第3カメラ111cが配置される箇所において取得される、通行人を含まない背景画像を含める。この背景画像を含めてアルゴリズムを再構成し、再構成された通行人認識モジュールを更新することによって、通行人認識モジュールによる顔認識の精度が向上する。   Therefore, in the fourth embodiment, the first camera 111a to the first camera 111a to the original image for creating an algorithm for identifying a passerby and a non-passerby part, a face of the passer-by and a non-facer part of the passer-by identification module. A background image that does not include a passerby and is acquired at a location where the three cameras 111c are arranged is included. By reconstructing the algorithm including this background image and updating the reconstructed passer-by recognition module, the accuracy of face recognition by the passer-by recognition module is improved.
次に、図13に示したコンテンツ表示制御装置100dで実行される通行人認識モジュール更新処理について説明する。図14は、通行人認識モジュール更新処理手順を示すフローチャートである。同図に示すように、先ず、背景画像取得処理部101iは、背景画像が取得されたか否かを判定する(ステップS161)。   Next, a passerby recognition module update process executed by the content display control apparatus 100d shown in FIG. 13 will be described. FIG. 14 is a flowchart showing a passerby recognition module update processing procedure. As shown in the figure, first, the background image acquisition processing unit 101i determines whether or not a background image has been acquired (step S161).
背景画像が取得されたと判定された場合に(ステップS161肯定)、ステップS162へ移り、背景画像が取得されたと判定されなかった場合に(ステップS161否定)、ステップS161を繰り返す。   When it is determined that the background image has been acquired (Yes at Step S161), the process proceeds to Step S162. When it is not determined that the background image has been acquired (No at Step S161), Step S161 is repeated.
以上の処理を行うことによって、背景画像の影響を加味した通行人認識モジュールにて不特定多数の通行人の「個人属性情報」の取得をおこなうので、通行人の認識精度が向上し、通行人の誤検出、個人属性情報の誤認識を防止する。   By performing the above processing, the “personal attribute information” of an unspecified number of passersby is acquired by the passerby recognition module that takes into account the influence of the background image. Prevent false detection of personal information and personal attribute information.
ステップS162では、通行人認識モジュール更新処理部101jは、背景画像取得処理部101iによって取得された背景画像に基づいて、通行人認識モジュール記憶部102aに記憶される通行人認識モジュールを再構成する。続いて、通行人認識モジュール更新処理部101jは、再構成された通行人認識モジュールにて、通行人認識モジュール記憶部102aに記憶される通行人認識モジュールを更新する(ステップS163)。   In step S162, the passerby recognition module update processing unit 101j reconfigures the passerby recognition module stored in the passerby recognition module storage unit 102a based on the background image acquired by the background image acquisition processing unit 101i. Subsequently, the passerby recognition module update processing unit 101j updates the passerby recognition module stored in the passerby recognition module storage unit 102a with the reconfigured passerby recognition module (step S163).
なお、通行人認識モジュールの再構成を、コンテンツ表示制御装置100dでおこなわず、図15に示すように、センターサーバでおこなうこととしてもよい。すなわち、(1)コンテンツ表示制御装置100dで取得された背景画像を、セキュアなネットワークを介して、暗号化して、センターサーバへと送信する。   Note that the reconfiguration of the passerby recognition module may be performed not by the content display control apparatus 100d but by the center server as shown in FIG. That is, (1) the background image acquired by the content display control device 100d is encrypted and transmitted to the center server via a secure network.
(2)続いて、センターサーバは、背景画像を受信する。(3)続いて、センターサーバは、非顔画像(顔でない画像)の選別をおこない、(4)選別された背景画像を使用して通行人認識モジュールを再構築する。(5)そして、センターサーバは、コンテンツ表示制御装置100dに対して、セキュアなネットワークを介して、暗号化して、再構成された通行人認識モジュールを送信する。(6)そして、コンテンツ表示制御装置100dは、背景画像を使用して再構成された通行人認識モジュールにて、通行人認識モジュール記憶部102aに記憶される既存の通行人認識モジュールを更新する。   (2) Subsequently, the center server receives a background image. (3) Subsequently, the center server selects non-face images (non-face images), and (4) reconstructs a passer-by recognition module using the selected background images. (5) Then, the center server transmits the reconfigured passer-by identification module to the content display control device 100d via a secure network. (6) Then, the content display control device 100d updates the existing passerby recognition module stored in the passerby recognition module storage unit 102a with the passerby recognition module reconstructed using the background image.
以下に図16〜図19を参照して、実施例5について説明する。実施例5では、カメラの自動キャリブレーションをおこなうコンテンツ表示制御装置を示す。実施例5は、実施例1にかかるコンテンツ表示制御装置100aに、第1カメラ111a〜第3カメラ111cの自動キャリブレーションをおこなう構成を加えた実施例である。実施例5の説明では、実施例1との差分のみを説明する。   Embodiment 5 will be described below with reference to FIGS. The fifth embodiment shows a content display control apparatus that performs automatic calibration of a camera. Example 5 is an example in which a configuration for performing automatic calibration of the first camera 111a to the third camera 111c is added to the content display control apparatus 100a according to Example 1. In the description of the fifth embodiment, only differences from the first embodiment will be described.
先ず、実施例5にかかるコンテンツ表示制御装置の構成について説明する。図16は、実施例5にかかるコンテンツ表示制御装置の構成を示す機能ブロック図である。実施例5にかかるコンテンツ表示制御装置100eは、実施例1にかかるコンテンツ表示制御装置100aの制御部101にカメラ特性値取得処理部101kと、カメラ特性値調整処理部101lとを加え、記憶部102にカメラ理想特性値記憶部102eを加えた構成である。   First, the configuration of the content display control apparatus according to the fifth embodiment will be described. FIG. 16 is a functional block diagram of the configuration of the content display control apparatus according to the fifth embodiment. The content display control device 100e according to the fifth embodiment adds a camera characteristic value acquisition processing unit 101k and a camera characteristic value adjustment processing unit 101l to the control unit 101 of the content display control device 100a according to the first embodiment, and a storage unit 102. In this configuration, a camera ideal characteristic value storage unit 102e is added.
また、第1カメラ111a〜第3カメラ111cの機能ブロックは、次の通りである。第1カメラ111aに代表させて、カメラの機能ブロックについて説明する。なお、第2カメラ111bおよび第3カメラ111cは、第1カメラ111aと同一である。   The functional blocks of the first camera 111a to the third camera 111c are as follows. As a representative example of the first camera 111a, functional blocks of the camera will be described. The second camera 111b and the third camera 111c are the same as the first camera 111a.
第1カメラ111aは、カメラ方向制御部111a−1と、カメラ方向可変機構部111a−2と、ズーム倍率制御部111a−3と、絞り値制御部111a−4と、焦点値制御部111a−5と、レンズ機構部111a−6と、絞り機構部111a−7と、CMOS(Complementary Metal Oxide Semiconductor)センサ部111a−8と、コンテンツ表示制御装置100eへ、カメラの特性値を送信し、コンテンツ表示制御装置100eからの指示信号(例えば、カメラの方向を変更するための「方向制御信号」、レンズまたはCMOSセンサのズーム倍率を変更するための「ズーム制御信号」、レンズの絞り値を変更するための「絞り制御信号」、レンズの焦点値を変更するための「焦点制御信号」など)を受信するためのインターフェースである通信インターフェース部111a−9とを有する。   The first camera 111a includes a camera direction control unit 111a-1, a camera direction variable mechanism unit 111a-2, a zoom magnification control unit 111a-3, an aperture value control unit 111a-4, and a focus value control unit 111a-5. The camera characteristic value is transmitted to the lens mechanism unit 111a-6, the aperture mechanism unit 111a-7, the CMOS (Complementary Metal Oxide Semiconductor) sensor unit 111a-8, and the content display control device 100e, and content display control is performed. An instruction signal from the device 100e (for example, a “direction control signal” for changing the camera direction, a “zoom control signal” for changing the zoom magnification of the lens or the CMOS sensor, and a lens aperture value for changing “Aperture control signal”, “Focus control signal” for changing the focus value of the lens, etc.) And a signal interface unit 111a-9.
なお、カメラのイメージセンサは、CMOSセンサに限らず、CCD(Charge Coupled Device)であってもよい。   The image sensor of the camera is not limited to a CMOS sensor, but may be a CCD (Charge Coupled Device).
カメラ方向制御部111a−1は、コンテンツ表示制御装置100eから受信した「方向制御信号」に基づいて、カメラ方向可変機構部111a−2を制御して、カメラ方向(カメラ視界の方向)を変更する。なお、カメラ方向可変機構部111a−2は、カメラ方向を上下左右に自在に変更可能なメカニズムとその動力部を有する。   The camera direction control unit 111a-1 controls the camera direction variable mechanism unit 111a-2 based on the “direction control signal” received from the content display control device 100e to change the camera direction (the direction of the camera view). . The camera direction variable mechanism 111a-2 includes a mechanism that can freely change the camera direction vertically and horizontally, and its power unit.
ズーム倍率制御部111a−3は、レンズ機構部111a−6またはCMOSセンサ部111a−8からズーム倍率を取得してコンテンツ表示制御装置100eへと送信するとともに、コンテンツ表示制御装置100eから受信した「ズーム制御信号」に基づいて、レンズ機構部111a−6またはCMOSセンサ部111a−8を制御して、ズーム倍率を制御する。レンズ機構部111a−6を制御してズーム倍率を変更する場合は、光学ズーム倍率の変更であり、CMOSセンサ部111a−8を制御してズーム倍率を変更する場合は、デジタルズーム倍率の変更である。   The zoom magnification control unit 111a-3 acquires the zoom magnification from the lens mechanism unit 111a-6 or the CMOS sensor unit 111a-8, transmits the zoom magnification to the content display control device 100e, and receives the “zoom” received from the content display control device 100e. Based on the "control signal", the lens mechanism unit 111a-6 or the CMOS sensor unit 111a-8 is controlled to control the zoom magnification. When the zoom magnification is changed by controlling the lens mechanism unit 111a-6, the optical zoom magnification is changed. When the zoom magnification is changed by controlling the CMOS sensor unit 111a-8, the digital zoom magnification is changed. .
なお、レンズ機構部111a−6は、複数の光学レンズを組み合わせ、該レンズ機構部111a−6を介して入射し、CMOSセンサ部111a−8に照射される光の焦点および光学ズーム倍率を制御するものである。   The lens mechanism unit 111a-6 combines a plurality of optical lenses, and enters the lens mechanism unit 111a-6 to control the focal point of the light irradiated to the CMOS sensor unit 111a-8 and the optical zoom magnification. Is.
絞り値制御部111a−4は、絞り機構部111a−7から絞り値を取得してコンテンツ表示制御装置100eへと送信するとともに、コンテンツ表示制御装置100eから受信した「絞り制御信号」に基づいて、絞り機構部111a−7を制御して、カメラの絞りを制御する。絞り機構部111a−7は、CMOSセンサ部111a−8への露光時間を制御するシャッタ機構である。   The aperture value control unit 111a-4 acquires the aperture value from the aperture mechanism unit 111a-7, transmits the aperture value to the content display control device 100e, and based on the “aperture control signal” received from the content display control device 100e. The aperture mechanism 111a-7 is controlled to control the aperture of the camera. The aperture mechanism unit 111a-7 is a shutter mechanism that controls the exposure time for the CMOS sensor unit 111a-8.
焦点値制御部111a−5は、レンズ機構部111a−6から焦点値を取得してコンテンツ表示制御装置100eへと送信するとともに、コンテンツ表示制御装置100eから受信した「焦点制御信号」に基づいて、レンズ機構部111a−6を制御して、カメラに入射する光の焦点を制御する。   The focus value control unit 111a-5 acquires the focus value from the lens mechanism unit 111a-6 and transmits the focus value to the content display control device 100e, and based on the “focus control signal” received from the content display control device 100e. The lens mechanism 111a-6 is controlled to control the focal point of light incident on the camera.
一方、コンテンツ表示制御装置100eのカメラ特性値取得処理部101kは、第1カメラ111a〜第3カメラ111cのそれぞれから画像が送信されて来た際に、各カメラからそれぞれの特性値(例えば、カメラのレンズの絞り値、カメラのレンズの焦点値、カメラのレンズまたはCMOSセンサのズーム倍率など)を取得する。   On the other hand, when an image is transmitted from each of the first camera 111a to the third camera 111c, the camera characteristic value acquisition processing unit 101k of the content display control device 100e receives each characteristic value (for example, a camera) Lens aperture value, camera lens focus value, camera lens or CMOS sensor zoom magnification, etc.).
カメラ特性値調整処理部101lは、後述するカメラ理想特性値記憶部102eに記憶されるカメラ理想特性値テーブルを参照して、カメラ特性値取得処理部101kによって取得された各カメラそれぞれの特性値がカメラ理想特性値の範囲内であるか否かを判定する。   The camera characteristic value adjustment processing unit 101l refers to a camera ideal characteristic value table stored in a camera ideal characteristic value storage unit 102e described later, and the characteristic value of each camera acquired by the camera characteristic value acquisition processing unit 101k is obtained. It is determined whether it is within the range of the camera ideal characteristic value.
そして、カメラ特性値調整処理部101lは、カメラ特性値取得処理部101kによって取得された各カメラそれぞれの特性値がカメラ理想特性値の範囲内でない場合に、各カメラに対して、カメラ方向制御部111a−1、ズーム倍率制御部111a−3、絞り値制御部111a−4、焦点値制御部111a−5の各制御信号を出力して、各カメラそれぞれの特性値がカメラ理想特性値の範囲内に収まるように制御する。   Then, the camera characteristic value adjustment processing unit 101l performs a camera direction control unit for each camera when the characteristic value of each camera acquired by the camera characteristic value acquisition processing unit 101k is not within the range of the camera ideal characteristic value. 111 a-1, zoom magnification control unit 111 a-3, aperture value control unit 111 a-4, and focus value control unit 111 a-5 are output, and the characteristic values of each camera are within the camera ideal characteristic value range. Control to fit.
次に、図16に示した記憶部102のカメラ理想特性値記憶部102eに記憶されるカメラ理想特性値テーブルについて説明する。図17は、カメラ理想特性値テーブルの例を示す図である。   Next, a camera ideal characteristic value table stored in the camera ideal characteristic value storage unit 102e of the storage unit 102 illustrated in FIG. 16 will be described. FIG. 17 is a diagram illustrating an example of a camera ideal characteristic value table.
同図に示すように、カメラ理想特性値テーブルは、「絞り値」の上限および下限、「焦点値」の上限および下限、「ズーム倍率」の上限および下限を、カメラごとに記憶している。例えば、第1カメラ111aの「絞り値」は、α以上β以下であれば、理想値の範囲内であることになる。 As shown in the figure, the camera ideal characteristic value table stores an upper limit and a lower limit of “aperture value”, an upper limit and a lower limit of “focus value”, and an upper limit and a lower limit of “zoom magnification” for each camera. For example, if the “aperture value” of the first camera 111 a is α 1 or more and β 1 or less, it is within the range of ideal values.
次に、図16に示しコンテンツ表示制御装置100eで実行されるカメラ自動キャリブレーション処理について説明する。図18は、カメラ自動キャリブレーション処理手順を示すフローチャートである。   Next, the camera automatic calibration process shown in FIG. 16 and executed by the content display control apparatus 100e will be described. FIG. 18 is a flowchart showing the camera automatic calibration processing procedure.
先ず、カメラ特性値取得処理部101kは、カメラ(第1カメラ111a〜第3カメラ111cのうちの少なくとも一つ)の特性値が取得されたか否かを判定する(ステップS171)。カメラの特性値が取得されたと判定された場合に(ステップS171肯定)、ステップS172へ移り、カメラの特性値が取得されたと判定されなかった場合に(ステップS171否定)、ステップS171を繰り返す。   First, the camera characteristic value acquisition processing unit 101k determines whether or not a characteristic value of a camera (at least one of the first camera 111a to the third camera 111c) has been acquired (step S171). When it is determined that the characteristic value of the camera has been acquired (Yes at Step S171), the process proceeds to Step S172, and when it is not determined that the characteristic value of the camera has been acquired (No at Step S171), Step S171 is repeated.
ステップS172では、カメラ特性値取得処理部101kは、カメラ理想特性値記憶部102eのカメラ理想特性値テーブルに記憶される理想特性値の範囲を参照して、ステップS171で取得されたカメラの特性値が、理想特性値の範囲に収まっているか否かを判定する(ステップS172)。   In step S172, the camera characteristic value acquisition processing unit 101k refers to the ideal characteristic value range stored in the camera ideal characteristic value table of the camera ideal characteristic value storage unit 102e, and acquires the camera characteristic value acquired in step S171. Is within the ideal characteristic value range (step S172).
カメラの特性値が理想特性値の範囲に収まっていると判定された場合に(ステップS172肯定)、カメラ自動キャリブレーション処理は終了し、カメラの特性値が理想特性値範囲内に収まっていると判定されなかった場合に(ステップS172否定)、ステップS173へ移る。なお、カメラの特性値が理想特性値範囲内に収まっていると判定されなかったカメラを、制御対象カメラと呼ぶ。   When it is determined that the camera characteristic value is within the ideal characteristic value range (Yes at step S172), the camera automatic calibration process is terminated, and the camera characteristic value is within the ideal characteristic value range. If not determined (No at step S172), the process proceeds to step S173. A camera whose characteristic value is not determined to be within the ideal characteristic value range is referred to as a control target camera.
ステップS173では、カメラ特性値調整処理部101lは、制御対象カメラの特性値が理想範囲内に収まるように、制御対象カメラを制御(例えば、制御対象カメラに対して「方向制御信号」、「ズーム制御信号」、「絞り制御信号」、「焦点制御信号」のうち少なくとも一つの信号を送信)する。この処理が終了すると、ステップS171へ移る。   In step S173, the camera characteristic value adjustment processing unit 101l controls the control target camera so that the characteristic value of the control target camera is within the ideal range (for example, “direction control signal”, “zoom” for the control target camera). At least one signal of “control signal”, “aperture control signal”, and “focus control signal” is transmitted). When this process ends, the process moves to step S171.
以上の処理を行うことによって、カメラのキャリブレーションが、コンテンツ表示制御装置100eを含むシステムの設置後に自動的に行われるので、人手を煩わせることなく、迅速かつ正確にカメラの適切な特性値を確保することが可能になる。また、カメラが設置される周囲の状況変化に追従してカメラのキャリブレーションをおこなうことができ、常にカメラの適切な特性値を維持することができるので、不特定多数の通行人の認識精度の水準を一定に保つことが可能になる。   By performing the above processing, the camera is automatically calibrated after the system including the content display control device 100e is installed. Therefore, an appropriate characteristic value of the camera can be obtained quickly and accurately without bothering people. It becomes possible to secure. In addition, the camera can be calibrated following changes in the surrounding environment where the camera is installed, and the camera's appropriate characteristic values can be maintained at all times. The level can be kept constant.
なお、図19のカメラ自動キャリブレーション処理の概要を説明する図に示すように、第1カメラ111a〜第3カメラ111cは、一例として、コンテンツ表示装置112の上部の右端、中央、左端の3箇所に、コンテンツ表示画面112a側の方向を向くように設置される。   In addition, as shown in the figure explaining the outline of the camera automatic calibration process in FIG. 19, the first camera 111 a to the third camera 111 c are, for example, three locations at the upper right end, the center, and the left end of the content display device 112. Are installed so as to face the content display screen 112a.
各カメラは、カメラ台座の上に設置される。図19に示すように、カメラ台座は、ヒンジを介して結合された2枚の平板の一方をコンテンツ表示装置112の上面に固定し、もう一方にカメラを固定することによって、ヒンジを介してカメラを固定する平板が可動となることによって垂直角度調整可能であり、また、カメラ台座自体が、回転動力源を備えた回転軸によって水平方向に回転可能となることによって水平方向角度調節可能である。   Each camera is installed on a camera pedestal. As shown in FIG. 19, the camera pedestal is configured such that one of two flat plates coupled via a hinge is fixed to the upper surface of the content display device 112, and the camera is fixed to the other to fix the camera via the hinge. The vertical angle can be adjusted by moving the flat plate for fixing the camera, and the horizontal angle can be adjusted by rotating the camera base itself in the horizontal direction by the rotation shaft provided with the rotational power source.
以下に図20および図21を参照して、実施例6について説明する。実施例6では、カメラ視界内の不審な放置物を検出し、該放置物の存在の報知をおこなうコンテンツ表示制御装置を示す。実施例6は、実施例1にかかるコンテンツ表示制御装置100aの制御部101の個人属性情報取得処理部101aが背景画像取得処理部101iと、非動体画像部分抽出処理部101mとを含み、制御部101が、背景画像差分取得処理部101nと、非動体検出処理部101oとをさらに有する構成を加えた実施例である。実施例6の説明では、実施例1との差分のみを説明する。   Hereinafter, Example 6 will be described with reference to FIGS. 20 and 21. FIG. Embodiment 6 shows a content display control device that detects a suspicious abandoned object in the camera field of view and notifies the presence of the abandoned object. In the sixth embodiment, the personal attribute information acquisition processing unit 101a of the control unit 101 of the content display control apparatus 100a according to the first embodiment includes a background image acquisition processing unit 101i and a non-moving object image partial extraction processing unit 101m. Reference numeral 101 denotes an embodiment in which a configuration further including a background image difference acquisition processing unit 101n and a non-moving object detection processing unit 101o is added. In the description of the sixth embodiment, only differences from the first embodiment will be described.
先ず、実施例6にかかるコンテンツ表示制御装置の構成について説明する。図20は、実施例6にかかるコンテンツ表示制御装置の構成を示す機能ブロック図である。実施例6にかかるコンテンツ表示制御装置100fは、実施例1にかかるコンテンツ表示制御装置100aの制御部101の個人属性情報取得処理部101aに背景画像取得処理部101iと、非動体画像部分抽出処理部101mとを含み、制御部101に背景画像差分取得処理部101nと、非動体検出処理部101oとをさらに有し、記憶部102に背景画像記憶部102fを加えた構成である。   First, the configuration of the content display control apparatus according to the sixth embodiment will be described. FIG. 20 is a functional block diagram of the configuration of the content display control apparatus according to the sixth embodiment. The content display control device 100f according to the sixth embodiment includes a background image acquisition processing unit 101i, a non-moving object image partial extraction processing unit, a personal attribute information acquisition processing unit 101a of the control unit 101 of the content display control device 100a according to the first example. 101m, the control unit 101 further includes a background image difference acquisition processing unit 101n and a non-moving object detection processing unit 101o, and the background image storage unit 102f is added to the storage unit 102.
背景画像取得処理部101iは、第1カメラ111a〜第3カメラ111cによって撮像された画像に通行人が含まれるか否かを判定し、撮像された画像に通行人が含まれないと判定された場合に、該画像を背景画像として取得して、背景画像記憶部102fに記憶する。   The background image acquisition processing unit 101i determines whether or not a passerby is included in the images captured by the first camera 111a to the third camera 111c, and determines that no passerby is included in the captured image. In this case, the image is acquired as a background image and stored in the background image storage unit 102f.
また、背景画像取得処理部101iは、背景画像記憶部102fに記憶される背景画像と、新たに取得された背景画像の画素値を比較し、画素値の差分または画素値の変化量が所定値以上である場合に、新たに取得された背景画像にて背景画像記憶部102fに記憶される背景画像を更新する。   Further, the background image acquisition processing unit 101i compares the background image stored in the background image storage unit 102f with the pixel value of the newly acquired background image, and the difference in pixel value or the change amount of the pixel value is a predetermined value. In the case described above, the background image stored in the background image storage unit 102f is updated with the newly acquired background image.
非動体画像部分抽出処理部101mは、第1カメラ111a〜第3カメラ111cの少なくとも一つによって撮像された画像に含まれる非動体を抽出する。非動体の抽出は、所定時間以上にわたって、連続する画像フレームの差分画像に含まれない同一画像部分を、動かない物体(非動体)として認識して検出することによっておこなう。   The non-moving object image partial extraction processing unit 101m extracts a non-moving object included in an image captured by at least one of the first camera 111a to the third camera 111c. The non-moving object is extracted by recognizing and detecting the same image portion that is not included in the difference image of successive image frames as a non-moving object (non-moving object) for a predetermined time or longer.
そして、背景画像差分取得処理部101nは、非動体が抽出された画像と、背景画像記憶部102fに記憶される背景画像との差分画像を取得する。そして、非動体検出処理部101oは、非動体として抽出された画像部分が、背景画像との差分画像に含まれていることによって差分として取得された場合に、該非動体を放置物として検出し、不審な報知物ありとして、通信インターフェース部103を介して、報知端末装置113に報知動作(警告画面の表示、警報の出力など)を指示する。   Then, the background image difference acquisition processing unit 101n acquires a difference image between the image from which the non-moving object is extracted and the background image stored in the background image storage unit 102f. The non-moving object detection processing unit 101o detects the non-moving object as an abandoned object when the image portion extracted as the non-moving object is acquired as a difference by being included in the difference image with the background image, As a suspicious notification item, the notification terminal device 113 is instructed to perform a notification operation (display of a warning screen, output of a warning, etc.) via the communication interface unit 103.
次に、図20に示したコンテンツ表示制御装置100fで実行される放置物検出処理について説明する。図21は、放置物検出処理手順を示すフローチャートである。同図に示すように、先ず、背景画像取得処理部101iは、背景画像が取得されたか否かを判定する(ステップS181)。   Next, the abandoned object detection process executed by the content display control apparatus 100f shown in FIG. 20 will be described. FIG. 21 is a flowchart showing the abandoned object detection processing procedure. As shown in the figure, first, the background image acquisition processing unit 101i determines whether or not a background image has been acquired (step S181).
背景画像が取得されたと判定された場合に(ステップS181肯定)、ステップS182へ移り、背景画像が取得されたと判定されなかった場合に(ステップS181否定)、ステップS181を繰り返す。   When it is determined that a background image has been acquired (Yes at Step S181), the process proceeds to Step S182. When it is not determined that a background image has been acquired (No at Step S181), Step S181 is repeated.
ステップS182では、非動体画像部分抽出処理部101mは、前後して連続する画像フレームの前の画像フレームである画像フレーム1を読み込む。続いて、非動体画像部分抽出処理部101mは、前後して連続する画像フレームの後の画像フレームである画像フレーム2を読み込む(ステップS183)。   In step S182, the non-moving object image partial extraction processing unit 101m reads an image frame 1 that is an image frame before the image frame that is continuous before and after. Subsequently, the non-moving object image partial extraction processing unit 101m reads the image frame 2 that is the image frame after the image frame that is continuous before and after (step S183).
そして、非動体画像部分抽出処理部101mは、画像フレーム1および画像フレーム2の差分画像を作成する(ステップS184)。そして、非動体画像部分抽出処理部101mは、ステップS184で作成された差分画像から非動体画像部分を抽出する(ステップS185)。   Then, the non-moving object image partial extraction processing unit 101m creates a difference image between the image frame 1 and the image frame 2 (step S184). Then, the non-moving object image portion extraction processing unit 101m extracts a non-moving object image portion from the difference image created in step S184 (step S185).
続いて、背景画像差分取得処理部101nは、ステップS185で抽出された非動体画像部分と、背景画像記憶部102fに記憶される背景画像との差分画像を計算する(ステップS186)。   Subsequently, the background image difference acquisition processing unit 101n calculates a difference image between the non-moving object image portion extracted in step S185 and the background image stored in the background image storage unit 102f (step S186).
続いて、非動体検出処理部101oは、ステップS186で計算された差分画像に放置物の候補が存在するか否かを判定する(ステップS187)。放置物の候補が存在すると判定された場合に(ステップS187肯定)、ステップS189へ移り、放置物の候補が存在すると判定されなかった場合に(ステップS187否定)、ステップS188へ移る。   Subsequently, the non-moving object detection processing unit 101o determines whether there is an abandoned object candidate in the difference image calculated in Step S186 (Step S187). If it is determined that there is an abandoned object candidate (Yes at Step S187), the process proceeds to Step S189, and if it is not determined that there is an abandoned object candidate (No at Step S187), the process proceeds to Step S188.
ステップS188では、非動体検出処理部101oは、タイマによる計時をおこなっていた場合には、タイマによる計時を終了する。この処理が終了すると、ステップS181へ移る。   In step S188, the non-moving object detection processing unit 101o ends the time measurement by the timer when the time measurement is performed by the timer. When this process ends, the process moves to step S181.
一方、ステップS189では、非動体検出処理部101oは、タイマによる計時をおこなっていない場合に、タイマによる計時を開始する。続いて、非動体検出処理部101oは、タイマによる計時時間が所定時間以上経過したか否かを判定する(ステップS190)。   On the other hand, in step S189, the non-moving object detection processing unit 101o starts counting with the timer when not counting with the timer. Subsequently, the non-moving object detection processing unit 101o determines whether or not the time measured by the timer has exceeded a predetermined time (step S190).
タイマによる計時時間が所定時間以上経過したと判定された場合に(ステップS190肯定)、ステップS191へ移り、タイマによる計時時間が所定時間以上経過したと判定されなかった場合に(ステップS190否定)、ステップS182へ移る。   When it is determined that the time measured by the timer has exceeded the predetermined time (Yes at Step S190), the process proceeds to Step S191, and when it is not determined that the time measured by the timer has exceeded the predetermined time (No at Step S190), Control goes to step S182.
ステップS191では、非動体検出処理部101oは、ステップS187で放置物の候補とされた非動体を、放置物として検出する。そして、非動体検出処理部101oは、放置物検出を報知するように、報知端末装置113に指示する(ステップS192)。   In step S191, the non-moving object detection processing unit 101o detects the non-moving object determined as the candidate for the abandoned object in step S187 as the abandoned object. Then, the non-moving object detection processing unit 101o instructs the notification terminal device 113 to notify the abandoned object detection (step S192).
以上の処理を行うことによって、カメラ視界内に存在する不審な報知物をいち早く検出し、対処することができるので、コンテンツ表示装置112が設置される周囲のセキュリティを維持することが可能になる。   By performing the above processing, it is possible to quickly detect and deal with suspicious notifications existing in the camera field of view, so that it is possible to maintain the security of the surroundings where the content display device 112 is installed.
以上、本発明の実施例を説明したが、本発明は、これに限られるものではなく、特許請求の範囲に記載した技術的思想の範囲内で、更に種々の異なる実施例で実施されてもよいものである。また、実施例に記載した効果は、これに限定されるものではない。   As mentioned above, although the Example of this invention was described, this invention is not limited to this, In the range of the technical idea described in the claim, even if it implements in a various different Example, it is. It ’s good. Moreover, the effect described in the Example is not limited to this.
具体的には、図22のカメラ、コンテンツ表示制御装置およびコンテンツ表示装置の設置例(その1)を示す図に示すように、コンテンツ表示画面112a通行の前面を通行する通行人を撮像するために、複数台のカメラ(例えば、カメラ111d〜カメラ111g)を設置する。1台のカメラ視界には限界があり、1台のカメラではコンテンツ表示画面112a通行の前面を通行するすべての通行人を撮影することは不可能である。   Specifically, as shown in the diagram showing an installation example (part 1) of the camera, the content display control device, and the content display device in FIG. 22, in order to image passers-by passing through the front of the content display screen 112a traffic A plurality of cameras (for example, cameras 111d to 111g) are installed. There is a limit to the field of view of one camera, and it is impossible to photograph all passers-by passing through the front of the content display screen 112a.
しかし、複数台のカメラでカメラ視界を分担させ、それぞれのカメラ視界をすべてあわせることによって、コンテンツ表示画面112a通行の前面の広い領域をカバーして、より迅速により広い範囲の不特定多数の通行人を認識することが可能になる。カメラの台数は、多ければ多いほど、コンテンツ表示画面112a通行の前面領域を通行する不特定多数の通行人の「個人属性情報」をきめ細やかに取得することが可能になる。   However, by sharing the camera field of view with a plurality of cameras and combining all the camera fields of view, it covers a wide area in front of the content display screen 112a traffic, and more quickly, an unspecified number of passersby Can be recognized. As the number of cameras increases, it becomes possible to finely acquire “personal attribute information” of an unspecified number of passers-by passing through the front area of the content display screen 112a.
また、複数台のカメラで不特定多数の通行人を認識する場合は、「個人属性情報」が取得された通行人をそれぞれ一意に特定し、トラッキングすることによって、通行人の動き(例えば、動線、歩行方向、歩行と立ち止まりとの繰り返しのパターンなど)を把握することが可能になる。   Also, when recognizing a large number of unspecified passers-by with a plurality of cameras, the passers-by's movements (for example, movements) are identified by uniquely identifying and tracking the passers-by for which “personal attribute information” has been acquired. Line, walking direction, repeated pattern of walking and stopping, etc.).
なお、不特定多数の通行人の「個人属性情報」を取得する処理は、負荷が大きいので、カメラごとに「個人属性情報」を取得する処理をおこなうようにコンテンツ表示制御装置100の機能の負荷分散を図ってもよい。この場合、コンテンツ表示制御装置100は、カメラごとに取得された不特定多数の通行人の「個人属性情報」を受信し、「マクロ属性情報」を決定する処理以降の後段の処理のみをおこなうこととなる。このように負荷分散をおこなうことで、不特定多数の通行人の認識処理の処理速度を高め、迅速に適切なコンテンツを表示させることができる。   Since the process of acquiring “personal attribute information” of an unspecified number of passersby is heavy, the load of the function of the content display control apparatus 100 so as to perform the process of acquiring “personal attribute information” for each camera. Dispersion may be achieved. In this case, the content display control apparatus 100 receives “personal attribute information” of an unspecified number of passers-by acquired for each camera, and performs only subsequent processes after the process of determining “macro attribute information”. It becomes. By performing load distribution in this way, it is possible to increase the processing speed of recognition processing for an unspecified number of passersby and to display appropriate content quickly.
また、図23のカメラ、コンテンツ表示制御装置およびコンテンツ表示装置の設置例(その2)を示す図に示すように、カメラ111と、コンテンツ表示制御装置100とは、有線または無線のネットワークで遠隔に接続されるものとしてもよい。また、カメラ111は、コンテンツ表示画面112aと離れた位置に配置されるものとしてもよい。   23, the camera 111 and the content display control device 100 are remotely connected via a wired or wireless network, as shown in the diagram showing an installation example (part 2) of the camera, the content display control device, and the content display device. It may be connected. The camera 111 may be arranged at a position away from the content display screen 112a.
このようにすると、コンテンツ表示画面112aから離れた場所で不特定多数の通行人を撮像して、いち早く「個人属性情報」を取得し、「マクロ属性情報」を決定して、適切なコンテンツをコンテンツ表示画面112aに表示することができる。   In this way, an unspecified number of passersby are imaged at a location away from the content display screen 112a, “personal attribute information” is acquired quickly, “macro attribute information” is determined, and appropriate content is acquired as content. It can be displayed on the display screen 112a.
例えば、通行人がコンテンツを注視していなくても、コンテンツを見せたい、または注視してもらいたい場合がある。この場合に、図23に示すような設置例を採用すると、通行人が通路を歩行している先にコンテンツ表示画面112aが存在するので、カメラ111を、より遠くから接近しつつある通行人側により近づけて設置することによって、該通行人がコンテンツ表示画面112aに接近する以前に、予め「個人属性情報」を取得し、「マクロ属性情報」を決定し、「マクロ属性情報」に合致するコンテンツを選択しておくので、コンテンツ表示画面112aの表示が通行人の視野に入ったタイミングで適時にコンテンツを表示させることが可能になる。   For example, even if a passerby is not watching the content, there is a case where the user wants to show or watch the content. In this case, when the installation example as shown in FIG. 23 is adopted, the content display screen 112a exists ahead of the passerby walking in the passage, so that the camera 111 is approaching from a farther side. The content that matches the "macro attribute information" is obtained by acquiring "personal attribute information" in advance before the passerby approaches the content display screen 112a. Therefore, it is possible to display the content in a timely manner at the timing when the display of the content display screen 112a enters the passerby's field of view.
なお、カメラ111は、図24−1に示すようにコンテンツ表示画面112aの下部に配置されても、図24−2に示すようにコンテンツ表示画面112aの上部に配置されても、図24−3に示すようにコンテンツ表示画面112aの側部に配置されても、いずれでもよい。   The camera 111 may be arranged at the lower part of the content display screen 112a as shown in FIG. 24-1, or may be arranged at the upper part of the content display screen 112a as shown in FIG. 24-2. As shown in FIG. 5, it may be arranged on the side of the content display screen 112a.
また、図24−1〜図24−3に示すように、コンテンツ表示画面112aは、実施例1で説明した「シナリオ条件」または「コンテンツ表示条件」に応じて、画面を分割して、複数のコンテンツを同時に表示することとしてもよい。   Further, as shown in FIG. 24-1 to FIG. 24-3, the content display screen 112a is divided into a plurality of screens according to the “scenario condition” or “content display condition” described in the first embodiment. The content may be displayed at the same time.
以上で説明した実施例1〜実施例6にかかるコンテンツ表示制御装置は、屋内外広告、交通広告だけではなく、例えば、商店の店舗出入り口や店舗内など不特定多数の通行人が往来する施設に設置され、通行人の流動分析や属性分析に利用することができる。また、ある通路や施設における通行人の「個人属性情報」および「マクロ属性情報」や該通行人の動き(動線)を、人員工数をかけずに把握し、該施設におけるマーケティングやセールスプロモーションに利用することもできる。   The content display control apparatus according to the first to sixth embodiments described above is not limited to indoor / outdoor advertisements and traffic advertisements, but for example, in a facility where an unspecified number of passersby such as a store entrance / exit of a store and a store / trait It is installed and can be used for flow analysis and attribute analysis of passersby. In addition, the “personal attribute information” and “macro attribute information” of a passerby in a certain passage or facility and the movement (traffic line) of the passerby can be grasped without man-hours for marketing and sales promotion in the facility. It can also be used.
また、上記実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記実施例で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。   In addition, among the processes described in the above embodiment, all or part of the processes described as being automatically performed can be manually performed, or the processes described as being manually performed can be performed. All or a part can be automatically performed by a known method. In addition, the processing procedure, control procedure, specific name, information including various data and parameters shown in the above embodiment can be arbitrarily changed unless otherwise specified.
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。   Each component of each illustrated device is functionally conceptual and does not necessarily need to be physically configured as illustrated. In other words, the specific form of distribution / integration of each device is not limited to that shown in the figure, and all or a part thereof may be functionally or physically distributed or arbitrarily distributed in arbitrary units according to various loads or usage conditions. Can be integrated and configured.
さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、CPU(Central Processing Unit)(またはMPU(Micro Processing Unit)、MCU(Micro Controller Unit)などのマイクロ・コンピュータ)および当該CPU(またはMPU、MCUなどのマイクロ・コンピュータ)にて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現されてもよい。   Furthermore, each or all of the processing functions performed in each device are entirely or partially a CPU (Central Processing Unit) (or a microcomputer such as an MPU (Micro Processing Unit) or MCU (Micro Controller Unit)) and It may be realized by a program that is analyzed and executed by the CPU (or a microcomputer such as MPU or MCU), or may be realized as hardware by wired logic.
本発明は、通路などを通行する多数の通行人に対して情報を切り替えて表示可能な表示装置に、この不特定多数の通行人全体の属性に応じたコンテンツを、マクロ的に見て情報伝達の効果がより高まるように選択して表示したい場合に有用である。   The present invention provides a display device capable of switching and displaying information for a large number of passers-by who pass through passages, etc., and transmitting information according to the macro according to the contents according to the attributes of the entire unspecified number of passers-by. This is useful when it is desired to select and display so that the effect of is improved.
本実施例の概要と特徴を説明するための図である。It is a figure for demonstrating the outline | summary and characteristic of a present Example. 実施例1にかかるコンテンツ表示制御装置の構成を示す機能ブロック図である。It is a functional block diagram which shows the structure of the content display control apparatus concerning Example 1. FIG. 通行人個人属性情報蓄積テーブルの例を示す図である。It is a figure which shows the example of a passer-by personal attribute information storage table. コンテンツ表示条件テーブルの例を示す図である。It is a figure which shows the example of a content display condition table. コンテンツ格納テーブルの例を示す図である。It is a figure which shows the example of a content storage table. コンテンツ表示制御処理手順を示すフローチャートである。It is a flowchart which shows a content display control processing procedure. コンテンツ表示制限処理および表示制限解除処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of a content display restriction process and a display restriction cancellation process. 実施例2にかかるコンテンツ表示制御装置の構成を示す機能ブロック図である。It is a functional block diagram which shows the structure of the content display control apparatus concerning Example 2. FIG. コンテンツ認識率算出処理手順を示すフローチャートである。It is a flowchart which shows a content recognition rate calculation process procedure. 実施例3にかかるコンテンツ表示制御装置の構成を示す機能ブロック図である。FIG. 10 is a functional block diagram illustrating a configuration of a content display control apparatus according to a third embodiment. 顔検出処理手順を示すフロ−チャートである。It is a flowchart which shows a face detection process procedure. 従来の顔検出処理の概要を説明する図である。It is a figure explaining the outline | summary of the conventional face detection process. 実施例3にかかる顔検出処理の概要を説明する図である。It is a figure explaining the outline | summary of the face detection process concerning Example 3. FIG. 実施例4にかかるコンテンツ表示制御装置の構成を示す機能ブロック図である。FIG. 10 is a functional block diagram illustrating a configuration of a content display control apparatus according to a fourth embodiment. 通行人認識モジュール更新処理手順を示すフローチャートである。It is a flowchart which shows a passerby recognition module update process sequence. 通行人認識モジュール更新処理の他の実施例の概要を示す図であるIt is a figure which shows the outline | summary of the other Example of a passerby recognition module update process. 実施例5にかかるコンテンツ表示制御装置の構成を示す機能ブロック図である。FIG. 10 is a functional block diagram illustrating a configuration of a content display control apparatus according to a fifth embodiment. カメラ理想特性値テーブルの例を示す図である。It is a figure which shows the example of a camera ideal characteristic value table. カメラ自動キャリブレーション処理手順を示すフローチャートである。It is a flowchart which shows a camera automatic calibration process sequence. カメラ自動キャリブレーション処理の概要を説明する図である。It is a figure explaining the outline | summary of a camera automatic calibration process. 実施例6にかかるコンテンツ表示制御装置の構成を示す機能ブロック図である。It is a functional block diagram which shows the structure of the content display control apparatus concerning Example 6. FIG. 放置物検出処理手順を示すフローチャートである。It is a flowchart which shows an abandoned object detection process procedure. カメラ、コンテンツ表示制御装置およびコンテンツ表示装置の設置例(その1)を示す図である。It is a figure which shows the example of installation (the 1) of a camera, a content display control apparatus, and a content display apparatus. カメラ、コンテンツ表示制御装置およびコンテンツ表示装置の設置例(その2)を示す図である。It is a figure which shows the installation example (the 2) of a camera, a content display control apparatus, and a content display apparatus. カメラおよびコンテンツ表示装置の設置例(その1)を示す図である。It is a figure which shows the example of installation of a camera and a content display apparatus (the 1). カメラおよびコンテンツ表示装置の設置例(その2)を示す図である。It is a figure which shows the installation example (the 2) of a camera and a content display apparatus. カメラおよびコンテンツ表示装置の設置例(その3)を示す図である。It is a figure which shows the installation example (the 3) of a camera and a content display apparatus.
符号の説明Explanation of symbols
100、100a、100b、100c、100d、100e、100f コンテンツ表示制御装置
101 制御部
101a 個人属性情報取得処理部
101b マクロ属性情報決定処理部
101c コンテンツ選択処理部
101d コンテンツ表示制御処理部
101e 表示画面視認通行人数算出処理部
101f コンテンツ視認率算出処理部
101g 通行人画像取得処理部
101h 動体画像領域特定処理部
101i 背景画像取得処理部
101j 通行人認識モジュール更新処理部
101k カメラ特性値取得処理部
101l カメラ特性値調整処理部
101m 非動体画像部分抽出処理部
101n 背景画像差分取得処理部
101o 非動体検出処理部
102 記憶部
102a 通行人認識モジュール記憶部
102b 通行人個人属性情報蓄積DB
102c コンテンツ表示条件記憶部
102d コンテンツDB
102e カメラ理想特性値記憶部
102f 背景画像記憶部
103 通信インターフェース部
111、111d、111e、111f、111g カメラ
111a 第1カメラ
111a−1 カメラ方向制御部
111a−2 カメラ方向可変機構部
111a−3 ズーム倍率制御部
111a−4 絞り値制御部
111a−5 焦点値制御部
111a−6 レンズ機構部
111a−7 絞り機構部
111a−8 CMOSセンサ部
111a−9 通信インターフェース部
111b 第2カメラ
111c 第3カメラ
112 コンテンツ表示装置
112a コンテンツ表示画面
113 報知端末装置
100, 100a, 100b, 100c, 100d, 100e, 100f Content display control device 101 Control unit 101a Personal attribute information acquisition processing unit 101b Macro attribute information determination processing unit 101c Content selection processing unit 101d Content display control processing unit 101e Display screen viewing traffic Number calculation processing unit 101f Content visual recognition rate calculation processing unit 101g Passerby image acquisition processing unit 101h Moving body image area identification processing unit 101i Background image acquisition processing unit 101j Passerby recognition module update processing unit 101k Camera characteristic value acquisition processing unit 101l Camera characteristic value Adjustment processing unit 101m Non-moving object image partial extraction processing unit 101n Background image difference acquisition processing unit 101o Non-moving object detection processing unit 102 Storage unit 102a Passer-by identification module storage unit 102b Passer-person personal attribute information storage D
102c Content display condition storage unit 102d Content DB
102e Camera ideal characteristic value storage unit 102f Background image storage unit 103 Communication interface unit 111, 111d, 111e, 111f, 111g Camera 111a First camera 111a-1 Camera direction control unit 111a-2 Camera direction variable mechanism unit 111a-3 Zoom magnification Control unit 111a-4 Aperture value control unit 111a-5 Focus value control unit 111a-6 Lens mechanism unit 111a-7 Aperture mechanism unit 111a-8 CMOS sensor unit 111a-9 Communication interface unit 111b Second camera 111c Third camera 112 Content Display device 112a Content display screen 113 Notification terminal device

Claims (12)

  1. 不特定多数の通行人により視認可能な位置に配設された表示装置の表示画面の前面を通行人が通過する際に、該通行人に適したコンテンツを前記表示画面に表示制御するコンテンツ表示制御装置であって、
    前記表示画面の前面を通過する複数の通行人個々の個人属性情報をそれぞれ取得する個人属性情報取得手段と、
    前記個人属性情報取得手段によって取得された前記複数の通行人個々の個人属性情報から、該複数の通行人全体のマクロ属性情報を決定するマクロ属性情報決定手段と、
    前記表示画面への表示対象となる複数のコンテンツを前記マクロ属性情報とそれぞれ対応付けて記憶するコンテンツ記憶手段と、
    前記マクロ属性情報決定手段によって決定されたマクロ属性情報を用いて前記コンテンツ記憶手段を検索して、前記表示画面へ表示すべきコンテンツを選択するコンテンツ選択手段と
    を有することを特徴とするコンテンツ表示制御装置。
    Content display control for controlling display of content suitable for a passerby on the display screen when the passerby passes through the front of the display screen of a display device arranged at a position visible by an unspecified number of passersby A device,
    Personal attribute information acquisition means for acquiring individual attribute information of each of a plurality of passers-by passing through the front of the display screen;
    Macro attribute information determining means for determining macro attribute information of the plurality of passers-by from the individual attribute information of the plurality of passers-by acquired by the personal attribute information acquiring means;
    Content storage means for storing a plurality of contents to be displayed on the display screen in association with the macro attribute information;
    Content display control comprising: content selection means for searching the content storage means using the macro attribute information determined by the macro attribute information determination means and selecting content to be displayed on the display screen. apparatus.
  2. 前記個人属性情報取得手段によって取得された前記複数の通行人個々の個人属性情報を該通行人ごとに記憶する個人属性情報記憶手段をさらに有し、
    前記マクロ属性情報決定手段は、前記個人属性情報記憶手段によって所定時間にわたって記憶されたすべての通行人の個人属性情報から、該すべての通行人全体のマクロ属性情報を決定することを特徴とする請求項1に記載のコンテンツ表示制御装置。
    Personal attribute information storage means for storing individual attribute information of each of the plurality of passers acquired by the personal attribute information acquisition means for each passer-by,
    The macro attribute information determining means determines macro attribute information of all passersby from the personal attribute information of all passersby stored for a predetermined time by the personal attribute information storage means. Item 2. A content display control device according to Item 1.
  3. 前記個人属性情報取得手段は、前記複数の通行人個々の顔を検出し、該顔ごとの属性と、該顔ごとのサイズと、該顔ごとの前記表示画面への方向および該顔ごとの前記表示画面への方向が所定角度以上で検出された時間とを前記個人属性情報として取得することを特徴とする請求項1または2に記載のコンテンツ表示制御装置。   The personal attribute information acquisition means detects the face of each of the plurality of passersby, attributes for each face, size for each face, direction to the display screen for each face, and the face for each face The content display control apparatus according to claim 1, wherein a time when the direction to the display screen is detected at a predetermined angle or more is acquired as the personal attribute information.
  4. 前記個人属性情報記憶手段によって前記所定時間にわたって記憶されている通行人ごとの前記個人属性情報のうち、顔の前記表示画面への方向が所定角度以上であることによって前記表示画面を視認していたと見なされうる表示画面視認通行人数を算出する表示画面視認通行人数算出手段と、
    前記表示画面視認通行人数算出手段によって算出された前記表示画面視認通行人数を、前記個人属性情報記憶手段に前記個人属性情報が前記所定時間にわたって記憶されている通行人の総数で除したコンテンツ視認率を算出するコンテンツ視認率算出手段と
    をさらに有し、
    前記コンテンツ選択手段は、前記表示画面視認通行人数、前記通行人の総数または前記コンテンツ視認率の少なくとも一つにさらに基づいて前記表示画面へ表示すべきコンテンツを選択することを特徴とする請求項3に記載のコンテンツ表示制御装置。
    Of the personal attribute information for each passerby stored for the predetermined time by the personal attribute information storage means, the display screen is visually recognized when the direction of the face to the display screen is a predetermined angle or more. A display screen viewing traffic calculating means for calculating a display screen viewing traffic count that can be considered;
    Content visibility rate obtained by dividing the display screen viewing number of people calculated by the display screen viewing number of people by the total number of passers whose personal attribute information is stored in the personal attribute information storage unit for the predetermined time And a content view rate calculation means for calculating
    The content selection means selects content to be displayed on the display screen further based on at least one of the number of passers visually recognized by the display screen, the total number of passers-by, or the content visibility rate. The content display control device described in 1.
  5. 前記コンテンツを前記表示画面に表示制御する所定条件または該所定条件の組み合わせを含むコンテンツ表示条件を記憶する表示条件記憶手段と、
    前記表示条件記憶手段によって記憶されている前記コンテンツ表示条件が充足されたか否かを判定する条件充足判定手段と
    をさらに有し、
    前記コンテンツ選択手段は、前記条件充足判定手段によって前記コンテンツ表示条件が充足されたと判定された場合に、前記マクロ属性情報決定手段によって決定された前記マクロ属性情報を用いて前記表示画面へ表示すべきコンテンツを選択することを特徴とする請求項1〜4のいずれか一つに記載のコンテンツ表示制御装置。
    Display condition storage means for storing a predetermined condition for controlling display of the content on the display screen or a content display condition including a combination of the predetermined conditions;
    Further comprising: condition satisfaction determination means for determining whether or not the content display conditions stored by the display condition storage means are satisfied,
    The content selection means should display on the display screen using the macro attribute information determined by the macro attribute information determination means when the condition satisfaction determination means determines that the content display condition is satisfied. The content display control apparatus according to claim 1, wherein the content is selected.
  6. 前記個人属性情報取得手段は、前記複数の通行人の画像を取得する通行人画像取得手段と、前記通行人画像取得手段によって取得された前記複数の通行人の画像に含まれる動体を検出して該動体の画像領域を特定する動体画像領域特定手段とを含み、前記動体画像領域特定手段によって特定された前記画像領域のみから前記表示画面の前面を通過する複数の通行人個々の個人属性情報をそれぞれ取得することを特徴とする請求項1〜5のいずれか一つに記載のコンテンツ表示制御装置。   The personal attribute information acquisition means detects passersby image acquisition means for acquiring images of the plurality of passers-by, and moving objects included in the images of the passersby acquired by the passerby image acquisition means. Personal image information of a plurality of passersby passing through the front of the display screen only from the image area specified by the moving image area specifying means. The content display control device according to claim 1, wherein each of the content display control devices is acquired.
  7. 前記個人属性情報取得手段は、前記通行人画像取得手段によって取得された画像に前記表示画面の前面を通過する通行人が存在しなかった場合に、該画像を背景画像として取得する背景画像取得手段と、
    前記背景画像取得手段によって取得された前記背景画像に基づいて前記個人属性情報取得手段を更新することを特徴とする個人属性情報取得更新手段と
    をさらに有することを特徴とする請求項6に記載のコンテンツ表示制御装置。
    The personal attribute information acquisition unit acquires a background image acquisition unit that acquires the image as a background image when there is no passerby passing through the front of the display screen in the image acquired by the passerby image acquisition unit. When,
    The personal attribute information acquisition / updating means for updating the personal attribute information acquisition means based on the background image acquired by the background image acquisition means. Content display control device.
  8. 前記コンテンツ選択手段によって選択されたコンテンツを前記表示画面へ表示制御するコンテンツ表示制御手段をさらに有し、
    前記コンテンツ表示制御手段は、
    前記通行人画像取得手段によって前記表示画面の前面を通過する通行人の画像が所定時間にわたって取得されなかった場合に前記表示画面へのコンテンツの表示の制限をおこない、
    前記通行人画像取得手段によって前記表示画面の前面を通過する通行人の画像が取得された場合に前記制限を解除することを特徴とする請求項6または7に記載のコンテンツ表示制御装置。
    Content display control means for controlling display of the content selected by the content selection means on the display screen,
    The content display control means includes
    When the passerby image acquisition means does not acquire the passerby image passing through the front of the display screen for a predetermined time, the display of content on the display screen is limited,
    The content display control apparatus according to claim 6 or 7, wherein the restriction is canceled when an image of a passerby passing through the front of the display screen is acquired by the passer-by image acquisition means.
  9. 前記通行人画像取得手段により取得される画像の理想特性値の範囲を予め記憶しておく理想特性値記憶手段と、
    前記通行人画像取得手段によって取得された前記画像の特性値が前記理想特性値記憶手段によって記憶されている前記理想特性値の範囲内となるように該通行人画像取得手段を制御する通行人画像取得制御手段と
    をさらに有することを特徴とする請求項6、7または8に記載のコンテンツ表示制御装置。
    Ideal characteristic value storage means for storing in advance a range of ideal characteristic values of the image acquired by the passerby image acquisition means;
    A passer-by image that controls the passer-by image acquisition means so that the characteristic value of the image acquired by the passer-by image acquisition means falls within the range of the ideal characteristic value stored in the ideal characteristic value storage means. The content display control device according to claim 6, further comprising: an acquisition control unit.
  10. 不特定多数の通行人により視認可能な位置に配設された表示装置の表示画面の前面を通行人が通過する際に、該通行人に適したコンテンツを前記表示画面に表示制御するコンテンツ表示制御装置であって、
    前記通行人の画像を取得する通行人画像取得手段と、
    前記通行人画像取得手段によって取得された連続するフレームの画像の差分情報に含まれない非動体の画像部分を抽出する非動体画像部分抽出手段と、
    前記非動体画像部分抽出手段によって抽出された前記非動体の画像部分と、前記通行人画像取得手段によって取得された、通行人の画像が含まれない画像である背景画像との差分画像を取得する画像差分取得手段と、
    前記画像差分取得手段によって取得された前記差分画像に含まれる非動体を検出する非動体検出手段と、
    前記通行人画像取得手段によって所定時間にわたって前記非動体が検出された場合に、該非動体が前記通行人画像取得手段の視界内に存在することを報知する報知手段と
    を有することを特徴とするコンテンツ表示制御装置。
    Content display control for controlling display of content suitable for a passerby on the display screen when the passerby passes through the front of the display screen of a display device arranged at a position visible by an unspecified number of passersby A device,
    A passerby image acquisition means for acquiring an image of the passerby;
    A non-moving object image part extracting unit that extracts an image part of a non-moving object that is not included in the difference information of the images of successive frames acquired by the passerby image acquiring unit;
    A difference image between the non-moving body image portion extracted by the non-moving body image portion extraction unit and a background image acquired by the passer-by image acquisition unit and not including a passer-by image is acquired. Image difference acquisition means;
    Non-moving object detection means for detecting a non-moving object included in the difference image acquired by the image difference acquisition means;
    Informing means for informing that the non-moving object exists in the field of view of the passer-by image acquisition means when the non-moving object is detected by the passer-by image acquisition means for a predetermined time. Display control device.
  11. 不特定多数の通行人により視認可能な位置に配設された表示装置の表示画面の前面を通行人が通過する際に、該通行人に適したコンテンツを前記表示画面に表示制御する処理をコンテンツ表示制御装置がおこなうコンテンツ表示制御方法であって、
    前記表示画面の前面を通過する複数の通行人個々の個人属性情報をそれぞれ取得する個人属性情報取得ステップと、
    前記個人属性情報取得ステップによって取得された前記複数の通行人個々の個人属性情報から、該複数の通行人全体のマクロ属性情報を決定するマクロ属性情報決定ステップと、
    前記マクロ属性情報決定ステップによって決定されたマクロ属性情報を用いて、前記表示画面への表示対象となる複数のコンテンツを該マクロ属性情報とそれぞれ対応付けて記憶しているコンテンツデータベースを検索して、前記表示画面へ表示すべきコンテンツを選択するコンテンツ選択ステップと
    を含むことを特徴とするコンテンツ表示制御方法。
    When a passer passes the front of the display screen of a display device arranged at a position that can be viewed by an unspecified number of passers-by, a process for controlling display of content suitable for the passer-by on the display screen A content display control method performed by a display control device,
    A personal attribute information acquisition step of acquiring individual attribute information of each of a plurality of passers-by passing through the front of the display screen;
    A macro attribute information determining step for determining macro attribute information of the plurality of passers-by from the individual attribute information of the plurality of passers-by acquired by the personal attribute information acquiring step;
    Using the macro attribute information determined by the macro attribute information determination step, search a content database storing a plurality of contents to be displayed on the display screen in association with the macro attribute information, A content selection control method comprising: a content selection step of selecting content to be displayed on the display screen.
  12. 不特定多数の通行人により視認可能な位置に配設された表示装置の表示画面の前面を通行人が通過する際に、該通行人に適したコンテンツを前記表示画面に表示制御する処理をコンピュータ装置に実行させるコンテンツ表示制御プログラムであって、
    前記表示画面の前面を通過する複数の通行人個々の個人属性情報をそれぞれ取得する個人属性情報取得手順と、
    前記個人属性情報取得手順によって取得された前記複数の通行人個々の個人属性情報から、該複数の通行人全体のマクロ属性情報を決定するマクロ属性情報決定手順と、
    前記マクロ属性情報決定手順によって決定されたマクロ属性情報を用いて、前記表示画面への表示対象となる複数のコンテンツを該マクロ属性情報とそれぞれ対応付けて記憶しているコンテンツデータベースを検索して、前記表示画面へ表示すべきコンテンツを選択するコンテンツ選択手順と
    を前記コンピュータ装置に実行させることを特徴とするコンテンツ表示制御プログラム。
    When the passer-by passes through the front of the display screen of the display device arranged at a position visible by an unspecified number of passers-by, a computer performs processing for controlling display of content suitable for the passer-by on the display screen A content display control program to be executed by an apparatus,
    A personal attribute information acquisition procedure for acquiring individual attribute information of each of a plurality of passers-by passing through the front of the display screen;
    A macro attribute information determination procedure for determining macro attribute information of the plurality of passers-by from the individual attribute information of the plurality of passers-by acquired by the personal attribute information acquisition procedure;
    Using the macro attribute information determined by the macro attribute information determination procedure, search a content database storing a plurality of contents to be displayed on the display screen in association with the macro attribute information, A content display control program that causes the computer device to execute a content selection procedure for selecting content to be displayed on the display screen.
JP2007318778A 2007-12-10 2007-12-10 Contents display control device, contents display control method, and contents display control program Pending JP2009139857A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007318778A JP2009139857A (en) 2007-12-10 2007-12-10 Contents display control device, contents display control method, and contents display control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007318778A JP2009139857A (en) 2007-12-10 2007-12-10 Contents display control device, contents display control method, and contents display control program

Publications (1)

Publication Number Publication Date
JP2009139857A true JP2009139857A (en) 2009-06-25

Family

ID=40870483

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007318778A Pending JP2009139857A (en) 2007-12-10 2007-12-10 Contents display control device, contents display control method, and contents display control program

Country Status (1)

Country Link
JP (1) JP2009139857A (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011008571A (en) * 2009-06-26 2011-01-13 Shunkosha:Kk Passer-by fluidity data generating device, content distribution controlling device, passer-by fluidity data generating method, and content distribution controlling method
JP2011232876A (en) * 2010-04-26 2011-11-17 Nippon Telegr & Teleph Corp <Ntt> Content attention degree calculation device, content attention degree calculation method, and content attention degree calculation program
JP2011248548A (en) * 2010-05-25 2011-12-08 Fujitsu Ltd Content determination program and content determination device
JP2012078722A (en) * 2010-10-05 2012-04-19 Mitsubishi Electric Corp Information providing system
WO2012132285A1 (en) * 2011-03-25 2012-10-04 日本電気株式会社 Mobile body characteristic estimation system, mobile body characteristic estimation method, and program
JP2013109051A (en) * 2011-11-18 2013-06-06 Glory Ltd Electronic information providing system and electronic information providing method
JP2013140196A (en) * 2011-12-28 2013-07-18 Toshiba Tec Corp Information display device and program
JP2013152277A (en) * 2012-01-24 2013-08-08 Toshiba Tec Corp Apparatus, program, and system for providing information
JP2015528157A (en) * 2012-06-29 2015-09-24 インテル コーポレイション Method and apparatus for selecting advertisements for display on a digital sign

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01245395A (en) * 1988-03-28 1989-09-29 Toshiba Corp Image monitoring system
JP2002082642A (en) * 2000-09-08 2002-03-22 Japan Servo Co Ltd Advertising method and advertising device
JP2003111007A (en) * 2001-09-27 2003-04-11 Fuji Photo Film Co Ltd Image processing system, imaging apparatus, image processor, image processing method and program
JP2003255922A (en) * 2002-02-27 2003-09-10 Toshiba Corp Display device, and device and method for terminal processing
JP2004054376A (en) * 2002-07-17 2004-02-19 Hitoshi Hongo Method and device for estimating group attribute
JP2004227158A (en) * 2003-01-21 2004-08-12 Omron Corp Information providing device and information providing method
JP2004347952A (en) * 2003-05-23 2004-12-09 Clarion Co Ltd Advertisement distribution system
JP2005004656A (en) * 2003-06-13 2005-01-06 Canon Inc Image processor and its method
JP2007181070A (en) * 2005-12-28 2007-07-12 Shunkosha:Kk Apparatus and method for evaluating attention paid to contents
JP2007287093A (en) * 2006-04-20 2007-11-01 Fujitsu Frontech Ltd Program, method and device for detecting mobile object

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01245395A (en) * 1988-03-28 1989-09-29 Toshiba Corp Image monitoring system
JP2002082642A (en) * 2000-09-08 2002-03-22 Japan Servo Co Ltd Advertising method and advertising device
JP2003111007A (en) * 2001-09-27 2003-04-11 Fuji Photo Film Co Ltd Image processing system, imaging apparatus, image processor, image processing method and program
JP2003255922A (en) * 2002-02-27 2003-09-10 Toshiba Corp Display device, and device and method for terminal processing
JP2004054376A (en) * 2002-07-17 2004-02-19 Hitoshi Hongo Method and device for estimating group attribute
JP2004227158A (en) * 2003-01-21 2004-08-12 Omron Corp Information providing device and information providing method
JP2004347952A (en) * 2003-05-23 2004-12-09 Clarion Co Ltd Advertisement distribution system
JP2005004656A (en) * 2003-06-13 2005-01-06 Canon Inc Image processor and its method
JP2007181070A (en) * 2005-12-28 2007-07-12 Shunkosha:Kk Apparatus and method for evaluating attention paid to contents
JP2007287093A (en) * 2006-04-20 2007-11-01 Fujitsu Frontech Ltd Program, method and device for detecting mobile object

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011008571A (en) * 2009-06-26 2011-01-13 Shunkosha:Kk Passer-by fluidity data generating device, content distribution controlling device, passer-by fluidity data generating method, and content distribution controlling method
JP2011232876A (en) * 2010-04-26 2011-11-17 Nippon Telegr & Teleph Corp <Ntt> Content attention degree calculation device, content attention degree calculation method, and content attention degree calculation program
JP2011248548A (en) * 2010-05-25 2011-12-08 Fujitsu Ltd Content determination program and content determination device
US8724845B2 (en) 2010-05-25 2014-05-13 Fujitsu Limited Content determination program and content determination device
JP2012078722A (en) * 2010-10-05 2012-04-19 Mitsubishi Electric Corp Information providing system
WO2012132285A1 (en) * 2011-03-25 2012-10-04 日本電気株式会社 Mobile body characteristic estimation system, mobile body characteristic estimation method, and program
JP5907162B2 (en) * 2011-03-25 2016-04-20 日本電気株式会社 Mobile object attribute estimation system, mobile object attribute estimation method, and program
JP2013109051A (en) * 2011-11-18 2013-06-06 Glory Ltd Electronic information providing system and electronic information providing method
JP2013140196A (en) * 2011-12-28 2013-07-18 Toshiba Tec Corp Information display device and program
JP2013152277A (en) * 2012-01-24 2013-08-08 Toshiba Tec Corp Apparatus, program, and system for providing information
JP2015528157A (en) * 2012-06-29 2015-09-24 インテル コーポレイション Method and apparatus for selecting advertisements for display on a digital sign

Similar Documents

Publication Publication Date Title
US10417499B2 (en) Machine learning models for identifying sports teams depicted in image or video data
US20170245939A1 (en) Management system for skin condition measurement analysis information and management method for skin condition measurement analysis information
US20190057250A1 (en) Object tracking and best shot detection system
US10008003B2 (en) Simulating an infrared emitter array in a video monitoring camera to construct a lookup table for depth determination
CA2973866C (en) Video identification and analytical recognition system
US10869003B2 (en) Using a scene illuminating infrared emitter array in a video monitoring camera for depth determination
CN104813339B (en) Methods, devices and systems for detecting objects in a video
US10341544B2 (en) Determining a matching score between users of wearable camera systems
US8606317B2 (en) User augmented reality for camera-enabled mobile devices
KR20190075988A (en) Wearable devices and methods that analyze images and provide feedback
US10824865B2 (en) Methods and systems for controlling external devices using a wearable apparatus
US9217994B2 (en) System and method for managing energy
US20160275376A1 (en) Object detection and classification
CN103493068B (en) Personalized advertisement selects system and method
US9554063B2 (en) Using infrared images of a monitored scene to identify windows
US9258556B2 (en) Digital signage device capable of entering diagnostic display mode
Benezeth et al. Towards a sensor for detecting human presence and characterizing activity
KR20170035922A (en) Techniques for automatic real-time calculation of user wait times
US9313556B1 (en) User interface for video summaries
Gill et al. A system for change detection and human recognition in voxel space using the Microsoft Kinect sensor
JP2015186202A (en) Residence condition analysis device, residence condition analysis system and residence condition analysis method
CN102446327B (en) Based on advertisement delivery device and the advertisement placement method of recognition of face
US20160283483A1 (en) Providing selected images from a set of images
US8438175B2 (en) Systems, methods and articles for video analysis reporting
ES2743243T3 (en) Apparatus and method for replacing image content

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101209

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20131029