JP2006197373A - Viewer information measuring instrument - Google Patents

Viewer information measuring instrument Download PDF

Info

Publication number
JP2006197373A
JP2006197373A JP2005008031A JP2005008031A JP2006197373A JP 2006197373 A JP2006197373 A JP 2006197373A JP 2005008031 A JP2005008031 A JP 2005008031A JP 2005008031 A JP2005008031 A JP 2005008031A JP 2006197373 A JP2006197373 A JP 2006197373A
Authority
JP
Japan
Prior art keywords
viewer
display
face
data
viewers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005008031A
Other languages
Japanese (ja)
Other versions
JP4932161B2 (en
Inventor
Yasuko Suzuki
靖子 鈴木
Hitoshi Fujimoto
仁志 藤本
Atsushi Tanaka
田中　　敦
Yoshihiro Ashizaki
能広 芦崎
Toru Ishii
徹 石井
Mitsumasa Sakurai
満將 櫻井
Yasunori Tsubaki
泰範 椿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2005008031A priority Critical patent/JP4932161B2/en
Publication of JP2006197373A publication Critical patent/JP2006197373A/en
Application granted granted Critical
Publication of JP4932161B2 publication Critical patent/JP4932161B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To obtain a viewer information measuring instrument which is installed in a public place or the like and measures information relating to viewers of display viewed in a small scale and a wide range by many and unspecific persons, without troubling the viewers. <P>SOLUTION: The viewer information measuring instrument includes a display control device 101 for controlling content display to a display device 102, a camera 103 for imaging a scene opposed to a screen of the display device 102, a viewer data generation for 104 for extracting viewers viewing the display device 102 from the scene imaged by the camera 103 and generating image data of the viewers, and a viewer measurement part 105 for measuring the number of viewers viewing the content displayed on the display device 102 on the basis of the image data generated by the viewer data generation part 104. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

この発明は、番組や広告などのコンテンツを視聴する人の情報を測定する視聴率測定に関し、特に公共スペースなどに設置された大画面表示装置を視聴する人の情報を測定する視聴者情報測定装置に関するものである。   The present invention relates to audience rating measurement for measuring information of a person who views content such as a program or an advertisement, and in particular, a viewer information measuring apparatus for measuring information of a person who views a large screen display device installed in a public space or the like. It is about.

各テレビ番組がその地区のどのくらいの人々に視聴されたかを示す指標として、従来から視聴率が測定されている。視聴率は、広告効果の見積り、広告料の決定等の判断基準となり、各放送社の営業活動にとって重要な値である。視聴率の測定は、例えば日記式アンケートによる調査、調査対象の家庭に接続された専用機器を介した調査等に基づいて行われ、世帯ごとに調査する世帯視聴率、個人ごとに調査する個人視聴率等がある。例えば個人視聴率は、世帯内の専用機に接続された各視聴者用のボタンを押してもらうなどにより性別・年齢別のデータを収集し、番組の編成、制作等に役立てられている。さらに、カメラによる顔認識によって、テレビの前に存在する視聴者数を自動的に収集する特許文献１のような方法がある。   Traditionally, audience rating has been measured as an indicator of how many people in each district watched each TV program. The audience rating is an important value for the sales activities of each broadcasting company, as it is a criterion for estimating the advertising effectiveness and determining the advertising fee. The audience rating is measured based on, for example, a diary questionnaire survey, a survey through a dedicated device connected to the surveyed household, etc., and the household audience survey surveyed for each household and the individual viewing surveyed for each individual There are rates. For example, the personal audience rating is used for organizing and producing programs by collecting data by gender and age by, for example, pressing a button for each viewer connected to a dedicated machine in the household. Furthermore, there is a method as in Patent Document 1 in which the number of viewers existing in front of the television is automatically collected by face recognition by a camera.

特開２００４−６４３６８号公報JP 2004-64368 A

公共スペースなどに設置される大画面表示装置でも同様に、視聴者情報は広告効果、広告料、また大画面表示装置の設置価値、運用費等を決定する指標となりうるため重要である。しかしながら、このような大画面表示装置は、視聴者がコンテンツを選択するのではなくあらかじめ決められたスケジュールで小規模広範囲の不特定多数に向けて表示されることが多いため、従来の家庭用テレビ放送向けの視聴率測定法を適用することはできないという課題があった。また、視聴者の手を煩わせるようなアンケートやボタンによるデータ収集では、広範囲の不特定多数から常にデータを収集することは不可能であるという課題もあった。   Similarly, in a large screen display device installed in a public space or the like, the viewer information is important because it can serve as an index for determining the advertising effect, the advertising fee, the installation value of the large screen display device, the operation cost, and the like. However, such a large-screen display device is often displayed for a small and wide-scale unspecified number of people on a predetermined schedule, rather than a viewer selecting content, so that a conventional home TV There was a problem that the audience rating measurement method for broadcasting could not be applied. In addition, there has been a problem that it is impossible to always collect data from a wide range of unspecified majority in data collection using questionnaires and buttons that bother viewers.

この発明は上記のような課題を解決するためになされたもので、公共の場などに設置され、小規模広範囲かつ不特定多数の人に視聴されるディスプレイの視聴者に関する情報を、視聴者の手を煩わせることなく測定する視聴者情報測定装置を得ることを目的とする。   The present invention has been made to solve the above-described problems. Information regarding a viewer of a display installed in a public place or the like and viewed by a small, wide-range and unspecified number of people is obtained from the viewer. It is an object of the present invention to obtain a viewer information measuring apparatus that performs measurement without bothering hands.

この発明に係る視聴者情報測定装置は、ディスプレイへのコンテンツ表示を制御する表示制御手段と、ディスプレイ画面に対向する景色を撮像する撮像手段と、撮像手段が撮像した景色からディスプレイを視聴する視聴者を抽出してその画像データを生成する視聴者データ生成手段と、視聴者データ生成手段が生成する画像データに基づいて、ディスプレイに表示したコンテンツを視聴する視聴者数を測定する視聴者測定手段とを備えたものである。   The viewer information measuring apparatus according to the present invention includes a display control unit that controls display of content on a display, an imaging unit that captures a scene facing the display screen, and a viewer who views the display from the scene captured by the imaging unit. Viewer data generating means for extracting the image data and generating the image data; and viewer measuring means for measuring the number of viewers viewing the content displayed on the display based on the image data generated by the viewer data generating means; It is equipped with.

この発明によれば、視聴者情報測定装置は、ディスプレイへのコンテンツ表示を制御する表示制御手段と、ディスプレイ画面に対向する景色を撮像する撮像手段と、撮像手段が撮像した景色からディスプレイを視聴する視聴者を抽出してその画像データを生成する視聴者データ生成手段と、視聴者データ生成手段が生成する画像データに基づいて、ディスプレイに表示したコンテンツを視聴する視聴者数を測定する視聴者測定手段とを備えるように構成したので、公共の場などに設置され、小規模広範囲かつ不特定多数の人に視聴されるディスプレイの視聴者に関する情報を、視聴者の手を煩わせることなく測定することができるという効果が得られる。   According to this invention, the viewer information measuring apparatus views the display from the display control means for controlling the content display on the display, the imaging means for capturing the scenery facing the display screen, and the scenery captured by the imaging means. Viewer data generation means for extracting viewers and generating the image data, and viewer measurement for measuring the number of viewers viewing the content displayed on the display based on the image data generated by the viewer data generation means Measure information related to display viewers that are installed in public places and viewed by a large number of small and unspecified people without bothering the viewer's hands. The effect that it can be obtained.

実施の形態１．
図１はこの発明の実施の形態１による視聴者情報測定装置の構成を示すブロック図である。図に示すように、視聴者情報測定装置は、表示制御装置（表示制御手段）１０１、ディスプレイ１０２、カメラ（撮像手段）１０３、視聴者データ生成部（視聴者データ生成手段）１０４、視聴者測定部（視聴者測定手段）１０５を備える。 Embodiment 1 FIG.
FIG. 1 is a block diagram showing a configuration of a viewer information measuring apparatus according to Embodiment 1 of the present invention. As shown in the figure, the viewer information measuring device includes a display control device (display control means) 101, a display 102, a camera (imaging means) 103, a viewer data generation unit (viewer data generation means) 104, and viewer measurement. Unit (viewer measuring means) 105.

表示制御装置１０１はディスプレイ１０２に表示するコンテンツデータを保持し、ディスプレイ１０２への表示を制御する。カメラ１０３は、ディスプレイ１０２に対向する景色を撮像できる向きで設置され、景色を撮像して撮像データを生成する。視聴者データ生成部１０４は、カメラ１０３から撮像データを受け取り、これに含まれる人物画像を抽出して視聴者データを生成する。例えば、映像から人物領域を分離する手法として背景差分やフレーム差分を用いる。背景差分ではあらかじめ撮影された背景画像との比較により、人物を検出する。また、フレーム差分では別のフレームとの差分により、動体を検出する。視聴者測定部１０５は、視聴者データ生成部１０４が生成した視聴者データと、表示制御装置１０１が保持するある時間にどのコンテンツが表示されるかを示す表示コンテンツ情報とに基づいて、表示されるコンテンツの視聴者数を算出する。   The display control apparatus 101 holds content data to be displayed on the display 102 and controls display on the display 102. The camera 103 is installed in such a direction as to capture a landscape facing the display 102, and captures the landscape and generates imaging data. The viewer data generation unit 104 receives imaging data from the camera 103, extracts a person image included therein, and generates viewer data. For example, a background difference or a frame difference is used as a method for separating a person region from a video. In the background difference, a person is detected by comparison with a background image captured in advance. Further, in the frame difference, a moving object is detected based on a difference from another frame. The viewer measurement unit 105 is displayed based on the viewer data generated by the viewer data generation unit 104 and display content information indicating which content is displayed at a certain time held by the display control apparatus 101. The number of viewers of the content to be calculated is calculated.

次に動作について説明する。
表示制御装置１０１は、ディスプレイ１０２にコンテンツを出力し、表示させる。カメラ１０３はディスプレイ１０２に対向する景色を撮像し、撮像データを視聴者データ生成部１０４に供給する。視聴者データ生成部１０４は、受け取った撮像データから視聴者と思われる人物の領域を抽出し、視聴者を認識するための視聴者データを生成して視聴者測定部１０５に供給する。視聴者測定部１０５は、この視聴者データに基づいて視聴者の人数をカウントすると共に、表示制御装置１０１から表示コンテンツ情報を受け取り、現在の表示コンテンツの視聴者数を算出する。 Next, the operation will be described.
The display control apparatus 101 outputs and displays content on the display 102. The camera 103 captures a scene facing the display 102 and supplies the captured data to the viewer data generation unit 104. The viewer data generation unit 104 extracts a region of a person who seems to be a viewer from the received imaging data, generates viewer data for recognizing the viewer, and supplies the viewer data to the viewer measurement unit 105. The viewer measuring unit 105 counts the number of viewers based on the viewer data, receives display content information from the display control apparatus 101, and calculates the number of viewers of the current display content.

以上のように、この実施の形態１によれば、カメラ１０３がディスプレイ１０２に対向する景色を撮像し、視聴者データ生成部１０４が撮像データから人物領域を抽出して視聴者データを生成し、視聴者測定部１０５が表示コンテンツの情報と視聴者データとから現在の表示コンテンツの視聴者数を算出するようにしたので、視聴者の手を煩わすことなく不特定広範囲における表示コンテンツの視聴者数を算出できる効果が得られる。   As described above, according to the first embodiment, the camera 103 captures a scene facing the display 102, the viewer data generation unit 104 extracts a person area from the captured data, generates viewer data, Since the viewer measurement unit 105 calculates the number of viewers of the current display content from the display content information and viewer data, the number of viewers of the display content in an unspecified wide range without bothering the viewer. The effect that can be calculated is obtained.

実施の形態２．
図２はこの発明の実施の形態２に係る視聴者データ生成部１０４の構成を示すブロック図である。その他の構成は、図１に示した構成と同様とする。図２に示すように、視聴者データ生成部１０４は顔認識部（顔認識手段）２０１を備える。顔認識部２０１は、カメラ１０３から送出される撮像データから人の顔として認識できる領域を顔領域として抽出する。例えば、予め顔テンプレート画像を備え、撮像データの部分領域と順次比較することで顔を抽出してもよい。撮像される顔の大きさは任意であるため、複数の異なる解像度の撮像データを用意して比較することで任意の大きさの顔が抽出できる。また、顔認識部２０１は顔テンプレート画像として正面顔画像を備え、撮像データから抽出される顔領域のうち正面を向いている顔領域のみを抽出するようにすれば、ディスプレイ１０２とは無関係の方向を向いている人は認識せず、ディスプレイ１０２の方向を向いている人のみを認識することができる。 Embodiment 2. FIG.
FIG. 2 is a block diagram showing the configuration of the viewer data generation unit 104 according to Embodiment 2 of the present invention. Other configurations are the same as those shown in FIG. As shown in FIG. 2, the viewer data generation unit 104 includes a face recognition unit (face recognition means) 201. The face recognition unit 201 extracts an area that can be recognized as a human face from the imaging data transmitted from the camera 103 as a face area. For example, a face template image may be provided in advance, and the face may be extracted by sequentially comparing with a partial area of the imaging data. Since the size of the face to be imaged is arbitrary, a face having an arbitrary size can be extracted by preparing and comparing image data having a plurality of different resolutions. Further, if the face recognition unit 201 includes a front face image as a face template image and extracts only the face area facing the front from the face areas extracted from the imaging data, the direction is independent of the display 102. It is possible to recognize only the person who is facing the direction of the display 102 without recognizing the person facing the direction.

以上のように、この実施の形態２によれば、顔認識部２０１が、撮像データから顔領域を抽出し、例えばディスプレイ１０２の方向を向いている人のみを認識できるようにしたので、ディスプレイ１０２の視聴者認識の精度をより高めることができる効果が得られる。   As described above, according to the second embodiment, the face recognition unit 201 extracts the face area from the imaging data, and can recognize only the person facing the direction of the display 102, for example. The effect of further improving the accuracy of viewer recognition can be obtained.

実施の形態３．
図３はこの発明の実施の形態３に係る視聴者データ生成部１０４の構成を示すブロック図である。その他の構成は、図１に示した構成と同様とする。図３に示すように、視聴者データ生成部１０４は、顔認識部２０１、顔位置算出部３０２、顔方向算出部３０３、注視座標算出部３０４を備える。 Embodiment 3 FIG.
FIG. 3 is a block diagram showing a configuration of the viewer data generation unit 104 according to Embodiment 3 of the present invention. Other configurations are the same as those shown in FIG. As shown in FIG. 3, the viewer data generation unit 104 includes a face recognition unit 201, a face position calculation unit 302, a face direction calculation unit 303, and a gaze coordinate calculation unit 304.

顔認識部２０１は、実施の形態２に示したように撮像データから顔領域を抽出する。またこのとき顔領域のサイズも抽出する。顔位置算出部３０２は、顔認識部２０１により抽出された顔認識領域のサイズからディスプレイ１０２に対面する視聴者の位置を算出する。人の顔の大きさは個人差はあるがほぼ一定であるため、およその位置を推定できる。つまり、顔認識領域のサイズが小さければその視聴者は遠くにおり、大きければ近くにいると判断できる。顔方向算出部３０３は抽出された顔領域から顔の向きを算出し、これにより顔がディスプレイ１０２のどの領域を見ているかを推定する。例えば、予め種々の向きの顔テンプレート画像を備えて顔の向きを照合してもよいし、目鼻位置のずれを検出して顔の向きを算出してもよい。続いて、注視座標算出部３０４は、上記算出された顔位置と顔方向から注視方向を算出して、これを元にディスプレイ１０２における注視座標を推定する。   The face recognizing unit 201 extracts a face area from the imaging data as described in the second embodiment. At this time, the size of the face area is also extracted. The face position calculation unit 302 calculates the position of the viewer facing the display 102 from the size of the face recognition area extracted by the face recognition unit 201. Since the size of a person's face is almost constant, although there are individual differences, an approximate position can be estimated. That is, if the size of the face recognition area is small, it can be determined that the viewer is far away, and if it is large, the viewer is near. The face direction calculation unit 303 calculates the face direction from the extracted face area, and thereby estimates which area of the display 102 the face is looking at. For example, face orientation images having various orientations may be provided in advance, and the orientation of the face may be collated, or the orientation of the face may be calculated by detecting an eye-nose position shift. Subsequently, the gaze coordinate calculation unit 304 calculates a gaze direction from the calculated face position and face direction, and estimates a gaze coordinate on the display 102 based on the gaze direction.

視聴者データ生成部１０４は、このように算出した顔位置、顔方向および注視座標を視聴者測定部１０５に送出する。視聴者測定部１０５は、注視座標に基づいてディスプレイ１０２を向いている視聴者数を算出する。   The viewer data generation unit 104 sends the calculated face position, face direction, and gaze coordinate to the viewer measurement unit 105. The viewer measuring unit 105 calculates the number of viewers facing the display 102 based on the gaze coordinates.

以上のように、この実施の形態３によれば、視聴者データ生成部１０４が顔位置と顔方向から注視方向を算出してディスプレイ１０２における注視座標を推定し、ディスプレイ１０２とは無関係の方向を向いている人物を視聴者と認識しないようにしたので、視聴者認識の精度をより高めることができるという効果が得られる。   As described above, according to the third embodiment, the viewer data generation unit 104 calculates the gaze direction from the face position and the face direction, estimates the gaze coordinate on the display 102, and sets the direction unrelated to the display 102. Since the person who is facing is not recognized as a viewer, the effect of improving the accuracy of viewer recognition can be obtained.

実施の形態４．
図４はこの発明の実施の形態４に係る視聴者データ生成部１０４の構成を示すブロック図である。その他の構成は、図１に示した構成と同様とする。図４に示すように、視聴者データ生成部１０４は、図３に示した構成にさらに視線算出部４０２、注視座標算出部４０３を備える。 Embodiment 4 FIG.
FIG. 4 is a block diagram showing a configuration of the viewer data generation unit 104 according to Embodiment 4 of the present invention. Other configurations are the same as those shown in FIG. As shown in FIG. 4, the viewer data generation unit 104 further includes a line-of-sight calculation unit 402 and a gaze coordinate calculation unit 403 in the configuration shown in FIG.

視線算出部４０２は、視線方向を算出する手段であり、例えば顔認識において黒目の動きを抽出する特徴抽出動作により求めることができ、顔位置算出部３０２、顔方向算出部３０３による顔位置、顔方向と合わせて視線方向を算出する。注視座標算出部４０３は、算出された視線方向からディスプレイ１０２における注視座標を求める。視聴者データ生成部１０４は、このように算出した顔位置、顔方向および注視座標を視聴者測定部１０５に送出する。視聴者測定部１０５は、注視座標に基づいてディスプレイ１０２を向いている視聴者数を算出する。   The line-of-sight calculation unit 402 is a means for calculating the line-of-sight direction, and can be obtained, for example, by a feature extraction operation that extracts the movement of the black eye in face recognition. The face position calculation unit 302 and the face direction calculation unit 303 The line-of-sight direction is calculated together with the direction. The gaze coordinate calculation unit 403 obtains gaze coordinates on the display 102 from the calculated gaze direction. The viewer data generation unit 104 sends the calculated face position, face direction, and gaze coordinate to the viewer measurement unit 105. The viewer measuring unit 105 calculates the number of viewers facing the display 102 based on the gaze coordinates.

以上のように、この実施の形態４によれば、視聴者データ生成部１０４が顔認識において黒目の動きを抽出する等により注視方向を算出してディスプレイ１０２における注視座標を推定し、ディスプレイ１０２とは無関係の方向を向いている人物を視聴者と認識しないようにしたので、視聴者認識の精度をさらに高めることができるという効果が得られる。   As described above, according to the fourth embodiment, the viewer data generation unit 104 calculates the gaze direction by extracting the movement of the black eye in face recognition, etc., and estimates the gaze coordinates on the display 102. Since a person who is facing an unrelated direction is not recognized as a viewer, the viewer recognition accuracy can be further improved.

実施の形態５．
図５はこの発明の実施の形態５による視聴者情報測定装置の構成を示すブロック図である。図に示すように、視聴者情報測定装置は、表示制御装置１０１、マルチディスプレイ５０１、カメラ１０３ａ〜１０３ｃ、視聴者データ生成部１０４ａ〜１０４ｃ、視聴者測定部１０５を備える。この実施の形態５では、複数のカメラで視聴者を測定する場合について説明する。 Embodiment 5. FIG.
FIG. 5 is a block diagram showing a configuration of a viewer information measuring apparatus according to Embodiment 5 of the present invention. As shown in the figure, the viewer information measuring device includes a display control device 101, a multi display 501, cameras 103a to 103c, viewer data generating units 104a to 104c, and a viewer measuring unit 105. In the fifth embodiment, a case where viewers are measured with a plurality of cameras will be described.

表示制御装置１０１は複数のディスプレイを並べたマルチディスプレイ５０１に表示するコンテンツデータと、ある時間にどのコンテンツを表示するかを示す表示コンテンツ情報とを保持し、表示コンテンツ情報に合わせてマルチディスプレイ５０１にコンテンツを表示させる。カメラ１０３ａ〜１０３ｃは、マルチディスプレイ５０１周辺を撮像するカメラであり、それぞれマルチディスプレイ５０１に対向する景色を撮像できる向きで設置される。各カメラは異なる視野を持つような位置および向きで設置されており、それぞれマルチディスプレイ５０１に対向する景色を撮像し、撮像データを生成する。   The display control apparatus 101 holds content data to be displayed on the multi-display 501 in which a plurality of displays are arranged, and display content information indicating which content is displayed at a certain time, and displays the multi-display 501 in accordance with the display content information. Display content. The cameras 103 a to 103 c are cameras that capture the periphery of the multi-display 501, and are installed in directions that can capture a scene facing the multi-display 501. Each camera is installed in such a position and orientation as to have a different field of view, and images a scene facing the multi-display 501 and generates imaging data.

視聴者データ生成部１０４ａ〜１０４ｃは、それぞれカメラ１０３ａ〜１０３ｃの撮像データを受け取り、それぞれに含まれる人物画像を抽出して視聴者データを生成する。視聴者測定部１０５は、同一人物判定部５０２、視聴者数算出部５０３を備え、コンテンツに関する視聴者測定データを生成する。同一人物判定部５０２は、視聴者データ生成部１０４ａ〜ｃから視聴者データを受け取り、抽出された人物画像の中に同一人物があるかどうかを判定する。視聴者数算出部５０３は、同一人物判定部５０２からの判定結果と、表示制御装置１０１からの表示コンテンツ情報に基づいて、視聴者数を算出する。   The viewer data generation units 104a to 104c receive the imaging data of the cameras 103a to 103c, respectively, extract the person images included therein, and generate viewer data. The viewer measurement unit 105 includes an identical person determination unit 502 and a viewer number calculation unit 503, and generates viewer measurement data related to content. The same person determination unit 502 receives viewer data from the viewer data generation units 104a to 104c, and determines whether or not the same person exists in the extracted person image. The viewer number calculation unit 503 calculates the number of viewers based on the determination result from the same person determination unit 502 and the display content information from the display control apparatus 101.

次に動作について説明する。
カメラ１０３ａはマルチディスプレイ５０１に対向する景色を撮像し、撮像データを生成して視聴者データ生成部１０４ａに供給する。視聴者データ生成部１０４ａはカメラ１０３ａの視野内で撮像された視聴者の視聴者データを抽出する。同様に、視聴者データ生成部１０４ｂ，１０４ｃは、それぞれカメラ１０３ｂ，１０３ｃの撮像データから視聴者データを抽出する。視聴者データ生成部１０４ａ〜１０４ｃは、それぞれ視聴者データを同一人物判定部５０２に送出する。 Next, the operation will be described.
The camera 103a captures a scene facing the multi-display 501, generates captured image data, and supplies it to the viewer data generation unit 104a. The viewer data generation unit 104a extracts viewer data of viewers captured within the field of view of the camera 103a. Similarly, the viewer data generation units 104b and 104c extract viewer data from the imaging data of the cameras 103b and 103c, respectively. The viewer data generation units 104 a to 104 c each transmit viewer data to the same person determination unit 502.

同一人物判定部５０２は、視聴者データ生成部１０４ａ〜１０４ｃから送出された視聴者データから、同一人物が複数回カウントされてしまうといったデータの重複が発生するのを防ぐために同一人物判定を行う。例えば、視聴者データ生成部１０４ａ〜１０４ｃが図２に示した顔認識部２０１を備える場合、視聴者データ生成部１０４ａ〜１０４ｃはそれぞれ人物画像から顔領域を抽出して視聴者データを生成し、同一人物判定部５０２は、抽出された複数の顔領域を比較してその特徴量から類似の判定を行う。視聴者数算出部５０３は、同一人物判定部５０２の判定結果に基づいて、類似していると判定された視聴者データは１つとしてカウントする。また、視聴者数算出部５０３は表示制御装置１０１から表示コンテンツ情報を受け取り、カウントした視聴者と合わせて時間ごと、およびコンテンツごとの視聴率を求める。   The same person determination unit 502 performs the same person determination to prevent duplication of data such that the same person is counted a plurality of times from the viewer data transmitted from the viewer data generation units 104a to 104c. For example, when the viewer data generation units 104a to 104c include the face recognition unit 201 shown in FIG. 2, the viewer data generation units 104a to 104c each extract a face area from a person image to generate viewer data, The same person determination unit 502 compares a plurality of extracted face regions and performs similar determination based on the feature amount. The viewer number calculation unit 503 counts as one viewer data determined to be similar based on the determination result of the same person determination unit 502. In addition, the viewer number calculation unit 503 receives display content information from the display control apparatus 101, and obtains the audience rating for each time and each content together with the counted viewers.

以上のように、この実施の形態５によれば、複数のカメラを用いてマルチディスプレイ５０１に対向する景色を撮影するようにしたので、広角かつ広範囲の視聴者を捉えることができる効果が得られる。このとき、複数のカメラの撮像領域が重なり合う場合に同一人物判定部５０２が同じ人物を抽出しないようにしたので、同一人物が複数回カウントされることを防ぐことができる。   As described above, according to the fifth embodiment, since a scene facing the multi-display 501 is captured using a plurality of cameras, an effect of capturing a wide-angle and wide-range audience can be obtained. . At this time, since the same person determination unit 502 does not extract the same person when the imaging areas of a plurality of cameras overlap, it is possible to prevent the same person from being counted a plurality of times.

なお、視聴率を測定するディスプレイは１つであってもよい。また、扇形、円柱形など、平面以外の形状に並べられたマルチディスプレイであってもよく、カメラおよび視聴者データ生成部はいくつであってもよい。カメラの数を増加させることでより広範囲に、最大３６０度の視聴者を捉えることができる。   There may be one display for measuring the audience rating. Further, it may be a multi-display arranged in a shape other than a plane such as a sector shape or a cylindrical shape, and the number of cameras and viewer data generation units may be any number. By increasing the number of cameras, viewers of up to 360 degrees can be captured in a wider range.

実施の形態６．
図６はこの発明の実施の形態６による視聴者測定表示装置の構成を示すブロック図である。図１、図３、図５と共通する構成要素には同一符号を付し、その説明を省略する。この実施の形態６では、マルチディスプレイに複数種類のコンテンツを表示する際の視聴者測定について説明する。 Embodiment 6 FIG.
FIG. 6 is a block diagram showing a configuration of a viewer measurement display device according to Embodiment 6 of the present invention. Constituent elements common to those in FIGS. 1, 3, and 5 are denoted by the same reference numerals, and description thereof is omitted. In the sixth embodiment, viewer measurement when displaying a plurality of types of content on a multi-display will be described.

図６に示すように、マルチディスプレイ５０１は、表示制御装置１０１からの指示に応じてコンテンツ１とコンテンツ２の２種類のコンテンツを表示しているとする。表示制御装置１０１は、それぞれのコンテンツの表示領域座標を表示コンテンツ情報として保持している。マルチディスプレイ５０１には対向する景色を撮像するカメラ１０３が設置される。カメラ１０３からの撮像データは視聴者データ生成部１０４に送られる。視聴者データ生成部１０４は、顔認識部２０１で顔領域を抽出し、顔位置算出部３０２で顔の位置を、顔方向算出部３０３で顔の向きをそれぞれ算出し、算出結果に基づいて注視座標算出部３０４で注視座標を算出する。   As shown in FIG. 6, it is assumed that the multi-display 501 displays two types of content, content 1 and content 2, in response to an instruction from the display control apparatus 101. The display control apparatus 101 holds the display area coordinates of each content as display content information. The multi display 501 is provided with a camera 103 that captures an opposing landscape. Image data from the camera 103 is sent to the viewer data generation unit 104. The viewer data generation unit 104 extracts the face area by the face recognition unit 201, calculates the face position by the face position calculation unit 302, and calculates the face direction by the face direction calculation unit 303, and gazes based on the calculation result. The coordinate calculation unit 304 calculates gaze coordinates.

注視座標算出部３０４は算出した注視座標を視聴者データとして視聴者測定部１０５に送出する。視聴者測定部１０５は表示制御装置１０１から現在表示されているコンテンツの座標データを表示コンテンツ情報として受け取り、これと視聴者データとに基づいてコンテンツごとの視聴者数を測定する。   The gaze coordinate calculation unit 304 sends the calculated gaze coordinate to the viewer measurement unit 105 as viewer data. The viewer measuring unit 105 receives the coordinate data of the currently displayed content from the display control apparatus 101 as display content information, and measures the number of viewers for each content based on this and the viewer data.

次に動作について説明する。
カメラ１０３は、マルチディスプレイ５０１を視聴している人物１および人物２を捉え、撮像データを生成したとする。顔認識部２０１は、顔テンプレート画像等を用いて撮像データから顔１、顔２を抽出する。抽出した顔領域を図６に示す。顔位置算出部３０２は、抽出された顔領域サイズに基づいてカメラ１０３からの顔１、顔２の距離を算出する。顔２は顔１よりも小さいので、人物２は人物１よりもカメラ１０３から離れた場所に位置することがわかる。このように、顔位置算出部３０２では、顔領域サイズからカメラ１０３からの距離と方角が算出でき、顔の位置が特定できる。 Next, the operation will be described.
Assume that the camera 103 captures the person 1 and the person 2 who are viewing the multi-display 501 and generates imaging data. The face recognition unit 201 extracts face 1 and face 2 from the imaging data using a face template image or the like. The extracted face area is shown in FIG. The face position calculation unit 302 calculates the distance between the face 1 and the face 2 from the camera 103 based on the extracted face area size. Since face 2 is smaller than face 1, it can be seen that person 2 is located farther from camera 103 than person 1. In this way, the face position calculation unit 302 can calculate the distance and direction from the camera 103 from the face area size, and can specify the face position.

続いて、顔方向算出部３０３は顔テンプレート画像との照合により顔の向きを求める。続いて、注視座標算出部３０４は、抽出された顔の位置と向きのデータから視聴者の注視方向を特定し、注視方向と交差するマルチディスプレイ５０１上の座標を求める。視聴者測定部１０５は、注視座標を視聴者データ生成部１０４から視聴者データとして受け取り、さらに表示コンテンツの表示領域座標を表示制御装置１０１から受け取る。視聴者測定部１０５は、これらを元に、視聴者の注視座標がどのコンテンツに含まれるかを算出し、各視聴者が視聴するコンテンツを判別する。例えば、図６では人物１はコンテンツ１を視聴し、人物２はコンテンツ２を視聴していると判別する。   Subsequently, the face direction calculation unit 303 obtains the face direction by matching with the face template image. Subsequently, the gaze coordinate calculation unit 304 identifies the viewer's gaze direction from the extracted face position and orientation data, and obtains coordinates on the multi-display 501 that intersect the gaze direction. The viewer measurement unit 105 receives gaze coordinates as viewer data from the viewer data generation unit 104, and further receives display area coordinates of display content from the display control apparatus 101. Based on these, the viewer measurement unit 105 calculates which content includes the viewer's gaze coordinates, and determines the content that each viewer views. For example, in FIG. 6, it is determined that the person 1 is viewing the content 1 and the person 2 is viewing the content 2.

以上のように、この実施の形態６によれば、視聴者データ生成部１０４が視聴者の顔の位置、方向から注視座標を算出し、視聴者測定部１０５が表示コンテンツ情報に基づいて人物が視聴しているコンテンツを判別するので、コンテンツごとの視聴者数を計測できるという効果が得られる。このとき、カメラを複数台設置すれば広範囲の視聴者を捉えることができるので、多方向から撮影された視聴者は、顔の向きを算出する精度を高めることができる。
なお、図６の視聴者データ生成部１０４は図４に示した構成であってもよい。 As described above, according to the sixth embodiment, the viewer data generation unit 104 calculates the gaze coordinates from the position and direction of the viewer's face, and the viewer measurement unit 105 selects the person based on the display content information. Since the content being viewed is determined, the effect that the number of viewers for each content can be measured is obtained. At this time, if a plurality of cameras are installed, a wide range of viewers can be captured. Therefore, viewers photographed from multiple directions can improve the accuracy of calculating the face orientation.
Note that the viewer data generation unit 104 in FIG. 6 may have the configuration shown in FIG.

実施の形態７．
図７はこの発明の実施の形態７に係る視聴者測定部１０５の構成を示すブロック図である。その他の構成は、図６に示した構成と同様とする。図７に示すように、視聴者測定部１０５は、視聴者数算出部５０３、母集団算出部７０１、視聴率算出部７０２を備える。 Embodiment 7 FIG.
FIG. 7 is a block diagram showing the configuration of the viewer measurement unit 105 according to Embodiment 7 of the present invention. Other configurations are the same as those shown in FIG. As shown in FIG. 7, the viewer measurement unit 105 includes a viewer number calculation unit 503, a population calculation unit 701, and an audience rating calculation unit 702.

視聴率は、ある母集団に対する視聴者の割合を示す値である。視聴者数算出部５０３は、視聴者データ生成部１０４から視聴者データを受け取ると共に表示制御装置１０１から現在表示されているコンテンツの座標データを受け取り、コンテンツごとの視聴者数を測定する。母集団算出部７０１は、視聴者データ生成部１０４からの視聴者データから母集団を算出する。視聴率算出部７０２は、視聴者数算出部５０３から視聴者数を、母集団算出部７０１から母集団を受け取り、母集団に対する視聴者数の割合、すなわち視聴率を算出する。   The audience rating is a value indicating the ratio of viewers to a certain population. The viewer number calculation unit 503 receives the viewer data from the viewer data generation unit 104 and receives the coordinate data of the currently displayed content from the display control device 101, and measures the number of viewers for each content. The population calculation unit 701 calculates a population from the viewer data from the viewer data generation unit 104. The audience rating calculation unit 702 receives the number of viewers from the viewer number calculation unit 503 and the population from the population calculation unit 701, and calculates the ratio of the number of viewers to the population, that is, the audience rating.

ここで、母集団とは、例えば視聴者データ生成部１０４において顔認識領域画像が抽出された人物すべての数を示し、視聴者とは、注視座標算出部３０４において算出された注視座標がコンテンツの表示領域内にある人物のみを示す。また、母集団は、例えばマルチディスプレイ５０１が設置された空間の天井付近に設置したカメラで広範囲の人物をカウントできる人物検知装置などで捉えられた人物の数とし、視聴者は、カメラ１０３により捉えられたマルチディスプレイ５０１の正面にいる人物の数としてもよい。   Here, the population indicates the number of all persons whose face recognition area images have been extracted by the viewer data generation unit 104, for example. The viewer is the gaze coordinate calculated by the gaze coordinate calculation unit 304. Only the person in the display area is shown. The population is the number of persons captured by a person detection device that can count a wide range of persons with a camera installed near the ceiling of the space where the multi-display 501 is installed, for example. The number of persons in front of the displayed multi-display 501 may be used.

以上のように、この実施の形態７によれば、視聴率算出部７０２が、視聴者数と母集団とから視聴率を算出するようにしたので、表示されたコンテンツの視聴者数のみでなく視聴率も取得できる効果が得られる。   As described above, according to the seventh embodiment, since the audience rating calculation unit 702 calculates the audience rating from the number of viewers and the population, not only the number of viewers of the displayed content but also the audience rating is calculated. The effect that audience rating can also be acquired is acquired.

実施の形態８．
図８はこの発明の実施の形態８による視聴者情報測定装置の構成を示すブロック図である。図において、図５と共通する構成要素には同一符号を付し、その説明を省略する。この実施の形態８では、視聴者に関する情報に基づいてコンテンツを変更させることを説明する。 Embodiment 8 FIG.
FIG. 8 is a block diagram showing a configuration of a viewer information measuring apparatus according to Embodiment 8 of the present invention. In the figure, components common to those in FIG. In the eighth embodiment, it will be described that the content is changed based on information about the viewer.

図８に示すように、表示制御装置１０１は、コンテンツ生成部８０１、配信部８０２、表示指示部８０３ａ〜８０３ｈを備える。この構成は、図５，６と同様の構成であるが、これらの図では省略したものである。コンテンツ生成部８０１は、表示制御装置１０１内に格納されるコンテンツデータを読み出す、あるいは新たに作成する。配信部８０２は、コンテンツ生成部８０１からコンテンツデータを受け取り、表示したいマルチディスプレイの座標に応じて表示指示部８０３ａ〜８０３ｈの１または複数に配信する。表示指示部８０３ａ〜８０３ｈは、マルチディスプレイ５０１のうち対応するディスプレイに接続し、それぞれに対応するコンテンツデータを表示させる。   As illustrated in FIG. 8, the display control apparatus 101 includes a content generation unit 801, a distribution unit 802, and display instruction units 803a to 803h. This configuration is the same as that shown in FIGS. 5 and 6, but is omitted in these drawings. The content generation unit 801 reads out or newly creates content data stored in the display control apparatus 101. The distribution unit 802 receives content data from the content generation unit 801 and distributes it to one or more of the display instruction units 803a to 803h according to the coordinates of the multi-display to be displayed. The display instruction units 803a to 803h are connected to a corresponding display among the multi-displays 501, and display the corresponding content data.

次に動作について説明する。
視聴者測定部１０５は、視聴者データ生成部１０４ａ〜１０４ｃから視聴者データを受け取ると、表示制御装置１０１からマルチディスプレイ５０１での表示領域座標を含む表示コンテンツ情報を受け取り、現在表示しているコンテンツの各視聴者数を測定して視聴者測定データを生成し、表示制御装置１０１に返信する。例えば、視聴者測定部１０５は視聴者データから、視聴率、視聴者数に関する視聴者測定データ、視聴者の年齢層、性別に関する視聴者測定データ、あるいは注視時間に関する視聴者測定データ等を生成してもよい。コンテンツ生成部８０１は、視聴者測定データを受け取り、この内容に基づいてマルチディスプレイ５０１に表示させるコンテンツを変更または変化させる。 Next, the operation will be described.
When the viewer measurement unit 105 receives the viewer data from the viewer data generation units 104a to 104c, the viewer measurement unit 105 receives display content information including display area coordinates on the multi-display 501 from the display control device 101, and the currently displayed content. The number of viewers is measured to generate viewer measurement data, which is sent back to the display control apparatus 101. For example, the viewer measurement unit 105 generates viewer measurement data related to the audience rating, the number of viewers, viewer measurement data related to the viewer's age group and gender, or viewer measurement data related to the gaze time from the viewer data. May be. The content generation unit 801 receives the viewer measurement data, and changes or changes the content to be displayed on the multi-display 501 based on the content.

ここで、コンテンツを変更または変化させるとは、例えばある広告から別の広告に切り替える、静止画から動画に切り替える、３次元グラフィックスで表示されたキャラクタ・オブジェクトを動かしたりイベントを発生させたりする、表示領域を変更したり同時に表示するコンテンツ数を増減したりする、等である。ディスプレイが、例えば図８のようにマルチディスプレイを使用する場合は、拡大器を用いてコンテンツを拡大して表示させてもよい。すなわち、例えば１ディスプレイで表示していた画像を複数ディスプレイで表示するようにしてもよい。あるいは、コンテンツ生成部８０１は配信部８０２に描画命令を送信してもよい。この場合、配信部８０２は各ディスプレイに接続された表示指示部８０３ａ〜８０３ｈに描画命令を配信する。表示指示部８０３ａ〜８０３ｈは、各ディスプレイ領域内に対応する画像を表示する。   Here, changing or changing content means, for example, switching from one advertisement to another advertisement, switching from a still image to a moving image, moving a character object displayed in 3D graphics, or generating an event, For example, changing the display area or increasing / decreasing the number of contents to be displayed simultaneously. For example, when the display uses a multi-display as shown in FIG. 8, the content may be enlarged and displayed using an enlarger. That is, for example, an image displayed on one display may be displayed on a plurality of displays. Alternatively, the content generation unit 801 may transmit a drawing command to the distribution unit 802. In this case, the distribution unit 802 distributes the drawing command to the display instruction units 803a to 803h connected to each display. The display instruction units 803a to 803h display corresponding images in each display area.

例えば、視聴者測定部１０５が視聴率、視聴者数に関する視聴者測定データを生成した場合、コンテンツ生成部８０１は視聴率、視聴者数に応じて表示させるコンテンツを変更または変化させてもよい。例えば視聴者測定データに含まれる視聴率が低いと判定される場合は別のコンテンツに切り替えるようにしてもよい。   For example, when the viewer measurement unit 105 generates viewer measurement data regarding the audience rating and the number of viewers, the content generation unit 801 may change or change the content to be displayed according to the audience rating and the number of viewers. For example, when it is determined that the audience rating included in the viewer measurement data is low, the content may be switched to another content.

また、視聴者測定部１０５が視聴者の年齢層・性別に関する視聴者測定データを生成した場合、コンテンツ生成部８０１は年齢層、性別に応じて広告などのコンテンツを変化および変更させてもよい。例えば、男性より女性の視聴者の比率が多い場合には化粧品等の広告を流し、女性の視聴者宣伝効果の期待できる人物に向けて表示するようにしてもよい。   Further, when the viewer measurement unit 105 generates viewer measurement data regarding the viewer's age group and gender, the content generation unit 801 may change and change content such as advertisements according to the age group and gender. For example, when the ratio of female viewers is higher than that of males, advertisements such as cosmetics may be advertised and displayed toward a person who can expect the female viewers to promote the viewers.

また、視聴者測定部１０５が注視時間に関する視聴者測定データを生成した場合、コンテンツ生成部８０１は注視時間に応じてコンテンツを変化および変更させてもよい。例えば、注視時間が長い視聴者はそのコンテンツに興味を持っていると考えられるので、注視時間が長いときはコンテンツ生成部８０１は詳しい情報を生成して表示させてもよいし、表示サイズが拡大するように対応する表示指示部８０３ａ〜８０３ｈに表示させてもよい。さらに、注視時間と年齢層などの判別とを組み合わせて、お年寄りがマルチディスプレイ５０１上のある一部のコンテンツをじっと眺めていることが認識されたら、その表示領域を拡大してサイズを大きくして見やすくする、ということも可能である。   In addition, when the viewer measurement unit 105 generates viewer measurement data regarding the gaze time, the content generation unit 801 may change and change the content according to the gaze time. For example, since it is considered that a viewer with a long gaze time is interested in the content, the content generation unit 801 may generate and display detailed information when the gaze time is long, and the display size is increased. You may make it display on the corresponding display instruction | indication part 803a-803h. Furthermore, when it is recognized that the elderly are gazing at some content on the multi-display 501 by combining gaze time and age group discrimination, the display area is enlarged and the size is increased. It is also possible to make it easier to see.

以上のように、視聴者測定データに基づいて表示するコンテンツを変化または変更するようにしたので、視聴者の状態に応じた多種多様なコンテンツ表示をすることができ、より多くの視聴者の獲得が期待できるという効果が得られる。例えば、全国規模で放送されるようなテレビ番組では視聴者情報を即座にフィードバックさせ視聴者に合わせてコンテンツを切り替えることは難しいが、本発明による視聴者情報測定装置では、広告コンテンツ等は、広告主の意図した視聴者に広告を流すことができるので、効率的な表示や広告主の意図するターゲットに向けて広告を発信することができるという効果が得られる。   As described above, the content to be displayed is changed or changed based on the viewer measurement data, so that various types of content can be displayed according to the viewer's condition, and more viewers can be acquired. Can be expected. For example, in a television program that is broadcast nationwide, it is difficult to immediately feed back viewer information and switch the content according to the viewer. However, in the viewer information measuring device according to the present invention, the advertising content is an advertisement. Since the advertisement can be flowed to the viewer intended by the main, it is possible to obtain an effect that the advertisement can be transmitted toward the target intended by the advertiser and the efficient display.

この発明の実施の形態１による視聴者情報測定装置の構成を示すブロック図である。It is a block diagram which shows the structure of the viewer information measuring apparatus by Embodiment 1 of this invention. この発明の実施の形態２に係る視聴者データ生成部の構成を示すブロック図である。It is a block diagram which shows the structure of the viewer data generation part which concerns on Embodiment 2 of this invention. この発明の実施の形態３に係る視聴者データ生成部の構成を示すブロック図である。It is a block diagram which shows the structure of the viewer data generation part which concerns on Embodiment 3 of this invention. この発明の実施の形態４に係る視聴者データ生成部の構成を示すブロック図である。It is a block diagram which shows the structure of the viewer data generation part which concerns on Embodiment 4 of this invention. この発明の実施の形態５による視聴者情報測定装置の構成を示すブロック図である。It is a block diagram which shows the structure of the viewer information measuring apparatus by Embodiment 5 of this invention. この発明の実施の形態６による視聴者測定表示装置の構成を示すブロック図である。It is a block diagram which shows the structure of the viewer measurement display apparatus by Embodiment 6 of this invention. この発明の実施の形態７に係る視聴者測定部の構成を示すブロック図である。It is a block diagram which shows the structure of the viewer measurement part which concerns on Embodiment 7 of this invention. この発明の実施の形態８による視聴者情報測定装置の構成を示すブロック図である。It is a block diagram which shows the structure of the viewer information measuring apparatus by Embodiment 8 of this invention.

符号の説明Explanation of symbols

１０１ 表示制御装置（表示制御手段）、１０２ ディスプレイ、１０３，１０３ａ〜１０３ｃ カメラ（撮像手段）、１０４，１０４ａ〜１０４ｃ 視聴者データ生成部（視聴者データ生成手段）、１０５ 視聴者測定部（視聴者測定手段）、２０１ 顔認識部（顔認識手段）、３０２ 顔位置算出部（顔位置算出手段）、３０３ 顔方向算出部（顔方向算出手段）、３０４，４０３ 注視座標算出部（注視座標算出手段）、４０２ 視線算出部（視線算出手段）、５０１ マルチディスプレイ、５０２ 同一人物判定部（同一人物判定手段）、５０３ 視聴者数算出部、７０１ 母集団算出部、７０２ 視聴率算出部、８０１ コンテンツ生成部、８０２ 配信部、８０３ａ〜８０３ｈ 表示指示部。   DESCRIPTION OF SYMBOLS 101 Display control apparatus (display control means), 102 Display, 103,103a-103c Camera (imaging means), 104,104a-104c Viewer data generation part (viewer data generation means), 105 Viewer measurement part (viewer) Measuring unit), 201 face recognition unit (face recognition unit), 302 face position calculation unit (face position calculation unit), 303 face direction calculation unit (face direction calculation unit), 304,403 gaze coordinate calculation unit (gaze coordinate calculation unit) ) 402 Gaze calculation unit (line of sight calculation unit), 501 Multi-display, 502 Same person determination unit (Same person determination unit), 503 Number of viewers calculation unit, 701 Population calculation unit, 702 Audience rate calculation unit, 801 Content generation Part, 802 distribution part, 803a-803h display instruction part.

Claims (7)

ディスプレイへのコンテンツ表示を制御する表示制御手段と、
前記ディスプレイに対向する景色を撮像する撮像手段と、
前記撮像手段が撮像して生成した撮像データから前記ディスプレイの視聴者を抽出し、各視聴者を認識するための視聴者データを生成する視聴者データ生成手段と、
前記視聴者データ生成手段が生成した視聴者データに基づいて、前記ディスプレイに表示したコンテンツを視聴する視聴者数を測定する視聴者測定手段とを備えた視聴者情報測定装置。 Display control means for controlling content display on the display;
Imaging means for imaging a landscape facing the display;
Viewer data generating means for extracting viewers of the display from imaging data generated by imaging by the imaging means and generating viewer data for recognizing each viewer;
A viewer information measuring device comprising viewer measuring means for measuring the number of viewers viewing the content displayed on the display based on the viewer data generated by the viewer data generating means. 視聴者データ生成手段は、撮像手段が生成した撮像データから、ディスプレイの視聴者の顔として認識される顔領域を抽出する顔認識手段を備え、当該顔認識手段により抽出された顔領域に基づいて視聴者データを生成することを特徴とする請求項１記載の視聴者情報測定装置。   The viewer data generation means includes face recognition means for extracting a face area recognized as a viewer's face on the display from the image data generated by the image pickup means, and based on the face area extracted by the face recognition means. The viewer information measuring apparatus according to claim 1, wherein viewer data is generated. 視聴者データ生成手段は、顔認識手段により抽出された顔領域から、撮像データにおける視聴者の顔の位置を算出する顔位置算出手段と、
前記顔領域から、視聴者の顔の向きを算出する顔方向算出手段と、
前記算出された顔の位置と向きに基づいて視聴者のディスプレイに対する注視座標を算出する注視座標算出手段とを備え、
前記算出された注視座標に基づいて視聴者データを生成することを特徴とする請求項２記載の視聴者情報測定装置。 The viewer data generating means includes a face position calculating means for calculating the position of the viewer's face in the imaging data from the face area extracted by the face recognition means;
Face direction calculating means for calculating the orientation of the viewer's face from the face region;
Gaze coordinate calculation means for calculating gaze coordinates for the viewer's display based on the calculated face position and orientation;
3. The viewer information measuring apparatus according to claim 2, wherein viewer data is generated based on the calculated gaze coordinates. 視聴者の顔の位置と向きに基づいて視聴者の視線方向を算出する視線算出手段を備え、
注視座標算出手段は、前記算出された視線方向から注視座標を算出することを特徴とする請求項３記載の視聴者情報測定装置。 Gaze calculation means for calculating the gaze direction of the viewer based on the position and orientation of the face of the viewer,
4. The viewer information measuring apparatus according to claim 3, wherein the gaze coordinate calculating means calculates a gaze coordinate from the calculated gaze direction. 視聴者測定手段は、視聴者データ生成手段が生成した視聴者データから、同一人物か否かを判別し、重複なく視聴者数をカウントする同一人物判定手段を備えたことを特徴とする請求項１から請求項４のうちのいずれか１項記載の視聴者情報測定装置。   The viewer measuring means comprises the same person determining means for determining whether or not the viewer is the same person from the viewer data generated by the viewer data generating means and counting the number of viewers without duplication. The viewer information measuring device according to any one of claims 1 to 4. 視聴者測定手段は、測定した視聴者数をもとにディスプレイに表示したコンテンツの視聴率を算出することを特徴とする請求項５記載の視聴者情報測定装置。   6. The viewer information measuring apparatus according to claim 5, wherein the viewer measuring means calculates the audience rating of the content displayed on the display based on the measured number of viewers. 表示制御手段は、視聴者測定手段が測定した視聴者数に応じてディスプレイに表示するコンテンツを変更することを特徴とする請求項５記載の視聴者情報測定装置。   6. The viewer information measuring apparatus according to claim 5, wherein the display control means changes the content to be displayed on the display in accordance with the number of viewers measured by the viewer measuring means.
JP2005008031A 2005-01-14 2005-01-14 Viewer information measuring device Expired - Fee Related JP4932161B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005008031A JP4932161B2 (en) 2005-01-14 2005-01-14 Viewer information measuring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005008031A JP4932161B2 (en) 2005-01-14 2005-01-14 Viewer information measuring device

Publications (2)

Publication Number Publication Date
JP2006197373A true JP2006197373A (en) 2006-07-27
JP4932161B2 JP4932161B2 (en) 2012-05-16

Family

ID=36803071

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005008031A Expired - Fee Related JP4932161B2 (en) 2005-01-14 2005-01-14 Viewer information measuring device

Country Status (1)

Country Link
JP (1) JP4932161B2 (en)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008112401A (en) * 2006-10-31 2008-05-15 Mitsubishi Electric Corp Advertisement effect measurement apparatus
WO2008111164A1 (en) * 2007-03-13 2008-09-18 Mitsubishi Electric Corporation System for providing information in cage of elevator
WO2009052574A1 (en) * 2007-10-25 2009-04-30 Andrew James Mathers Improvements in oudoor advertising metrics
WO2010021240A1 (en) * 2008-08-21 2010-02-25 コニカミノルタホールディングス株式会社 Image display device
JP2010237411A (en) * 2009-03-31 2010-10-21 Denso It Laboratory Inc Advertisement display device, system, method, and program
US20110013811A1 (en) * 2009-07-15 2011-01-20 Mayuko Tanaka Broadcasting receiver
GB2473495A (en) * 2009-09-14 2011-03-16 Guy Edward John Margetson Display using data pulled or requested from remote computer and feedback, e.g. of viewer figures to remote computer.
CN101996536A (en) * 2010-08-24 2011-03-30 北京水晶石数字科技有限公司 Intelligent display method
JP2011517819A (en) * 2008-04-11 2011-06-16 マイクロソフト コーポレーション Customer incentive scheme based on omnipresent intention
JP2011142432A (en) * 2010-01-06 2011-07-21 Sony Corp Information processing apparatus, information processing method, and program
US8107771B2 (en) 2007-03-19 2012-01-31 Sony Corporation Image processing apparatus and image processing method
JP2012123727A (en) * 2010-12-10 2012-06-28 Hitachi Solutions Ltd Advertising effect measurement server, advertising effect measurement device, program and advertising effect measurement system
US8363910B2 (en) 2007-03-08 2013-01-29 Sony Corporation Image processing device, image processing method, and program
CN102970560A (en) * 2011-08-30 2013-03-13 株式会社东芝 Three-dimensional image processing apparatus and three-dimensional image processing method
JP2013059094A (en) * 2012-11-09 2013-03-28 Toshiba Corp Three-dimensional image processing apparatus and three-dimensional image processing method
US8456536B2 (en) 2007-03-26 2013-06-04 Sony Corporation Image processing apparatus, image processing method and program with sightline detection
US8482651B2 (en) 2007-02-15 2013-07-09 Sony Corporation Image processing device and image processing method
JP2013149050A (en) * 2012-01-19 2013-08-01 Fujitsu Ltd Target object determination device, target object determination method and program
US8872929B2 (en) 2007-06-25 2014-10-28 Sony Corporation Picture imaging apparatus and imaging control method
JP2014238733A (en) * 2013-06-07 2014-12-18 シャープ株式会社 Content creation device, content creation method, and content creation program
JP2015015031A (en) * 2014-08-12 2015-01-22 株式会社日立ソリューションズ Advertising effect measurement server, advertising effect measurement system, and program
JP5961736B1 (en) * 2015-08-17 2016-08-02 株式会社コロプラ Method and program for controlling head mounted display system
JP2017041229A (en) * 2016-06-08 2017-02-23 株式会社コロプラ Method and program for controlling head-mounted display system
JP2017040971A (en) * 2015-08-17 2017-02-23 株式会社コロプラ Method and program for controlling head-mounted display system
WO2018235595A1 (en) * 2017-06-20 2018-12-27 日本電気株式会社 Information provision device, information provision method and program
JP7292532B1 (en) * 2022-04-27 2023-06-16 三菱電機株式会社 Control device, control system, control method, and control program
JP7451673B2 (en) 2016-01-06 2024-03-18 テレビジョン・インサイツ、インコーポレイテッド Systems and methods for evaluating audience engagement

Citations (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01121978A (en) * 1987-11-05 1989-05-15 Mitsubishi Electric Corp Objects number detector
JPH01204095A (en) * 1988-02-10 1989-08-16 Ryuichi Inami Electronic advertisement and public relation display device
JPH04348389A (en) * 1991-01-31 1992-12-03 Pioneer Electron Corp Display pattern controller
JPH05316500A (en) * 1992-05-08 1993-11-26 Nippon Telegr & Teleph Corp <Ntt> Spatial scan image pickup display device
JPH07220049A (en) * 1994-02-07 1995-08-18 Hitachi Ltd Picture processing method for erasing shadow, picture monitoring method and device therefor
JPH08185521A (en) * 1994-12-28 1996-07-16 Clarion Co Ltd Mobile object counter
JPH0916488A (en) * 1995-06-28 1997-01-17 Nippon Telegr & Teleph Corp <Ntt> Multi-screen control system using network protocol
JPH09244600A (en) * 1996-03-07 1997-09-19 Fujitsu General Ltd Advertisement display system
JPH09251342A (en) * 1996-03-15 1997-09-22 Toshiba Corp Device and method for estimating closely watched part and device, information display device/method using the same
JPH10187107A (en) * 1996-03-19 1998-07-14 Mac Res:Kk Information display system, display schedule forming device and guide information controller
JPH10312448A (en) * 1997-05-14 1998-11-24 Mitsubishi Electric Corp Number of person detector and elevator control system using the same
JPH11283010A (en) * 1998-03-31 1999-10-15 Mitsubishi Electric Corp Moving body number detector
JP2000347618A (en) * 1999-06-04 2000-12-15 Hitachi Ltd Multidisplay system
JP2001008197A (en) * 1999-06-24 2001-01-12 Nec Corp Device for analyzing human action and recording medium for recording human action analytic program
JP2001166757A (en) * 1999-12-09 2001-06-22 Hitachi Ltd Display system
JP2001256477A (en) * 2000-03-13 2001-09-21 Ecchandesu:Kk Information collecting device
WO2001072053A1 (en) * 2000-03-24 2001-09-27 Norio Watanabe Commercial effect measuring system, commercial system, and appealing power sensor
JP2002183212A (en) * 2000-12-19 2002-06-28 Fuji Xerox Co Ltd System and method for processing electronic document and computer-readable recording medium
JP2002269290A (en) * 2001-03-09 2002-09-20 Sony Corp Advertisement delivery system
JP2003109001A (en) * 2001-09-27 2003-04-11 Ced System Inc System and program for detecting person
JP2003216938A (en) * 2002-01-23 2003-07-31 Sanyo Electric Co Ltd Information collecting device
JP2003259337A (en) * 2002-02-26 2003-09-12 Toshiba Lighting & Technology Corp Monitor camera system
JP2004064368A (en) * 2002-07-29 2004-02-26 Toshiba Corp Electronic apparatus
JP2004282471A (en) * 2003-03-17 2004-10-07 Media Glue Corp Evaluation device for video image content
JP2004289581A (en) * 2003-03-24 2004-10-14 Minolta Co Ltd Monitoring system
JP2005182589A (en) * 2003-12-22 2005-07-07 Avix Inc Public display management system

Patent Citations (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01121978A (en) * 1987-11-05 1989-05-15 Mitsubishi Electric Corp Objects number detector
JPH01204095A (en) * 1988-02-10 1989-08-16 Ryuichi Inami Electronic advertisement and public relation display device
JPH04348389A (en) * 1991-01-31 1992-12-03 Pioneer Electron Corp Display pattern controller
JPH05316500A (en) * 1992-05-08 1993-11-26 Nippon Telegr & Teleph Corp <Ntt> Spatial scan image pickup display device
JPH07220049A (en) * 1994-02-07 1995-08-18 Hitachi Ltd Picture processing method for erasing shadow, picture monitoring method and device therefor
JPH08185521A (en) * 1994-12-28 1996-07-16 Clarion Co Ltd Mobile object counter
JPH0916488A (en) * 1995-06-28 1997-01-17 Nippon Telegr & Teleph Corp <Ntt> Multi-screen control system using network protocol
JPH09244600A (en) * 1996-03-07 1997-09-19 Fujitsu General Ltd Advertisement display system
JPH09251342A (en) * 1996-03-15 1997-09-22 Toshiba Corp Device and method for estimating closely watched part and device, information display device/method using the same
JPH10187107A (en) * 1996-03-19 1998-07-14 Mac Res:Kk Information display system, display schedule forming device and guide information controller
JPH10312448A (en) * 1997-05-14 1998-11-24 Mitsubishi Electric Corp Number of person detector and elevator control system using the same
JPH11283010A (en) * 1998-03-31 1999-10-15 Mitsubishi Electric Corp Moving body number detector
JP2000347618A (en) * 1999-06-04 2000-12-15 Hitachi Ltd Multidisplay system
JP2001008197A (en) * 1999-06-24 2001-01-12 Nec Corp Device for analyzing human action and recording medium for recording human action analytic program
JP2001166757A (en) * 1999-12-09 2001-06-22 Hitachi Ltd Display system
JP2001256477A (en) * 2000-03-13 2001-09-21 Ecchandesu:Kk Information collecting device
WO2001072053A1 (en) * 2000-03-24 2001-09-27 Norio Watanabe Commercial effect measuring system, commercial system, and appealing power sensor
JP2002183212A (en) * 2000-12-19 2002-06-28 Fuji Xerox Co Ltd System and method for processing electronic document and computer-readable recording medium
JP2002269290A (en) * 2001-03-09 2002-09-20 Sony Corp Advertisement delivery system
JP2003109001A (en) * 2001-09-27 2003-04-11 Ced System Inc System and program for detecting person
JP2003216938A (en) * 2002-01-23 2003-07-31 Sanyo Electric Co Ltd Information collecting device
JP2003259337A (en) * 2002-02-26 2003-09-12 Toshiba Lighting & Technology Corp Monitor camera system
JP2004064368A (en) * 2002-07-29 2004-02-26 Toshiba Corp Electronic apparatus
JP2004282471A (en) * 2003-03-17 2004-10-07 Media Glue Corp Evaluation device for video image content
JP2004289581A (en) * 2003-03-24 2004-10-14 Minolta Co Ltd Monitoring system
JP2005182589A (en) * 2003-12-22 2005-07-07 Avix Inc Public display management system

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008112401A (en) * 2006-10-31 2008-05-15 Mitsubishi Electric Corp Advertisement effect measurement apparatus
US8482651B2 (en) 2007-02-15 2013-07-09 Sony Corporation Image processing device and image processing method
US8363910B2 (en) 2007-03-08 2013-01-29 Sony Corporation Image processing device, image processing method, and program
WO2008111164A1 (en) * 2007-03-13 2008-09-18 Mitsubishi Electric Corporation System for providing information in cage of elevator
US8107771B2 (en) 2007-03-19 2012-01-31 Sony Corporation Image processing apparatus and image processing method
US8456536B2 (en) 2007-03-26 2013-06-04 Sony Corporation Image processing apparatus, image processing method and program with sightline detection
US8872929B2 (en) 2007-06-25 2014-10-28 Sony Corporation Picture imaging apparatus and imaging control method
WO2009052574A1 (en) * 2007-10-25 2009-04-30 Andrew James Mathers Improvements in oudoor advertising metrics
JP2011517819A (en) * 2008-04-11 2011-06-16 マイクロソフト コーポレーション Customer incentive scheme based on omnipresent intention
EP2320311A1 (en) * 2008-08-21 2011-05-11 Konica Minolta Holdings, Inc. Image display device
US20110025712A1 (en) * 2008-08-21 2011-02-03 Yusuke Ikeda Image display device
WO2010021240A1 (en) * 2008-08-21 2010-02-25 コニカミノルタホールディングス株式会社 Image display device
EP2320311A4 (en) * 2008-08-21 2013-11-06 Konica Minolta Holdings Inc Image display device
JP2010237411A (en) * 2009-03-31 2010-10-21 Denso It Laboratory Inc Advertisement display device, system, method, and program
US8526667B2 (en) * 2009-07-15 2013-09-03 Hitachi Consumer Electronics Co., Ltd. Broadcasting receiver with function to determine as to whether instruction from operator is executable
US20110013811A1 (en) * 2009-07-15 2011-01-20 Mayuko Tanaka Broadcasting receiver
GB2473495A (en) * 2009-09-14 2011-03-16 Guy Edward John Margetson Display using data pulled or requested from remote computer and feedback, e.g. of viewer figures to remote computer.
JP2011142432A (en) * 2010-01-06 2011-07-21 Sony Corp Information processing apparatus, information processing method, and program
US8935727B2 (en) 2010-01-06 2015-01-13 Sony Corporation Information processing apparatus, information processing method, and program
CN101996536A (en) * 2010-08-24 2011-03-30 北京水晶石数字科技有限公司 Intelligent display method
JP2012123727A (en) * 2010-12-10 2012-06-28 Hitachi Solutions Ltd Advertising effect measurement server, advertising effect measurement device, program and advertising effect measurement system
JP2013051469A (en) * 2011-08-30 2013-03-14 Toshiba Corp Three-dimensional image processing apparatus and three-dimensional image processing method
CN102970560A (en) * 2011-08-30 2013-03-13 株式会社东芝 Three-dimensional image processing apparatus and three-dimensional image processing method
JP2013149050A (en) * 2012-01-19 2013-08-01 Fujitsu Ltd Target object determination device, target object determination method and program
JP2013059094A (en) * 2012-11-09 2013-03-28 Toshiba Corp Three-dimensional image processing apparatus and three-dimensional image processing method
JP2014238733A (en) * 2013-06-07 2014-12-18 シャープ株式会社 Content creation device, content creation method, and content creation program
JP2015015031A (en) * 2014-08-12 2015-01-22 株式会社日立ソリューションズ Advertising effect measurement server, advertising effect measurement system, and program
JP5961736B1 (en) * 2015-08-17 2016-08-02 株式会社コロプラ Method and program for controlling head mounted display system
JP2017040970A (en) * 2015-08-17 2017-02-23 株式会社コロプラ Method and program for controlling head-mounted display system
JP2017040971A (en) * 2015-08-17 2017-02-23 株式会社コロプラ Method and program for controlling head-mounted display system
JP7451673B2 (en) 2016-01-06 2024-03-18 テレビジョン・インサイツ、インコーポレイテッド Systems and methods for evaluating audience engagement
JP2017041229A (en) * 2016-06-08 2017-02-23 株式会社コロプラ Method and program for controlling head-mounted display system
JPWO2018235595A1 (en) * 2017-06-20 2020-04-09 日本電気株式会社 Information providing apparatus, information providing method, and program
GB2578043A (en) * 2017-06-20 2020-04-15 Nec Corp Information provision device, information provision method and program
GB2578043B (en) * 2017-06-20 2022-06-22 Nec Corp Apparatus for providing information and method of providing information, and program
US11463618B2 (en) 2017-06-20 2022-10-04 Nec Corporation Apparatus for providing information and method of providing information, and non-transitory storage medium
WO2018235595A1 (en) * 2017-06-20 2018-12-27 日本電気株式会社 Information provision device, information provision method and program
JP7292532B1 (en) * 2022-04-27 2023-06-16 三菱電機株式会社 Control device, control system, control method, and control program
WO2023209837A1 (en) * 2022-04-27 2023-11-02 三菱電機株式会社 Control device, control system, control method, and control program

Also Published As

Publication number Publication date
JP4932161B2 (en) 2012-05-16

Similar Documents

Publication Publication Date Title
JP4932161B2 (en) Viewer information measuring device
JP5643543B2 (en) Information presentation system, control method therefor, and program
JP4794453B2 (en) Method and system for managing an interactive video display system
JP2008112401A (en) Advertisement effect measurement apparatus
CN105723703B (en) Monitoring device, monitoring system and monitoring method
JP5272213B2 (en) ADVERTISEMENT EFFECT MEASUREMENT DEVICE, ADVERTISEMENT EFFECT MEASUREMENT METHOD, AND PROGRAM
US20070282682A1 (en) Method for metered advertising based on face time
JP4835898B2 (en) Video display method and video display device
JP2008305379A (en) Method for selecting advertisement and system for obtaining amount of time when consumer views advertising display
WO2015056742A1 (en) Device for measuring visual efficacy
KR101744198B1 (en) Customized moving vehicle advertising system
JP5685685B2 (en) Video display device
JP2006254274A (en) View layer analyzing apparatus, sales strategy support system, advertisement support system, and tv set
JPH1124603A (en) Information display device and information collecting device
JP5370380B2 (en) Video display method and video display device
JP2010204823A (en) Line-of-sight recognition device
JP2023053039A (en) Information processing apparatus, information processing method and program
JP2024001268A (en) Control apparatus
JP2011071795A (en) Broadcast receiver
KR101187773B1 (en) advertisement system using motion cognition.
JP2011027977A (en) Display system
JP2007172378A (en) Apparatus for specifying object to be gazed at
JP5115763B2 (en) Image processing apparatus, content distribution system, image processing method, and program
KR20220039871A (en) Apparatus for providing smart interactive advertisement
JPH0954894A (en) Mobile object monitoring and measuring device

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20071011

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071128

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080722

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100303

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100622

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100803

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110405

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110510

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120207

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120215

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4932161

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150224

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees