JP2007036874A - Viewer information measurement system and matching system employing same - Google Patents

Viewer information measurement system and matching system employing same Download PDF

Info

Publication number
JP2007036874A
JP2007036874A JP2005219382A JP2005219382A JP2007036874A JP 2007036874 A JP2007036874 A JP 2007036874A JP 2005219382 A JP2005219382 A JP 2005219382A JP 2005219382 A JP2005219382 A JP 2005219382A JP 2007036874 A JP2007036874 A JP 2007036874A
Authority
JP
Japan
Prior art keywords
viewer
information
terminal
matching
emotion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2005219382A
Other languages
Japanese (ja)
Inventor
Terumasa Aoki
輝勝 青木
Hiroshi Yasuda
浩 安田
Kowalik Uwe
コワァリク ウーウェ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Tokyo NUC
Original Assignee
University of Tokyo NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Tokyo NUC filed Critical University of Tokyo NUC
Priority to JP2005219382A priority Critical patent/JP2007036874A/en
Priority to PCT/JP2006/314053 priority patent/WO2007013312A1/en
Publication of JP2007036874A publication Critical patent/JP2007036874A/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/251—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/252—Processing of multiple end-users' preferences to derive collaborative data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25891—Management of end-user data being end-user preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44204—Monitoring of content usage, e.g. the number of times a movie has been viewed, copied or the amount which has been watched
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H04N21/4663—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms involving probabilistic networks, e.g. Bayesian networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4667—Processing of monitored end-user data, e.g. trend analysis based on the log file of viewer selections
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4755—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for defining user preferences, e.g. favourite actors or genre
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details

Abstract

<P>PROBLEM TO BE SOLVED: To provide a system capable of measuring view quality reflected with sensitivity of a viewer. <P>SOLUTION: Viewer information can be measured by carrying out following steps of: (1) acquiring an image of a viewer viewing a terminal; (2) acquiring emotion data indicating emotions of the viewer based on the image of the viewer; (3) acquiring interest data indicating an interest area on a display screen of the terminal, for the viewer, based on the image of said viewer; and (4) generating the viewer information by merging information of contents displayed on the terminal in addition to the emotion data and the interest data. Furthermore, thus measured viewer information is used to also match viewers with each other. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、視聴者の情報（特に感性に関する情報）を測定するシステム、及び、これを用いたマッチングシステムに関するものである。   The present invention relates to a system for measuring viewer information (particularly information related to sensitivity) and a matching system using the system.

従来、例えば放送の分野では、視聴の「量」を示す指標として、視聴率が用いられている。   Conventionally, in the field of broadcasting, for example, the audience rating is used as an index indicating the “amount” of viewing.

ところで、近年、視聴者の詳しい視聴状態を把握することの要求が高まっている。そこで、視聴の「質」（「視聴質」）を測定することが望まれる。   Incidentally, in recent years, there has been an increasing demand for grasping the detailed viewing state of viewers. Therefore, it is desired to measure the “quality” of viewing (“viewing quality”).

本発明は、このような状況に鑑みてなされたものである。本発明の一つの目的は、視聴者の感性を反映した視聴質を測定できるシステムを提供することである。本発明の他の目的は、このような測定システムで取得された視聴質の情報を用いて、ユーザどうしのマッチングを行うことができるシステムを提供することである。   The present invention has been made in view of such a situation. One object of the present invention is to provide a system capable of measuring audience quality reflecting viewer's sensitivity. Another object of the present invention is to provide a system capable of matching users using audience quality information acquired by such a measurement system.

本発明は、前記の課題に対応して、下記の項目に示される解決手段を採用している。   The present invention adopts solving means shown in the following items in response to the above problems.

（項目１）
カメラと、感情取得部と、興味取得部と、データ統合部とを備え、
前記カメラは、端末を視聴する視聴者の画像を取得する構成となっており、
前記感情取得部は、前記視聴者の画像に基づいて、前記視聴者の感情を示す感情データを取得する構成となっており、
前記興味取得部は、前記視聴者の画像に基づいて、前記視聴者による、前記端末の表示画面における興味領域を示す興味データを取得する構成となっており、
前記データ統合部は、前記感情データと、前記興味データとに加えて、前記端末で表示されるコンテンツの情報を統合して視聴者情報を生成する構成となっている
ことを特徴とする視聴者情報測定システム。 (Item 1)
A camera, an emotion acquisition unit, an interest acquisition unit, and a data integration unit;
The camera is configured to acquire an image of a viewer who views the terminal,
The emotion acquisition unit is configured to acquire emotion data indicating the viewer's emotion based on the viewer's image,
The interest acquisition unit is configured to acquire interest data indicating an area of interest on the display screen of the terminal by the viewer based on the image of the viewer.
The data integration unit is configured to generate viewer information by integrating content information displayed on the terminal in addition to the emotion data and the interest data. Information measurement system.

（項目２）
前記感情データは、前記視聴者の笑いの強さを示すものであることを特徴とする、項目１に記載の視聴者情報測定システム。 (Item 2)
Item 2. The viewer information measurement system according to Item 1, wherein the emotion data indicates strength of laughter of the viewer.

（項目３）
前記感情取得部は、前記視聴者の画像における顔の特徴点を用いて、前記視聴者の感情を推定するものであることを特徴とする、項目１又は２に記載の視聴者情報測定システム。 (Item 3)
3. The viewer information measurement system according to item 1 or 2, wherein the emotion acquisition unit estimates the viewer's emotion using facial feature points in the viewer's image.

（項目４）
前記コンテンツの情報は、少なくともコンテンツ時刻情報を含んでいることを特徴とする、項目１〜３のいずれか１項に記載の視聴者情報測定システム。 (Item 4)
Item 4. The viewer information measurement system according to any one of Items 1 to 3, wherein the content information includes at least content time information.

（項目５）
前記コンテンツの情報は、さらに、コンテンツを特定するための情報を含んでいることを特徴とする、項目４に記載の視聴者情報測定システム。 (Item 5)
Item 5. The viewer information measurement system according to Item 4, wherein the content information further includes information for specifying the content.

（項目６）
項目１〜５のいずれかに記載の視聴者情報測定システムと、マッチング部と、類似度測定部とを備え、
前記視聴者情報測定システムは、このシステムで測定された視聴者情報を格納する記憶部をさらに備えており、
前記マッチング部は、他の端末における前記視聴者情報と、前記記憶部に格納された視聴者情報とのマッチングの程度を算出する構成となっており、
前記類似度測定部は、前記マッチングの程度と、設定された水準との比較結果を出力する構成となっている
ことを特徴とするマッチングシステム。 (Item 6)
The viewer information measuring system according to any one of items 1 to 5, a matching unit, and a similarity measuring unit,
The viewer information measuring system further includes a storage unit for storing viewer information measured by the system,
The matching unit is configured to calculate the degree of matching between the viewer information in another terminal and the viewer information stored in the storage unit,
The similarity measuring unit is configured to output a comparison result between the degree of matching and a set level.

（項目７）
項目６に記載のマッチングシステムによって出力された前記比較結果を、ネットワークを介して他の端末が受け取り、この比較結果を用いて、前記他の端末において相互通信の相手を表示又は選択する構成となっていることを特徴とする相互通信システム。 (Item 7)
The comparison result output by the matching system according to item 6 is received by another terminal via a network, and the other terminal displays or selects a partner of mutual communication using the comparison result. An intercommunication system characterized by the above.

（項目８）
以下のステップを備えることを特徴とする、視聴者情報測定方法：
（１）端末を視聴する視聴者の画像を取得するステップ；
（２）前記視聴者の画像に基づいて、前記視聴者の感情を示す感情データを取得するステップ；
（３）前記視聴者の画像に基づいて、前記視聴者による、端末の表示画面における興味領域を示す興味データを取得するステップ；
（４）前記感情データと、前記興味データとに加えて、前記端末で表示されるコンテンツの情報を統合して視聴者情報を生成するステップ。 (Item 8)
A method for measuring viewer information, comprising the following steps:
(1) obtaining an image of a viewer who views the terminal;
(2) acquiring emotion data indicating the viewer's emotion based on the viewer's image;
(3) A step of acquiring interest data indicating an area of interest on the display screen of the terminal by the viewer based on the image of the viewer;
(4) A step of generating viewer information by integrating content information displayed on the terminal in addition to the emotion data and the interest data.

（項目９）
以下のステップを備えることを特徴とするマッチング方法：
（１）項目８に記載の方法で測定された視聴者情報を記憶部に格納するステップ；
（２）他の端末における前記視聴者情報と、前記記憶部に格納された前記視聴者情報とのマッチングの程度を算出するステップ；
（３）前記マッチングの程度と、設定された水準との比較結果を出力するステップ。 (Item 9)
A matching method characterized by comprising the following steps:
(1) A step of storing viewer information measured by the method according to item 8 in a storage unit;
(2) calculating a degree of matching between the viewer information in another terminal and the viewer information stored in the storage unit;
(3) A step of outputting a comparison result between the degree of matching and a set level.

（項目１０）
コンピュータに以下のステップを実行させることを特徴とする、視聴者情報測定用のコンピュータプログラム：
（１）端末を視聴する視聴者の画像を取得するステップ；
（２）前記視聴者の画像に基づいて、前記視聴者の感情を示す感情データを取得するステップ；
（３）前記視聴者の画像に基づいて、前記視聴者による、端末の表示画面における興味領域を示す興味データを取得するステップ；
（４）前記感情データと、前記興味データとに加えて、前記端末で表示されるコンテンツの情報を統合して視聴者情報を生成するステップ。 (Item 10)
A computer program for measuring viewer information, characterized by causing a computer to execute the following steps:
(1) obtaining an image of a viewer who views the terminal;
(2) acquiring emotion data indicating the viewer's emotion based on the viewer's image;
(3) A step of acquiring interest data indicating an area of interest on the display screen of the terminal by the viewer based on the image of the viewer;
(4) A step of generating viewer information by integrating content information displayed on the terminal in addition to the emotion data and the interest data.

（項目１１）
コンピュータに以下のステップを実行させることを特徴とする、視聴者のマッチング用のコンピュータプログラム：
（１）項目８に記載の方法（あるいは項目１０に記載のコンピュータプログラム）を用いて測定された視聴者情報を記憶部に格納するステップ；
（２）他の端末における前記視聴者情報と、前記記憶部に格納された前記視聴者情報とのマッチングの程度を算出するステップ；
（３）前記マッチングの程度と、設定された水準との比較結果を出力するステップ。 (Item 11)
A computer program for matching viewers, characterized by causing a computer to perform the following steps:
(1) A step of storing viewer information measured using the method described in item 8 (or the computer program described in item 10) in a storage unit;
(2) calculating a degree of matching between the viewer information in another terminal and the viewer information stored in the storage unit;
(3) A step of outputting a comparison result between the degree of matching and a set level.

本発明の視聴者情報測定システムによれば、視聴者の感性を反映した視聴質を測定できるシステムを提供することができる。本発明のマッチングシステムによれば、このような測定システムで取得された視聴質の情報を用いて、ユーザどうしのマッチングを行うことが可能となる。   According to the viewer information measuring system of the present invention, it is possible to provide a system capable of measuring audience quality reflecting the viewer's sensitivity. According to the matching system of the present invention, it is possible to perform matching between users using the audience quality information acquired by such a measurement system.

以下、本発明の一実施形態に係る視聴者情報測定システムを用いたマッチングシステムを、添付図面を参照して説明する。   Hereinafter, a matching system using a viewer information measuring system according to an embodiment of the present invention will be described with reference to the accompanying drawings.

（実施形態の構成）
まず、本実施形態のマッチングシステムが適用されるネットワークシステム全体の構成例を、図１により説明する。このシステムは、インターネットなどのネットワーク１と、ブロードキャスト端末２と、複数のユーザ端末３とを備えている。 (Configuration of the embodiment)
First, a configuration example of the entire network system to which the matching system of this embodiment is applied will be described with reference to FIG. This system includes a network 1 such as the Internet, a broadcast terminal 2, and a plurality of user terminals 3.

ブロードキャスト端末２は、ネットワーク１を介して、複数のユーザ端末３に向けてブロードキャストを行うことができるように構成されている。ブロードキャストを行うためのプロトコルとしては、例えば、インターネットにおける標準的なものを利用することができる。また、ブロードキャストされるコンテンツとしては、特に限定はなく、種々のものを送信することができる。   The broadcast terminal 2 is configured to be able to broadcast to a plurality of user terminals 3 via the network 1. As a protocol for performing broadcast, for example, a standard protocol in the Internet can be used. The broadcast content is not particularly limited, and various content can be transmitted.

各ユーザ端末３は、図２に示されるように、コンテンツを表示するための画面と、ユーザ間のマッチングを行うためのマッチングシステム４と、Ｉ／Ｆ部５とを備えている（後述）。ユーザ端末３どうしは、ネットワーク１を介して、あるいは直接に、Ｉ／Ｆ部５を用いて通信できるように構成されている。   As shown in FIG. 2, each user terminal 3 includes a screen for displaying content, a matching system 4 for performing matching between users, and an I / F unit 5 (described later). The user terminals 3 can communicate with each other using the I / F unit 5 via the network 1 or directly.

（マッチングシステムの構成）
マッチングシステム４は、本発明の一実施形態に対応するものである。マッチングシステム４は、視聴者情報測定システム４１と、記憶部４２と、マッチング部４３と、類似度測定部４４とを備えている（図２参照）。 (Configuration of matching system)
The matching system 4 corresponds to an embodiment of the present invention. The matching system 4 includes a viewer information measurement system 41, a storage unit 42, a matching unit 43, and a similarity measurement unit 44 (see FIG. 2).

視聴者情報測定システム４１は、本発明の一実施形態に対応するものであり、その構成については後述する。記憶部４２は、このシステムで測定された視聴者情報を格納するものである。記憶部４２としては、コンピュータの内部記憶装置又は外部記憶装置を用いることができる。あるいは、ネットワークを介して接続された他のノードにおける記憶装置であってもよい。   The viewer information measurement system 41 corresponds to an embodiment of the present invention, and the configuration thereof will be described later. The storage unit 42 stores viewer information measured by this system. As the storage unit 42, an internal storage device or an external storage device of a computer can be used. Alternatively, it may be a storage device in another node connected via a network.

マッチング部４３は、他の視聴者から送られてきた視聴者情報と、記憶部４２に格納された視聴者情報とのマッチングの程度を算出するものである。このようなマッチング部４３は、コンピュータのハードウエア又はソフトウエアを用いて構成することができる。本実施形態における他の機能要素についても同様である。   The matching unit 43 calculates the degree of matching between the viewer information sent from other viewers and the viewer information stored in the storage unit 42. Such a matching unit 43 can be configured using computer hardware or software. The same applies to other functional elements in the present embodiment.

類似度測定部４４は、マッチングの程度と、設定された水準との比較結果を出力する構成となっているものである。   The similarity measuring unit 44 is configured to output a comparison result between the degree of matching and a set level.

マッチングシステム４の詳しい説明は、後述する動作の説明において行う。   Detailed description of the matching system 4 will be made in the description of the operation described later.

（測定システムの構成）
測定システム４１は、カメラ４１１と、感情取得部４１２と、興味取得部４１３と、データ統合部４１４とを備えている。 (Configuration of measurement system)
The measurement system 41 includes a camera 411, an emotion acquisition unit 412, an interest acquisition unit 413, and a data integration unit 414.

カメラ４１１は、端末３を視聴する視聴者の画像を取得する構成となっている。カメラ４１１は、例えば端末３の近傍に、視聴者を向くようにして設置することが好ましい。ただし、カメラ４１１を、部屋の天井や壁面などの位置に取り付けることも可能である。カメラ４１１は、視聴者の顔の画像を取得できるように設定されていることが好ましい。   The camera 411 is configured to acquire an image of a viewer who views the terminal 3. The camera 411 is preferably installed, for example, in the vicinity of the terminal 3 so as to face the viewer. However, the camera 411 can be attached to a position such as a ceiling or a wall surface of the room. The camera 411 is preferably set so that an image of the viewer's face can be acquired.

カメラ４１１としては、例えば、ＣＣＤやＣＭＯＳを用いたデジタルカメラとすることが通常は好ましい。また、カメラ４１１としては、可視光カメラ以外にも、赤外線カメラやレンジファインダとすることが可能である。カメラ４１１としては、視聴者の顔の構造情報を取得できるものであれば、各種のものを使用できる。また、カメラ４１１で取得する画像としては、動画でも静止画でも良い。   As the camera 411, for example, a digital camera using a CCD or a CMOS is usually preferable. In addition to the visible light camera, the camera 411 can be an infrared camera or a range finder. Various cameras can be used as the camera 411 as long as the structure information of the viewer's face can be acquired. The image acquired by the camera 411 may be a moving image or a still image.

感情取得部４１２は、カメラ４１１で取得した、視聴者の画像に基づいて、視聴者の感情を示す感情データを取得する構成となっている。   The emotion acquisition unit 412 is configured to acquire emotion data indicating the viewer's emotion based on the viewer's image acquired by the camera 411.

興味取得部４１３は、カメラ４１１で取得した、視聴者の画像に基づいて、視聴者による、端末３の表示画面における興味領域を示す興味データを取得する構成となっている。   The interest acquisition unit 413 is configured to acquire interest data indicating the region of interest on the display screen of the terminal 3 by the viewer based on the viewer's image acquired by the camera 411.

データ統合部４１４は、感情データと興味データとに加えて、端末３で表示されるコンテンツの情報を統合して視聴者情報を生成する構成となっている。   The data integration unit 414 is configured to generate viewer information by integrating content information displayed on the terminal 3 in addition to emotion data and interest data.

測定システム４１の詳しい説明も、後述する動作の説明において行う。   Detailed description of the measurement system 41 will also be given in the description of the operation described later.

（実施形態の動作）
（測定システムの動作…視聴者情報測定方法）
次に、主に図４を参照して、本実施形態の測定システム４１を用いて視聴者情報を測定する方法の一例を説明する。 (Operation of the embodiment)
(Measurement system operation: Viewer information measurement method)
Next, an example of a method for measuring viewer information using the measurement system 41 of the present embodiment will be described mainly with reference to FIG.

（図４のステップＳａ−１）
カメラ４１１により、端末３を視聴する視聴者の画像を取得する。取得された画像は、通常は、何らかの記憶装置に格納される。もちろん、画像を感情取得部４１２に直接送っても良い。 (Step Sa-1 in FIG. 4)
An image of a viewer who views the terminal 3 is acquired by the camera 411. The acquired image is normally stored in some storage device. Of course, the image may be sent directly to the emotion acquisition unit 412.

（図４のステップＳａ−２）
感情取得部４１２は、カメラ４１１で取得された画像から、顔の領域がどこであるか（つまり、どこに顔があるか）を検出する。検出された顔領域の情報は、興味取得部４１３に、直接又は記憶装置を介して送られる。なお、本実施形態では、感情取得部４１２により顔を検出しているが、顔検出のための単独の機能ブロックによりこの処理を行っても良いし、他の機能ブロックによりこの処理を行っても良い。 (Step Sa-2 in FIG. 4)
The emotion acquisition unit 412 detects where the face area is (that is, where the face is) from the image acquired by the camera 411. Information of the detected face area is sent to the interest acquisition unit 413 directly or via a storage device. In the present embodiment, the face is detected by the emotion acquisition unit 412, but this process may be performed by a single functional block for face detection, or may be performed by another functional block. good.

（図４のステップＳａ−３）
ついで、感情取得部４１２は、検出された顔領域において、顔特徴（すなわち、顔との特徴を表す特徴点）を検出する。顔特徴の検出手法は、既に知られた方法を用いることができるので、詳しい説明は省略する。 (Step Sa-3 in FIG. 4)
Next, the emotion acquisition unit 412 detects a facial feature (that is, a feature point representing a feature with the face) in the detected face region. Since a known method can be used as the facial feature detection method, a detailed description thereof will be omitted.

（図４のステップＳａ−４）
ついで、感情取得部４１２は、顔特徴を分類し、視聴者の感情の状態を推定する。例えば、顔特徴を、データベースに記録された状態と照合することにより推定ができる。顔特徴を分類する手法も、既に知られた方法を用いることができるので、詳しい説明は省略する。本実施形態では、視聴者が笑っていると推定される場合のみ、以降の動作を行う。笑い以外の状態であると推定された場合は、最初のステップに戻って動作を繰り返す。もちろん、終了コマンドやタイマによる終了は可能である。 (Step Sa-4 in FIG. 4)
Next, the emotion acquisition unit 412 classifies the facial features and estimates the viewer's emotional state. For example, the facial feature can be estimated by collating with the state recorded in the database. As a method for classifying facial features, an already known method can be used, and detailed description thereof is omitted. In the present embodiment, the subsequent operation is performed only when it is estimated that the viewer is laughing. If it is estimated that the state is other than laughter, the operation returns to the first step and the operation is repeated. Of course, the termination by the termination command or timer is possible.

（図４のステップＳａ−５）
ついで、感情取得部４１２は、感情の強さを推定する。この推定においても、既に知られた方法を用いることもできるが、本実施形態では以下のような方法を用いる。 (Step Sa-5 in FIG. 4)
Next, the emotion acquisition unit 412 estimates the strength of the emotion. In this estimation as well, a known method can be used, but in the present embodiment, the following method is used.

まず、感情の強さを推定するためにニューラルネットワークを用いる。具体的には、動きならびに回転の補償がなされた口形状の特徴点８点が入力として使われる。この８点の口形状特徴点は16次元ベクトルとなる（8特徴点それぞれのｘ、ｙの座標値）。本システムで用いるニューラルネットワークは３層構造のfeed-forwardネットワークであり、入力層、中間層、出力層から構成される（図示せず）。入力層は16次元ベクトルを扱うために16個のニューロンから構成され、中間層は10個のニューロン、出力層は1個のニューロンから構成されることとする。ニューラルネットワークは、あらかじめ300程度のサンプルデータを用いて学習させておくことにより、非常に高い精度で感情の強さを推定できるようになる。   First, a neural network is used to estimate the strength of emotion. Specifically, eight mouth-shaped feature points that have been compensated for movement and rotation are used as inputs. The eight mouth shape feature points are 16-dimensional vectors (the x and y coordinate values of each of the eight feature points). The neural network used in this system is a feed-forward network having a three-layer structure, and includes an input layer, an intermediate layer, and an output layer (not shown). The input layer is composed of 16 neurons to handle 16-dimensional vectors, the intermediate layer is composed of 10 neurons, and the output layer is composed of 1 neuron. The neural network can estimate the strength of emotion with very high accuracy by learning using about 300 sample data in advance.

本実施形態では、このようにして、視聴者の画像に基づいて、視聴者の感情を示す感情データを取得することができる。得られる感情データの一例を図５に示す。このデータは、コンテンツ表示の時間経過に対応する、感情度（感情の強さ）の変化を示している。具体的には、このデータは、視聴者の笑いの強さを示すものである。   In the present embodiment, emotion data indicating the viewer's emotion can be acquired based on the viewer's image in this manner. An example of the emotion data obtained is shown in FIG. This data indicates a change in emotion level (feeling intensity) corresponding to the time elapsed for content display. Specifically, this data indicates the strength of the viewer's laughter.

（図４のステップＳａ−６）
一方、興味取得部４１３は、感情取得部４１２で得られた顔の情報を用いて検出された顔における視線を検出する。この手法としても従来のものを用いることができるが、本実施形態では以下の手法を用いる。 (Step Sa-6 in FIG. 4)
On the other hand, the interest acquisition unit 413 detects the line of sight of the face detected using the face information obtained by the emotion acquisition unit 412. A conventional method can be used as this method, but the following method is used in this embodiment.

視線検出は、６個の特徴点（１つの目あたり３つの特徴点）のデータセットを用いて行う。６個の特徴点とは、具体的には、２つの目の内側、外側、瞳孔（中央部）であり、まず第一ステップとして、"メインの目"をそれぞれの目の投射面での目の長さを計算することによって決定する。目の長さは目の内側と外側の間の距離であり、最大長の目を"メインの目"とみなすことにする。そうすることによって、頭部の回転による目の特徴のオクルージョンも扱うことが可能となる。   The line-of-sight detection is performed using a data set of six feature points (three feature points per eye). The six feature points are specifically the inside, outside, and pupil (center) of the two eyes. First, as the first step, the “main eyes” are the eyes on the projection plane of each eye. Determine by calculating the length of. The eye length is the distance between the inside and outside of the eye, and the maximum length eye is considered the “main eye”. By doing so, it becomes possible to handle occlusion of eye features due to rotation of the head.

続いて第二ステップとして、目の内側と中央、中央と外側の距離を計算し、それから垂直方向の目の中心線からの瞳孔のずれが計算できる（下記参照）。   Subsequently, as a second step, the distance between the inside and center of the eye and the center and outside can be calculated, and then the pupil shift from the center line of the eye in the vertical direction can be calculated (see below).

innerDistance = mainEyeInnerX - mainEyeCenterX;
outerDistance = mainEyeCenterX - mainEyeOuterX;
displacement = (innerDistance - outerDistance)/mainEyeLength innerDistance = mainEyeInnerX-mainEyeCenterX;
outerDistance = mainEyeCenterX-mainEyeOuterX;
displacement = (innerDistance-outerDistance) / mainEyeLength

そして、第三ステップとして、眼球の半径（通常直径2.5cmと言われているため本例でもこの値を用いる）と上記で算出したずれ量から目（眼球）の回転角度を計算する。   Then, as a third step, the rotation angle of the eye (eyeball) is calculated from the radius of the eyeball (usually used in this example because it is said to have a diameter of 2.5 cm) and the amount of deviation calculated above.

このようにして、回転角が頭部回転によって補償されることになり、正面から見た時の最終的な絶対角が得られる。そして、最後に、以上の情報を元に視線情報とスクリーン面の交点を求めることによって画面上の興味領域を算出する。   In this way, the rotation angle is compensated by the head rotation, and the final absolute angle when viewed from the front is obtained. Finally, the region of interest on the screen is calculated by obtaining the intersection of the line-of-sight information and the screen surface based on the above information.

（図４のステップＳａ−７）
ついで、興味取得部４１３は、視線の情報を用いて、視聴者が、端末３の画面におけるどの領域を見ているかを検出する。本実施形態では、図６に示すように、端末３の画面３１を、５個の領域３２ａ〜３２ｅに仮想的に分割している。興味取得部４１３は、これらの領域のうちのどれを視聴者が見ているかを検出する。もちろん、領域の数は、５より多くても少なくても良い。 (Step Sa-7 in FIG. 4)
Next, the interest acquisition unit 413 detects which area the viewer is viewing on the screen of the terminal 3 using the line-of-sight information. In this embodiment, as shown in FIG. 6, the screen 31 of the terminal 3 is virtually divided into five areas 32a to 32e. The interest acquisition unit 413 detects which of these areas is viewed by the viewer. Of course, the number of regions may be more or less than five.

本実施形態では、このようにして、視聴者の画像に基づいて、視聴者による、端末３の表示画面３１における興味領域を示す興味データを取得することができる。   In this embodiment, the interest data indicating the region of interest on the display screen 31 of the terminal 3 by the viewer can be acquired based on the viewer's image in this way.

（図４のステップＳａ−８）
ついで、データ統合部４１４は、前記のようにして得られた感情データと興味データとに加えて、端末３で表示されるコンテンツの情報（図２〜図４のメディア情報）を統合して視聴者情報を生成する。コンテンツの情報としては、例えば、コンテンツ時刻情報（コンテンツの送信時間など）や、コンテンツを特定するための情報（チャンネル情報など）である。もちろん、これらの情報に加えて、ユーザを特定するための情報を付加しても良い。このようにして、視聴者の感性を反映した視聴質を測定することができる。 (Step Sa-8 in FIG. 4)
Next, the data integration unit 414 integrates the content information (media information shown in FIGS. 2 to 4) displayed on the terminal 3 in addition to the emotion data and the interest data obtained as described above. Person information is generated. The content information is, for example, content time information (content transmission time, etc.) or information for specifying content (channel information, etc.). Of course, in addition to these pieces of information, information for specifying the user may be added. In this way, the audience quality reflecting the viewer's sensitivity can be measured.

（図４のステップＳａ−９）
ついで、データ統合部４１４は、Ｉ／Ｆ部５を介して、視聴者情報を転送する。図７に、視聴者情報を含むパケットの一例を示した。例えば、このようなパケットを、Ｉ／Ｆ部５を介してネットワークに送信することができる。このような情報をブロードキャスト端末２やセンターサーバ（図示せず）で受信して解析することにより、視聴者の感性（本例では笑い）を反映した視聴質を取得することができる。すると、どのような画面領域を注視した視聴者がどのような笑いを生じたかというような分析が可能となる。この分析を用いて、番組製作や、視聴者への情報配信を行うことができる。 (Step Sa-9 in FIG. 4)
Next, the data integration unit 414 transfers the viewer information via the I / F unit 5. FIG. 7 shows an example of a packet including viewer information. For example, such a packet can be transmitted to the network via the I / F unit 5. By receiving and analyzing such information by the broadcast terminal 2 or a center server (not shown), it is possible to acquire audience quality reflecting the viewer's sensitivity (laughter in this example). Then, it becomes possible to analyze what kind of screen area the viewer gazed at and what kind of laughter occurred. Using this analysis, program production and information distribution to viewers can be performed.

（マッチングシステムの動作）
つぎに、前記した測定システム４１を利用したマッチングシステム４の動作を、図８を主に参照しながら説明する。 (Matching system operation)
Next, the operation of the matching system 4 using the measurement system 41 will be described with reference mainly to FIG.

（図８のステップＳｂ−１）
まず、ネットワーク全体の動作としては、ブロードキャスト端末２が、ネットワークを介して、各ユーザ端末３に、コンテンツを配信する。この配信は、オンデマンド配信を前提とすれば、異なった時点で行われるのが通常である。もちろん、同時に配信が行われてもよい。 (Step Sb-1 in FIG. 8)
First, as an operation of the entire network, the broadcast terminal 2 distributes content to each user terminal 3 via the network. This distribution is usually performed at different points in time assuming on-demand distribution. Of course, distribution may be performed simultaneously.

また、ユーザ端末３の数は特に限定されないが、図８では、二つの端末３Ａと３Ｂとを図示している。また、ユーザ端末３Ａと３Ｂは、同様に動作するものであるが、図８では、記載の煩雑化を避けるため、重複する動作についてはどちらかの端末側の動作として記載している。もちろん、各端末３における同様のステップは、同時に実行されてもよいが、異なる時点で実行されるのが通常である。   The number of user terminals 3 is not particularly limited, but FIG. 8 shows two terminals 3A and 3B. Further, although the user terminals 3A and 3B operate in the same manner, in FIG. 8, in order to avoid complication of description, overlapping operations are described as operations on either terminal side. Of course, similar steps in each terminal 3 may be executed simultaneously, but are usually executed at different times.

コンテンツを受信したユーザ端末３Ａ（端末３Ｂにおいても同様の処理が行われる。以下同様）は、当該コンテンツを、端末３Ａの画面に表示する。   The user terminal 3A that has received the content (the same processing is performed in the terminal 3B, the same applies hereinafter) displays the content on the screen of the terminal 3A.

（図８のステップＳｂ−２）
ついで、ユーザ端末３Ａは、表示されたコンテンツを視聴した視聴者の情報を、前記した視聴者情報測定方法によって測定する。測定された視聴者情報は、前記したとおり、当該のユーザ端末３Ａの記憶部４２格納される。また、この視聴者情報（ユーザのパラメータ）は、他の端末（図８の例ではブロードキャスト端末２と他のユーザ端末３Ｂ）に送信される。 (Step Sb-2 in FIG. 8)
Next, the user terminal 3A measures the information of the viewer who has viewed the displayed content by the above-described viewer information measuring method. As described above, the measured viewer information is stored in the storage unit 42 of the user terminal 3A. The viewer information (user parameters) is transmitted to other terminals (broadcast terminal 2 and other user terminal 3B in the example of FIG. 8).

（図８のステップＳｂ−３）
本実施形態では、視聴者情報（ユーザのパラメータ）を受け取ったブロードキャスト端末２は、この情報を記憶装置に格納して保存する。 (Step Sb-3 in FIG. 8)
In the present embodiment, the broadcast terminal 2 that has received the viewer information (user parameters) stores and stores this information in the storage device.

（図８のステップＳｂ−４）
視聴者情報を受け取ったユーザ端末３Ｂは、この端末３Ｂからみて他の端末である端末３Ａから送られた視聴者情報と、当該ユーザ端末３Ｂにおける記憶部４２に格納された視聴者情報とのマッチングの程度を算出する。この算出は、ユーザ端末３Ｂにおけるマッチングシステム４のマッチング部４３により行われる。また、ユーザ端末３Ｂにおいても、ユーザ端末３Ａと同様に視聴者情報を取得し、その情報を、当該端末３Ｂの記憶部４２に予め格納しているものとする。 (Step Sb-4 in FIG. 8)
The user terminal 3B that has received the viewer information matches the viewer information transmitted from the terminal 3A, which is another terminal as viewed from the terminal 3B, with the viewer information stored in the storage unit 42 of the user terminal 3B. The degree of is calculated. This calculation is performed by the matching unit 43 of the matching system 4 in the user terminal 3B. Also, in the user terminal 3B, it is assumed that viewer information is acquired in the same manner as the user terminal 3A, and that information is stored in advance in the storage unit 42 of the terminal 3B.

マッチングの程度を算出する方法としては、例えば、ユーザ端末３Ａから送られてきた視聴者情報（時系列データ）と、ユーザ端末３Ｂに格納されている視聴者情報（時系列データ）との相互相関(cross-correlation)によって求めることができる。   As a method for calculating the degree of matching, for example, cross-correlation between viewer information (time-series data) sent from the user terminal 3A and viewer information (time-series data) stored in the user terminal 3B. (cross-correlation).

相互相関Ｃ（ｎ）は、例えば下記の式（１）により求めることができる。   The cross correlation C (n) can be obtained, for example, by the following equation (1).

Figure 2007036874
Figure 2007036874

ここで、
ｋ：サンプルのインデックス；
Ｎ：サンプルの個数；
Ｓ（ｋ）：ユーザ端末３Ｂに格納された視聴者情報の時間波形；
Ｂ（ｋ）：ユーザ端末３Ａから送られた視聴者情報の時間波形；
ｎ：Ｓ（ｋ）とＢ（ｋ）のコンテンツ時刻の差（本実施形態においては、原則として、同一コンテンツを視聴したときの類似度を算出しているために、ｎ＝０と考えても問題ないが、視聴者によって感情が表情に出るまでの速度に個人差がある場合には、ｎは０とはならない）；
である。 here,
k: sample index;
N: number of samples;
S (k): time waveform of viewer information stored in the user terminal 3B;
B (k): time waveform of the viewer information sent from the user terminal 3A;
n: Difference in content time between S (k) and B (k) (in this embodiment, in principle, since the similarity when the same content is viewed is calculated, n = 0 can be considered. There is no problem, but n is not 0 if there is an individual difference in the speed at which the emotion is expressed by the viewer);
It is.

本実施形態においては、視聴者情報が、コンテンツ時刻情報を含んでいる。このため、コンテンツの進行（時間軸）が共通した視聴者情報どうしの相互相関を算出することができる。よって、本実施形態によれば、視聴者情報の一致の度合い（つまり、マッチングの程度）を、単純かつ正確に算出することが可能となる。   In the present embodiment, the viewer information includes content time information. For this reason, it is possible to calculate the cross-correlation between the viewer information having the same content progression (time axis). Therefore, according to the present embodiment, the degree of matching of viewer information (that is, the degree of matching) can be calculated simply and accurately.

ついで、ユーザ端末３Ｂは、類似度測定部４４により、マッチングの程度と、設定された水準との比較結果を出力する。例えば、得られたマッチングの程度が、予め設定されたしきい値を超えた場合は、一致を示す情報を出力する。また、マッチングの程度が、予め設定された閾値を越えない場合は、不一致を示す情報を出力する。一致情報と不一致情報とをまとめて、この明細書では、比較結果と称する。ただし、比較結果としては、一致情報のみ、あるいは、不一致情報のみであってもよい。また、比較結果としては、二値情報でなく、３値以上の情報であっても良いし、あるいは、比較結果に対応するものであれば、何らかのアナログ情報であってもよい。   Next, the user terminal 3 </ b> B outputs a comparison result between the degree of matching and the set level by the similarity measuring unit 44. For example, when the degree of matching obtained exceeds a preset threshold value, information indicating coincidence is output. When the degree of matching does not exceed a preset threshold, information indicating mismatch is output. The match information and the mismatch information are collectively referred to as a comparison result in this specification. However, the comparison result may be only the matching information or only the mismatching information. Further, the comparison result may be not only binary information but also information of three or more values, or any analog information as long as it corresponds to the comparison result.

ついで、ユーザ端末３Ｂは、そのＩ／Ｆ部５を介して、比較結果（図８ではマッチング結果）を、ネットワーク１経由で、ユーザ端末３Ａに送る。   Next, the user terminal 3 </ b> B sends the comparison result (matching result in FIG. 8) via the I / F unit 5 to the user terminal 3 </ b> A via the network 1.

ユーザ端末３Ａは、ユーザ端末３Ｂにおける比較結果を、ネットワーク１を介して受け取る。   The user terminal 3A receives the comparison result in the user terminal 3B via the network 1.

なお、前記したような、ユーザ端末から他のユーザ端末に問い合わせを発し、返信を得るためのプロトコルとしては、ＳＡＰ（Session Announcement Protocol）やＳＤＰ（Session Description Protocol）を用いることができる。他の端末に送るための視聴者情報は、これらのプロトコルて使われるパケットの空き領域を用いて送ることができる。   Note that, as described above, an SAP (Session Announcement Protocol) or an SDP (Session Description Protocol) can be used as a protocol for issuing an inquiry from a user terminal to another user terminal and obtaining a reply. Viewer information to be sent to other terminals can be sent using the free space of the packets used in these protocols.

（図８のステップＳｂ−５及びＳｂ−６）
ユーザ端末３Ａは、この比較結果を用いて、相互通信（例えばチャットやＩＰ電話）の相手を表示又は選択することができる。 (Steps Sb-5 and Sb-6 in FIG. 8)
The user terminal 3A can display or select a partner of mutual communication (for example, chat or IP phone) using the comparison result.

従来のブロードキャストシステム（例えば視聴者参加型テレビジョン放送）では、局と視聴者との関係は生じるものの、視聴者相互間の関係を構築することは難しい。これに対して、本実施形態では、マッチングの比較結果を各ユーザが把握できる。よって、各ユーザは、自分と好みが近いユーザの情報を収集して端末に表示し、そこから、相互通信の相手を選択することができる。さらに、各ユーザは、相手が同意すれば、選択したユーザと相互通信することができる。すなわち、本システムによれば、類似する感性データを持つユーザどうしでグループを容易に生成することが可能となるという利点がある。チャットやＩＰ電話のシステムは、従来の技術を用いることができるので、説明を省略する。   In a conventional broadcast system (for example, viewer-participation type television broadcasting), although a relationship between a station and a viewer occurs, it is difficult to establish a relationship between viewers. On the other hand, in this embodiment, each user can grasp the comparison result of matching. Therefore, each user can collect information on users who have similar preferences with him and display it on the terminal, and from there, can select a partner for mutual communication. Furthermore, each user can communicate with the selected user if the other party agrees. That is, according to the present system, there is an advantage that a group can be easily generated between users having similar sensitivity data. Since chat and IP telephone systems can use conventional techniques, description thereof is omitted.

なお、前記各実施形態の記載は単なる一例に過ぎず、本発明に必須の構成を示したものではない。各部の構成は、本発明の趣旨を達成できるものであれば、上記に限らない。   Note that the description of each of the embodiments is merely an example, and does not indicate a configuration essential to the present invention. The configuration of each part is not limited to the above as long as the gist of the present invention can be achieved.

例えば、前記実施形態では、各端末にカメラを設置して視聴者情報を取得することとしている。しかし、一つの端末を多数の視聴者で見るシステムであってもよい。この場合は、図４のステップＳａ−２において、各個人ごとの顔を検出する処理を行う。それぞれの顔を認識した後の処理は、前記した実施形態と同様である。この場合には、複数の視聴者情報を一つの端末で収集できるので、個人を特定しないで視聴者情報を取得する用途として好適である。   For example, in the embodiment described above, viewer information is acquired by installing a camera in each terminal. However, a system in which one terminal is viewed by many viewers may be used. In this case, in step Sa-2 of FIG. 4, a process for detecting the face for each individual is performed. Processing after recognizing each face is the same as in the above-described embodiment. In this case, since a plurality of viewer information can be collected by one terminal, it is suitable for the purpose of acquiring the viewer information without specifying an individual.

また、前記実施形態では、マッチングシステムの一部として視聴者情報測定システムを組み込んだが、マッチングシステムを前提としないで、視聴者情報測定システムを用いることも可能である。また、この測定システムは、ネットワークに接続されていなくてもよい。   In the above embodiment, the viewer information measuring system is incorporated as a part of the matching system, but the viewer information measuring system can be used without assuming the matching system. Further, this measurement system may not be connected to the network.

さらに、各実施形態を実現するための各部（機能ブロックを含む）の具体的手段は、ハードウエア、ソフトウエア、ネットワーク、これらの組み合わせ、その他の任意の手段を用いることができ、このこと自体は当業者において自明である。また、機能ブロックどうしが複合して一つの機能ブロックに集約されても良い。さらに、機能ブロックが複数のハードウエアまたはソフトウエアの協働によって実現されても良い。   Furthermore, as a specific means of each unit (including functional blocks) for realizing each embodiment, hardware, software, a network, a combination thereof, or any other means can be used. It is obvious to those skilled in the art. Moreover, the functional blocks may be combined and integrated into one functional block. Furthermore, the functional block may be realized by cooperation of a plurality of hardware or software.

本発明の一実施形態におけるマッチングシステムが適用されるネットワークの全体図である。1 is an overall view of a network to which a matching system according to an embodiment of the present invention is applied. 本発明の一実施形態におけるマッチングシステムの概略を示すブロック図である。It is a block diagram which shows the outline of the matching system in one Embodiment of this invention. 本発明野市実施形態における測定システムの概略を示すブロック図である。It is a block diagram which shows the outline of the measurement system in this invention Noichi embodiment. 測定方法の概略を示すためのフローチャートである。It is a flowchart for showing the outline of a measuring method. 視聴者情報の一例を示すグラフであって、縦軸は感情度、横軸はメディア時刻である。It is a graph which shows an example of viewer information, Comprising: A vertical axis | shaft is a feeling degree and a horizontal axis is media time. 端末の画面上における領域の例を示すための説明図である。It is explanatory drawing for showing the example of the area | region on the screen of a terminal. 視聴者情報を含むパケットの一例を示す説明図である。It is explanatory drawing which shows an example of the packet containing viewer information. マッチング方法の概略を示すためのフローチャートである。It is a flowchart for showing the outline of a matching method.

符号の説明Explanation of symbols

１ ネットワーク
２ ブロードキャスト端末
３ ユーザ端末
３１ ユーザ端末の画面
３２ａ〜３２ｅ 画面上の領域
４ マッチングシステム
４１ 測定システム
４１１ カメラ
４１２ 感情取得部
４１３ 興味取得部
４１４ データ統合部
４２ 記憶部
４３ マッチング部
４４ 類似度測定部
５ Ｉ／Ｆ部
DESCRIPTION OF SYMBOLS 1 Network 2 Broadcast terminal 3 User terminal 31 User terminal screen 32a-32e Area on screen 4 Matching system 41 Measurement system 411 Camera 412 Emotion acquisition part 413 Interest acquisition part 414 Data integration part 42 Storage part 43 Matching part 44 Similarity measurement Part 5 I / F part

Claims (11)

カメラと、感情取得部と、興味取得部と、データ統合部とを備え、
前記カメラは、端末を視聴する視聴者の画像を取得する構成となっており、
前記感情取得部は、前記視聴者の画像に基づいて、前記視聴者の感情を示す感情データを取得する構成となっており、
前記興味取得部は、前記視聴者の画像に基づいて、前記視聴者による、前記端末の表示画面における興味領域を示す興味データを取得する構成となっており、
前記データ統合部は、前記感情データと、前記興味データとに加えて、前記端末で表示されるコンテンツの情報を統合して視聴者情報を生成する構成となっている
ことを特徴とする視聴者情報測定システム。 A camera, an emotion acquisition unit, an interest acquisition unit, and a data integration unit;
The camera is configured to acquire an image of a viewer who views the terminal,
The emotion acquisition unit is configured to acquire emotion data indicating the viewer's emotion based on the viewer's image,
The interest acquisition unit is configured to acquire interest data indicating an area of interest on the display screen of the terminal by the viewer based on the image of the viewer.
The data integration unit is configured to generate viewer information by integrating content information displayed on the terminal in addition to the emotion data and the interest data. Information measurement system. 前記感情データは、前記視聴者の笑いの強さを示すものであることを特徴とする、請求項１に記載の視聴者情報測定システム。   The viewer information measuring system according to claim 1, wherein the emotion data indicates the intensity of laughter of the viewer. 前記感情取得部は、前記視聴者の画像における顔の特徴点を用いて、前記視聴者の感情を推定するものであることを特徴とする、請求項１又は２に記載の視聴者情報測定システム。   The viewer information measurement system according to claim 1 or 2, wherein the emotion acquisition unit estimates the viewer's emotion using a facial feature point in the viewer's image. . 前記コンテンツの情報は、少なくともコンテンツ時刻情報を含んでいることを特徴とする、請求項１〜３のいずれか１項に記載の視聴者情報測定システム。   The viewer information measurement system according to any one of claims 1 to 3, wherein the content information includes at least content time information. 前記コンテンツの情報は、さらに、コンテンツを特定するための情報を含んでいることを特徴とする、請求項４に記載の視聴者情報測定システム。   5. The viewer information measuring system according to claim 4, wherein the content information further includes information for specifying the content. 請求項１〜５のいずれかに記載の視聴者情報測定システムと、マッチング部と、類似度測定部とを備え、
前記視聴者情報測定システムは、このシステムで測定された視聴者情報を格納する記憶部をさらに備えており、
前記マッチング部は、他の端末における前記視聴者情報と、前記記憶部に格納された視聴者情報とのマッチングの程度を算出する構成となっており、
前記類似度測定部は、前記マッチングの程度と、設定された水準との比較結果を出力する構成となっている
ことを特徴とするマッチングシステム。 The viewer information measuring system according to any one of claims 1 to 5, a matching unit, and a similarity measuring unit,
The viewer information measuring system further includes a storage unit for storing viewer information measured by the system,
The matching unit is configured to calculate the degree of matching between the viewer information in another terminal and the viewer information stored in the storage unit,
The similarity measuring unit is configured to output a comparison result between the degree of matching and a set level. 請求項６に記載のマッチングシステムによって出力された前記比較結果を、ネットワークを介して他の端末が受け取り、この比較結果を用いて、前記他の端末において相互通信の相手を表示又は選択する構成となっていることを特徴とする相互通信システム。   The comparison result output by the matching system according to claim 6 is received by another terminal via a network, and the comparison result is used to display or select a communication partner in the other terminal. An intercommunication system characterized in that 以下のステップを備えることを特徴とする、視聴者情報測定方法：
（１）端末を視聴する視聴者の画像を取得するステップ；
（２）前記視聴者の画像に基づいて、前記視聴者の感情を示す感情データを取得するステップ；
（３）前記視聴者の画像に基づいて、前記視聴者による、端末の表示画面における興味領域を示す興味データを取得するステップ；
（４）前記感情データと、前記興味データとに加えて、前記端末で表示されるコンテンツの情報を統合して視聴者情報を生成するステップ。 A method for measuring viewer information, comprising the following steps:
(1) obtaining an image of a viewer who views the terminal;
(2) acquiring emotion data indicating the viewer's emotion based on the viewer's image;
(3) A step of acquiring interest data indicating an area of interest on the display screen of the terminal by the viewer based on the image of the viewer;
(4) A step of generating viewer information by integrating content information displayed on the terminal in addition to the emotion data and the interest data. 以下のステップを備えることを特徴とするマッチング方法：
（１）請求項８に記載の方法で測定された視聴者情報を記憶部に格納するステップ；
（２）他の端末における前記視聴者情報と、前記記憶部に格納された前記視聴者情報とのマッチングの程度を算出するステップ；
（３）前記マッチングの程度と、設定された水準との比較結果を出力するステップ。 A matching method characterized by comprising the following steps:
(1) A step of storing viewer information measured by the method according to claim 8 in a storage unit;
(2) calculating a degree of matching between the viewer information in another terminal and the viewer information stored in the storage unit;
(3) A step of outputting a comparison result between the degree of matching and a set level. コンピュータに以下のステップを実行させることを特徴とする、視聴者情報測定用のコンピュータプログラム：
（１）端末を視聴する視聴者の画像を取得するステップ；
（２）前記視聴者の画像に基づいて、前記視聴者の感情を示す感情データを取得するステップ；
（３）前記視聴者の画像に基づいて、前記視聴者による、端末の表示画面における興味領域を示す興味データを取得するステップ；
（４）前記感情データと、前記興味データとに加えて、前記端末で表示されるコンテンツの情報を統合して視聴者情報を生成するステップ。 A computer program for measuring viewer information, characterized by causing a computer to execute the following steps:
(1) obtaining an image of a viewer who views the terminal;
(2) acquiring emotion data indicating the viewer's emotion based on the viewer's image;
(3) A step of acquiring interest data indicating an area of interest on the display screen of the terminal by the viewer based on the image of the viewer;
(4) A step of generating viewer information by integrating content information displayed on the terminal in addition to the emotion data and the interest data. コンピュータに以下のステップを実行させることを特徴とする、視聴者のマッチング用のコンピュータプログラム：
（１）請求項８に記載の方法で測定された視聴者情報を記憶部に格納するステップ；
（２）他の端末における前記視聴者情報と、前記記憶部に格納された前記視聴者情報とのマッチングの程度を算出するステップ；
（３）前記マッチングの程度と、設定された水準との比較結果を出力するステップ。
A computer program for matching viewers, characterized by causing a computer to perform the following steps:
(1) A step of storing viewer information measured by the method according to claim 8 in a storage unit;
(2) calculating a degree of matching between the viewer information in another terminal and the viewer information stored in the storage unit;
(3) A step of outputting a comparison result between the degree of matching and a set level.
JP2005219382A 2005-07-28 2005-07-28 Viewer information measurement system and matching system employing same Withdrawn JP2007036874A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005219382A JP2007036874A (en) 2005-07-28 2005-07-28 Viewer information measurement system and matching system employing same
PCT/JP2006/314053 WO2007013312A1 (en) 2005-07-28 2006-07-14 Viewer information measurement system and matching system using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005219382A JP2007036874A (en) 2005-07-28 2005-07-28 Viewer information measurement system and matching system employing same

Publications (1)

Publication Number Publication Date
JP2007036874A true JP2007036874A (en) 2007-02-08

Family

ID=37683213

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005219382A Withdrawn JP2007036874A (en) 2005-07-28 2005-07-28 Viewer information measurement system and matching system employing same

Country Status (2)

Country Link
JP (1) JP2007036874A (en)
WO (1) WO2007013312A1 (en)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008102533A1 (en) * 2007-02-20 2008-08-28 Panasonic Corporation View quality judging device, view quality judging method, view quality judging program, and recording medium
JP2011505721A (en) * 2007-11-20 2011-02-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Power saving transparent display
JP2011129997A (en) * 2009-12-15 2011-06-30 Victor Co Of Japan Ltd User information processing program, reproducing program, user information processor, reproducing device, user information processing method, and reproducing method
JP2011239158A (en) * 2010-05-10 2011-11-24 Nippon Hoso Kyokai <Nhk> User reaction estimation apparatus, user reaction estimation method and user reaction estimation program
JP2012089909A (en) * 2010-10-15 2012-05-10 Sony Corp Information processor, and synchronization method and program
JP2012244361A (en) * 2011-05-18 2012-12-10 Nippon Hoso Kyokai <Nhk> Receiver and program
JP2013153349A (en) * 2012-01-25 2013-08-08 Nippon Hoso Kyokai <Nhk> Viewing state recognition apparatus and viewing state recognition program
JP2013183373A (en) * 2012-03-02 2013-09-12 Nippon Telegr & Teleph Corp <Ntt> Device and method for estimating degree of interest and program
JP2014504460A (en) * 2010-09-30 2014-02-20 アフェクティヴァ，インコーポレイテッド Emotion data measurement for web-enabled applications
KR20140089454A (en) * 2013-01-04 2014-07-15 삼성전자주식회사 Method and apparatus for providing emotion information of user in an electronic device
US10219018B2 (en) 2013-12-30 2019-02-26 Samsung Electronics Co., Ltd. Method of controlling display device for providing content and display device performing the same
JP6905775B1 (en) * 2020-10-27 2021-07-21 株式会社Ｔｈｅａｔｅｒ Ｇｕｉｌｄ Programs, information processing equipment and methods

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010094493A (en) * 2008-09-22 2010-04-30 Koichi Kikuchi System for deciding viewer's feeling on viewing scene
US9584793B2 (en) * 2012-04-09 2017-02-28 Intel Corporation Signaling three-dimensional video information in communication networks

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE73311T1 (en) * 1986-04-04 1992-03-15 Applied Science Group Inc METHOD AND DEVICE FOR DEVELOPING THE REPRESENTATION OF WATCHING TIME DISTRIBUTION WHEN PEOPLE WATCH TELEVISION ADVERTISING.
US6931147B2 (en) * 2001-12-11 2005-08-16 Koninklijke Philips Electronics N.V. Mood based virtual photo album
JP4162041B2 (en) * 2002-12-24 2008-10-08 松下電器産業株式会社 Program viewing notification device
JP4335642B2 (en) * 2003-11-10 2009-09-30 日本電信電話株式会社 Viewer reaction information collecting method, user terminal and viewer reaction information providing device used in the viewer reaction information collecting system, and program for creating viewer reaction information used for realizing the user terminal / viewer reaction information providing device

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008205861A (en) * 2007-02-20 2008-09-04 Matsushita Electric Ind Co Ltd Viewing and listening quality determining apparatus, viewing and listening quality determining method, viewing and listening quality determining program, and storage medium
WO2008102533A1 (en) * 2007-02-20 2008-08-28 Panasonic Corporation View quality judging device, view quality judging method, view quality judging program, and recording medium
US8648844B2 (en) 2007-11-20 2014-02-11 Koninklijke Philips N.V. Power saving transmissive display
JP2011505721A (en) * 2007-11-20 2011-02-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Power saving transparent display
KR101572813B1 (en) * 2007-11-20 2015-12-01 코닌클리케 필립스 엔.브이. Power saving transmissive display
JP2011129997A (en) * 2009-12-15 2011-06-30 Victor Co Of Japan Ltd User information processing program, reproducing program, user information processor, reproducing device, user information processing method, and reproducing method
JP2011239158A (en) * 2010-05-10 2011-11-24 Nippon Hoso Kyokai <Nhk> User reaction estimation apparatus, user reaction estimation method and user reaction estimation program
JP2014504460A (en) * 2010-09-30 2014-02-20 アフェクティヴァ，インコーポレイテッド Emotion data measurement for web-enabled applications
JP2012089909A (en) * 2010-10-15 2012-05-10 Sony Corp Information processor, and synchronization method and program
JP2012244361A (en) * 2011-05-18 2012-12-10 Nippon Hoso Kyokai <Nhk> Receiver and program
JP2013153349A (en) * 2012-01-25 2013-08-08 Nippon Hoso Kyokai <Nhk> Viewing state recognition apparatus and viewing state recognition program
JP2013183373A (en) * 2012-03-02 2013-09-12 Nippon Telegr & Teleph Corp <Ntt> Device and method for estimating degree of interest and program
KR20140089454A (en) * 2013-01-04 2014-07-15 삼성전자주식회사 Method and apparatus for providing emotion information of user in an electronic device
KR102091848B1 (en) 2013-01-04 2020-03-20 삼성전자주식회사 Method and apparatus for providing emotion information of user in an electronic device
US10219018B2 (en) 2013-12-30 2019-02-26 Samsung Electronics Co., Ltd. Method of controlling display device for providing content and display device performing the same
JP6905775B1 (en) * 2020-10-27 2021-07-21 株式会社Ｔｈｅａｔｅｒ Ｇｕｉｌｄ Programs, information processing equipment and methods
WO2022091493A1 (en) * 2020-10-27 2022-05-05 株式会社Theater Guild Program, information processing device, and method
JP2022070404A (en) * 2020-10-27 2022-05-13 株式会社Theater Guild Program, information processing device and method

Also Published As

Publication number Publication date
WO2007013312A1 (en) 2007-02-01

Similar Documents

Publication Publication Date Title
JP2007036874A (en) Viewer information measurement system and matching system employing same
US10270972B2 (en) Portable video communication system
JP6200483B2 (en) Image processing system, image processing method, and image processing program
Ribeiro et al. Auditory augmented reality: Object sonification for the visually impaired
US9100667B2 (en) Life streaming
JP4604173B2 (en) Remote conference / education system
RU2598598C2 (en) Information processing device, information processing system and information processing method
US20090241039A1 (en) System and method for avatar viewing
JP2008140271A (en) Interactive device and method thereof
JP2015075908A (en) Emotion information display control device, method of the same, and program
AU2020309094B2 (en) Image processing method and apparatus, electronic device, and storage medium
JP2004062393A (en) Method and device for determining attention
JPWO2009119288A1 (en) Communication system and communication program
JP2011113206A (en) System and method for video image communication
CN109040837A (en) Method for processing video frequency and device, electronic equipment and storage medium
CN109788227A (en) A kind of image processing method and its device, equipment and storage medium
EP1372341A2 (en) Information display system and portable information terminal
Choi et al. Improving the usability of remote eye gaze tracking for human-device interaction
CN109740557A (en) Method for checking object and device, electronic equipment and storage medium
JP4287770B2 (en) Information transmission method, communication apparatus for realizing the method, and program thereof
JP3389102B2 (en) Network conference image processing device
KR100610199B1 (en) Method and system for motion capture avata service
JP2017175544A (en) Conversation system and control method for conversation system
JP2017130046A (en) Visual line match face image composition method, television conference system and program
JP2005123750A (en) Video-map interlocking system and interlocking method thereof

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20081007