JP2019146098A - 視聴履歴記録システム、視聴履歴記録装置、記録方法及びプログラム - Google Patents

Abstract

【課題】コンテンツ中のユーザが注目している対象に関する情報を収集する。【解決手段】視聴履歴記録システムは、所定の再生装置にて再生中のコンテンツを視聴するユーザの顔画像を撮影する撮影手段と、前記撮影手段で撮影した前記ユーザの顔画像と、事前に登録した認証用データとを用いて、前記ユーザを特定する特定手段と、前記ユーザの顔画像から前記コンテンツの表示領域中の前記ユーザが注視している領域を特定する注視領域特定手段と、前記ユーザの特定結果を用いた前記コンテンツの属性別視聴履歴に対応付けて、前記コンテンツを視聴中の前記ユーザが注視している領域の遷移を表した視聴領域遷移情報を作成する作成手段と、を備える。【選択図】図１

Description

本発明は、視聴履歴記録システム、視聴履歴記録装置、記録方法及びプログラムに関する。

視聴率の調査において、視聴者の性別や年齢に応じて、Ｍ１〜Ｍ３、Ｆ１〜Ｆ３、Ｃ、Ｔといったカテゴリーに視聴者を層別し、番組作りや、マーケティングに役立てる手法が採用されている。例えば、広告業界では、２０〜３４歳の男性をＭ１、３５〜４９歳の男性をＭ２、５０以上の男性をＭ３と区別している。女性についても同様に、Ｆ１〜Ｆ３の区分が用いられている。また、４歳から１２歳の児童（Ｃｈｉｌｄ）やティーンエイジャーには性別関係なく、これらの頭文字をとって、Ｃ、Ｔと言う表記が用いられている。

特許文献１に、不特定多数の視聴者の属性を収集して視聴効果を測定することができるという情報処理システムが開示されている。同文献によると、無線通信装置は、ユーザと関連付けられたユーザデータを記憶している記憶部と、前記記憶部に記憶している前記ユーザデータの一部又は全部を含む視聴者データを送信するデータ送信部と、を備える。そして、情報処理装置側で、前記視聴者データに基づいて視聴装置により再生されたコンテンツの視聴効果の解析を行うと記載されている。

特許文献２には、複数の視聴者に応じて適切と思われるユーザー特定処理をすることができるテレビジョン受信装置が開示されている。具体的には、リモートコントローラに対する操作の特徴から視聴者を特定することや過去の番組の視聴傾向から視聴者を特定することが開示されている。

特許文献３には、事前のキャリブレーションを行うことなく、ユーザのコンテンツに対する集中度の度合いを集中度として算出できるコンテンツ表示装置が開示されている。

特開２０１０−４１１９４号公報 特開２００８−２７７９９５号公報 特開２０１６−１１１６１２号公報

以下の分析は、本発明によって与えられたものである。上記特許文献１、２のように、ユーザを特定して、視聴率の分析を行う構成が知られているが、視聴者が何を目的にコンテンツを視聴しているのか、といった踏み込んだ分析ができないという問題点がある。例えば、視聴者が、テレビジョン装置の画面上に映し出された何に注目しているか、特許文献１、２のいずれをもってしても判別することは困難である。

本発明は、コンテンツ中のユーザが注目している対象に関する情報を収集し、マーケティングやコンテンツ作りに役立てることのできる視聴履歴記録システム、視聴履歴記録装置、記録方法及びプログラムを提供することを目的とする。

第１の視点によれば、所定の再生装置にて再生中のコンテンツを視聴するユーザの顔画像を撮影する撮影手段と、前記撮影手段で撮影した前記ユーザの顔画像と、事前に登録した認証用データとを用いて、前記ユーザを特定する特定手段と、前記ユーザの顔画像から前記コンテンツの表示領域中の前記ユーザが注視している領域を特定する注視領域特定手段と、前記ユーザの特定結果を用いた前記コンテンツの属性別視聴履歴に対応付けて、前記コンテンツを視聴中の前記ユーザが注視している領域の遷移を表した視聴領域遷移情報を作成する作成手段と、を備える視聴履歴記録システムが提供される。

第２の視点によれば、視聴履歴記録システムにおいて、再生装置とともに配置される視聴履歴記録装置が提供される。この視聴履歴記録装置は、例えば、セットトップボックスと呼ばれる装置や、コンテンツ再生装置やテレビジョン装置の周辺機器といった形態を採ることができる。

第３の視点によれば、プロセッサと、メモリと、所定の再生装置にて再生中のコンテンツを視聴するユーザの顔画像を撮影する撮影手段と、を備えた視聴履歴記録装置が、前記撮影手段で撮影した前記ユーザの顔画像と、事前に登録した認証用データとを用いて、前記ユーザを特定し、前記ユーザの顔画像から前記コンテンツの表示領域中の前記ユーザが注視している領域を特定し、前記ユーザの特定結果を用いた前記コンテンツの属性別視聴履歴に対応付けて、前記コンテンツを視聴中の前記ユーザが注視している領域の遷移を表した視聴領域遷移情報を作成すること、を特徴とするコンテンツ視聴履歴の記録方法が提供される。本方法は、上記した視聴履歴記録システムや視聴履歴記録装置などに代表される特定の機械に結びつけられている。

第４の視点によれば、所定の再生装置にて再生中のコンテンツを視聴するユーザの顔画像を撮影する撮影手段を備えた視聴履歴記録装置に搭載され、プロセッサと、メモリとを備えるコンピュータに、前記撮影手段で撮影した前記ユーザの顔画像と、事前に登録した認証用データとを用いて、前記ユーザを特定する処理と、前記ユーザの顔画像から前記コンテンツの表示領域中の前記ユーザが注視している領域を特定する処理と、前記ユーザの特定結果を用いた前記コンテンツの属性別視聴履歴に対応付けて、前記コンテンツを視聴中の前記ユーザが注視している領域の遷移を表した視聴領域遷移情報を作成する処理と、を実行させるプログラムが提供される。なお、このプログラムは、コンピュータが読み取り可能な（非トランジトリーな）記憶媒体に記録することができる。即ち、本発明は、コンピュータプログラム製品として具現することも可能である。

本発明によれば、コンテンツ中のユーザが注目している対象に関する情報を収集し、マーケティングやコンテンツ作りに役立てることが可能となる。

本発明の一実施形態の構成を示す図である。 本発明の第１の実施形態の視聴履歴記録装置の構成を示す図である。 本発明の第１の実施形態の視聴履歴記録装置の動作（視聴履歴記録）を説明するための図である。 本発明の第１の実施形態の視聴履歴記録装置の動作（注視領域特定）を説明するための図である。 本発明の第１の実施形態の視聴履歴記録装置によって記録されるユーザの注視領域の遷移データの一例を説明するための図である。 本発明の第１の実施形態の視聴履歴記録装置による効果を説明するための図である。 本発明の第２の実施形態の視聴履歴記録装置の構成を示す図である。 本発明の第３の実施形態の視聴履歴記録装置の構成を示す図である。 本発明の第３の実施形態の視聴履歴記録装置の動作（表情判定）を説明するための図である。 本発明の第３の実施形態の視聴履歴記録装置によって記録されるユーザの表情の遷移データの一例を説明するための図である。 本発明の第３の実施形態の視聴履歴記録装置の変形構成を示す図である。 本発明の第４の実施形態の視聴履歴記録装置の構成を示す図である。 本発明の第４の実施形態の視聴履歴記録装置の動作（姿勢判定）を説明するための図である。 本発明の第４の実施形態の視聴履歴記録装置によって記録されるユーザの姿勢の遷移データの一例を説明するための図である。 本発明の第４の実施形態の視聴履歴記録装置の変形構成を示す図である。 本発明の視聴履歴記録装置を構成するコンピュータの構成を示す図である。

はじめに本発明の一実施形態の概要について図面を参照して説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、本発明を図示の態様に限定することを意図するものではない。また、以降の説明で参照する図面等のブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号（データ）の流れを模式的に示すものであり、双方向性を排除するものではない。また、以下の説明において、「Ａ及び／又はＢ」は、Ａ及びＢの少なくともいずれかという意味で用いる。

本発明は、その一実施形態において、図１に示すように、撮影手段１１と、特定手段１２と、作成手段１３ａと、注視領域特定手段１４と、を備えた視聴履歴記録システム１０にて実現できる。なお、視聴履歴記録システム１０の上記した各手段は、セットトップボックス等の単一の装置に配置されていてもよいし、一部の手段のコンテンツ再生装置やネットワーク側に配置されていてもよい。即ち、本発明の視聴履歴記録システム１０は、複数の装置を組み合わせて構成することもできる。

より具体的には、撮影手段１１は、所定の再生装置にて再生中のコンテンツを視聴するユーザの顔画像を撮影するカメラなどにより構成される。

特定手段１２は、上記撮影手段１１で撮影した前記ユーザの顔画像と、事前に登録した認証用データとを用いて、前記ユーザを特定する。例えば、特定手段１２は、ユーザの顔画像から特徴量を計算する。そして、認証用データの中から、前記計算した特徴量に最も近い特徴（即ち、顔が似ている）を持つユーザを特定する。

そして、注視領域特定手段１４は、前記ユーザの顔画像から前記コンテンツの表示領域中の前記ユーザが注視している領域（以下、「注視領域」とも言う。）を特定する。注視領域特定手段１４は、前記ユーザの顔画像からユーザの視線の向きを推定する。この視線の向きの推定方法としては、種々の方法を採用できるが、例えば、撮影したユーザの顔画像における各器官の位置（例えば、目）と、認証用データから事前に計算した顔の各器官の位置とのずれ量などから推定することができる（特許文献３参照）。もちろん、ユーザの着用しているメガネやその他ウェアラブルセンサなどから、ユーザの顔の向きが推定できる場合には、これらの機器から取得したデータを用いてユーザの顔の向きを推定してもよい。

そして、注視領域特定手段１４は、前記推定したユーザの視線の向きと、撮影手段と再生装置との相対位置から、ユーザが注視している領域を特定する。なお、ユーザが注視している領域は、おおよその範囲であってもよく、ごく簡単には、注視領域特定手段１４は、コンテンツの左側、中央、右側といった３領域のいずれを注視しているかを特定する形態でもよい。またより望ましい形態において、注視領域特定手段１４が、左上、左、左下、上、中央、下、右上、右、右下というように、再生装置のコンテンツの表示領域を９分割した領域のいずれかの注視領域として特定してもよい。もちろん、注視領域特定手段１４が、座標情報などの形態で、ユーザの注視領域を特定する形態も採用可能である。

作成手段１３ａは、前記ユーザの特定結果を用いた前記コンテンツの属性別視聴履歴に対応付けて、前記コンテンツを視聴中の前記ユーザが注視している領域の遷移を表した視聴領域遷移情報を作成する。

以上のように構成される視聴履歴記録システム１０は、前記コンテンツの属性別視聴履歴２０に加えて、前記コンテンツを視聴中の前記ユーザの注視領域を視聴領域遷移情報として収集する。なお、この視聴領域遷移情報は、図１に示すように、注視領域遷移情報２１という属性別視聴履歴２０とは、別のデータとして記録してもよいし、コンテンツの属性別視聴履歴の付随データとして記録してもよい。

以上のような実施形態によれば、視聴率に代表される視聴履歴情報に加えて、コンテンツ中の、ユーザが注目している対象に関する情報を収集し、マーケティングやコンテンツ作りに役立てることが可能となる。

例えば、特許文献１、２によれば、ある番組の視聴率に、Ｍ１層の視聴率が寄与していることや、逆にＦ３層には全く視聴されていないといった情報が得られる。本発明によれば、さらに踏み込んで、番組に出演している出演者が大きく寄与している場合や、番組の内容自体に人気がある場合といった情報を得ることが可能となる。

また、より望ましい形態において、注視領域特定手段１４が、ユーザが各領域を注視していた時間や、その度合いを記録できるようにすることが好ましい。このようにすることで、ユーザにより長く注視されていた領域やユーザの視線の動きを把握することが可能となる。また、この注視の度合いを上記領域別に、カラーや濃淡で表したマップの形態で提示してもよい。さらに、ユーザの属性や視線の動き具合に応じて、上記注視領域を記録する領域の大きさを変えてもよい。例えば、ユーザの視線の動きが少ない、即ち、ユーザがぼんやり画面を見ているような場合には、左側、中央、右側の３領域で視線を記録し、それ以外の場合には、９分割するというように動的に記録粒度、即ち、記録する領域の大きさを変えてもよい。

［第１の実施形態］
続いて、本発明をテレビジョン放送の視聴率調査に適用した第１の実施形態について図面を参照して詳細に説明する。図２は、本発明の第１の実施形態の視聴履歴記録装置の構成を示す図である。図２を参照すると、撮影手段１１と、特定手段１２と、記録手段１３と、注視領域特定手段１４と、認証用データ記憶手段１６と、を備えた視聴履歴記録装置１０ａと、ネットワーク上のストレージ１５とを接続させた構成が示されている。なお、このような視聴履歴記録装置は、例えば、セットトップボックス（ＳＴＢ）形態はもちろんとして、スマートスピーカー（ＡＩスピーカー）等の小型情報家電の形態を採ることもできる。

撮影手段１１は、所定のテレビジョン受像機に表示されている番組コンテンツを視聴中のユーザの顔画像を撮影するカメラなどにより構成される。なお、ユーザの視線の向きを推定する観点では、撮影手段１１は、テレビジョン受像機の表示面に対し、予め定めた位置に固定されていることが好ましい。

特定手段１２は、上記撮影手段１１で撮影した前記ユーザの顔画像と、認証用データ記憶手段１６に記憶されている認証用データとを用いて、前記ユーザを特定する。例えば、特定手段１２は、ユーザの顔画像から特徴量を計算する。そして、認証用データの中から、前記計算した特徴量に最も近い特徴（即ち、顔が似ている）を持つユーザを特定する。認証用データは、例えば、ユーザの顔画像の特徴量と、ユーザの属性に関する情報とを対応付けたデータによって構成される。本実施形態では、ユーザの属性に関する情報は、上述したＭ１〜Ｍ３、Ｆ１〜Ｆ３、Ｃ、Ｔの８種類のユーザ層を表すカテゴリーであるものとして説明する。特定手段１２は、撮影手段１１により撮影したユーザの顔画像を用いて、認証用データの登録を受け付け、認証用データ記憶手段１６に登録する機能を備えていることが好ましい。より望ましくは、特定手段１２は、撮影手段１１により撮影したユーザの顔画像から、上記ユーザ層を表すカテゴリーを自動判定する機能を備えていることが好ましい。

注視領域特定手段１４は、撮影手段１１にて撮影されたユーザの顔画像から番組コンテンツを視聴中のユーザが注視している領域（以下、「注視領域」とも言う。）を特定する。注視領域の特定方法は、上記視聴履歴記録システム１０の注視領域特定手段１４と同様であるため、説明を省略する。

記録手段１３は、テレビジョン受像機から送られる選局情報と、前記特定したユーザの前記コンテンツの視聴履歴と、前記特定したユーザの属性に関する情報と、を対応付けた属性別視聴履歴をストレージ１５に記録する。また、記録手段１３は、注視領域特定手段１４にて特定された注視領域の遷移をテレビジョン受像機から送られる選局情報と対応付けて注視領域遷移情報としてストレージ１５に記録する。従って、本実施形態では、記録手段１３が、上記した作成手段１３ａとして機能する。

ストレージ１５は、インターネット又は視聴率分析業者のネットワーク上に配置され、属性別視聴履歴と、注視領域遷移情報の格納先として使用される。また、このストレージ１５が、他の視聴履歴記録装置の属性別視聴履歴と注視領域遷移情報の格納先として使用されることで、属性別視聴履歴と注視領域遷移情報が収集される。そして、ストレージ１５に蓄積されたデータは、所定の分析サーバ等の外部ノードに提供されて、視聴率分析に用いられる。

続いて、本実施形態の動作について図面を参照して詳細に説明する。図３は、本発明の第１の実施形態の視聴履歴記録装置の動作（視聴履歴記録）を説明するための図である。以下の説明では、事前にユーザＦ２、Ｍ１、Ｍ３とその顔画像が特定手段１２に登録され、このうちのユーザＭ１がテレビジョン受像機にて視聴を開始したものとして説明する。

まず、ユーザＭ１がテレビジョン受像機にて視聴を開始すると、撮影手段１１がユーザＭ１の顔画像を撮影する（図３の１１）。

次に、特定手段１２が、認証用データ記憶手段１６に記憶されている認証用データを参照して、撮影手段１１にて撮影されたユーザＭ１の顔画像から、視聴を開始したユーザがユーザＭ１であることを特定する（図３の１２）。

次に、記録手段１３が、前記特定されたユーザの属性と、選局情報とを対応付けて、属性別視聴履歴を作成し、ストレージ１５への記録を開始する（図３の１３）。

図３の下段は、属性別視聴履歴の一例を示している。図３の下段の例では、視聴開始日時、ユーザ属性、視聴コンテンツ（選局情報）及び視聴終了日時を対応付けた属性別視聴履歴が示されている。このようなデータを収集することで、ある番組の視聴率のみならず、その視聴率の属性別内訳を求めることが可能となる。

続いて、本実施形態の視聴履歴記録装置１０ａによる注視領域の特定処理について説明する。図４は、本実施形態の視聴履歴記録装置１０ａの注視領域特定処理を説明するための図である。

図４を参照すると、まず、撮影手段１１が、注視領域特定手段１４に撮影画像を送信する（ステップＳ００１）。ここで、注視領域特定手段１４に対して送信する撮影画像は、図３の属性別視聴履歴の作成の際に、ユーザを特定するために撮影されたユーザの顔画像であってもよい。もちろん、注視領域特定手段１４による注視領域特定のために、撮影手段１１が別途撮影した画像であってもよい。

次に、注視領域特定手段１４は、撮影手段１１から受信したユーザの顔画像からユーザの位置及び視線の向きを特定する（ステップＳ００２）。ここで、ユーザの位置は、ユーザの顔画像の位置や大きさから計算することができる。また、ユーザの視線の向きは、ユーザの顔画像における各器官の位置と、認証用データから事前に計算した顔の各器官の位置とのずれ量などから推定することができる（特許文献３参照）。

次に、注視領域特定手段１４は、テレビジョン受像機の表示画面におけるユーザの注視領域を計算する（ステップＳ００３）。このユーザの注視領域は、前記推定したユーザの視線の向きと、撮影手段１１とテレビジョン受像機との相対位置に基づいて計算することができる。

そして、注視領域特定手段１４は、記録手段１３に対して、前記計算したユーザの注視領域を送信する（ステップＳ００４）。

記録手段１３は、注視領域特定手段１４から受信したユーザの注視領域の遷移を属性別視聴履歴の付属データとして順次記録する（ステップＳ００５）。ユーザによる番組視聴が継続している間、撮影手段１１、注視領域特定手段１４及び記録手段１３が、上記ステップＳ００１〜Ｓ００５の処理を繰り返すことでユーザの注視領域の遷移データが作成される。また、このように、番組視聴と平行してユーザの注視領域の遷移データを記録することで、属性別視聴履歴の時刻に対応したユーザの注視領域の遷移データが作成されることになる。

図５は、上記視聴履歴記録装置１０ａによって記録されるユーザの注視領域の遷移データの一例を示す。図５の例では、番組視聴中のユーザの注視領域の変化を記録したデータが、注視領域遷移として、属性別視聴履歴情報に対応付けて、記録されている。なお、注視領域は、撮影手段１１からユーザの顔画像を受け取る度に記録するのではなく、注視領域に変化があった場合にのみ、その変化を記録するようにしてもよい。

以上のような注視領域の遷移データを多数集計することにより、外部の任意の分析サーバ等に、以下のような分析を行わせることができる。例えば、分析サーバは、図６に示すように、２０１８年２月１日 １８：００放送の各シーンについて、注目するユーザ層（属性）の最多注視領域を集計し、番組の内容と突合することで、その番組のどの部分に、注目するユーザ層（属性）の視線が集まっていたかを把握することができるデータを作製する。

例えば、図６の例では、番組中の１８：０７からゲスト２名が登場している。その際に、Ｍ１層の視線は画面に右側に集中していたことがわかる。これにより、ゲスト２名中のＡさんに視線が集中していたことがわかる。同様に、番組中の１８：１５からゲストによる番組宣伝が始まっているが、その際のＭ１層の最多注視領域は画面下方である。これにより、少なくともＭ１層に対して、ゲストによる番組宣伝の効果が十分にあったことがわかる。また、同様に、番組中の１８：２０からのＣＭ（Ｃｏｍｍｅｒｃｉａｌ Ｍｅｓｓａｇｅ）の期間におけるＭ１層の最多注視領域は画面左側である。これにより、例えば、画面に映し出されていた３商品中の左側の商品にＭ１が興味を持っていることがわかる。

さらに、上記同様の分析を別のユーザ層においても行い、比較することで、各ユーザ層に対し、訴求効果の高い出演者や演出を推測することが可能となる。これにより、例えば、番組スポンサーの主要顧客の属性を考慮した番組やＣＭを作成することが可能となる。

また、上記した実施形態では、視聴履歴記録装置１０ａの少なくとも撮影手段１１、特定手段１２、及び、注視領域特定手段１４は、前記ユーザの宅内に配置されている。そして、記録手段１３は、個々のユーザの情報がユーザ層という情報に変換（匿名化）された属性別視聴履歴情報としてストレージ１５に記録する。そして、上記視聴率の分析等は、この匿名化されたデータを保管するストレージ１５にアクセスして行われる。従って、ユーザの顔画像やこれと紐づいた視聴履歴などのセンシティブな個人情報が前記ユーザの外部に流出することは無い。

なお、上記した例では、ユーザが一人でコンテンツの視聴を開始し、その注視領域の記録が行われる例を挙げて説明したが、複数のユーザがコンテンツの視聴を開始した場合においても、同様の手順で、それぞれのユーザについて、特定を行い属性別視聴履歴を記録することもできる。また、この場合、それぞれのユーザについて、注視している領域の遷移を記録することになる。

［第２の実施形態］
続いて、事前の認証用データの登録を省略可能とした第２の実施形態について図面を参照して詳細に説明する。図７は、本発明の第２の実施形態の視聴履歴記録装置の構成を示す図である。

図７を参照すると、第１の実施形態における特定手段１２及び認証用データ記憶手段１６の組み合わせの代わりに、推定手段１２ａ及びユーザ属性推定エンジン１６ａを備えた視聴履歴記録装置１０ｂの構成が示されている。その他の構成は、第１の実施形態と同様であるので、以下、その相違点を中心に説明する。

推定手段１２ａは、ユーザ属性推定エンジン１６ａを用いて、ユーザの属性を推定する。例えば、推定手段１２ａは、上記撮影手段１１で撮影した前記ユーザの顔画像に所定の前処理を行ってから、ユーザ属性推定エンジン１６ａに送る。ユーザ属性推定エンジン１６ａは、推定手段１２ａから受け取ったユーザの顔画像の髪型、皺、表情などの特徴に基づいて、ユーザの属性として、性別と年齢層とを推定する。ユーザ属性推定エンジン１６ａの具体例としては、出願人らによって商用化されているＦｉｅｌｄＡｎａｌｙｓｔ（登録商標）等を用いることができる。

ユーザ認証において推定手段１２ａがユーザの属性を推定する点を除いて、本実施形態の基本的な動作は第１の実施形態と同様であるため説明を省略する。

上記説明したとおり、本実施形態は、第１の実施形態と比較して、事前に認証用データを用意しなくてよいという利点がある。この利点は、不特定多数のユーザの属性別視聴履歴データを取得することができることを意味する。これにより、データ数が少ない性別や年齢層の視聴履歴データを効率よく収集することも可能となる。

［第３の実施形態］
続いて、視聴履歴に加えて、コンテンツを視聴中のユーザの表情の遷移を収集可能とした第３の実施形態について図面を参照して詳細に説明する。図８は、本発明の第３の実施形態の視聴履歴記録装置の構成を示す図である。

図８を参照すると、第１の実施形態の構成に、表情判定手段１７が追加された視聴履歴記録装置１０ｃの構成が示されている。その他の構成は、第１の実施形態と同様であるので、以下、その相違点を中心に説明する。

表情判定手段１７は、撮影手段１１で撮影した前記ユーザの顔画像からユーザの表情を判定する。表情判定手段１７における表情の判定手法としては、種々の方法を採用できる。例えば、該当ユーザの認証用データにおける顔の各器官の形や位置を無表情とし、その表情からの各器官の変化や移動量を用いて表情を判定する方法を採ることができる。また、別の方法として、予め登録された「笑顔」、「悲しい時の顔」、「無表情」といった表情パターンと、ユーザの顔画像から抽出された特徴量とを照合してユーザの表情を判定する方法も採ることができる。また、このときに、事前にユーザ毎に、「笑顔」、「悲しい時の顔」、「無表情」といった顔画像を用意して照合を行っても良い。これにより、ユーザ毎の表情の癖を捉え、精度良く表情を判定することが可能となる。

続いて、本実施形態の視聴履歴記録装置１０ｃによる表情の判定処理について説明する。図９は、本実施形態の視聴履歴記録装置１０ｃの表情判定処理を説明するための図である。

図９を参照すると、まず、撮影手段１１が、表情判定手段１７に撮影画像を送信する（ステップＳ００１）。ここで、表情判定手段１７に対して送信する撮影画像は、図３の属性別視聴履歴の作成の際に、ユーザを特定するために撮影されたユーザの顔画像であってもよい。もちろん、表情判定手段１７による表情判定のために、撮影手段１１が別途撮影した画像であってもよい。

次に、表情判定手段１７は、撮影手段１１から受信したユーザの顔画像からユーザの表情を判定する（ステップＳ１０２）。

次に、表情判定手段１７は、記録手段１３に対して、前記判定したユーザの表情を送信する（ステップＳ１０４）。

記録手段１３は、表情判定手段１７から受信したユーザの表情の遷移を属性別視聴履歴の付属データとして順次記録する（ステップＳ００５）。ユーザによる番組視聴が継続している間、撮影手段１１、表情判定手段１７及び記録手段１３が、上記ステップＳ００１〜Ｓ００５の処理を繰り返すことでユーザの表情の遷移データが作成される。本実施形態でも、番組視聴と平行してユーザの表情の遷移データを記録することで、属性別視聴履歴の時刻に対応したユーザの表情の遷移データが作成されることになる。従って、本実施形態では、記録手段１３が、上記したユーザの表情の遷移データの作成手段としても機能する。

図１０は、上記視聴履歴記録装置１０ｃによって記録されるユーザの表情の遷移データの一例を示す。図１０の例では、番組視聴中のユーザの表情の変化を記録したデータが、表情遷移として、属性別視聴履歴情報に対応付けて、記録されている。なお、ユーザの表情に関する情報は、撮影手段１１からユーザの顔画像を受け取る度に記録するのではなく、表情に変化があった場合にのみ、その変化を記録するようにしてもよい。

以上のような表情の遷移データを多数集計することにより、以下のような分析を行うことができる。例えば、２０１８年２月２日 ２１：００の放送についてユーザ層Ｆ２に属するユーザから図１０に示すような表情の変化が得られたとする。同様のデータを、他のユーザ層Ｆ２に属するユーザからも収集することで、その番組の各シーンにおいて、ターゲットとするユーザ層から、製作者が意図した反応があったかがどうかを把握することできる。

また、上記第１の実施形態と同様に、ユーザの注視領域に関する情報と組み合わせることで、より詳細な分析を行うことができる。例えば、図６のように、番組に出演しているゲストに視線が集中していることに加えて、ユーザがどのような表情をしていたかを把握することが可能となる。また、ゲストに関心のない層が、どのような表情をしていたかといった情報も集めることが可能となる。

なお、上記した実施形態では、図８に示すように、視聴履歴記録装置１０ｃが注視領域特定手段１４を備えているものとして説明したが、図１１に示すように、注視領域特定手段１４を省略した構成も採用可能である。

［第４の実施形態］
続いて、視聴履歴に加えて、コンテンツを視聴中のユーザの姿勢の遷移を収集可能とした第４の実施形態について図面を参照して詳細に説明する。図１２は、本発明の第４の実施形態の視聴履歴記録装置の構成を示す図である。

図１２を参照すると、第１の実施形態の構成に、姿勢判定手段１８が追加された視聴履歴記録装置１０ｅの構成が示されている。その他の構成は、第１の実施形態と同様であるので、以下、その相違点を中心に説明する。

姿勢判定手段１８は、撮影手段１１で撮影した前記ユーザの顔画像を含む画像からユーザの姿勢を判定する。姿勢判定手段１８における表情の判定手法としては、種々の方法を採用できる。例えば、該当ユーザの顔画像が横に倒れていれば、ユーザが横になって視聴していると判定してもよい。また、別の方法として、予め登録された「横になる」、「腕組みして視聴」、「ソファ等に座りリラックスして視聴」といった姿勢パターンと、ユーザの顔画像を含む画像から抽出された情報とを照合してユーザの姿勢を判定する方法も採ることができる。また、このときに、事前にユーザ毎に、「横になる」、「腕組みして視聴」、「ソファ等に座りリラックスして視聴」といったユーザ毎の姿勢の標準画像を用意して照合を行っても良い。これにより、ユーザ毎の姿勢の癖を捉え、精度良く姿勢を判定することが可能となる。

続いて、本実施形態の視聴履歴記録装置１０ｅによる姿勢の判定処理について説明する。図１３は、本実施形態の視聴履歴記録装置１０ｅの姿勢判定処理を説明するための図である。

図１３を参照すると、まず、撮影手段１１が、姿勢判定手段１８に撮影画像を送信する（ステップＳ００１）。ここで、姿勢判定手段１８に対して送信する撮影画像は、図３の属性別視聴履歴の作成の際に、ユーザを特定するために撮影されたユーザの顔画像であってもよい。もちろん、姿勢判定手段１８による表情判定のために、撮影手段１１が別途撮影した画像であってもよい。

次に、姿勢判定手段１８は、撮影手段１１から受信したユーザの顔画像を含む画像からユーザの姿勢を判定する（ステップＳ２０２）。

次に、姿勢判定手段１８は、記録手段１３に対して、前記判定したユーザの姿勢を送信する（ステップＳ２０４）。

記録手段１３は、姿勢判定手段１８から受信したユーザの姿勢の遷移を属性別視聴履歴の付属データとして順次記録する（ステップＳ００５）。ユーザによる番組視聴が継続している間、撮影手段１１、姿勢判定手段１８及び記録手段１３が、上記ステップＳ００１〜Ｓ００５の処理を繰り返すことでユーザの姿勢の遷移データが作成される。本実施形態でも、番組視聴と平行してユーザの姿勢の遷移データを記録することで、属性別視聴履歴の時刻に対応したユーザの姿勢の遷移データが作成されることになる。従って、本実施形態では、記録手段１３が、上記したユーザの姿勢の遷移データの作成手段としても機能する。

図１４は、上記視聴履歴記録装置１０ｅによって記録されるユーザの姿勢の遷移データの一例を示す。図１４の例では、番組視聴中のユーザの姿勢の変化を記録したデータが、姿勢遷移として、属性別視聴履歴情報に対応付けて、記録されている。なお、ユーザの姿勢に関する情報は、撮影手段１１からユーザの顔画像を受け取る度に記録するのではなく、表情に変化があった場合にのみ、その変化を記録するようにしてもよい。

以上のような姿勢の遷移データを多数集計することにより、以下のような分析を行うことができる。例えば、２０１８年２月２日 ２１：００の放送についてユーザ層Ｆ２に属するユーザから図１４に示すような姿勢の変化が得られたとする。同様のデータを、他のユーザ層Ｆ２に属するユーザからも収集することで、その番組のターゲットとするユーザ層が、どのような姿勢で番組を視聴していたかを把握することできる。

また、上記第１の実施形態と同様に、ユーザの注視領域に関する情報と組み合わせることで、より詳細な分析を行うことができる。例えば、図６のように、番組に出演しているゲストに視線が集中していることに加えて、ユーザがどのような姿勢をしていたかを把握することが可能となる。また、ゲストに関心のない層が、どのような姿勢をしていたかといった情報も集めることが可能となる。

なお、上記した実施形態では、図１２に示すように、視聴履歴記録装置１０ｅが注視領域特定手段１４を備えているものとして説明したが、図１５に示すように、注視領域特定手段１４を省略した構成も採用可能である。

以上、本発明の各実施形態を説明したが、本発明は、上記した実施形態に限定されるものではなく、本発明の基本的技術思想を逸脱しない範囲で、更なる変形・置換・調整を加えることができる。例えば、各図面に示したネットワーク構成、各要素の構成、メッセージの表現形態は、本発明の理解を助けるための一例であり、これらの図面に示した構成に限定されるものではない。例えば、上記した実施形態では、ユーザを、その性別や年齢に応じて、Ｍ１〜Ｍ３、Ｆ１〜Ｆ３、Ｃ、Ｔの８つのカテゴリーに分けるものとして説明したが、ユーザのカテゴリー分けは、これに限られるものではない。ごく簡単には、男性、女性、成人、未成年といった大まかな区分けであってもよい。

また上記した各実施形態では、地上波テレビジョン放送の視聴率調査を想定した例を挙げて説明したが、その他の動画コンテンツ全般におけるユーザの反応を調査する用途に適用することが可能である。このような動画コンテンツとしては、ケーブルテレビ、衛星放送、オンデマンド配信コンテンツなどが挙げられる。また、本発明はこのようなコンテンツ制作事業者に限らず、例えば、ある動画コンテンツを投稿したユーザに、視聴者の反応を見せるためのツールとして用いることもできる。

また、上記した各実施形態は、適宜組み合わせることができる。例えば、第３の実施形態と、第４の実施形態とを組み合わせて、番組視聴中のユーザの表情と姿勢の遷移を記録する視聴履歴記録装置を構成することが可能である。同様に、第２の実施形態の視聴履歴記録装置１０ｂをベースに、第３の実施形態と、第４の実施形態の一方又は双方を組み合わせた形態も採用可能である。

さらに、上記した各実施形態では、番組視聴中のユーザの表情と姿勢の遷移を記録するものとして説明したが、その他ユーザの顔画像を含む画像から得られる身体的情報を取り出して、視聴履歴データの補助データとして記録してもよい。このような身体的特徴としては、例えば、眼鏡の着用有無、髪型、疲労の度合い、肌の荒れ具合などの顔画像から直接得られる情報を挙げることができる。また、顔画像やその一部映りこんだ首周りの画像からユーザが体系や服装などを取り出して、視聴履歴データの補助データとして記録してもよい。この場合、視聴履歴記録装置は、ユーザの身体的特徴を特定する身体的特徴特定手段を備えることになる。

これにより、例えば、あるコンテンツに対する好意的な反応のあった層に対して、商品を売り込みたい企業からスポンサーを募ったり、個別にダイレクトメールを送信したり、連動型広告に反映させたりといった活動をより効果的に行うことが可能となる。

また、上記した第１〜第４の実施形態に示した手順は、視聴履歴記録装置１０ａ〜１０ｆとして機能するコンピュータ（図１６の９０００）に、視聴履歴記録装置１０ａ〜１０ｆとしての機能を実現させるプログラムにより実現可能である。このようなコンピュータは、図１６のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１０、通信インタフェース９０２０、メモリ９０３０、補助記憶装置９０４０を備える構成に例示される。すなわち、図１６のＣＰＵ９０１０にて、ユーザの顔画像の前処理プログラムや注視領域の特定プログラムを実行し、その補助記憶装置９０４０等に保持された各計算パラメーターの更新処理を実施させればよい。

即ち、上記した各実施形態に示した視聴履歴記録装置１０ａ〜１０ｆの各部（処理手段、機能）は、これらの装置に搭載されたプロセッサに、そのハードウェアを用いて、上記した各処理を実行させるコンピュータプログラムにより実現することができる。

最後に、本発明の好ましい形態を要約する。
［第１の形態］
（上記第１の視点による視聴履歴記録システム参照）
［第２の形態］
上記した視聴履歴記録システムにおいて、
前記ユーザの属性は、少なくとも、ユーザの性別と年齢層を含み、
前記作成手段は、前記ユーザの性別と年齢層別に、前記視聴領域遷移情報を作成する構成を採ることができる。
［第３の形態］
上記した視聴履歴記録システムにおいて、
前記視聴領域遷移情報は、所定のストレージに格納され、視聴率分析に用いられる。
［第４の形態］
上記した視聴履歴記録システムの前記撮影手段、前記特定手段、及び、前記注視領域特定手段は、前記ユーザの宅内に配置され、
前記所定のストレージが、外部からの要求に応じて、前記コンテンツの属性別視聴履歴及び前記コンテンツを視聴中の前記ユーザが注視している領域の遷移を提供する構成を採ることができる。
［第５の形態］
前記視聴領域遷移情報は、前記ユーザが視聴したコンテンツと対応付けて提供されてもよい。
［第６の形態］
上記した視聴履歴記録システムは、前記視聴領域遷移情報を用いて、前記ユーザが注視していた時間又は視線の動きに基づいて、注視している度合いを示すマップ情報を提供することも好ましい。
［第７の形態］
上記した視聴履歴記録システムにおいて、
前記作成手段は、前記ユーザの視線の動きに基づいて、記録する領域の大きさを変更して視聴領域遷移情報を作成することも好ましい。
［第８の形態］
前記撮影手段で撮影した前記ユーザの顔画像と、事前に登録した認証用データとを用いて、前記ユーザを特定する特定手段に代えて、
前記撮影手段で撮影した前記ユーザの顔画像に基づいて、前記ユーザの属性を推定する推定手段を備える構成も採用可能である。
［第９の形態］
上記した視聴履歴記録システムにおいて、
さらに、
前記ユーザの顔画像から前記コンテンツを視聴中の前記ユーザの表情を判定する表情判定手段と、
前記ユーザの性別と年齢層別に、前記ユーザの表情の遷移を表した表情遷移情報を作成する第２の作成手段と、を備える構成も採用可能である。
［第１０の形態］
上記した視聴履歴記録システムにおいて、
前記表情遷移情報は、前記ユーザが視聴したコンテンツと対応付けて提供されてもよい。
［第１１の形態］
上記した視聴履歴記録システムにおいて、
さらに、
前記ユーザの顔画像から前記コンテンツを視聴中の前記ユーザの姿勢を判定する姿勢判定手段と、
前記ユーザの性別と年齢層別に、前記ユーザの姿勢の遷移を表した姿勢遷移情報を作成する第３の作成手段と、を備える構成も採用可能である。
［第１２の形態］
上記した視聴履歴記録システムにおいて、
前記姿勢遷移情報は、前記ユーザが視聴したコンテンツと対応付けて提供されてもよい。
［第１３の形態］
（上記第２の視点による視聴履歴記録装置参照）
［第１４の形態］
（上記第３の視点による視聴履歴の記録方法参照）
［第１５の形態］
（上記第４の視点によるプログラム参照）
なお、上記第１３〜第１５の形態は、第１の形態と同様に、第２〜第１２の形態に展開することが可能である。

なお、上記の特許文献の各開示を、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の開示の枠内において種々の開示要素（各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合わせ、ないし選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。

１０ 視聴履歴記録システム
１０ａ〜１０ｆ 視聴履歴記録装置
１１ 撮影手段
１２ 特定手段
１２ａ 推定手段
１３ 記録手段
１３ａ 作成手段
１４ 注視領域特定手段
１５ ストレージ
１６ 認証用データ記憶手段
１６ａ ユーザ属性推定エンジン
１７ 表情判定手段
１８ 姿勢判定手段
２０ 属性別視聴履歴
２１ 注視領域遷移情報
９０００ コンピュータ
９０１０ ＣＰＵ
９０２０ 通信インタフェース
９０３０ メモリ
９０４０ 補助記憶装置

Claims (16)

1. 所定の再生装置にて再生中のコンテンツを視聴するユーザの顔画像を撮影する撮影手段と、
   前記撮影手段で撮影した前記ユーザの顔画像と、事前に登録した認証用データとを用いて、前記ユーザを特定する特定手段と、
   前記ユーザの顔画像から前記コンテンツの表示領域中の前記ユーザが注視している領域を特定する注視領域特定手段と、
   前記ユーザの特定結果を用いた前記コンテンツの属性別視聴履歴に対応付けて、前記コンテンツを視聴中の前記ユーザが注視している領域の遷移を表した視聴領域遷移情報を作成する作成手段と、
   を備える視聴履歴記録システム。
2. 前記ユーザの属性は、少なくとも、ユーザの性別と年齢層を含み、
   前記作成手段は、前記ユーザの性別と年齢層別に、前記視聴領域遷移情報を作成する請求項１の視聴履歴記録システム。
3. 前記視聴領域遷移情報は、所定のストレージに格納され、視聴率分析に用いられる請求項１又は２の視聴履歴記録システム。
4. 少なくとも前記撮影手段、前記特定手段、及び、前記注視領域特定手段は、前記ユーザの宅内に配置され、
   前記所定のストレージを介して、外部からの要求に応じて、前記視聴領域遷移情報を提供する請求項３の視聴履歴記録システム。
5. 前記視聴領域遷移情報は、前記ユーザが視聴したコンテンツと対応付けて提供される請求項１から４いずれか一の視聴履歴記録システム。
6. 前記視聴領域遷移情報は、前記ユーザが注視していた時間又は視線の動きに基づいて、注視している度合いを示すマップ情報の形態で提供される請求項５の視聴履歴記録システム。
7. 前記作成手段は、前記ユーザの視線の動きに基づいて、記録する領域の大きさを変更して視聴領域遷移情報を作成する請求項１から６いずれか一の視聴履歴記録システム。
8. 前記撮影手段で撮影した前記ユーザの顔画像と、事前に登録した認証用データとを用いて、前記ユーザを特定する特定手段に代えて、
   前記撮影手段で撮影した前記ユーザの顔画像に基づいて、前記ユーザの属性を推定する推定手段を備える請求項１から７いずれか一の視聴履歴記録システム。
9. さらに、
   前記ユーザの顔画像から前記コンテンツを視聴中の前記ユーザの表情を判定する表情判定手段と、
   前記ユーザの性別と年齢層別に、前記ユーザの表情の遷移を表した表情遷移情報を作成する第２の作成手段と、を備える請求項１から８いずれか一の視聴履歴記録システム。
10. 前記表情遷移情報は、前記ユーザが視聴したコンテンツと対応付けて提供される請求項９の視聴履歴記録システム。
11. さらに、
    前記ユーザの顔画像から前記コンテンツを視聴中の前記ユーザの姿勢を判定する姿勢判定手段と、
    前記ユーザの性別と年齢層別に、前記ユーザの姿勢の遷移を表した姿勢遷移情報を作成する第３の作成手段と、を備える請求項１から１０いずれか一の視聴履歴記録システム。
12. 前記姿勢遷移情報は、前記ユーザが視聴したコンテンツと対応付けて提供される請求項１１の視聴履歴記録システム。
13. 所定の再生装置にて再生中のコンテンツを視聴するユーザの顔画像を撮影する撮影手段と、
    前記撮影手段で撮影した前記ユーザの顔画像に基づいて、前記ユーザの属性を推定する推定手段と、
    前記ユーザの顔画像から前記コンテンツの表示領域中の前記ユーザが注視している領域を特定する注視領域特定手段と、
    前記ユーザの特定結果を用いた前記コンテンツの属性別視聴履歴に対応付けて、前記コンテンツを視聴中の前記ユーザが注視している領域の遷移を表した視聴領域遷移情報を作成する作成手段と、
    を備える視聴履歴記録システム。
14. 所定の再生装置にて再生中のコンテンツを視聴するユーザの顔画像を撮影する撮影手段と、
    前記撮影手段で撮影した前記ユーザの顔画像と、事前に登録した認証用データとを用いて、前記ユーザを特定する特定手段と、
    前記ユーザの顔画像から前記コンテンツの表示領域中の前記ユーザが注視している領域を特定する注視領域特定手段と、
    前記ユーザの特定結果を用いた前記コンテンツの属性別視聴履歴に対応付けて、前記コンテンツを視聴中の前記ユーザが注視している領域の遷移を表した視聴領域遷移情報を作成する作成手段と、を備える視聴履歴記録装置。
15. プロセッサと、メモリと、所定の再生装置にて再生中のコンテンツを視聴するユーザの顔画像を撮影する撮影手段と、を備えた視聴履歴記録装置が、
    前記撮影手段で撮影した前記ユーザの顔画像と、事前に登録した認証用データとを用いて、前記ユーザを特定し、
    前記ユーザの顔画像から前記コンテンツの表示領域中の前記ユーザが注視している領域を特定し、
    前記ユーザの特定結果を用いた前記コンテンツの属性別視聴履歴に対応付けて、前記コンテンツを視聴中の前記ユーザが注視している領域の遷移を表した視聴領域遷移情報を作成すること、
    を特徴とするコンテンツ視聴履歴の記録方法。
16. 所定の再生装置にて再生中のコンテンツを視聴するユーザの顔画像を撮影する撮影手段を備えた視聴履歴記録装置に搭載され、プロセッサと、メモリとを備えるコンピュータに、
    前記撮影手段で撮影した前記ユーザの顔画像と、事前に登録した認証用データとを用いて、前記ユーザを特定する処理と、
    前記ユーザの顔画像から前記コンテンツの表示領域中の前記ユーザが注視している領域を特定する処理と、
    前記ユーザの特定結果を用いた前記コンテンツの属性別視聴履歴に対応付けて、前記コンテンツを視聴中の前記ユーザが注視している領域の遷移を表した視聴領域遷移情報を作成する処理と、
    を実行させるプログラム。

Images