JP2008258733A - 撮像画像データ処理装置、視聴情報生成装置、視聴情報生成システム、撮像画像データ処理方法、視聴情報生成方法 - Google Patents

Abstract

【課題】実態に即した視聴情報が得られるようにする。
【解決手段】撮像装置側ではユーザの視界光景の撮像画像データを取得する。そして撮像画像データの中で、放送画像の可能性が或る表示画像が含まれているか否かを検出し、含まれていれば放送番組を判別するための判別用データを抽出する。例えば表示画像の全部又は一部であったり、文字、マーク、コードなどを抽出する。そしてその判別用データをサーバ装置に送信する。サーバ装置側では、受信した判別用データから、画像照合やマーク、コード解析などにより、放送番組を特定し、その特定結果に応じて視聴情報（例えば視聴率や視聴者数の情報）を生成する。
【選択図】図５

Description

本発明は、使用者の被写体光景の撮像画像データについての処理を行う撮像画像データ処理装置、撮像画像データ処理方法と、視聴情報を生成する視聴情報生成装置、視聴情報生成方法と、視聴情報生成システムに関する。

特開平４−３０７６５７号公報 特開２００７−１８２１８号公報

従来、テレビジョン放送番組の視聴率は、視聴率集計サービスを行う会社が、ランダムに選定した一部の家庭に独自の装置を設置し、それで番組の視聴数を計数し、統計的手法で平均視聴率としている。
また上記特許文献１、２のように、新聞や通行人で視聴率的なものを把握するような取組みが開示されている。

しかしながら、従来の視聴率には、テレビジョン受像器で選局されて表示されているという状態で視聴のカウントがなされ、この場合、視聴者が実際に番組を見ているかどうかは関係ない。つまり「映っているかどうか」が視聴率に反映される。実際には「映っている」という状態では、視聴者がテレビジョン受像器をつけているだけで見ていないことも多々あると考えられる。
また昨今は録画機器の普及により、リアルタイム視聴より、放送番組を録画して後から視聴する人が増えている。
これらのことから、従来の方式で算出した視聴率では、テレビジョン放送の視聴の実態を常に適切に反映しているとは言いがたい状況となり、スポンサーとしても広告の効果が、十分把握できず、改善が望まれていた。

そこで本発明は、実態に即した視聴者数や視聴率等の視聴情報を生成できるようにすることを目的とする。

本発明の撮像画像データ処理装置は、使用者の視界光景の撮像を行う撮像部によって撮像された撮像画像データを取得する取得手段と、上記取得手段で取得した撮像画像データから視聴番組判別のための判別用データを抽出する抽出手段と、上記抽出手段で抽出された判別用データを外部の視聴情報生成装置に送信する送信手段とを備える。
例えば上記取得手段は、上記撮像部を一体的に有し、上記撮像部での撮像により、上記撮像画像データを取得する。また上記撮像部は、撮像素子としてＣＣＤセンサ又はＣＭＯＳセンサを用いて構成されている。
また上記取得手段は、別体の上記撮像部との通信により、上記撮像部での撮像による上記撮像画像データを取得する。
また上記抽出手段は、画像解析処理により、上記撮像画像データ内で画像表示機器の表示画像を判別し、上記撮像画像データ内に上記画像表示機器の表示画像が存在した場合に、その画像表示機器の表示画像から上記判別用データを抽出する。
また上記抽出手段は、上記判別用データとして、上記撮像画像データ内で検出した表示画像部分の全部又は一部の画像データを抽出する。或いは上記判別用データとして、上記撮像画像データ内で検出した表示画像内の文字、又はマーク、又はコードを抽出する。
また上記送信手段は、ネットワーク通信により、上記抽出手段で抽出された判別用データを外部の視聴情報生成装置に送信する。
また外部の視聴情報生成装置から送信されてくる視聴情報を受信する受信手段と、上記受信手段で受信した視聴情報を表示出力する表示手段とをさらに備える。

本発明の視聴情報生成装置は、外部の撮像画像データ処理装置から送信されてくる、視聴番組判別のための判別用データを受信する受信手段と、上記受信手段で受信した判別用データから視聴番組を特定する処理を行う番組特定処理手段と、上記番組特定処理手段の処理結果に応じて視聴情報の生成処理を行う情報生成手段とを備える。
また上記情報生成手段で生成した視聴情報を、外部機器に送信する送信手段を、さらに備える。

本発明の視聴情報生成システムは、上記の撮像画像データ処理装置と視聴情報生成装置を有するシステムである。
本発明の撮像画像データ処理方法は、使用者の視界光景の撮像を行う撮像部によって撮像された撮像画像データを取得するステップと、上記取得した撮像画像データから視聴番組判別のための判別用データを抽出するステップと、上記抽出した判別用データを外部の視聴情報生成装置に送信するステップとを備える。
本発明の視聴情報生成方法は、外部の撮像画像データ処理装置から送信されてくる、視聴番組判別のための判別用データを受信するステップと、上記受信した判別用データから、視聴番組を特定する処理を行うステップと、視聴番組の特定処理の処理結果に応じて視聴情報の生成処理を行うステップとを備える。

また本発明の他の視聴情報生成装置は、外部の撮像画像データ処理装置から送信されてくる撮像画像データを受信する受信手段と、上記受信手段で受信した撮像画像データから、視聴番組判別のための判別用データを抽出する抽出手段と、上記抽出手段で抽出した判別用データから、視聴番組を特定する処理を行う番組特定処理手段と、上記番組特定処理手段の処理結果に応じて視聴情報の生成処理を行う情報生成手段とを備える。
本発明の他の視聴情報生成システムは、このような視聴情報生成装置と、撮像画像データ処理装置と有する。この場合、撮像画像データ処理装置は、使用者の視界光景の撮像を行う撮像部によって撮像された撮像画像データを上記視聴情報生成装置に送信する送信手段を備えるものとなる。
本発明の他の視聴情報生成方法は、外部の撮像画像データ処理装置から送信されてくる撮像画像データを受信するステップと、上記受信手段で受信した撮像画像データから、視聴番組判別のための判別用データを抽出するステップと、上記抽出した判別用データから、視聴番組を特定する処理を行うステップと、視聴番組の特定処理の処理結果に応じて視聴情報の生成処理を行うステップとを備える。

即ち以上の本発明では、撮像画像データ処理装置側では、例えばユーザ（使用者）が装着する撮像部によって撮像される、ユーザの視界光景の撮像画像データを取得する。
そして撮像画像データ処理装置は、その撮像画像データの中で、放送画像の可能性が或る表示画像が含まれているか否かを検出する。即ちテレビジョン受像器等の画像表示機器で表示されている放送番組等の画像が含まれているか否かを判別するものである。撮像画像データは、ユーザの視界光景の撮像画像であるから、撮像画像データ内にテレビジョン受像器等の機器で表示されている表示画像が含まれていれば、ユーザがその表示画像を実際に見ていると判断して良い。例えばその表示画像が放送画像であれば、ユーザが放送を実際に視聴していると判断できる。もしユーザが横を向いたり何か他の事をしているなどして、テレビジョン受像器等を見ていなければ、放送番組等の画像は、撮像画像データ内に含まれなくなるためである。
そこで、撮像画像データ内にテレビジョン受像器等の機器で表示されている放送番組等の表示画像が含まれていれば、放送番組を判別するための判別用データを抽出する。例えば表示画像の全部又は一部であったり、文字、マーク、コードなどを抽出する。そしてその判別用データを視聴情報生成装置に送信する。
視聴情報生成装置側では、受信した判別用データから、画像照合やマーク、コード解析などにより、放送番組を特定し、その特定結果に応じて視聴情報を生成する。つまり、実際に視聴者（ユーザ）がテレビジョン放送番組を「見ている」状態を検出し、それを視聴情報生成に用いるものとなる。
視聴情報とは、例えば各種の視聴率（番組別視聴率、時間帯別視聴率、コマーシャル別視聴率、平均視聴率、瞬間視聴率その他）や、視聴者数の情報、或いは番組に対する視聴者の構成比（年齢層や性別など）、視聴番組のランキング、テレビジョン受像器がオンとされている状況で実際に見られているか否かの比など、放送の視聴状況に関する各種の情報である。
なお、撮像画像データ処理装置側では、例えばユーザ（使用者）が装着する撮像部によって撮像された撮像画像データをそのまま視聴情報生成装置に送信し、視聴情報生成装置側で、判別用データを抽出するようにしてもよい。

本発明によれば、実際に視聴者がテレビジョン放送番組を見ている状態を検出し、それを視聴情報生成に用いるものとなるため、実態に即した視聴者数や視聴率を把握できるようになるという効果がある。

以下、本発明の撮像画像データ処理装置、視聴情報生成装置、視聴情報生成システム、撮像画像データ処理方法、視聴情報生成方法の実施の形態を説明する。ここでは撮像画像データ処理装置の例として撮像装置を挙げて説明する。なお後に変形例として述べるが本発明の撮像画像データ処理装置は、撮像装置以外の機器でも実現できる。
また視聴情報生成装置の例としてサーバ装置を挙げる。
また、視聴情報として、各種の視聴率や視聴者数の情報を生成するシステムを例に挙げる。
説明は次の順序で行う。
［１．撮像装置の外観例］
［２．システム構成、撮像装置、サーバ装置］
［３．システム動作例Ｉ］
［４．システム動作例II］
［５．システム動作例III］
［６．実施の形態の効果、及び変形例、拡張例］

［１．撮像装置の外観例］

実施の形態の撮像装置１の外観例を図１（ａ）（ｂ）に例示する。
図１（ａ）は、眼鏡型ディスプレイカメラとした撮像装置１を示している。撮像装置１は、例えば両側頭部から後頭部にかけて半周回するようなフレームの構造の装着ユニットを持ち、図のように両耳殻にかけられることでユーザに装着される。
この撮像装置１は、ユーザが装着した状態において、ユーザの視界方向を被写体方向として撮像するように、前方に向けて撮像レンズ３ａが配置されている。
また図示のような装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示パネル部２ａ、２ａが配置される構成とされている。この表示パネル部２ａには、例えば液晶パネルが用いられ、透過率を制御することで、図のようなスルー状態、即ち透明又は半透明の状態とできる。表示パネル部２ａがスルー状態とされることで、眼鏡のようにユーザが常時装着していても、通常の生活には支障がない。
なお、表示パネル部２ａは、両眼に対応して一対設けられる他、片側の眼に対応して１つ設けられる構成も考えられる。

図１（ｂ）は、同じくユーザが頭部に装着する撮像装置１を示しているが、図１（ａ）のような表示パネル部２ａを備えない構成である。例えば耳殻に掛けられるような装着ユニットによりユーザ頭部に装着される。そしてこの状態でユーザの視界方向を被写体方向として撮像するように、前方に向けて撮像レンズ３ａが配置されている。

これら図１（ａ）（ｂ）では、眼鏡型或いは頭部装着型の装着ユニットによりユーザの頭部に装着される撮像装置１を挙げたが、撮像装置１をユーザが装着するための構造は多様に考えられる。例えばヘッドホン型、ネックバンドタイプ、耳掛け式など、どのような装着ユニットでユーザに装着されるものであってもよい。さらには、例えば通常の眼鏡やバイザー、或いはヘッドホン等に、クリップなどの取付具で取り付けることでユーザに装着させる形態であってもよい。また必ずしもユーザの頭部に装着されるものでなくても良い。
本実施の形態の撮像装置１としては、ユーザに装着され、ユーザの視界方向の光景を例えば常時撮像する装置とされる。
常時撮像とは、例えばユーザが装着している際に、常時、動画像を撮像するものであるが、例えば１秒間隔、数秒間隔、数１０秒間隔などで静止画撮像を行うような動作も、本例で言う常時撮像に含まれる。つまりユーザが特に撮像操作を行わなくとも連続的もしくは間欠的に常時撮像が行われるものを常時撮像という。

なお、静止画撮像や動画撮像を行う撮像装置１は、図１（ａ）（ｂ）に示す以外の形態も考えられる。例えば外部音声を集音するマイクロホンを設け、撮像時に、画像データと共に音声データを得るようにしてもよい。また音声出力を行うスピーカ部やイヤホン部を形成するようにしても良い。
また撮像レンズ３ａの近辺に、被写体方向への照明を行う発光部を、例えばＬＥＤ（Light Emitting Diode）等により設けたり、静止画撮像のためのフラッシュ発光部を設けることも考えられる。

［２．システム構成、撮像装置、サーバ装置］

本例のシステム構成例を図２に示す。本例のシステムでは、図のように複数の撮像装置１と、サーバ装置７０とがインターネット等のネットワーク６０を介してデータ通信可能とされる。
サーバ装置７０としては、例えば視聴率調査会社のサーバ装置７０や、放送局のサーバ装置７０が想定される。例えば視聴率調査会社のサーバ装置７０は、各テレビジョン放送局の視聴情報を生成する。また放送局のサーバ装置７０は、例えば自局の視聴情報を生成する。なおもちろん或る放送局のサーバ装置７０が、各放送局の視聴情報を生成するようにもできる。
ネットワーク６０としては、インターネットの他に、携帯電話通信網、ＰＨＳ通信網、アドホックネットワーク、ＬＡＮなど、各種考えられる。

システム動作例は後述するが、各撮像装置１は、ユーザの視界光景の撮像画像データから、視聴番組判別のための判別用データを抽出する。そして抽出した判別用データを、ネットワーク６０を介してサーバ装置７０に送信する。
サーバ装置７０は、各撮像装置１から送信されてくる判別用データを受信する。そして受信した判別用データから、視聴番組を特定する処理を行い、その処理結果に応じて視聴情報の生成処理を行う。

またネットワーク６０には例えばパーソナルコンピュータ等の機器による端末装置が接続される。例えば番組を提供する広告主のオフィス等に設置された端末（広告主端末８０）や放送局に設置された端末（放送局端末８１）などが、ネットワーク６０を介してサーバ装置７０と通信可能とされる。サーバ装置７０は、これら広告主端末８０や放送局端末８１に対して、生成した視聴情報を送信することで、番組の視聴率や視聴者数を通知できる。なおサーバ装置７０は、撮像装置１に対して生成した視聴情報を送信するようにしてもよい。

撮像装置１の構成例を図３で説明する。
システムコントローラ１０は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、不揮発性メモリ部、インターフェース部を備えたマイクロコンピュータにより構成され、撮像装置１の全体を制御する制御部とされる。このシステムコントローラ１０は内部のＲＯＭ等に保持したプログラムに基づいて、各種演算処理やバス１３を介した各部と制御信号等のやりとりを行い、各部に所要の動作を実行させる。

撮像部３は、撮像光学系、撮像素子部、撮像信号処理部を有する。
撮像部３における撮像光学系では、図１に示した撮像レンズ３ａや、絞り、ズームレンズ、フォーカスレンズなどを備えて構成されるレンズ系や、レンズ系に対してフォーカス動作やズーム動作を行わせるための駆動系等が備えられる。
また撮像部３における撮像素子部では、撮像光学系で得られる撮像光を検出し、光電変換を行うことで撮像信号を生成する固体撮像素子アレイが設けられる。固体撮像素子アレイは、例えばＣＣＤ（Charge Coupled Device）センサアレイや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサアレイとされる。
また撮像部３における撮像信号処理部では、固体撮像素子によって得られる信号に対するゲイン調整や波形整形を行うサンプルホールド／ＡＧＣ(Automatic Gain Control)回路や、ビデオＡ／Ｄコンバータを備え、デジタルデータとしての撮像画像データを得る。また撮像画像データに対してホワイトバランス処理、輝度処理、色信号処理、ぶれ補正処理などを行う。

これらの撮像光学系、撮像素子部、撮像信号処理部を有する撮像部３により、撮像が行われ、撮像画像データが得られる。
この撮像部３の撮像動作によって得られた画像データは、撮像制御部６で処理される。
撮像制御部６は、システムコントローラ１０の制御に従って、撮像画像データを所定の画像データフォーマットに変換する処理や、変換した撮像画像データを、動作状況に応じてデータ抽出部１２，ストレージ部１４，通信部１５，表示制御部７へ供給する処理を行う。
また撮像制御部６はシステムコントローラ１０の指示に基づいて、撮像部３における撮像動作のオン／オフ制御、撮像光学系のズームレンズ、フォーカスレンズの駆動制御、撮像素子部の感度やフレームレートの制御、撮像信号処理部の各処理のパラメータ制御や実行処理の設定などを行う。

データ抽出部１２は、この撮像部３，撮像制御部６で得られた撮像画像データについて、画像解析処理や、判別用データの生成を行う。
この場合の画像解析処理とは、判別用データを抽出するためにテレビジョン受像器等のディスプレイ装置の表示画像を検出する処理となる。
また判別用データとは、上述したサーバ装置７０が視聴番組を特定するための情報であり、例えば撮像画像データ内で検出した放送画像部分の全部又は一部の画像データである。或いは撮像画像データ内で検出した表示画像内の文字、又はマーク、又はコードなどの情報としても良い。データ抽出部１２の動作については、後述するが、例えば判別用データは具体的には図６（ｂ）（ｃ）、図７（ｂ）（ｄ）に示すものとなる。
図６（ａ）は撮像画像データとしての画像を示しているが、この中にはテレビジョン受像器が含まれており、そのテレビジョン受像器では放送番組が表示されている。図６（ｂ）（ｃ）は、この放送番組の画像の全部又は一部である。このような画像データを判別用データとする。
また図７（ａ）は放送番組の画面上に放送局のロゴ等のマーク１００或いは放送局名などの文字が表示されていた場合であるが、図７（ｂ）はこのような場合にそのマーク１００等の画像を判別用データとする例である。
また図７（ｃ）は放送番組の画面上に例えば放送局名等の判別情報を含むＱＲコードなどの２次元バーコードなどのコード１０１が表示されていた場合であるが、図７（ｄ）は、そのコード１０１等の画像を判別用データとする例である。
これらの判別用データの抽出については後述する。
なお、撮像画像データに含まれているディスプレイ装置がテレビジョン放送を表示しているか否かは判別できない。このため、撮像画像データに含まれているディスプレイ装置の表示画像は、テレビジョン放送画像ではないかもしれないが、判別用データの抽出の際には、それを区別しなくても良い。サーバ装置７０側で判別できるためである。

このデータ抽出部１２は、マイクロコンピュータやＤＳＰ（Digital Signal Processor）などで構成できる。また、この図３ではマイクロコンピュータによるシステムコントローラ１０と別ブロックで示しているが、システムコントローラ１０内で起動されるソフトウエアによりデータ抽出部１２としての動作が実現されても良い。

撮像装置１においてユーザに対して表示を行う構成としては、表示部２、表示制御部７が設けられる。
この表示部２は、上述した液晶パネル等による表示パネル部２ａと、表示パネル部２ａを表示駆動する表示駆動部が設けられる。
表示駆動部は、撮像制御部６から供給される画像データを、例えば液晶ディスプレイとされる表示パネル部２ａにおいて表示させるための画素駆動回路で構成されている。画素駆動回路は表示パネル部２ａにおいてマトリクス状に配置されている各画素について、それぞれ所定の水平／垂直駆動タイミングで映像信号に基づく駆動信号を印加し、表示を実行させる。

表示制御部７は、システムコントローラ１０の制御に基づいて、表示部２における画素駆動回路を駆動し、表示パネル部２ａに所定の表示を実行させる。
即ち、撮像部３での撮像モニタとしての表示や、ストレージ部１４に取り込まれた撮像画像データの再生表示、さらには通信部１５で受信したデータの表示、各種キャラクタの表示などを、表示パネル部２ａにおいて実行させる。
またこれらの表示のために、例えば輝度レベル調整、色補正、コントラスト調整、シャープネス（輪郭強調）調整などを行うことができる。また画像データの一部を拡大した拡大画像の生成、或いは縮小画像の生成、ソフトフォーカス、モザイク、輝度反転、画像内の一部のハイライト表示（強調表示）、全体の色の雰囲気の変化などの画像エフェクト処理、撮像画像の分割表示のための画像の分離や合成、キャラクタ画像やイメージ画像の生成及び生成した画像を撮像画像に合成する処理なども行うことができる。
また表示制御部７は、システムコントローラ１０の指示に基づいて表示駆動部を制御し、表示パネル部２ａの各画素の透過率を制御して、スルー状態（透明又は半透明の状態）とすることもできる。

ストレージ部１４は、各種データの保存に用いられる。例えば撮像画像データの保存に用いられる。
このストレージ部１４は、ＲＡＭ或いはフラッシュメモリなどの固体メモリにより構成されても良いし、例えばＨＤＤ（Hard Disk Drive）により構成されてもよい。
また内蔵の記録媒体ではなく、可搬性の記録媒体、例えば固体メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリなどの記録媒体に対応する記録再生ドライブなどとされても良い。
もちろん、固体メモリやＨＤＤ等の内蔵タイプのメモリと、可搬性記録媒体に対する記録再生ドライブの両方が搭載されてもよい。
このストレージ部１４は、システムコントローラ１０の制御に基づいて、撮像画像データを記録し、保存する。またシステムコントローラ１０の制御に基づいて、記録したデータを読み出し、システムコントローラ１０や表示制御部７などに供給する。

通信部１５はサーバ装置７０等の外部機器との間でのデータの送受信を行う。この通信部１５は、無線ＬＡＮ、ブルートゥースなどの方式で、例えばネットワークアクセスポイントに対する近距離無線通信を介してネットワーク通信を行う。

次に図４に、サーバ装置７０の構成例を示す。
上記のようにサーバ装置７０は、例えばネットワーク６０を介した通信により、撮像装置１から判別用データを受信し、判別用データを用いて視聴情報を生成する装置である。
サーバ装置７０は、サーバ制御部７２、ネットワークストレージ部７１、通信部７３、特定処理部７４、放送画像取得部７５、視聴率集計部７６、放送画像データベース７７を備える。

ネットワークストレージ部７１は、例えばＨＤＤ等により実現され、例えば撮像装置１からネットワーク６０を介して送信されてくる判別用データなどのデータを保存したり、撮像装置１や広告主端末８０や放送局端末８１等に送信するデータの一時的な保存などに用いられる。
通信部７３は、撮像装置１の通信部２６や、広告主端末８０や放送局端末８１等の通信部との間で、ネットワーク６０を介したデータ通信を行う。
サーバ制御部７２は、サーバ装置７０としての必要な動作制御を行う。特には、視聴率等の視聴情報の生成や送信のための制御動作を行う。

番組特定処理部７４は判別用データについて放送番組を特定する処理を行う。
放送画像取得部７５は、例えば現在各放送局で放送中のテレビジョン放送画像（リアルタイム放送画像）を取得する。例えば視聴率調査会社のサーバ装置７０の場合は、テレビジョン放送のチューナ装置として、複数の各放送局の放送画像を常時受信する構成としても良いし、放送局のサーバ装置７０であれば、自局で放送中の放送画像を入力できる装置部としてもよい。
撮像装置１から送信されてくる判別用データが、放送画像の画像データである場合、この放送画像取得部７５により、現在放送中のテレビジョン放送画像が取得できることで、番組特定処理部７４は、判別用データの画像と放送画像を照合でき、判別用データとしての画像データが、どこの放送局の放送画像であるかを特定できる。
つまり、放送画像取得部７５は、判別用データの画像と照合すべき放送画像を取得する構成であればよく、特に言えば、サーバ装置７０で視聴率を調べたい放送局のリアルタイム放送画像が取得できる構成であればよい。

例えば視聴率調査会社のサーバ装置７０が、地上波放送各局及び衛星放送各局の視聴率を調査する場合は、放送画像取得部７５は、地上波放送各局及び衛星放送各局の放送画像のすべてを常時、番組特定処理部７４に供給する構成とする。
その場合番組特定処理部７４は、判別用データの画像と各放送画像を照合することで、判別用データとしての画像データが、どこの放送局の放送画像であるかを特定できる。或いは、判別用データの画像が、どの放送局の放送画像とも合致しなければ、撮像装置１側で抽出された判別用データとしての画像は、放送画像ではない（少なくとも視聴率測定の対象としている放送局の現在の放送画像ではない）と推定することができる。

また例えば放送局のサーバ装置７０が、自局の視聴率を調査する場合は、放送画像取得部７５は、自局の現在の放送画像を常時、番組特定処理部７４に供給する構成とする。
その場合番組特定処理部７４は、判別用データの画像と放送画像を照合することで、判別用データとしての画像データが、自局の放送画像であるか否かを特定できる。判別用データの画像が、自局の放送画像と合致しなければ、撮像装置１側で抽出された判別用データとしての画像は、自局の放送画像ではない（少なくとも現在の放送画像ではない）と推定することができる。

なお番組特定処理部７４では、判別用データの画像とリアルタイム放送画像の照合については、通信や処理に要するタイムラグを考慮して、所定時間幅でリアルタイム放送画像を一時的に格納しておき、現在から過去に向かって或る程度の時間幅のリアルタイム放送画像に対して、判別用データの画像と照合することが適切である。

放送画像データベース７７は、視聴率等の視聴情報の調査対象とする１又は複数の放送局の過去の放送画像を蓄積して格納する。例えば過去３日分、過去１週間分、過去１ヶ月分など、特定の期間で限って過去の放送画像を格納すればよい。
これは、例えば撮像装置１のユーザが録画した放送画像を見る場合に、それを視聴情報に反映させたい場合に必要になる。即ち、判別用データの画像が、上記放送画像取得部７５からのリアルタイム放送画像と合致しなかった場合、その判別用データの画像は、ユーザが録画した番組を見ているという可能性がある。
そこで、録画した番組の視聴も視聴情報に反映させる場合、番組特定処理部７４は、判別用データの画像がリアルタイム放送画像と一致しなかった場合は、続いて放送画像データベース７７に格納されている過去の放送画像と照合する。或る画像と一致すれば、撮像装置１のユーザが或る放送局の過去の放送を見ていると判断できる。

番組特定処理部７４は、このように判別用データの画像を、リアルタイム放送画像や過去の放送画像と照合することにより、ユーザが見ている放送局を特定できる。
但し、このような画像照合だけでなく、他の判別手法もある。例えば上述のように判別用データとしてロゴ、マーク、コード、文字などが送信されてきた場合、そのマーク等の画像を各放送局のマーク等と照合したり、放送局名の文字を判別したり、或いはＱＲコード等のコードを復号するなどして、ユーザが視聴している放送局を判別できる。

番組特定処理部７４は、判別用データについての放送局を特定した場合、サーバ装置７０にその放送局判別情報を通知する。或いは、リアルタイム放送画像か過去の放送画像かの別の情報も通知しても良い。
視聴率集計部７６は、サーバ制御部７２の指示に基づいて、調査対象とする放送局毎に視聴者数のカウントや、視聴率の算出などを行う。
視聴率は、例えばサーバ装置７０と通信可能な撮像装置１の全数、或いは通信中の撮像装置１の全数などを母数として、番組特定処理部７４での特定に基づく各放送局の視聴者数を用いて算出できる。
また視聴率としては、瞬間視聴率、番組毎の視聴率、コマーシャル毎の視聴率、時間帯毎の平均視聴率、リアルタイム／録画の別の視聴率、録画視聴数を加えた番組視聴率などをそれぞれ計算するようにしてもよい。
視聴率集計部７６で算出された視聴情報、即ち各放送局の視聴者数や上記のような各種視聴率は、サーバ制御部７２の制御によって、ネットワークストレージ部７１に保存したり、通信部７３から送信することができる。即ち撮像装置１、広告主端末８０、放送局端末８１に対して、視聴情報を提供することができる。

以上、システム構成例、及び撮像装置１、サーバ装置７０の構成を示したが、これらは一例にすぎない。実際に実施される動作例や機能に応じて各種の構成要素の追加や削除は当然考えられる。

［３．システム動作例Ｉ］

上記構成の撮像装置１とサーバ装置７０との間で行われるシステム動作例を説明する。図５は撮像装置１の処理動作とサーバ装置７０の処理動作を示している。撮像装置１のステップＦ１０１〜Ｆ１０６の処理は、システムコントローラ１０の制御に基づいて所要部位で行われる。なおここでは、視聴情報の生成に用いる判別用データに関する処理のみを示している。
またサーバ装置７０のステップＦ２０１〜Ｆ２０５の処理はサーバ制御部７２の制御に基づいて所要部位で行われる。ここでは、視聴情報の生成に関する処理のみを示している。

撮像装置１では、撮像開始とされることに応じて、ステップＦ１０２〜Ｆ１０５の処理が繰り返し実行される。即ちステップＦ１０２〜Ｆ１０５の処理をステップＦ１０６で撮像終了となるまで繰り返す。
撮像装置１は、上述したように常時撮像（動画連続撮像又は所定時間毎の静止画撮像）を行うものとしている。例えば図１（ａ）（ｂ）のような撮像装置１をユーザが装着し、電源オンとされたら、システムコントローラ１０は処理をステップＦ１０１からＦ１０２に進めることになる。

ステップＦ１０２では、システムコントローラ１０は、データ抽出部１２に撮像画像データの解析処理を実行させる。
データ抽出部１２は、撮像制御部６から供給された撮像画像データに対して、テレビジョン受像器等のディスプレイ装置の検出のための解析処理を行う。
撮像部３，撮像制御部６で得られる撮像画像データは、ユーザの視界光景の画像である。ユーザが何らかのディスプレイ装置（テレビジョン受像器、パーソナルコンピュータモニタ、携帯電話画面、その他）を見ているときは、そのディスプレイ装置が撮像画像データに含まれることになる。
例えば図６（ａ）は、ユーザが室内でテレビジョン受像器（つまりテレビジョン放送番組）を見ている場合の撮像画像を示しているが、このように室内の光景の一部としてテレビジョン受像器が撮像される。

撮像画像データ内で、テレビジョン受像器等のディスプレイ装置の画面領域を検出するためには、まず輪郭線が方形の領域を検出する。特には４：３或いは１６：９のアスペクト比の方形の領域を検出するとよい。
但し、この場合の方形とは、長方形だけでなく、台形、平行四辺形などの形状も含む。テレビジョン受像器等に対するユーザの位置や仰角、角度によっては、撮像されたテレビジョン受像器等の画面は必ずしも長方形の領域とはならないためである。撮像画像データ上では、このため撮像画像内で輪郭線が方形（長方形、台形、平行四辺形）となっている部分を抽出する。
なお、一般に長方形で形成される画面は、撮像方向や撮像時の仰角や位置、遠近などにより、画像上では台形や平行四辺形に映し出される。このため、画像内の全体的な輪郭線の様子（例えばテレビジョン受像器の筐体や周囲の家具などの輪郭線）などから撮像方向、仰角等を推定し、元（実物）は長方形であると推定される台形や平行四辺形を撮像画像内から抽出するような解析処理も有効である。

方形の領域を検出したら、その検出した方形領域内で輝度が高いか、或いはフレーム毎に輝度変化が顕著であるかを判定する。
方形領域であって、その内側が高輝度又は輝度変化が顕著な場合、その部分は、何らかのディスプレイ装置であって、何らかの表示を行っているものであると推定できる。
つまり、ユーザがテレビジョン放送番組を見ている可能性があると推定できる。
なお、この段階では、実際にユーザが見ているのが放送番組であるのか否かは判定できないが、それはかまわない。
例えばディスプレイ装置で表示されるものとしては、テレビジョン放送番組、録画したテレビジョン放送番組の再生画像、ＤＶＤ等のメディアの再生画像、ホームビデオの再生画像、パーソナルコンピュータ等のモニタ画像、デジタルスチルカメラで撮像した写真画像など、多様な画像が考えられる。
視聴情報の生成の観点で言えば、現在放送中のテレビジョン放送番組の画像、又は録画したテレビジョン放送番組の再生画像が視聴率算出の対象となるが、このデータ抽出部１２の解析処理としては、これら放送画像とそれ以外の画像を区別することは必ずしも必要ではない。放送番組の画像であるのか否かも含めて、サーバ装置７０側で判定できるためである。

データ抽出部１２は、撮像画像データ内で、画面表示中のディスプレイ装置の画像を検出したら、ステップＦ１０３からＦ１０４に進み、そのディスプレイ装置での表示画像の内容から、判別用データを抽出する。
例えば図６（ａ）の撮像画像に対しては、方形の領域として、画面表示中のディスプレイ装置の画像が検出されるため、この撮像画像から判別用データを抽出することになる。判別用データとしては、例えば図６（ｂ）のように、方形の領域内の画像自体としての画像データを抽出すればよい。つまりユーザがディスプレイ装置上で見ている画像である。
或いは図６（ｃ）のように、その方形の領域内の画像の一部でもよい。

或いは、輪郭線が方形である領域を検出したら、その方形の内側に文字が含まれているかを判断するようにしてもよい。例えば文字のパターン認識を行う。なお各種のロゴ、マーク等を記憶しておき、画像パターンマッチングにより、ロゴやマークと推定される画像が含まれているかを検出してもよい。
そして例えば図７（ａ）のように、方形の領域内に、ロゴマーク、文字等のマーク１００が表示されていた場合は、図７（ｂ）のように、そのロゴマーク、文字等のマーク１００の画像を抽出して判別用データとしてもよい。また文字の場合は、文字認識を行ってテキストデータとしたものを判別用データとしてもよい。
また図７（ｃ）のように、方形の領域内に、ＱＲコード等のコード１０１が表示されていた場合は、図７（ｄ）のように、そのコード１０１の画像を抽出して判別用データとしてもよい。またデータ抽出部１２にコード１０１に対する復号処理機能が設けられていれば、復号処理を行い、復号データを判別用データとしてもよい。

データ抽出部１２で判別用データが抽出されたら、システムコントローラ１０は処理をステップＦ１０５に進め、判別用データを通信部１５からサーバ装置７０に送信させる。
そして撮像継続中であれば、つまり電源オフとされなければ、ステップＦ１０６からＦ１０２に戻る。

なお、ステップＦ１０２の撮像画像データに対する解析結果として、撮像画像データ内に画面表示中のディスプレイ装置の画像を検出されなければ、ステップＦ１０３からＦ１０６に進み、まだ撮像継続中であれば、ステップＦ１０２に戻る。例えばデータ抽出部１２は、撮像画像データ内にディスプレイ装置は存在しない旨をシステムコントローラ１０に通知する。システムコントローラ１０は、それに応じて、ステップＦ１０２から、次の撮像画像データを撮像制御部６からデータ抽出部１２に転送させるとともに、その撮像画像データに対する解析処理をデータ抽出部１２に実行させる。

サーバ装置７０では、撮像装置１から判別用データが送信されてくるたびに、ステップＦ２０２以降の処理を実行する。
即ちサーバ制御部７２は、通信部７３によって或る撮像装置１からの判別用データを受信したら、処理をステップＦ２０１からＦ２０２に進め、その受信した判別用データを用いた番組特定処理を、番組特定処理部７４に実行させる。
判別用データが放送画像データである場合、番組特定処理部７４は、リアルタイム放送画像或いは過去の放送画像との照合を行って、放送局を特定する。或いは放送局該当無しとする。
判別用データが文字、マーク、或いはコードであった場合は、マークの照合、文字の判別、或いはコードの復号などにより、放送局を特定する。或いは放送局該当無しとする。

放送局が特定できなかった場合は、番組特定処理部７４は特定できない旨をサーバ制御部７２に通知する。この場合、サーバ制御部７２は処理をステップＦ２０３からＦ２０１に戻し、次の判別用データの受信を待機する。
なお、上述のように、撮像装置１側のユーザが、テレビジョン放送ではない画像をディスプレイ装置で見ているという状況もあり得るが、その場合、判別用データとして抽出された画像データは、照合によって放送画像に一致せず、放送局該当無しとなる。

放送局が特定できた場合は、番組特定処理部７４は特定した放送局の情報をサーバ制御部７２に通知する。なお、画像がリアルタイム放送画像か過去の放送画像かの情報も通知しても良い。
この場合、サーバ制御部７２は処理をステップＦ２０３からＦ２０４に進め、視聴率集計部７６に視聴情報の処理を実行させる。
視聴率集計部７６は、今回特定された放送局についての視聴者数のカウントアップや、各種視聴率を算出したり、算出結果により更新する処理を行う。各種視聴率とは、例えば瞬間視聴率、時間帯視聴率、番組別視聴率、コマーシャル毎の視聴率、リアルタイム／録画の別の視聴率、録画視聴数を加えて更新した番組視聴率などである。

続いてサーバ制御部７２はステップＦ２０５で、視聴率集計部７６が算出（更新）した視聴情報の通知処理を行う。即ち視聴情報を通信部７３から広告主端末８０や放送局端末８１に送信し、視聴率調査結果を提供する。
なお、ステップＦ２０５の処理は、ステップＦ２０４の後に毎回行わなくとも、一定時間毎に実行したり、１日に１回まとめて実行するようにしてもよい。

以上のようなシステム動作例により、多数の撮像装置１からの判別用データに基づく処理がサーバ装置７０において行われ、視聴情報が生成される。そして広告主や放送局に対して視聴情報が通知されることになる。

［４．システム動作例II］

システム動作例IIを図８に示す。なお、この図８の撮像装置１のステップＦ１０１〜Ｆ１０５は、図５のステップＦ１０１〜Ｆ１０５と同様であり、サーバ装置７０のステップＦ２０１〜Ｆ２０４の処理も図５のステップＦ２０１〜Ｆ２０４と同様である。
この例では、サーバ装置７０は、ステップＦ２０５の視聴率通知処理として、各時点で算出された視聴情報を、撮像装置１に送信するようにしている。

撮像装置１側では、ステップＦ１０２〜Ｆ１０５の処理の後、システムコントローラ１０はステップＦ１２０でサーバ装置７０から視聴情報を受信したか否かを判断している。サーバ装置７０からの視聴情報が通信部１５によって受信されていたら、システムコントローラ１０は処理をステップＦ１２１に進め、受信した視聴情報に基づく表示を表示部２において実行させる。
例えば現在ユーザが見ている番組の視聴情報を表示させたり、或いは各放送局の視聴率を表示させる。
例えばサーバ装置７０が、その時点の各局の視聴率を通知すれば、撮像装置１で各局の視聴率を一覧表示することができる。
また、サーバ装置７０が、判別用データから特定した放送局の視聴率のみを、その判別用データ送信元の撮像装置１に通知するようにすれば、撮像装置１側では、ユーザが現在見ている番組の視聴率を表示できることになる。
或いは、サーバ装置７０が、各放送局の視聴率と共に、判別用データに基づいて特定した放送局名の情報を撮像装置１に通知すれば、撮像装置１側では、ユーザが現在見ている番組の視聴率を表示できるだけでなく、他局の視聴率を表示できることにもなる。

つまりこの図８のシステム動作例IIによれば、ユーザは、テレビジョン放送を視聴している際に、現在の視聴率を知ることができる。

［５．システム動作例III］

続いてシステム動作例IIIを説明する。
但し、このシステム動作例IIIを実行する撮像装置１、サーバ装置７０の構成は図９，図１０のようになる。
図９の撮像装置１は、図３で述べた構成からデータ抽出部１２を除いたものである。
また図１０のサーバ装置７０は、図４の構成に加えてデータ抽出部７７を設けたものである。データ抽出部７７の処理動作は、上述してきた撮像装置１側のデータ抽出部１２と同様となる。

図１１に撮像装置１とサーバ装置７０の処理を示す。
この場合、撮像装置１では、ステップＦ３０１で撮像開始となった以降は、ステップＦ３０３で撮像終了とされるまで、ステップＦ３０２で撮像画像データの送信処理を行う。
つまり、動画撮像の場合は、システムコントローラ１０は撮像部３，撮像制御部６で得られた撮像画像データを、通信部１５からサーバ装置７０に送信する処理を継続して実行させる。
また、間欠的に静止画を撮像する場合は、撮像を行うたびに、システムコントローラ１０はその撮像画像データを通信部１５からサーバ装置７０に送信させる。

サーバ装置７０では、撮像装置１から撮像画像データが送信されてくるたびに、ステップＦ４０１以降の処理を実行する。
即ちサーバ制御部７２は、通信部７３によって或る撮像装置１からの撮像画像データを受信したら、処理をステップＦ４０１からＦ４０２に進め、データ抽出部７７に受信した撮像画像データの解析処理を実行させる。
即ちデータ抽出部７７は、撮像画像データに対して、テレビジョン受像器等のディスプレイ装置の検出のための解析処理を行う。この処理は上記図５のステップＦ１０２で述べたデータ抽出部１２の処理と同様であり、撮像画像データ内で、方形の輪郭線の領域であって、その内側が高輝度又は輝度変化が多い画像となっているかにより、撮像画像データ内にディスプレイ装置の表示画像が含まれているか否かを判別する処理となる。

ステップＦ４０２の撮像画像データに対する解析結果として、撮像画像データ内に画面表示中のディスプレイ装置の画像を検出されなければ、サーバ制御部７２は、処理をステップＦ４０３からＦ４０１に戻し、次の撮像画像データの受信を待つ。
一方、データ抽出部７７が、撮像画像データ内においてディスプレイ装置の画像が存在することを判別したら、処理はステップＦ４０３からＦ４０４に進み、判別用データの抽出を行う。
即ち図５のステップＦ１０４で述べたデータ抽出部１２の処理と同様、方形の領域内の放送画像データの全部又は一部を判別用データとして抽出する。或いは、方形の領域内の文字、マーク、コード等を判別用データとして抽出する。

続いてサーバ制御部７２はステップＦ４０５で、判別用データを用いた番組特定処理を、番組特定処理部７４に実行させる。
判別用データが放送画像データである場合、番組特定処理部７４は、リアルタイム放送画像或いは過去の放送画像との照合を行って、放送局を特定する。或いは放送局該当無しとする。判別用データが文字、マーク、或いはコードであった場合は、マークの照合、文字の判別、或いはコードの復号などにより、放送局を特定する。或いは放送局該当無しとする。

放送局が特定できなかった場合は、番組特定処理部７４は特定できない旨をサーバ制御部７２に通知する。この場合、サーバ制御部７２は処理をステップＦ４０６からＦ４０１に戻し、次の撮像画像データの受信を待機する。
放送局が特定できた場合は、番組特定処理部７４は特定した放送局の情報をサーバ制御部７２に通知する。なお、画像がリアルタイム放送画像か過去の放送画像かの情報も通知しても良い。
この場合、サーバ制御部７２は処理をステップＦ２０３からＦ２０４に進め、視聴率集計部７６に視聴情報の処理を実行させる。
視聴率集計部７６は、今回特定された放送局についての視聴者数のカウントアップや、各種視聴率（瞬間視聴率、時間帯視聴率、番組別視聴率、コマーシャル毎の視聴率、リアルタイム／録画の別の視聴率、録画視聴数を加えて更新した番組視聴率）などを算出、更新する。

続いてサーバ制御部７２はステップＦ４０８で、視聴率集計部７６が算出（更新）した視聴情報の通知処理を行う。即ち視聴情報を通信部７３から広告主端末８０や放送局端末８１に送信し、視聴率調査結果を提供する。
なお、ステップＦ４０８の処理は、ステップＦ４０７の後に毎回行わなくとも、一定時間毎に実行したり、１日に１回まとめて実行するようにしてもよい。また、このステップＦ４０８で、視聴情報を撮像装置１に送信するようにし、撮像装置１では、視聴情報の受信に応じて、視聴情報を表示出力できるようにしてもよい。

以上のようなシステム動作例により、多数の撮像装置１からの撮像画像データに基づく視聴情報生成のための処理がサーバ装置７０において行われ、視聴情報が生成される。そして広告主や放送局に対して視聴情報が通知されることになる。

［６．実施の形態の効果、及び変形例、拡張例］

以上の実施の形態によれば、実際に視聴者がテレビジョン放送番組を見ている状態を検出し、それを視聴情報生成に用いるものとなるため、実態に即した視聴者数や各種視聴率を把握できるようになる。
撮像装置１で撮像した撮像画像データ内にテレビジョン受像器等のディスプレイ装置で表示されている画像が含まれていれば、ユーザはその表示画像を見ていると判断できる。
従って、その表示画像自体や、表示画像に含まれている文字、マーク、コード等を用いて放送番組（放送局）を特定すれば、ユーザが、実際にその放送を視聴していると判断して良い。これは、例えばテレビジョン受像器は映っているが、誰にも見られていないといった状況を、視聴率としてカウントすることを排除するものとなる。これによって、実態に即した視聴情報が得られる。
そして、撮像装置１を用いるユーザが多数になるほど、より有効な視聴情報が得られる。

また、表示画像を判別用データとすることで、ユーザが実際に何を見ているか否かを番組別やコマーシャル毎の視聴率として集計することも可能である。例えばコマーシャルの際にユーザが別の部屋に行った場合など、そのコマーシャルの時間の視聴率は低下するというように視聴情報に反映させることができる。例えば広告主にとっては、コマーシャル自体がどれだけ見られているか、といった非常に有用な情報を提供することもできる。
また、リアルタイム視聴、録画視聴などの実態としての情報を得ることもできる。これによって、視聴状況としてリアルタイム性の高い番組と低い番組の実態調査なども可能となる。

また上記システム動作例IIのように、撮像装置１側で視聴情報を表示させることで、ユーザが視聴率を意識しながら視聴するといった楽しみも創出できる。
またシステム動作例IIIの場合、撮像装置１側では、サーバ装置７０に対して撮像画像データを送信する機能があればよいため（つまり判別用データの生成は不要）、簡易な構成の撮像装置１を本システムに利用できる。

本発明は、上記実施の形態に限られず、撮像装置１の構成例や処理例として各種の変形例や拡張例が考えられる。
また本発明の撮像画像データ処理装置の例として撮像装置１を挙げたが、撮像画像データ処理装置は撮像装置以外に、多様な装置が想定される。
例えば撮像部を別体とする図１２のような撮像画像データ処理装置２０が本発明の撮像画像データ処理装置の例として考えられる。
画像取得部２１は図１（ａ）（ｂ）のようなウェアラブルな撮像装置との間で有線又は無線通信により通信可能とされるものとする。
この画像取得部２１は撮像装置から撮像画像データを受信し、その撮像画像データについてデータ抽出部２２で画像解析及び判別用データの抽出を行う。そして、判別用データ送信部２３で、判別用データをサーバ装置７０に送信する。
このように撮像機能のない撮像画像データ処理装置２０が、図１（ａ）（ｂ）のようなウェアラブルな撮像装置と別体で形成されて撮像装置と通信可能とされるとともに、判別用データをサーバ装置７０に送信できるようにしてもよい。

また実施の形態では、判別用データとして画像データを抽出する例を挙げたが、音声データを判別用データとして用いても良い。
例えば撮像装置１にマイクロホンを設け、マイクロホンで得られた音声データ、つまり放送番組の音声と推定できる音声データを、画像、マーク、コード、文字等と共に判別用データに加える。
その場合サーバ装置７０側では、該音声データを、放送中の音楽、タイトルコール、出演者の話声、ＢＧＭなどの音声とのマッチングを行って放送番組の特定に用いることができる。

また撮像装置１は、判別用データとともに、判別用データを抽出した撮像画像データの撮像時刻情報を送信するようにすれば、サーバ装置７０側での画像の照合を行う際に、時刻を特定して効率的な照合を行うことができる。

また、撮像装置１のユーザの生体情報を判別用データと共に送信するということも考えられる。
例えば撮像装置１に生体センサとしての構成を備えるようにし、ユーザの生体情報を検出する。生体情報とは、脈拍数、心拍数、心電図情報、筋電、呼吸情報（例えば呼吸の速さ、深さ、換気量など）、発汗、ＧＳＲ（皮膚電気反応）、血圧、血中酸素飽和濃度、皮膚表面温度、脳波（例えばα波、β波、θ波、δ波の情報）、血流変化、眼の状態などである。
生体センサは、例えば眼鏡型の撮像装置１の装着フレーム内側に配置することで、例えばユーザの側頭部や後頭部に接触して、上記各種情報を検知できるようにしてもよいし、撮像装置１の装着フレーム部分とは別体として、身体の所定箇所に装着されるようにしてもよい。

このような生体センサを備えることで、ユーザがテレビジョン放送等を視聴している際のユーザの感情を推定することができる。例えばユーザが「楽しんでいる」「興奮している」「悲しんでいる」「あまり感情変化がない」などを推定できる。
このような感情推定情報を生成し、この感情推定情報を、判別用データをサーバ装置７０に送信する際に共に送信する。すると、サーバ装置７０では、番組を特定したときに、その番組を視聴しているユーザの感情の情報を得ることができる。
これは、楽しい番組で、実際に楽しんでいる人の数をカウントしたり、番組内の悲しい場面で悲しい感情を抱いている人の数をカウントすることなども可能となることを意味する。つまり番組内容に対する視聴者の感情を判断することができるため、これを視聴率と共に有用な情報とすることができる。

実施の形態では、サーバ装置７０は、視聴情報として、視聴率集計部７６で算出する視聴者数（視聴推定数又は視聴者推定数）や各種視聴率（瞬間視聴率、時間帯視聴率、番組別視聴率、コマーシャル毎の視聴率、リアルタイム／録画の別の視聴率、録画視聴数を加えて更新した番組視聴率）を得るようにした例を述べた。
本発明では、これらの視聴率や視聴者数だけでなく、さらに多様な視聴情報を得るようにすることも可能である。

例えば視聴者の構成比の情報を得るようにすることもできる。視聴者の構成比とは、例えば番組等を見ている視聴者の男女比や年齢層の比などである。例えば撮像装置１を使用するユーザが、予め個人情報として性別や年齢を登録するようにし、サーバ装置２が登録情報を撮像装置１の装置ＩＤとともにユーザデータベースとして保持するようにしておく。また撮像装置１は、図５又は図８のステップＦ１０５で判別用データとともに（或いは図１１のステップＦ３０２で撮像画像信号とともに）、装置ＩＤをサーバ装置７０に送信する。すると、サーバ装置側では装置ＩＤに基づいてユーザの属性（性別や年齢）を知ることができるため、視聴者数を性別や年齢毎にカウントすることも可能となり、視聴者としての性別や年齢の構成比の情報を生成することも可能となる。
また、予めユーザの属性をサーバ登録しておかなくても、撮像装置１がユーザの属性を記憶し、判別用データや撮像画像データの送信の際にユーザの属性情報を送信するようにしても、同様の情報生成が可能となる。

また、視聴情報として、視聴番組のランキング情報も生成することが可能である。例えば視聴率等を算出しなくても、或る時間帯の各放送の視聴者数をカウントすることで、その時間帯にどの放送局の番組が見られているかというランキング情報が生成できる。もちろん、時間帯別だけでなく、コマーシャル別のランキング情報や、番組別のランキング情報なども生成可能である。

さらに視聴情報として、テレビジョン受像器がオンとされているときに、実際に放送が視聴されているか否かの比率といった情報も生成可能である。例えば図１１のように撮像装置１の撮像画像データについてサーバ装置２で画像解析を行う場合、撮像画像内でテレビジョン受像器の放送画像が認識されても、或る程度継続的に放送画像が認識されない場合は、ユーザが放送を見ていないと判断できる。つまりユーザがテレビジョン受像器をオンにしながら、他の事をしているなどで放送を注視していない状況を判断することができる。このような解析結果に基づけば、放送番組やコマーシャルが、実際に見られているか否かという比率を算出することも可能である。

例えばこれらのように視聴情報として視聴状況に関する多様な情報が本発明により生成可能となり、例えば放送局やスポンサーに有益な情報を提供することができる。

本発明の実施の形態の撮像装置の外観例の説明図である。 実施の形態のシステム構成例の説明図である。 実施の形態の撮像装置のブロック図である。 実施の形態のサーバ装置のブロック図である。 実施の形態のシステム動作例Ｉのフローチャートである。 実施の形態の判別用データの抽出の説明図である。 実施の形態の判別用データの抽出の説明図である。 実施の形態のシステム動作例IIのフローチャートである。 実施の形態のシステム動作例IIIに対応する撮像装置のブロック図である。 実施の形態のシステム動作例IIIに対応するサーバ装置のブロック図である。 実施の形態のシステム動作例IIIのフローチャートである。 本発明の形態の撮像画像データ処理装置としての他の構成例の説明図である。

符号の説明

１ 撮像装置、２ 表示部、２ａ 表示パネル部、３ 撮像部、６ 撮像制御部、７ 表示制御部、１０ システムコントローラ、１２，２２，７７ データ抽出部、１４ ストレージ部、１５ 通信部、２０ 撮像画像データ処理装置、２１ 画像取得部、２３ 判別用データ送信部、７０ サーバ装置、７２ サーバ制御部、７４ 番組特定処理部

Claims (17)

1. 使用者の視界光景の撮像を行う撮像部によって撮像された撮像画像データを取得する取得手段と、
   上記取得手段で取得した撮像画像データから、視聴番組判別のための判別用データを抽出する抽出手段と、
   上記抽出手段で抽出された判別用データを、外部の視聴情報生成装置に送信する送信手段と、
   を備えたことを特徴とする撮像画像データ処理装置。
2. 上記取得手段は、上記撮像部を一体的に有し、上記撮像部での撮像により、上記撮像画像データを取得することを特徴とする請求項１に記載の撮像画像データ処理装置。
3. 上記撮像部は、撮像素子としてＣＣＤセンサ又はＣＭＯＳセンサを用いて構成されていることを特徴とする請求項２に記載の撮像画像データ処理装置。
4. 上記取得手段は、別体の上記撮像部との通信により、上記撮像部での撮像による上記撮像画像データを取得することを特徴とする請求項１に記載の撮像画像データ処理装置。
5. 上記抽出手段は、画像解析処理により、上記撮像画像データ内で画像表示機器の表示画像を判別し、上記撮像画像データ内に上記画像表示機器の表示画像が存在した場合に、その画像表示機器の表示画像から上記判別用データを抽出することを特徴とする請求項１に記載の撮像画像データ処理装置。
6. 上記抽出手段は、上記判別用データとして、上記撮像画像データ内で検出した表示画像部分の全部又は一部の画像データを抽出することを特徴とする請求項１に記載の撮像画像データ処理装置。
7. 上記抽出手段は、上記判別用データとして、上記撮像画像データ内で検出した表示画像内の文字、又はマーク、又はコードを抽出することを特徴とする請求項１に記載の撮像画像データ処理装置。
8. 上記送信手段は、ネットワーク通信により、上記抽出手段で抽出された判別用データを外部の視聴情報生成装置に送信することを特徴とする請求項１に記載の撮像画像データ処理装置。
9. 外部の視聴情報生成装置から送信されてくる視聴情報を受信する受信手段と、
   上記受信手段で受信した視聴情報を表示出力する表示手段と、
   をさらに備えたことを特徴とする請求項１に記載の撮像画像データ処理装置。
10. 外部の撮像画像データ処理装置から送信されてくる、視聴番組判別のための判別用データを受信する受信手段と、
    上記受信手段で受信した判別用データから、視聴番組を特定する処理を行う番組特定処理手段と、
    上記番組特定処理手段の処理結果に応じて視聴情報の生成処理を行う情報生成手段と、
    を備えたことを特徴とする視聴情報生成装置。
11. 上記情報生成手段で生成した視聴情報を、外部機器に送信する送信手段を、さらに備えることを特徴とする請求項１０に記載の視聴情報生成装置。
12. 撮像画像データ処理装置と視聴情報生成装置を有する視聴情報生成システムであって、
    上記撮像画像データ処理装置は、
    使用者の視界光景の撮像を行う撮像部によって撮像された撮像画像データを取得する取得手段と、
    上記取得手段で取得した撮像画像データから、視聴番組判別のための判別用データを抽出する抽出手段と、
    上記抽出手段で抽出された判別用データを、上記視聴情報生成装置に送信する送信手段と、
    を備え、
    上記視聴情報生成装置は、
    上記撮像画像データ処理装置から送信されてくる、視聴番組判別のための判別用データを受信する受信手段と、
    上記受信手段で受信した判別用データから、視聴番組を特定する処理を行う番組特定処理手段と、
    上記番組特定処理手段の処理結果に応じて視聴情報の生成処理を行う情報生成手段と、
    を備えたことを特徴とする視聴情報生成システム。
13. 使用者の視界光景の撮像を行う撮像部によって撮像された撮像画像データを取得するステップと、
    上記取得した撮像画像データから、視聴番組判別のための判別用データを抽出するステップと、
    上記抽出した判別用データを、外部の視聴情報生成装置に送信するステップと、
    を備えることを特徴とする撮像画像データ処理方法。
14. 外部の撮像画像データ処理装置から送信されてくる、視聴番組判別のための判別用データを受信するステップと、
    上記受信した判別用データから、視聴番組を特定する処理を行うステップと、
    視聴番組の特定処理の処理結果に応じて視聴情報の生成処理を行うステップと、
    を備えたことを特徴とする視聴情報生成方法。
15. 外部の撮像画像データ処理装置から送信されてくる撮像画像データを受信する受信手段と、
    上記受信手段で受信した撮像画像データから、視聴番組判別のための判別用データを抽出する抽出手段と、
    上記抽出手段で抽出した判別用データから、視聴番組を特定する処理を行う番組特定処理手段と、
    上記番組特定処理手段の処理結果に応じて視聴情報の生成処理を行う情報生成手段と、
    を備えたことを特徴とする視聴情報生成装置。
16. 撮像画像データ処理装置と視聴情報生成装置を有する視聴情報生成システムであって、
    上記撮像画像データ処理装置は、
    使用者の視界光景の撮像を行う撮像部によって撮像された撮像画像データを上記視聴情報生成装置に送信する送信手段を備え、
    上記視聴情報生成装置は、
    上記撮像画像データ処理装置から送信されてくる撮像画像データを受信する受信手段と、
    上記受信手段で受信した撮像画像データから、視聴番組判別のための判別用データを抽出する抽出手段と、
    上記抽出手段で抽出した判別用データから、視聴番組を特定する処理を行う番組特定処理手段と、
    上記番組特定処理手段の処理結果に応じて視聴情報の生成処理を行う情報生成手段と、
    を備えたことを特徴とする視聴情報生成システム。
17. 外部の撮像画像データ処理装置から送信されてくる撮像画像データを受信するステップと、
    上記受信手段で受信した撮像画像データから、視聴番組判別のための判別用データを抽出するステップと、
    上記抽出した判別用データから、視聴番組を特定する処理を行うステップと、
    視聴番組の特定処理の処理結果に応じて視聴情報の生成処理を行うステップと、
    を備えたことを特徴とする視聴情報生成方法。

Images