JP2011135477A - モニタリング方法およびモニタリング装置 - Google Patents

Abstract

【課題】電子看板で実際に映像が流れたか否かを認識可能とする。
【解決手段】デジタルサイネージに表示された映像を撮像装置を用いて撮像し、このデジタルサイネージに表示された映像の画像データの特徴量（反射物体特徴量）と、デジタルサイネージに表示される映像として予め決められている映像の特徴量（生成特徴量）を比較することで、デジタルサイネージに実際に表示されている映像が、デジタルサイネージに表示される映像として予め決められている映像と一致するか否かを判断する。
【選択図】図２

Description

本発明は、例えば平面ディスプレイやプロジェクタに映像や情報を表示するデジタルサイネージ（電子看板）における表示状況を監視するモニタリング方法およびモニタリング装置に関する。

例えば、テレビやラジオによる放送等の音響信号を用いてコマーシャル部分を認識するコマーシャル部分認識方法において、この音響信号の平均音量値が予め決められた値を下回った期間であるブランクに挟まれた期間と、認識の対象とである個々のコマーシャルの時間長との差分を求め、この差が所定値よりも小さい場合、このブランクに挟まれた期間の映像をコマーシャルの映像に対応する部分であると認識するものがある（例えば、特許文献１参照）。

特許第３５１３４２４号公報

しかしながら、上述した特許文献１は、放送中のテレビやラジオのコマーシャル部分の前後に存在する平均音量の小さい部分（ブランク）に着目して、このブランクに基づき、テレビやラジオ等によって放送される音声や映像から、コマーシャル部分の映像を検出するものであり、この検出されたコマーシャル部分の映像が実際に放送され、端末であるテレビやラジオから出力されたかまでは判断できなかった。例えば、テレビに表示される映像として予め決められている映像が、この映像の放送時間に合わせて、放送される内容通りに、このテレビの表示画面に表示されたか否かを判断することができなかった。

本発明は、このような事情を考慮してなされたものであり、その目的は、表示装置に表示される映像が表示装置に現実に表示されたか否かを判断することができるモニタリング方法およびモニタリング装置を提供することにある。

上述した課題を解決するために、本発明は、表示装置に表示されている映像を監視するモニタリング方法であって、前記表示装置に表示されている映像が映り込んだ反射物体を通じて得られる画像データに基づき当該画像データの特徴を示す第１特徴量を算出するステップと、前記算出された第１特徴量と、前記表示装置に表示される映像の特徴を示す第２特徴量とを照合し、当該照合結果が示す両者の違いが予め決められている許容範囲内であるか否かを判断し、当該照合結果が示す両者の違いが前記許容範囲内であると判断された場合、前記表示装置に表示されている映像と前記撮像によって得られた画像データの示す映像が同一であることを識別するステップとを含むことを特徴とする。

また、上述した課題を解決するために、本発明は、表示装置に表示されている映像を監視するモニタリング方法であって、前記表示装置に表示されている映像が映り込んだ反射物体を通じて得られる画像データに基づき当該画像データの特徴を示す特徴量を算出するステップと、前記算出された特徴量が時系列に連なる特徴量系列から、前記表示装置に表示される映像に応じて予め決められた期間に得られた特徴量を切り出して特徴量系列カットを得るステップと、前記特徴量系列カットから生成される第１特徴ベクトルと、前記表示装置に表示される映像の特徴を示す第２特徴ベクトルとを照合し、当該照合結果が示す両者の違いが予め決められている許容範囲内であるか否かを判断し、当該照合結果が示す両者の違いが前記許容範囲内であると判断された場合、前記表示装置に表示されている映像と前記撮像によって得られた画像データの示す映像が同一であることを識別するステップとを含むことを特徴とする。

また、上述した課題を解決するために、本発明は、表示装置に表示されている映像を監視するモニタリング装置であって、前記表示装置に映像を表示させる表示制御部と、前記表示装置に表示されている映像が映り込んだ反射物体を通じて得られる画像データに基づき当該画像データの特徴を示す第１特徴量を算出する第１特徴量算出部と、前記算出された第１特徴量と、前記表示装置に表示される映像の特徴を示す第２特徴量とを照合し、当該照合結果が示す両者の違いが予め決められている許容範囲内であるか否かを判断し、当該照合結果が示す両者の違いが前記許容範囲内であると判断された場合、前記表示装置に表示されている映像と前記撮像によって得られた画像データの示す映像が同一であることを識別する識別処理部とを含むことを特徴とする。

この発明によれば、表示装置に表示される映像が表示装置に現実に表示されたか否かを判断することができる。

本発明に係るモニタリングシステムの外観構成の一例を示す模式図である。 本第１実施形態に係るモニタリング装置の主要構成の一例を示すブロック図である。 本第１実施形態に係るモニタリング装置の主要部における入出力データの一例について説明するためのブロック図である。 本第１実施形態に係るモニタリング装置の主要部における入出力データの一例を示す図である。 本第１実施形態に係るモニタリング装置の動作の一例を説明するためのフローチャートである。 本第２実施形態に係るモニタリング装置の主要構成の一例を示すブロック図である。 本第２実施形態に係るモニタリング装置の主要部における入出力データの一例について説明するためのブロック図である。 本第２実施形態に係るモニタリング装置の主要部における入出力データの一例を示す図である。 本第２実施形態に係るモニタリング装置の動作の一例を説明するためのフローチャートである。

以下、本発明の一実施形態を、図面を参照して説明する。
本実施形態にモニタリングシステムは、例えば、デジタルサイネージにおいて刻々と打ち出される広告映像が変化する中、実際に広告映像が流れたかどうかを判断するために、デジタルサイネージと同じ側に設けられたカメラを用い、広告映像が映り込んだ反射物体を通して広告映像を識別することで、広告映像をモニタリングする例について、以下説明する。なお、本発明は、デジタルサイネージにおいて流れる広告映像に限定されず、ディスプレイやプロジェクタ等に表示される映像や情報が、ディスプレイやプロジェクタに表示されたか否かを監視するものに適用可能である。

図１は、本発明によるモニタリングシステムの外観構成を示す模式図である。
モニタリングシステムは、デジタルサイネージ１と、撮像装置２と、反射部３と、計算機４と、通信回線網５と、集中サーバ６とを備える。このデジタルサイネージ１、撮像装置２、反射部３、および計算機４は、拠点Ａに割り当てられている構成である。集中サーバ６には、この拠点Ａに割り当てられている構成と同様の構成を備える他の拠点Ｂ、Ｃ、・・・が、通信回線網５を介して接続されている。

デジタルサイネージ（電子看板）１は、例えば液晶ディスプレイである表示部を備え、計算機４から出力される画像データに基づき、例えば広告情報を示す映像を表示する。また、デジタルサイネージ１は、計算機４から出力される画像データに基づき映像に応じた音を出力する音出力部を備えるものであってもよい。このデジタルサイネージ１に表示される画像データは、ルールに基づき予め決められており、このルールとともに計算機４から出力されるものであってもよい。このルールは、例えば、デジタルサイネージ１に表示する画像データを表わす画像データの識別情報に対応付けられる、当該画像データを表示する時間や表示する時間長等の情報であって、予め決められている。

撮像装置２は、この反射部３に映し込まれた映像、すなわち、デジタルサイネージ１で表示される映像の反射像を撮影し、反射像の画像データを計算機４に出力する。この撮像装置２は、例えばデジタルサイネージ１に映し出された映像の静止画であるフレーム画像を時系列に連続して撮像し、この各フレーム画像を静止画の画像データとして出力するものであってもよく、連続する複数のフレーム画像を１つのまとまりとする動画の画像データを得るものであってもよい。なお、この撮像装置２は、デジタルサイネージ１と同じ位置であって、例えばデジタルサイネージ１の上部に取り付けられている。

反射部３は、例えば、鏡等の反射機能を備える物体であって、デジタルサイネージ１に表示される広告映像が映り込み、かつ、デジタルサイネージ１と反射部３との間を通過する人物などが遮蔽することのない位置に取り付けられている。なお、反射部３は、例えば、デジタルサイネージ１が設置されている正面に存在するガラスや反射性のある平面物体であればよい。また、反射率の高い鏡が、反射部３として、デジタルサイネージ１に表示される広告映像が映り込む位置に設置されるものであってもよい。

計算機４は、例えば、汎用の計算機、処理ロジックを実装したボード、チップ等のを含む装置であって、予め決められたルールで表示データ（画像データ）が示す画像をデジタルサイネージ１に表示させるとともに、撮像装置２で撮影した反射像の画像データに対して画像処理を行う。この計算機４は、この画像処理されたデータから得られる特徴量と、予め決められている比較対象である特徴量とを、映像毎に比較して、この比較結果に応じた識別結果を得て、自身が内蔵する記憶部にこの識別結果を保持するとともに、通信回線網５を介してこの識別結果を集約サーバ（計算機）６に送信する。
通信回線網５は、例えば、ＶＰＮ（Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などからなるネットワークである。

集約サーバ６は、上記複数の拠点Ａ、Ｂ、Ｃ、…に設けられた計算機４の識別結果を、通信回線網５を介して受信し、各拠点を示す識別子に対応付けて、自身が内蔵する記憶部に記憶させる。

［第１実施形態］
次に、本発明に係る第１実施形態について、以下説明する。
図２は、第１実施形態に係るモニタリング装置の主要構成を示すブロック図である。なお、このモニタリング装置は、上述したデジタルサイネージ１と、撮像装置２と、計算機４とを含むものである。

計算機４は、反射物体特徴量算出部４−１と、生成特徴量記憶部４−２と、照合閾値記憶部４−３と、識別処理部４−４と、表示データ記憶部４−５と、表示制御部４−６とを含む。

反射物体特徴量算出部４−１は、撮像装置２から出力された映像の画像データに基づき、反射部３に映り込んだ映像の特徴量を表わす反射物体特徴量を算出する。
この反射物体特徴量は、色ヒストグラムや、エッジ、自然特徴点等の値で示されるものであって、いずれの種類の値で反射物体特徴量を表わすのかは映像に応じて予め決められている。なお、この特徴量を示す値の種類は、映像に応じて予め人手で選択されるものであってもよい。この反射物体特徴量算出部４−１は、映像に応じて予め決められた特徴量に各映像タイトルを対応付けたテーブルを自身が内蔵する記憶部に記憶しており、このテーブルを参照して、反射部３に映り込んだ映像毎に、その特徴量を表わす反射物体特徴量を算出することができる。
いる。
また、この映像に応じた特徴量の種類の選択においては、予め行われる識別実験によって、反射部３の反射像に基づきデジタルサイネージ１で表示された映像を識別する際に最も映像の特徴を表わす特徴量を選択することが好ましい。この識別実験は、例えば、映像をデジタルサイネージ１で表示して反射部３に映り込んだ反射像を撮像装置２が実際に撮像し、この撮像装置２によって撮像された画像データに基づき、表示データを識別する反射像の特徴量を表わす色ヒストグラムや、エッジ、自然特徴点等の特徴量を求める実験である。

生成特徴量記憶部４−２は、広告映像から予め反射部３に合わせて生成しておいた生成特徴量を当該映像に対応付けて記憶し、デジタルサイネージ１に表示されている映像に対応する生成特徴量を識別処理部４−４に出力する。
この生成特徴量は、例えば、デジタルサイネージ１で表示された映像が映りこんでいる反射部３上の反射像を撮像装置２が撮像した場合に、デジタルサイネージ１で表示された映像の特徴量と反射部３からの反射像の特徴量との差分を、この反射部３の反射率等の特性やデジタルサイネージ１の画質等の特定に応じて予め求めておき、この特徴量の差分を、デジタルサイネージ１で表示された映像の特徴量から減算した値である。

なお、反射部３から得られる反射像に基づき算出される反射物体特徴量と、デジタルサイネージ１に表示される映像に基づき算出される特徴量との間に、反射部３の反射率等の物性に応じて大きな差が生じる場合がある。
そこで、事前にキャリブレーションを行い、反射部３やデジタルサイネージ１の特性に応じて、デジタルサイネージ１で表示された映像の特徴量と反射部３からの反射像の特徴量との差分を算出しておき、この差分に基づく劣化をデジタルサイネージ１に表示させる映像に仮想的に与えることで、反射部３から得られた映像の特徴量と同等な映像の特徴量を生成特徴量として算出することができる。なお、この生成特徴量は、各映像に応じて予め算出されるものであり、この映像を示す情報に対応付けて生成特徴量記憶部４−２に記憶されている。

照合閾値記憶部４−３は、後述する識別処理部４−４で実行される、映像の識別処理において映像を識別する際に用いる、実験から予め定めておいた照合閾値を記憶している。この照合閾値は、デジタルサイネージ１に表示される映像毎に予め決められており、撮像装置２によって得られた画像データが、デジタルサイネージ１に表示されている映像の画像データと一致していると許容される範囲を示す値である。また、照合閾値は、デジタルサイネージ１に表示される映像を示す情報に対応付けられて照合閾値記憶部４−３に記憶されている。

識別処理部４−４は、反射物体特徴量算出部４−１により算出された反射物体特徴量と、生成特徴量記憶部４−２から読み出した生成特徴量とを照合し、この照合結果に基づく双方の類似度を得る。この識別処理部４−４は、この類似度と、照合閾値記憶部４−３から読み出した照合閾値とを比較して、閾値判定を行う。この閾値判定では、例えば、識別処理部４−４が、反射物体特徴量と生成特徴量との差分を類似度として算出して、この差分が照合閾値の範囲内である場合には、表示データに基づきデジタルサイネージ１で表示されている映像と、撮像装置２で撮像された映像とが一致していると判定する。一方、識別処理部４−４は、この差分が照合閾値の範囲外である場合には、表示データに基づきデジタルサイネージ１で表示されている映像と、撮像装置２で撮像された映像とが一致していないと判定する。
言い換えると、両者の映像が一致していると判定されることで、予め決められている映像がデジタルサイネージ１において実際に表示されたことを示し、両者の映像が一致していないと判定されることにより、予め決められている映像がデジタルサイネージ１で表示されなかったことを示す。この予め決められている映像がデジタルサイネージ１で表示されなかったこととしては、他の映像が表示されたことや、デジタルサイネージ１が故障したこと等の事態も含まれる。

なお、識別処理部４−４は、特徴量の照合に際して、反射部３から得られた反射物体特徴量と、デジタルサイネージ１に表示される広告映像の表示データから予め生成した特徴量とを、これらの特徴量に合わせ、アクティブ探索（色ヒストグラム）、正規化相関係数（エッジ）、ＲＡＮＳＡＣ（自然特徴点）等を用いて照合し、双方の類似度を照合閾値で閾値判定する。

表示データ記憶部４−５は、デジタルサイネージ１で表示する映像である表示データ（静止画や動画の表示データを含む）を記憶している。この表示データは、例えば、映像毎にデジタルサイネージ１に表示する表示時刻が予め決められており、表示データ記憶部４−５は、当該映像を示す情報（以下、映像タイトルという）に表示時刻を対応付ける情報を記憶している。なお、この表示データは、ネットワーク５を介して外部のサーバから送信されて、表示データ記憶部４−５に記憶されるものであってもよい。

表示制御部４−６は、表示データ記憶部４−５に記憶されている表示データを表示部であるデジタルサイネージ１に出力し、この表示データが示す画像をデジタルサイネージ１に表示させる。この表示制御部４−６は、例えば現在の時刻を計時する計時部を備え、表示データ記憶部４−５を参照して、この計時部によって計時された時刻が、例えば映像タイトルＡを表示する時刻として予め決められている表示時刻に到達したか否かを判断し、当該映像タイトルＡに対応付けられている表示時刻が計時部によって計時された場合、表示データ記憶部４−５において計時部によって計時された時刻に対応付けられている映像タイトルＡの表示データを読み出し、デジタルサイネージ１に映像タイトルＡの映像を表示させる。
なお、本第１実施形態では、デジタルサイネージ１を、当該計算機４に接続された表示部としているが、当該計算機４と別体の電子機器であってもよく、表示データの表示制御に係るタイミング信号等は、反射物体特徴量算出部４−１、識別処理部４−４に供給されている。

次に、図３、４を用いて、第１実施形態に係るモニタリング装置におけるデータ処理についてより詳細に説明する。図３は、第１実施形態に係るモニタリング装置の主要部での入出力データを説明するためのブロック図である。また、図４は、第１実施形態に係るモニタリング装置の主要部での入出力データの一覧を示す図である。

表示制御部４−６が映像タイトルＡの映像をデジタルサイネージ１に表示させると、撮像装置２は、反射部３に映り込んだ映像Ａ（静止画および動画を含む）を撮像し、この映像Ａの反射像の画像データを反射物体特徴量算出部４−１に出力する。また、表示制御部４−６は、映像Ａをデジタルサイネージ１に表示させると、デジタルサイネージ１に表示されている映像が映像タイトルＡであることを示す信号を反射物体特徴量算出部４−１に出力する。
この反射物体特徴量算出部４−１は、撮像装置２から入力された画像データに基づき、この画像データが示す反射物体特徴量を算出する。また、反射物体特徴量算出部４−１は、表示制御部４−６から入力されるこの信号に基づき、映像タイトルＡの映像を表示することにより得られた反射物体特徴量であることを示す信号を算出した反射物体特徴量に対応付けて、識別処理部４−４に出力する。

この識別処理部４−４は、反射物体特徴量算出部４−１から入力される信号に基づき、映像タイトルＡに対応付けられている生成特徴量を生成特徴量記憶部４−２から読み出す。
また、識別処理部４−４は、反射物体特徴量算出部４−１から入力される信号に基づき、映像タイトルＡに対応付けられている照合閾値を照合閾値記憶部４−３から読み出す。
そして、識別処理部４−４は、反射物体特徴量算出部４−１から入力された反射物体特徴量と、生成特徴量記憶部４−２から読み出した生成特徴量とを比較して、この比較結果が照合閾値記憶部４−３から読み出した照合閾値の許容範囲内にあるか否かを判断する。比較結果が照合閾値の示す許容範囲内にある場合、識別処理部４−４は、デジタルサイネージ１に表示する映像として予め決められている映像タイトルＡの映像が実際にデジタルサイネージ１に表示されていることを示す識別結果を出力する。一方、比較結果が照合閾値の示す許容範囲外にある場合、デジタルサイネージ１に表示する映像として予め決められている映像である映像タイトルＡの映像がデジタルサイネージ１に表示されていないことを示す識別結果を出力する。
次いで、識別処理部４−４は、この識別結果を、通信回線網５を介して集約サーバ６に送信する。

図５は、本第１実施形態に係るモニタリング装置の動作を説明するためのフローチャートである。
表示制御部４−６が映像Ａをデジタルサイネージ１に表示させると、撮像装置２は、反射部３に映り込んだ映像タイトルＡの映像（静止画および動画を含む）を撮像し、この映像タイトルＡの画像データを反射物体特徴量算出部４−１に出力する。この反射物体特徴量算出部４−１は、表示制御部４−６から入力されたデジタルサイネージ１に表示されている映像が映像タイトルＡの映像であることを示す信号に基づき、この映像タイトルＡに対応付けられている特徴量の種類に応じた反射物体特徴量を算出し、識別処理部４−４に出力する。
例えば、反射物体特徴量算出部４−１は、色ヒストグラム、エッジ、自然特徴点の中から映像Ａの特徴を最もよくあらわしている色ヒストグラムで表わされる反射物体特徴量を、撮像装置２から出力される画像データに基づき、算出する（ステップＳ１）。

次に、識別処理部４−４は、反射物体特徴量算出部４−１から入力された反射物体特徴量と、生成特徴量記憶部４−２から読み出した映像タイトルＡに対応付けられている生成特徴量とを照合し、この反射物体特徴量と生成特徴量の類似度（例えば差分）を得る。そして、識別処理部４−４は、照合閾値記憶部４−３から読み出した映像タイトルＡに対応付けられている照合閾値と類似度とを比較して、この類似度が照合閾値の示す許容範囲内であるか否かの閾値判定することにより、実際にデジタルサイネージ１に広告が流れたかどうかを識別し、その識別結果を出力する（ステップＳ２）。

そして、モニタリング装置は、例えば、デジタルサイネージ１による映像の表示が終了した場合、終了条件を満たしたとして、当該処理を終了し、終了条件を満たしていない場合、ステップＳ１に戻って上述した処理を継続する（ステップＳ３）。

上述した第１実施形態によれば、デジタルサイネージ１に表示された映像を撮像装置２で用いて撮像し、このデジタルサイネージ１に表示された映像の画像データの特徴量（反射物体特徴量）と、デジタルサイネージ１に表示される映像として予め決められている映像の特徴量（生成特徴量）を比較することで、デジタルサイネージ１に実際に表示されている映像が、デジタルサイネージ１に表示される映像として予め決められている映像と一致するか否かを判断するようにした。これにより、照合閾値の範囲内で両特徴量が類似していれば、デジタルサイネージ１に表示される映像として予め決められている映像が、実際のデジタルサイネージ１に表示されたことを検出することができる。

［第２実施形態］
次に、本発明に係る第２実施形態について説明する。

図６は、第２実施形態に係るモニタリング装置の主要構成を示すブロック図である。なお、図２に示したモニタリング装置に対応する同様の構成部分については、同一の符号を付けて説明を省略する。また、本実施形態に係るモニタリング装置は、デジタルサイネージ１に表示される動画映像が撮像装置２によって撮像され、動画映像に基づく画像データが計算機４に入力される例について以下説明する。このように、動画映像の場合、識別処理部４−１１によって識別処理がなされる対象の情報量が多くなるため、本実施形態に係るモニタリング装置は、第１実施形態に係るモニタリング装置の構成部材に加えて、以下に示すような算出販社物体特徴量記憶部４−７、カット切り出し部４−８と、反射物体特徴ベクトル生成部４−９と、生成特徴ベクトル記憶部４−１０と、識別処理部４−１１と、照合閾値記憶部４−１２とをさらに備えるものである。

算出反射物体特徴量記憶部４−７は、反射物体特徴量算出部４−１により算出された反射物体特徴量が時系列に連続してなる反射物体特徴量系列に、デジタルサイネージ１において表示された映像を示す情報（映像タイトル）を対応付けて記憶する。
なお、算出反射物体特徴量記憶部４−７が記憶する情報は、反射物体特徴量算出部４−１によって作成されるものである。例えば、表示制御部４−６によって映像タイトルＢの映像がデジタルサイネージ１で表示された場合、デジタルサイネージ１に表示されている映像が映像タイトルＢの映像であることを示す信号が表示制御部４−６から反射物体特徴量算出部４−１に出力される。この反射物体特徴量算出部４−１は、撮像装置２から入力される画像データに基づき算出された反射物体特徴量を時系列に順次連ねた反射物体特徴量系列を映像タイトルＢに対応づけて算出反射物体特徴量記憶部４−７に記憶させる。

この反射物体特徴量算出部４−１は、表示制御部４−６から入力されるカットタイミング信号に基づき、カット切り出し部４−８によってカットされるタイミングを表わすフレーム情報を生成し、算出反射物体特徴量記憶部４−７に出力して、映像タイトルに対応づけて記憶させる。
具体的に説明すると、表示制御部４−６は、計時部によって計時された時刻が表示データ記憶部４−５において映像タイトルＢの表示データに対応づけられている時刻となった場合、映像タイトルＢの映像をデジタルサイネージ１に表示させるとともに、例えば表示データ記憶部４−５において映像タイトルＢの表示データに対応づけられているカットタイミング信号を反射物体特徴量算出部４−１に出力する。

このカットタイミング信号は、映像毎に予め決められており、当該映像の特徴をよく表わしている映像が流れるタイミングを示す情報である。例えば、１５秒のコマーシャル映像である映像タイトルＢの映像は、開始０〜５秒において画像の変化量が少なく、開始から６〜１０秒（例えば、１８１〜３００コマの期間）において映像タイトルＢの映像の特徴をよく表わしている。この場合、表示制御部４−６は、開始からのコマ数で示される１８１〜３００コマの期間を表わすカットタイミング信号を反射物体特徴量算出部４−１に出力する。なお、このカットタイミング信号は、映像毎に決められていてもよく、デジタルサイネージ１で表示される映像の長さに応じて予め定めているものであってもよい。
そして、この反射物体特徴量算出部４−１は、このカットタイミング信号に基づき、この１８１〜３００コマの期間を示すフレーム情報を算出反射物体特徴量記憶部４−７に出力し、映像タイトルＢに対応づけて記憶させる。例えば、表示制御部４−６は、表示データ記憶部４−５から読み出した各表示データをデジタルサイネージ１に表示させる際の表示開始タイミングと表示終了タイミングを示す情報を反射物体特徴量算出部４−１に出力しており、この表示開始時点からカットタイミング信号が表わす時間が経過した時点を示す情報をフレーム情報として生成し、算出反射物体特徴量記憶部４−７に出力することができる。

カット切り出し部４−８は、それぞれ対応付けられている映像タイトルＢと、反射物体特徴量系列と、フレーム情報を読み出す。そして、カット切り出し部４−８は、このフレーム情報に基づいて、反射物体特徴量系列から一定時間（または一定フレーム数）で切り出した反射物体特徴量系列カットを生成し、この反射物体特徴量係数カットに映像タイトルＢを対応付けて反射物体特徴ベクトル生成部４−９に出力する。

反射物体特徴ベクトル生成部４−９は、切り出された反射物体特徴量系列カットから、反射物体特徴ベクトルを算出し、この反射物体特徴ベクトルに映像タイトルＢを対応付けて識別処理部４−１１に出力する。ここで、反射物体特徴ベクトルとは、反射物体特徴量の一定フレーム数分の反射物体特徴ベクトルである。反射物体特徴ベクトル生成部４−９は、反射物体特徴量系列カットをそのまま反射物体特徴ベクトルとして用いてもよいし、時間方向で平均を取る等の演算を反射物体特徴量系列カットに対して得られたものを反射物体特徴ベクトルとしてもよい。

生成特徴ベクトル記憶部４−１０は、デジタルサイネージ１に表示される映像から予め反射部３に応じて生成しておいた生成特徴ベクトルを記憶しており、該生成特徴ベクトルを出力する。なお、この生成特徴ベクトルは、各映像に応じて予め算出されるものであり、この映像を示す情報に対応付けて生成特徴ベクトル記憶部４−１０に記憶されている。また、この生成特徴ベクトルは、各映像に応じて決められているカットタイミング（上述のカットタイミング信号によって示されるタイミング）によって、当該映像の特徴をよく表わしている映像の一部に対応する生成特徴ベクトルであってもよい。
ここで、前述した第１実施形態と同様に、反射部３を介して取得した反射像の映像から算出される特徴ベクトルと、デジタルサイネージ１に表示する映像から算出される生成特徴ベクトルとの間には大きな差が生じる。そこで、事前にキャリブレーションを行い、反射部３の特性を計測しておき、クリーンな映像に仮想的に与えることで、反射部３から得られたのと同等な映像を作り出し、そこから生成特徴ベクトルを算出しておく。
なお、生成特徴ベクトル算出において、時間方向の演算を行った場合には、この時間方向の演算に応じて照合方法を変えることが好ましい。

識別処理部４−１１は、反射物体特徴ベクトル生成部４−９により算出された反射物体特徴ベクトルが入力されると、この反射物体特徴ベクトルに対応付けられている映像タイトルＢに基づき、生成特徴ベクトル記憶部４−１０から映像タイトルＢの該カットタイミングの生成特徴ベクトルを読み出す。そして、識別処理部４−１１は、この反射物体特徴ベクトルと生成特徴ベクトルとを照合し、双方の類似度を、照合閾値記憶部４−１２からの映像タイトルＢに対応付けられている照合閾値を用いて閾値判定し、実際に広告映像が流れたかどうかを判別する。
なお、識別処理部４−１１は、双方の類似度を、照合閾値記憶部４−１２からの照合閾値を用いて閾値判定し、実際に流れた広告映像が表示データ記憶部４−５において当該映像に対応付けられている表示開始タイミングと表示終了タイミングで表わされる期間にスケジュールどおり表示されたか否かを判別することもできる。
照合閾値記憶部４−１２は、撮像装置２によって得られた画像データが、表示データ記憶部４−５から読み出された表示データに基づきデジタルサイネージ１に表示されている映像の画像データと一致していると許容される範囲を示す値である。また、照合閾値は、デジタルサイネージ１に表示される映像タイトルに対応付けられて照合閾値記憶部４−１２に記憶されている。

次に、図７、８を用いて、第２実施形態に係るモニタリング装置におけるデータ処理についてより詳細に説明する。図７は、第２実施形態に係るモニタリング装置の主要部での入出力データを説明するためのブロック図である。また、図８は、第２実施形態に係るモニタリング装置の主要部での入出力データの一覧を示す図である。

表示制御部４−６が映像タイトルＢの映像をデジタルサイネージ１に表示させると、撮像装置２は、反射部３に映り込んだ動画映像である映像タイトルＢの映像を撮像し、この撮像によって得られた画像データを反射物体特徴量算出部４−１に出力する。
また、この表示制御部４−６は、映像タイトルＢの映像をデジタルサイネージ１に表示させると、デジタルサイネージ１に表示されている映像が映像タイトルＢの映像であることを示す信号（映像タイトルＢ）と、この映像タイトルＢの表示開始タイミングを示す信号と、この映像Ｂにおいて反射物体特徴量系列カットを切り出すタイミングを示すカットタイミング信号を反射物体特徴量算出部４−１に出力する。

この反射物体特徴量算出部４−１は、表示制御部４−６から入力されたデジタルサイネージ１に表示されている映像が映像タイトルＢであることを示す信号（映像タイトルＢ）に基づき、撮像装置２から入力された画像データから、映像タイトルＢに対応する反射物体特徴量を算出し、算出反射物体特徴量記憶部４−７に出力する。また、反射物体特徴量算出部４−１は、表示制御部４−６から入力されたこの映像タイトルＢの表示開始タイミングを示す信号とカットタイミング信号に基づきフレーム情報（例えば、１８１〜３００コマの期間）を生成して算出反射物体特徴量記憶部４−７に出力する。
この算出反射物体特徴量記憶部４−７は、反射物体特徴量算出部４−１から時系列に順次出力される反射物体特徴量が入力され、この反射物体特徴量が時系列に順次連なる反射物体特徴量系列に映像タイトルＢおよびフレーム情報を対応付けて記憶させるとともに、これら映像タイトルＢに対応づけられている反射物体特徴量系列およびフレーム情報をカット切り出し部４−８に出力する。
カット切り出し部４−８は、算出反射物体特徴量記憶部４−７から入力されるフレーム情報に基づき、算出反射物体特徴量記憶部４−７から入力される反射物体特徴量系列をカットタイミングにより切り出し、反射物体特徴量カットを出力する。例えば、カット切り出し部４−８は、反射部３から得られた反射像のうち映像Ｂの１８１〜３００コマに対応する反射像の特徴量を反射物体特徴量系列から切り出し、反射物体特徴量カットとして反射物体特徴ベクトル生成部４−９に出力する。

反射物体特徴ベクトル生成部４−９は、入力される反射物体特徴系列カットに基づき、反射物体特徴ベクトルを算出して、この反射物体特徴ベクトルに映像タイトルＢを対応づけて識別処理部４−１１に出力する。生成特徴ベクトル記憶部４−１０は、映像から予め反射部３に合わせて生成しておいた生成特徴ベクトルに映像タイトルを対応付けた情報を記憶しており、識別処理部４−１１によって読み出されることにより、映像に応じた生成特徴ベクトルを識別処理部４−１１に出力する。照合閾値記憶部４−１２は、実験から予め生成しておいた照合閾値に映像タイトルを対応付けて記憶しており、識別処理部４−１１によって読み出されることにより、映像に応じた照合閾値を識別処理部４−１１に出力する。
この識別処理部４−１１は、反射物体特徴ベクトル生成部４−９から入力された反射物体特徴ベクトルと、生成特徴ベクトル記憶部４−１０から読み出した生成特徴ベクトルとを照合し、この２つの特徴ベクトル（反射物体特徴ベクトルと生成特徴ベクトル）の照合結果が照合閾値記憶部４−１２からの照合閾値の示す許容範囲内にあるか否かを判断する。そして、識別処理部４−１１は、照合閾値が許容範囲内にある場合、予め決められた映像がデジタルサイネージ１に表示されたことを示す識別結果を出力し、照合閾値が許容範囲外にある場合、予め決められた映像がデジタルサイネージ１に表示されていないことを示す識別結果を出力する。

図９は、第２実施形態に係るモニタリング装置の動作を説明するためのフローチャートである。反射物体特徴量算出部４−１は、処理が開始されると、撮像装置２により撮影された、デジタルサイネージ１に表示される映像が映り込んだ反射部３上の映像を取得し、色ヒストグラム、エッジ、自然特徴点などの最も識別率がよい反射物体特徴量を算出し、算出反射物体特徴量記憶部４−７に蓄積する（ステップＳ１０）。

次に、カット切り出し部４−８は、算出反射物体特徴量記憶部４−７に蓄積された反射物体特徴量系列から、フレーム情報に基づき、カットタイミングで切り出した反射物体特徴量系列カットを出力する（ステップＳ１１）。

次に、反射物体特徴ベクトル生成部４−９は、切り出された反射物体特徴量系列カットに基づき、カットタイミング分の反射物体特徴ベクトルを算出する（ステップＳ１２）。

次に、識別処理部４−１１は、反射物体特徴ベクトル生成部４−９により算出された反射物体特徴ベクトルと、生成特徴ベクトル記憶部４−１０に記憶されている、予めデジタルサイネージ１に表示する映像から算出した生成特徴ベクトルとの類似度を照合し、照合閾値記憶部４−１２からの照合閾値に基づいて閾値判定することにより、実際にデジタルサイネージ１に広告映像が流れたかどうか、あるいは、デジタルサイネージ１において刻々と打ち出される広告映像がスケジュール通りに流れたかどうかを判別し、その識別結果を出力する（ステップＳ１３）。

そして、モニタリング装置は、例えば、デジタルサイネージ１による映像の表示が終了した場合、終了条件を満たしたとして、当該処理を終了し、終了条件を満たしていない場合、ステップＳ１０に戻って上述した処理を継続する（ステップＳ１４）。

上述した第２実施形態によれば、デジタルサイネージ１と同じ側につけられた撮像装置２を用い、広告の映像が映りこんだ反射部３を通して広告映像を認識することで、デジタルサイネージ１において刻々と打ち出される広告がスケジュール通りに広告が流れたかどうかを判別することができる。また、デジタルサイネージ１の故障を検知することも可能である。

なお、上述した第１、第２実施形態において、反射物体特徴量算出部４−１、識別処理部４−４、カット切り出し部４−８、反射物体特徴ベクトル生成部４−９、識別処理部４−１１などによる機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、符号化処理、及び復号化処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

１ デジタルサイネージ
２ 撮像装置
３ 反射部
４ 計算機
５ 通信回線網
６ 集約サーバ
４−１ 反射物体特徴量算出部
４−２ 生成特徴量記憶部
４−３ 照合閾値記憶部
４−４、４−１１ 識別処理部
４−５ 表示データ記憶部
４−６ 表示制御部
４−７ 算出反射物体特徴量記憶部
４−８ カット切り出し部
４−９ 反射物体特徴ベクトル生成部
４−１０ 生成特徴ベクトル記憶部
４−１２ 照合閾値記憶部

Claims (3)

1. 表示装置に表示されている映像を監視するモニタリング方法であって、
   前記表示装置に表示されている映像が映り込んだ反射物体を通じて得られる画像データに基づき当該画像データの特徴を示す第１特徴量を算出するステップと、
   前記算出された第１特徴量と、前記表示装置に表示される映像の特徴を示す第２特徴量とを照合し、当該照合結果が示す両者の違いが予め決められている許容範囲内であるか否かを判断し、当該照合結果が示す両者の違いが前記許容範囲内であると判断された場合、前記表示装置に表示されている映像と前記撮像によって得られた画像データの示す映像が同一であることを識別するステップと
   を含むことを特徴とするモニタリング方法。
2. 表示装置に表示されている映像を監視するモニタリング方法であって、
   前記表示装置に表示されている映像が映り込んだ反射物体を通じて得られる画像データに基づき当該画像データの特徴を示す特徴量を算出するステップと、
   前記算出された特徴量が時系列に連なる特徴量系列から、前記表示装置に表示される映像に応じて予め決められた期間に得られた特徴量を切り出して特徴量系列カットを得るステップと、
   前記特徴量系列カットから生成される第１特徴ベクトルと、前記表示装置に表示される映像の特徴を示す第２特徴ベクトルとを照合し、当該照合結果が示す両者の違いが予め決められている許容範囲内であるか否かを判断し、当該照合結果が示す両者の違いが前記許容範囲内であると判断された場合、前記表示装置に表示されている映像と前記撮像によって得られた画像データの示す映像が同一であることを識別するステップと
   を含むことを特徴とするモニタリング方法。
3. 表示装置に表示されている映像を監視するモニタリング装置であって、
   前記表示装置に映像を表示させる表示制御部と、
   前記表示装置に表示されている映像が映り込んだ反射物体を通じて得られる画像データに基づき当該画像データの特徴を示す第１特徴量を算出する第１特徴量算出部と、
   前記算出された第１特徴量と、前記表示装置に表示される映像の特徴を示す第２特徴量とを照合し、当該照合結果が示す両者の違いが予め決められている許容範囲内であるか否かを判断し、当該照合結果が示す両者の違いが前記許容範囲内であると判断された場合、前記表示装置に表示されている映像と前記撮像によって得られた画像データの示す映像が同一であることを識別する識別処理部と
   を含むことを特徴とするモニタリング装置。

Images