JP2008197266A - 再生装置、再生システム、再生方法及びコンピュータプログラム - Google Patents
再生装置、再生システム、再生方法及びコンピュータプログラム Download PDFInfo
- Publication number
- JP2008197266A JP2008197266A JP2007030980A JP2007030980A JP2008197266A JP 2008197266 A JP2008197266 A JP 2008197266A JP 2007030980 A JP2007030980 A JP 2007030980A JP 2007030980 A JP2007030980 A JP 2007030980A JP 2008197266 A JP2008197266 A JP 2008197266A
- Authority
- JP
- Japan
- Prior art keywords
- viewer
- data
- reproduction
- attention
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】データを再生する再生装置、該再生装置による再生処理を制御装置によって制御する再生システム、再生方法、コンピュータプログラムを提供する。
【解決手段】電子POP装置1の制御部10は、再生情報テーブル13bに登録してあるいずれかの再生開始時刻が経過した場合、対応する広告情報の再生処理を開始する。制御部10は、広告情報の再生中にカメラ2から画像データを取得した場合、画像データ中の視聴者の移動速度を検出し、検出した移動速度が所定範囲内であれば、この視聴者の注目時間を算出する。制御部10は、検出した移動速度が所定範囲外となった場合、この視聴者のこれまでの注目時間に応じた注目度ポイントを、前記広告情報に対する注目度に加算する。制御部10は、広告情報の再生処理が終了された場合、全ての視聴者のこれまでの注目時間に応じた注目度ポイントを、前記広告情報に対する注目度に加算する。
【選択図】図2
【解決手段】電子POP装置1の制御部10は、再生情報テーブル13bに登録してあるいずれかの再生開始時刻が経過した場合、対応する広告情報の再生処理を開始する。制御部10は、広告情報の再生中にカメラ2から画像データを取得した場合、画像データ中の視聴者の移動速度を検出し、検出した移動速度が所定範囲内であれば、この視聴者の注目時間を算出する。制御部10は、検出した移動速度が所定範囲外となった場合、この視聴者のこれまでの注目時間に応じた注目度ポイントを、前記広告情報に対する注目度に加算する。制御部10は、広告情報の再生処理が終了された場合、全ての視聴者のこれまでの注目時間に応じた注目度ポイントを、前記広告情報に対する注目度に加算する。
【選択図】図2
Description
本発明は、記憶手段に記憶してあるデータを再生する再生装置、該再生装置による再生処理を制御装置によって制御する再生システム、前記再生装置によるデータの再生方法、前記再生装置をコンピュータによって実現するためのコンピュータプログラムに関するものである。
顧客の購買意欲を高めるために、店舗内に陳列された商品の近傍にビデオ及びテレビ、又はテレビデオ等を設置し、各商品を宣伝するためのプロモーションビデオを流して顧客に訴求することが一般的に行なわれている。
このように、各商品の近傍に設置されたビデオ及びテレビ、又はテレビデオを用いて各商品のプロモーションビデオを流す場合、例えば店舗の店員がプロモーションビデオの再生ボタンを操作することによって所定のプロモーションビデオの再生処理が開始されるので、プロモーションビデオを視聴する人がいない場合には再生処理が無駄となる。
このように、各商品の近傍に設置されたビデオ及びテレビ、又はテレビデオを用いて各商品のプロモーションビデオを流す場合、例えば店舗の店員がプロモーションビデオの再生ボタンを操作することによって所定のプロモーションビデオの再生処理が開始されるので、プロモーションビデオを視聴する人がいない場合には再生処理が無駄となる。
そこで、特許文献1には、商品の陳列箇所の近傍で人の存在を検知した場合に所定の広告情報の再生処理を実行する電子POP(Point Of Purchase)装置が開示されている。特許文献1に開示された電子POP装置では、再生される広告情報の視聴が可能な範囲内に人が存在する場合にのみ広告情報を再生させるので、広告情報を視聴する人がいない場合には再生処理を実行せず、広告情報の不要な再生処理の実行を防止することができる。これにより、広告情報の再生処理を効率よく実行させることができる。
特開2002−116858号公報
しかし、特許文献1の装置では、広告情報の視聴が可能な範囲内に人が存在するか否かに基づいてのみ広告情報の再生処理を実行するか否かを判断しており、この範囲内に人が存在すれば、その人が広告情報を実際に視聴しているか否かに拘わらず再生処理を行なっていた。従って、電子POP装置を効率よく活用し、顧客の購買意欲が十分に高まるような訴求を行なうことは困難であるという問題があった。この場合、顧客にとっても広告主にとっても十分な宣伝効果を得ることは困難であった。
本発明は斯かる事情に鑑みてなされたものであり、その目的とするところは、再生されたデータを視聴していた視聴者の注目度を把握することが可能であり、注目度に基づいて各データを客観的に評価することが可能な再生装置、再生システム、再生方法を提供することにある。
本発明の他の目的は、予め設定された時間帯毎に、各時間帯に再生されたデータを視聴していた視聴者の注目度を把握することが可能であり、各時間帯毎に注目度に基づいて各データを客観的に評価することが可能な再生装置、再生システム、前記再生装置をコンピュータで実現可能なコンピュータプログラムを提供することにある。
本発明の他の目的は、所定範囲内の視聴者の移動速度が所定範囲内である時間に基づいて、データに対する視聴者の注目度を算出することにより、視聴者の視聴状況に沿ったより正確な注目度を算出することが可能な再生装置、再生システム、再生方法、前記再生装置をコンピュータで実現可能なコンピュータプログラムを提供することにある。
本発明の他の目的は、再生中のデータを視聴する視聴者を時系列的に撮像して得られた画像情報に基づいて、再生されたデータに対する注目度を算出するので、再生されたデータに対する注目度を画像処理によって容易に算出することが可能な再生装置、再生システム、前記再生装置をコンピュータで実現可能なコンピュータプログラムを提供することにある。
本発明の他の目的は、各データに対する注目度に基づいて、再生すべきデータを選択し、選択されたデータを再生するので、顧客の購買意欲が十分に高まるようなデータの再生処理を行なうことが可能な再生装置、再生システム、前記再生装置をコンピュータで実現可能なコンピュータプログラムを提供することにある。
本発明に係る再生装置は、記憶手段に記憶してあるデータを再生する再生装置において、再生中のデータを視聴する視聴者に係る情報を取得する取得手段と、該取得手段が取得した情報に基づいて、前記データに対する視聴者の注目度を算出する注目度算出手段とを備えることを特徴とする。
本発明に係る再生装置は、時計手段と、予め設定された複数の時間帯をそれぞれ示す時刻を記憶する時刻記憶手段とを備え、前記注目度算出手段は、前記時計手段が示す時刻に基づいて、前記時刻記憶手段に記憶してある各時刻が示す時間帯毎に、各時間帯に再生されたデータに対する注目度を算出するように構成してあることを特徴とする。
本発明に係る再生装置は、所定時間を経過する都度、前記取得手段が取得した情報に基づいて、自身を基準とした所定範囲内に存在する視聴者を検知する検知手段と、該検知手段が検知した視聴者の移動速度を検出する検出手段と、該検出手段が検出した移動速度が所定範囲内であるか否かを判断する判断手段と、該判断手段が所定範囲内であると判断した場合、前記所定時間を累計する累計手段とを備え、前記注目度算出手段は、前記累計手段が累計した時間が長いほど、前記データに対する注目度を高く算出するように構成してあることを特徴とする。
本発明に係る再生装置は、前記取得手段は、再生中のデータを視聴する視聴者を時系列的に連続して撮像した画像情報を取得するように構成してあり、前記検知手段は、前記取得手段が取得した画像情報に基づいて、該画像情報中の視聴者を検知するように構成してあり、前記検出手段は、前記取得手段が取得した画像情報に基づいて、前記検知手段が検知した視聴者の移動速度を検出するように構成してあることを特徴とする。
本発明に係る再生装置は、前記注目度算出手段が算出した注目度に基づいて、再生すべきデータを選択する手段と、選択されたデータを再生する手段とを備えることを特徴とする。
本発明に係る再生システムは、上述したような再生装置のいずれかひとつと、該再生装置が行なう再生処理を制御する制御装置とを備える再生システムにおいて、前記再生装置は、前記注目度算出手段が算出した注目度を前記制御装置へ送出する手段を備え、前記制御装置は、前記再生装置から送出された注目度に基づいて、前記再生装置が再生すべきデータを選択する手段と、選択されたデータの再生指示を前記再生装置へ送出する手段とを備え、前記再生装置は、前記制御装置から送出された再生指示に従って、前記データを再生する手段を備えることを特徴とする。
本発明に係る再生方法は、データを記憶手段に記憶してある再生装置による前記データの再生方法において、再生中のデータを視聴する視聴者に係る情報を取得するステップと、取得した情報に基づいて、前記データに対する視聴者の注目度を算出するステップとを含むことを特徴とする。
本発明に係る再生方法は、所定時間を経過する都度、取得した視聴者に係る情報に基づいて、前記再生装置を基準とした所定範囲内に存在する視聴者を検知するステップと、検知された視聴者の移動速度を検出するステップと、検出された移動速度が所定範囲内であるか否かを判断するステップと、所定範囲内であると判断された場合、前記所定時間を累計するステップと、累計された時間が長いほど、前記データに対する注目度を高く算出するステップとを含むことを特徴とする。
本発明に係るコンピュータプログラムは、コンピュータに、データを再生させるためのコンピュータプログラムにおいて、コンピュータに、所定時間を経過する都度、再生中のデータを視聴する視聴者に係る情報に基づいて、所定範囲内に存在する視聴者を検知させる検知ステップと、コンピュータに、前記検知ステップで検知された視聴者の移動速度を検出させる検出ステップと、コンピュータに、前記検出ステップで検出された移動速度が所定範囲内であるか否かを判断させるステップと、コンピュータに、所定範囲内であると判断された場合、前記所定時間を累計させるステップと、コンピュータに、累計された時間が長いほど、前記データに対する視聴者の注目度を高く算出させる算出ステップとを含むことを特徴とする。
本発明に係るコンピュータプログラムは、前記算出ステップは、コンピュータに、予め設定された複数の時間帯毎に、各時間帯に再生されたデータに対する注目度を算出させることを特徴とする。
本発明に係るコンピュータプログラムは、前記視聴者に係る情報は、再生中のデータを視聴する視聴者を時系列的に連続して撮像した画像情報であり、前記検知ステップは、コンピュータに、前記画像情報に基づいて、該画像情報中の視聴者を検知させ、前記検出ステップは、コンピュータに、前記画像情報に基づいて、前記検知ステップで検知された視聴者の移動速度を検出させることを特徴とする。
本発明に係るコンピュータプログラムは、コンピュータに、前記算出ステップで算出された注目度に基づいてデータを選択させるステップを含むことを特徴とする。
本発明によれば、記憶手段に記憶してあるデータを再生する再生装置が、再生中のデータを視聴する視聴者に係る情報を取得し、取得した情報に基づいて、再生されたデータに対する視聴者の注目度を算出する。よって、各データを視聴した視聴者の注目度を把握することが可能となり、注目度に応じた処理を各データに行なうことが可能となる。
本発明によれば、予め設定された時間帯毎に、各時間帯に再生されたデータに対する注目度を算出することによって、各データに対する時間帯毎の注目度を把握することが可能となり、各時間帯での注目度に応じた処理を各データに行なうことが可能となる。
本発明によれば、所定時間を経過する都度、再生装置を基準とした所定範囲内に存在する視聴者を検知し、検知された視聴者の移動速度を検出し、検出された視聴者の移動速度が所定範囲内であれば、所定時間を累計する。よって、再生装置を基準とした所定範囲内の視聴者、即ち再生装置によって再生中のデータを視聴する視聴者の移動速度が所定範囲内であれば、この視聴者はデータを視聴しているものとして視聴時間が算出される。また、算出された視聴時間が長いほど、再生されたデータに対する視聴者の注目度を高く算出するので、視聴者の視聴状況に応じた注目度の算出が可能となる。
本発明によれば、再生中のデータを視聴する視聴者を時系列的に連続して撮像した画像情報を取得し、このような画像情報に基づいて、この画像情報中の視聴者を検知すると共に、検知した視聴者の移動速度を検出する。また、画像情報に基づいて検出された視聴者の移動速度に基づいて、再生されたデータに対する視聴者の注目度を算出する。よって、再生されたデータを視聴した視聴者の注目度を画像処理によって容易に算出することが可能となる。
本発明によれば、算出された各データに対する視聴者の注目度に基づいて、再生すべきデータを選択し、選択されたデータを再生する。よって、各データに対する注目度に基づいて、顧客の購買意欲が十分に高まるようなデータの再生処理が可能となる。
本発明によれば、再生装置が行なう再生処理を制御する制御装置を備え、再生装置で算出された各データに対する視聴者の注目度に基づいて、制御装置が、再生装置で再生すべきデータを選択する。制御装置は、選択したデータの再生指示を再生装置へ送出し、再生装置は、制御装置から送出された再生指示に従って、対応するデータを再生する。よって、各再生装置は、制御装置によって選択されたデータを再生すればよく、再生すべきデータの選択処理を行なう必要がないので、再生装置による処理負担が軽減される。
本発明によれば、本発明のコンピュータプログラムをコンピュータに読み取らせて実行させることによって、上述したような再生装置をコンピュータによって実現することが可能となる。
本発明では、再生装置がデータを再生している際に、このデータを視聴する視聴者に係る情報を取得し、取得した情報に基づいて、再生されたデータに対する視聴者の注目度を算出する。よって、各データに対する注目度に基づいて各データを客観的に評価することができ、注目度に応じた処理を各データに行なうことができる。例えば、注目度の高いデータを優先的に再生させ、注目度の低いデータの再生を制限することによって、より高い宣伝効果が得られるデータを効率よく再生させることができ、顧客の購買意欲が十分に高まるような訴求が可能となる。
本発明では、予め設定された時間帯毎に、各時間帯に再生されたデータに対する視聴者の注目度を算出することによって、各データに対する時間帯毎の客観的な評価が可能となり、各時間帯毎に、注目度に応じた処理を各データに行なうことができる。例えば、各時間帯において、注目度の高いデータを優先的に再生させ、注目度の低いデータの再生を制限することによって、各時間帯においてより高い宣伝効果が得られるデータを効率よく再生させることができ、顧客の購買意欲が十分に高まるような訴求が可能となる。
本発明では、所定時間を経過する都度、再生装置を基準とした所定範囲内に存在する視聴者の移動速度を検出し、検出した移動速度が所定範囲内であれば、この視聴者はデータを視聴しているものとして視聴時間を算出する。そして、算出された視聴時間が長いほど、再生されたデータに対する視聴者の注目度を高い注目度に算出する。従って、再生装置を基準とした所定範囲内に視聴者が存在するか否かだけでなく、この視聴者が再生されるデータを視聴するために立ち止まっているか否かに基づいて、各データに対する視聴者の注目度を算出するので、視聴者の視聴状況に沿ったより正確な注目度を算出することができる。
本発明では、再生中のデータを視聴する視聴者を時系列的に撮像して得られた画像情報に基づいて、この画像情報中の視聴者を検知すると共に、検知された視聴者の移動速度を検出する。また、検出された視聴者の移動速度に基づいて再生されたデータに対する視聴者の注目度を算出するので、再生されたデータに対する注目度を画像処理によって容易に算出することができる。従って、既に公知な画像処理技術を用いて各データに対する注目度を算出することができ、このように算出された注目度に応じた処理を各データに対して行なうことによって、十分な宣伝効果が得られ、顧客の購買意欲が十分に高まるような訴求が可能となる。
本発明では、算出された各データに対する視聴者の注目度に基づいて、再生すべきデータを選択し、選択されたデータを再生するので、顧客の購買意欲が十分に高まるようなデータの再生処理を行なうことができる。よって、再生装置を効率よく活用することができると共に、データの再生処理によって十分な宣伝効果を得ることができる。
本発明では、再生装置が行なう再生処理を制御する制御装置が、再生装置で算出された各データに対する視聴者の注目度に基づいて、再生装置で再生すべきデータを選択する。制御装置は、選択したデータの再生指示を再生処理へ送出し、再生装置は、制御装置から送出された再生指示に従って、制御装置によって選択されたデータを再生する。よって、各再生装置は、再生すべきデータの選択処理を行なう必要がないので、データの選択処理の負担が軽減される。特に、多数の再生装置を利用する場合には、各再生装置による選択処理を行なう必要がないので、特に効果的である。
以下に、本発明に係る再生装置をその実施形態である電子POP装置を示す図面に基づいて詳述する。
(実施形態1)
図1は実施形態1に係る電子POP装置の設置状態を示す模式図である。本実施形態1の電子POP装置1は、広告情報(データ)の再生処理を行なう再生装置であり、例えば商品の陳列棚の適宜箇所に設置される。電子POP装置1の上面にはカメラ2が設置される。なお、電子POP装置1は、陳列された商品を見る顧客の邪魔にならないように設置され、カメラ2は、電子POP装置1で再生される広告情報を視聴する視聴者を撮影できるように設置される。従って、電子POP装置1の表示部15(図2参照)の表示方向と、カメラ2の撮像方向とを一致させて電子POP装置1及びカメラ2は設置されている。なお、図1においては、カメラ2の撮像範囲は画角θで示す範囲であり、5人の視聴者A,B,C,D,Eが撮影されることになる。
図1は実施形態1に係る電子POP装置の設置状態を示す模式図である。本実施形態1の電子POP装置1は、広告情報(データ)の再生処理を行なう再生装置であり、例えば商品の陳列棚の適宜箇所に設置される。電子POP装置1の上面にはカメラ2が設置される。なお、電子POP装置1は、陳列された商品を見る顧客の邪魔にならないように設置され、カメラ2は、電子POP装置1で再生される広告情報を視聴する視聴者を撮影できるように設置される。従って、電子POP装置1の表示部15(図2参照)の表示方向と、カメラ2の撮像方向とを一致させて電子POP装置1及びカメラ2は設置されている。なお、図1においては、カメラ2の撮像範囲は画角θで示す範囲であり、5人の視聴者A,B,C,D,Eが撮影されることになる。
本実施形態1では、電子POP装置1とカメラ2とは信号線L(図2参照)を介して接続されており、カメラ2で撮像された画像データ(画像信号)は信号線Lを介して電子POP装置1へ順次転送されてくる。カメラ2は、例えば1秒当たり30枚の画像データ(画像フレーム)で構成される画像を撮像し、得られた画像データを電子POP装置1へ順次転送する。
なお、電子POP装置1とカメラ2とは、信号線Lを介して接続する構成に限られず、例えばIEEE802.11規格に準拠したWLAN(Wireless LAN)を介した無線通信が可能に接続してもよい。この場合、電子POP装置1及びカメラ2の配置に要する面積が少なく、売り場の見た目もよい。また、配線がないので商品の売り場を整頓できると共に、通信線Lを介して接続する場合のように電子POP装置1で再生される広告情報を視聴する顧客に煩わしさを与えない。
電子POP装置1のユーザは、電子POP装置1に広告情報の再生処理を開始させた場合、カメラ2に撮像処理を開始させる。従って、本実施形態1の電子POP装置1は、広告情報の再生処理を行ないつつ、カメラ2から順次転送されてくる画像データに基づいて、再生中の広告情報を視聴している視聴者の広告情報に対する注目度を算出するように構成されている。これにより、電子POP装置1は、予め登録された広告情報の再生処理を行なうだけでなく、各広告情報に対する視聴者の注目度の管理も行なう。なお、電子POP装置1に、LAN等のネットワークを介して複数のカメラを接続することもでき、この場合には、複数のカメラによって視聴者を複数方向から撮影して得られた複数の画像データに基づいてより精度の高い注目度を算出することができる。
図2は実施形態1に係る電子POP装置1の構成例を示すブロック図である。本実施形態1の電子POP装置1に接続して用いられるカメラ2は、例えば、時系列的に連続して画像データを撮像できるデジタルビデオカメラである。具体的には、カメラ2は、制御部20、ROM21、RAM22、操作部23、撮像部24、画像処理部25、接続部26等を備え、これらのハードウェア各部はそれぞれバス2aを介して相互に接続されている。
制御部20は、CPU(Central Processing Unit )又はMPU(Micro Processor Unit)等により構成されており、バス2aを介して接続される上述したようなハードウェア各部を制御すると共に、ROM21に予め格納されている制御プログラムに従って種々の動作を実行する。ROM21は、カメラ2を動作させるために必要な種々の制御プログラム等を予め記憶している。RAM22は、SRAM又はSDRAM等で構成され、制御部20による制御プログラムの実行時に発生するデータを一時的に記憶する。
操作部23は、カメラ2をユーザが操作するために必要な各種のキーを備えており、ユーザにより各キーが操作された場合、操作されたキーに対応した制御信号を制御部20へ送出する。これにより、制御部20は操作部23から取得した制御信号に従って各種処理を実行する。
撮像部24は、撮像レンズ及びCCD撮像素子等を有しており、撮像レンズを介して捉えた光学像をCCD撮像素子で光電変換することによりアナログの画像データを生成し、画像処理部25へ転送する。
画像処理部25は、ADC(アナログ・デジタル・コンバータ)を有しており、撮像部24から転送されてくるアナログの画像データをADCにより所定の増幅率で増幅し、増幅された画像データを一定のタイミング毎にサンプリングし、サンプリング処理により得られた各値をデジタルデータに変換し、得られたデジタルの画像データを接続部26から電子POP装置1へ転送する。
画像処理部25は、ADC(アナログ・デジタル・コンバータ)を有しており、撮像部24から転送されてくるアナログの画像データをADCにより所定の増幅率で増幅し、増幅された画像データを一定のタイミング毎にサンプリングし、サンプリング処理により得られた各値をデジタルデータに変換し、得られたデジタルの画像データを接続部26から電子POP装置1へ転送する。
接続部26は、信号線Lを接続するための接続部であり、信号線Lを介して接続された電子POP装置1との間でデータの送受信を行なう。本実施形態1では、カメラ2は、撮像部24で撮像し、画像処理部25で所定の画像処理が施された画像データを接続部26を介して電子POP装置1へ順次転送する。
本実施形態1の電子POP装置1は、例えばパーソナルコンピュータによって構成され、制御部10、ROM11、RAM12、記憶部13、時計部14、表示部15、スピーカ16、操作部17、接続部18等を備え、これらのハードウェア各部はそれぞれバス1aを介して相互に接続されている。
制御部10は、CPU又はMPU等により構成されており、バス1aを介して接続される上述したようなハードウェア各部を制御すると共に、ROM11に予め格納されている制御プログラムに従って種々の動作を実行する。ROM11は、電子POP装置1を本発明の再生装置として動作させるために必要な種々の制御プログラム等を予め記憶している。RAM12は、SRAM又はSDRAM等で構成され、制御部10による制御プログラムの実行時に発生するデータを一時的に記憶する。
記憶部(記憶手段)13は、HDD、光ディスク又はメモリカード等により構成されており、電子POP装置1で再生処理される広告情報(データ)13aをファイル単位で記憶する。広告情報とは、例えば、静止画及び動画等の画像データと音声データとを含み、表示部15又はスピーカ16によって再生処理が可能な形式であれば、データ形式又はファイル形式は制限されない。また、広告情報としては例えば、販売される商品及び製品等に関する情報、店舗及び売り場で行われるイベント、タイムセール等を通知するための情報等があり、このような広告情報を電子POP装置1によって再生することによって顧客の購買意欲を高めるように訴求することができる。
また記憶部(時刻記憶手段)13には、図3に示すような再生情報テーブル13bが記憶されている。図3は再生情報テーブル13bの登録内容を示す模式図である。図3に示す再生情報テーブル13bには、電子POP装置1が行なう再生処理に関する再生情報が複数予め登録されている。各再生情報は、それぞれの再生処理における再生開始時刻、再生終了時刻及び再生される広告情報を含む。なお、広告情報としては、例えば各広告情報を特定するためのファイル名を用いることができる。また、再生情報テーブル13bは、それぞれの再生時間帯(それぞれの再生開始時刻から再生終了時刻までの時間帯)に再生される広告情報に対する注目度を登録できるように構成されている。
再生情報テーブル13bは、電子POP装置1によって再生される広告情報の管理を行なうユーザが操作部17を介して、電子POP装置1が行なう再生処理を登録する都度、制御部10によって再生開始時刻、再生終了時刻及び広告情報が登録される。また、カメラ2から転送されてくる画像データに基づいて制御部10が各広告情報に対する視聴者の注目度を算出する都度、制御部10によって各広告情報の注目度が登録される。
時計部(時計手段)14は絶対時間(年、月、日、時、分、秒)を刻時しており、制御部10は時計部14が示す絶対時間に基づいて現在時刻を取得する。
表示部15は、例えば液晶表示パネルからなる表示デバイスであり、制御部10からの指示に従って、記憶部13に記憶してある広告情報に含まれる画像データを表示する。また、表示部15は、広告情報に含まれる画像データのほかに、電子POP装置1の動作状態、ユーザに対して通知すべき情報等の表示も行なう。なお、表示部15の一部又は全部をタッチパネル方式のものとすることにより、後述の操作部17の各種のキーのうちの一部又は全部を代用することも可能である。
スピーカ16は、制御部10からの指示に従って、記憶部13に記憶してある広告情報に含まれる音声データを音声出力する。また、スピーカ16は、広告情報に含まれる音声データのほかに、ユーザに対して通知すべき各種情報の音声出力も行なう。
操作部17は、電子POP装置1をユーザが操作するために必要な各種のキーを備えており、ユーザにより各キーが操作された場合、操作されたキーに対応した制御信号を制御部10へ送出する。これにより、制御部10は操作部17から取得した制御信号に従って各種処理を実行する。
接続部18は、信号線Lを接続するための接続部であり、信号線Lを介して接続されたカメラ2との間でデータの送受信を行なう。本実施形態1では、電子POP装置1は、カメラ2で撮像された画像データを信号線Lを介して取得するように構成されており、接続部18は、カメラ2から転送されてくる画像データ(視聴者に係る情報)を取得する取得手段として動作する。また、接続部18は、制御部10からの制御に従って、カメラ2から取得した画像データを記憶部13へ送出し、記憶部13に記憶させる。
上述した構成により、本実施形態1の電子POP装置1の制御部10は、時計部14から取得した現在時刻に基づいて、記憶部13に記憶してある再生情報テーブル13bに登録してあるいずれかの再生開始時刻を経過したか否かを判断する。いずれかの再生開始時刻を経過した場合、制御部10は、この再生開始時刻に対応して再生情報テーブル13bに登録してある広告情報を記憶部13からRAM12に読み出し、読み出した広告情報の再生処理を開始させる。具体的には、制御部10は、RAM12に読み出した広告情報に含まれる画像データを表示部15に表示させ、RAM12に読み出した広告情報に含まれる音声データをスピーカ16によって音声出力する。
また、電子POP装置1の制御部10は、時計部14から取得した現在時刻に基づいて、記憶部13に記憶してある再生情報テーブル13bに登録してあるいずれかの再生終了時刻を経過したか否かを判断する。いずれかの再生終了時刻を経過した場合、制御部10は、実行中の再生処理を終了させる。具体的には、制御部10は、表示部15による画像データの表示処理及びスピーカ16よる音声データの音声出力処理を終了させる。
ここで、本実施形態1では、電子POP装置1の記憶部13に、カメラ2から転送されてくる画像データ中に存在する視聴者を検知するための視聴者検知処理プログラム、カメラ2から転送されてくる画像データ中に存在する視聴者の移動速度を検出するための移動速度検出処理プログラム、各広告情報に対する視聴者の注目度を算出するための注目度算出処理プログラム、各広告情報に対する注目度を算出する際に用いる視聴者状況テーブル、参照テーブル及び各種の閾値等が記憶されている。
本実施形態1の電子POP装置1において制御部10は、再生情報テーブル13bの登録内容に従って広告情報の再生処理を行ないつつ、カメラ2から画像データを取得する場合、画像データを取得する都度、即ち、所定時間(1/30秒)が経過する都度、記憶部13に記憶してある視聴者検知処理プログラムをRAM12に読み出して順次実行することにより、画像データ中に存在する視聴者を検知する検知手段として動作する。なお、画像データ中の視聴者を検知する方法としては、例えば、画像データ中の各画素の色を検出し、肌色の領域を人(視聴者)であると検知する方法がある。また、時系列的に前後する画像データ中に動体があるか否かを検出し、動体が検出された場合に、動体を人(視聴者)であるとする方法を用いることもできる。
次に制御部10は、記憶部13に記憶してある移動速度検出処理プログラムをRAM12に読み出して順次実行することにより、検知された画像データ中の視聴者の移動速度を検出する検出手段として動作する。なお、画像データ中の視聴者の移動速度を検出する方法としては、例えば、時系列的に前後する画像データに対してオプティカルフロー処理を行なう方法がある。また、差分算出法により、所定時間を隔てて時系列的に前後する画像データの差分値を算出し、算出した差分値を所定時間で割ることによって動体の移動速度を算出する方法を用いることもできる。
更に制御部10は、記憶部13に記憶してある注目度算出処理プログラムをRAM12に読み出して順次実行することにより、画像データの撮像時において再生されていた広告情報に対する注目度を算出する注目度算出手段として動作する。具体的には、制御部10は、算出した各視聴者の移動速度に応じて、各視聴者の広告情報に対する注目度ポイントを決定し、決定された注目度ポイントの総和を、広告情報に対する注目度とする。
以下に、制御部10が上述のような各処理を行なうことによって、カメラ2で撮像して得られた画像データに基づいて広告情報に対する視聴者の注目度を算出する処理について、図1に示すように広告情報を視聴する5人の視聴者A,B,C,D,Eをカメラ2で撮像した画像データに基づいて広告情報の注目度を算出する処理を例に説明する。
図4は視聴者状況テーブル及び参照テーブルの登録内容を示す模式図である。図4(a)に示す視聴者状況テーブルには、制御部10が視聴者検知処理プログラムを実行することによって検知された各視聴者に制御部10によって割り当てられた視聴者情報、制御部10が移動速度検出処理プログラムを実行することによって検出された各視聴者の移動速度、制御部10によって検出された移動速度に基づいて視聴者が広告情報を注目(視聴)しているとされる注目時間(視聴時間)がそれぞれ対応付けて登録されている。
制御部10は、所定時間(ここでは1/30秒)毎に視聴者検知処理プログラムを実行することによって、カメラ2から取得した画像データ中の視聴者を検知し、視聴者を検知する都度、検知した視聴者に視聴者情報を割り当て、割り当てた視聴者情報を視聴者状況テーブルに登録する。制御部10は、例えば画像データ中の視聴者A,B,C,D,Eを検知した場合、視聴者状況テーブルの視聴者情報にそれぞれA,B,C,D,Eを登録する。
次に制御部10は、移動速度検出処理プログラムを実行することによって、画像データ中の視聴者の移動速度を検出し、視聴者の移動速度を検出する都度、視聴者状況テーブルに登録された各視聴者の移動速度に、検出した移動速度を登録する。具体的には、制御部10は、視聴者A,B,C,D,Eの移動速度として2,0,3,5,3(km/h)を検出した場合、視聴者状況テーブルの各視聴者A,B,C,D,Eの移動速度にそれぞれ2,0,3,5,3を登録する。
なお、制御部10は、注目度算出処理プログラムを実行することによって、移動速度を登録又は更新する際に、検出した移動速度が所定の範囲内(例えば1km/h以上4km/h以下の範囲内)の速度であるか否かを判断する判断手段として動作する。制御部10は、所定の範囲内の速度であると判断した場合、視聴者状況テーブルの対応する注目時間に所定時間(1/30秒)を加算する累計手段として動作する。具体的には、視聴者A,C,Eの移動速度(2,3,3)が所定の範囲(1〜4)内の速度であるので、制御部10は、視聴者状況テーブルの視聴者A,C,Eの注目時間に1/30を加算する。
一方、検出した移動速度が所定の範囲内の速度でないと判断した場合、制御部10は、図4(b)に示す参照テーブルを参照して、視聴者状況テーブルの対応する注目時間に応じた注目度ポイントを特定し、特定した注目度ポイントを、再生情報テーブル13bの対応する注目度に加算すると共に、視聴者状況テーブルの対応する注目時間を0にリセットする。具体的には、視聴者B,Dの移動速度(0,5)が所定の範囲(1〜4)外の速度であるので、制御部10は、視聴者B,Dの注目時間(150,0)に対応する注目度ポイントをそれぞれ5,0と特定し、特定した注目度ポイント(5,0)を、再生情報テーブル13bの対応する広告情報の注目度に加算した後、視聴者状況テーブルの視聴者B,Dの注目時間(150,0)を0にリセットする。なお、電子POP装置1が広告情報の再生処理を終了した場合、制御部10は、視聴者情報テーブルの登録内容を全てリセットする。
これにより、電子POP装置1は、広告情報の再生処理を実行中に、再生中の広告情報を視聴する視聴者の移動速度及び移動速度の継続時間(注目時間)に基づいて、広告情報に対する注目度を算出することができる。従って、各視聴者が所定の範囲内の移動速度で移動を継続している時間、即ち、電子POP装置1の周囲で広告情報を視聴している可能性の高い時間が長いほど高い注目度が算出されるので、注目度に基づいて各広告情報を客観的に評価することができる。また、電子POP装置1は、再生情報テーブル13bに予め登録された再生開始時刻及び再生終了時刻に従って各広告情報の再生処理を行なっているので、各広告情報に対して算出された注目度に従って、各時間帯毎に各広告情報を評価することができる。
更に、電子POP装置1を異なる場所にそれぞれ設置し、同一の広告情報を再生させた場合には、算出された注目度に基づいて、電子POP装置1を設置した各場所を評価することもできる。なお、このようにして算出された注目度に基づいて、各広告情報をより最適な場所及び時刻に再生させることによって、より効果的な宣伝効果を得ることができる。
本実施形態1では、ユーザが、例えば電子POP装置1の電源ボタン(図示せず)をオンすることによって電子POP装置1に通常動作を開始させた場合に、カメラ2の録画ボタン(図示せず)もオンすることによってカメラ2に撮像処理を開始させる構成について説明した。しかし、例えば、カメラ2による撮像処理の開始及び終了を電子POP装置1が制御するように構成することもでき、この場合には、電子POP装置1による広告情報の再生処理に連動させてカメラ2に撮像処理を行なわせることができるので、必要な画像データを効率よく取得することができる。
以下に、本実施形態1の電子POP装置1が広告情報の再生処理を行なう際の処理について説明する。図5及び図6は電子POP装置1による制御処理の手順を示すフローチャートである。なお、以下の処理は、電子POP装置1のROM11又は記憶部13に記憶してある制御プログラムに従って制御部10によって実行される。
電子POP装置1が通常動作を行なっている場合、制御部10は、所定のタイミングで時計部14から取得する現在時刻に基づいて、記憶部13に記憶してある再生情報テーブル13bに登録してあるいずれかの再生開始時刻を経過したか否かを判断する(S1)。いずれの再生開始時刻も経過していない場合(S1:NO)、制御部10は、通常動作を行ないつつ待機する。なお、電子POP装置1は、このときにカメラ2から画像データが転送されてきても、画像データに基づく注目度の算出処理は行なわない。
いずれかの再生開始時刻を経過した場合(S1:YES)、制御部10は、経過した再生開始時刻に対応する広告情報を再生情報テーブル13bに基づいて特定し、特定した広告情報を記憶部13からRAM12に読み出す(S2)。そして制御部10は、RAM12に読み出した広告情報の再生処理を開始する(S3)。
制御部10は、広告情報の再生処理を実行している間、カメラ2から転送されてくる画像データを接続部18を介して取得したか否かを判断し(S4)、取得していない場合(S4:NO)、ステップS13へ処理を移行する。カメラ2からの画像データを取得したと判断した場合(S4:YES)、制御部10は、視聴者検知処理プログラムを実行することにより、取得した画像データ中の視聴者を検知する(S5)。
制御部10は、取得した画像データ中に視聴者を検知できたか否かを判断し(S6)、検知できた場合(S6:YES)、視聴者状況テーブルを更新する(S7)。具体的には、制御部10は、検知した視聴者を特定する視聴者情報を視聴者状況テーブルの視聴者情報欄に登録する。画像データ中に視聴者を検知できなかった場合(S6:NO)、制御部10はステップS7の処理をスキップする。
次に制御部10は、移動速度検出処理プログラムを実行することにより、検知された画像データ中の視聴者の移動速度を検出する(S8)。制御部10は、検出した視聴者の移動速度が所定の範囲内であるか否かを判断し(S9)、所定の範囲内であると判断した場合(S9:YES)、視聴者状況テーブルを更新する(S10)。具体的には、制御部10は、視聴者状況テーブルの対応する視聴者の注目時間の欄に所定時間を加算すると共に、検出した視聴者の移動速度を視聴者状況テーブルの対応する視聴者の移動速度の欄に登録する。
検出した視聴者の移動速度が所定の範囲内でないと判断した場合(S9:NO)、制御部10は、再生情報テーブル13bを更新する(S11)。具体的には、制御部10は、視聴者状況テーブルの対応する視聴者の注目時間の欄に記憶してある各注目時間に割り当てられている注目度ポイントをそれぞれ特定し、特定した注目度ポイントを、再生情報テーブル13bの対応する広告情報の注目度の欄に加算する。そして、制御部10は、視聴者状況テーブルを更新する(S12)。具体的には、制御部10は、ステップS8で検出した視聴者の移動速度を視聴者状況テーブルの対応する視聴者の移動速度の欄に登録すると共に、この移動速度に対応する注目時間を0にリセットする。
制御部10は、所定のタイミングで時計部14から取得する現在時刻に基づいて、記憶部13に記憶してある再生情報テーブル13bに登録してあるいずれかの再生終了時刻を経過したか否かを判断する(S13)。いずれの再生終了時刻も経過していない場合(S13:NO)、制御部10は、ステップS4へ処理を戻し、カメラ2から取得する画像データに基づいて、画像データ中の視聴者の検知処理、視聴者の移動速度の検出処理、各広告情報の注目度の算出処理を繰り返す。いずれかの再生終了時刻を経過した場合(S13:YES)、制御部10は、実行中の再生処理を終了させる(S14)。
実行中の再生処理を終了させた場合、制御部10は、視聴者状況テーブルに登録された各視聴者の注目時間に対応する注目度ポイントをそれぞれ特定し、特定した各注目度ポイントを、再生情報テーブル13bの対応する広告情報の注目度の欄に加算して再生情報テーブル13bを更新する(S15)。なお、制御部10は、実行中の再生処理を終了させ、再生情報テーブル13bの更新が完了した場合、視聴者状況テーブルの登録内容をリセットしておく。
制御部10は、ユーザが操作部17を操作することによって電子POP装置1による上述したような処理の終了が指示されたか否かを判断し(S16)、処理の終了が指示されたと判断した場合(S16:YES)、上述した処理を終了する。処理の終了が指示されていないと判断した場合(S16:NO)、制御部10はステップS1へ処理を戻し、再生情報テーブル13bに登録してあるいずれかの再生開始時刻が経過する都度、上述したステップS2〜S16の処理を繰り返す。
(実施形態2)
以下に、実施形態2における電子POP装置について説明する。図7は実施形態2に係る電子POP装置の構成例を示すブロック図である。なお、本実施形態2の電子POP装置は、上述した実施形態1の電子POP装置1と同様の構成により実現することができ、同一の構成については同一の符号を付して説明を省略する。
以下に、実施形態2における電子POP装置について説明する。図7は実施形態2に係る電子POP装置の構成例を示すブロック図である。なお、本実施形態2の電子POP装置は、上述した実施形態1の電子POP装置1と同様の構成により実現することができ、同一の構成については同一の符号を付して説明を省略する。
なお、本実施形態2の電子POP装置1は、実施形態1で説明したように、再生情報テーブル13bに登録してある再生開始時刻及び再生終了時刻に従って各広告情報の再生処理を行ないつつ、各広告情報に対する視聴者の注目度を算出し、再生情報テーブル13bに各広告情報の注目度を登録した後、各広告情報の注目度に基づいて、各時間帯毎により注目度の高い広告情報を選択するように構成されている。
本実施形態2の電子POP装置1は、図2に示した各構成のほかに、上述したように各広告情報について算出した注目度に基づいて各時間帯に最適な広告情報を選択するための広告情報選択処理プログラム13cが予め記憶部13に記憶されている。
本実施形態2の電子POP装置1は、実施形態1で説明したように、カメラ2から順次転送されてくる画像データに基づいて各広告情報に対する視聴者の注目度を算出し、再生情報テーブル13bに各広告情報の注目度が登録してある状態で、ユーザが操作部17を介して、各時間帯に最適な広告情報を選択する処理の実行指示を行なった場合、制御部10は、記憶部13に記憶してある広告情報選択処理プログラム13cをRAM12に読み出して実行する。
制御部10はまず、再生情報テーブル13bに登録してある各広告情報の注目度に基づいて、図8に示すような注目度テーブルを生成する。図8は注目度テーブルの登録内容を示す模式図である。図8に示す注目度テーブルには、予め設定された時間帯毎に、各時間帯に再生された各広告情報に対する注目度が登録されている。なお、ここでは1時間毎に、各広告情報に対する注目度に基づいて最適な広告情報の選択処理を行なうこととするが、これに限られない。
具体的には、制御部10は、再生情報テーブル13bを参照し、各時間帯(例えば、10:00〜11:00の間)に再生された広告情報を特定し、特定した広告情報の注目度の総和を広告情報毎に算出し、注目度テーブルに登録する。図3に示す再生情報テーブル13bが記憶部13に記憶してある電子POP装置1において、制御部10はまず、10:00〜11:00の間に再生された広告情報CM1,CM2,CM3,CM4を特定する。そして制御部10は、広告情報CM1について、10:00,10:20,10:40に開始された再生処理の際の注目度の総和を算出し、算出した総和を注目度テーブルの10:00〜11:00の時間帯に対応する領域に登録する。なお、他の広告情報CM2,CM3,CM4についても同様の処理を行なう。
図8に示す注目度テーブルを生成した後、制御部10は、各時間帯において最適な広告情報を選択する。ここでは、説明の簡略化のため、各時間帯において最高の注目度を得た広告情報を選択することとする。具体的には、制御部10は、10:00〜11:00の時間帯においては広告情報CM4を最適な広告情報に選択し、11:00〜12:00の時間帯においても広告情報CM4を最適な広告情報に選択する。制御部10は、このように各時間帯毎に選択した最適な広告情報を、各時間帯に対応付けて記憶部13に記憶させる。
これにより、電子POP装置1は、例えば、次の日の各時間帯には、前日に最適であると選択された広告情報の再生処理を実行することができるので、各広告情報に対する注目度をすぐに広告情報の再生処理に反映させることができ、より高い宣伝効果が得られる再生処理が可能となる。
以下に、本実施形態2の電子POP装置1による広告情報の選択処理についてフローチャートに基づいて説明する。図9は電子POP装置1による広告情報の選択処理の手順を示すフローチャートである。なお、以下の処理は、ROM11又は記憶部13に記憶してある制御プログラムに従って制御部10によって実行される。
再生情報テーブル13bに各広告情報の注目度が登録された電子POP装置1において、制御部10は、ユーザが操作部17を介して広告情報の選択処理の実行を指示したか否かを判断しており(S21)、指示していない場合(S21:NO)、広告情報の選択処理の実行が指示されるまで通常動作を行なって待機する。
ユーザが広告情報の選択処理の実行を指示した場合(S21:YES)、制御部10は、記憶部13に記憶してある広告情報選択処理プログラム13cをRAM12に読み出して実行することにより、図8に示すような注目度テーブルを生成する(S22)。具体的には、制御部10は、再生情報テーブル13bに登録してある各広告情報の注目度について、注目度テーブルに登録されている各時間帯毎に、各時間帯に再生された広告情報の注目度の総和を算出して注目度テーブルの対応する領域に登録する。
制御部10は、生成した注目度テーブルから、1つの時間帯での各広告情報の注目度をRAM12に読み出し(S23)、この時間帯における最適な広告情報を選択し、選択した広告情報を時間帯に対応付けて記憶部13に記憶する(S24)。制御部10は、注目度テーブルに登録してある全ての時間帯に対して最適な広告情報を選択する処理が終了したか否かを判断し(S25)、全ての時間帯に対する処理が終了したと判断した場合(S25:YES)、上述した処理を終了する。
全ての時間帯に対する処理が終了していないと判断した場合(S25:NO)、制御部10は、ステップS23に処理を戻し、次の時間帯での各広告情報の注目度をRAM12に読み出し(S23)、ステップS24,S25の処理を繰り返す。これにより、予め設定された各時間帯において最適な広告情報を選択することができる。
上述した実施形態2では、各時間帯について、より高い注目度を得た広告情報を最適な広告情報として選択する構成について説明したが、1つの広告情報に対する各時間帯における注目度に基づいて、この広告情報をより高い注目度を得ることができる時間帯を特定し、特定した時間帯に再生させるようにしてもよい。また、上述した実施形態2では、各時間帯において最高の注目度を得た広告情報を、例えば次の日の同じ時間帯に再生させる構成について説明したが、各時間帯における複数の広告情報の注目度に差が少ない場合には、再生すべき広告情報として1つの広告情報を選択するのではなく、複数の広告情報を順次再生させるようにしてもよい。
以下に、上述した実施形態2の変形例として、電子POP装置1が、図8に示すような注目度テーブルを生成した場合に、各広告情報に対する注目度に応じた時間だけ各広告情報を再生させる再生情報を生成する処理について説明する。これにより、各時間帯において最高の注目度を得た広告情報のみを次の日の同じ時間帯に再生させるのではなく、各広告情報の再生時間を注目度に応じて変更することができる。また、各時間帯における複数の広告情報の注目度に差が少ない場合であっても、各注目度に応じた時間の再生処理が可能となり、視聴者の注目度を反映させた広告情報の再生処理が可能となる。
図10は電子POP装置1による再生情報の生成処理の手順を示すフローチャートである。なお、以下の処理は、ROM11又は記憶部13に記憶してある制御プログラムに従って制御部10によって実行される。
再生情報テーブル13bに各広告情報の注目度が登録された電子POP装置1において、制御部10は、ユーザが操作部17を介して、各広告情報に対する注目度に応じた再生情報の生成を指示したか否かを判断し(S31)、指示していない場合(S31:NO)、再生情報の生成が指示されるまで通常動作を行なって待機する。
ユーザが再生情報の生成を指示した場合(S31:YES)、制御部10は、記憶部13に記憶してある広告情報選択処理プログラム13cをRAM12に読み出して実行することにより、注目度テーブルを生成する(S32)。制御部10は、生成した注目度テーブルから、1つの時間帯での各広告情報に対する注目度をRAM12に読み出し(S33)、読み出した各注目度に基づいて、各広告情報の再生時間の割合を算出する(S34)。
具体的には、例えば図8に示す注目度テーブルにおいて、10:00〜11:00の時間帯における広告情報CM1,CM2,CM3,CM4の注目度はそれぞれ、80,63,90,100であるので、各広告情報の再生時間の割合は、80/(80+63+90+100):63/(80+63+90+100):90/(80+63+90+100):100/(80+63+90+100)によって、0.24:0.19:0.27:0.30と算出される。
制御部10は、算出された割合に基づいて、所定時間における各広告情報の再生時間を算出する(S35)。具体的には、算出された割合が0.24:0.19:0.27:0.30である場合、所定時間(例えば20分間)における各広告情報CM1,CM2,CM3,CM4の再生時間はそれぞれ、4.8,3.8,5.4,6分と算出される。
制御部10は、算出された所定時間における各広告情報の再生時間に基づいて、この時間帯における各広告情報の再生開始時刻及び再生終了時刻を特定することによって、各広告情報の再生情報を生成し、生成された各再生情報を再生情報テーブルとして記憶部13に記憶させる(S36)。制御部10は、注目度テーブルに登録してある全ての時間帯に対して再生情報を生成する処理が終了したか否かを判断し(S37)、全ての時間帯に対する処理が終了したと判断した場合(S37:YES)、上述した処理を終了する。
全ての時間帯に対する処理が終了していないと判断した場合(S37:NO)、制御部10は、ステップS33に処理を戻し、次の時間帯での各広告情報に対する注目度をRAM12に読み出し(S33)、ステップS34〜S37の処理を繰り返すことにより、各時間帯において最適な再生情報を生成することができる。図11は再生情報テーブルの登録内容を示す模式図であり、上述したような処理を行なうことにより、図11に示すように、各時間帯において、各広告情報に対する注目度に応じた再生時間で各広告情報の再生処理が可能な再生情報を生成することができる。
(実施形態3)
以下に、実施形態3における電子POP装置について説明する。図12は実施形態3に係る電子POP装置の構成例を示すブロック図である。なお、本実施形態3の電子POP装置は、上述した実施形態1,2の電子POP装置1と同様の構成により実現することができ、同一の構成については同一の符号を付して説明を省略する。
以下に、実施形態3における電子POP装置について説明する。図12は実施形態3に係る電子POP装置の構成例を示すブロック図である。なお、本実施形態3の電子POP装置は、上述した実施形態1,2の電子POP装置1と同様の構成により実現することができ、同一の構成については同一の符号を付して説明を省略する。
本実施形態3の電子POP装置1は、カメラ2のほかに、コンピュータ3との接続が可能に構成されている。従って、本実施形態3の電子POP装置1は、図2に示した各構成のほかに、コンピュータ3との間でデータの送受信を行なうための通信部19がバス1aに接続されている。このように電子POP装置1とコンピュータ3とを接続することにより、本発明に係る再生システム(電子POPシステム)100を実現している。なお、コンピュータ3は、例えば店舗内に設置すればよく、商品の陳列棚の適宜箇所に設置された電子POP装置1の近傍に設置する必要はない。
なお、本実施形態3では、電子POP装置1とコンピュータ3とは、LAN(Local Area Network)、PLC(Power Line Communications)等の通信線101を介して接続されている。電子POP装置1とコンピュータ3とは、例えばIEEE802.11規格に準拠したWLAN(Wireless LAN)を介した無線通信が可能に接続してもよく、この場合、電子POP装置1とコンピュータ3との間に配線がないので、配置に要する面積が少なく、売り場の見た目もよい。また、電子POP装置1及びコンピュータ3がインターネットのようなネットワークと接続できる構成であれば、インターネットを介して接続してもよい。この場合、コンピュータ3を店舗内に設置する必要はない。
上述した実施形態1,2では、電子POP装置1で再生される広告情報に対する視聴者の注目度の算出処理、及び各広告情報に対する注目度に基づく最適な広告情報の選択処理を電子POP装置1によって行なう構成について説明した。本実施形態3の電子POPシステム100では、電子POP装置1は、各広告情報に対する注目度の算出処理は行なうが、算出した注目度をコンピュータ3へ送出し、最適な広告情報の選択処理はコンピュータ3によって行なわれる。
コンピュータ3は、例えばパーソナルコンピュータであり、図12に示すように、制御部30、ROM31、RAM32、HDD33、操作部34、表示部35、通信線101と接続するための通信部36等を備え、これらのハードウェア各部はそれぞれバス3aを介して相互に接続されている。
制御部30は、CPU又はMPU等により構成されており、バス3aを介して接続される上述したようなハードウェア各部を制御すると共に、ROM31に予め格納されている制御プログラムに従って種々の動作を実行する。ROM31は、コンピュータ3を本発明の電子POPシステム100に利用できる制御装置として動作させるために必要な種々の制御プログラム等を予め記憶している。RAM32は、SRAM又はSDRAM等で構成され、制御部30による制御プログラムの実行時に発生するデータを一時的に記憶する。
HDD33は大容量の記憶装置であり、HDD33にはコンピュータ3の動作に必要な種々の制御プログラム、電子POP装置1から取得した再生情報テーブル33a(図3参照)、再生情報テーブル33aの登録内容に基づいて各時間帯に最適な広告情報を選択するための広告情報選択処理プログラム等が記憶されている。なお、電子POP装置1は、各広告情報に対する視聴者の注目度の算出処理を行ない、各広告情報に対する注目度を再生情報テーブル13bに登録した後、所定のタイミングで再生情報テーブル13bをコンピュータ3へ送出する。
操作部34は、コンピュータ3をユーザが操作するために必要な各種のキーを備えており、ユーザにより各キーが操作された場合、操作されたキーに対応した制御信号を制御部30へ送出する。これにより、制御部30は操作部34から取得した制御信号に従って各種処理を実行する。
表示部35は、例えば液晶表示パネルからなる表示デバイスであり、制御部30からの指示に従って、コンピュータ3の動作状態、ユーザに対して通知すべき情報等の表示を行なう。
表示部35は、例えば液晶表示パネルからなる表示デバイスであり、制御部30からの指示に従って、コンピュータ3の動作状態、ユーザに対して通知すべき情報等の表示を行なう。
上述した構成により、本実施形態3の電子POPシステム100では、コンピュータ3は、各広告情報に対する視聴者の注目度が登録された再生情報テーブル13bを電子POP装置1から取得した場合、HDD33に記憶させる。そして、例えばユーザが操作部34を介して、各時間帯に最適な広告情報を選択する処理の実行指示を行なった場合、コンピュータ3の制御部30は、HDD33に記憶してある広告情報選択処理プログラムをRAM32に読み出して実行することにより、各時間帯において最適な広告情報の再生処理を行なうための再生情報が登録された新たな再生情報テーブルを生成する。なお、各広告情報に対する注目度に基づいて最適な広告情報を選択する処理は、実施形態2で説明した処理と同様であるので説明を省略する。
このように、電子POP装置1をコンピュータ3と接続し、電子POP装置1で再生された広告情報に対する注目度に基づいて最適な広告情報を選択する処理をコンピュータ3によって行なうことにより、電子POP装置1による処理負担を軽減することができる。また、コンピュータ3の制御部30は、各時間帯毎に最適な広告情報を選択し、新たな再生情報テーブルを生成した場合、生成した再生情報テーブルを電子POP装置1へ送出することによって、各時間帯毎に選択した最適な広告情報の再生処理を実行させる再生指示を電子POP装置1へ送出する。
従って、電子POP装置1が、コンピュータ3から取得した再生情報テーブルの登録内容に従って、対応する時間帯に対応する広告情報を再生させることにより、より効果的な宣伝効果が得られる広告情報の再生が可能となる。またこの場合、電子POP装置1を管理するユーザは、電子POP装置1で再生される広告情報の再生情報(再生情報テーブルの登録内容)を変更することなく、各広告情報に対する注目度に応じて、再生させる広告情報を変更することができ、ユーザの操作負担を軽減することができる。
上述した実施形態3では、電子POP装置1によって生成された再生情報テーブル13bをコンピュータ3へ転送し、コンピュータ3が、再生情報テーブル33aに基づいて、各時間帯における最適な広告情報の選択処理を行なっていた。しかし、電子POP装置1が再生処理を行なう各広告情報の再生開始時刻及び再生終了時刻をコンピュータ3でも管理しておき、カメラ2で撮像された画像データをそのままコンピュータ3へ転送するように構成した場合には、各広告情報に対する注目度の算出処理もコンピュータ3で行なうことができる。この場合、電子POP装置1による処理負担を更に軽減することができる。
上述した実施形態3では、1つのコンピュータ3に1つの電子POP装置1を接続した構成について説明したが、1つのコンピュータ3に複数の電子POP装置1を接続してもよい。この場合、各電子POP装置1において再生された広告情報に対する注目度を考慮して、各電子POP装置1における最適な広告情報を選択することができるので、複数の電子POP装置1を利用してより高い宣伝効果を得ることができる広告情報の再生が可能となる。
また、複数の電子POP装置1による再生処理の開始及び終了をコンピュータ3によって制御させるように構成することもできる。具体的には、コンピュータ3が、各電子POP装置1において再生すべき広告情報を決定すると共に、決定した広告情報の再生指示を各電子POP装置1へ送出する。各電子POP装置1は、コンピュータ3からの再生指示に従って、対応する広告情報の再生処理を行なうことにより、電子POP装置1を管理するユーザが、電子POP装置1で再生される広告情報の再生情報を変更することなく、各広告情報の注目度に応じて再生させる広告情報を変更することができる。この場合、複数の電子POP装置1による広告情報の再生処理を同期させて、例えば、同一の時間帯に複数の電子POP装置1に同一の広告情報を再生させることにより、インパクトのある訴求が可能となる。
更に、コンピュータ3と電子POP装置1とをインターネットを介して接続し、複数の電子POP装置1による再生処理の開始及び終了をコンピュータ3によって制御した場合には、複数の店舗にそれぞれ設置された複数の電子POP装置1における各広告情報の注目度の算出処理、各電子POP装置1における最適な広告情報の選択処理をコンピュータ3によって一括に実行できると共に、各店舗の店員が何の操作も行なうことなく、各店舗に設置された電子POP装置1毎に最適な広告情報の再生処理を実行させることができる。
上述した実施形態1〜3では、電子POP装置1に信号線Lを介してカメラ2を接続する構成について説明したが、カメラ2が内蔵された電子POP装置1を用いてもよい。この場合、電子POP装置1とカメラ2とを接続する信号線Lが不要となるため、電子POP装置1の配置に要する面積がより削減できる。
上述した実施形態1〜3では、カメラ2によって撮像された画像データに基づいて、画像データ中に存在する視聴者の移動速度を算出し、各視聴者の移動速度及び該移動速度の継続時間(注目時間)に応じて各視聴者の注目度ポイントを決定する構成について説明した。しかし、例えば、画像データに基づいて算出された各視聴者の移動速度を、画像データの左右方向及び前後方向に分解し、各方向における移動速度を考慮して注目度ポイントを決定するようにしてもよい。
具体的には、例えば、画像データの奥行方向へ視聴者が移動している場合には、この視聴者は電子POP装置1から遠ざかる方向へ移動しているので、注目度の算出対象から外してもよい。また、画像データの左端(又は右端)に存在する視聴者が更に左方向(又は右方向)へ移動している場合、この視聴者はカメラ2の撮像範囲から外れる方向へ移動しているので、注目度の算出対象から外してもよい。このように、各視聴者の移動速度だけでなく、移動方向も含めて注目度ポイントを決定した場合には、各視聴者の行動に沿った精度のよい注目度を得ることができる。
また、画像データに基づいて各視聴者の顔の向きを検出し、各視聴者の顔の向きを考慮して各視聴者の注目度ポイントを決定するようにしてもよい。具体的には、例えば、画像データ中の視聴者が正面を向いていない場合、即ち電子POP装置1を見ていない場合には、この視聴者は電子POP装置1によって再生されている広告情報を視聴していないので、注目度の算出対象から外してもよい。同様に、画像データ中の視聴者の眼及び視線を検出し、電子POP装置1を見ているか否かを考慮して注目度ポイントを決定するようにしてもよい。これらの場合にも、各視聴者の行動に沿った精度のよい注目度を得ることができる。
上述した実施形態1〜3では、画像データに基づいて、画像データ中の視聴者を検知し、検知した視聴者の移動速度及び該移動速度の継続時間を検出し、検出した移動速度及び継続時間に応じて各視聴者の注目度ポイントを決定する構成について説明した。しかし、例えば、画像データの輝度又は明度等に基づいて、各広告情報に対する注目度を決定するようにしてもよい。
具体的には、例えば、基準となる画像データの明度(輝度)を基準明度(基準輝度)として設定しておき、この基準明度(基準輝度)を下回る明度(輝度)の画像データを撮像した場合には、このとき電子POP装置1の周囲には人(視聴者)が群がっていたとして、このとき再生されていた広告情報に対する注目度を高い値とする。一方、基準明度(基準輝度)以上の明度(輝度)の画像データを撮像した場合には、このとき電子POP装置1の周囲には人が群がっていないとして、このとき再生されていた広告情報に対する注目度を低い値とする。これにより、画像データ中の視聴者の検知処理、視聴者の移動速度の検出処理等の処理を行なうことなく、電子POP装置1の周囲の視聴者の視聴状況に沿った注目度を算出することができる。
また、画像データを用いず、赤外線センサ等のように人(視聴者)の移動を検知できるセンサを利用し、電子POP装置1の周囲の人の移動速度を検出するように構成してもよく、この場合にはカメラ2が不要となる。
1 電子POP装置(再生装置)
10 制御部(注目度算出手段、検知手段、検出手段、判断手段、累計手段)
13 記憶部(記憶手段、時刻記憶手段)
14 時計部(時計手段)
18 接続部(取得手段)
10 制御部(注目度算出手段、検知手段、検出手段、判断手段、累計手段)
13 記憶部(記憶手段、時刻記憶手段)
14 時計部(時計手段)
18 接続部(取得手段)
Claims (12)
- 記憶手段に記憶してあるデータを再生する再生装置において、
再生中のデータを視聴する視聴者に係る情報を取得する取得手段と、
該取得手段が取得した情報に基づいて、前記データに対する視聴者の注目度を算出する注目度算出手段と
を備えることを特徴とする再生装置。 - 時計手段と、
予め設定された複数の時間帯をそれぞれ示す時刻を記憶する時刻記憶手段とを備え、
前記注目度算出手段は、前記時計手段が示す時刻に基づいて、前記時刻記憶手段に記憶してある各時刻が示す時間帯毎に、各時間帯に再生されたデータに対する注目度を算出するように構成してあることを特徴とする請求項1に記載の再生装置。 - 所定時間を経過する都度、前記取得手段が取得した情報に基づいて、自身を基準とした所定範囲内に存在する視聴者を検知する検知手段と、
該検知手段が検知した視聴者の移動速度を検出する検出手段と、
該検出手段が検出した移動速度が所定範囲内であるか否かを判断する判断手段と、
該判断手段が所定範囲内であると判断した場合、前記所定時間を累計する累計手段とを備え、
前記注目度算出手段は、前記累計手段が累計した時間が長いほど、前記データに対する注目度を高く算出するように構成してあることを特徴とする請求項1又は2に記載の再生装置。 - 前記取得手段は、再生中のデータを視聴する視聴者を時系列的に連続して撮像した画像情報を取得するように構成してあり、
前記検知手段は、前記取得手段が取得した画像情報に基づいて、該画像情報中の視聴者を検知するように構成してあり、
前記検出手段は、前記取得手段が取得した画像情報に基づいて、前記検知手段が検知した視聴者の移動速度を検出するように構成してあることを特徴とする請求項3に記載の再生装置。 - 前記注目度算出手段が算出した注目度に基づいて、再生すべきデータを選択する手段と、
選択されたデータを再生する手段と
を備えることを特徴とする請求項1乃至4のいずれかひとつに記載の再生装置。 - 請求項1乃至4のいずれかひとつに記載の再生装置と、該再生装置が行なう再生処理を制御する制御装置とを備える再生システムにおいて、
前記再生装置は、前記注目度算出手段が算出した注目度を前記制御装置へ送出する手段を備え、
前記制御装置は、
前記再生装置から送出された注目度に基づいて、前記再生装置が再生すべきデータを選択する手段と、
選択されたデータの再生指示を前記再生装置へ送出する手段とを備え、
前記再生装置は、前記制御装置から送出された再生指示に従って、前記データを再生する手段を備えることを特徴とする再生システム。 - データを記憶手段に記憶してある再生装置による前記データの再生方法において、
再生中のデータを視聴する視聴者に係る情報を取得するステップと、
取得した情報に基づいて、前記データに対する視聴者の注目度を算出するステップと
を含むことを特徴とする再生方法。 - 所定時間を経過する都度、取得した視聴者に係る情報に基づいて、前記再生装置を基準とした所定範囲内に存在する視聴者を検知するステップと、
検知された視聴者の移動速度を検出するステップと、
検出された移動速度が所定範囲内であるか否かを判断するステップと、
所定範囲内であると判断された場合、前記所定時間を累計するステップと、
累計された時間が長いほど、前記データに対する注目度を高く算出するステップと
を含むことを特徴とする請求項7に記載の再生方法。 - コンピュータに、データを再生させるためのコンピュータプログラムにおいて、
コンピュータに、所定時間を経過する都度、再生中のデータを視聴する視聴者に係る情報に基づいて、所定範囲内に存在する視聴者を検知させる検知ステップと、
コンピュータに、前記検知ステップで検知された視聴者の移動速度を検出させる検出ステップと、
コンピュータに、前記検出ステップで検出された移動速度が所定範囲内であるか否かを判断させるステップと、
コンピュータに、所定範囲内であると判断された場合、前記所定時間を累計させるステップと、
コンピュータに、累計された時間が長いほど、前記データに対する視聴者の注目度を高く算出させる算出ステップと
を含むことを特徴とするコンピュータプログラム。 - 前記算出ステップは、コンピュータに、予め設定された複数の時間帯毎に、各時間帯に再生されたデータに対する注目度を算出させることを特徴とする請求項9に記載のコンピュータプログラム。
- 前記視聴者に係る情報は、再生中のデータを視聴する視聴者を時系列的に連続して撮像した画像情報であり、
前記検知ステップは、コンピュータに、前記画像情報に基づいて、該画像情報中の視聴者を検知させ、
前記検出ステップは、コンピュータに、前記画像情報に基づいて、前記検知ステップで検知された視聴者の移動速度を検出させることを特徴とする請求項9又は10に記載のコンピュータプログラム。 - コンピュータに、前記算出ステップで算出された注目度に基づいてデータを選択させるステップを含むことを特徴とする請求項9乃至11のいずれかひとつに記載のコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007030980A JP2008197266A (ja) | 2007-02-09 | 2007-02-09 | 再生装置、再生システム、再生方法及びコンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007030980A JP2008197266A (ja) | 2007-02-09 | 2007-02-09 | 再生装置、再生システム、再生方法及びコンピュータプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008197266A true JP2008197266A (ja) | 2008-08-28 |
Family
ID=39756286
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007030980A Pending JP2008197266A (ja) | 2007-02-09 | 2007-02-09 | 再生装置、再生システム、再生方法及びコンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008197266A (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010061328A (ja) * | 2008-09-03 | 2010-03-18 | Hitachi Ltd | 注目度測定可視化システム |
JP2011197475A (ja) * | 2010-03-19 | 2011-10-06 | Fujitsu Ltd | 広告表示システム、広告表示方法および広告表示プログラム |
CN102402927A (zh) * | 2010-09-08 | 2012-04-04 | 夏普株式会社 | 存储信息输出系统、输出控制装置以及输出控制方法 |
JP2012524239A (ja) * | 2009-04-16 | 2012-10-11 | イシキリ インターフェイス テクノロジーズ ゲーエムベーハー | 光カーテンへの応用に適した光検出器 |
US10083459B2 (en) | 2014-02-11 | 2018-09-25 | The Nielsen Company (Us), Llc | Methods and apparatus to generate a media rank |
JP2019164710A (ja) * | 2018-03-20 | 2019-09-26 | ヤフー株式会社 | 情報処理装置、情報処理方法、および情報処理プログラム |
US11227291B2 (en) | 2007-11-02 | 2022-01-18 | The Nielsen Company (Us), Llc | Methods and apparatus to perform consumer surveys |
US11403672B2 (en) | 2016-09-27 | 2022-08-02 | Sony Corporation | Information collection system, electronic shelf label, electronic pop advertising, and character information display device |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10207615A (ja) * | 1997-01-22 | 1998-08-07 | Tec Corp | ネットワークシステム |
JP2002245340A (ja) * | 2001-02-20 | 2002-08-30 | Mitsubishi Electric Corp | 電子pop広告システムおよび電子pop広告端末装置 |
JP2002269290A (ja) * | 2001-03-09 | 2002-09-20 | Sony Corp | 広告配信システム |
JP2002354446A (ja) * | 2001-05-30 | 2002-12-06 | Hitachi Ltd | 広告出力方法および装置 |
JP2003022041A (ja) * | 2001-07-10 | 2003-01-24 | Fuji Electric Co Ltd | 広告宣伝システム、広告宣伝方法およびその方法をコンピュータに実行させるプログラム |
JP2003216938A (ja) * | 2002-01-23 | 2003-07-31 | Sanyo Electric Co Ltd | 情報収集装置 |
JP2006085366A (ja) * | 2004-09-15 | 2006-03-30 | Oki Electric Ind Co Ltd | 速度分布分析装置 |
-
2007
- 2007-02-09 JP JP2007030980A patent/JP2008197266A/ja active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10207615A (ja) * | 1997-01-22 | 1998-08-07 | Tec Corp | ネットワークシステム |
JP2002245340A (ja) * | 2001-02-20 | 2002-08-30 | Mitsubishi Electric Corp | 電子pop広告システムおよび電子pop広告端末装置 |
JP2002269290A (ja) * | 2001-03-09 | 2002-09-20 | Sony Corp | 広告配信システム |
JP2002354446A (ja) * | 2001-05-30 | 2002-12-06 | Hitachi Ltd | 広告出力方法および装置 |
JP2003022041A (ja) * | 2001-07-10 | 2003-01-24 | Fuji Electric Co Ltd | 広告宣伝システム、広告宣伝方法およびその方法をコンピュータに実行させるプログラム |
JP2003216938A (ja) * | 2002-01-23 | 2003-07-31 | Sanyo Electric Co Ltd | 情報収集装置 |
JP2006085366A (ja) * | 2004-09-15 | 2006-03-30 | Oki Electric Ind Co Ltd | 速度分布分析装置 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11227291B2 (en) | 2007-11-02 | 2022-01-18 | The Nielsen Company (Us), Llc | Methods and apparatus to perform consumer surveys |
JP2010061328A (ja) * | 2008-09-03 | 2010-03-18 | Hitachi Ltd | 注目度測定可視化システム |
JP2012524239A (ja) * | 2009-04-16 | 2012-10-11 | イシキリ インターフェイス テクノロジーズ ゲーエムベーハー | 光カーテンへの応用に適した光検出器 |
JP2011197475A (ja) * | 2010-03-19 | 2011-10-06 | Fujitsu Ltd | 広告表示システム、広告表示方法および広告表示プログラム |
CN102402927A (zh) * | 2010-09-08 | 2012-04-04 | 夏普株式会社 | 存储信息输出系统、输出控制装置以及输出控制方法 |
CN102402927B (zh) * | 2010-09-08 | 2014-09-03 | 夏普株式会社 | 存储信息输出系统、输出控制装置以及输出控制方法 |
US10083459B2 (en) | 2014-02-11 | 2018-09-25 | The Nielsen Company (Us), Llc | Methods and apparatus to generate a media rank |
US11403672B2 (en) | 2016-09-27 | 2022-08-02 | Sony Corporation | Information collection system, electronic shelf label, electronic pop advertising, and character information display device |
JP2019164710A (ja) * | 2018-03-20 | 2019-09-26 | ヤフー株式会社 | 情報処理装置、情報処理方法、および情報処理プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2008197266A (ja) | 再生装置、再生システム、再生方法及びコンピュータプログラム | |
JP4941286B2 (ja) | 撮像装置及び再生装置 | |
JP5371493B2 (ja) | 装置及び方法 | |
JP5528318B2 (ja) | 表示装置 | |
US9607315B1 (en) | Complementing operation of display devices in an augmented reality environment | |
WO2016147586A1 (ja) | 撮像装置、録画装置および映像出力制御装置 | |
JP2006174291A (ja) | 情報処理装置及び情報処理方法 | |
CN103139475A (zh) | 摄像装置 | |
JP2010045765A (ja) | 再生装置 | |
JP2007318431A (ja) | 表示制御システムおよび表示制御方法 | |
JP5444611B2 (ja) | 信号処理装置、信号処理方法及びプログラム | |
JP2009296081A (ja) | 映像再生装置 | |
US20100158474A1 (en) | Image processing apparatus and image processing method | |
JP2011041154A (ja) | 画像処理装置、画像処理方法 | |
JP5070990B2 (ja) | 情報提示装置及び情報提示方法 | |
WO2020189057A1 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP2010206440A (ja) | デジタル放送受信装置及びコマーシャル効果評価方法 | |
JP6326581B2 (ja) | コンテンツ提供システムおよびプログラム | |
JP4453083B2 (ja) | コマーシャル評価装置 | |
JP5682590B2 (ja) | 撮像装置及び画像表示装置 | |
JP2011259232A (ja) | 表示装置及びその制御方法、プログラム並びに記録媒体 | |
JPH11341405A (ja) | 静止画像再生装置 | |
JP2010141808A (ja) | 画像再生装置 | |
KR101082527B1 (ko) | 네트워크 미디어 변환 장치 및 방법 | |
JPH11275494A (ja) | 再生装置、ビデオカメラ一体型記録再生装置及びコンピュータ読み取り可能な記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090218 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110830 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110906 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120110 |