JP2016038877A - 表示システム及び表示方法 - Google Patents

Abstract

【課題】多くの客に対してより適切な商品情報を個別に提示すること。【解決手段】所定のエリア内を撮影する第１の撮像部であるカメラ３，３，‥‥と、上記エリアに到来する人物を撮影する第２の撮像部である撮影部(IM)を備えたサイネージ装置１０と、カメラ３，３，‥‥で撮影した店内客の視線方向を検出し、当該視線方向から注視している商品の情報を判定し、同店内客の属性を判定して、それら両判定結果に基づいて商品の情報を取得し、対応するコンテンツを読出してサイネージ装置１０で再生させる広告提示サーバ２と、を備える。【選択図】図１

Description

本発明は、所定のエリアの入口付近に設置する電子看板等に好適な表示システム及び表示方法に関する。

閲覧者に対し、印象を高めることができる映像出力装置に関する技術が提案されている。（例えば、特許文献１）

特開２０１１−１５０２２１号公報

上記特許文献に記載された技術を含めて一般的な電子看板の類では、予め管理者側が記憶させた画像を含む広告コンテンツを必要なタイミングで再生させる。

そのため、例えば主婦向けの化粧品の広告コンテンツを壮年男性の客に向けて発信するなど、管理者側が意図した当該商品の購入層以外の客に対しても同様の広告コンテンツを発信するケースも多く、広告としての効果が低くなることも多々あり得る。

本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、多くの客に対してより適切な商品情報を個別に提示することが可能な表示システム及び表示方法を提供することにある。

本発明の一態様は、所定のエリア内を撮影する第１の撮像部と、上記第１の撮像部で撮影した画像に写り込んだ人物の視線方向を検出し、当該視線方向から注視している商品の情報を判定する商品判定部と、上記第１の撮像部で撮影した画像に写り込んだ人物の属性を判定する第１の属性判定部と、上記所定のエリアに到来する人物を撮影する第２の撮像部と、上記第２の撮像部で撮影した人物の属性を判定する第２の属性判定部と、上記商品判定部、上記第１の属性判定部及び上記第２の属性判定部で判定した判定結果に基づいて、商品の情報を取得し、対応するコンテンツを読出して画像を出力する表示部と、を備えることを特徴とする。

本発明によれば、多くの客に対してより適切な商品情報を個別に提示することが可能となる。

本発明の一実施形態に係るシステム全体の構成を示す図。 同実施形態に係るサイネージ装置の外観構成を示す斜視図。 同実施形態に係るサイネージ装置内部の電子回路の機能構成を示すブロック図。 同実施形態に係る一連の処理内容を示すフローチャート。

以下、本発明を店舗等の所定のエリア内で使用される広告提示システムに適用した場合の一実施形態について、図面を参照して説明する。

図１は、同システム全体の接続構成を示すブロック図であり、無線ＬＡＮやインターネット網を含むネットワーク１を介して、広告提示サーバ２、店内に設置された複数のカメラ３，３，‥‥、及び店舗入口近傍に設置されたサイネージ装置１０が接続されている。

広告提示サーバ２は、当該店舗内の商品配列と各商品の商品情報を構成する広告コンテンツを関連付けて記憶するデータベース（ＤＢ）を備え、ネットワーク１を介して上記カメラ３，３，‥‥、サイネージ装置１０に対する統括的な制御動作を実行する。

図２は、上記サイネージ装置１０の外観構成を示す斜視図である。ここでサイネージ装置とは、人型のスクリーンを用いたバーチャルマネキンであるとして、説明を行なう。

このサイネージ装置１０では、装置筐体１０Ａの上面前端側に、交換可能なサイネージボードＳＢが立設される。このサイネージボードＳＢは、サイネージ装置１０の本来は矩形の投影可能領域内に収まるように設置された、任意形状を有する半透過板状の構成を有する。

このサイネージボードＳＢの前面下部中央に撮影部ＩＭが設けられ、このサイネージ装置１０の前方を含む広範囲の画像、本実施形態では店舗に新たに入ろうとする客を含む画像を取得する。さらに撮影部ＩＭの下方には、一対のスピーカ部ＳＰ，ＳＰが設けられ、ステレオ音声による拡声放音が可能となる。

また上記装置筐体１０Ａの上面後端側に、上記サイネージボードＳＢと平行にミラーＭＲが立設され、後述する投影レンズ部から出射した光像を前面側に全反射して、上記サイネージボードＳＢにその背面側から結像させる。

次に図３により上記サイネージ装置１０の主として電子回路の機能構成を説明する。同図中、無線通信技術としては例えば無線ＬＡＮ規格であるＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎに準拠した無線通信システムに対応するものとする。上記広告提示サーバ２からの通信データを、上記店舗内に設けられた無線ＬＡＮルータ等の上記ネットワーク１を構成する要素を介し、アンテナ２１を用いて無線通信部２２で受信する。無線通信部２２は、受信したデータを復調して画像データ、音声データ及びその他の制御データに分離する。得られた画像データはバスＢを介して投影画像処理部２３に送られる。

投影画像処理部２３は、送られてきた画像データに応じて、所定のフォーマットに従ったフレームレート、例えば１２０［フレーム／秒］と色成分の分割数、及び表示階調数を乗算した、より高速な時分割駆動により、表示素子であるマイクロミラー素子２４を駆動する。

このマイクロミラー素子２４は、アレイ状に配列された複数個の微小ミラーの各傾斜角度を個々に高速でオン／オフ動作して表示動作することで、その反射光により光像を形成する。

一方で、光源部２５から時分割でＲ，Ｇ，Ｂの原色光が循環的に出射される。光源部２５は、半導体発光素子であるＬＥＤを有し、Ｒ，Ｇ，Ｂの原色光を時分割で繰返し出射する。光源部２５が有するＬＥＤは、広義でのＬＥＤとして、ＬＤ（半導体レーザ）や有機ＥＬ素子を含むものとしても良い。

また、ＬＥＤから出射された光を蛍光体に照射することで励起される、元の光とは波長が異なる原色光を用いるものとしても良い。この光源部２５からの原色光が、ミラー２６で全反射して上記マイクロミラー素子２４に照射される。

そして、マイクロミラー素子２４での反射光で光像が形成され、形成された光像が投影レンズ部ＰＬを介して、上記ミラーＭＲで反射された後に上記サイネージボードＳＢに投射される。

また、上記無線通信部２２で復調、分離された音声データは、バスＢを介して音声処理部２７へ送信される。この音声処理部２７は、例えばＰＣＭ音源などの音源回路を有し、送られてきた音声データに基づいてアナログの音声信号を再生し、上記スピーカ部ＳＰ，ＳＰより放音させる。

上記各回路の動作すべてをＣＰＵ２８が制御する。このＣＰＵ２８は、メインメモリ２９及びプログラムメモリ３０と直接接続される。メインメモリ２９は、例えばＳＲＡＭで構成され、ＣＰＵ２８のワークメモリとして機能する。プログラムメモリ３０は、電気的書換可能な不揮発性メモリ、例えばフラッシュＲＯＭで構成され、ＣＰＵ２８が実行する動作プログラムや各種定型データ等を記憶する。

ＣＰＵ２８は、上記プログラムメモリ３０に記憶されている動作プログラムや定型データ等を読出し、メインメモリ２９に展開して記憶させた上で当該プログラムを実行することにより、このサイネージ装置１０を統括して制御する。

上記ＣＰＵ２８は、操作部３１からの操作信号に応じて各種投影動作を実行する。この操作部３１は、サイネージ装置１０の本体に備える、店舗に来店した客が直接操作するキーのキー操作信号を上記ＣＰＵ２８へ送出する。

上記ＣＰＵ２８はさらに、上記バスＢを介して撮影画像処理部３２、コンテンツメモリ３３と接続される。

撮影画像処理部３２は、上記撮影部ＩＭの一部を構成する超広角系の撮影レンズ部３４の合焦位置に配置された固体撮像素子、例えばＣＭＯＳイメージセンサ３５を走査駆動して、サイネージ装置１０の前方を含む広い範囲を撮影した画像信号を得る。

このＣＭＯＳイメージセンサ３５の出力する画像信号は、Ａ／Ｄ変換回路３６でデジタル化された後に上記撮影画像処理部３２に送られる。撮影画像処理部３２は、得られた画像データを適宜画像メモリ３３に一時的に保存し、顔認識技術により画像中から人物の顔を認識する。

さらに撮影画像処理部３２は、顔認識により得られた、客の顔画像の特徴情報、顔画像を含む人物領域の画像を取り纏めて顧客の特徴ファイルとした上で、バスＢを介して上記無線通信部２２に送る。無線通信部２２では、ＣＰＵ２８の制御の下に、撮影画像処理部３２から特徴情報のデータファイルを、上記広告提示サーバ２に対して送信する。
上記コンテンツメモリ３３は、上記広告提示サーバ２から送られてくる、画像データを含む商品等の販売促進用の広告コンテンツを適宜記憶するものとする。

次に上記実施形態の動作について説明する。
図４は、ネットワーク１を介してカメラ３，３，‥‥、及びサイネージ装置１０の動作を制御する広告提示サーバ２による処理内容を一連の流れとして表現したフローチャートである。実際の広告提示サーバ２においては、この図４の処理を部分的に平行しながら店舗の営業時間中は循環的に実行する。

その処理当初に広告提示サーバ２は、カメラ３，３，‥‥により得られる画像データから、店舗内の客の属性と行動パターンとを監視すると共に（ステップＳ１０１）、客の商品への注視を監視する（ステップＳ１０２）。

ここで店内の客から得られる属性情報としては、例えば各人物の年齢層、性別、家族構成、体型、身長、服装の傾向等が考えられる。

上記属性情報中、人物の年齢層、性別、及び家族構成等については、例えば特開２０１１−１２３６５７号公報に記載されるような技術を用いて当該属性情報を取得する。

また体型及び身長については、撮影画像中で人物が占める大きさと、当該人物に合焦した際のカメラ３のフォーカスレンズの位置、同カメラの焦点距離と撮影画角、同時に写り込んでいる既知の大きさの商品等から判断できる。

さらに服装の傾向に関しては、画像中から人物部分を切出した際のシルエットや服装部分の色彩情報の傾向により、形状の点からパンツスーツ、スカート、ワンピース等が判断でき、また色彩からモノトーン、原色、パステルカラー等の傾向を取得できる。
これら取得した各属性情報をデータベースに記憶して蓄積する。

さらに上記商品への注視に関しては、撮影画像中の客の顔認識を行なうことにより、視線の方向とデータベースに予め登録されている当該店舗内の商品の配置情報、カメラ３の識別情報に応じた撮影範囲等を加味することで、どの商品をどれだけの時間長で注視しているかを判定することができると共に、個々の客に対してその店舗内での移動の動線を検出することで、主にどのような商品に関心があるかを判定することができる。

こうして取得した、注視した商品に関する情報を、上記属性情報と関連付けてデータベースに記憶して蓄積する。

こうして店内の客に対する監視とその結果の記憶とを行なう一方で、広告提示サーバ２はサイネージ装置１０の撮影部ＩＭによる撮影画像から、新たに入店する客が存在するか否かを判断する（ステップＳ１０３）。
ここで新たな入店客が存在しないと判断した場合（ステップＳ１０３のＮｏ）、広告提示サーバ２では店舗で指定した、推薦する商品情報を選出し（ステップＳ１０８）、選出した商品情報をサイネージ装置１０に送出する（ステップＳ１０９）。

これを受けたサイネージ装置１０では、送られてきたコンテンツデータをコンテンツメモリ３３に記憶した上で、当該データ含まれている画像データ、音声データをそれぞれ読出して投影画像処理部２３、音声処理部２７により再生させ（ステップＳ１１０）、以上で主として広告提示サーバ２による図４の一連の処理を終了する。

また上記ステップＳ１０３でサイネージ装置１０の撮影部ＩＭによる撮影画像から、新たに入店する客が存在すると判断した場合（ステップＳ１０３のＹｅｓ）、広告提示サーバ２は撮影画像中の入店客の属性をサイネージ装置１０側で解析させる（ステップＳ１０４）。解析する属性情報としては、上記ステップＳ１０１で説明した、店内客から取得する属性情報と同様であるものとする。

このとき、併せて広告提示サーバ２は、その時点でカメラ３，３，‥‥から得られる画像により店内に客が存在するか否かを判断する（ステップＳ１０５）。

店内に客が存在すると判断した場合（ステップＳ１０５のＹｅｓ）、広告提示サーバ２は直前の上記ステップＳ１０１，Ｓ１０２で蓄積した内容から、新たに入店した客と同様の属性情報を有する店内客が注視していた商品に関する商品情報を選出する（ステップＳ１０６）。

ここで、新たに入店した客の属性情報と、すでに蓄積している店内客の属性情報とが同様であるかどうかのマッチングに関しては、属性情報を構成する個々の要素毎に優先度を設けて全体の類似度を算出し、算出した類似度が予め設定された閾値より高いことを確認した上で、最も類似度が高い属性情報の店内客を選択し、選択した店内客が注視していた商品の商品情報を選出するものとする。

そして、選出した商品情報のコンテンツデータをサイネージ装置１０に送出することで（ステップＳ１０９）、これを受けたサイネージ装置１０では、送られてきたコンテンツデータに基づいた再生動作を実行し（ステップＳ１１０）、以上で主として広告提示サーバ２による図４の一連の処理を終了する。

このような商品情報の選出により、すでに店内客が存在する場合に、新たに入店した客と最も好み等が似通っていると思われる店内客が興味を持っていると類推できる商品に関する情報のコンテンツを、店舗の入口に設置されたサイネージ装置１０にて再生して当該入店客に提示することで、例えばテレビ番組やインターネット経由の情報から、きわめて新しい話題になっている商品等を来店者の興味の度合いから属性を考慮した上で入店客に提示できるため、多くの客に対してより適切な商品情報を個別に提示することが可能となる。

また上記ステップＳ１０５において、その時点では店内客が存在しないと判断した場合（ステップＳ１０５のＮｏ）、広告提示サーバ２はそれまでに蓄積した過去のデータベースの内容から、新たに入店した客と同様の属性情報を有する店内客が注視していた商品に関する商品情報を選出する（ステップＳ１０７）。

ここで、新たに入店した客の属性情報と、すでに蓄積している過去の来店客の属性情報とが同様であるかどうかのマッチングに関しても、属性情報を構成する個々の要素毎に優先度を設けて全体の類似度を算出し、算出した類似度が予め設定された閾値より高いことを確認した上で、最も類似度が高い属性情報の店内客を選択し、選択した来店客が注視していた商品の商品情報を選出するものとする。

そして、選出した商品情報のコンテンツデータをサイネージ装置１０に送出することで（ステップＳ１０９）、これを受けたサイネージ装置１０では、送られてきたコンテンツデータに基づいた再生動作を実行し（ステップＳ１１０）、以上で主として広告提示サーバ２による図４の一連の処理を終了する。

このような商品情報の選出により、その時点での店内客が存在しない場合に、新たに入店した客と最も好み等が似通っていると思われる過去の来店客が興味を持っていたと類推できる商品に関する情報のコンテンツを、店舗の入口に設置されたサイネージ装置１０にて再生して当該入店客に提示することで、商品情報に関する興味の度合いの判断における鮮度は低下するものの、話題になっている商品等を来店者の興味の度合いから属性を考慮した上で入店客に提示できるため、多くの客に対してより適切な商品情報を個別に提示することが可能となる。

以上詳記した如く本実施形態によれば、店舗を利用する多くの客に対してより適切な商品情報を個別に提示することが可能となる。

加えて上記実施形態では、予め設定した閾値より類似度が高い属性と関連付けて記憶された店内客が注視していた商品情報を取得することものとしたので、新たに入店した客が提示される商品情報に興味を持つ確度が高く、サイネージ装置１０をより有効に活用して商品の販売を促進できる。

なお上記実施形態では、属性情報の具体例として、例えば客の年齢層、性別、体型、身長、家族構成、服装の傾向など、現状の画像認識技術でも商品として実用化されている、充分識別可能な属性情報を取得するものとしたので、システムとして高い信頼性に基づいて構築することが可能であり、サイネージ装置１０をより有効に活用できる。

さらに上記実施形態では、撮影画像から得られる、店内客の視線方向のみならず、店内客が移動した動線から興味を持っていると思われる商品を判定する場合について説明したが、このように店内客の店内での移動自体を特定の商品への興味と関連付けて判定することで、より的確に興味を持っている商品を判定でき、その判定結果を他の客にも活用できる。

なお上記実施形態では、新たな入店客の画像をサイネージ装置１０で撮影する場合について示したが、サイネージ装置１０が撮像手段を内蔵することなく、カメラ３，３，‥‥と同等のカメラを入店客用に配設するシステム構成としても良い。

また上記図１に示したシステム構成に限らず、例えば本システムを多数の店舗からなるショッピングモール全体に適用するなど、種々システム構成の規模を変えて適用することも可能である。

その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組み合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件による適宜の組み合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。

以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
請求項１記載の発明は、所定のエリア内を撮影する第１の撮像部と、上記第１の撮像部で撮影した画像に写り込んだ人物の視線方向を検出し、当該視線方向から注視している商品の情報を判定する商品判定部と、上記第１の撮像部で撮影した画像に写り込んだ人物の属性を判定する第１の属性判定部と、上記所定のエリアに到来する人物を撮影する第２の撮像部と、上記第２の撮像部で撮影した人物の属性を判定する第２の属性判定部と、上記商品判定部、上記第１の属性判定部及び上記第２の属性判定部で判定した判定結果に基づいて、商品の情報を取得し、対応するコンテンツを読出して画像を出力する表示部と、を備えることを特徴とする。
請求項２記載の発明は、上記請求項１記載の発明において、上記商品判定部及び上記第１の属性判定部の両判定結果を関連付けて記憶する第１の記憶部と、上記第２の属性判定部で判定した属性に基づいて上記第１の記憶部を検索し、対応する属性と関連付けて記憶された商品判定部での判定結果から商品の情報を取得する検索部と、をさらに備えることを特徴とする。
請求項３記載の発明は、上記請求項２記載の発明において、上記所定のエリア内の複数の商品に関する、画像を含むコンテンツを記憶した第２の記憶部と、上記検索部で得た商品の情報に基づいて上記第２の記憶部から対応するコンテンツを読出すコンテンツ選択部と、をさらに備え、上記表示部は、上記コンテンツ選択部で得たコンテンツを用いて上記画像を出力し、上記所定のエリアは店舗を含むことを特徴とする。
請求項４記載の発明は、上記請求項２または３記載の発明において、上記検索部は、上記第２の属性判定手段で判定した属性に基づいて上記第１の記憶部を検索し、予め設定した閾値より類似度が高い属性と関連付けて記憶された商品判定部での判定結果から商品の情報を取得することを特徴とする。
請求項５記載の発明は、上記請求項１乃至４いずれか記載の発明において、上記属性は、年齢層、性別、体型、身長、家族構成、服装の傾向のうちの少なくとも１つを含むことを特徴とする。
請求項６記載の発明は、上記請求項１乃至５いずれか記載の発明において、上記第１の撮像部は、上記店舗内に複数設置し、上記商品判定部は、上記第１の撮像部で撮影した画像に写り込んだ人物の視線方向、及び当該人物が上記所定のエリア内を移動する動線の少なくとも一方から注視している商品の情報を判定することを特徴とする。
請求項７記載の発明は、所定のエリア内を撮影する第１の撮像工程と、上記第１の撮像工程で撮影した画像に写り込んだ人物の視線方向を検出し、当該視線方向から注視している商品の情報を判定する商品判定工程と、上記第１の撮像工程で撮影した画像に写り込んだ人物の属性を判定する第１の属性判定工程と、上記所定のエリアに到来する人物を撮影する第２の撮像工程と、上記第２の撮像工程で撮影した人物の属性を判定する第２の属性判定工程と、上記商品判定工程、上記第１の属性判定工程、及び上記第２の属性判定手段で判定した判定結果に基づいて商品の情報を取得し、対応するコンテンツを読出して画像を出力する表示工程と、を有したことを特徴とする。

１…ネットワーク、
２…広告提示サーバ、
３…カメラ、
１０…サイネージ装置、
１０Ａ…装置筐体、
２１…アンテナ、
２２…無線通信部、
２３…投影画像処理部、
２４…マイクロミラー素子、
２５…光源部、
２６…ミラー、
２７…音声処理部、
２８…ＣＰＵ、
２９…メインメモリ、
３０…プログラムメモリ、
３１…操作部、
３２…撮影画像処理部、
３３…コンテンツメモリ、
３４…撮影レンズ部、
３５…ＣＭＯＳイメージセンサ、
３６…Ａ／Ｄ変換回路、
Ｂ…バス、
ＩＭ…撮影部、
ＭＲ…ミラー、
ＰＬ…投影レンズ部、
ＳＢ…サイネージボード、
ＳＰ…スピーカ部。

Claims (7)

1. 所定のエリア内を撮影する第１の撮像部と、
   上記第１の撮像部で撮影した画像に写り込んだ人物の視線方向を検出し、当該視線方向から注視している商品の情報を判定する商品判定部と、
   上記第１の撮像部で撮影した画像に写り込んだ人物の属性を判定する第１の属性判定部と、
   上記所定のエリアに到来する人物を撮影する第２の撮像部と、
   上記第２の撮像部で撮影した人物の属性を判定する第２の属性判定部と、
   上記商品判定部、上記第１の属性判定部及び上記第２の属性判定部で判定した判定結果に基づいて、商品の情報を取得し、対応するコンテンツを読出して画像を出力する表示部と、
   を備えることを特徴とする表示システム。
2. 上記商品判定部及び上記第１の属性判定部の両判定結果を関連付けて記憶する第１の記憶部と、
   上記第２の属性判定部で判定した属性に基づいて上記第１の記憶部を検索し、対応する属性と関連付けて記憶された商品判定部での判定結果から商品の情報を取得する検索部と、
   をさらに備えることを特徴とする請求項１記載の表示システム。
3. 上記所定のエリア内の複数の商品に関する、画像を含むコンテンツを記憶した第２の記憶部と、
   上記検索部で得た商品の情報に基づいて上記第２の記憶部から対応するコンテンツを読出すコンテンツ選択部と、
   をさらに備え、
   上記表示部は、上記コンテンツ選択部で得たコンテンツを用いて上記画像を出力し、
   上記所定のエリアは店舗を含む
   ことを特徴とする請求項２記載の表示システム。
4. 上記検索部は、上記第２の属性判定手段で判定した属性に基づいて上記第１の記憶部を検索し、予め設定した閾値より類似度が高い属性と関連付けて記憶された商品判定部での判定結果から商品の情報を取得することを特徴とする請求項２または３記載の表示システム。
5. 上記属性は、年齢層、性別、体型、身長、家族構成、服装の傾向のうちの少なくとも１つを含むことを特徴とする請求項１乃至４いずれか記載の表示システム。
6. 上記第１の撮像部は、上記店舗内に複数設置し、
   上記商品判定部は、上記第１の撮像部で撮影した画像に写り込んだ人物の視線方向、及び当該人物が上記所定のエリア内を移動する動線の少なくとも一方から注視している商品の情報を判定する
   ことを特徴とする請求項１乃至５いずれか記載の表示システム。
7. 所定のエリア内を撮影する第１の撮像工程と、
   上記第１の撮像工程で撮影した画像に写り込んだ人物の視線方向を検出し、当該視線方向から注視している商品の情報を判定する商品判定工程と、
   上記第１の撮像工程で撮影した画像に写り込んだ人物の属性を判定する第１の属性判定工程と、
   上記所定のエリアに到来する人物を撮影する第２の撮像工程と、
   上記第２の撮像工程で撮影した人物の属性を判定する第２の属性判定工程と、
   上記商品判定工程、上記第１の属性判定工程、及び上記第２の属性判定手段で判定した判定結果に基づいて商品の情報を取得し、対応するコンテンツを読出して画像を出力する表示工程と、
   を有したことを特徴とする表示方法。

Images