JP2017062577A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Abstract

【課題】情報処理装置において、表面に凹凸を形成した立体的なスクリーンに対しても、違和感を生じずに訴求力のある似顔絵画像を投影させる。【解決手段】広告動画コンテンツの再生中においてサイネージ装置に視聴者Ｍが接近すると、当該広告動画コンテンツの広告モデルＷと広告音声Ｓａｗが、前記視聴者Ｍの似顔絵キャラクタ画像による広告モデルＭＬと同視聴者Ｍに応じた音声データによる広告音声Ｓａｍに切り換えられて再生される。しかも、前記広告モデルＭＬとして再生される前記視聴者Ｍの似顔絵キャラクタ画像は、スクリーンパネルＳＰが３Ｄパネルである場合には、当該スクリーンパネルＳＰの形状（サイズ，顔パーツの位置，顔パーツの形状）に合わせて調整（補正）され、同スクリーンパネルＳＰの凹凸に応じた明るさ補正がされて投影される。【選択図】 図１１

Description

本発明は、例えば商店の売り場に設置して各種商品の紹介を行なう画像投影装置などに好適な情報処理装置、情報処理方法、およびその制御プログラムに関する。

従来、画像センサにより撮影された人物の顔を含む二次元画像から、撮影対象人物の特徴を強調した似顔絵画像を作成する似顔絵生成装置が考えられている（例えば、特許文献１参照。）。

また、視聴者に対し、印象を高めることができる映像出力装置搭載機器等を提供するべく、画像コンテンツの輪郭の形状に形成されたスクリーンに投影するようにした技術が各種提案されている（例えば、特許文献２参照。）。

特開２００２−１７５５３８号公報 特開２０１１−１５０２２１号公報

前記映像出力装置搭載機器等において、前記似顔絵生成装置により作成した似顔絵画像を画像コンテンツとし、当該画像コンテンツの輪郭の形状に形成されたスクリーンに投影することで、視聴者に対する訴求力を増すことが考えられる。

なお、前記画像コンテンツの輪郭の形状に形成されたスクリーンは平板状に構成されており、一般的な画像コンテンツはいずれも平面のスクリーンに表示あるいは投影することを前提として構成されている。

そこで、例えば胸像のような人物の輪郭の形状を有するスクリーンを考えると、スクリーンが平板状ではなく、その胸像の人物の画像に対応した凹凸を形成した立体形状を有するものであれば、対応する画像コンテンツを投影した場合の訴求力、表現力がより増すものと考えられる。

しかしながら、実際に表面に凹凸を形成した立体的なスクリーンでは、その凹凸形状によって投影光束に対する投影面積が変化する。例えば、光束が垂直に投射される平坦な部分に対して、投影光束が斜めに投射される傾斜した部分の方が、同一の大きさの光束に対する投影面積が広く、結果として投影される画像は部分的に明暗の差が生じることが考えられる。

本発明は、このような課題に鑑みなされたもので、表面に凹凸を形成した立体的なスクリーンに対しても、違和感を生じずに訴求力のある似顔絵画像を作成させることが可能になる情報処理装置、情報処理方法、およびその制御プログラムを提供することを目的とする。

本発明に係る情報処理装置は、人物の画像に応じた似顔絵画像を作成する似顔絵作成手段と、この似顔絵作成手段により作成された似顔絵画像を、当該似顔絵画像を投影して表示させる投影面に凹凸が形成されたスクリーンの形状に合わせて補正する画像補正手段と、を備えたことを特徴としている。

本発明によれば、表面に凹凸を形成した立体的なスクリーンに対しても、違和感を生じずに訴求力のある似顔絵画像を作成させることが可能になる。

本発明の情報処理装置の実施形態に係るサイネージ装置１０の外観構成を示す斜視図。 前記図１のII−II線に沿った、前記サイネージ装置１０に設けられた主として投影光学系の構成を側面側から見た断面構成を示す図。 前記サイネージ装置１０のスクリーンパネルＳＰの断面構成を上から見た図。 前記スクリーンパネルＳＰの特に立体部ＳＰ１における投影光の照射状態を簡略化して例示する図。 前記サイネージ装置１０の電子回路の機能構成を示すブロック図。 前記サイネージ装置１０のコンテンツメモリ２０に記憶される動画コンテンツの一例を示す図。 前記サイネージ装置１０のメインメモリ２７に記憶されるデータの一例を示す図。 前記サイネージ装置１０のメインメモリ２７にパネル情報データ２７ａとして記憶される３Ｄパネルに対応した等高線情報２７ａｈのイメージを示す図。 前記サイネージ装置１０で実行される動画コンテンツ再生処理を示すフローチャート。 前記サイネージ装置１０で実行される動画コンテンツ再生処理における似顔絵動画コンテンツ作成処理を示すフローチャート。 前記サイネージ装置１０の動画コンテンツ再生処理に従った広告動画コンテンツの再生動作を示す図であり、同図（Ａ）はオペレータにより選択した広告動画コンテンツの再生動作を示す図、同図（Ｂ）は当該広告動画コンテンツの再生中における人物（視聴者）Ｍの検知動作を示す図、同図（Ｃ）は広告モデルを前記視聴者Ｍの似顔絵キャラクタ画像に置き換えた前記広告動画コンテンツの再生動作を示す図。

以下図面により本発明の実施の形態について説明する。

図１は、本発明の情報処理装置の実施形態に係るサイネージ装置１０の外観構成を示す斜視図である。

このサイネージ装置１０はプロジェクタ技術を用いた電子マネキンであり、装置ケーシングＣＳに接続された電源ケーブルＣＶを介して給電することにより動作する。装置ケーシングＣＳ上面のトップボードＴＢ前端側に、パネルベースＰＢを介してスクリーンパネル（スクリーン）ＳＰが立設される。

このスクリーンパネルＳＰは、前記パネルベースＰＢと共に構成され、サイネージ装置１０に対して着脱自在に装着されるもので、サイネージ装置１０の本来は矩形の投影可能領域内に収まるように設置された、任意形状を有する半透過板状の部材である。

ここでスクリーンパネルＳＰは、表面が立体的な凹凸を有する立体部ＳＰ１と、凹凸のない平板部ＳＰ２とが一体となって構成されるものとする。

スクリーンパネルＳＰの一例として、例えば人型形状の立体部ＳＰ１において商品の説明員等の画像を投影する一方で、平板部ＳＰ２において当該商品自体の説明内容に関する各種画像を投影することが考えられる。

このスクリーンパネルＳＰに対し、前記装置ケーシングＣＳのトップボードＴＢの一部である透明部ＴＢ１を介して、後述するリアプロジェクション方式の投影光が背面下方側から投影されることで、画像を表示する。

前記パネルベースＰＢには複数の操作ボタンを合わせて投影しており、当該ボタン中のいずれかを視聴者がタッチ操作した場合、装置ケーシングＣＳ側のボード取付け基部に配列された、それぞれが指向性を有するライン状の赤外線センサアレイにより当該操作位置が検知可能となっている。

前記装置ケーシングＣＳの正面には、前記商品自体の説明内容に関する各種音声を出力するスピーカ部３４と、サイネージ装置１０の正面から所定の範囲内に接近した人物（視聴者）を検知する人感センサ３０と、当該接近した人物（視聴者）を撮影する撮像部３１が設けられる。

同図では、視聴者の肉眼ＥＹがスクリーンパネルＳＰに略正対し、スクリーンパネルＳＰに投影される画像とスピーカ部３４から出力される音声とを視聴している状態を示す。

図２は、前記図１のII−II線に沿った、前記サイネージ装置１０に設けられた主として投影光学系の構成を側面側から見た断面構成を示す図である。

投影部１１から斜め上後方に向けて出射した投影光束ＬＦは、凹曲面状の第１の全反射ミラー１２Ａで前下方に反射された後に、水平な第２の全反射ミラー１２Ｂでさらに反射された後、斜め前上方に向かって前記スクリーンパネルＳＰの背面側にある平板状のフレネルレンズ１３に投射され、サイネージ装置１０の接地面と平行な光束に屈曲される。

フレネルレンズ１３で屈曲された投影光束ＬＦは、フレネルレンズ１３を介して拡散透過部１４に投影される。

図３は、前記サイネージ装置１０のスクリーンパネルＳＰの断面構成を上から見た図である。

同図に示すように、スクリーンパネルＳＰの拡散透過部１４は、フレネルレンズ１３との間に空気層を有している。また、拡散透過部１４の立体部ＳＰ１ではその形状に従ってフレネルレンズ１３と離間している一方で、平板部ＳＰ２では図２に示す如くフレネルレンズ１３と近接した状態で配置される。

図４は、前記スクリーンパネルＳＰの特に立体部ＳＰ１における投影光の照射状態を簡略化して例示する図である。

前記投影部１１が出射する投影光束ＬＦの高さ方向の範囲中、上限、中央、及び下限の３本の投影光ＬＢ２，ＬＢ２，‥‥に着目して考える。これらの投影光ＬＢ２，ＬＢ２，…は、フレネルレンズ１３においてフレネルレンズ１３と垂直でほぼ平行となる投影光ＬＢ３，ＬＢ３，‥‥となった状態で拡散透過部１４に照射されて、それぞれ投影内容が拡散透過部１４上で表示される。

ここで投影光ＬＢ３，ＬＢ３，…がいずれも同様の明るさを有しているものとして考えた場合、拡散透過部１４の形状の故に、中央の投影光ＬＢ３は拡散透過部１４に対して略垂直に照射される一方で、上限、下限の投影光ＬＢ３，ＬＢ３はいずれも大きな傾斜角をもって拡散透過部１４に照射されることになる。このように、拡散透過部１４は、投影部１１の出射する光像を投影して画像を表示し、投影部１１から出射される光像の光軸と交差する投影面の角度が異なる箇所を複数有している。

この場合、各投影光ＬＢ３，ＬＢ３，‥‥が受け持つ拡散透過部１４上の画像投影面積を考えると、中央の投影光ＬＢ３に比して、上限、下限の投影光ＬＢ３，ＬＢ３はいずれも拡散透過部１４が傾斜している分、より大きな画像投影面積となり、中央部よりも明るさが低下することが懸念される。

したがって本実施形態では、拡散透過部１４の凹凸形状に起因する傾斜状況に合わせて、投影する画像の各部位の明るさ、具体的には、各表示画素のＲ，Ｇ，Ｂ光の階調値を調整することにより、凹凸形状を有する立体部ＳＰ１の拡散透過部１４でも違和感を生じることなく、立体部ＳＰ１の形状を活かした訴求力のある画像を投影させるものである。

図５は、前記サイネージ装置１０の電子回路の機能構成を示すブロック図である。

コンテンツメモリ２０には予め動画コンテンツのデータ及びスクリーンパネルＳＰの形状に応じて当該動画コンテンツの画像データの明るさ補正を行なう、後述するフィルタデータが記憶される。このコンテンツメモリ２０に記憶される前記動画コンテンツのデータ等は、後述するＣＰＵ２６により読み出され、システムバスＢＳを介して投影画像駆動部２１に送られる。

前記投影画像駆動部２１は、送られてきた画像データに応じて、所定のフォーマットに従ったフレームレート、例えば１２０［フレーム／秒］と色成分の分割数、及び表示階調数を乗算した、より高速な時分割駆動により、表示素子であるマイクロミラー素子２２を表示駆動する。

このマイクロミラー素子２２は、アレイ状に配列された複数個、例えばＷＸＧＡ（横１２８０画素×縦７６８画素）分の微小ミラーの各傾斜角度を個々に高速でオン／オフ動作して表示動作することで、その反射光により光像を形成する。

一方で、光源部２３から時分割でＲ，Ｇ，Ｂの原色光が循環的に出射される。光源部２３は、半導体発光素子であるＬＥＤを有し、Ｒ，Ｇ，Ｂの原色光を時分割で繰返し出射する。光源部２３が有するＬＥＤは、広義でのＬＥＤとして、ＬＤ（半導体レーザ）や有機ＥＬ素子を含むものとしても良い。

また、ＬＥＤから出射された光を蛍光体に照射することで励起される、元の光とは波長が異なる原色光を用いるものとしても良い。この光源部２３からの原色光が、ミラー２４で反射して前記マイクロミラー素子２２に照射される。

そして、マイクロミラー素子２２での反射光で光像が形成され、形成された光像が前記投影部１１を介して前記スクリーンパネルＳＰの背面側から投射される。

前記各回路の動作すべてをＣＰＵ２６が制御する。このＣＰＵ２６は、メインメモリ２７及びプログラムメモリ２８と直接接続される。メインメモリ２７は、例えばＳＲＡＭで構成され、ＣＰＵ２６のワークメモリとして機能する。プログラムメモリ２８は、電気的書き換え可能な不揮発性メモリ、例えばフラッシュＲＯＭで構成され、ＣＰＵ２６が実行する動作プログラムや各種定型データ等を記憶する。

ＣＰＵ２６は、前記プログラムメモリ２８に記憶されている動作プログラムや定型データ等を読み出し、メインメモリ２７に展開して記憶させた上で当該プログラムを実行することにより、このサイネージ装置１０を統括して制御する。前記動作プログラムは、前記コンテンツメモリ２０から読み出される動画コンテンツのデータを、画像データについては前記スクリーンパネルＳＰに投影して表示させ、音声データについては前記スピーカ部３４から放音して出力させるための動画コンテンツ再生処理プログラム２８ａを含む。

前記ＣＰＵ２６は、操作部２９からの操作信号や人感センサ３０からの人物（視聴者）検知信号に応じて各種再生動作を実行する。前記操作部２９は、サイネージ装置１０の本体に備える、電源キーを含むいくつかの操作キーのキー操作信号、または前記パネルベースＰＢの一部に仮想的に投影するボタンへの操作を検出する、前記赤外線センサアレイからの検出信号を受付け、受付けた操作に応じた信号を前記ＣＰＵ２６へ送出する。

前記ＣＰＵ２６はさらに、前記システムバスＢＳを介して、前記人感センサ３０、前記撮像部３１と接続されるほか、パネルタイプ検出部２５、音処理部３２、無線ＬＡＮインタフェース（Ｉ／Ｆ）３３と接続される。

パネルタイプ検出部２５は、スクリーンパネルＳＰ下部のパネルベースＰＢの装着基部に設けられ、パネルベースＰＢに予め形成された切欠き形状等により、その時点でサイネージ装置１０に装着されているスクリーンパネルＳＰの形状タイプの情報を検出し、その検出結果を前記ＣＰＵ２６へ送出する。

音処理部３２は、ＰＣＭ音源等の音源回路を備え、投影動作時に前記コンテンツメモリ２０から読み出されるコンテンツデータ中の音声データをアナログ化し、スピーカ部３４を駆動して放音させ、あるいは必要によりビープ音等を発生させる。

無線ＬＡＮインタフェース３３は、無線ＬＡＮアンテナ３５を介して図示しない最寄りの無線ＬＡＮルータと接続し、データの送受を行なうもので、必要により前記コンテンツメモリ２０に記憶すべきコンテンツデータ等を取得する。

図６は、前記サイネージ装置１０のコンテンツメモリ２０に記憶される動画コンテンツの一例を示す図である。

前記コンテンツメモリ２０には、商品の説明を画像（動画）で行う画像データと音声で行う音声データとを編集した複数の広告動画コンテンツのデータ２０ａが予めあるいは必要により外部から受信されて記憶され、また、前記スクリーンパネルＳＰの形状に応じて前記広告動画コンテンツのデータ２０ａにおける画像データの明るさ補正を行なうフィルタデータも記憶される。

前記広告動画コンテンツのデータ２０ａおよび前記フィルタデータは、複数種類のスクリーンパネルＳＰの形状にそれぞれ応じたデータが記憶される。

また、前記コンテンツメモリ２０には、前記広告動画コンテンツのデータ２０ａの再生中において前記人感センサ３０により人物（視聴者）が検知された場合に、前記撮像部３１により撮影された当該視聴者の画像データに基づき作成された似顔絵動画コンテンツのデータ２０ｂが記憶される。この似顔絵動画コンテンツのデータ２０ｂは、前記視聴者の画像データに基づき現在使用中のスクリーンパネルＳＰの形状に合わせて作成された似顔絵キャラクタ画像のデータと、前記再生中の広告動画コンテンツのデータ２０ａに含まれる音声データを当該視聴者の画像データから認識した性別・年齢（層）に応じた言い回しに変更した音声データとを編集して作成される。

図７は、前記サイネージ装置１０のメインメモリ２７に記憶されるデータの一例を示す図である。

前記メインメモリ２７には、パネル情報データ２７ａ、視聴者画像データ２７ｂ、似顔絵キャラクタパーツデータ２７ｃが記憶される。

前記パネル情報データ２７ａとしては、前記パネルタイプ検出部２５により検出対象となる複数種類のスクリーンパネルＳＰ…の各パネルタイプに対応付けて、該当パネルＳＰが表面に凹凸を有する３Ｄパネルか又は平面パネルかの形状識別情報、全体サイズ情報、３Ｄパネルである場合の目・鼻・耳・口の部分の位置，サイズ，形状情報および等高線情報が記憶される。

前記視聴者画像データ２７ｂとしては、前記撮像部３１により撮影された人物（視聴者）の画像データと共に、当該画像データから認識された視聴者の性別，年齢（層）のデータが記憶される。

前記似顔絵キャラクタパーツデータ２７ｃとしては、前記視聴者の画像データに応じた似顔絵キャラクタ画像を生成するための輪郭・目・鼻・耳・口の各々の部分（顔パーツ）について複数種類の画像データが記憶される。

図８は、前記サイネージ装置１０のメインメモリ２７にパネル情報データ２７ａとして記憶される３Ｄパネルに対応した等高線情報２７ａｈのイメージを示す図である。

前記コンテンツメモリ２０に記憶される複数種類のスクリーンパネルＳＰ（３Ｄパネル）の形状にそれぞれ応じたフィルタデータは、当該３Ｄパネルに対応した前記等高線情報２７ａｈに応じた凹凸形状に起因する傾斜状況に合わせて、投影する画像の各表示画素のＲ，Ｇ，Ｂ光の階調値を調整するフィルタデータとして記憶される。

このように構成されたサイネージ装置１０は、前記ＣＰＵ２６が前記動作プログラムに記述された命令に従い前記電子回路の各部の動作を制御し、ソフトウエアとハードウエアとが協働して動作することにより、以下の動作説明で述べる情報処理機能を実現する。

次に、前記構成のサイネージ装置１０の動作について説明する。

なお以下に示す動作は、前記サイネージ装置１０のオペレータの操作に対し、前記ＣＰＵ２６が前記プログラムメモリ２８に記憶されている動作プログラムや定型データ等を読み出し、前記メインメモリ２７上に展開記憶させた上で実行するものである。

前記プログラムメモリ２８に記憶されている動作プログラム等は、本サイネージ装置１０の工場出荷当時に当該プログラムメモリ２８に記憶されていたものに限らず、適時オペレータの操作により前記無線ＬＡＮインタフェース３３を介して外部からバージョンアップ等のデータをインストールしたもの等も含むものとする。

また、説明を容易にするために、前記コンテンツメモリ２０に記憶されている各動画コンテンツの画像データは、モーションＪＰＥＧのファイルデータのように、時間的に連続した複数の独立した静止画コンテンツから構成されるものとする。

図９は、前記サイネージ装置１０で実行される動画コンテンツ再生処理を示すフローチャートである。

図１０は、前記サイネージ装置１０で実行される動画コンテンツ再生処理における似顔絵動画コンテンツ作成処理を示すフローチャートである。

サイネージ装置１０のＣＰＵ２６は、その動作当初に、このサイネージ装置１０のオペレータに対し、コンテンツメモリ２０に記憶されている複数の広告動画コンテンツのデータ２０ａの中から、その時点で装着されているスクリーンパネルＳＰの形状に合致したものを選択させることを促し、操作部２９での操作を受付ける（ステップＳ１０１）。

この選択動作に対してＣＰＵ２６は、その時点で装着されているスクリーンパネルＳＰのタイプ情報を前記パネルタイプ検出部２５での検出処理により取得して、選択された広告動画コンテンツのデータ２０ａと合致しているか否かを確認した上で（ステップＳ１０２）、コンテンツメモリ２０からスクリーンタイプに合致した明るさ補正のためのフィルタデータを読み出す（ステップＳ１０３）。

ここでコンテンツメモリ２０から読み出すフィルタデータは、投影で用いる広告動画コンテンツの画像データを構成する個々の静止画コンテンツに対応し、スクリーンパネルＳＰの特に立体部ＳＰ１に該当するエリアにおいて、前記図４，図８で説明した如く投影光が垂直に照射されない傾斜部で投影される画素位置にある階調値をその傾斜度が増えるに連れて増加させる割合を記したファイルデータである。

この場合、当該画素を中心としてその画素を取り囲む隣接画素８画素から、当該画素における傾斜の度合いと方向を算出し、全く傾斜がない場合、すなわち投影光軸が拡散透過部１４に垂直に照射される場合の１画素当たりの対応面積を１００［％］として、傾斜度が増えるに連れて増加する投影面積の比率を、画素位置に対応する階調補正情報（光像の明るさ補正）として保持している。

こうしてコンテンツメモリ２０からスクリーンパネルＳＰのタイプに対応したフィルタデータを読み出した上で、選択した広告動画コンテンツの画像データ中の静止画像の番号を特定するための変数ｎに初期値「１」を設定する（ステップＳ１０４）。

その後、その時点の変数ｎの値に基づいて広告動画コンテンツの画像データ中の「ｎ」番目の静止画像をコンテンツメモリ２０から読み出して取得し（ステップＳ１０５）、取得した静止画像に前記ステップＳ１０３で読み出したフィルタデータを対応する画素の階調値毎に乗算することで明るさに対する補正処理を実行する（ステップＳ１０６）。

そして、その乗算結果としての静止画像データを設定されているフレームレートにしたがった時間、例えば１／１２０［秒］だけ投影させると共に（ステップＳ１０７）、次に投影すべき静止画像があるか否かを、コンテンツメモリ２０に「ｎ＋１」番目の静止画があるか否かにより判断する（ステップＳ１０８）。

ここで次の静止画があると判断した場合は（ステップＳ１０８（Ｙｅｓ））、次いで変数ｎの値を「＋１」更新設定した上で（ステップＳ１０９）、再び前記ステップＳ１０５からの処理を実行することで、動画像の投影動作を続行する。

こうして前記ステップＳ１０５〜Ｓ１０９の処理を繰返し、前記オペレータにより選択した一連の広告動画コンテンツの画像データの投影動作を継続して実行する。そして、前記一連の広告動画コンテンツの画像データの投影動作に伴い、当該広告動画コンテンツに含まれる音声データが音声処理部３２を介してアナログ化されてスピーカ部３４から出力され、当該広告動画コンテンツが再生される。

この後、前記広告動画コンテンツの画像データを構成する最後の静止画の投影を行なった後、「ｎ＋１」番目の静止画がないと判断すると（ステップＳ１０８（Ｎｏ））、ＣＰＵ２６は次にその時点で同じ広告動画コンテンツを繰返し再生する設定が事前になされているか否かを判断する（ステップＳ１１０）。

ここで繰返し再生する設定が事前になされていると判断した場合（ステップＳ１１０（Ｙｅｓ））、ＣＰＵ２６は前記ステップＳ１０４からの処理を実行することで、再び前記ステップＳ１０１で選択した広告動画コンテンツの再生を開始する。

また前記ステップＳ１１０において、繰返し再生する設定が事前になされていないと判断した場合（ステップＳ１１０（Ｎｏ））、ＣＰＵ２６は以上でこの一連の広告動画コンテンツの再生処理を終了する。

図１１は、前記サイネージ装置１０の動画コンテンツ再生処理に従った広告動画コンテンツの再生動作を示す図であり、同図（Ａ）はオペレータにより選択した広告動画コンテンツの再生動作を示す図、同図（Ｂ）は当該広告動画コンテンツの再生中における人物（視聴者）Ｍの検知動作を示す図、同図（Ｃ）は広告モデルを前記視聴者Ｍの似顔絵キャラクタ画像に置き換えた前記広告動画コンテンツの再生動作を示す図である。

例えば、図１１（Ａ）に示すように、スクリーンパネルＳＰに投影表示される広告モデルＷを含む広告画像Ｇａとスピーカ部３４から出力される広告音声Ｓａｗとからなる広告動画コンテンツの再生中（ステップＳ１０４〜Ｓ１１０（Ｙｅｓ））において、図１１（Ｂ）に示すように、サイネージ装置１０に接近した人物（視聴者）Ｍが人感センサ３０により検知されると（ステップＳ１１１（Ｙｅｓ））、図１０に示す似顔絵動画コンテンツ作成処理が実行される（ステップＳ２０）。

この似顔絵動画コンテンツ作成処理では、前記再生中の広告動画コンテンツの広告モデルＷと広告音声Ｓａｗを、前記視聴者Ｍの似顔絵キャラクタ画像による広告モデルＭＬと広告音声Ｓａｍに置き換えた似顔絵動画コンテンツ（２０ｂ）を作成する。

先ず、前記人感センサ３０により検知された人物（視聴者）Ｍが撮像部３１により撮影され（ステップＳ２０１）、当該撮影された画像データから人物画像とその性別・年齢（層）が認識される（ステップＳ２０２）。

前記視聴者Ｍの撮影画像に基づく人物画像とその性別・年齢（層）の認識が成功すると（ステップＳ２０３（Ｙｅｓ））、当該認識された人物画像とその性別・年齢（層）を含む視聴者画像のデータ２７ｂがメインメモリ２７に記憶され、当該視聴者Ｍに応じた似顔絵キャラクタ画像が前記似顔絵キャラクタパーツのデータ２７ｃとして記憶されている目，鼻，耳，眉，口などの各顔パーツの画像を組み合わせて作成される（ステップＳ２０４）。

ここで、前記パネルタイプ検出部２５により検出されたスクリーンパネルＳＰのパネルタイプに対応したパネル情報のデータ（形状識別情報）２７ａに基づき、当該スクリーンパネルＳＰが３Ｄパネルであるか平面パネルであるかが判断される（ステップＳ２０５）。

前記スクリーンパネルＳＰが３Ｄパネルであると判断された場合は（ステップＳ２０５（３Ｄ））、先ず、前記ステップＳ２０４にて作成された視聴者Ｍの似顔絵キャラクタ画像の全体サイズが当該３ＤパネルであるスクリーンパネルＳＰの全体サイズに合わせて調整（補正）される（ステップＳ２０６）。

また、前記スクリーンパネルＳＰの全体サイズに合わせて調整された視聴者Ｍの似顔絵キャラクタ画像に含まれる目，鼻，耳，眉，口の各顔パーツの画像の位置が、当該スクリーンパネル（３Ｄパネル）ＳＰにおける各顔パーツの位置に合わせて調整（補正）され（ステップＳ２０７）、さらに、その鼻のパーツの画像の形状が同スクリーンパネル（３Ｄパネル）ＳＰにおける鼻の部分の形状に合わせて調整（補正）される（ステップＳ２０８）。

なお、前記ステップＳ２０５において、前記スクリーンパネルＳＰが平面パネルであると判断された場合は（ステップＳ２０５（平面））、前記作成された視聴者Ｍの似顔絵キャラクタ画像の全体サイズが当該平面パネルであるスクリーンパネルＳＰの全体サイズに合わせて調整（補正）される（ステップＳ２０９）。

こうして、前記視聴者Ｍの似顔絵キャラクタ画像について、前記スクリーンパネルＳＰが３Ｄパネルである場合には、その全体サイズ、各顔パーツの位置、鼻のパーツの形状が当該３Ｄパネルに合わせて調整（補正）され、また、前記スクリーンパネルＳＰが平面パネルである場合には、その全体サイズが当該平面パネルに合わせて調整（補正）される。

すると次に、前記再生中の広告動画コンテンツにおいて広告音声Ｓａｗとして含まれる音声データがテキストデータ化され（ステップＳ２１０）、当該テキストデータが前記視聴者画像のデータ２７ｂとして記憶された視聴者Ｍの性別，年齢（層）に応じた言い回しのテキストデータに変更される（ステップＳ２１１）。

そして、前記視聴者Ｍの性別，年齢（層）に応じた言い回しに変更されたテキストデータに対応した音声データが、当該視聴者Ｍの性別，年齢（層）に応じた音声の音声合成により作成される（ステップＳ２１２）。

すると、前記再生中の広告動画コンテンツ（２０ａ）の広告画像Ｇａに含まれる広告モデルＷの画像データと広告音声Ｓａｗの音声データとを、前記スクリーンパネルＳＰが３Ｄパネルの場合または平面パネルの場合に応じて調整（補正）された前記視聴者Ｍの似顔絵キャラクタ画像からなる広告モデルＭＬの画像データと当該視聴者Ｍの性別，年齢（層）に応じて音声合成された広告音声Ｓａｍの音声データとに置き換えた似顔絵動画コンテンツのデータ２０ｂが作成される（ステップＳ２１３）。

すると、前記再生中の広告動画コンテンツのデータ２０ａが前記作成された似顔絵動画コンテンツのデータ２０ｂに切り換えられ、前記ステップＳ１０４〜Ｓ１１０で説明したのと同様のスクリーンパネルＳＰの形状に応じた明るさ補正を含む動画コンテンツ再生処理に従い再生される。

すなわち、図１１（Ｃ）に示すように、スクリーンパネルＳＰには、前記視聴者Ｍの似顔絵キャラクタ画像による広告モデルＭＬに切り換えられた広告画像Ｇａが投影表示され、またスピーカ部３４からは、同視聴者Ｍの性別，年齢（層）に応じた音声データに切り換えられた広告音声Ｓａｍが出力される。

ここで、前記スクリーンパネルＳＰが３Ｄパネルである場合には、前記視聴者Ｍの似顔絵キャラ画像について、その全体サイズ、各顔パーツの画像の位置、当該各顔パーツのうちの鼻の画像の形状が、前記３Ｄパネルの全体サイズ、各顔パーツの位置、当該各顔パーツのうちの鼻の形状に合わせて調整（補正）されて作成される。また、前記作成された似顔絵キャラ画像は、前記３Ｄパネルの凹凸形状に応じた明るさ補正がなされて投影される。これにより、前記視聴者Ｍ毎に異なる似顔絵キャラクタ画像であっても、前記３ＤパネルのスクリーンパネルＳＰに違和感なく投影して表示させることができる。

なお、前記広告動画コンテンツの再生中に前記人感センサ３０により人物（視聴者）が検知された場合であっても（ステップＳ１１１（Ｙｅｓ）→Ｓ２０）、前記撮像部３１により撮影された同視聴者の画像データからの人物画像の認識が成功しなかった場合には（ステップＳ２０３（Ｎｏ））、前記再生中の広告動画コンテンツの再生処理がそのまま継続される（ステップＳ１０５〜Ｓ１１０）。

したがって、前記構成のサイネージ装置１０によれば、広告動画コンテンツの再生中において当該サイネージ装置１０に視聴者Ｍが接近すると、当該広告動画コンテンツの広告モデルＷと広告音声Ｓａｗが、前記視聴者Ｍの似顔絵キャラクタ画像による広告モデルＭＬと同視聴者Ｍに応じた音声データによる広告音声Ｓａｍに切り換えられて再生される。しかも、前記広告モデルＭＬとして再生される前記視聴者Ｍの似顔絵キャラクタ画像は、スクリーンパネルＳＰが３Ｄパネルである場合には、当該スクリーンパネルＳＰの形状（サイズ，顔パーツの位置，顔パーツ形状）に合わせて調整（補正）され、同スクリーンパネルＳＰの凹凸に応じた明るさ補正がされて投影される。

よって、表面に凹凸を形成した立体的なスクリーンに対しても、違和感を生じずに訴求力のある視聴者Ｍの似顔絵画像を投影させることが可能になるばかりでなく、これに伴い、当該視聴者Ｍに応じた音声も出力可能になるので、同視聴者Ｍに対してより高い訴求力、表現力で広告動画コンテンツを再生できる。

また、前記構成のサイネージ装置１０によれば、複数の形状のスクリーンパネルＳＰから装着するもの１つを選択することができ、実際に装着したスクリーンパネルＳＰに対応したフィルタデータを用いて明るさの補正を行なうものとしたので、選択の自由度が上がるだけでなく、適したフィルタデータをオペレータが選択する必要がなく、また間違ったフィルタデータを選択する虞もないため、装置の運用上、オペレータの負担を軽減しながら、多彩な画像投影が実現できる。

また、前記構成のサイネージ装置１０によれば、スクリーンパネルＳＰに投射される光軸と垂直な面を基準として、傾斜角度が大きくなるに連れて階調を増加させるべくフィルタデータが構成されているものとしたので、明るさの補正をきわめて自然に行なうことができる。

加えて、前記構成のサイネージ装置１０によれば、スクリーンパネルＳＰに投射される光軸と垂直な面を基準として、所定の閾値以上の傾斜角度となる傾斜部が連続する範囲で囲まれた凹部のエリアの画像に関して、階調を減少させるべくフィルタデータが構成されているものとしたので、閲覧者から見て当該エリアがそれだけ奥側に凹んでいるものとして、あえて暗くなるように明るさの補正を行なうことで、スクリーンパネルＳＰに投影される画像の立体感をより強調して、訴求力のある画像の投影が実現できる。

なお、前記サイネージ装置１０は、ＤＬＰ（Ｄｉｇｉｔａｌ Ｌｉｇｈｔ Ｐｒｏｃｅｓｓｉｎｇ）（登録商標）方式のリアプロジェクタによるサイネージ装置に適用した場合について説明したが、本発明はプロジェクタ方式や投影方向等を限定するものではなく、例えば光像を形成するための表示素子としてカラー液晶パネルを用いるもの、スクリーンの前面側から投射するものなどにも適用可能となる。

なお、前記各実施形態において記載したサイネージ装置１０による各処理の手法、すなわち、図９のフローチャートに示す動画コンテンツ処理、図１０のフローチャートに示す前記動画コンテンツ再生処理に伴う似顔絵動画コンテンツ作成処理等の各手法は、何れもコンピュータに実行させることができるプログラムとして、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピ（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記録装置の媒体に格納して配布することができる。そして、表示装置（１１〜１４）や音声出力装置（３２，３４）、人物検知装置（３０）、撮影装置（３１）を備えた電子機器のコンピュータ（ＣＰＵ）は、この外部記憶装置の媒体に記憶されたプログラムを記憶装置に読み込み、この読み込んだプログラムによって動作が制御されることにより、前記各実施形態において説明した視聴者Ｍ（接近人物）に応じた似顔絵キャラクタ画像による情報出力機能を実現し、前述した各手法による同様の処理を実行することができる。

また、前記各手法を実現するためのプログラムのデータは、プログラムコードの形態として通信ネットワーク上を伝送させることができ、この通信ネットワークに接続されたコンピュータ装置（プログラムサーバ）から前記プログラムのデータを表示装置（１１〜１４）や音声出力装置（３２，３４）、人物検知装置（３０）、撮影装置（３１）を備えた電子機器に取り込んで前記同様に視聴者Ｍ（接近人物）に応じた似顔絵キャラクタ画像による情報出力機能を実現することもできる。

本願発明は、前記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、各実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が異なる形態にして組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。

以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。

［１］
人物の画像に応じた似顔絵画像を作成する似顔絵作成手段と、
この似顔絵作成手段により作成された似顔絵画像を、当該似顔絵画像を投影して表示させる投影面に凹凸が形成されたスクリーンの形状に合わせて補正する画像補正手段と、
を備えたことを特徴とする情報処理装置。

［２］
人物を撮影する撮影手段と、
を備え、
前記似顔絵作成手段は、前記撮影手段により撮影した人物の画像に応じた似顔絵画像を作成することを特徴とする請求項１に記載の情報処理装置。

［３］
前記画像補正手段により補正された似顔絵画像に応じた光像を前記スクリーンに投影して表示させる画像投影手段を備えた、
ことを特徴とする［２］に記載の情報処理装置。

［４］
前記画像投影手段は、前記スクリーンの前記凹凸の形状に基づいて前記光像の階調を補正する明るさ補正手段を有する、
ことを特徴とする［３］に記載の情報処理装置。

［５］
前記スクリーンは、顔のパーツに相当する部分に当該顔のパーツに応じた凹凸が形成された立体部を有し、
前記画像補正手段は、前記似顔絵作成手段により作成された似顔絵画像に含まれる顔のパーツの位置を、前記スクリーンの立体部にある顔のパーツの位置に合わせて補正する、
ことを特徴とする［１］ないし［４］の何れかに記載の情報処理装置。

［６］
人物を検知する人物検知手段を備え、
前記撮影手段は、前記人物検知手段により検知された人物を撮影する、
ことを特徴とする［２］ないし［４］の何れかに記載の情報処理装置。

［７］
前記撮影手段により撮影した人物に応じた音声を作成する音声合成手段と、
この音声合成手段により作成された音声を、前記スクリーンに対する前記似顔絵画像の投影に合わせて音声出力部から出力させる音声出力手段と、
を備えたことを特徴とする［２］ないし［４］［６］の何れかに記載の情報処理装置。

［８］
人物の画像に応じた似顔絵画像を作成し、
前記作成した似顔絵画像を、当該似顔絵画像を投影して表示させる投影面に凹凸が形成されたスクリーンの形状に合わせて補正する、
ことを特徴とする情報処理方法。

［９］
コンピュータを、
人物の画像に応じた似顔絵画像を作成する似顔絵作成手段と、
この似顔絵作成手段により作成された似顔絵画像を、当該似顔絵画像を投影して表示させる投影面に凹凸が形成されたスクリーンの形状に合わせて補正する画像補正手段、
として機能させるためのコンピュータ読み込み可能なプログラム。

１０ …サイネージ装置（情報処理装置）
１１ …投影部
１３ …フレネルレンズ
１４ …拡散透過部
２０ …コンテンツメモリ
２１ …投影画像駆動部
２５ …パネルタイプ検出部
２６ …ＣＰＵ
２７ …メインメモリ
２８ …プログラムメモリ
３０ …人感センサ
３１ …撮像部
３２ …音処理部
３３ …無線ＬＡＮインタフェース（Ｉ／Ｆ）
３４ …スピーカ部
３５ …無線ＬＡＮアンテナ
ＬＢ２，ＬＢ３…投影光
ＬＦ …投影光束
ＳＰ …スクリーンパネル（スクリーン）
ＳＰ１…立体部
ＳＰ２…平板部

Claims (9)

1. 人物の画像に応じた似顔絵画像を作成する似顔絵作成手段と、
   この似顔絵作成手段により作成された似顔絵画像を、当該似顔絵画像を投影して表示させる投影面に凹凸が形成されたスクリーンの形状に合わせて補正する画像補正手段と、
   を備えたことを特徴とする情報処理装置。
2. 人物を撮影する撮影手段と、
   を備え、
   前記似顔絵作成手段は、前記撮影手段により撮影した人物の画像に応じた似顔絵画像を作成することを特徴とする請求項１に記載の情報処理装置。
3. 前記画像補正手段により補正された似顔絵画像に応じた光像を前記スクリーンに投影して表示させる画像投影手段を備えた、
   ことを特徴とする請求項２に記載の情報処理装置。
4. 前記画像投影手段は、前記スクリーンの前記凹凸の形状に基づいて前記光像の階調を補正する明るさ補正手段を有する、
   ことを特徴とする請求項３に記載の情報処理装置。
5. 前記スクリーンは、顔のパーツに相当する部分に当該顔のパーツに応じた凹凸が形成された立体部を有し、
   前記画像補正手段は、前記似顔絵作成手段により作成された似顔絵画像に含まれる顔のパーツの位置を、前記スクリーンの立体部にある顔のパーツの位置に合わせて補正する、
   ことを特徴とする請求項１ないし請求項４の何れか１項に記載の情報処理装置。
6. 人物を検知する人物検知手段を備え、
   前記撮影手段は、前記人物検知手段により検知された人物を撮影する、
   ことを特徴とする請求項２ないし請求項４の何れか１項に記載の情報処理装置。
7. 前記撮影手段により撮影した人物に応じた音声を作成する音声合成手段と、
   この音声合成手段により作成された音声を、前記スクリーンに対する前記似顔絵画像の投影に合わせて音声出力部から出力させる音声出力手段と、
   を備えたことを特徴とする請求項２ないし請求項４、請求項６の何れか１項に記載の情報処理装置。
8. 人物の画像に応じた似顔絵画像を作成し、
   前記作成した似顔絵画像を、当該似顔絵画像を投影して表示させる投影面に凹凸が形成されたスクリーンの形状に合わせて補正する、
   ことを特徴とする情報処理方法。
9. コンピュータを、
   人物の画像に応じた似顔絵画像を作成する似顔絵作成手段と、
   この似顔絵作成手段により作成された似顔絵画像を、当該似顔絵画像を投影して表示させる投影面に凹凸が形成されたスクリーンの形状に合わせて補正する画像補正手段、
   として機能させるためのコンピュータ読み込み可能なプログラム。

Images