JP2021027509A - オーグメンテーション画像表示方法およびオーグメンテーション画像表示システム - Google Patents

Abstract

【課題】スポーツの試合等のテレビ番組に出演している人物の心情を、画面を通して視聴者に概念的に把握可能とし、視聴者の利便性の向上に資する。【解決手段】オーグメンテーション画像表示方法は、ユーザ操作に応じて、テレビ番組に出演している少なくとも１人の人物の化身を示す画像データを購入処理するステップと、テレビ番組の映像データに基づいて、人物の感情を推定するステップと、画像データを用いて、人物の感情に応じたオーグメンテーション画像データを生成し、生成されたオーグメンテーション画像データを人物に関連付けて表示するステップと、を有する。【選択図】図８

Description

本開示は、オーグメンテーション画像表示方法およびオーグメンテーション画像表示システムに関する。

特許文献１には、撮像対象物を仮想的に装飾するための付加画像を、ユーザ状況を反映して自動的に生成する画像処理装置が開示されている。この画像処理装置は、撮像画像に基づいて、撮像された対象物を認識し、対象物を視認しているユーザのユーザ状況および対象物の認識結果に応じて、対象物を装飾するための付加画像を生成する。ユーザ状況は、ユーザの生体情報、感情情報、嗜好情報、行動状況または環境情報を示す。

特開２０１４−２０３３７７号公報

特許文献１によれば、例えばユーザの好み、体調、気分、行動等のユーザ状況に応じた装飾を行うための付加画像を生成して対象物に重ね合わせて表示できるので、ユーザの利便性の向上が可能となる。しかし、特許文献１では、ユーザが視聴しているテレビ番組（例えば野球等のスポーツの試合）に出演している人物（例えば試合中の選手）の感情等の状況を示唆する画像（例えば後述するオーグメンテーション画像）を画面上に装飾的に重畳表示することは考慮されていない。このため、上述したテレビ番組に出演している人物の心情を、画面を通して視聴者であるユーザが概念的に把握する術を提供する点において、従来技術に比べて改善の余地があった。

本開示は、上述した従来の事情に鑑みて案出され、スポーツの試合等のテレビ番組に出演している人物の心情を、画面を通して視聴者に概念的に把握可能とし、視聴者の利便性の向上に資するオーグメンテーション画像表示方法およびオーグメンテーション画像表示システムを提供することを目的とする。

本開示は、ユーザ操作に応じて、テレビ番組に出演している少なくとも１人の人物の化身を示す画像データを購入処理するステップと、前記テレビ番組の映像データに基づいて、前記人物の感情を推定するステップと、前記画像データを用いて、前記人物の感情に応じたオーグメンテーション画像データを生成し、生成された前記オーグメンテーション画像データを前記テレビ番組の前記人物に関連付けて表示するステップと、を有する、オーグメンテーション画像表示方法を提供する。

また、本開示は、テレビ番組を放送する放送局装置と、ユーザにより操作されかつ前記テレビ番組を受信して表示する受信機とを含むオーグメンテーション画像表示システムであって、前記受信機は、ユーザ操作に応じて、前記テレビ番組に出演している少なくとも１人の人物の化身を示す画像データを購入処理し、前記テレビ番組の映像データに基づいて、前記人物の感情を推定し、前記画像データを用いて、前記人物の感情に応じたオーグメンテーション画像データを生成し、生成された前記オーグメンテーション画像データを前記テレビ番組の前記人物に関連付けて表示する、オーグメンテーション画像表示システムを提供する。

また、本開示は、テレビ番組を放送する放送局装置と、ユーザにより操作されかつ前記テレビ番組を受信して表示する受信機とを含むオーグメンテーション画像表示システムであって、前記受信機は、ユーザ操作に応じて、前記テレビ番組に出演している少なくとも１人の人物の化身を示す画像データの購入処理の要求を前記放送局装置に送り、前記放送局装置は、前記購入処理の要求に応じて、前記人物の化身を示す画像データを購入処理し、前記テレビ番組の映像データに基づいて、前記人物の感情を推定し、前記画像データを用いて、前記人物の感情に応じたオーグメンテーション画像データを生成し、生成された前記オーグメンテーション画像データを前記テレビ番組の前記人物に関連付けたテレビ番組データを生成して前記受信機に配信する、オーグメンテーション画像表示システムを提供する。

本開示によれば、スポーツの試合等のテレビ番組に出演している人物の心情を、画面を通して視聴者に概念的に把握可能とし、視聴者の利便性の向上に資することができる。

実施の形態１に係るオーグメンテーション画像表示システムのシステム構成例を示す図 携帯端末を介して、オーグメンテーション画像が重畳表示されたテレビ番組を視聴する様子の一例を示す図 テレビジョン受像機を介して、オーグメンテーション画像が重畳表示されたテレビ番組を視聴する様子の一例を示す図 放送局装置のハードウェア構成例を示すブロック図 携帯端末のハードウェア構成例を示すブロック図 テレビジョン受像機のハードウェア構成例を示すブロック図 ユーザ購入データの一例をテーブル形式で示す図 オーグメンテーション画像の表示例を時系列に示す図 オーグメンテーション画像の表示例を示す図 一連のオーグメンテーション画像処理の動作手順例を示すフローチャート

（本開示に係る実施の形態に至る経緯）
スポーツ番組のストリーム放送サービスでは、仮想的なオーバーレイ技術の発達が求められ続けている。このようなオーバーレイ技術は、試合の様々な統計データの情報を視聴者に対して提供したり、エンターテインメント性あるいは広告価値を向上するために使用したりする時に直観的かつ魅力的な方法となり得る。オーバーレイ技術として、実際の要素に対して仮想的な要素が取り入れられるように、放送内容に仮想的な価値を提供するために拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術が使用されることがある。このようなＡＲ技術をスポーツ番組に取り入れることで、仮想現実（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）技術やＡＲ技術がスポーツ番組の放送時に益々使用される可能性が高まる。

上述したＶＲ技術やＡＲ技術を用いたシステムにおいて、人物の身体の部分を追従（トラッキング）することは根本的なタスクとなっており、３次元空間において手足や踝を高精度に決定するための解決策が必要とされている。同様な問題がコンピュータビジョンにおいても取り組まれており、個人の位置の追従から正確な姿勢の評価に至るまで人体の身体を追従するアプリケーションが生の映像処理技術によって可能となってきている。要求仕様にもよるが、人体の身体の部分を追従するためには、多くの解決するべき課題が残っている。個人の中心部分の追従は、撮像映像を用いた動き追従に基づいて実現可能である。このような映像処理は、人体の顔および頭を含む全体を追従したり置き換えたりする。最近、複数の映像フレームを用いて人体の正確な姿勢の評価が可能になってきている。

また、例えば純粋に化粧の変化を提供する等のオンラインゲームは小額取引の大きな魅力的要素となっておきており、２０１８年の４月単独で３００万ドルを超える市場となっている。オンラインゲームのプレーヤは、ゲームでの経験を磨き、新たな服装、新たな感情（例えばアニメーションに反映される幾つかの感情）、新たなペット、仮想的な自分の化身用の新たなダンスを購入する。このような小額取引の成功となるキーは、小額取引がゲームプレイに全く影響を与えないことである。これにより、例えばプレーヤの経験が向上するので、プレーヤがゲームにおいて視覚的な変化をもたらすための小さな購入を進んで行えるようになる。

以上を踏まえると、以下の実施の形態に至る従来技術の課題として、次のような点が挙げられる。第１に、スポーツ番組の視聴者は、プレーヤ（選手）が感じている感情を視覚的に見る手段を有しないので、そのスポーツの試合においてプレーヤの次の行動を把握したり、どのような感情でいるかを把握したりすることはできなかった。第２に、ゲームプレイに影響しない仮想的なマーケットプレイスは、とても価値のあるものとなることは証明されているが、スポーツ番組の放送には適用された事例はない。第３に、スポーツ番組の放送中に広告や製品紹介の機会があると、視聴の邪魔になったり失敗になったりすることがあった。これは、放送ストリームのうち広告や製品紹介の内容とは異なる内容（例えばプレーヤの動き）に視聴者がフォーカスするためであると考えられる。

そこで、以下の実施の形態では、スポーツの試合等のテレビ番組に出演している人物の心情を、画面を通して視聴者に概念的に把握可能とし、視聴者の利便性の向上に資するオーグメンテーション画像表示方法およびオーグメンテーション画像表示システムの例を説明する。

（実施の形態）
以下、適宜図面を参照しながら、本開示に係るオーグメンテーション画像表示方法およびオーグメンテーション画像表示システムを具体的に開示した実施の形態を詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

また、実施の形態でいう「部」または「装置」とは単にハードウェアによって実現される物理的構成に限定されず、その構成が有する機能をプログラム等のソフトウェアにより実現されるものも含む。また、１つの構成が有する機能が２つ以上の物理的構成により実現されても、または２つ以上の構成の機能が例えば１つの物理的構成によって実現されていても構わない。

実施の形態に係る第１のユースケースとして、ユーザの一例としての父親Ｐ１，母親Ｐ２，娘Ｐ３からなる３人家族が自宅においてテレビ番組（例えばスポーツの試合の中継番組）を視聴するシーンを想定する。父親Ｐ１および母親Ｐ２は、そのスポーツ（例えば野球）の試合に大変に関心を示しているが、娘Ｐ３はそのスポーツ（例えば野球）の試合に全く関心がない（図２，図３参照）。なお、以下の説明ではスポーツとして野球を例示するが、野球に限らず、サッカー、ラグビー、ゴルフ、バスケットボール等の他の競技のいずれであってもよい。

＜オーグメンテーション画像表示システムの構成＞
図１は、実施の形態１に係るオーグメンテーション画像表示システム１のシステム構成例を示す図である。オーグメンテーション画像表示システム１は、放送局装置１０と、携帯端末２０あるいはテレビジョン受像機３０とを少なくとも含む構成である。ここで、携帯端末２０あるいはテレビジョン受像機３０とは、携帯端末２０およびテレビジョン受像機３０のうち少なくとも一方を含む意味であり、両者が含まれてもよい意味である。放送局装置１０と、携帯端末２０あるいはテレビジョン受像機３０とは、ネットワークＮＷ１を介して互いに通信可能に接続される。ネットワークＮＷ１は、少なくとも有線あるいは無線の回線により構成され、または有線および無線のそれぞれの回線を組み合わせた回線でもよい。

放送局装置１０は、放送局内に設置され、例えば野球場内の所定箇所に設置された放送撮影用の高性能なカメラＣＭ１により撮像された映像データを、ネットワークＮＷ２を介して受信する。ネットワークＮＷ２は、少なくとも光ファイバ回線等の有線回線または無線回線を含む。無線回線は、例えばローカルエリアネットワーク（ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ワイドエリアネットワーク（ＷＡＮ：Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）である。放送局装置１０は、カメラＣＭ１からの映像データを用いて、野球場で行われている野球の試合の放送ストリームを生成し、ネットワークＮＷ１を介して携帯端末２０およびテレビジョン受像機３０のそれぞれに配信する。放送ストリームは、例えばワンセグ（後述参照）あるいはフルセグ（後述参照）に対応可能な地上波デジタルテレビジョン放送に適合する放送内容のストリーム（つまり野球等のスポーツの試合の内容を示す映像データの流れ）を示し、以下では「プレーヤ映像データ」と称する場合がある。放送局装置１０の内部構成の詳細については図４を参照して後述する。

受信機の一例としての携帯端末２０は、ユーザ（例えば上述した３人家族）の宅内で移動可能に配置され（図２参照）、放送局装置１０との間で各種の信号（例えばユーザデータ、制御信号）の送受信が可能である。携帯端末２０は、例えばスマートフォンあるいはタブレット端末である。携帯端末２０は、例えばいわゆるワンセグ（正式にはワンセグメント）あるいはフルセグ（正式にはフルセグメント）に対応可能な放送ストリーム（プレーヤ映像データ）を、ネットワークＮＷ１を介して受信して表示する。図２は、携帯端末２０を介して、オーグメンテーション画像が重畳表示されたテレビ番組を視聴する様子の一例を示す図である。従って、ユーザ（具体的には父親Ｐ１，母親Ｐ２，娘Ｐ３）は、放送局装置１０から配信された放送ストリームを、携帯端末２０を介して視聴できる。また、携帯端末２０は、ユーザの操作を受付可能であり、ユーザ操作により、野球の試合に出場（例えば出演の一形態）しているプレーヤ（例えばプロ野球の選手）の化身を示すスキンパック画像（後述参照）をオンラインショッピングにより購入処理を行える。なお、図１では図示を簡略化しているが、ユーザ宅内に無線ＬＡＮ等に対応したアクセスポイント（図示略）が設置され、インターネット回線等のネットワークＮＷ１を介して配信された放送ストリームは、上述したアクセスポイントを介して携帯端末２０に送られてよい。携帯端末２０の内部構成の詳細については図５を参照して後述する。

受信機の一例としてのテレビジョン受像機３０は、ユーザ（例えば上述した３人家族）の宅内のラック等の所定箇所に固定配置され（図３参照）、地上波デジタルテレビジョン放送に適合する放送ストリーム（プレーヤ映像データ）を、ネットワークＮＷ１を介して受信して表示する。図３は、テレビジョン受像機３０を介して、オーグメンテーション画像が重畳表示されたテレビ番組を視聴する様子の一例を示す図である。従って、ユーザ（具体的には父親Ｐ１，母親Ｐ２，娘Ｐ３）は、放送局装置１０から配信された放送ストリームを、テレビジョン受像機３０を介して視聴できる。また、テレビジョン受像機３０は、ユーザのリモコン（正式にはリモートコントローラ）を介した操作を受付可能であり、ユーザ操作により、野球の試合に出場（例えば出演の一形態）しているプレーヤ（例えばプロ野球の選手）の化身を示すスキンパック画像（後述参照）をオンラインショッピングにより購入処理を行える。また、テレビジョン受像機３０は、ユーザ宅内に設置されたカメラＣＭ２との間で有線ケーブルＬＮＣにより通信可能に接続されてもよいし、カメラＣＭ２は省略されても構わない。テレビジョン受像機３０の内部構成の詳細については図５を参照して後述する。

なお、オーグメンテーション画像表示システム１は、１台以上のカメラＣＭ１…と、カメラＣＭ２とを更に含む構成としてもよい。

カメラＣＭ１は、野球場内の所定箇所（例えば野球の試合に出場している各種のプレーヤ、監督、マスコットキャラクタの撮影に適した既定の場所）に配置され、放送撮影用に野球の試合を撮影しており、撮影により得られた映像データ（プレーヤ映像データ）を、ネットワークＮＷ２を介して放送局装置１０に送る。なお、図１ではカメラＣＭ１は１台のみ図示しているが、複数台のカメラＣＭ１が設けられてもよい。

カメラＣＭ２は、ユーザ宅内の所定箇所（例えばテレビジョン受像機３０が設置されているリビングルーム）に配置され、テレビジョン受像機３０に映し出されている放送ストリーム（例えばプレーヤ映像データ）を撮像する。カメラＣＭ２は、撮像されたプレーヤ映像データを、有線ケーブルＬＮＣを介してテレビジョン受像機３０に送る。

図４は、放送局装置１０のハードウェア構成例を示すブロック図である。放送局装置１０は、メモリ１１と、記録装置１２と、プロセッサ１３と、通信部１４と、オーグメンテーション画像処理部１５とを含む構成である。メモリ１１と、記録装置１２と、プロセッサ１３と、通信部１４と、オーグメンテーション画像処理部１５とは互いにデータあるいは情報の入出力が可能に内部バスにより接続されている。なお、オーグメンテーション画像処理部１５は、携帯端末２０にオーグメンテーション画像処理部２５が設けられている場合には、放送局装置１０から省略されてもよい。同様に、オーグメンテーション画像処理部１５は、テレビジョン受像機３０にオーグメンテーション画像処理部３５が設けられている場合には、放送局装置１０から省略されてもよい。

メモリ１１は、一次記憶装置（例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ））を用いて構成され、放送局装置１０の動作の実行に必要なプログラム、さらには、動作中に生成されたデータあるいは情報を一時的に保存する。ＲＡＭは、例えばプロセッサ１３の動作時に使用されるワークメモリである。ＲＯＭは、例えばプロセッサ１３を制御するためのプログラムを予め記憶する。

記録装置１２は、二次記憶装置（例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）あるいはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ））、もしくは三次記憶装置（例えば光ディスク、ＳＤカード）を用いて構成される。記録装置１２は、カメラＣＭ１…から送られたプレーヤ映像データを保存してよい。また、記録装置１２は、ユーザ（例えば野球の試合に関心を示さない娘Ｐ３）のオンラインショッピングサイト（図示略）への操作に基づくスキンパック画像の購入処理に関する履歴を示すユーザ購入データ（図７参照）を保存してよい。また、記録装置１２は、人物（例えば野球の試合に出場しているプレーヤ）の一定期間における心拍数の変動の特性とその人物の感情との対応関係を示す感情特性データ（図示略）を保存してよい。

ここで、ユーザ購入データの詳細について、図７を参照して説明する。

図７は、ユーザ購入データＰＲＣＳ１の一例をテーブル形式で示す図である。ユーザ購入データＰＲＣＳ１は、例えばユーザＩＤと、スキンパックＩＤと、購入日と、購入金額と、備考との各項目とそれぞれの項目に対する実体情報とが対応付けられた構成である。図７では、ユーザ購入データＰＲＣＳ１が、分かり易くテーブル形式で示されている。例えばユーザＩＤ「００１」のユーザは、「￥３００」の価値を有するスキンパックＩＤ「１０１０」のスキンパック画像を「２０１９年７月３日」に購入したことの履歴が記録されている。同様に、ユーザＩＤ「００２」のユーザは、「￥５００」の価値を有するスキンパックＩＤ「２１２１」のスキンパック画像を「２０１９年６月３０日」に購入したことの履歴が記録されている。

このように、記録装置１２は、放送ストリームの視聴者であるユーザごとに、そのユーザがどのようなスキンパック画像を購入したかを示す履歴情報を保持できる。なお、後述するように、このユーザ購入データは、携帯端末２０あるいはテレビジョン受像機３０においても保存されてよい。この場合には、携帯端末２０あるいはテレビジョン受像機３０のユーザに限って購入処理されたスキンパック画像に関するユーザ購入データのみが保存されるので、ユーザ購入データの占めるデータサイズは、記録装置１２において全てのユーザのユーザ購入データが保存される場合に比べて低減可能である。

プロセッサ１３は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）もしくはＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を用いて構成される。プロセッサ１３は、放送局装置１０の制御部として機能し、放送局装置１０の各部の動作を全体的に統括するための制御処理、放送局装置１０の各部との間のデータの入出力処理、データの演算処理およびデータの記憶処理を行う。プロセッサ１３は、メモリ１１に記憶されたプログラムに従って動作する。

プロセッサ１３は、１台以上のカメラＣＭ１…から受信して取得したプレーヤ映像データを用いて、放送ストリームを構成する番組映像ＰＥＳ（パケタイズドエレメンタリーストリーム。以下同様。）および番組音声ＰＥＳを生成し、番組映像ＰＥＳおよび番組音声ＰＥＳをパケットしてエンコード、多重化および変調することで、放送ストリームを生成する。なお、プロセッサ１３が１台以上のカメラＣＭ１…から受信して取得したプレーヤ映像データを用いて放送ストリームを生成する処理の詳細については、例えば特開２０１０−２１７９０号に開示されているので、詳細な説明は省略する。

また、プロセッサ１３は、ユーザの操作に応じて、オーグメンテーションデータベース１５５に登録されているオーグメンテーション元画像（言い換えると、スキンパック画像）の購入処理を行い、購入処理の履歴を示すユーザ購入データ（後述参照）を記録装置１２に保存する。プロセッサ１３あるいはオーグメンテーション画像処理部１５は、購入処理の決済処理の完了を判定すると、オーグメンテーション元画像（スキンパック画像）を放送ストリームの所定領域（例えば左端部あるいは右端部）に表示してもよい。これにより、ユーザ（例えば娘Ｐ３）は、携帯端末２０あるいはテレビジョン受像機３０において野球の試合を視聴した際、野球の試合に関心を示さなくても、野球のプレーヤに適用するように自分の好きなキャラクタ画像データをスキンパック画像として使用できる。言い換えると、携帯端末２０あるいはテレビジョン受像機３０は、ユーザにより購入処理されたスキンパック画像をプレーヤの感情あるいは動きに照らして重畳することで、娘Ｐ３の野球の試合への関心を徐々に高めることができる。

通信部１４は、ネットワークＮＷ２を介して１台以上のカメラＣＭ１…との間でデータあるいは情報の送受信を可能であり、かつ、ネットワークＮＷ１を介して携帯端末２０あるいはテレビジョン受像機３０との間でデータあるいは情報の送受信を可能な通信回路により構成される。通信部１４による通信方式としては、例えばネットワークＮＷ１，ＮＷ２のそれぞれに対応してＷＡＮ、ＬＡＮ、電力線通信等の有線での通信方式、ＷｉＦｉ（登録商標）、携帯電話用のモバイル通信等の無線での通信方式等が例示される。

オーグメンテーション画像処理部１５は、プロセッサ１３と同様に、例えばＣＰＵ、ＤＳＰもしくはＦＰＧＡを用いて構成される。オーグメンテーション画像処理部１５は、感情決定部１５１と、拡張処理部１５２と、追従処理部１５３と、修正処理部１５４と、オーグメンテーションデータベース１５５とを機能的構成として有し、各部により実行される処理を総称したオーグメンテーション画像処理を実行する。なお、オーグメンテーション画像処理部１５のうち感情決定部１５１、拡張処理部１５２、追従処理部１５３および修正処理部１５４の少なくとも１つはプロセッサ１３により実行されてよいし、オーグメンテーション画像処理部１５のうちオーグメンテーションデータベース１５５は記録装置１２内に構成されてもよい。

感情決定部１５１は、記録装置１２に保存されたプレーヤ映像データ（例えば画像データの一形態）を用いて、そのプレーヤ映像データを構成するそれぞれの画像上に映るプレーヤの心拍数およびその心拍数の一定期間（例えば数秒程度）における変動を解析する。具体的には、感情決定部１５１は、プレーヤ映像データに映るプレーヤの顔を検出し、顔領域（肌色領域）の各画素の特定の成分（例えばＧ（緑色）成分）の画素値の時系列データを生成する。感情決定部１５１は、時系列データに対して所定のフィルタリング処理を施し、高周波ノイズ成分および低周波の揺れ成分を除去した脈波を検出して心拍数（脈拍数）を導出する。なお、プレーヤ映像データを用いてそのプレーヤの心拍数の解析処理の詳細については、例えば特許第６３２３８０９号公報あるいは特許第６３５８５０６号公報に開示されているので、詳細な説明は省略する。

また、感情決定部１５１は、記録装置１２に保存されている感情特性データと一定期間における心拍数の変動の解析結果とに基づいて、心拍数の変動の特性に対応する感情を、そのプレーヤの心情（感情）として決定して出力する。

拡張処理部１５２は、感情決定部１５１により決定されたプレーヤの感情に対応するオーグメンテーション元画像をオーグメンテーション画像としてオーグメンテーションデータベース１５５から選択する。拡張処理部１５２は、感情決定部１５１により決定されたプレーヤの感情に対応するオーグメンテーション画像を、オーグメンテーションデータベース１５５から選択したオーグメンテーション元画像を用いて生成してもよい。拡張処理部１５２は、選択あるいは生成されたオーグメンテーション画像を放送ストリーム上のプレーヤに適用するように重畳する。この重畳の具体的手段としては、プレーヤの真上に重ね合わせる（オーバーレイ）手段でもよいし（図８参照）、プレーヤの周囲に表示する手段でもよい（図９参照）。オーグメンテーション画像の詳細は、図８および図９を参照して後述する。

追従処理部１５３は、記録装置１２に保存されているプレーヤ映像データを解析し、プレーヤの移動の有無を判定する。追従処理部１５３は、プレーヤの移動があると判定した場合には、プレーヤ映像データの解析により、その移動後のプレーヤの姿勢（例えばプレーヤの手足、体格等の全身の形状）、プレーヤのプレーヤ映像データにおける位置（座標および領域）をそれぞれ特定する。なお、追従処理部１５３は、プレーヤ映像データ以外に、他のセンサ等で得られたセンシング結果を用いて、移動後のプレーヤの姿勢（例えばプレーヤの手足、体格等の全身の形状）、プレーヤのプレーヤ映像データにおける位置（座標および領域）をそれぞれ特定してもよい。

修正処理部１５４は、追従処理部１５３によりプレーヤの移動があると判定された場合に、移動後のプレーヤの姿勢（例えばプレーヤの手足、体格等の全身の形状）、プレーヤのプレーヤ映像データにおける位置（座標および領域）のそれぞれの特定結果を用いて、現在使用されているオーグメンテーション画像の特性（例えば形状、色、大きさ、あるいはこれらの組み合わせ）を変更（修正）する。なお、修正処理部１５４は、オーグメンテーション元画像に修正許可条件が割り当てられている場合には、その修正許可条件で示される範囲内でオーグメンテーション画像を修正してよい。言い換えると、修正処理部１５４は、オーグメンテーション画像によっては、プレーヤの移動があった場合に一部の制約を前提としてオーグメンテーション画像を修正する。なお、修正許可条件は、例えば感情が高揚と判定された場合に色（例えば青）を段階的に明るい色（例えば青→緑→黄→橙→赤）に修正してもよいが、感情が挫折と判定された場合に色を暗い色にしてもよいが、最低限の視認性の確保のために黒い色の使用は不許可である等の条件である。なお、修正許可条件は、上述した内容に限定されないことは言うまでもない。

オーグメンテーションデータベース１５５は、放送ストリーム上のプレーヤに適用するように重畳されるオーグメンテーション画像の元画像であるオーグメンテーション元画像のデータを保持する。なお、添付図面においては、オーグメンテーションデータベースを「Ａｕｇ ＤＢ」と略記している。オーグメンテーション画像はオーグメンテーション元画像と同一でもよい。オーグメンテーション元画像は、例えば３次元形状を有する服装、帽子等のようにプレーヤの真上に直接にオーバーレイされるオブジェクト（物体）であり、プレーヤの感情を示す。また、オーグメンテーション元画像は、２次元形状を有する画像あるいはインジケータでもよく、その画像やインジケータはプレーヤの感情を示す。また、オーグメンテーション元画像は、プレーヤの仮想的なフォロア（例えばファン、サポータ、真似をする人）の画像であってもよく、その画像はプレーヤの感情を示す。

オーグメンテーション元画像あるいはオーグメンテーション画像は、プレーヤの感情に合わせて修正処理部１５４による修正が可能である。修正の可能性は、オーグメンテーション元画像に予め割り当てられた修正許可条件に従って様々に変化してよい。例えば、服装の色、サイズ、形が修正されてよい。但し、オーグメンテーション画像は、プレーヤの感情が変化したことが検出（判定）された時に初めて変更（修正）される。なお、オーグメンテーション元画像は、予めオーグメンテーションデータベース１５５に登録されている画像データに限定されず、オーグメンテーション画像表示システム１のシステム管理者あるいは第三者（例えばスポンサー）により提供された画像データが適宜、追加あるいは削除されても構わない。例えば放送局装置１０が設置されているテレビ番組の放送局と映画製作会社等のスポンサー企業とが新作映画のスポンサー契約を締結した場合、この新作映画に登場する１つ以上のキャラクタ画像データがオーグメンテーション元画像として追加的に登録されて構わない。

例えば、オーグメンテーション元画像が青色の山高帽である場合、感情決定部１５１によりプレーヤの感情が興奮状態であると判定されるに従って、修正処理部１５４により徐々にその山高帽が大きくなるように修正される。

図５は、携帯端末２０のハードウェア構成例を示すブロック図である。携帯端末２０は、メモリ２１と、記録装置２２と、プロセッサ２３と、通信部２４と、オーグメンテーション画像処理部２５と、入力表示部２６とを含む構成である。メモリ２１と、記録装置２２と、プロセッサ２３と、通信部２４と、オーグメンテーション画像処理部２５とは互いにデータあるいは情報の入出力が可能に内部バスにより接続されている。なお、オーグメンテーション画像処理部２５は、放送局装置１０にオーグメンテーション画像処理部１５が設けられている場合には、携帯端末２０から省略されてもよい。

メモリ２１は、一次記憶装置（例えばＲＡＭ、ＲＯＭ）を用いて構成され、携帯端末２０の動作の実行に必要なプログラム、さらには、動作中に生成されたデータあるいは情報を一時的に保存する。ＲＡＭは、例えばプロセッサ２３の動作時に使用されるワークメモリである。ＲＯＭは、例えばプロセッサ２３を制御するためのプログラムを予め記憶する。

記録装置２２は、二次記憶装置（例えばＨＤＤあるいはＳＳＤ）、もしくは三次記憶装置（例えば光ディスク、ＳＤカード）を用いて構成される。記録装置２２は、放送局装置１０から配信された放送ストリーム（プレーヤ映像データ）を保存してよい。また、記録装置２２は、ユーザ（例えば野球の試合に関心を示さない娘Ｐ３）のオンラインショッピングサイト（図示略）への操作に基づくスキンパック画像の購入処理に関する履歴を示すユーザ購入データ（図７参照）を保存してよい。また、記録装置２２は、人物（例えば野球の試合に出場しているプレーヤ）の一定期間における心拍数の変動の特性とその人物の感情との対応関係を示す感情特性データ（図示略）を保存してよい。

プロセッサ２３は、例えばＣＰＵ、ＤＳＰもしくはＦＰＧＡを用いて構成される。プロセッサ２３は、携帯端末２０の制御部として機能し、携帯端末２０の各部の動作を全体的に統括するための制御処理、携帯端末２０の各部との間のデータの入出力処理、データの演算処理およびデータの記憶処理を行う。プロセッサ２３は、メモリ２１に記憶されたプログラムに従って動作する。

また、プロセッサ２３は、ユーザの操作に応じて、オーグメンテーションデータベース２５５に登録されているオーグメンテーション元画像（言い換えると、スキンパック画像）の購入処理を行い、購入処理の履歴を示すユーザ購入データ（図７参照）を記録装置２２に保存する。

通信部２４は、ネットワークＮＷ１を介して放送局装置１０との間でデータあるいは情報の送受信を可能な通信回路により構成される。通信部２４による通信方式としては、例えばネットワークＮＷ１に対応してＷＡＮ、ＬＡＮ、電力線通信等の有線での通信方式、ＷｉＦｉ（登録商標）、携帯電話用のモバイル通信等の無線での通信方式等が例示される。

オーグメンテーション画像処理部２５は、プロセッサ２３と同様に、例えばＣＰＵ、ＤＳＰもしくはＦＰＧＡを用いて構成される。オーグメンテーション画像処理部２５は、感情決定部２５１と、拡張処理部２５２と、追従処理部２５３と、修正処理部２５４と、オーグメンテーションデータベース２５５とを機能的構成として有し、各部により実行される処理を総称したオーグメンテーション画像処理を実行する。なお、オーグメンテーション画像処理部２５のうち感情決定部２５１、拡張処理部２５２、追従処理部２５３および修正処理部２５４の少なくとも１つはプロセッサ２３により実行されてよいし、オーグメンテーション画像処理部２５のうちオーグメンテーションデータベース２５５は記録装置２２内に構成されてもよい。

感情決定部２５１は、記録装置２２に保存されたプレーヤ映像データ（例えば画像データの一形態）を用いて、そのプレーヤ映像データを構成するそれぞれの画像上に映るプレーヤの心拍数およびその心拍数の一定期間（例えば数秒程度）における変動を解析する。具体的には、感情決定部２５１は、プレーヤ映像データに映るプレーヤの顔を検出し、顔領域（肌色領域）の各画素の特定の成分（例えばＧ（緑色）成分）の画素値の時系列データを生成する。感情決定部２５１は、時系列データに対して所定のフィルタリング処理を施し、高周波ノイズ成分および低周波の揺れ成分を除去した脈波を検出して心拍数（脈拍数）を導出する。

また、感情決定部２５１は、記録装置２２に保存されている感情特性データと一定期間における心拍数の変動の解析結果とに基づいて、心拍数の変動の特性に対応する感情を、そのプレーヤの心情（感情）として決定して出力する。

拡張処理部２５２は、感情決定部２５１により決定されたプレーヤの感情に対応するオーグメンテーション元画像をオーグメンテーション画像としてオーグメンテーションデータベース２５５から選択する。拡張処理部２５２は、感情決定部２５１により決定されたプレーヤの感情に対応するオーグメンテーション画像を、オーグメンテーションデータベース２５５から選択したオーグメンテーション元画像を用いて生成してもよい。拡張処理部２５２は、選択あるいは生成されたオーグメンテーション画像を放送ストリーム上のプレーヤに適用するように重畳する（上述参照）。

追従処理部２５３は、記録装置２２に保存されているプレーヤ映像データを解析し、プレーヤの移動の有無を判定する。追従処理部２５３は、プレーヤの移動があると判定した場合には、プレーヤ映像データの解析により、その移動後のプレーヤの姿勢（例えばプレーヤの手足、体格等の全身の形状）、プレーヤのプレーヤ映像データにおける位置（座標および領域）をそれぞれ特定する。なお、追従処理部２５３は、プレーヤ映像データ以外に、他のセンサ等で得られたセンシング結果を用いて、移動後のプレーヤの姿勢（例えばプレーヤの手足、体格等の全身の形状）、プレーヤのプレーヤ映像データにおける位置（座標および領域）をそれぞれ特定してもよい。

修正処理部２５４は、追従処理部２５３によりプレーヤの移動があると判定された場合に、移動後のプレーヤの姿勢（例えばプレーヤの手足、体格等の全身の形状）、プレーヤのプレーヤ映像データにおける位置（座標および領域）のそれぞれの特定結果を用いて、現在使用されているオーグメンテーション画像の特性（例えば形状、色、大きさ、あるいはこれらの組み合わせ）を変更（修正）する。なお、修正処理部２５４は、オーグメンテーション元画像に修正許可条件が割り当てられている場合には、その修正許可条件で示される範囲内でオーグメンテーション画像を修正してよい。言い換えると、修正処理部２５４は、オーグメンテーション画像によっては、プレーヤの移動があった場合に一部の制約を前提としてオーグメンテーション画像を修正する。

オーグメンテーションデータベース２５５は、放送ストリーム上のプレーヤに適用するように重畳されるオーグメンテーション画像の元画像であるオーグメンテーション元画像のデータを保持する。

入力表示部２６は、例えばタッチパネルを用いて構成される。入力表示部２６は、ユーザの操作を受け付け可能であり、かつプロセッサ２３あるいはオーグメンテーション画像処理部２５により生成された表示用のユーザデータ（例えばプレーヤ映像データ、あるいはオーグメンテーション画像が重畳されたプレーヤ映像データ）を表示する。例えば、入力表示部２６は、オーグメンテーション元画像（スキンパック画像）の購入処理時にユーザの操作を受け付けてプロセッサ２３に出力する。プロセッサ２３は、購入処理の決済処理の完了を判定すると、オーグメンテーション元画像（スキンパック画像）を入力表示部２６の所定領域に表示してもよい。これにより、ユーザ（例えば娘Ｐ３）は、野球の試合に関心を示さなくても、野球のプレーヤに適用するように自分の好きなキャラクタ画像データをスキンパック画像として使用できる。言い換えると、携帯端末２０は、ユーザにより購入処理されたスキンパック画像をプレーヤの感情あるいは動きに照らして重畳することで、娘Ｐ３の野球の試合への関心を徐々に高めることができる。

図６は、テレビジョン受像機３０のハードウェア構成例を示すブロック図である。テレビジョン受像機３０は、メモリ３１と、記録装置３２と、プロセッサ３３と、通信部３４と、オーグメンテーション画像処理部３５と、表示パネル３６とを含む構成である。メモリ３１と、記録装置３２と、プロセッサ３３と、通信部３４と、オーグメンテーション画像処理部３５と、表示パネル３６とは互いにデータあるいは情報の入出力が可能に内部バスにより接続されている。なお、オーグメンテーション画像処理部３５は、放送局装置１０にオーグメンテーション画像処理部１５が設けられている場合には、テレビジョン受像機３０から省略されてもよい。

メモリ３１は、一次記憶装置（例えばＲＡＭ、ＲＯＭ）を用いて構成され、テレビジョン受像機３０の動作の実行に必要なプログラム、さらには、動作中に生成されたデータあるいは情報を一時的に保存する。ＲＡＭは、例えばプロセッサ３３の動作時に使用されるワークメモリである。ＲＯＭは、例えばプロセッサ３３を制御するためのプログラムを予め記憶する。

記録装置３２は、二次記憶装置（例えばＨＤＤあるいはＳＳＤ）、もしくは三次記憶装置（例えば光ディスク、ＳＤカード）を用いて構成される。記録装置３２は、放送局装置１０から配信された放送ストリーム（プレーヤ映像データ）、更に、カメラＣＭ２から送られたプレーヤ映像データの撮像映像データを保存してよい。また、記録装置３２は、ユーザ（例えば野球の試合に関心を示さない娘Ｐ３）のオンラインショッピングサイト（図示略）へのリモコン（上述参照）を介した操作に基づくスキンパック画像の購入処理に関する履歴を示すユーザ購入データ（図７参照）を保存してよい。また、記録装置３２は、人物（例えば野球の試合に出場しているプレーヤ）の一定期間における心拍数の変動の特性とその人物の感情との対応関係を示す感情特性データ（図示略）を保存してよい。

プロセッサ３３は、例えばＣＰＵ、ＤＳＰもしくはＦＰＧＡを用いて構成される。プロセッサ３３は、テレビジョン受像機３０の制御部として機能し、テレビジョン受像機３０の各部の動作を全体的に統括するための制御処理、テレビジョン受像機３０の各部との間のデータの入出力処理、データの演算処理およびデータの記憶処理を行う。プロセッサ３３は、メモリ３１に記憶されたプログラムに従って動作する。

プロセッサ３３は、放送局装置１０から受信して取得した放送ストリームを用いて、放送ストリームの復調、デコード、抽出、選択、合成することで、視聴用のコマーシャル映像を含む番組映像データおよびコマーシャル音声を含む番組音声データからなるプレーヤ映像データを、入力表示部２６およびスピーカ（図示略）を介して出力する。なお、プロセッサ３３が放送局装置１０から受信して取得した放送ストリームを用いて視聴用（表示用）のプレーヤ映像データを生成する処理の詳細については、例えば特開２０１０−２１７９０号に開示されているので、詳細な説明は省略する。

また、プロセッサ３３は、ユーザの操作に応じて、オーグメンテーションデータベース３５５に登録されているオーグメンテーション元画像（言い換えると、スキンパック画像）の購入処理を行い、購入処理の履歴を示すユーザ購入データ（図７参照）を記録装置３２に保存する。

通信部３４は、ネットワークＮＷ１を介して放送局装置１０との間でデータあるいは情報の送受信を可能な通信回路により構成される。通信部３４による通信方式としては、例えばネットワークＮＷ１に対応してＷＡＮ、ＬＡＮ、電力線通信等の有線での通信方式、ＷｉＦｉ（登録商標）、携帯電話用のモバイル通信等の無線での通信方式等が例示される。また、通信部３４は、オーグメンテーション元画像（スキンパック画像）の購入処理時にユーザのリモコン（上述参照）を用いた操作を受信して受け付けてプロセッサ３３に出力する。プロセッサ３３は、購入処理の決済処理の完了を判定すると、オーグメンテーション元画像（スキンパック画像）を表示パネル３６の所定領域に表示してもよい。これにより、ユーザ（例えば娘Ｐ３）は、野球の試合に関心を示さなくても、野球のプレーヤに適用するように自分の好きなキャラクタ画像データをスキンパック画像として使用できる。言い換えると、テレビジョン受像機３０は、ユーザにより購入処理されたスキンパック画像をプレーヤの感情あるいは動きに照らして重畳することで、娘Ｐ３の野球の試合への関心を徐々に高めることができる。

オーグメンテーション画像処理部３５は、プロセッサ３３と同様に、例えばＣＰＵ、ＤＳＰもしくはＦＰＧＡを用いて構成される。オーグメンテーション画像処理部３５は、感情決定部３５１と、拡張処理部３５２と、追従処理部３５３と、修正処理部３５４と、オーグメンテーションデータベース３５５とを機能的構成として有し、各部により実行される処理を総称したオーグメンテーション画像処理を実行する。なお、オーグメンテーション画像処理部３５のうち感情決定部３５１、拡張処理部３５２、追従処理部３５３および修正処理部３５４の少なくとも１つはプロセッサ３３により実行されてよいし、オーグメンテーション画像処理部３５のうちオーグメンテーションデータベース３５５は記録装置３２内に構成されてもよい。

感情決定部３５１は、記録装置３２に保存されたプレーヤ映像データ（例えば画像データの一形態）あるいはその撮像映像データを用いて、そのプレーヤ映像データを構成するそれぞれの画像上に映るプレーヤの心拍数およびその心拍数の一定期間（例えば数秒程度）における変動を解析する。具体的には、感情決定部３５１は、プレーヤ映像データに映るプレーヤの顔を検出し、顔領域（肌色領域）の各画素の特定の成分（例えばＧ（緑色）成分）の画素値の時系列データを生成する。感情決定部３５１は、時系列データに対して所定のフィルタリング処理を施し、高周波ノイズ成分および低周波の揺れ成分を除去した脈波を検出して心拍数（脈拍数）を導出する。

また、感情決定部３５１は、記録装置３２に保存されている感情特性データと一定期間における心拍数の変動の解析結果とに基づいて、心拍数の変動の特性に対応する感情を、そのプレーヤの心情（感情）として決定して出力する。

拡張処理部３５２は、感情決定部３５１により決定されたプレーヤの感情に対応するオーグメンテーション元画像をオーグメンテーション画像としてオーグメンテーションデータベース３５５から選択する。拡張処理部３５２は、感情決定部３５１により決定されたプレーヤの感情に対応するオーグメンテーション画像を、オーグメンテーションデータベース３５５から選択したオーグメンテーション元画像を用いて生成してもよい。拡張処理部３５２は、選択あるいは生成されたオーグメンテーション画像を放送ストリーム上のプレーヤに適用するように重畳する（上述参照）。

追従処理部３５３は、記録装置３２に保存されているプレーヤ映像データを解析し、プレーヤの移動の有無を判定する。追従処理部３５３は、プレーヤの移動があると判定した場合には、プレーヤ映像データの解析により、その移動後のプレーヤの姿勢（例えばプレーヤの手足、体格等の全身の形状）、プレーヤのプレーヤ映像データにおける位置（座標および領域）をそれぞれ特定する。なお、追従処理部３５３は、プレーヤ映像データ以外に、他のセンサ等で得られたセンシング結果を用いて、移動後のプレーヤの姿勢（例えばプレーヤの手足、体格等の全身の形状）、プレーヤのプレーヤ映像データにおける位置（座標および領域）をそれぞれ特定してもよい。

修正処理部３５４は、追従処理部３５３によりプレーヤの移動があると判定された場合に、移動後のプレーヤの姿勢（例えばプレーヤの手足、体格等の全身の形状）、プレーヤのプレーヤ映像データにおける位置（座標および領域）のそれぞれの特定結果を用いて、現在使用されているオーグメンテーション画像の特性（例えば形状、色、大きさ、あるいはこれらの組み合わせ）を変更（修正）する。なお、修正処理部３５４は、オーグメンテーション元画像に修正許可条件が割り当てられている場合には、その修正許可条件で示される範囲内でオーグメンテーション画像を修正してよい。言い換えると、修正処理部３５４は、オーグメンテーション画像によっては、プレーヤの移動があった場合に一部の制約を前提としてオーグメンテーション画像を修正する。

オーグメンテーションデータベース３５５は、放送ストリーム上のプレーヤに適用するように重畳されるオーグメンテーション画像の元画像であるオーグメンテーション元画像のデータを保持する。

表示パネル３６は、例えば液晶（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）パネルあるいは有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）を用いて構成される。表示パネル３６は、プロセッサ３３あるいはオーグメンテーション画像処理部３５により生成された表示用のユーザデータ（例えばプレーヤ映像データ、あるいはオーグメンテーション画像が重畳されたプレーヤ映像データ）を表示する。

＜オーグメンテーション画像の重畳例＞
次に、実施の形態１に係るオーグメンテーション画像表示システム１により実行されるオーグメンテーション画像のプレーヤ映像データの重畳例について、図８および図９を参照して説明する。図８は、オーグメンテーション画像の表示例を時系列に示す図である。図９は、オーグメンテーション画像の表示例を示す図である。図８および図９の説明では、説明を分かり易くするために、オーグメンテーション画像処理部２５あるいはオーグメンテーション画像処理部３５が、プレーヤ映像データに基づくプレーヤの感情の解析、オーグメンテーション画像の生成および表示の各種処理を実行するとして説明するが、オーグメンテーション画像処理部１５が実行してもよい。

図８では、ユーザにより野球の試合が携帯端末２０あるいはテレビジョン受像機３０で視聴されている場合に、時刻Ｔ＝ｔ０において野球の試合に出場しているプレーヤＰＬ０（例えば父親Ｐ１および母親Ｐ２が好きな選手）が入力表示部２６あるいは表示パネル３６に表示されている。この時、娘Ｐ３の操作により、プレーヤＰＬ０の化身となるスキンパック画像（オーグメンテーション画像）として、娘Ｐ３が好きなヒーローの髪型および服装が購入処理されたとする。

すると、時刻Ｔ＝ｔ０より後の時刻Ｔ＝ｔ１に、携帯端末２０あるいはテレビジョン受像機３０は、購入処理されたスキンパック画像をオーグメンテーション画像として用いてプレーヤＰＬ０の体格および姿勢に適合するように真上に重畳して表示する（仮想プレーヤＰＬ１ａ参照）。これにより、娘Ｐ３の好きなヒーロー（キャラクタ）の画像がプレーヤＰＬ０に重畳されたプレーヤＰＬ１となり、娘Ｐ３は野球の試合に興味を持ち出し始め、娘Ｐ３と一緒に視聴している父親Ｐ１および母親Ｐ２も野球の試合の視聴を快適に行える可能性が高まる。

また、時刻Ｔ＝ｔ１より後の時刻Ｔ＝ｔ２に、プレーヤ映像データ中のプレーヤＰＬ０がバッターボックスに入る等、プレーヤＰＬ０の移動があったことが携帯端末２０あるいはテレビジョン受像機３０により判定されたとする。この時、携帯端末２０あるいはテレビジョン受像機３０は、プレーヤＰＬ０の移動に追従するように、現在表示されているオーグメンテーション画像を移動後のプレーヤＰＬ０の位置および姿勢に適合するように重畳して表示する（仮想プレーヤＰＬ１ｂ参照）。また、バッターボックスに入ったプレーヤＰＬ０の感情が徐々に興奮状態になってきたことが携帯端末２０あるいはテレビジョン受像機３０により判定されたとする。

この後の時刻Ｔ＝ｔ３に、携帯端末２０あるいはテレビジョン受像機３０は、プレーヤＰＬ０の感情の段階的な高ぶりに対応するように、オーグメンテーション画像を段階的に修正し、修正後のオーグメンテーション画像を重畳して表示する（仮想プレーヤＰＬ１ｃ参照）。これにより、視聴しているユーザは、野球のプレーヤの感情が徐々に高まって興奮状態にあることを携帯端末２０あるいはテレビジョン受像機３０に表示された仮想プレーヤＰＬ１ｂ，ＰＬ１ｃにより直感的かつ視覚的に簡易に把握できる。

図９では、図８と同様に、ユーザにより野球の試合が携帯端末２０あるいはテレビジョン受像機３０で視聴されている場合に、野球の試合に出場しているプレーヤＰＬ０（例えば父親Ｐ１および母親Ｐ２が好きな選手）が入力表示部２６あるいは表示パネル３６に表示されている。この時、娘Ｐ３の操作により、プレーヤＰＬ０の化身となるスキンパック画像（オーグメンテーション画像）として、娘Ｐ３が好きな動物（例えば猫）の顔を有したマスコットキャラクタＭＳＣ１が購入処理されたとする。

するとこの後、携帯端末２０あるいはテレビジョン受像機３０は、購入処理されたマスコットキャラクタＭＳＣ１のスキンパック画像をオーグメンテーション画像として用いてプレーヤＰＬ０の体格および姿勢に適合するようにプレーヤＰＬ０の周囲（例えば右隣り）に重畳して表示する。これにより、娘Ｐ３の好きなマスコットキャラクタＭＳＣ１の画像がプレーヤＰＬ０の感情を示すこととなり、娘Ｐ３はプレーヤＰＬ０の隣に映るマスコットキャラクタＭＳＣ１の出演によって野球の試合に興味を持ち出し始め、娘Ｐ３と一緒に視聴している父親Ｐ１および母親Ｐ２も野球の試合の視聴を快適に行える可能性が高まる。

なお、携帯端末２０あるいはテレビジョン受像機３０は、プレーヤＰＬ０が悔しい気持ちを抱いていることを検出した場合には、購入処理された同一のスキンパック画像を用いて、プレーヤＰＬ０が悔しがっている状況を示すマスコットキャラクタＭＳＣ２をプレーヤＰＬ０の周囲（例えば右隣り）に重畳して表示する。これにより、娘Ｐ３はプレーヤＰＬ０の隣に映るマスコットキャラクタＭＳＣ２が悲しんでいる様子を見て、プレーヤＰＬ０が今悔しがっているあるいは悲しんでいる状況を視覚的かつ直感的に把握でき、野球の試合に少しずつ興味を持ち始めることが期待できる。

なお、携帯端末２０あるいはテレビジョン受像機３０は、プレーヤＰＬ０が嬉しい気持ちを抱いていることを検出した場合には、購入処理された同一のスキンパック画像を用いて、プレーヤＰＬ０が嬉しがっている状況を示すマスコットキャラクタＭＳＣ３をプレーヤＰＬ０の周囲（例えば右隣り）に重畳して表示する。これにより、娘Ｐ３はプレーヤＰＬ０の隣に映るマスコットキャラクタＭＳＣ３が嬉しがっている様子を見て、プレーヤＰＬ０が今喜んでいる状況を視覚的かつ直感的に把握でき、野球の試合に少しずつ興味を持ち始めることが期待できる。

＜オーグメンテーション画像表示システムの動作＞
次に、実施の形態１に係るオーグメンテーション画像表示システム１の動作例について、図１０を参照して説明する。図１０は、一連のオーグメンテーション画像処理の動作手順例を示すフローチャートである。図１０の説明では、説明を分かり易くするために、オーグメンテーション画像処理部２５あるいはオーグメンテーション画像処理部３５が、プレーヤ映像データに基づくプレーヤの感情の解析、オーグメンテーション画像の生成および表示の各種処理を実行するとして説明するが、オーグメンテーション画像処理部１５が実行してもよい。

図１０において、携帯端末２０あるいはテレビジョン受像機３０は、オンラインショッピング等のオンライン取引により、ユーザの操作に応じて、ユーザに選択されたスキンパック画像（オーグメンテーション元画像）の購入処理を行う（Ｓｔ１）。携帯端末２０あるいはテレビジョン受像機３０は、記録されているプレーヤ映像データに基づいて、そのプレーヤ映像データを構成するそれぞれの画像上に映るプレーヤの心拍数（例えばバイタル情報の一形態）およびその心拍数の一定期間（例えば数秒程度）における変動（例えばバイタル情報の一形態）を計算かつ解析する（Ｓｔ２）。

携帯端末２０あるいはテレビジョン受像機３０は、記録装置２２に保存されている感情特性データとステップＳｔ２において得られた一定期間における心拍数の変動の解析結果とに基づいて、心拍数の変動の特性に対応する感情を、そのプレーヤの心情（感情）として決定する（Ｓｔ３）。携帯端末２０あるいはテレビジョン受像機３０は、ステップＳｔ１において購入処理されたスキンパック画像（オーグメンテーション元画像）を用いて、ステップＳｔ３において決定されたプレーヤの感情に応じたオーグメンテーション画像（例えば重畳物の一形態）を生成あるいは選択する（Ｓｔ４）。携帯端末２０あるいはテレビジョン受像機３０は、プレーヤの感情に応じたオーグメンテーション画像を、プレーヤ映像データ（放送ストリーム）上のプレーヤに適用するように重畳して表示する（Ｓｔ４）。

ここで、プレーヤの移動があったことが携帯端末２０あるいはテレビジョン受像機３０により検出されていない場合には（Ｓｔ５、ＮＯ）、プレーヤの移動があったことが検出されるまでステップＳｔ２〜Ｓｔ４の処理が繰り返される。

一方、プレーヤの移動があったことが携帯端末２０あるいはテレビジョン受像機３０により検出された場合には（Ｓｔ５、ＹＥＳ）、携帯端末２０あるいはテレビジョン受像機３０は、プレーヤ映像データあるいは他のセンサ等で得られたセンシング結果を用いて、移動後のプレーヤの姿勢（例えばプレーヤの手足、体格等の全身の形状）、プレーヤのプレーヤ映像データにおける位置（座標および領域）をそれぞれ特定する（Ｓｔ６）。

携帯端末２０あるいはテレビジョン受像機３０は、移動後のプレーヤの姿勢（例えばプレーヤの手足、体格等の全身の形状）、プレーヤのプレーヤ映像データにおける位置（座標および領域）のそれぞれの特定結果を用いて、現在使用されているオーグメンテーション画像の特性（例えば形状、色、大きさ、あるいはこれらの組み合わせ）を変更（修正）する（Ｓｔ７）。特に、携帯端末２０あるいはテレビジョン受像機３０は、オーグメンテーション元画像に修正許可条件が割り当てられている場合には、その修正許可条件で示される範囲内でオーグメンテーション画像を修正する（Ｓｔ７）。

なお、ステップＳｔ７の後、ユーザの操作によりアプリケーション（つまり、オーグメンテーション画像の重畳表示用アプリケーション）が終了されない限り（Ｓｔ８、ＮＯ）、終了されるまでステップＳｔ２〜Ｓｔ７の処理が繰り返される。一方で、ステップＳｔ７の後、ユーザの操作によりアプリケーション（つまり、オーグメンテーション画像の重畳表示用アプリケーション）が終了されれば（Ｓｔ８、ＹＥＳ）、オーグメンテーション画像表示システム１の動作は終了する。

以上により、実施の形態１に係るオーグメンテーション画像表示システム１は、ユーザ操作に応じて、テレビ番組（例えば野球の試合）に出演（例えば出場）している少なくとも１人の人物（例えばプレーヤ）の化身を示す画像データ（例えばスキンパック画像であるオーグメンテーション元画像データ）を購入処理する。オーグメンテーション画像表示システム１は、テレビ番組の映像データ（例えば野球の試合に出場しているプレーヤが映るプレーヤ映像データ）に基づいて、プレーヤの感情を推定する。オーグメンテーション画像表示システム１は、オーグメンテーション元画像データを用いて、プレーヤの感情に応じたオーグメンテーション画像データを生成し、生成されたオーグメンテーション画像データをテレビ番組のプレーヤに関連付けて表示する。なお、上述したオーグメンテーション画像処理は、放送局装置１０、携帯端末２０あるいはテレビジョン受像機３０のいずれにおいて実行されても構わないが、放送ストリームの表示処理およびオーグメンテーション画像が重畳された放送ストリームの表示処理は携帯端末２０あるいはテレビジョン受像機３０により実行される。

これにより、オーグメンテーション画像表示システム１は、例えばスポーツの試合等のテレビ番組に出演している人物（例えば試合に出場しているプレーヤ）の心情（感情）を、携帯端末２０あるいはテレビジョン受像機３０の表示用画面を通して視聴者に概念的に把握可能とし、視聴者の利便性の向上に資することができる。従って、オーグメンテーション画像表示システム１は、プレーヤの位置および姿勢等の形状に合わせてプレーヤの感情に合わせたオーグメンテーション画像を適切に表示できるので、テレビ番組の視聴に対するエンターテインメント性を的確に向上できる。

また、オーグメンテーション画像表示システム１は、オーグメンテーション画像データを表示する際に、オーグメンテーション画像データを人物（例えばプレーヤ）にオーバーレイして表示する。これにより、ユーザは、プレーヤにオーバーレイして表示されたオーグメンテーション画像を見ることで、一見画面を通してだけでは把握しにくいプレーヤの感情を具体的かつ視覚的に直接的に把握できるので、テレビ番組をより楽しんで鑑賞できる。

また、オーグメンテーション画像表示システム１は、オーグメンテーション画像データを表示する際に、オーグメンテーション画像データを人物（例えばプレーヤ）の周囲に表示する。これにより、ユーザは、プレーヤにオーバーレイして表示されたことで生じ得る視認性の劣化の発生要因が適正に排除されるので、テレビ番組の視認性が劣化されることなくプレーヤの感情を具体的に把握できてテレビ番組をより楽しんで鑑賞できる。

また、オーグメンテーション画像表示システム１は、人物（例えばプレーヤ）がテレビ番組において位置を移動した場合に、人物の動きを追従し、人物の動きの追従に合わせてオーグメンテーション画像データの少なくとも形状を修正する。オーグメンテーション画像表示システム１は、オーグメンテーション画像データを表示する際に、少なくとも形状が修正された後のオーグメンテーション画像データを表示する。これにより、ユーザは、最新のプレーヤの位置および姿勢に適合するように表示されたオーグメンテーション画像を携帯端末２０あるいはテレビジョン受像機３０を介して視聴できる。従って、オーグメンテーション画像表示システム１は、プレーヤの位置が変わったとしても追従してオーグメンテーション画像を適切に表示でき、引き続きテレビ番組の視聴に対するエンターテインメント性を的確に向上できる。

また、オーグメンテーション画像表示システム１は、オーグメンテーション画像データを生成する際に、人物の感情が段階的に高揚したことが検出されると、人物の感情の段階的な高揚に対応して段階的に異なるオーグメンテーション画像データを生成する。これにより、ユーザは、人物の感情が徐々に高揚して興奮している様子がオーグメンテーション画像の段階的な変更（修正）に伴って直感的かつ視覚的に把握でき、テレビ番組のエンターテインメント性を享受できる。

また、オーグメンテーション画像表示システム１は、ユーザの操作に基づく購入処理が可能な画像データ（例えばスキンパック画像であるオーグメンテーション元画像）をデータベース（例えばオーグメンテーションデータベース１５５，２５５，３５５）に登録管理する。これにより、オーグメンテーション画像表示システム１は、多種多様なオーグメンテーション元画像をデータベースとして登録および管理できるので、幅広い年齢層を有するユーザの興味が持てるスキンパック画像を選択する自由度を格段に向上できる。

また、オーグメンテーション画像表示システム１は、例えばテレビ番組の放送局との間で映画製作会社が新作映画のスポンサー契約を行った場合に、画像データ（例えばスキンパック画像であるオーグメンテーション元画像）を登録管理する際に、新作映画に登場する少なくとも１人のキャラクタ画像データをオーグメンテーションデータベース１５５，２５５，３５５に登録管理する。これにより、ユーザは、例えば新作映画に登場する人気のある有名なキャラクタ画像データをスキンパック画像として使用してプレーヤの感情、動き等に合わせて重畳されたテレビ番組を視聴できるので、楽しみながらテレビ番組を鑑賞することができる。

また、オーグメンテーション画像表示システム１は、オーグメンテーション画像データを生成する際に、プレーヤの感情の変更が検出されると、変更後のプレーヤの感情に従ってオーグメンテーション画像データの色を修正する。これにより、ユーザは、携帯端末２０あるいはテレビジョン受像機３０を介して、プレーヤの気持ちが変化したことがオーグメンテーション画像の色の変化で簡易に把握でき、テレビ番組の内容のより深い理解ならびに関心を持つことができるようになる。

また、受信機は、ユーザにより携帯される携帯端末２０である。これにより、ユーザは、例えば携帯可能な携帯端末２０を所持して移動しながらでも、プレーヤの感情に適合するオーグメンテーション画像が重畳表示されたテレビ番組の視聴を楽しめる。

また、受信機は、ユーザが位置する場所に載置されたテレビジョン受像機３０である。これにより、ユーザは、寛げるスペース（例えばユーザの自宅内）に載置されたテレビジョン受像機３０を介して、プレーヤの感情に適合するオーグメンテーション画像が重畳表示されたテレビ番組の視聴を楽しめる。

以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことはいうまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。

本開示は、スポーツの試合等のテレビ番組に出演している人物の心情を、画面を通して視聴者に概念的に把握可能とし、視聴者の利便性の向上に資するオーグメンテーション画像表示システムおよびオーグメンテーション画像表示方法として有用である。

１ オーグメンテーション画像表示システム
１０ 放送局装置
１１、２１、３１ メモリ
１２、２２、３２ 記録装置
１３、２３、３３ プロセッサ
１４、２４，３４ 通信部
１５、２５、３５ オーグメンテーション画像処理部
２０ 携帯端末
２６ 入力表示部
３０ テレビジョン受像機
３６ 表示パネル
１５１、２５１、３５１ 感情決定部
１５２、２５２、３５２ 拡張処理部
１５３、２５３、３５３ 追従処理部
１５４、２５４、３５４ 修正処理部
１５５、２５５、３５５ オーグメンテーションデータベース
ＣＭ１、ＣＭ２ カメラ

Claims (12)

1. ユーザ操作に応じて、テレビ番組に出演している少なくとも１人の人物の化身を示す画像データを購入処理するステップと、
   前記テレビ番組の映像データに基づいて、前記人物の感情を推定するステップと、
   前記画像データを用いて、前記人物の感情に応じたオーグメンテーション画像データを生成し、生成された前記オーグメンテーション画像データを前記テレビ番組の前記人物に関連付けて表示するステップと、を有する、
   オーグメンテーション画像表示方法。
2. 前記オーグメンテーション画像データを表示するステップにおいて、前記オーグメンテーション画像データを前記人物にオーバーレイして表示する、
   請求項１に記載のオーグメンテーション画像表示方法。
3. 前記オーグメンテーション画像データを表示するステップにおいて、前記オーグメンテーション画像データを前記人物の周囲に表示する、
   請求項１に記載のオーグメンテーション画像表示方法。
4. 前記人物が前記テレビ番組において移動した場合に、前記人物の動きを追従するステップと、
   前記人物の動きの追従に合わせて前記オーグメンテーション画像データの少なくとも形状を修正するステップと、を更に有し、
   前記オーグメンテーション画像データを表示するステップにおいて、修正後の前記オーグメンテーション画像データを表示する、
   請求項１に記載のオーグメンテーション画像表示方法。
5. 前記オーグメンテーション画像データを生成するステップにおいて、前記人物の感情が段階的に高揚したことが検出されると、前記人物の感情の段階的な高揚に対応して段階的に異なるオーグメンテーション画像データを生成する、
   請求項１に記載のオーグメンテーション画像表示方法。
6. 前記購入処理が可能な画像データをデータベースに登録管理するステップ、を更に有する、
   請求項１に記載のオーグメンテーション画像表示方法。
7. 前記テレビ番組の放送局との間で映画製作会社が新作映画のスポンサー契約を行った場合に、前記画像データを登録管理するステップにおいて、前記新作映画に登場する少なくとも１人のキャラクタ画像データを前記データベースに登録管理する、
   請求項６に記載のオーグメンテーション画像表示方法。
8. 前記オーグメンテーション画像データを生成するステップにおいて、前記人物の感情の変更が検出されると、変更後の前記人物の感情に従って前記オーグメンテーション画像データの色を修正する、
   請求項１に記載のオーグメンテーション画像表示方法。
9. テレビ番組を放送する放送局装置と、ユーザにより操作されかつ前記テレビ番組を受信して表示する受信機とを含むオーグメンテーション画像表示システムであって、
   前記受信機は、
   ユーザ操作に応じて、前記テレビ番組に出演している少なくとも１人の人物の化身を示す画像データを購入処理し、
   前記テレビ番組の映像データに基づいて、前記人物の感情を推定し、
   前記画像データを用いて、前記人物の感情に応じたオーグメンテーション画像データを生成し、生成された前記オーグメンテーション画像データを前記テレビ番組の前記人物に関連付けて表示する、
   オーグメンテーション画像表示システム。
10. 前記受信機は、前記ユーザにより携帯される携帯端末である、
    請求項９に記載のオーグメンテーション画像表示システム。
11. 前記受信機は、前記ユーザが位置する場所に載置されたテレビジョン受像機である、
    請求項９に記載のオーグメンテーション画像表示システム。
12. テレビ番組を放送する放送局装置と、ユーザにより操作されかつ前記テレビ番組を受信して表示する受信機とを含むオーグメンテーション画像表示システムであって、
    前記受信機は、
    ユーザ操作に応じて、前記テレビ番組に出演している少なくとも１人の人物の化身を示す画像データの購入処理の要求を前記放送局装置に送り、
    前記放送局装置は、
    前記購入処理の要求に応じて、前記人物の化身を示す画像データを購入処理し、
    前記テレビ番組の映像データに基づいて、前記人物の感情を推定し、
    前記画像データを用いて、前記人物の感情に応じたオーグメンテーション画像データを生成し、生成された前記オーグメンテーション画像データを前記テレビ番組の前記人物に関連付けたテレビ番組データを生成して前記受信機に配信する、
    オーグメンテーション画像表示システム。

Images