JP2016010102A - 情報提示システム - Google Patents

Abstract

【課題】再生装置が独立して存在している状況において、端末がライブ配信コンテンツを認識し関連する情報を提示情報として提示できる情報提示システムを提供する。【解決手段】端末3では、入力部31でライブ配信コンテンツを撮像及び／又は録音することによって入力し、端末側抽出部33で特徴情報を抽出してサーバー4側に送信し、あサーバー4側で当該コンテンツを認識した結果として得られる関連する提示情報を返信として受け取り、提示部39にて提示する。サーバー4では、当該時点の一連のライブ配信コンテンツの各々を再生して特徴情報を抽出して、端末3側から送信された特徴情報と照合して対応するライブ配信コンテンツを特定し、予め記憶しておいた当該コンテンツに関連する提示情報を端末3の側に返信する。【選択図】図１

Description

本発明は、情報を提示する情報提示システムに関し、特に、ライブ配信コンテンツを認識して提示部での提示情報を制御できる情報提示システムに関する。

TV放送やインターネット等を介したライブ配信において、配信コンテンツに関する補足情報や関連情報を提示することができれば、利用者の利便性を向上させることができる。当該提示を実現する従来技術の例として、特許文献１乃至３、非特許文献１に開示のものがあり、ここでは以下のような手法が公開されている。

特許文献１および非特許文献１では、それぞれ音声・映像に情報を電子透かし技術で埋め込み、音声・映像に端末をかざすと、埋め込まれた情報を読み取る手法を開示している。特許文献２および３では、映像受信端末において、被写体を手動で指定し、サーバーから情報を取得・提示する手法を開示している。

特開２０１２−１５９８０号公報 特開２０１１−２５０４８０号公報 特開２０１２−５５０１３号公報

ディスプレイとモバイルデバイスを連携させるコンテンツ自動認識技術（http: // www.y-adagio.com / public / committees / sdp / confs / sdp2 / sdp2-2.pdf）

特許文献１および非特許文献１では、予め音声または映像に情報を埋め込む処理が必要であるため、録音・録画されていない音声・映像、すなわちライブ映像には対応できないという問題がある。また、埋め込む情報量に比例して音声・映像品質が劣化するという問題がある。さらに、単位時間あたりに埋め込める情報量は非常に少ないため、一定の情報量を取得するには、端末を長時間かざし続けなければならないという問題がある。

一方、特許文献２および３では、特許文献１および非特許文献１の問題を解決している。すなわち、映像を加工しないため品質劣化はなく、サーバーから情報を取得するため端末を映像にかざし続ける必要もない。しかし、映像データ受信・復号部を必要とするため装置の小型化が困難になるだけでなく、映像データ受信・復号部を常時稼働させるためバッテリー消費が激しいという問題がある。また、被写体を手動で指定して初めてサーバーから情報を取得するため、どれが被写体として設定されているかは事前には分からないという問題がある。

本発明は上記従来技術の課題に鑑みて提案されたもので、ライブ配信コンテンツ再生装置が独立して存在している状況において、端末がライブ配信コンテンツを認識し関連する情報を提示情報として提示できる情報提示システムを提供することを目的とする。

上記目的を達成するため、本発明は、ライブ配信コンテンツに関連する情報として提示情報を提示する端末と、当該端末と通信するサーバーとを備える情報提示システムであって、前記端末は、１つのライブ配信コンテンツを撮像及び／又は録音することによって入力する入力部と、前記入力されたライブ配信コンテンツを特定するための特徴情報を抽出する端末側抽出部と、前記端末側抽出部で抽出された特徴情報を前記サーバーに送信する端末側送信部と、前記サーバーが認識する前記入力されたライブ配信コンテンツ、に関連する情報としての提示情報を、前記サーバーより受信する端末側受信部と、前記受信した提示情報を提示する提示部と、を含み、前記サーバーは、前記端末側送信部より送信された特徴情報を受信するサーバー側受信部と、１つ以上のライブ配信コンテンツを再生するサーバー側再生部と、前記再生されたライブ配信コンテンツの各々を特定するための特徴情報を抽出するサーバー側抽出部と、前記サーバー側抽出部で抽出された特徴情報を記憶する特徴情報記憶部と、前記再生されている各ライブ配信コンテンツに関連する情報として、提示情報を記憶する提示情報記憶部と、前記記憶された特徴情報と前記サーバー側受信部で受信した特徴情報とを照合することで、当該受信した特徴情報に対応する前記記憶された特徴情報を特定し、前記再生される１つ以上のライブ配信コンテンツのうち、当該特定された特徴情報に対応するライブ配信コンテンツを、前記端末において前記入力されたライブ配信コンテンツであるものとして認識し、当該認識されたライブ配信コンテンツについての提示情報を、前記提示情報記憶部から読み出す照合部と、前記読み出された提示情報を前記端末に送信するサーバー側送信部と、を含むことを特徴とする。

本発明によれば、端末は再生装置で再生されたライブ配信コンテンツを撮像及び／又は録音して入力し、その特徴情報を抽出してサーバーへ送信し、サーバーの側において当該特徴情報に該当するライブ配信コンテンツを特定して、関連する情報としての提示情報を端末の側に返信することで、端末において提示情報の提示が可能となる。

従って、端末においてライブ配信コンテンツを再生する必要がなく、撮像及び／又は録音するだけで、提示情報の提示が可能となる。提示情報はサーバーの側で管理するので、所望のデータ量を割り当てることができ、認識対象のライブ配信コンテンツの数が増えても、サーバー側で管理することができるので、端末に追加の負担をかけることがない。

一実施形態に係る情報提示システムの機能ブロック図である。 本発明の動作概要を模式的に示す図である。 本発明の動作における端末及びサーバーの継続的な処理をタイムラインとして模式的に示す図である。 一実施形態にて入力情報に提示情報を関連付けて被写体毎に追随させる処理を概念的に説明するための図である。 図４の例に対応する例として、一実施形態にて射影変換を用いて提示情報を提示する模式的な例を示す図である。 図４の画面全体の例に対して、画面の一部分のみを撮像した場合に、座標に応じた提示情報を選別するようにする例を示す図である。

図１は、本発明の一実施形態に係る情報提示システムの構成概要を機能ブロック図として説明するための図である。点線で囲んでいるように、情報提示システム5は、端末3と、サーバー4とを備える。端末3とサーバー4とは、インターネット等のネットワークを介して互いに通信する。

なお、「端末3」は、ユーザ毎に利用可能（1人で2台以上利用するユーザがいてもよい）であって複数存在することができ、それぞれサーバー4と通信することができるが、各端末の動作は共通である。従って以下では、これら複数の端末を代表する任意の１つの端末に着目して、「端末3」として説明する。

端末3は、入力部31、端末側抽出部33、端末側送信部36、端末側受信部38及び提示部39を備える。サーバー4は、サーバー側再生部42、サーバー側抽出部43、特徴情報記憶部44、照合部45、サーバー側受信部46、提示情報記憶部47及びサーバー側送信部48を備える。

例えば、スマートフォンその他の携帯端末によってこのような構成の端末3を実現することができるが、その他のコンピュータなどによってもよい。また、サーバー4の構成についても、このような構成によって物理的に単一のサーバーに限られず、機能部（１つあるいは複数）ごとに複数台のサーバーに分かれていてもよい。例えば、照合部45や提示情報記憶部47は別箇のサーバーで実現されていてもよい。

また、図１にて情報提示システム5を囲む点線の外部に示すように、配信装置1及び再生装置2が存在し、情報提示システム5が動作するための外部構成として機能する。

配信装置1は、ライブ配信コンテンツの配信を行う。当該配信にはその態様として、インターネット等を介した配信の他、テレビ局・ラジオ局等による放送も含まれる。再生装置2は、配信装置1より配信されたライブ配信コンテンツを当該コンテンツの形式に応じて復号等することにより、再生する。例えば、ライブ配信コンテンツがテレビ放送であれば、再生装置2はテレビ受像機として構成することができる。

なお、図１における各部を結ぶ線は、各部の間にやりとりが存在することを示しているが、当該線は主要なやりとりのみを示しており、詳細を適宜説明するように、線が描かれてなくともやりとりが存在する場合もある。

情報提示システム5の動作概要は次の通りである。例えば、演劇やスポーツ中継といったようなライブ配信コンテンツを端末3が入力し、当該入力情報をサーバー4と連携して解析することで入力情報が何であるかを認識すると共に、ライブ配信コンテンツによって端末3に提示される提示情報を制御する。

図２は、当該動作概要を(1)〜(6)と順次区切って模式的に示す図である。(1)に示すように、ここでは例としてテレビ受像機である再生装置2で再生されたコンテンツ（テレビ放送）を端末3が撮像して、(2)に示すように特徴情報を抽出する。そして、(3)に示すように、端末3は抽出した特徴情報をサーバー4に送信する。

一方、(4)に示すように、サーバー4も並行して処理を行っており、再生装置2で再生され端末3で撮像したコンテンツを含む、その時点での種々のライブ配信コンテンツを対象として、特徴情報を抽出し続けると共に、端末3からの特徴情報等の送信を待機している。また、サーバー4では端末3に対して提供するための提示情報を管理している。

そして、サーバー4は上記(3)のように端末3から特徴情報の送信を受けると、抽出していた各ライブ配信コンテンツの特徴情報と照合することで一致するものを見つけて端末3の側で視聴しているコンテンツを特定（テレビ放送であれば、複数のチャンネルのいずれであるかを特定）する。さらに、(5)に示すように、当該特定した結果に基づいて、サーバー4は管理している提示情報の中から、端末3に提示させるのに適切な提示情報を選別して、端末3に送信する。

この結果、(6)に示すように、端末3ではサーバー4から受信した、自身で視聴しているコンテンツに関連する提示情報の提示が可能となる。(6)では、テレビ放送されている野球中継というライブ配信コンテンツに関連する提示情報として、投手の防御率や打者の打率といった、各選手の成績が端末3において提示されている。

以上の図２のような動作を行うに際して、端末3では特徴情報を抽出及び送信する処理を継続的に実施し、その結果を受けて継続的にサーバー4から送信されてくる提示情報を継続的に提示する。サーバー4においても対応する処理を継続的に実施している。

図３は、端末3及びサーバー4での当該継続的な処理をタイムラインとして模式的に示す図である。端末3では、時間軸T31として示すように、視聴しているライブ配信のコンテンツAを対象として端末側抽出部33による特徴情報の抽出処理が行われ、コンテンツAの時刻1, 2, …, 7から逐次、特徴情報A1, A2, …, A7（時刻8以降の図示は省略、以下同様）を抽出している。また、端末3では、当該抽出処理と並行して、時間軸T32として示すように、端末側送信部36、端末側受信部38及び提示部39による送信処理、受信処理及び提示処理が行われている。

一方、サーバー4ではコンテンツAの他、当該時点でライブ配信されているコンテンツB,Cを加えた全3種類（一般には１以上の任意数n種類が可能だが、ここでは例としてn=3とする）をそれぞれ対象として、時間軸T41,T42,T43に示すように、サーバー側抽出部43による特徴情報の抽出処理が行われている。端末3側の時間軸T31で示したのと同様に、コンテンツA,B, Cの時刻1, 2, …, 7からそれぞれ特徴情報A1, A2, …, A7とB1, B2, …, B7とC1, C2, …, C7（時刻8以降の図示は省略、以下同様）とが抽出されている。また、サーバー4では、当該抽出処理と並行して、時間軸T44として示すように、サーバー側受信部46、照合部45及びサーバー側送信部48による受信信処理、照合処理及び提示処理が行われている。

図３にて、端末3及びサーバー4の時間軸T31及びT41,T42,T43の抽出処理として平行して実施される、時間軸T32,T44に示される端末3とサーバー4との間のやりとりの個別処理P1〜P6は次の通りである。なお、当該処理P1〜P6の末尾の数字「1〜6」は、各処理P1〜P6の順番を示すものであって、特徴情報A1〜A7等として用いた際のコンテンツA,B,Cの時刻1〜7とは独立した意味を有する数字である。

端末3は処理P1にて、当該時点で抽出された最新の特徴情報A1を端末側送信部36より線L1に示すようにサーバー4へと送信する。サーバー4は処理P2にて、当該送信された特徴情報A1をサーバー側受信部46において受信する。

さらに、処理P3にて照合部45が、当該受信した特徴情報A1に一致するものをサーバー側抽出部43で抽出され特徴情報記憶部44に記憶されている情報の中から探索して見つけ出す。例えば、処理P3の時点で時間軸T41,T42,T43に示す特徴情報A1〜A4とB1〜B4とC1〜C4が特徴情報記憶部44に記憶されているのであれば、これらの特徴情報が探索対象となり、一致する特徴情報A1が見つけ出される。

処理P3ではさらに、当該見つけ出した結果、サーバー4の側において、特徴情報A1を送信してきた端末3はコンテンツAを視聴しているということが判明するので、照合部45は提示情報記憶部47を参照して、コンテンツAの当該時点に対応する提示情報AR1を取得してサーバー側送信部48に渡す。

処理P4にてサーバー側送信部48は、線L2に示すように当該提示情報AR1を端末3へと送信する。端末3は処理P5にて、当該送信された提示情報AR1を端末側受信部38において受信し、処理P6にて提示部39が当該提示情報AR1を提示する。

以上、時間軸T32,T44における端末3とサーバー4との間のやりとりの個別処理P1〜P6を、端末3にてコンテンツAの時刻1の特徴情報A1を抽出することをトリガとした場合を例として説明したが、同様の処理が以降の時刻2, 3, …の特徴情報A2, A3, …をトリガとして全く同様に継続的に実施される。こうして、端末3では、現時点で視聴しているライブ配信コンテンツの現時点の内容に関連する提示情報の提示処理が、継続的に実施可能となる。

なお、図３の説明では、時刻1,2, …,7におけるコンテンツAの特徴情報A1, A2, …, A7に関して、端末3側の時間軸T31とサーバー4側の時間軸T41とで全く同じ参照符号を割り当てているが、端末3とサーバー4とでは抽出環境に違いがあるので、これらはその情報内容が必ずしも完全に一致するわけではない。

すなわち、図３では、コンテンツAの対応する時刻1, 2, …, 7の内容を、再生装置2で再生したものを入力部31が入力したもの及びサーバー側再生部42で再生したものから、それぞれ端末側抽出部33及びサーバー側抽出部43によって抽出された情報という意味にて、特徴情報A1, A2, …, A7という互いに共通する参照符号を時間軸T31, T41の両方において利用している。

以下では、以上説明してきた図２のような概要動作を図３のような流れで実現するための、図１に示す情報提示システム5の個別の機能部の詳細について説明する。まず、端末3の各部詳細は以下の通りである。

入力部31は、再生装置2が再生しているライブ配信コンテンツを撮像及び／又は録音して、入力情報を端末側抽出部33へ出力する。当該入力情報とはすなわち、ライブ配信コンテンツが撮像及び／又は録音される場合にそれぞれ対応して、映像上の一連の画像及び／又は音声データとなる。入力部31としては、端末3が携帯端末として構成されている場合であれば、携帯端末に標準装備されるデジタルカメラやマイクを用いることができる。

なお、当該入力情報の性質として、次がある。入力部31にて撮像が行われる場合は、ユーザによる撮像の仕方により、ライブ配信コンテンツの画面以外（例えば再生装置2が部屋に設置されているのであれば、再生装置2の周辺の部屋模様など）が撮像されることもあれば、当該画面の一部分のみにフォーカスして撮像されることもありうる。入力部31にて録音が行われる場合は、当該録音されている環境に応じてライブ配信コンテンツの音声以外（例えばユーザの喋り声など）が混じることもありうる。

上記に関して、入力部31では、後述する照合部45での照合精度を向上させるという観点からは、ライブ配信コンテンツ以外のノイズに相当する情報を入力しないように撮影及び／又は録音することが好ましい。なお、画面の一部分のみにフォーカスして撮像する場合は、図６を参照して後述するような実施形態も可能である。

ライブ配信コンテンツが映像である場合、入力部31で撮像した映像としての入力情報は、提示部39へも出力して、提示部39において提示情報を提示させる際に、入力部31に入力されている映像に重畳させる形で提示を行うことができる。当該重畳させることによる提示の例は、後述の図４〜図６等において説明する。

入力情報の取得は、映像であれば所定のサンプリング間隔で画像として継続的に取得し、音声であれば所定区間ごとの録音として継続的に取得することができる。また、取得すべき旨の指示を入力部31へマニュアル入力することで、ユーザが所望するタイミングのみに限って入力情報が取得されるようにしてもよい。

端末側抽出部33は、上記の入力部31から入力情報を入力し、入力情報から特徴情報を抽出する。当該抽出した特徴情報は端末側送信部36および提示部39へ出力する。提示部39で特徴情報を利用しない場合は、当該出力は省略される。

当該抽出される特徴情報としては、入力情報が画像である場合と音声とである場合とにつき、以下のようなものを用いることができる。

まず、画像に対する特徴情報としては、周知のSIFT特徴量又はSURF特徴量等のような、回転及び拡大縮小あるいは射影変化（射影変換による歪み）のいずれか又はその任意の組み合わせに対して不変な性質を有し、画像の局所領域における相対的な輝度勾配に基づいて算出される局所特徴量を用いることができる。あるいは同性質を有する周知のORB特徴量等を用いてもよい。

例えば、SIFT 特徴量は以下の非特許文献２に、SURF特徴量は以下の非特許文献３に、ORB特徴量は以下の非特許文献４に、それぞれ開示されている。

[非特許文献２]「D.G.Lowe, ―Distinctive image features from scale-invariant key points, Proc. of Int. Journal of Computer Vision (IJCV), 60(2) pp.91-110 (2004)」
[非特許文献３]「H.Bay, T.Tuytelaars, and L.V.Gool, SURF: Speed Up Robust Features, Proc. of Int. Conf. of ECCV, (2006)」
[非特許文献４]「Ethan Rublee, Vincent Rabaud, Kurt Konolige, Gary R. Bradski: ORB: An efficient alternative to SIFT or SURF. ICCV 2011: 2564-2571.」

また、音声に対する特徴情報としては、FFT(高速フーリエ変換)等の所定変換による周波数情報のすべて若しくは一部、またはメル周波数ケプストラム係数（Mel-Frequency Cepstrum Coefficients）等を利用することができる。

なお、端末側抽出部33による特徴情報の抽出の目的のひとつは、図３の処理P1,P2及び線L1として示したような、端末3からサーバー4へ送信するデータ量の削減及び削減に伴うレスポンス短縮を図ることである。従って、抽出された特徴情報のデータ量が入力情報（当該特徴情報が抽出された対象としての入力情報）のデータ量を上回る場合に、特徴情報の代わりに入力情報を端末側送信部36よりサーバー4へと送信し、サーバー4が端末側抽出部33と同様にして特徴情報の抽出を行うようにしてもよい。この場合、特徴情報及び対応する入力情報のそれぞれのデータ量を調べて、大小関係を判定したうえで、該当する場合に特徴情報に代えて入力情報を送信するようにすればよい。

この場合、端末側抽出部と同様の機能ブロック(不図示)をサーバー4は具備するものとする。あるいは全く同様に、サーバー側受信部46にて受け取った入力情報は、照合部45ではなくサーバー側抽出部43に送られて特徴情報を抽出された後、特徴情報記憶部44には保存されずに照合部45に渡されて照合に供される、という形で図１の機能部間の流れを読み替えるようにしてもよい。

端末側送信部36は、端末側抽出部33で得られた特徴情報をサーバー4のサーバー側受信部46へ送信する。また、必要に応じて端末3を特定する端末情報を送信することもできる。端末情報にはユーザによる端末3の利用履歴や端末3を有するユーザの属性（ユーザのプロフィールや嗜好など）等が含まれていてもよい。

なお、上記のようにデータ量の大小関係からレスポンス短縮が図れない状況にあるときは、端末側送信部36は特徴情報ではなく入力部31で得た入力情報をそのままサーバー側受信部46へと送信する。

端末側受信部38は、端末側送信部36で送信した特徴情報（及び端末情報）に対する応答としての入力情報の認識情報(入力情報が何であるかを認識した結果の情報)並びに提示情報をサーバー4のサーバー側送信部48から受信する。当該受信する情報としてさらに、後述する提示部39での制御情報として、提示情報の位置情報並びにサーバー4側で抽出された特徴情報を受信することもできる。なお、認識情報がサーバー4の側で誤認識したあるいは認識不能であった旨を表している場合、端末3のユーザはその後の処理を停止させ、再度認識を行わせるようにすることができる。認識情報が正しく認識した旨を表している場合、自動でその後の各処理が進行する。当該認識情報の利用は省略されてもよい。

提示部39は、サーバー4から受信した提示情報を制御し、制御された提示情報を端末3においてユーザに提示する。制御処理としては以下のような種々の実施形態（各実施形態は組み合わせ可能）や、その他の任意の周知手法を利用できる。なお、図４〜図６等で説明する実施形態においては、提示部39は、サーバー4から受信した提示情報を、入力部31より得られる入力情報（映像）に重畳させて提示を行う。

一実施形態では、提示情報のみを表示することで視認性を向上させることができる。例えば、図２の(6)に示した野球中継コンテンツに対する提示情報としての各選手の成績であれば、当該成績のみをテキスト形式等で画面に表示することができる。

一実施形態では、入力情報（当該実施形態では映像を含む）に提示情報を関連付けて被写体毎に追随させることができる。このとき、端末側抽出部33で抽出された特徴情報とサーバー側抽出部43で抽出された特徴情報とを対応付けることで追随が可能となる。

図４は、当該追随させる処理を概念的に説明するための例を示す図である。追随処理そのものは、周知のAR(拡張現実)分野においてマーカー等を追跡する際に利用されるのと同様ないし類似の手法により可能である。図４では、端末3における入力情報はテレビの画面G100（の全体を含めて撮像したもの）であり、サーバー4の側において予め設定された被写体の例として、打者及び投手が存在し、打者には領域Rα1が、投手には領域Rβ1がサーバ−4の側において予め与えられている。

従って、ライブ配信コンテンツの再生画面の領域Rから抽出される一連の特徴情報をF(R)と書く（時刻は当該注目している時刻に固定する）ことにすると、次のようにして追随処理が可能である。

まず、サーバー4は、当該時点における当該コンテンツの画面G100全体を対象としてサーバー側抽出部43で抽出した全特徴情報の中から、予め既知の各領域Rα1,Rβ1の情報を用いて、打者の特徴情報F(Rα1)及び投手の特徴情報F(Rβ1)を選別して、端末3の側に送信する。

なお、当該特徴情報においては、サーバー側抽出部43で抽出された際に、特徴量そのものの値（例えばSIFT特徴量等の値）が算出されると共に、当該特徴量の与えられるコンテンツ画面内座標が算出され、当該特徴量及び画面内座標のペアの情報として、特徴情報が構成されている。

端末3では当該受信した特徴情報F(Rα1)及びF(Rβ1)を、自身が端末側抽出部33において撮像した画面G100から抽出した特徴情報の中から探索することで、撮像画面G100内の領域Rα1及び領域Rβ1を逆に特定することが可能となる。

そして、端末3において、当該特定した領域Rα1及び領域Rβ1をそれぞれ基準として、サーバー4からその位置情報を受信している、提示情報を提示すべき位置に対して提示情報を提示したのが、図４の入力情報の画面G100内に領域Rα2及び領域Rβ2として示されている。すなわち、打者の領域Rα1に対しては所定の相対位置領域Rα2に提示情報を提示すべき旨の情報をサーバー4より受け取ることで、領域Rα2に提示情報を提示することが可能となる。投手の領域Rβ1に対して提示情報を提示すべき領域Rβ2も同様である。

なお、当該実施形態では、サーバー4の側で予め、打者の領域Rα1や投手の領域Rβ1が既知の情報として設定されている必要があるが、当該設定する実施形態は、提示情報記憶部47の説明の際に後述する。

一実施形態では、対応付けられた特徴情報に応じた射影変換を用いることができ、提示情報があたかも入力情報に貼り付けられているかのように提示させることもできる。当該実施形態は図４で説明した実施形態と同様にしたうえでさらに、提示情報の提示に際して、周知の射影変換を利用して3次元空間的な配置を考慮するようにすればよい。

図５に、図４の例に対応する例として、当該射影変換を用いて提示情報を提示する模式的な例を示す。図４にて打者の領域Rα1及びその提示情報の領域Rα2があったのと同様に、図５では打者の領域Rα10及びその提示情報の領域Rα20がある。ただし、図５では入力画像G200の一部分の領域R200に、再生装置2の画面が3次元空間内において傾いて写っている。

従って、打者の領域Rα10を当該傾いた平面領域R200内のものとして、サーバー4から送られる特徴情報F(Rα10)に含まれる座標情報（コンテンツ画面内座標情報）を用いて端末3の側で認識したうえで、サーバー4側で後述する提示情報記憶部47において予め設定しておく空間的な相対配置関係の情報を端末3側に送信させたうえで適用することで、端末3では入力画像G200内に、3次元空間構造を考慮した形での提示情報の領域Rα20を決定することができる。

図５の例では、入力情報に貼りつける一例として、提示情報の領域Rα20は打者の領域Rα10の平面から垂直に飛び出すような配置として与えられている。投手の領域Rβ10に対する提示情報の領域Rβ20も同様である。

なお、以上の図５のような提示情報の領域Rα20, Rβ20等を立体的に設定する手法は、AR分野において画像を重畳する技術として周知である。

次に、サーバー4の各部詳細は以下の通りである。

サーバー側再生部42は、配信装置1より配信されるライブ配信コンテンツを受信・再生し、再生された画像及び／又は音声データをサーバー側抽出部43へ出力する。処理すべきライブ配信コンテンツが複数存在する場合、例えば、ある時間帯に野球中継、サッカー中継及び音楽ライブが同時に配信されている場合は、それぞれのコンテンツを同時並行して受信・再生し出力するよう構成されている。

なお、サーバー側再生部42の処理は、複数コンテンツを同時並行で出力可能な点を除いて再生装置2と共通である。また、端末3側では入力部31を介して端末側抽出部33に画像等が入力されるので、その場にあるテレビ等の再生装置2の画面等を撮影等することによるノイズや変動が伴う。これに対して、サーバー4側ではそのような事態は発生せず、サーバー側再生部42にて復号等されたライブ配信コンテンツの映像／音声データがそのまま（伝送エラー等がない限り）、サーバー側抽出部43へ入力される。

サーバー側抽出部43は、サーバー側再生部42から再生された画像及び／又は音声データを入力し、当該画像及び／又は音声データから特徴情報を抽出する。当該抽出された特徴情報は特徴情報記憶部44およびサーバー側送信部48へ出力する。

なお、サーバー側送信部48への特徴情報の出力は、図１ではそのデータの流れを描くのを省略しているが、図４及び図５、あるいは後述する図６の実施形態において、当該出力がなされる。

特徴情報としては、端末側抽出部33と同様に任意の手法を利用できるが、端末側抽出部33と同一種類の特徴情報を利用する。例えば、端末側抽出部33でSIFT特徴量を抽出しているのであれば、サーバー側抽出部43でもSIFT特徴量を抽出する。

特徴情報記憶部44は、サーバー側抽出部43で抽出された特徴情報を一定期間記憶し、照合部45へ出力することで、照合部45における参照に供する。

当該記憶する一定時間は、少なくとも端末3とサーバー4との通信状況によって発生が想定される伝送遅延よりも長く設定することが好ましい。

例えば、図３の例は、このような一定時間の記憶を前提としていた。すなわち、端末3側から送信されたコンテンツAの時刻1における特徴情報A1を照合する処理P3の時点において、サーバー4が抽出している最新の特徴情報はコンテンツの時刻4におけるものであるが、特徴情報A1の照合が成功するためには、過去の時刻1に抽出した特徴情報A1,B1,C1等も削除することなく記憶しておく必要があるという例であった。

サーバー側受信部46は、端末側送信部36の送信した情報すなわち、端末側抽出部33で得られた特徴情報と、必要に応じて送信された利用履歴・ユーザ属性等を含む端末情報と、を受信する。これら受信した情報は照合部45へと出力される。

提示情報記憶部47は、端末3での入力情報に関連付けて提示させるべき情報として提示情報を記憶しておき、照合部45からの要求に応じて、照合部45が特定した端末3の側で視聴されているライブ配信コンテンツに対応する提示情報を照合部45へと出力する。すなわち、提示情報記憶部47では当該時点でライブ配信されている複数のコンテンツの各々（例えばテレビ中継であれば各チャンネル）につき提示情報を記憶しておき、当該複数記憶している提示情報のうち照合部45から要求を受けたものを、照合部45へ向けて返信として出力する。

当該時点におけるライブ配信コンテンツの各々に対して用意される提示情報に関して、端末3のユーザにとってより価値がある、あるいはより効果的な、提示情報の提供を可能とするために、以下のような各実施形態が可能である。

当該各実施形態では、提示情報をより詳細に設定しておくための種々の属性（具体的にはそれぞれ、端末情報、時系列上の経過時刻及び空間的座標など）が追加されることとなるが、照合部45では当該追加された属性をそれぞれ指定することで、対応するより詳細な提示情報を、提示情報記憶部47より取得することとなる。当該各実施形態における提示情報は、対応するライブ配信コンテンツの内容・状況などを十分に把握している、当該コンテンツの配信者（テレビ放送であればテレビ局関係者など）によって、いわばサブコンテンツのような形として、予め準備されることが好ましい。

一実施形態では、サーバー側受信部46にて受信するのと同種の利用履歴・ユーザ属性等を含む端末情報に応じてライブ配信コンテンツに複数の提示情報を設定することもできる。当該実施形態は、ライブ配信コンテンツが映像及び／又は音声の場合に可能である。

例えば、ライブ配信コンテンツが野球中継であれば、ユーザ属性にいずれのチームのファンであるかの情報を含めておき、当該ユーザがファンであるチーム毎の提示情報（当該ファンであるチームの所属選手のインタビュー情報など）を設定しておくことができる。

一実施形態では、提示情報をライブ配信コンテンツの時系列に変化するよう設定しておくことも可能である。すなわち、コンテンツ内の経過時間に応じた提示情報を設定しておくことも可能である。当該実施形態は、ライブ配信コンテンツが映像及び／又は音声の場合に可能である。

例えば、ライブ配信コンテンツが野球中継であれば、各回の表裏の区別、投手対打者の場面、打者が打った後の場面、といったようなシーンごとに、所定の提示情報を設定しておく。また例えば、演劇や音楽のライブであれば、予め設定されライブも実際に概ねこれに即して進行することが予想される、所定のプログラム進行内の各過程に応じて、提示情報を用意しておくことができる。例えば演劇であれば各シーンの解説等を、音楽であれば各曲の解説等を、提示情報として用意しておくことができる。

以上のような時系列上のシーン等の切り替わりの検出は、ライブ配信コンテンツ提供者からその情報を受け取ればよい。例えば野球中継、演劇、音楽に限らず一般のテレビ中継であれば、シーンごとに所定種類のテロップを提供者がライブ編集により重畳することがよくあるが、その際のシーン情報を受け取るようにすればよい。また、このようにコンテンツ提供者によるマニュアル入力を受け取る他にも、予めライブ配信コンテンツに所定のタイムテーブル等が設定されていれば、当該テーブルで定まる所定の切り替わり時刻の情報を用いればよい。

一実施形態では、ライブ配信コンテンツの空間的座標に応じて提示情報を設定することで、被写体ごとに異なる提示情報を提供することが可能となる。当該実施形態は、ライブ配信コンテンツが映像の場合に可能である。

例えば、前述の図４及び図５等は、空間的座標に応じた提示情報を設定しておく例であり、野球中継というライブ配信コンテンツの所定シーンとして投手対打者のシーンにおいて、打者及び投手に所定の座標範囲を与えておき、それぞれ異なる提示情報を提示させた例である。このように、所定のシーン毎に所定の座標範囲をライブ配信コンテンツ提供者が予めテンプレート情報として設定しておき、座標範囲ごとに提示情報を用意しておくことができる。ライブ配信コンテンツ提供者の側では、ライブ編集で重畳するテロップを用意するのと概ね同様にして、このような座標範囲ごとの提示情報を用意しておくことができる。

図４、図５等で説明したように、ライブ配信コンテンツの提供者側において、所定シーンである投手対打者のシーンにおいて、打者領域及び投手領域を予め設定しておくことで、当該シーンの当該各領域からサーバー側抽出部43にて抽出された特徴情報と、当該シーンの当該各領域における提示情報と、をサーバー側送信部48から端末3の側に送信し、端末3において図４、図５等のように領域ごとに提示情報を提示することが可能となる。

なお、この際、打者領域や投手領域といったような、提示情報を定義しておく範囲に加えて、当該範囲を基準として実際に提示情報を提示する位置情報も予め定義して提示情報記憶部47に記憶させておいて端末3の側に送信し、端末3の側では当該位置情報も利用して提示情報を提示させることができる。

図４の例では、提示情報を定義しておく打者領域Rα1を基準として、実際に提示情報を提示するのは領域Rα2であるので、領域Rα1を基準とした位置情報を与えておくことで、領域Rα2を端末3側においても定めることが可能となる。図５の例のように射影変換を利用する場合も全く同様に、空間座標上において相対的な位置情報（相対配置情報）を与えて提示情報記憶部47に記憶させておき、提示部39では当該相対配置情報を用いて提示情報を提示するに際して、射影変換を用いればよい。また、このような相対的な位置情報を利用せず、提示情報を定義しておく範囲をそのまま、提示情報を提示する範囲として用いるようにしてもよい。

照合部45は、特徴情報記憶部44で記憶された特徴情報とサーバー側受信部46で受信した特徴情報を入力し、特徴情報が一致する組み合わせを特定する。特定された組み合わせの尤度に応じて端末3で入力された情報が複数のうちのどのライブ配信コンテンツによるものであるかを決定し、提示情報記憶部47から該当するコンテンツの提示情報を読み込み、端末3の側で提示させるべくサーバー側送信部48へ出力する。

尤度の算出に関しては、利用する特徴情報の種類に応じて周知の手法により算出すればよい。尤度の利用により、端末側抽出部33で抽出した特徴情報にノイズその他の本来のライブ配信コンテンツに由来しないものが混在している場合であっても、特徴情報記憶部44に記憶されている特徴情報の中から一致していると判定できるものを適切に見つけ出すことで、いずれのライブ配信コンテンツを視聴しているかを決定することができる。

図３の例であれば、照合部45は処理P3にて、特徴情報記憶部44で記憶している、当該時点で配信中であるコンテンツA,B,Cの一定時間分の特徴情報A1〜A4、B1〜B4及びC1〜C4（さらに過去まで記憶しておいてもよい）と、端末3側から受信した特徴情報A1と、を照合して、特徴情報記憶部44内で記憶されているものの中から一致しているA1を特定する。当該特定により、端末3の側ではライブ配信コンテンツA,B,CのうちのコンテンツAを視聴しているということが、サーバー4の側において決定されるので、当該コンテンツAに対応する提示情報を照合部45により提示情報記憶部47から読み込んで、サーバー側送信部48に出力する。

照合部45ではまた、一実施形態では、端末3から送信された特徴情報が、当該ライブ配信コンテンツの画面内におけるどの座標範囲を占めているかを決定し、座標に応じた提示情報を選別してもよい。なお、当該一実施形態の前提として、提示情報は図４等で説明したように、予め所定の座標範囲を紐付けて定義されている。

例えば、図４の例は、ライブ配信コンテンツとしての野球中継の画面全体G100が端末3の側において撮影されている例であったが、図６に示すように、端末3のユーザは自身が注目している部分、例えば打者近辺の部分のみを拡大する等した画像G300として撮像することも可能である。このような場合には、画像G300内に写った打者近辺からのみの特徴情報が端末3よりサーバー4へと送信されるので、サーバー4では、当該近辺で定義されている打者に関する提示情報のみを端末3へと送信して図６に示す領域Rα300のように提示させ、投手に関する提示情報の送信は省略するようにしてよい。

すなわち、サーバー4の照合部45では、端末側抽出部33で抽出されて送信された打者近辺のみの画像G300内の特徴情報を、図４の画像G100等に例示したような、当該コンテンツの画面全体から自身がサーバー側抽出部43で抽出した全ての特徴情報との間で照合することで、画面全体であるG100のうち一部分のG300の部分のみを端末3の側では撮像している、ということを知ることができる。

従って、提示情報記憶部47に記憶された画面全体G100に定義されている全ての提示情報の中から、照合部45では当該一部分G300において定義されている提示情報のみを選別して、端末3の側に送るようにすることができる。

サーバー側送信部48は、照合部45で照合した提示情報を入力し、当該提示情報を端末3の端末側受信部38へ送信する。

サーバー側送信部48はまた、以上説明してきた提示部39における提示情報の提示処理の各実施形態において利用される情報を、当該提示情報と合わせて端末側受信部38へと送信する。当該情報にはすなわち、所定領域ごとに定義された提示情報における当該所定領域（座標範囲）の情報、当該所定領域を基準として提示情報を提示するための位置情報、当該所定領域内よりサーバー側抽出部43にて抽出された特徴情報、などが含まれる。

提示情報に更新があった場合、サーバー4の側へ向けて端末側送信部36より特徴情報が送信されない場合でも、当該更新された提示情報を端末へ送信してもよい。すなわち、提示情報が前述のようにコンテンツの時系列に応じて変化するように与えられている場合であって、シーンが切り替わる等で提示情報の変化（すなわち更新）があった場合（ライブ配信コンテンツの経過時間に応じて提示部39で提示させる提示情報を変化させるべき時刻に至った場合）は、端末3側では継続的に同一のコンテンツを視聴しているとの前提のもとで、当該更新された提示情報を端末3の側で提示させるべく、端末3の側に送信するようにしてよい。

ここで、提示部39による提示のタイミングについて、１つの補足を説明する。

すなわち、図４〜図６のような、入力情報内に含まれる打者や投手といった被写体に追従させる形で提示情報を提示する実施形態において、入力部31でリアルタイムに入力される入力情報におけるコンテンツ時刻t_[端末3]と、サーバー4の側から当該追従を可能とするために送信されてきた特徴情報がサーバー側抽出部43で抽出された際のコンテンツ時刻t_{[サーバー4]}とは、一般には一致せず、ズレが生じている。

しかしながら、そのようなズレは微小であり、端末3側のコンテンツ時刻t_[端末3]とサーバー4側のコンテンツ時刻t_{[サーバー4]}との両者の画面内容はほぼ同じであるとの前提のもと、端末3における特徴情報の照合処理が成功することで、図４〜図６のような実施形態が可能となる。すなわち、提示部39ではリアルタイムに映像として配信されているライブ配信コンテンツに対して、提示情報のリアルタイムの重畳処理が可能となる。

あるいは、上記観点からの別実施形態として、提示部39で重畳させる入力部31の入力情報は、当該最新時刻のリアルタイム映像ではなく、端末側抽出部33で対応する特徴情報(サーバー4の側に送信する特徴情報)を抽出した時点の静止画を用いるようにしてもよい。この場合、ユーザ指示でライブ配信コンテンツの画面を静止画として撮影するごとに、当該静止画を対象として提示部39で提示情報を提示させることができる。

以上、本発明によれば、外部に独立して存在しているライブ配信コンテンツの再生装置を2を利用して、ライブ配信コンテンツを端末3に入力するので、端末3のバッテリー消費を抑えることができる。また、ユーザの立場では、撮影及び／又は録音するために、ライブ配信コンテンツに端末3をかざすだけで、ライブ配信コンテンツに関連する情報を提示情報として提供されるようになる。さらに、提示情報の制御に際して、入力されるコンテンツから特徴情報を抽出し、サーバー4が照合によりライブ配信コンテンツを特定するので、端末3の性能に依存せず処理可能なコンテンツ数を増加させることができるとともに、認識精度を高く維持することができる。

5…情報提示システム、3…端末、4…サーバー、31…入力部、33…端末側抽出部、36…端末側送信部、38…端末側受信部、39…提示部、42…サーバー側再生部、43…サーバー側抽出部、44…特徴情報記憶部、45…照合部、46…サーバー側受信部、47…提示情報記憶部、48…サーバー側送信部

Claims (12)

1. ライブ配信コンテンツに関連する情報として提示情報を提示する端末と、当該端末と通信するサーバーとを備える情報提示システムであって、
   前記端末は、
   １つのライブ配信コンテンツを撮像及び／又は録音することによって入力する入力部と、
   前記入力されたライブ配信コンテンツを特定するための特徴情報を抽出する端末側抽出部と、
   前記端末側抽出部で抽出された特徴情報を前記サーバーに送信する端末側送信部と、
   前記サーバーが認識する前記入力されたライブ配信コンテンツ、に関連する情報としての提示情報を、前記サーバーより受信する端末側受信部と、
   前記受信した提示情報を提示する提示部と、を含み、
   前記サーバーは、
   前記端末側送信部より送信された特徴情報を受信するサーバー側受信部と、
   １つ以上のライブ配信コンテンツを再生するサーバー側再生部と、
   前記再生されたライブ配信コンテンツの各々を特定するための特徴情報を抽出するサーバー側抽出部と、
   前記サーバー側抽出部で抽出された特徴情報を記憶する特徴情報記憶部と、
   前記再生されている各ライブ配信コンテンツに関連する情報として、提示情報を記憶する提示情報記憶部と、
   前記記憶された特徴情報と前記サーバー側受信部で受信した特徴情報とを照合することで、当該受信した特徴情報に対応する前記記憶された特徴情報を特定し、前記再生される１つ以上のライブ配信コンテンツのうち、当該特定された特徴情報に対応するライブ配信コンテンツを、前記端末において前記入力されたライブ配信コンテンツであるものとして認識し、当該認識されたライブ配信コンテンツについての提示情報を、前記提示情報記憶部から読み出す照合部と、
   前記読み出された提示情報を前記端末に送信するサーバー側送信部と、を含むことを特徴とする情報提示システム。
2. 前記端末側送信部は、前記端末側抽出部で抽出された特徴情報のデータ量が、当該特徴情報を前記抽出した対象としての、前記入力部が入力する入力情報のデータ量を上回る場合に、当該特徴情報に代えて当該入力情報を前記サーバーへと送信し、
   前記サーバーは、当該送信された入力情報より、前記端末側抽出部と同様にして特徴情報を抽出することを特徴とする請求項１に記載の情報提示システム。
3. ライブ配信コンテンツは映像を含み、前記端末側抽出部及び前記サーバー側抽出部は、前記抽出する特徴情報として、拡大縮小、回転、輝度変化、射影変化のいずれか又はその任意の組み合わせに対して不変な性質を有した画像特徴量を用いる、及び／又は、
   ライブ配信コンテンツは音声を含み、前記端末側抽出部及び前記サーバー側抽出部は、前記抽出する特徴情報として、所定変換による周波数情報の全て又は一部による音声特徴量を用いることを特徴とする請求項１または２に記載の情報提示システム。
4. 前記端末側送信部は、前記端末側抽出部で抽出された特徴情報に加えて、前記端末のユーザにおける当該端末の利用履歴及び／又は当該ユーザの属性を含む端末情報を、前記サーバーへと送信し、
   前記提示情報記憶部では、各種の端末情報に応じた提示情報を記憶しており、
   前記照合部は、前記端末側送信部より送信された端末情報に応じた提示情報を、前記提示情報記憶部から読み出すことを特徴とする請求項１ないし３のいずれかに記載の情報提示システム。
5. ライブ配信コンテンツは映像を含み、
   前記提示情報記憶部では、提示情報を対応するライブ配信コンテンツ内の座標範囲情報と紐付けて記憶し、
   前記照合部では、前記提示情報記憶部より提示情報を、前記紐付いた座標範囲情報と共に読み出し、
   前記提示部では、前記紐付いた座標範囲情報を用いて、前記入力部における映像としての入力情報に重畳させることで、提示情報を提示することを特徴とする請求項１ないし４のいずれかに記載の情報提示システム。
6. 前記サーバー側送信部では、前記紐付いた座標範囲情報の位置において前記サーバー側抽出部より抽出された特徴情報を、前記読み出した提示情報と共に前記端末へ送信し、
   前記提示部では、前記端末側抽出部で抽出された特徴情報の中から、前記送信された特徴情報に合致するものを探索し、前記入力部における映像としての入力情報内における位置を定めることで、当該定まった位置に基づいて提示情報を提示することを特徴とする請求項５に記載の情報提示システム。
7. 前記提示情報記憶部では、提示情報を、対応するライブ配信コンテンツ内の座標範囲情報と、当該座標範囲情報を基準とした、前記提示部にて当該提示情報を提示させる際の空間的な相対配置情報と、紐付けて記憶し、
   前記照合部では、前記提示情報記憶部より提示情報を、前記紐付いた座標範囲情報及び相対配置情報と共に読み出し、
   前記提示部では、前記紐付いた座標範囲情報及び相対配置情報を用いて提示情報を提示することを特徴とする請求項５または６に記載の情報提示システム。
8. 前記提示部では、前記相対配置情報を用いて提示情報を提示するに際して、射影変換を用いることを特徴とする請求項７に記載の情報提示システム。
9. 前記特徴情報記憶部は、前記サーバー側抽出部で抽出された特徴情報を、前記端末側送信部から前記サーバーへの通信における伝送遅延を考慮して定まる一定時間に渡って記憶することを特徴とする請求項１ないし８のいずれかに記載の情報提示システム。
10. 前記提示情報記憶部では、ライブ配信コンテンツにおける経過時間に応じて変化する形で、提示情報を記憶しており、
    前記照合部では、当該経過時間に応じた提示情報を前記提示情報記憶部より読み出すことを特徴とする請求項１ないし９のいずれかに記載の情報提示システム。
11. 前記記憶されている提示情報において、前記ライブ配信コンテンツにおける経過時間に応じて変化する時刻に至った際は、前記端末側送信部より特徴情報が送信されない場合であっても、当該変化した提示情報を、前記サーバー側送信部より前記端末へと送信することを特徴とする請求項１０に記載の情報提示システム。
12. ライブ配信コンテンツは映像を含み、
    前記提示情報記憶部では、提示情報を対応するライブ配信コンテンツ内の座標範囲情報と紐付けて記憶し、
    前記照合部は、前記記憶された特徴情報と前記サーバー側受信部で受信した特徴情報とを照合することで、さらに、前記認識されたライブ配信コンテンツの画面内のうち、前記端末において前記入力部に撮像されている範囲を特定し、当該特定された範囲内に前記座標範囲情報を有する提示情報のみを、前記提示情報記憶部より読み出すことを特徴とする請求項１ないし１１のいずれかに記載の情報提示システム。