JP2016004566A - 提示情報制御装置、方法及びプログラム - Google Patents

Abstract

【課題】 動画像に映っている事象に関連する情報を、動画像に自動的に付与しようとした場合、その事象の展開や状況に応じた情報提示タイミングや内容の制御を行うことができない。【解決手段】 外部からの情報を入力するための入力手段と、前記入力手段で入力された情報の一部である動画像に映っている事象に関連する情報を保持する保持手段と、前記保持手段が保持する情報から判断される事象に応じて情報の適切な提示方法を決める決定手段と、前記決定手段で決められた提示方法で前記事象に関連する情報を前記動画像に合成した映像を作成する合成手段と、を備える。【選択図】 図６

Description

本発明は、提示情報制御装置、方法及びプログラムに関する。

近年、スポーツをテレビなどで観戦する際には文字や画像といった様々なコンテンツが提供されている。具体的な例としては、得点や試合経過、選手名といったものが挙げられる。現在、これらのコンテンツはテレビなどのサービスの提供・作成者が手動で配信画像に付与している。しかし、配信対象の種目の増加やスポーツ以外の日常生活、例えば店舗情報の配信等も対象となり、同時にサービスの種類もスマートフォン等を利用した拡張現実によるコンテンツ提供へと拡大するにつれ、コンテンツを自動的に付与することが考えられている。

このような利用シーンに対し、特許文献１ではユーザ情報と提供されるコンテンツの属性から、ユーザがコンテンツを選択した際に適切なコンテンツを候補内から自動的に出力する方法が提案されている。また特許文献２では、ユーザのプロフィール情報と視聴状況に応じて、提示されるテレビ番組コンテンツそのものを変更する方法が提案されている。またテレビ以外のデバイスにコンテンツを提供する方法として、特許文献３ではスマートフォンなどのコンピューティングデバイスを用いてイベント情報を取得し、そのうちユーザの関心が高いと思われるイベント情報を提示する方法が提案されている。

特開２００４−０１３４２６号公報 特表２００５−５１６４８８号公報 特表２０１２−５１０１１３号公報

しかしながら、上記特許文献１においては、ユーザの入力操作を処理実行のキーとしているため、ユーザ操作以外のきっかけ、例えば観戦中の試合で行われているプレーなどをキーにして処理を実行することができない。特許文献２についても同様であり、リアルタイムで発生している状況を取得する手段を備えていない。また特許文献３においては、予め発生する場所や時間が決まっている情報しか提示できないため、試合展開等に応じて発生するイベント、つまり予め発生が決まっていないイベントを対象とすることができない。

上記の問題を解決するために、本発明は、
外部からの情報を入力するための入力手段と、
前記入力手段で入力された情報の一部である動画像に映っている事象に関連する情報を保持する保持手段と、
前記保持手段が保持する情報から判断される前記事象の状況に応じて情報の適切な提示方法を決める決定手段と、
前記決定手段で決められた提示方法で前記事象に関連する情報を前記動画像に合成した映像を作成する合成手段と、を備える。

本発明によれば、スポーツの試合などの進行状況に応じて提示情報を選択し、かつユーザの視聴の邪魔にならないタイミングでその情報を提示することができる。

本発明の第１の実施形態を適用すべき課題を有するシーンの例を示す模式図である。 本発明の第１の実施形態を適用した結果の例を示す模式図である。 本発明の第１の実施形態に係る提示情報制御装置の概略構成の一例を示す模式図である。 本発明の第１の実施形態における機能構成を示した構成図である。 本発明の第１の実施形態における実世界での装置の配置とデータの流れを示す模式図である。 本発明の第１の実施形態に係る提示情報制御装置における情報制御方法の処理手順の一例を示すフローチャートである。 本発明の第１の実施形態を示し、図６のステップＳ６０５における表示タイミングの判別処理に違いが現れるシーンの一例を表す模式図である。 本発明の第１の実施形態を表し、図６のステップＳ６０５における表示タイミングの判別処理の詳細を示すフローチャートである 本発明の第２の実施形態を適用した結果の例を示す模式図である。 本発明の第２の実施形態を表し、図６のステップＳ６０５における表示タイミングの判別処理の詳細を示すフローチャートである。

以下に、図面を参照しながら、本発明を実施するための形態（実施形態）について説明する。

（第一の実施形態）
本実施形態は、ユーザの観戦している対象の動きの激しさによって提示情報を変更する場合を想定したものである。
図１は、本発明の第１の実施形態を適用すべき課題を有するシーンの例を示す模式図である。ここで、ユーザはテレビ、タブレットなどのスマートデバイスもしくはヘッドマウントディスプレイなどを通してサッカーの試合を観戦しているものとする。
図１（Ａ）に示すユーザが観戦しているシーン１０１は、選手１０２と選手１０３がボールをめぐり激しく競り合いをしているシーンである。そして同時に、選手１０２についての情報１０４が自動的に選択され画面上に表示されている。しかし、このように激しく競り合いをしている、つまり画面上で大きな動きのあるシーンが展開されている場合には、ユーザはそのシーンを集中して見たいと考える。従って情報１０４のような詳細な情報を提示されても、ユーザはこの情報１０４を見ず、むしろ邪魔なものとみなしてしまう。

また、図１（Ｂ）に示すシーン１０５は、選手１０６がほぼ静止しているシーンである。そして同時に、選手１０６についての情報１０７が自動的に選択され画面上に表示されている。このように選手が静止している、つまりシーン１０１とは逆に画面上で動きがあまりないシーンが展開されている場合には、ユーザには様々な情報を受け入れる余裕があると言える。従って、このタイミングでは情報１０７よりも多種多量な情報を提示することができる。そこで、本実施形態により、図１（Ａ）、（Ｂ）はそれぞれ図２（Ａ）、（Ｂ）のような表示になる。

図２は、本発明の第１の実施形態を適用した結果の例を示す模式図である。図２（Ａ）でユーザは、図１（Ａ）と同様に選手２０２と選手２０３が激しく競り合っているシーン２０１を観戦している。しかし、このシーン２０１ではシーン１０１と異なり、自動的に表示する情報は選手２０２の名前２０４と選手２０３の名前２０５のみである。この程度のシンプルな情報であればユーザの観戦の邪魔にならず、本来の目的通り観戦の手助けになる。
一方、図２（Ｂ）は図１（Ｂ）と同様に選手２０７がほぼ静止してシーン２０６を示している。この場合には、シーン１０５と異なり選手２０７についての詳細な情報２０８を表示し、ユーザの観戦の手助けをしている。このように、シーンに応じて提示する情報量を変化させ、ユーザの観戦の手助けもしくは邪魔にならないようにする必要がある。

次に、この実施形態を実現する装置等について詳細に述べていく。
＜概略構成＞
図３は、本実施形態に係る提示情報制御装置の概略構成の一例を示す模式図である。本実施形態に係る提示情報制御装置は、ＣＰＵ３０２、通信装置３０３、記憶装置３０４、ＲＡＭ３０５、ＲＯＭ３０６及びこれらをつなぐＢＵＳ３０７を搭載するサーバ３０１によって構成されている。

ＣＰＵ３０２は、記憶装置３０４に格納されている制御プログラムを実行することにより、サーバ３０１の制御をおこなう。記憶装置３０４としては、ハードディスク、フラッシュメモリ等を用いることができる。サーバ３０１がプログラムを実行することにより、システムは後述するフローチャートに示す各処理を実行するための各種手段として機能する。通信装置３０３は各種外部入力装置からのデータの受け取りと、サーバ３０１内で処理されたデータをユーザの有する端末や外部の中継装置への送信を行う。通信装置３０３は各種外部装置と有線・無線のどちらの方式で接続されていても良い。ＲＯＭ３０６は、処理プログラム等の制御プログラムを記憶する。ＲＡＭ３０５は、各構成要素からの各種データを一時記憶する。また、プログラムを展開し、サーバ３０１によって実行する。

なお、本実施形態では後述するフローチャートの各ステップに対応する処理を、ＣＰＵ３０２を用いてソフトウェアで実現するが、その処理の一部又は全部を電子回路などのハードウェアで実現するようにしても良い。
＜機能構成＞
図４は、本実施形態における機能構成を示した構成図である。サーバ４０１では、まず外部情報入力部４０２が外部の入力装置から送られたデータを受信する。このデータはまず人物識別部４０３に送られ、入力された画像に誰が写っているかを認識する。これは顔認識や背番号の認識などによって行われる。次にこのデータは、事象関連情報保持部４０４に送られる。事象関連情報保持部４０４では、この送られてきたデータのうち、現在観戦しているシーンで起きている事象、例えばプレイヤーの動きや得点の有無といったものに関連する情報のみを保持する。

この保持された情報は、提示情報決定部４０５から呼び出され、ユーザに提示する情報の決定処理に用いられる。映像合成部４０６ではこの提示情報決定部４０５で決定された提示情報を受け取り、それに基づいて基の映像に情報を重畳もしくは合成し、実際にユーザに提供する映像を作成する。この作成された映像は映像送出部４０７に渡され、ここからユーザに配信されていく。

図５は、上記の機能をもつサーバを含む各種装置の実世界における配置を示した図である。サーバ５０５は、フィールド５０１を映しているカメラ（撮像手段）５０２、観客や選手の声、実況アナウンサーの声などを集音しているマイク５０３、インターネット上などから各種情報を集めてくる情報収集ユニット５０４からなる。先述の通りこれらの情報をサーバで受信・処理した後、作成された情報をユーザの持つ重畳表示をできる端末５０６やテレビ５０７に配信する。

図６に示すフローチャートと併せて、上記の動作を説明する。まずステップＳ６０１では、外部情報入力部４０２を用いて各種外部入力装置からの情報を取得する。次にステップＳ６０２に進み、入力された動画像に映っている人物の識別を、人物識別部４０３によって行う。人物の識別後はステップＳ６０３に移り、入力された情報がそれぞれ観戦しているシーンに関連しているかどうかを事象関連情報保持部４０４によって判断する。ここでもし関連情報がなければステップＳ６０１に戻り、次の情報の取得に移る。

保持すべき情報があれば、ステップＳ６０４でこの情報をＲＡＭ３０５に記録する。なお、事象関連情報保持部４０４で記録される情報が人物に関係する情報である場合には、人物識別部４０３で識別された人物情報も併せて記録される。そして、この保持された情報を基にステップＳ６０５は提示情報決定部４０５がユーザに提示する情報を詳細にしてもよいかを判断する。ここで、デフォルトの提示情報は、最低限の情報（例えば名前だけ等）となっていることとする。もしくは、情報を全く提示しないことになっていてもよい。

このステップＳ６０５において、例えば図１（Ａ）のように動きが激しいシーンの場合には、情報を詳細化しないと判断しステップＳ６０７に進む。ステップＳ６０７では映像合成部４０６がステップＳ６０５での判断結果を受け取り、それに基づいてデフォルトの情報を映像に合成・重畳する。
これに対し図１（Ｂ）のように動きがほとんどないシーンでは、情報を詳細化すべきと判断しステップＳ６０６に進む。ステップＳ６０６では映像合成部４０６がステップＳ６０５での判断結果を受け取り、それに基づいて詳細化された情報を映像に合成・重畳する。
合成・重畳が終わるとステップＳ６０８に移り、ステップＳ６０７またはステップＳ６０６で作成した映像を映像送出部４０７によってユーザへと配信する。その結果、図２（Ａ）、（Ｂ）のような映像が配信されることとなる。

＜表示内容を詳細にできるかの判断＞
ここで、ステップＳ６０５での判断処理をより詳細に述べる。
図８（Ａ）〜（Ｃ）は画像特徴量、音声、時間をそれぞれ使用した場合のＳ６０５での処理の詳細を示したフローチャートである。ここで、使用されている特徴はすべてカメラ５０２やマイク５０３、情報収集ユニット５０４の入力から抽出されたものである。次に、各特徴を利用した具体的処理について述べる。

＜画像特徴量に基づく判定＞
例えば画像特徴量の場合には、画像中の各特徴量の一定のフレーム間での移動量を利用する。
具体的には、図７の（Ａ）のシーン７０１のように、画像全体で画像特徴量の移動量７０２が大きい場合には激しい動きがあるものとみなす。一方、図７（Ｂ）のシーン７０３のように、画像特徴量の移動量７０４が小さい場合には、激しい動きはないものとみなす。なお、画像特徴量を取る範囲は画面全体でも人物領域だけでもよい。また特徴量はＳＩＦＴやエッジなど既存のものを使う。

この場合の処理の詳細フローが図８（Ａ）である。まずステップＳ８０１で一定フレーム間の既定特徴量での移動量を算出する。次にステップＳ８０２でその移動量が予め設定された閾値を超えているかどうかを判断する。移動量が閾値未満である場合には、ステップＳ８０３に移り、動きが小さいと判定する。一方、閾値未満ではない場合にはステップＳ８０４移り、動きが激しいと判定する。この結果によって次ステップがＳ６０６、Ｓ６０７のどちらであるか（つまり、表示内容を詳細にできるか否か）が決定される。

＜音声に基づく判定＞
次に、音声を利用する場合の処理フローが図８（Ｂ）である。まずステップＳ８０５においてマイク５０３で取得したデータをサーバ５０５に送信する。このマイク５０３で取得するデータは、主にテレビやラジオの実況・解説の音声であるとする。次にステップＳ８０６で、ステップＳ８０５で取得した音声データの中に、予め「この言葉があれば動きが小さい」と定義されたキーワードがないかを探索する。あった場合には、ステップＳ８０７に移り、動きが小さいと判定する。一方、キーワードがなかった場合には動きが大きいと判定し、ステップＳ８０８に移る。具体的なキーワードの例としては、「ボールが外に出た」、「ファウルを犯した」などが挙げられる。これらのキーワードが実況・解説の音声内に現れた直後にはプレーが止まる事が高い確率で期待されるため、音声を利用した動きの大きさの判定を行うことができる。画像特徴量の場合と同様に、この結果次第で次ステップ（つまり、表示内容を詳細にできるか否か）が決定される。

＜経過時間に基づく判定＞
最後に、経過時間を利用する場合の処理フローが図８（Ｃ）である。まずステップＳ８０９において情報収集ユニット５０４で取得したデータをサーバ５０５に送信する。本実施形態では、サッカーの試合を扱い、判定は試合開始時刻からの経過時間に基づいて行うものとする。次にステップＳ８１０で、ステップＳ８０９で取得したデータの中から、試合開始時刻からの経過時間を抽出する。この経過時間が予め決められた閾値（例えば、４５分間）を越えていればステップＳ８１１に移り、動きが小さいと判定する。一方、経過時間が閾値を越えていなければ、ステップＳ８１２に移り、動きが大きいと判定する。これは例えば、４５分ハーフの試合において閾値を４５分としておけば、試合の経過時間が４５分を越えた後はハーフタイムとなり選手の動きは小さくなることを利用するものである。画像特徴量、音声同様、この結果次第で次ステップが決定される。

以上のような流れでステップＳ６０５の判定がされるが、最終的に動きが大きいか小さいかの判定が行われる形であれば図８のフローチャートはアレンジしても構わない。例えば、キーワードを動きが大きい際のものにしたり、図８（Ｃ）のステップＳ８１２を省き、ステップＳ８１０で経過時間が閾値を越えていないと判断された場合には他の特徴量、例えば画像特徴量を使用して判定するという形にしたりしても構わない。

本実施形態によれば、各種外部入力装置から得たデータをサーバ内部の各機能が処理することにより、ユーザが観戦している対象の動きの激しさによって提示する情報を変更することができる。これにより、スポーツの試合などの事象の進行状況に応じて適切な提示情報を選択し、かつユーザの邪魔にならないタイミングでその情報を提示するように制御することができる。

（第２の実施形態）
本実施形態では、ユーザが観戦している対象に関する活躍具合に応じて提示情報を変更する場合を想定したものである。
なお、以下の第２の実施形態の説明では、第１の実施形態と同様の内容については説明を省略し、第１の実施形態の内容と異なる部分について説明を行う。

第１の実施形態と同じく、図１（Ｂ）のシーンを例として説明を行う。このシーンにおける選手１０６が得点を挙げるなど活躍が目立ってくると、ユーザにはその選手についてより詳細な情報を知りたいという要求が現れてくる。そこで、本実施形態を適用することにより、選手が活躍すると図９のシーン９０１に示すような、選手９０２についてより詳細な情報９０３が表示されるようになる。

図１０は、本実施形態を実現するためのステップＳ６０５の詳細を述べたものである。本実施形態も基本的な処理の流れは図６に示すものになるが、このステップＳ６０５の処理を変更することによって上記の対応を行う。
まず、ステップＳ１００１において、ステップＳ６０４で保持された情報のうち選手が活躍しているかどうかの判断に用いることができる情報を各選手について取得する。本実施形態では、この判断を行う情報として試合中の統計情報、動画像、音声を利用することとする。なお、情報を選手ごとに分類する際には、ステップＳ６０２で取得した人物情報を利用する。
次にステップＳ１００２に移り、ステップＳ１００１で得た情報を比較し、特定の情報が目立っている選手がいないかを判断する。具体的には以下のようにして判断を行う。

＜統計情報を利用する場合＞
まず統計情報を利用する場合である。ここで利用する統計情報とは、各選手のシュート数や得点数、ボール奪取回数など、試合中の各プレーについてカウントもしくは算出されたものである。これらの情報は情報収集ユニット５０４によって取得することができる。活躍している選手は、これらの情報のうち特定の項目について他の選手と顕著に差がついてくる。従って、この差が所定の閾値より大きくなった選手を活躍していると判断し、この選手の情報を中心に詳細化していく。また、どの項目について差がついてきたかに応じて、提示する情報を変更してもよい。例えば、シュート数や得点数が多い選手に関しては、これまでの通算得点数やシュート決定率、ボール奪取回数が多い選手に関してはパスカット率やタックル回数を表示するということである。

＜動画像を利用する場合＞
次に動画像を利用する場合である。この場合は、顔や背番号によって選手を判別し、その選手が表示される回数が多い、あるいは特定のエリア、例えばペナルティエリア内に現れる回数が所定の閾値より多いといったことによって活躍しているかを判断する。この動画像はカメラ５０２から取得する。

＜音声を利用する場合＞
最後に音声を利用する場合である。この場合は、マイク５０３で取得した実況・解説音声に対する認識を行い、音声内で登場する回数が多いかどうかで活躍しているかどうかを判断する。
動画像、音声共に統計情報と同じく表示、登場の仕方に応じて提示する情報を変更してもよい。例えば動画像の場合、敵陣ペナルティエリア内に現れる回数が多ければ攻撃中に目立っている選手である可能性が高いので、攻撃に関する情報を多く提示するようにする。また音声の場合、「カットした」「ブロックした」といった主に守備時に用いられることが多い所定の言葉と共に選手名が現れた場合には、守備で活躍していると判断し、守備に関する情報を多く提示する。

このようにして活躍している選手がいると特定された場合には、ステップＳ１００３に移る。ここでは、その選手が既に活躍していると判断されているかどうかを確認する。まだ活躍していると判断されていない場合には、ステップＳ１００５に移り、デフォルトの状態よりも詳細な情報を提示用に選択する。しかし、既に活躍している、つまり１度以上ステップＳ１００５の処理を行っている選手の場合には、ステップＳ１００４に移り、より詳細な情報を提示することとする。これは例えば、図１（Ｂ）の選手２０７が１回目に活躍しているとステップＳ１００３で判断された場合には、情報１０７から図２の情報２０８に詳細化されるのに対し、２回目以降はより詳細な情報である図９の情報９０３が提示されるということである。
この処理が終わると、ステップＳ１００６に移り、詳細化された回数が選手ごとにカウントされる。この情報は先述のステップＳ１００３における判断に利用される。

本実施形態によれば、各種外部入力装置から得たデータをサーバ内部の各機能が処理することにより、ユーザが観戦している対象の活躍具合によって提示する情報を変更することができる。これにより、スポーツの試合などの事象の進行状況に応じて適切な提示情報を選択し提示するように制御することができる。

（第３の実施形態）
本実施形態は、ユーザが観戦している試合に関する状況に応じて提示情報を変更する場合を想定したものである。
なお、以下の第３の実施形態の説明では、第１、２の実施形態と同様の内容については説明を省略し、第１、２の実施形態の内容と異なる部分について説明を行う。

第１、２の実施形態では人物の状況に応じて提示情報を変更する例を示したが、本実施形態では観戦している試合などのイベントの状況に応じて提示情報を変更する場合を想定する。
例えば、ある大会への出場権をかけた予選リーグの試合を観戦している場合、他の試合の状況に応じて、現在観戦している試合を戦っているチームの出場権獲得条件が変わってくる場合がある。この状況変化をリアルタイムかつ自動的に反映することにより、観戦しているユーザに正確かつ要求に応じた情報を提示することができる。

本実施形態では、図６に示す処理において、まずステップＳ６０１で観戦中の試合を含む関係試合全ての情報や、観戦中の試合が含まれる大会に関する情報を情報収集ユニット５０４から取得し、これらをステップＳ６０４で保存する。そしてステップＳ６０４で保存した情報を用いて、ステップＳ６０５において状況判断を行う。例えば、他の試合において点数が入り観戦中のチームの出場権がなくなる状況になった場合には、ステップＳ６０５でこのことを判断する。そしてステップＳ６０６において、情報を更新すると共に今後どのように各試合の結果が変化すれば出場権がどう変化するかといった情報を選択し、ステップＳ６０８でその情報をユーザに送信する。

本実施形態によれば、各種外部入力装置から得たデータをサーバ内部の各機能が処理することにより、ユーザが観戦している試合に関する状況に応じて提示情報を変更することができる。これにより、スポーツの試合などの事象の進行状況に応じて適切な提示情報を選択し提示するように制御することができる。

（第４の実施形態）
本実施形態は、ユーザが気に入っている人物、チームの情報を利用して提示情報を変更する場合を想定したものである。
なお、以下の第４の実施形態の説明では、他の実施形態と同様の内容については説明を省略し、他の実施形態の内容と異なる部分について説明を行う。
ユーザによっては、特に応援している選手やチームがいる場合がある。この場合、ユーザはその選手やチームの情報を重点的に得たいと考えることが多い。そこでこの「応援している選手は誰か」や「応援しているチームはどのチームか」という情報を利用することによって、提示情報を変更することができる。
本実施形態では、まずユーザの使用しているテレビや各種デバイス、あるいは観戦サービスに、各ユーザお気に入りの選手やチームを登録しておく。そして実際の観戦時には、図６のステップＳ６０１においてこの登録されたお気に入り情報を情報収集ユニット５０４から取得し、ステップＳ６０４で保存する。そしてステップＳ６０４で保存した情報を用いて、ステップＳ６０５において提示情報を変更すべき選手やチームの判断を行う。そしてステップＳ６０６において、対象の選手やチームの情報を変更し、ステップＳ６０８でその情報をユーザが見ている端末５０６などに送信する。

本実施形態によれば、各種外部入力装置から得たデータをサーバ内部の各機能が処理することにより、ユーザが気に入っている人物、チームの情報を利用して提示情報を変更することができる。これにより、スポーツの試合などの事象の進行状況に応じて適切な提示情報（応援している選手が個人タイトルを取るための条件や、応援しているチームが決勝トーナメントへ進むための条件など）を選択して提示するように制御することができる。

（その他の実施形態）
その他の実施形態として、以下のものが挙げられる。
ここまでは第１〜４の実施形態をそれぞれ独立に扱う形で説明したが、これらを組み合わせて実施することも可能である。例えば、第１の実施形態により提示タイミングを決めた後、第２の実施形態を実施することにより提示内容をより正確に決めることもできる。
以上により、ユーザの邪魔にならないタイミングで事象の進行状況に応じたより適切な提示情報を選択し提示することができる。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

３０１ サーバ、３０２ ＣＰＵ、３０３ 通信装置、３０４ 記憶装置、３０５ ＲＡＭ、３０６ ＲＯＭ、３０７ ＢＵＳ、
４０１ サーバ、４０２ 外部情報入力部、４０３ 人物識別部、４０４ 事象関連情報保持部、４０５ 提示情報決定部、４０６ 映像合成部、４０７ 映像送出部

Claims (8)

1. 外部からの情報を入力するための入力手段と、
   前記入力手段で入力された情報の一部である動画像に映っている事象に関連する情報を保持する保持手段と、
   前記保持手段が保持する情報から判断される前記事象の状況に応じて情報の適切な提示方法を決める決定手段と、
   前記決定手段で決められた提示方法で前記事象に関連する情報を前記動画像に合成した映像を作成する合成手段と、を備えることを特徴とする提示情報制御装置。
2. 前記動画像に映っている事象に関連する情報が、
   前記動画像から得られる特徴量、前記動画像の撮像とともに集音される音声、前記事象の開始時刻からの経過時間、又は前記事象に関連する統計情報の少なくとも１つを含んでいることを特徴とする、請求項１に記載の提示情報制御装置。
3. 前記決定手段は、前記提示方法として、ユーザに情報を提示するタイミングを決めることを特徴とする、請求項１又は２に記載の提示情報制御装置。
4. 前記決定手段は、前記保持手段の情報から、前記事象の進行が止まっている又は動きが小さいと判断されるときを、ユーザに情報を提示するタイミングであると決めることを特徴とする、請求項１乃至３のいずれか１項に記載の提示情報制御装置。
5. 前記決定手段は、前記提示方法として、前記タイミングで提示する情報の内容を決定することを特徴とする、請求項１乃至４のいずれか１項に記載の提示情報制御装置。
6. 前記決定手段は、前記保持手段の情報から、時間の経過と共に所定の閾値より大きな変化をした情報又は所定の言葉を含む情報に関連する詳細な情報を提示することを特徴とする、請求項１乃至５のいずれか１項に記載の提示情報制御装置。
7. 外部からの情報を入力するための入力工程と、
   前記入力工程で入力された情報から、前記動画像に映っている事象に関連する情報を選択し保持する保持工程と、
   前記保持工程で保持された情報から判断される前記事象の状況に応じて情報の適切な提示方法を決める決定工程と、
   前記決定工程で決められた提示方法で前記事象に関連する情報を前記動画像に合成した映像を作成する合成工程と、を備えることを特徴とする提示情報制御方法。
8. コンピュータを、請求項１乃至６のいずれか１項に記載された提示情報制御装置の各手段として機能させるためのプログラム。