JP2015070423A - 映像配信システム、映像生成装置及び映像再生装置並びにプログラム - Google Patents

Abstract

【課題】付加情報を付加した動画情報を生成し、動画を再生する際に付加情報提示する平蔵は維新システムを提供すること。【解決手段】映像生成装置と、映像再生装置とを備える映像配信システムであって、映像生成装置は、取得した付加情報に基づいてバーコードを生成するバーコード生成手段と、動画情報のフレームに、動画情報のフレームの時刻に対応する時刻に取得した付加情報を含むバーコードを重ね合わせた付加情報付き動画情報を生成する付加情報付き動画情報生成手段と、を備え、映像再生装置は、付加情報付き動画情報に基づいて、動画を表示部に表示する動画再生手段と、付加情報付き動画情報のフレーム毎のバーコードを認識して、付加情報を読み出すバーコード認識手段と、読み出した付加情報を提示する付加情報提示手段と、を備える映像配信システム。【選択図】図１

Description

本発明は、付加情報を付加した動画情報を生成して付加情報を提示する映像配信システム、映像配信システムを構成する映像生成装置及び映像再生装置並びにプログラムに関する。

近年、情報を伝達するために様々な手段が用いられるようになってきており、情報を伝達する際の利便性を高めている。例えば、無線乃至有線のネットワーク等に基づいて情報を送受信する情報伝達手段や、情報をコード化してコードを読み取ることにより情報を伝達する情報伝達手段が活用されている。

伝達する情報のうち動画情報を伝達するに際して、テレビ放送の他にも通信回線のブロードバンド化に伴いインターネットを介する動画配信によって情報が伝達されることが多くなっている。このような動画情報の伝達する方法として、例えば特許文献１には、ビデオパケットの他に付加情報のパケットを含めることで、動画情報の他に付加情報を付して情報を伝達する方法が開示されている。

特開２００１−２５１５６５号公報

しかしながら、上述した方法においては、付加情報を伝達するために付加情報のパケットを含めるため、動画情報の伝達のみを行う伝送方式とは異なる伝送方式を採用して情報を送信しなければならなかった。そのため、動画を配信する事業者の協力がなければ付加情報を伝達することができず、コンテンツ制作者が手軽に動画に付加情報を付加することができなかった。
また、付加情報が動画情報の時系列的な変化に伴って刻々と変化するような場合に、パケットから取り出した付加情報をどのようなタイミングで表示するか同期を取らなければならず、特に付加情報が動画情報とは異なる手段で配信される場合に同期を取ることが煩雑であるという問題もあった。
そこで、従来の動画情報の伝送方式とは異なる伝送方式を採用しなくとも付加情報を送信することができ、付加情報を表示するに際して複雑な同期を取る必要のないシステムが望まれていた。

本発明は、このような課題に鑑みてなされたものであり、従来の動画情報の伝送方式とは異なる伝送方式を採用しなくとも付加情報を送信することができ、付加情報を表示するに際して同期を取る必要のない映像配信システム、映像生成装置及び映像再生装置並びに映像配信プログラムを提供することを目的とする。

（１） 映像生成装置と、映像再生装置とを備える映像配信システムであって、映像生成装置は、取得した付加情報に基づいてバーコードを生成するバーコード生成手段と、動画情報のフレームに、前記バーコードのうち、動画情報のフレームの時刻に対応する時刻に取得した付加情報に基づいて生成されたバーコードを重ね合わせた付加情報付き動画情報を生成する付加情報付き動画情報生成手段と、を備え、映像再生装置は、前記付加情報付き動画情報に基づいて、動画を表示部に表示する動画再生手段と、前記付加情報付き動画情報のフレーム毎のバーコードを認識して、付加情報を読み出すバーコード認識手段と、前記読み出した付加情報を提示する付加情報提示手段と、を備える映像配信システム。

（２） 前記付加情報付き動画情報生成手段は、重ね合わせるフレームの色に適合するようにバーコードの色を変えて、バーコードを重ね合わせた付加情報付き動画情報を生成する、（１）に記載の映像配信システム。

（３） 前記映像生成装置の前記バーコード生成手段は、複数の付加情報を対応したエンコード規則に基づく付加情報に変換して、変換した付加情報に基づいてバーコードを生成し、前記映像再生装置は、読み出した付加情報を、前記エンコード規則に対応するデコード規則に基づいてデコードするデコード手段をさらに備え、前記付加情報提示手段は、前記デコード規則に基づきデコードした付加情報に基づいて前記複数の付加情報のうちいずれかの付加情報を提示する、（１）又は（２）に記載の映像配信システム。

（４） 取得した付加情報に基づいてバーコードを生成するバーコード生成手段と、動画情報のフレームに、動画情報のフレームの時刻に対応する時刻に取得した付加情報を含むバーコードを重ね合わせた付加情報付き動画情報を生成する付加情報付き動画情報生成手段と、を備える映像生成装置。

（５） 取得した付加情報に基づいてバーコードを生成するバーコード生成ステップと、動画情報のフレームに、動画情報のフレームの時刻に対応する時刻に取得した付加情報を含むバーコードを重ね合わせた付加情報付き動画情報を生成する付加情報付き動画情報生成ステップと、をコンピュータに実行させるプログラム。

（６） 付加情報付き動画情報に基づいて、動画を表示部に表示する動画再生手段と、付加情報付き動画情報のフレーム毎のバーコードを認識して、付加情報を読み出すバーコード認識手段と、読み出した付加情報を提示する付加情報提示手段と、を備える映像再生装置。

（７） 付加情報付き動画情報に基づいて、動画を表示部に表示する動画再生ステップと、付加情報付き動画情報のフレーム毎のバーコードを認識して、付加情報を読み出すバーコード認識ステップと、読み出した付加情報を提示する付加情報提示ステップと、をコンピュータに実行させるプログラム。

本発明によれば、従来の動画情報の伝送方式とは異なる伝送方式を採用しなくても付加情報を送信することができ、コンテンツ作成者は容易に動画以外の情報を付加してコンテンツを提供することができる。

映像配信システムの構成を示す図である。 映像配信システムの機能的構成を示す図である。 記憶部の動画記憶手段及び付加情報記憶手段を示す図である。 記憶部の規則情報記憶手段を示す図である。 映像配信システムの利用例の一例を示す図である。 映像配信システムの利用例の一例を示す図である。 映像配信システムの利用例の一例を示す図である。 映像配信システムの利用例の一例を示す図である。 進捗状況管理システムの処理の流れを示すフローチャートである。 進捗状況管理システムの処理の流れを示すフローチャートである。

［本発明の実施形態］
以下、本発明の実施形態について図面を参照して説明する。

［映像配信システム１００の構成］
図１を参照して、本発明の映像配信システム１００は、付加情報を付加した動画情報を生成する映像生成装置１０と、映像生成装置１０から動画情報を受信して、動画情報の送信を要求する端末に動画情報を送信する映像配信装置４０と、動画情報を再生するとともに付加情報を表示する映像再生装置５０ａ・・・５０ｎとを含んで構成される。

映像生成装置１０は、付加情報を付加した動画情報を生成することを目的とするものであり、後述の図２に示す各種演算処理を行う制御部１１や各種情報を記憶する記憶部１２に加え、キーボードやタッチパネル等により実現される入力部及びディスプレイによる表示部を備えた汎用パーソナルコンピュータである。このような映像生成装置１０は、各種プログラムがインストールされており、制御部１１がこれらプログラムに従い動作することで、付加情報を付加した付加情報付き動画情報を生成する機能を発揮する。本実施形態において、映像生成装置１０は、各種外部情報を取得するセンサ２０から各種外部情報を付加情報として入力を受け付けるとともに、動画を撮影する撮像装置３０から動画情報を受け付けて、受け付けた付加情報及び動画情報に基づいて付加情報付き動画情報を生成する。

映像配信装置４０は、映像の配信を目的としたものであり、各種演算処理を行う制御部（図示しない）や各種情報を記憶する記憶部（図示しない）に加え、キーボードやタッチパネル等により実現される入力部及びディスプレイによる表示部（図示しない）を備え、クライアントから映像取得要求に応じて映像を配信するサーバコンピュータである。本実施形態においては、映像生成装置１０から付加情報付き動画情報を受け付ける他、付加情報が付加されていない動画情報も受け付けて記憶し、後述する映像再生装置５０からの映像取得要求に応じて付加情報付き動画情報を含む動画情報を映像再生装置５０に送信する。
なお、本実施形態においては、映像配信装置４０を介して動画情報を配信するものであるが、必ずしも映像配信装置４０を設けなくてもよく、映像生成装置１０と映像再生装置５０ａ・・・５０ｎとが直接通信することによって動画情報を配信してもよい。

映像再生装置５０ａ・・・５０ｎは、取得した付加情報付き動画情報に基づき、動画を再生するとともに、付加情報を表示する端末装置である。映像再生装置５０ａ・・・５０ｎは、後述の図２に示す各種演算処理を行う制御部５１や各種情報を記憶する記憶部５２に加え、キーボードやタッチパネル等により実現される入力部及びディスプレイによる表示部５３を備えた汎用パーソナルコンピュータやいわゆるスマートフォン等の携帯端末である。このような映像再生装置５０ａ・・・５０ｎは、各種プログラムがインストールされており、制御部がこれらプログラムに従い動作することで、動画を再生するとともに付加情報を表示する付加情報表示機能を発揮する。
本実施形態では、例えば、映像再生装置５０ａは閲覧者Ａにより用いられ、映像再生装置５０ｂは閲覧者Ｂにより用いられることになる。もちろん映像再生装置５０ａ・・・５０ｎは、一人の閲覧者が一台の映像再生装置を用いるだけでなく、一人の閲覧者が複数の映像再生装置を用いることとしてもよい。なお、映像再生装置５０ａ・・・５０ｎの機能的構成は、基本的に同一であるため、以下単に「映像再生装置５０」と呼ぶことがある。

これら映像生成装置１０、映像配信装置４０及び映像再生装置５０は、所定のネットワーク回線により接続され、付加情報付き動画情報の配信のために付加情報付き動画情報の送受信を行っている。

［映像生成装置１０の機能的構成］
続いて、付加情報付き動画情報を生成する機能を発揮するための映像生成装置１０の機能的構成を、図２を参照して説明する。付加情報付き動画情報を生成する機能の発揮に際して、映像生成装置１０の制御部１１は、付加情報取得手段１１１と、動画情報取得手段１１２と、バーコード生成手段１１３と、付加情報付き動画情報生成手段１１４と、動画情報送信手段１１５とが機能する。また、記憶部１２には、付加情報記憶手段１２１と、動画情報記憶手段１２２と、規則情報記憶手段１２３とが設けられる。

付加情報取得手段１１１は、センサ２０から各種外部情報を取得して、外部情報が生じた時刻と関連付けて付加情報として付加情報記憶手段１２１に記憶する。また、本実施形態においては、センサ２０が複数ある場合に、付加情報取得手段１１１は、取得したセンサ２０の識別情報であるハードＩＤと関連付けて付加情報を記憶してもよい。

動画情報取得手段１１２は、撮像装置３０から動画情報を取得して、動画の撮影時刻及び動画のフレーム数／秒（ｆｐｓ）を関連付けて動画情報記憶手段１２２に記憶する。
ここで、動画情報とは、連続した静止画像（フレーム）からなるものであって、連続して変化する静止画像（フレーム）を高速に切り替え続けることによって、人間の視覚には静止画が動いているように見えるものをいい、連続して変化する静止画像（フレーム）を高速に切り替え続けることを、動画を再生するという。

ここで、図３を参照して、付加情報記憶手段１２１及び動画情報記憶手段１２２について説明する。付加情報記憶手段１２１及び動画情報記憶手段１２２は、映像生成装置１０の記憶部１２の一領域に設けられている。

付加情報記憶手段１２１は、センサから取得した情報であって付加情報となる「センサ情報」から構成されている。また、本実施形態においては、付加情報記憶手段１２１は、付加情報を特定する識別情報である「ＩＤ」と、付加情報をセンサにおいて取得した時刻を示す「時刻」と、付加情報を取得したセンサを特定する識別情報である「ハードＩＤ」とが、「センサ情報」と関連付けて記憶されるように構成されてよい。なお、動画情報記憶手段１２２は、必ずしも映像生成装置１０自身に持たせる必要はなく、映像生成装置１０がアクセス可能であればよい。
例えば、ＩＤが０００１の行には、（ｘ１，ｙ１，ｚ３）という特定人物の骨格の座標位置を示す情報である「センサ情報」と、２０１３／９／１ １３：００：００：００という「時刻」と、センサ情報を取得したデバイスを示すＡ０１（頭）という、頭の座標を取得するデバイスの「ハードＩＤ」とが記憶されている。

動画情報記憶手段１２２は、動画情報を構成する情報が記憶される「動画ファイル」から構成されている。また、本実施形態においては、動画情報記憶手段１２２は、動画情報を特定する識別情報である「ＩＤ」と、動画情報が撮影された時刻を示す「時刻」と、一秒あたりのフレーム数を示す「フレーム数／秒」とが、「動画ファイル」と関連付けて記憶されるように構成されてよい。なお、動画情報記憶手段１２２は、必ずしも映像生成装置１０自身に持たせる必要はなく、映像生成装置１０がアクセス可能であればよい。
例えば、ＩＤが０１の行には、０１.mpegという「動画ファイル」と、２０１３／９／１ １３：００：００：００という「時刻」と、２５ＦＰＳという「フレーム数／秒」が記憶されている。
なお、付加情報記憶手段１２１及び動画情報記憶手段１２２は、ハードディスク上のデータベースに記憶されてもよいし、メモリ上に記憶されてもよい。なお、動画情報が撮影直後に配信されるような又は動画情報が撮影しながら配信するような、いわゆるリアルタイム配信を行う場合には、メモリ上に記憶されることが望ましい。

図２に戻り、バーコード生成手段１１３は、付加情報記憶手段１２１に記憶した付加情報に基づいてバーコードを生成する。
具体的には、バーコード生成手段１１３は、動画情報記憶手段１２２から動画情報の撮影開始時刻及びｆｐｓを読み出し、付加情報記憶手段１２１から動画情報のフレームが対応する時刻の付加情報を読み出してもよい。そして、バーコード生成手段１１３は、読み出した付加情報を、規則情報記憶手段１２３から読み出したエンコード規則に基づいて、連続した数字のみからなる付加情報に置き換えてもよい。さらに、バーコード生成手段１１３は、置き換えた付加情報に基づいてバーコードを生成してもよい。
ここで、エンコード規則とは、数字のみに置き換えられた付加情報がどのような意味を有するかを特定する情報をいう。
なお、動画情報のフレームと付加情報との対応は、フレームの時刻と付加情報の取得時刻が必ずしも完全に一致していなくてもよく、例えば、フレームの時刻と一致する時刻の付加情報がなければ、バーコード生成手段１１３は、改めてバーコードを生成しなくてもよい。そして、後述の付加情報付き動画情報生成手段１１４は、従前のバーコードを動画情報のフレームと合成するようになっていてもよい。

なお、ここで、バーコードとは、横方向にしか情報を持たない一次元バーコード及びに水平方向と垂直方向に情報を持つ表示方式の二次元コードのことをいい、付加情報の種類によって適宜適切なものが採用される。そして、二次元コードは、例えば、ＱＲコード（登録商標）、マイクロＱＲコード（登録商標）、ＳＰコード、ベリコード、マキシコード、ＣＰコード、ＤａｔａＭａｔｒｉｘ、ＤａｔａＭａｔｒｉｘＥＣＣ２００、Ｃｏｄｅ１、ＡｚｔｅｃＣｏｄｅ、インタクタコード、カードｅ、ＰＤＦ４１７、マイクロＰＤＦ４１７、Ｃｏｄｅ４９、Ｃｏｄｅ１６ｋ、Ｃｏｄａｂｌｏｃｋ、ＳｕｐｅｒＣｏｄｅ、Ｕｌｔｒａ
Ｃｏｄｅ、ＲＳＳＣｏｍｐｏｓｉｔｅ、ＡｚｔｅｃＭｅｓａ等をいう。

ここで、バーコードは、動画情報を構成するフレーム毎にフレームの時刻に対応する時刻の付加情報に基づいて生成されるため、フレーム毎にそれぞれ異なった付加情報が生成される。このように、フレーム毎にそれぞれに付加情報に基づくバーコードを生成する理由を説明する。
バーコードは、表現できる情報量が限られており、例えば、二次元コードのＱＲコード（登録商標）であれば、数字のみに基づく場合は最大７０８９文字までに限られるし、漢字・かな(Ｓｈｉｆｔ＿ＪＩＳ)に基づく場合は最大１８１７文字までに限られている。
また、動画情報を構成するフレームは、動画が配信される過程や再生する過程において間引きされるおそれがある。
そのため、付加する情報を、表現できる情報量が限られているバーコードによっても極力多くし、また、動画のフレームが間引かれた場合にも極力正確に付加情報を表現できるようにするために、フレーム毎にバーコードを生成する。

ここで、図４を参照して、規則情報記憶手段１２３について説明する。図４（ａ）には、映像生成装置１０の記憶部１２に設けられた規則情報記憶手段１２３が示されている。規則情報記憶手段１２３は、規則情報を特定する識別情報である「ＩＤ」と、規則を定義する情報が記憶される「エンコード規則」と、規則を適用した付加情報付き動画の識別情報が記憶される「対象動画」とから構成される。エンコード規則によってエンコードされた付加情報は、エンコード規則に基づくデコード規則が映像再生装置５０に配布され、デコード規則に基づいて付加情報をデコードする。
なお、規則情報記憶手段１２３は、必ずしも映像生成装置１０自身に持たせる必要はなく、映像生成装置１０がアクセス可能であればよい。
例えば、ＩＤが００２の行には、Ａ１の頭のＸ座標→１−３桁、Ａ１の頭のＹ座標→４−６桁、Ａ１の頭のＺ座標→７−９桁、Ａ２の頭のＸ座標→１０−１２桁・・・という、エンコード規則と、０２というエンコード規則が適応された付加情報付き動画情報を特定する「対象動画」が記憶されている。
なお、この例は、一つのバーコード内に、複数のセンサに対応した付加情報を含ませる例となっている。このような複数のセンサに対応した付加情報は、映像再生装置５０においてデコードする場合には、Ａ１に対応したデコード規則に基づいてデコードする場合（図４（ｂ）のＩＤ「０１」のデコード規則）には、Ａ１の付加情報のみがデコードされて後述の情報提示手段５１５で提示されるようになっている。また、Ａ２に対応したデコード規則に基づいてデコードする場合（図４（ｂ）のＩＤ「０２」のデコード規則）には、Ａ２の付加情報のみがデコードされて後述の情報提示手段５１５で提示されるようになっている。

付加情報付き動画情報生成手段１１４は、生成したバーコードを動画情報のフレームに重ね合わせて付加情報付き動画情報を生成する。
具体的には、動画情報のフレームに、フレームの時刻に対応する、生成したバーコードを重ね合わせて、重ね合わせたフレームをキャプチャーすることにより、付加情報付きのフレームを生成する。そして、生成したフレームに基づいて、付加情報付き動画情報を生成する。なお、付加情報付き動画情報生成手段１１４は、必ずしも動画情報のフレーム毎にそれぞれ異なるバーコードを重ね合わせるわけではなく、付加情報が変化しない場合には従前のフレームと同一のバーコードが重ね合わせられるようになっていてもよい。

このように、動画情報のフレームと付加情報に基づくバーコードとを時刻に基づいて対応させる必要性について説明する。動画情報は、従来、テレビ放送網を通じて伝達され、また、近年では、インターネット回線を通じてストリーミング方式による動画配信サービスによって動画情報が伝達されるようになってきている。そして、動画配信サービスの普及により、動画情報は、多様な発信者によって提供されるようになってきている。
発信者の多様性が増すにつれ、動画情報に動画情報以外の様々な情報を付加したいという要望が多くなってきている。しかしながら、テレビ放送によって動画情報を伝達する場合はもとより、インターネット回線を通じて提供される場合にも、動画情報以外に付加的な情報を伝達するためには、テレビ事業者や動画配信サービスの提供者が付加的な情報を伝送するための伝送方式を採用する必要があり、発信者が自由に付加的な情報を伝達することができなかった。また、動画情報に含まれる一領域のピクセルによって、付加的な情報を表現して伝達することや電子透かしの技術によって情報を伝達することも考えうるが、テレビ事業者や動画配信サービスの提供者が動画を配信する際に動画情報の容量を圧縮するために、動画情報のピクセルやフレームを削減する等の加工が行われた場合に、ピクセル一つずつに情報が付されていると付加的な情報が破損するおそれがある。
そこで、本発明は、動画情報の伝送方式に特に変更をせずとも、バーコードのつぶれない範囲であれば付加情報を伝達することができる。即ち、本発明は、動画を低ビットレートにする等画質変化にも耐性の強い情報伝達をすることができ、付加情報を動画情報に付加して確実に伝達することができる手段を備えたものである。

なお、本実施形態において、付加情報付き動画情報生成手段１１４は、生成したバーコードを動画情報に重ね合わせる際に、フレーム全体の色に適合するように、バーコードの色を変換し変換したバーコードを重ね合わせる構成を備えてもよい。ここでいう、「フレーム全体の色に適合するように」とは、フレーム全体の色に近い色値によってバーコードを表することをいう。
付加情報着き動画情報生成手段１１４は、例えば、動画情報に含まれるフレームの全ピクセルについてＲＧＢ値の中央値を取り、中央値のＲＧＢ値を基準として明暗２色がバーコードとして読取可能な値になるまで白色度を上下させて、明るい色と暗い色とを生成させる。バーコードのＲＧＢの変換は、フレーム毎に行われ、フレーム毎に異なる色のバーコードが生成される。
明暗２色がバーコードとして読取可能な範囲とは、本実施形態においては、ＱＲコード（登録商標）では、明るい色と暗い色との明暗の２色によって表現されており、明暗２色のコントラストが６０％以上あって、明るい色の白色度が８５％以上あるようになっている。

このように、動画情報に含まれるフレーム毎に、バーコードの色を変化させる必要性について説明する。バーコードがフレーム毎に付加されるが、バーコードは、白黒の色から構成されているため、フレーム全体が多彩な色から構成されている場合には、バーコードとバーコード以外の部分のフレームとは異質なものであり、閲覧者によってはバーコードがフレーム中に存在することによって、違和感を覚えることがある。
そのため、本実施形態においては、フレームにおいて閲覧者に与える違和感をできる限り少なくするために、バーコードの色を変化させるようになっている。もっとも、動画によってはそれぞれのフレーム毎に全く異なる色調であることがあり、そのような場合には動画全体で同一の色のバーコードとするとフレームによっては閲覧者に与える違和感が大きくなるため、フレーム毎に適合する色のバーコードを生成する。

また、動画情報に重ねあわせるバーコードは、一つのフレームに一つのバーコードであってもよいが、一つのフレームに複数のバーコードを重ね合わせてもよい。複数のバーコードを設ける場合には、バーコードそれぞれに共通する付加情報が含まれてもよいし、異なる付加情報（異なるセンサ由来の情報）のみが含まれていてもよい。

動画情報送信手段１１５は、生成した付加情報付き動画情報を、映像配信装置４０に送信する。

［映像再生装置５０の機能的構成］
続いて、付加情報表示機能を発揮するための映像再生装置５０の機能的構成を説明する。付加情報表示機能の発揮に際して、映像再生装置５０の制御部５１は、動画受信手段５１１と、動画再生手段５１２と、バーコード認識手段５１３と、デコード手段５１４と、情報提示手段５１５とが機能する。また、記憶部５２には、動画情報記憶手段５２１と、規則情報記憶手段５２２とが設けられる。

動画受信手段５１１は、閲覧者からの所定の操作を受け付けて映像配信装置４０から付加情報付き動画情報を受信する。

動画再生手段５１２は、付加情報付き動画情報を受信したことに応じて受信した付加情報付き動画情報に基づいて動画を再生して表示部に表示する。

バーコード認識手段５１３は、再生した付加情報付き動画情報のバーコードが含まれる部分を認識して、数字のみに置き換えられた付加情報を読み出す。具体的に、バーコード認識手段５１３がバーコードを認識するには、付加情報付き動画情報のうち予め定められた領域をバーコードのある領域として認識してもよく、付加情報付き動画情報のうち閲覧者による領域の選択を入力部から受け付けたことによって認識してもよく、付加情報付き動画情報のうちバーコードのある領域を自動的に認識してもよい。

ここで、図５を参照して、映像再生装置５０が付加情報付き動画情報を再生する利用例を説明する。図５は、ある観光地の風景が再生されている動画であって、再生されている動画には、複数のバーコードが表示されている。このような付加情報付き動画情報のバーコードには、再生された風景のそれぞれの場所に設置されたセンサに基づく付加情報が付加されている。
図５で動画を再生している映像再生装置５０はタブレット端末として構成されており、閲覧者は表示されたバーコードの領域を、映像再生装置５０の表示部上のタッチパネルを操作して選択する。映像再生装置５０は、バーコードの選択を受け付けて、後述のデコード手段５１４及び情報提示手段５１５の処理を経て、そのバーコードに対応する音声が再生されるようになっている。
そのため、閲覧者は、観光地の風景の動画のうち興味のある場所の近くのバーコードを選択することによって、選択したバーコードの音声が再生されて興味のある場所の近くの雰囲気を感じとることができ、一つの動画によっても複数の付加情報の提示を受けることができる。

図２に戻り、デコード手段５１４は、規則情報記憶手段５２２から再生した付加情報付き動画情報に対応するデコード規則を読み出して、数字のみに置き換えられた付加情報をデコードする。デコードされる付加情報は、映像生成装置１０でエンコードする前の付加情報と同一の付加情報でなくてもよく、エンコードする前の付加情報の一部分のみがデコードされるようになっていてもよい。
規則情報記憶手段には、図４（ｂ）に示すように、コンテンツ作成者等から予め配布されたデコード規則が記憶されており、このようなデコード規則に基づいて付加情報がデコードされる。

図６は、所定のアイドルユニットが公演したライブの動画に、それぞれ個別のアイドルの動きを付加情報として付加された付加情報付き動画情報が映像再生装置５０で再生されている表示部を示している。
映像再生装置５０を有する閲覧者甲は、付加情報付き動画情報に基づいて動画をそのまま再生することによってライブの映像を楽しむとともに、映像再生装置５０の規則情報記憶手段５２２には、アイドルユニットのうちで最も興味のあるアイドルＡ１についてのデコード規則が予めダウンロードして記憶されているため、後述の情報提示手段５１５によって、閲覧者甲が興味のあるアイドルＡ１の動きを別途閲覧することができる。また、映像再生装置５０を有する閲覧者乙は、閲覧者Ａと同一の付加情報付き動画情報に基づいて動画を再生するとともに、規則情報記憶手段５２２には、アイドルＡ２についてのデコード規則が予めダウンロードして記憶されているため、後述の情報提示手段５１５によって閲覧者乙が興味のあるアイドルＡ２の動きを別途閲覧することができる。
即ち、付加情報付き動画情報のフレームには、一つのバーコードが表示されるようになっているが、このバーコードには、複数の人物由来の付加情報が含まれている。そして、それぞれの閲覧者毎に異なるデコード規則を適用することによって、閲覧者の好みのアイドルの付加情報を閲覧することができる。

情報提示手段５１５は、デコードした付加情報に基づいて、付加情報付き動画情報に基づいて動画を再生するとともに、デコードした付加情報に基づいて付加情報を提示する。ここで、「提示する」とは、表示部に表示するような視覚的なものに限らず、人間の五感に働きかけるものであればよく、例えば、音声を再生することもここでいう「提示する」に含まれる。具体的に、情報提示手段５１５が提示する付加情報は、様々な態様があってよく、例えば、付加情報に基づいてテキスト情報を表示部５３に表示してもよく、例えば、付加情報に基づいて動きを表現する映像を表示部５３に表示してもよく、例えば、付加情報に基づいて音声を再生してもよい。

図７及び図８は、情報提示手段５１５に付加情報が提示される利用例を示したものである。
図７には、所定の商品を説明するプレゼンテーションの様子を撮影した動画に、プレゼンテーションの演者の動きの付加情報を付加した付加情報付き動画情報を、映像再生装置５０で再生されている状況を示している。このような映像再生装置５０は、付加情報付き動画情報に基づいて動画を再生するとともに、映像再生装置５０と有線乃至無線で接続されたロボットに対して付加情報に基づいて演者の動きを出力して、ロボットを演者と同様の動きを再現させることができる。

図８には、防犯カメラによって路上の様子を撮影した動画に、所定の音量以上の発生を検知する音声センサと車両の通行を検知する赤外線センサと交差点に設置された信号機とから付加情報が付加された付加情報付き動画情報を、映像再生装置５０で再生されている表示部を示している。このような映像再生装置５０は、付加情報付き動画情報に基づいて動画を再生するとともに、音声センサ、赤外線センサ及び信号機から取得した付加情報が提示されている。このような、付加情報付き動画情報を再生する前に予め読み取られており、動画のどの箇所にどのような付加情報が示されているか提示されており、閲覧者は、例えば、車両が通行する前後の部分の動画を選んで再生したり、所定の大きさの音量が発生している部分の動画を選んで再生したりすることができる。

［映像配信システム１００の処理］
続いて、図９及び図１０を参照して、映像配信システム１００の処理について説明する。
図９は、映像配信システム１００のうち、映像生成装置１０の処理を説明する図である。初めに、映像生成装置１０は、本実施形態においては、映像制作者の操作に応じて処理を開始する。
映像生成装置１０の付加情報取得手段１１１は、センサ２０から付加情報を取得して付加情報記憶手段１２１に記憶する（ステップＳ１）。動画情報取得手段は、撮像装置を起動させて、動画情報の取得を開始する（ステップＳ２）。
続いて、付加情報取得手段１１１は、映像制作者の操作又は所定の時間が経過したことに応じて付加情報の取得を終了させる（ステップＳ３）。動画情報取得手段１１２は、映像制作者の操作又は所定の時間が経過したことに応じて撮像手段の動作を停止させて動画情報を取得して、動画情報記憶手段１２２に動画情報を記憶する（ステップＳ４）。

続いて、バーコード生成手段１１３は、動画情報のフレームに対応する複数の付加情報を付加情報記憶手段１２１から読み出す（ステップＳ５）。バーコード生成手段１１３は、読み出した複数の付加情報をそれぞれ数字のみに置き換えて、複数のバーコードを生成する（ステップＳ６）。

続いて、付加情報付き動画情報生成手段１１４は、動画情報記憶手段１２２から動画情報を読み出す（ステップＳ７）。付加情報付き動画情報生成手段１１４は、読み出した動画情報のうち、バーコードを合成していない最初のフレームを選択する（ステップＳ８）。付加情報付き動画情報生成手段１１４は、選択したフレームに、フレームの時刻と同時刻の付加情報に基づいて生成されたバーコードをフレームに重ねて付加情報付きフレームを生成する（ステップＳ９）。

続いて、付加情報付き動画情報生成手段１１４は、ステップＳ７で読み出した動画情報のフレーム全てにおいてバーコードを合成したかを確認する（ステップＳ１０）。
全てのフレームにおいてバーコードを合成していない場合には、付加情報付き動画情報生成手段１１４は、読み出した動画情報のうち、バーコードを合成していない最初のフレームを選択（ステップＳ７）、処理を継続する。
全てのフレームにおいてバーコードを合成した場合には、付加情報付きフレームに基づいて、付加情報付き動画情報を生成し（ステップＳ１１）、動画情報送信手段１１５は付加情報付き動画情報を映像配信装置４０に送信して（ステップＳ１２）、処理を終了する。

図１０は、映像配信システム１００のうち、映像再生装置５０の処理を説明する図である。初めに、映像再生装置５０は、本実施形態においては、閲覧者の操作に応じて処理を開始する。
映像再生装置５０の動画受信手段５１１は、映像配信装置４０から付加情報付き動画情報を受信して動画情報記憶手段５２１に記憶し（ステップＳ２１）、動画再生手段５１２は、記憶した付加情報付き動画情報を読み出して動画の再生を開始する（ステップＳ２２）。

続いて、動画再生手段５１２は、付加情報付き動画情報の一のフレームを選択して、表示部５３に表示する（ステップＳ２３）。
また、バーコード認識手段５１３は、動画再生手段５１２が選択したフレームのうち、バーコード部分を認識して、数字のみに置き換えられた付加情報を読み出す（ステップＳ２４）。デコード手段５１４は、バーコード認識手段５１３が読み出した数字のみに置き換えられた付加情報を、規則情報記憶手段に基づいて、付加情報をデコードする（ステップＳ２５）。情報提示手段は、デコードした付加情報に基づいて、表示部に付加情報を表示する（ステップＳ２６）。

続いて、動画再生手段５１２は、付加情報付き動画情報の全てのフレームを表示したかを確認して（ステップＳ２７）、全てのフレームを表示していない場合には、表示したフレームの次のフレームを選択して表示するとともに（ステップＳ２３）、バーコード認識手段５１３は、選択したフレームのバーコードを認識して処理を継続する。
全てのフレームを表示した場合には、動画の再生を終了して処理を終了させる。

以上、本実施形態について説明した。このような映像配信システム１００によれば、動画情報にバーコードとして付加情報が付加されているため、従来の動画情報の伝送方式とは異なる伝送方式を採用しなくても付加情報を送信することができ、コンテンツ作成者は容易に動画以外の情報を付加してコンテンツを提供することができる。

以上、本発明の実施形態について説明したが、本発明は前述した実施形態に限るものではない。また、本実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本実施形態に記載されたものに限定されるものではない。

上述の実施形態においては、映像生成装置１０、映像配信装置４０及び映像再生装置５０は、それぞれ汎用パーソナルコンピュータ、サーバコンピュータ及びスマートフォンを採用していたが、これに限られるものではなく、それぞれ異なるハードウェアを適用してもよい。
例えば、映像生成装置１０が、眼鏡型のハードウェアであってよく、当該ハードウェアのユーザが閲覧している風景をハードウェアに設けられた撮像装置３０によって撮影するとともに、当該ハードウェアに設けられた種々のセンサ２０から付加情報を取得して、付加情報付き動画情報を生成してもよい。このように生成した付加情報付き動画情報によれば、眼鏡型ハードウェアを使用したユーザが感じた情報を、付加情報付き動画情報のみに基づいて再現することができる。

上述の実施形態においては、映像生成装置１０及び映像再生装置５０は、それぞれ異なる機能を有していたが、これに限られるものではなく、例えば、映像再生装置５０が映像生成装置１０の機能を備えていてもよい。
このような映像生成装置１０の機能を備えた映像再生装置５０によれば、片方向だけではなく双方向において、動画に加えて付加情報を提示することができる。このように、双方向において付加情報を提示することができれば、例えば、ゴルフのレッスンにおいて、モーションを付加情報としてロボットを動かした場合に、コーチの動きを生徒側で把握するとともに、コーチの動きを真似た生徒の動きをコーチがチェックすることが容易になる。

上述の実施形態においては、予め取得していた付加情報及び動画情報に基づいて、付加情報付き動画情報を生成した後に、生成した付加情報付き動画情報を送信するように処理していたが、処理の順序はこれに限られるものではなく、動画情報のフレームと付加情報とに基づいて付加情報付き動画情報のフレームを生成しだい、付加情報つき動画情報の一部（一つのフレーム又は複数のフレーム）を配信するようにしてもよい。このように、付加情報付き動画情報のフレームを生成しだい配信することにより、動画情報と付加情報の合成及び配信が同時並行的に行われて映像再生装置５０においては、リアルタイムに限りなく近い動画の閲覧及び付加情報の提示を受けることができる。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能がコンピュータに備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、一つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよいし、いわゆるスマートフォンのような携帯端末であってもよい。

１００ 映像配信システム
１０ 映像生成装置
２０ センサ
３０ 撮像装置
４０ 映像配信装置
５０ 映像再生装置

Claims (7)

1. 映像生成装置と、映像再生装置とを備える映像配信システムであって、
   映像生成装置は、
   取得した付加情報に基づいてバーコードを生成するバーコード生成手段と、
   動画情報のフレームに、前記バーコードのうち、動画情報のフレームの時刻に対応する時刻に取得した付加情報に基づいて生成されたバーコードを重ね合わせた付加情報付き動画情報を生成する付加情報付き動画情報生成手段と、
   を備え、
   映像再生装置は、
   前記付加情報付き動画情報に基づいて、動画を表示部に表示する動画再生手段と、
   前記付加情報付き動画情報のフレーム毎のバーコードを認識して、付加情報を読み出すバーコード認識手段と、
   前記読み出した付加情報を提示する付加情報提示手段と、
   を備える映像配信システム。
2. 前記付加情報付き動画情報生成手段は、重ね合わせるフレームの色に適合するようにバーコードの色を変えて、バーコードを重ね合わせた付加情報付き動画情報を生成する、
   請求項１に記載の映像配信システム。
3. 前記映像生成装置の前記バーコード生成手段は、複数の付加情報を対応したエンコード規則に基づく付加情報に変換して、変換した付加情報に基づいてバーコードを生成し、
   前記映像再生装置は、
   読み出した付加情報を、前記エンコード規則に対応するデコード規則に基づいてデコードするデコード手段をさらに備え、
   前記付加情報提示手段は、前記デコード規則に基づきデコードした付加情報に基づいて前記複数の付加情報のうちいずれかの付加情報を提示する、
   請求項１又は２に記載の映像配信システム。
4. 取得した付加情報に基づいてバーコードを生成するバーコード生成手段と、
   動画情報のフレームに、動画情報のフレームの時刻に対応する時刻に取得した付加情報を含むバーコードを重ね合わせた付加情報付き動画情報を生成する付加情報付き動画情報生成手段と、
   を備える映像生成装置。
5. 取得した付加情報に基づいてバーコードを生成するバーコード生成ステップと、
   動画情報のフレームに、動画情報のフレームの時刻に対応する時刻に取得した付加情報を含むバーコードを重ね合わせた付加情報付き動画情報を生成する付加情報付き動画情報生成ステップと、をコンピュータに実行させるプログラム
6. 付加情報付き動画情報に基づいて、動画を表示部に表示する動画再生手段と、
   付加情報付き動画情報のフレーム毎のバーコードを認識して、付加情報を読み出すバーコード認識手段と、
   読み出した付加情報を提示する付加情報提示手段と、
   を備える映像再生装置。
7. 付加情報付き動画情報に基づいて、動画を表示部に表示する動画再生ステップと、
   付加情報付き動画情報のフレーム毎のバーコードを認識して、付加情報を読み出すバーコード認識ステップと、
   読み出した付加情報を提示する付加情報提示ステップと、
   をコンピュータに実行させるプログラム。

Images