JP2017005559A - タギング装置、タギングシステム、タギング方法及びプログラム - Google Patents

Abstract

【課題】動画データの重要な場面に精度良くタグ範囲を設定し、タグ付与することができるタギング装置、タギングシステム、タギング方法及びプログラムを提供する。
【解決手段】タギングシステム１は、ユーザのバイタルデータを計測するセンサ装置２と、ユーザがタグＦを入力するタグ入力装置３と、タギング装置４とを備え、また、タギング装置４は、動画データの記録又は再生をおこなうユーザのバイタルデータが予め設定された値以上である時間範囲内に、当該ユーザが入力したタグＦが存在するときに、動画データの当該時間範囲をタグＦの範囲に設定するタグ範囲処理部５０を備える。
【選択図】図１

Description

本発明はタギング装置、タギングシステム、タギング方法及びプログラムに関する。

動画データにタギング（tagging、タグ付け）をして、当該動画データを後で編集したり、また、当該動画データ中のタギングしたフレームだけを記録したりすることが行われている。例えば、特許文献１には、画像記録装置において、生体情報に基づいてフラグＦ１を立てたフレーム、すなわち、生体情報に基づいてタギングしたフレームだけを記録部に記録することが記載されている。

特開２０１４−１９２７５５号公報

背景技術に係る画像記録装置では、タギングにより動画データの重要性を明らかにすることができるが、そのフレーム数は固定されており、重要なフレームがもれることがあった。
タギング方法には、録画中又は視聴中に、ユーザがボタンなどを押してタグを付ける方法もあるが、このような方法では、どこからどこまでが重要な場面なのか、その範囲を明らかにすることができなかった。

本発明は、このような問題を解決するためになされたものであり、動画データの重要な場面に精度良くタグ範囲を設定し、タグ付与することができるタギング装置、タギングシステム、タギング方法及びプログラムを提供することを目的とする。

そこで、本発明は、被写体を撮像し動画データを出力する撮像部と、動画データの記録又は再生をおこなうユーザのバイタルデータを連続して受け付けるとともに当該ユーザのタグ入力のタイミングデータを受け付けるデータ通信部と、データ通信部で受け付けたバイタルデータが予め設定された値以上である時間範囲に当該タイミングデータに対応する時間が含まれる場合に、当該時間範囲をタグ範囲に設定するタグ範囲処理部とを備えるタギング装置を提供する。
また、本発明は、動画データの記録又は再生をおこなうユーザのバイタルデータを連続して受け付けるとともに当該ユーザのタグ入力のタイミングデータを受け付けるデータ通信ステップと、データ通信ステップで受け付けたバイタルデータが予め設定された値以上である時間範囲に当該タイミングデータに対応する時間が含まれる場合に、当該時間範囲をタグ範囲に設定するタグ範囲処理ステップとを有するタギング方法を提供する。

また、本発明は、コンピュータに、動画データの記録又は再生をおこなうユーザのバイタルデータを連続して受け付けるとともに当該ユーザのタグ入力のタイミングデータを受け付けるデータ通信手順と、データ通信手順で受け付けたバイタルデータが予め設定された値以上である時間範囲に当該タイミングデータに対応する時間が含まれる場合に、当該時間範囲をタグ範囲に設定するタグ範囲処理手順とを実行させるためのプログラムを提供する。

本発明により、動画データの重要な場面に精度良くタグ範囲を設定し、タグ付与するタギング装置、タギングシステム、タギング方法及びプログラムを提供することができる。

実施の形態に係るタギングシステム１の概略構成を示すブロック図である。 実施の形態に係る心拍数の時間変化と、タグ範囲との関係を示す図である。 実施の形態に係る心拍数の時間変化と、タグ範囲との詳細な関係を示す図である。 実施の形態に係るタグ範囲処理部５０の詳細な処理手順を示すフローチャートである。

以下、図面を参照して本実施の形態に係るタギングシステムについて説明する。本実施の形態に係るタギングシステムは、ユーザがスポーツの試合などを撮影しているときに、当該ユーザのバイタルデータ（生体情報）と、当該ユーザが重要な場面で入力したタグのタイミングデータとを用いて、撮影データの重要な範囲、重要なフレームに精度良くタグ範囲を設定するものである。

まず、本実施の形態に係るタギングシステムの構成について説明する。
図１は、本実施の形態に係るタギングシステム１の概略構成を示すブロック図である。
タギングシステム１は、センサ装置２、タグ入力装置３、撮像装置４などを備える。センサ装置２と撮像装置４との間、及び、タグ入力装置３と撮像装置４との間は、有線又は無線により通信を行うことができる。

センサ装置２は、ユーザ（図示せず）が撮像装置４で撮影しているときに、当該ユーザのバイタルデータである心拍数を測定するものである。センサ装置２は、センサ本体２１、センサ制御部２２、センサデータ処理部２３、ＣＰＵ２４などの一般的なセンサ装置が備える構成に加えて、測定した心拍数をリアルタイムで撮像装置４に送信するデータ通信部２５を備えている。

タグ入力装置３は、ユーザが撮像装置４で撮影していて、撮影データにタグを付けた方が良いと思う瞬間、例えば、サッカーの試合であればゴールの瞬間などに、ボタンなどを押してタグを入力するものである。タグ入力装置３は、ボタン、画面などのキー入力部３１、キー制御部３２、入力タグデータ処理部３３、ＣＰＵ３４などの一般的なタグ入力装置が備える構成に加えて、ユーザが入力したタグのデータである入力タグデータをリアルタイムで撮像装置４に送信するデータ通信部３５を備えている。

撮像装置（タギング装置）４は、ビデオカメラ、デジタルカメラなどのような動画像を撮影できるものである。撮像装置４は、イメージセンサ４１、撮像部４２、画像データ処理部４３、データ出力部４４、記録媒体４５、ＣＰＵ４６などの一般的な撮像装置が備える構成に加えて、データ通信部４７、センサデータ記録部４８、タグ制御部４９、タグ範囲処理部５０、タグ記録部５１などを備えている。

データ通信部４７は、センサ装置２のデータ通信部２５が送信したセンサデータ、タグ入力装置３のデータ通信部３５が送信した入力タグデータなどを受信する。また、データ通信部４７は、センサ装置２、タグ入力装置３などに対して、動作開始のタイミングを制御する信号などを送信しても良い。つまり、センサ装置２のデータ通信部２５、及びタグ入力装置３のデータ通信部３５は、撮像装置４のデータ通信部４７と一方向又は双方向で制御信号、ステータス通知信号などの通信を行っても良い。
センサデータ記録部４８は、センサ装置２から受信したセンサデータを記録する。
タグ制御部４９は、撮像装置４におけるタグ付与動作（タギング方法）の全体を制御する。

タグ範囲処理部５０は、受信したセンサデータ及び入力タグデータを用いて、撮像装置４が撮影した動画データの適切な範囲、例えば、タグが記録されたタイミングで、バイタルデータが予め設定した閾値以上である場合、その閾値以上である期間をタグ範囲に設定する。タグ範囲処理部５０は、このようなタグ範囲の設定を撮影中に行うことができる。さらに、動画再生時にタグ範囲の設定を行っても良い。
タグ記録部５１は、受信したセンサデータ、入力タグデータ、設定したタグ範囲を動画データに関連付けて撮影中または動画再生中に記録する。また、タグ記録部５１は設定したタグ範囲内にタグ付与してそのタイミングデータを記録する。
受信したセンサデータ、入力タグデータ、設定したタグ範囲のデータ、及び、これらと関連付けられた動画データなどは記録媒体４５に記録されることもある。

入力タグデータには、例えば、ユーザがタグを入力した時刻や、撮像装置４がタグ入力を受信した時刻が含まれる。時刻でなくても、センサ装置２、タグ入力装置３及び撮像装置４が録画開始などの何らかの同期するタイミングを共有できれば、その時点からの経過時間の情報でも代用が可能である。
なお、センサ装置２、タグ入力装置３及び撮像装置４が時計を内蔵しているのであれば、センサ装置２、タグ入力装置３は測定した心拍数、入力タグデータをリアルタイムで撮像装置４に送信する必要はない。後で、それぞれの時計情報に基づいて、動画データ、バイタルデータ及び入力タグデータのタイミングを合わせることが可能である。

また、撮像装置４が実現する各構成要素は、ＣＰＵ４６の制御によって、プログラムを実行させることによって実現できる。より具体的には、撮像装置４は、記憶部（図示せず）に格納されたプログラムを主記憶装置（図示せず）にロードし、ＣＰＵ４６の制御によってプログラムを実行して実現する。また、各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現しても良い。

上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。

また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によって撮像装置４に供給されても良い。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムを撮像装置４に供給できる。

続いて、本実施の形態に係るタギングシステム１の動作、すなわち、タギング方法について説明する。ここでは、タグ範囲処理部５０の動作について主に説明する。
まず、タグ範囲処理部５０のタグ範囲設定動作の概要について説明する。タグ範囲処理部５０は、上述したように、受信したセンサデータ及び入力タグデータを用いて、撮像装置４が撮影した動画データの適切な範囲にタグを設定するものである。

図２は本実施の形態に係る心拍数の時間変化と、タグ範囲との関係を示す図である。心拍数のグラフに入力タグデータを示したものを上に、入力タグデータから設定したタグ範囲を動画データに関連付けたものを下に示している。心拍数のグラフの横軸は時刻、縦軸は心拍数を示す。また、心拍数７５付近の横線はタグ範囲を設定するための閾値を示す。また、心拍数４０付近に記入している横方向の矢印及び「平常」「緊張」等の文字は、そのときのユーザの状態を説明するためのものである。

図２に示した心拍数の例では、ユーザの状態はゲーム開始からゲーム終了までの間に心拍数の変化から、平常状態、緊張状態もしくは興奮状態、そして平常（緩和）状態へと変化する。緊張状態又は興奮状態のときに、心拍数の４つのピーク（１〜４）が生じ、それぞれのピークにおいてユーザはタグＦ１〜Ｆ４を入力している。
タグ範囲処理部５０は、心拍数が所定値（ここでは、閾値の７５）以上のときの時間範囲であって、当該時間範囲内でユーザがタグＦを入力している場合に、当該時間範囲をユーザが入力したタグＦの範囲として設定する。当該時間範囲のフレームに対してタグＦを付与しても良い。

例えば、第１のピークについては、時間範囲ｔ１〜ｔ２において、心拍数が所定値を超え、かつ、ユーザがタグＦ１を入力しているので、時間範囲ｔ１〜ｔ２をタグＦ１のタグ範囲に設定する。また、第２のピークについては、時間範囲ｔ３〜ｔ４において、心拍数が所定値を超え、かつ、ユーザがタグＦ２を入力しているので、時間範囲ｔ３〜ｔ４をタグＦ２のタグ範囲に設定する。第３、４のピークについても同様である。

なお、タグ範囲処理部５０は、心拍数が所定値以上の時間範囲であっても、当該時間範囲内でユーザがタグＦを入力していない場合には、タグ範囲を設定しない。
また、タグ範囲処理部５０は、ユーザがタグＦを入力していても、心拍数が所定値以上でない場合には、デフォルト、又はユーザが設定した時間やフレーム数でタグ範囲を設定する。

次に、タグ範囲処理部５０の詳細な処理手順について説明する。
図３は本実施の形態に係る心拍数の時間変化と、タグ範囲との詳細な関係を示す図である。心拍数のグラフを上に、タグ範囲を下に示している。グラフ中の横点線は閾値を示し、横点線上の等間隔の点は心拍数のサンプリング点、すなわち、サンプリング時間を示している。なお、心拍数のサンプリングは例えば１秒間隔で行う。
図４は本実施の形態に係るタグ範囲処理部５０の詳細な処理手順を示すフローチャートである。
図３及び図４を参照しながら、タグ範囲処理部５０の詳細な処理手順について説明する。

まず、処理を開始すると、まずバイタルデータの状態を示すステータスを「閾値未満」に設定し（ステップＳ１０）、「前バイタルデータ時間値」を記録開始時間ｔ０に初期化する（ステップＳ２０）。

サンプリング時間ｔ０において、ステータスが「閾値以上」か判断する（ステップＳ３０）。時間ｔ０では、ステータスはステップＳ１０で設定した「閾値未満」のままなので（ステップＳ３０のＮｏ）、時間ｔ０の受信したバイタルデータがあるか判断する（ステップＳ４０）。
時間ｔ０では受信したバイタルデータがあるので（ステップＳ４０のＹｅｓ）、時間ｔ０のバイタルデータの値が閾値以上か判断する（ステップＳ５０）。図３に示すように、時間ｔ０のバイタルデータの値は閾値未満なので（ステップＳ５０のＮｏ）、現在のバイタルデータ時間ｔ０を「前バイタルデータ時間値」として保存する（ステップＳ８０）。そして、ステップＳ３０に戻る。ｔ１１までは平常状態つまりバイタルデータが閾値未満のため、同様な処理を繰り返すことになる。

サンプリング時間ｔ１２になると、ステータスが「閾値未満」で、ｔ１２のバイタルデータがあるので（ステップＳ３０のＮｏ、ステップＳ４０のＹｅｓ）、時間ｔ１２のバイタルデータの値が閾値以上か判断する（ステップＳ５０）。図３に示すように、時間ｔ１２のバイタルデータの値は閾値以上なので（ステップＳ５０のＹｅｓ）、「前バイタルデータ時間値」、ここでは、ステップＳ８０で保存した時間ｔ１１を「タグ範囲開始時間値」として保存し（ステップＳ６０）、ステータスを「閾値以上」に設定し（ステップＳ７０）、現在のバイタルデータ時間ｔ１２を「前バイタルデータ時間値」として保存して（ステップＳ８０）、ステップＳ３０に戻る。

次に、サンプリング時間ｔ１３になると、ステップＳ７０で設定したようにステータスが「閾値以上」であるので（ステップＳ３０のＹｅｓ）、時間ｔ１３のバイタルデータがあるか判断する（ステップＳ９０）。
時間ｔ１３では受信したバイタルデータがあるので（ステップＳ９０のＹｅｓ）、時間ｔ１３のバイタルデータの値が閾値以上か判断する（ステップＳ１００）。図３に示すように、時間ｔ１３のバイタルデータの値は閾値以上なので（ステップＳ１００のＹｅｓ）、現在のバイタルデータ時間ｔ１３を「前バイタルデータ時間値」として保存し（ステップＳ８０）、ステップＳ３０に戻る。
そして、サンプリング時間ｔ２１までは、時間ｔ１３のときの処理と同じ処理が継続する。

次に、サンプリング時間ｔ２２になると、ステータスが「閾値以上」で、時間ｔ２２の受信したバイタルデータがあるので（ステップＳ３０のＹｅｓ、ステップＳ９０のＹｅｓ）、時間ｔ２２のバイタルデータの値が閾値以上か判断する（ステップＳ１００）。図３に示すように、時間ｔ２２のバイタルデータの値は閾値未満なので（ステップＳ１００のＮｏ）、現在のバイタルデータ時間ｔ２２を「タグ範囲終了時間値」として保存し（ステップＳ１１０）、タグ記録要求はあるか、すなわち、バイタルデータの値が閾値以上のときにタグを入力しているか判断する（ステップＳ１２０）。図３に示すように、時間ｔ１６と時間ｔ１７との間にユーザがタグＦを入力しているので（ステップＳ１２０のＹｅｓ）、ステップＳ６０、Ｓ１１０で得られたタグ範囲の「タグ範囲開始時間値」ｔ１１〜「タグ範囲終了時間値」ｔ２２でタグＦを記録し（ステップＳ１３０）、ステータスを「閾値未満」に設定し（ステップＳ１４０）、現在のバイタルデータ時間ｔ２２を「前バイタルデータ時間値」として保存し（ステップＳ８０）、ステップＳ３０に戻る。

次に、サンプリング時間ｔ２５になると、ステータスが「閾値未満」で、時間ｔ２５のバイタルデータもないので（ステップＳ３０のＮｏ、ステップＳ４０のＮｏ）、処理を終了する。
なお、現在のバイタルデータ時間ｔを「タグ範囲終了時間値」として保存し（ステップＳ１１０）、タグ記録要求がないとき、すなわち、ユーザがタグを入力していないときは（ステップＳ１２０のＮｏ）、ステータスを「閾値未満」に設定する（ステップＳ１４０）。つまり、上述したように、心拍数が所定値以上の時間範囲があっても、当該時間範囲内でユーザがタグを入力していない場合には、当該時間範囲をタグ範囲に設定しない。

また、ステータスが「閾値以上」で、その時間ｔのバイタルデータがないときは（ステップＳ３０のＹｅｓ、ステップＳ９０のＮｏ）、記録終了時間を「タグ範囲終了時間値」として保存し（ステップＳ１５０）、ステップＳ１２０、Ｓ１３０と同様に、タグ記録要求があるときは、得られたタグ範囲でタグＦを記録して処理を終了し、タグ記録要求がないときは、そのまま処理を終了する。
本実施の形態に係るタギングシステム１は、このような構成により、動画データを撮影中に、その重要範囲に精度良くタグを付与することができる。

なお、本実施の形態に係るタギングシステム１では、心拍数が閾値を超える時間範囲として時間ｔ１１〜時間ｔ２２を選択し、この時間範囲をタグ範囲として設定したが、時間範囲としてそれぞれ一つ内側のサンプリング時間に対応する時間ｔ１２〜時間ｔ２１を選択し、この時間範囲をタグ範囲として設定しても良い。もちろん、時間範囲として時間ｔ１１〜時間ｔ２１、時間ｔ１２〜時間ｔ２２を選択することも可能であり、さらに、心拍数が閾値を超える交点〜交点を選択することも可能である。その際は交点を算出しても良く、動画のサンプリング数とバイタルデータのサンプリング数を同じにしても良い。
また、本実施の形態に係るタギングシステム１では、タグ範囲を設定するための心拍数の閾値を固定にしていたが、ユーザ毎、シーン毎などのように状況に応じて設定できるようにしても良い。また、この閾値をいつでも変更できるようにして、動画データを記録した後でもタグ範囲を調整できるようにしても良い。

また、本実施の形態に係るタギングシステム１では、心拍数が所定値以上の時間範囲であって、当該時間範囲内にユーザがタグを入力している場合に、当該時間範囲をタグ範囲として設定したが、心拍数が所定値以上の時間範囲であって、当該時間範囲内にユーザがタグを入力している場合に、ユーザが入力したタグの前後の所定時間、例えば、当該タグの前後それぞれ３秒間をタグ範囲として設定して良い。もちろん、心拍数が所定値以上の時間範囲又はタグの前後の所定時間をユーザが選択できるようにしても良い。

また、本実施の形態に係るタギングシステム１では、バイタルデータとして心拍数を用いたが、バイタルデータとして心拍数以外のデータ、ユーザの興奮の度合いを示すようなデータを用いても良く、このときは、バイタルデータが所定値以下又は所定値未満などの時間範囲であって、当該時間範囲内にユーザがタグを入力している場合に、当該時間範囲をタグ範囲として設定しても良い。

また、本実施の形態に係るタギングシステム１は、センサ装置２、タグ入力装置３、撮像装置４などを備える構成としたが、撮像装置がセンサ装置及びタグ入力装置を兼ねる構成、又は、撮像装置がセンサ装置、タグ入力装置の一方を兼ねる構成としても良い。すなわち、タギングシステムをタギング装置として構成するようにしても良い。
また、本実施の形態に係るタギングシステム１は、ユーザが撮像装置４を用いて撮影しているときの、すなわち、ユーザが動画データを記録しているときの、ユーザのバイタルデータ及び入力タグデータに基づいてタグ範囲を設定していたが、ユーザが画像処理装置などを用いて動画を視聴又は編集しているときなどの、すなわち、ユーザが動画データを再生しているときの、ユーザのバイタルデータ及び入力タグデータに基づいてタグ範囲を設定しても良い。このため、本実施の形態に係るタギング装置も撮像装置に限るものではなく、画像処理装置などであっても良い。

上述したように、本実施の形態に係るタギング装置４は、動画データの記録又は再生をおこなうユーザのバイタルデータを連続して受け付けるとともに当該ユーザのタグ入力のタイミングデータを受け付けるデータ通信部４７と、データ通信部４７で受け付けたバイタルデータが予め設定された値以上である時間範囲に当該タイミングデータに対応する時間が含まれる場合に、当該時間範囲をタグ範囲に設定するタグ範囲処理部５０とを備えるものである。
また、本実施の形態に係るタギングシステム１は、ユーザのバイタルデータを計測しデータ通信部４７に出力するセンサ装置２と、タイミングデータをデータ通信部４７に出力するタグ入力装置３と、タギング装置４とを備えるものである。

また、本実施の形態に係るタギング方法は、動画データの記録又は再生をおこなうユーザのバイタルデータを連続して受け付けるとともに当該ユーザのタグ入力のタイミングデータを受け付けるデータ通信ステップと、データ通信ステップで受け付けたバイタルデータが予め設定された値以上である時間範囲に当該タイミングデータに対応する時間が含まれる場合に、当該時間範囲をタグ範囲に設定するタグ範囲処理ステップＳ１２０、Ｓ１３０とを有するものである。

また、本実施の形態に係るプログラムは、コンピュータに、動画データの記録又は再生をおこなうユーザのバイタルデータを連続して受け付けるとともに当該ユーザのタグＦ入力のタイミングデータを受け付けるデータ通信手順と、当該データ通信手順で受け付けた当該バイタルデータが予め設定された値以上である時間範囲に当該タイミングデータに対応する時間が含まれる場合に、動画データの当該時間範囲をタグＦの範囲に設定する手順Ｓ１２０、Ｓ１３０とを実行させるためのものである。

１ タギングシステム
２ センサ装置
３ タグ入力装置
４ 撮像装置（タギング装置）
５０ タグ範囲処理部

Claims (5)

1. 被写体を撮像し動画データを出力する撮像部と、
   動画データの記録又は再生をおこなうユーザのバイタルデータを連続して受け付けるとともに前記ユーザのタグ入力のタイミングデータを受け付けるデータ通信部と、
   前記データ通信部で受け付けた前記バイタルデータが予め設定された値以上である時間範囲に前記タイミングデータに対応する時間が含まれる場合に、前記時間範囲をタグ範囲に設定するタグ範囲処理部と、
   を備えるタギング装置。
2. 前記タグ範囲内にタグ付与し、前記付与したタグデータを記録するタグ記録部
   を備える請求項１に記載のタギング装置。
3. 前記ユーザの前記バイタルデータを計測し前記データ通信部に出力するセンサ装置と、
   前記タイミングデータを前記データ通信部に出力するタグ入力装置と、
   請求項１または請求項２に記載のタギング装置と、
   を備えるタギングシステム。
4. 動画データの記録又は再生をおこなうユーザのバイタルデータを連続して受け付けるとともに前記ユーザのタグ入力のタイミングデータを受け付けるデータ通信ステップと、
   前記データ通信ステップで受け付けた前記バイタルデータが予め設定された値以上である時間範囲に前記タイミングデータに対応する時間が含まれる場合に、前記時間範囲をタグ範囲に設定するタグ範囲処理ステップと、
   を有するタギング方法。
5. コンピュータに、
   動画データの記録又は再生をおこなうユーザのバイタルデータを連続して受け付けるとともに前記ユーザのタグ入力のタイミングデータを受け付けるデータ通信手順と、
   前記データ通信手順で受け付けた前記バイタルデータが予め設定された値以上である時間範囲に前記タイミングデータに対応する時間が含まれる場合に、前記時間範囲をタグ範囲に設定するタグ範囲処理手順と、
   を実行させるためのプログラム。

Images