JP5332593B2 - 映像範囲抽出装置，映像範囲抽出プログラム，及び映像保存装置 - Google Patents

Description

本発明は、ユーザの関心がある映像範囲を抽出する映像範囲抽出装置，映像範囲抽出プログラム，及び映像保存装置に関する。

従来、映像を編集して関心がある映像範囲を保存する場合、ユーザは、映像の早送り／巻き戻しをしながら映像の再生位置を移動させ、関心のある映像の時間範囲（開始時間や終了時間）を指定する作業を繰り返し行っていた。
特開２００２−３３０３９３号公報 特開２００６−４８４０５号公報

従来の方法によれば、ユーザは関心のある映像の時間範囲を手作業で指定しなければならないために、関心がある映像範囲を保存するために非常に多くの労力を要する。なおこのような問題を解決するために、ユーザが関心のある映像範囲を自動的に検出するハイライト抽出手法等の手法が提案されている。しかしながらこのような手法では、必ずしもユーザの関心がある映像範囲が抽出されるとは限らず、結果として、ユーザの関心がある映像範囲の撮り逃しが発生することがある。

本発明は上記課題に鑑みてなされたものであり、その目的は労力をユーザに要求することなくユーザの関心がある映像範囲を抽出可能な映像範囲抽出装置，映像範囲抽出プログラム，及び映像保存装置を提供することにある。

映像範囲抽出装置，映像範囲抽出プログラム，及び映像保存装置は、映像を出力している際に取得された視聴者の所定のリアクションの取得時間を記憶し、所定のリアクションの取得時間に基づいて、視聴者の関心がある映像範囲を抽出する。すなわち映像範囲抽出装置，映像範囲抽出プログラム，及び映像保存装置は、視聴者の所定のリアクションの取得時間に基づいて、視聴者の関心がある映像範囲を自動抽出する。

映像範囲抽出装置，映像範囲抽出プログラム，及び映像保存装置によれば、労力をユーザに要求することなくユーザの関心がある映像範囲を抽出することができる。

本発明に係る映像範囲抽出装置は、例えばユーザの関心がある映像範囲を抽出し、抽出された映像範囲の映像を保存する映像保存装置に適用することができる。以下、図面を参照して、本発明の一実施形態となる映像保存装置の構成について説明する。
〔映像保存装置の全体構成〕
始めに、図１を参照して、本発明の一実施形態となる映像保存装置の全体構成について説明する。

本発明の一実施形態となる映像保存装置１は、図１に示すように、インタフェース部２と制御部３を有する。インタフェース部２は、映像出力部４とリアクション取得部５を含む。映像出力部４は、画像処理装置である。映像出力部４は、ハードディスクやフレームバッファ等の映像一時記憶部６が有する映像を表示部２１に出力する。映像出力部４は、映像一時記憶部６に保存されている映像を出力するものであっても、映像一時記憶部６に録画（記録）される映像を録画と平行して出力するものであってもよい。リアクション取得部５は、リアクション入力部２２に接続されている。リアクション入力部２２としては、操作入力装置，音声入力装置，撮像装置，体重移動検出装置等である。リアクション入力部２２は、映像出力部４が出力する映像を視聴しているユーザのリアクションを取得し、リアクションの取得時間とその種別に関する情報をリアクション取得部５に入力する。リアクション取得部５は、リアクション入力部２２から入力されたリアクションの取得時間とその種別に関する情報を制御部３に接続されたリアクション時間情報記憶部１０に出力する。ユーザのリアクションとしては、ユーザが、操作入力装置（例えばボタン）を操作する動作，所定値以上の音量の音声（例えば歓声）を発声する動作，姿勢を変化させる動作等を例示できる。

制御部３は、マイクロプロセッサ等の演算処理装置である。制御部３は、内部に記憶された制御プログラムを実行することにより、映像解析部７，保存時間範囲抽出部８，及び映像保存制御部９として機能する。映像解析部７は、映像出力部４により出力されている映像を解析することにより映像の重要度及び境界候補を検出し、検出された重要度及び境界候補に関する情報をそれぞれ重要度記憶部１１及び境界候補記憶部１２に記憶する。保存時間範囲抽出部８は、後述する映像保存処理を実行することにより保存する映像の時間範囲を抽出し、抽出された時間範囲に関する情報を保存時間範囲記憶部１３に記憶する。映像保存制御部９は、保存時間範囲記憶部１３に記憶されている時間範囲の映像を抽出し、抽出された映像を映像保存部１４に記憶する。
〔映像保存処理〕
このような構成を有する映像保存装置１は、以下に示す映像保存処理を実行することにより、多くの労力をユーザに要求することなくユーザの関心がある映像範囲を抽出，保存する。以下、図２，図４，及び図５に示すフローチャートを参照して、この映像保存処理を実行する際の映像保存装置１の動作について説明する。

図２及び図４に示すフローチャートは、映像出力部４により映像一時記憶部６が有する映像の出力が開始されたタイミングで開始となり、映像保存処理はステップＳ１及びステップＳ４の処理に進む。

ステップＳ１の処理では、リアクション取得部５が、ユーザのリアクションが取得されたか否かを判別する。そして判別の結果、ユーザのリアクションを取得していない場合、リアクション取得部５は映像保存処理をステップＳ３の処理に進める。一方、ユーザのリアクションを取得した場合には、リアクション取得部３は映像保存処理をステップＳ２の処理に進める。

ステップＳ２の処理では、リアクション取得部５が、図３に示すように、リアクションの取得時間と種別に関する情報をリアクション時間情報記憶部１０に記録する。なお図３に示す例は、時刻１０．０の時にユーザによるボタン操作が検出され、時刻２３．０〜２３．５の間にユーザの歓声が検出され、時刻３３．０の時にユーザの姿勢変化が検出されたことを示している。これにより、ステップＳ２の処理は完了し、映像保存処理はステップＳ３の処理に進む。

ステップＳ３の処理では、リアクション取得部５が、映像出力部４による映像の出力処理が終了したか否かを判別する。そして判別の結果、映像の出力処理が終了していない場合、リアクション取得部５は映像保存処理をステップＳ１の処理に戻す。一方、映像の出力処理が終了した場合には、リアクション取得部５は映像保存処理をステップＳ６の処理に進める。

ステップＳ４の処理では、映像解析部７が、映像出力部４により出力されている映像の時間毎の重要度と境界候補（画面の切り替わり位置）を算出する。なおこの重要度及び境界候補の算出処理についてはそれぞれ図７及び図８に示すフローチャートを参照して後述する。これにより、ステップＳ４の処理は完了し、映像保存処理はステップＳ５の処理に進む。

ステップＳ５の処理では、映像解析部７が、映像出力部４による映像の出力処理が終了したか否かを判別する。そして判別の結果、映像の出力処理が終了していない場合、映像解析部７は映像保存処理をステップＳ４の処理に戻す。一方、映像の出力処理が終了した場合には、映像解析部７は映像保存処理をステップＳ６の処理に進める。

ステップＳ６の処理では、保存時間範囲抽出部８が、リアクション時間情報記憶部１０からリアクションの取得時間に関する情報を取得し、取得した時間情報に基づいて重要度記憶部１１からリアクション取得時から所定時間前までの間の重要度のデータを取得する。これにより、ステップＳ６の処理は完了し、映像保存処理はステップＳ７の処理に進む。

ステップＳ７の処理では、保存時間範囲抽出部８が、ステップＳ６の処理により取得した重要度のデータ内にピーク（山になっている部分）が存在するか否かを判別する。具体的には、重要度を関数ｆ（ｔ）（ｔ：時間）で表した場合、保存時間範囲抽出部８は、以下の数式１を満足するパラメータｎを算出する。そして保存時間範囲抽出部８は、数式１を満足するパラメータｎが算出できない又は算出されたパラメータｎの値が所定値以上である場合、重要度のピークがないと判断し、映像保存処理をステップＳ８の処理に進める。一方、数式１を満足するパラメータｎの値が所定値未満である場合には、保存時間範囲抽出部８は、重要度のピークがあると判断し、映像保存処理をステップＳ１０の処理に進める。

ステップＳ８の処理では、保存時間範囲抽出部８が、重要度記憶部１１内に他の重要度に関する情報が記憶されているか否かを判別する。そして判別の結果、他の重要度に関する情報が記憶されている場合、保存時間範囲抽出部８は映像保存処理をステップＳ６の処理に戻す。一方、他の重要度に関する情報が記憶されていない場合には、保存時間範囲抽出部８は、ステップＳ９の処理としてステップＳ６の処理により取得した重要度のデータ中に仮のピーク位置を設定した後、映像保存処理をステップＳ１０の処理に進める。

ステップＳ１０の処理では、保存時間範囲抽出部８が、境界候補記憶部１２を参照してステップＳ７の処理により判別されたピーク位置又はステップＳ９の処理により設定されたピーク位置の前後に境界候補が存在するか否かを判別する。そして判別の結果、前後に境界候補が存在する場合、保存時間範囲抽出部８は映像保存処理をステップＳ１１の処理に進める。一方、前後に境界候補が存在しない場合には、保存時間範囲抽出部８は映像保存処理をステップＳ１２の処理に進める。

ステップＳ１１の処理では、保存時間範囲抽出部８が、前後の境界候補の時間範囲を映像を保存する時間範囲に設定する。具体的には、図６に示すように、重要度のピーク位置が時間Ｔ＝Ｔｐにあり、その前後の境界候補が時間Ｔ＝Ｔｂ１，Ｔｂ２にある場合、保存時間範囲抽出部８は時間Ｔ＝Ｔｂ１〜Ｔｂ２の範囲を映像を保存する時間範囲に設定する。そして保存時間範囲抽出部８は、設定した時間範囲に関する情報を保存時間範囲記憶部１３に記憶する。なお前後の境界候補の時間間隔が所定値未満である場合、保存時間範囲抽出部８は、保存する時間範囲が所定値以上になるように調整してもよい。これにより、ステップＳ１１の処理は完了し、映像保存処理はステップＳ１３の処理に進める。

ステップＳ１２の処理では、保存時間範囲抽出部８が、重要度のピーク位置を中心とした所定時間ΔＴの範囲を映像を保存する時間範囲に設定する。具体的には、図６に示すように、重要度のピーク位置が時間Ｔ＝Ｔｐにある場合、保存時間範囲抽出部８は時間Ｔ＝Ｔｐを中心とした所定時間ΔＴの範囲の映像を保存する時間範囲に設定する。そして保存時間範囲抽出部８は、設定した時間範囲に関する情報を保存時間範囲記憶部１３に記憶する。これにより、ステップＳ１２の処理は完了し、映像保存処理はステップＳ１３の処理に進める。

ステップＳ１３の処理では、映像保存制御部９が、保存時間範囲記憶部１３に記憶されている時間範囲内の映像を映像保存部１４内に保存する。これにより、ステップＳ１３の処理は完了し、一連の映像保存処理は終了する。
〔重要度算出処理〕
次に、図７に示すフローチャートを参照して、上記ステップＳ５の重要度算出処理について詳しく説明する。

図７に示すフローチャートは、映像出力部４により映像一時記憶部６が有する映像の出力が開始されたタイミングで開始となり、重要度算出処理はステップＳ２１の処理に進む。なお、この重要度算出処理は、映像出力部４が出力する映像が録画済みの映像である場合は予め実行しておくようにしてもよい。また映像出力部４が出力する映像が放送中の映像である場合には、重要度算出処理は映像を録画しながら実行してもよいし、録画完了後に実行するようにしてもよい。

ステップＳ２１の処理では、映像解析部７が、映像に付与されているＥＰＧ情報を参照して、映像出力部４が出力している映像のジャンルがスポーツとドラマのどちらであるかを判別する。なお映像にＥＰＧ情報が付与されていない場合、映像解析部７は、映像のジャンルの入力をユーザに促す。そして判別の結果、ジャンルがスポーツである場合、映像解析部７は重要度算出処理をステップＳ２２の処理に進める。一方、ジャンルがドラマである場合には、映像解析部７は重要度算出処理をステップＳ２５の処理に進める。

ステップＳ２２の処理では、映像解析部７が、映像出力部４が出力している映像の音量の絶対値和平均値（又は二乗和平均）を算出する。これにより、ステップＳ２２の処理は完了し、重要度算出処理はステップＳ２３の処理に進む。

ステップＳ２３の処理では、映像解析部７が、ステップＳ２２の処理により算出された絶対値和平均値の前後差分を算出する。具体的には、ある時間ｔの音声信号をｆ（ｔ）とした時、以下の数式２に示すように、時間ｔ＝ｔ’以前の絶対値和平均値と時間ｔ＝ｔ’以後の絶対値和平均値の差分値を差分値ｈ（ｔ’）として算出する。一般に、映像出力部４が出力する映像がスポーツ映像である場合、重要な場面では観客の声が急に大きくなる。従って、算出された差分値ｈ（ｔ’）が大きい程、その時間の重要度が高いと判断することができる。これにより、ステップＳ２３の処理は完了し、重要度算出処理はステップＳ２４の処理に進む。

ステップＳ２４の処理では、映像解析部７が、ステップＳ２３の処理により算出された前後差分の時系列データを重要度として重要度記憶部１１に記憶する。これにより、ステップＳ２４の処理は完了し、一連の重要度算出処理は終了する。

ステップＳ２５の処理では、映像解析部７が、映像出力部４が出力している映像の音声信号を周波数変換する。具体的には、始めに以下の数式３に示す関数Ｆ（ｔ，ｗ）を定義する。関数Ｆ（ｔ，ｗ）は、時間ｔ付近の入力の時系列関数に周波数ｗがどれ位強く現れているかを表すものであり、複素数になることから大きさを計算するためにはその絶対値を利用する。

そしてこの関数Ｆ（ｔ，ｗ）の値を時間ｔを変化させながら抽出し、以下の数式４，５に示すように、同一周波数の値の絶対値の系列方向での和の平均値Ａ（ｔ、ｗ）と分散値Ｖ（ｔ，ｗ）を算出する。これにより、ステップＳ２５の処理は完了し、重要度算出処理はステップＳ２６の処理に進む。

ステップＳ２６の処理では、映像解析部７が、ステップＳ２５の処理結果に基づいて音声信号の中から音楽に対応する部分を抽出する。具体的には、映像解析部４は、上記数式４，５により算出された平均値Ａ（ｔ，ｗ）が大きく分散値Ｖ（ｔ，ｗ）が小さい部分を音楽に対応する部分として抽出する。これにより、ステップＳ２５の処理は完了し、重要度算出処理はステップＳ２６の処理に進む。

ステップＳ２７の処理では、映像解析部７が、ステップＳ２６の処理により抽出された音楽部分に基づいて音楽音量を算出する。具体的には、映像解析部４は、ステップＳ２６の処理により抽出された音楽部分の平均値Ａ（ｔ，ｗ）を全ての周波数方向で加算したものを音楽音量として算出する。これにより、ステップＳ２７の処理は完了し、重要度算出処理はステップＳ２８の処理に進む。

ステップＳ２８の処理では、映像解析部７が、音楽音量と後述するステップＳ３４の処理により算出される境界候補の出現頻度（画面の切り替わり頻度）から重要度を算出し、算出された重要度を重要度記憶部１１に記憶する。一般に、映像出力部４が出力する映像がドラマ映像である場合、重要な場面では音楽が大きくなり、画面の動きが大きくなる。従って、音楽音量と境界候補の出現頻度から算出された重要度が大きい程、その時間の重要度が高いと判断することができる。これにより、ステップＳ２８の処理は完了し、一連の重要度算出処理は終了する。なお本実施形態における重要度算出処理では、映像解析部７は、音量の変化量を重要度として算出したが、音量の大きさを別の重要度として算出するようにしてもよい。
〔境界候補算出処理〕
最後に、図８に示すフローチャートを参照して、上記ステップＳ５の境界候補算出処理について詳しく説明する。

図８に示すフローチャートは、映像出力部４により映像一時記憶部６が有する映像の出力が開始されたタイミングで開始となり、境界候補算出処理はステップＳ３１の処理に進む。なお、この境界候補算出処理は、映像出力部４が出力する映像が録画済みの映像である場合は予め実行しておくようにしてもよい。また映像出力部４が出力する映像が放送中の映像である場合には、境界候補算出処理は映像を録画しながら実行してもよいし、録画完了後に実行するようにしてもよい。

ステップＳ３１の処理では、映像解析部７が、映像出力部４が出力している映像からフレーム画像を抽出する。これにより、ステップＳ３１の処理は完了し、境界候補算出処理はステップＳ３２の処理に進む。

ステップＳ３２の処理では、映像解析部７が、ステップＳ３１の処理により抽出されたフレーム画像から色レイアウト等の画像特徴量を算出する。具体的には、映像解析部７は、フレーム画像を部分領域に分割し、その部分領域の平均色を色レイアウトとして抽出する。なお部分領域の分割方法は幾つか考えられるが、フレーム画像を単純に縦横の格子状に分割する方法でも構わない。これにより、ステップＳ３２の処理は完了し、境界候補算出処理はステップＳ３３の処理に進む。

ステップＳ３３の処理では、映像解析部７が、ステップＳ３２の処理により算出された画像特徴量の前後差分を算出する。これにより、ステップＳ３３の処理は完了し、境界候補算出処理はステップＳ３３の処理に進む。

ステップＳ３４の処理では、映像解析部７が、ステップＳ３３の処理により算出された前後差分が所定値以上の時間を境界候補として境界候補記憶部１２に記憶する。なお映像解析部７は、フレーム画像間の距離関数を関数ｄｉｓとして、以下の数式６，７に示すように、距離関数ｄｉｓの差分値ｄ（ｔ）を時系列順に算出し、算出された差分値ｄ（ｔ）の最大値との差ｖ（ｔ）が所定値以上である時間を境界候補として算出してもよい。これにより、ステップＳ３４の処理は完了し、一連の境界候補算出処理は終了する。なお音量の大きさを別の重要度として算出した場合には、音量の大きさが所定値以上になっている範囲を境界候補として算出するようしてもよい。

以上の説明から明らかなように、本発明の実施形態となる映像保存装置１は、映像出力部４が映像を出力している際に視聴者のリアクションが取得されたか否かを判別し、リアクションが取得された場合、リアクションの取得時間を記憶するリアクション取得部５と、映像出力部４が出力している映像の重要度の時間変化を算出する映像解析部７を備える。そして保存時間範囲抽出部８が、リアクション取得部５により取得されたリアクションの取得時間と映像解析部７により算出された重要度の時間変化に基づいて、ユーザの関心がある映像範囲を抽出する。このような映像保存装置１によれば、ユーザは関心のある映像の時間範囲を手作業で指定する必要がなくなるので、労力をユーザに要求することなくユーザの関心がある映像範囲を抽出することができる。またユーザのリアクションの取得時間に基づいてユーザの関心がある映像範囲を抽出するので、ユーザの関心がある映像範囲を正確に抽出し、結果として、ユーザの関心がある映像範囲の撮り逃しを抑制できる。

以上、本発明者らによってなされた発明を適用した実施の形態について説明したが、この実施形態による本発明の開示の一部をなす記述及び図面により本発明は限定されることはない。例えば本実施形態では、重要度のピークが存在しない場合、保存時間範囲抽出部８は、仮のピーク位置を設定することにより映像を保存する時間範囲を設定したが、仮のピーク位置を設定せず、リアクションの取得時間から所定時間前の時間範囲を映像を保存する時間範囲に設定してもよい。またこの場合における所定時間は、他の時間帯におけるリアクションの取得時間と重要度のピーク位置の関係に基づいて推定されたユーザの反応時間を用いることが望ましい。また本実施形態では、ユーザのリアクションに基づいて映像を保存する時間範囲を設定したが、重要度が非常に高い時間帯が存在する場合には、ユーザのリアクションが取得されない場合であってもその時間帯を映像を保存する時間帯に設定するようにしてもよい。このように、本実施形態に基づいて当業者等によりなされる他の実施の形態、実施例及び運用技術等は全て本発明の範疇に含まれる。

本発明の一実施形態となる映像保存装置の構成を示すブロック図である。 本発明の一実施形態となる映像保存処理の流れを示すフローチャート図である。 図１に示すリアクション時間情報記憶部に記憶されるリアクション時間情報の一例を示す図である。 本発明の一実施形態となる映像保存処理の流れを示すフローチャート図である。 本発明の一実施形態となる映像保存処理の流れを示すフローチャート図である。 本発明の一実施形態となる映像保存処理において映像を保存する時間範囲の設定の例を説明する図である。 本発明の一実施形態となる重要度算出処理の流れを示すフローチャート図である。 本発明の一実施形態となる境界候補算出処理の流れを示すフローチャート図である。

符号の説明

１：映像保存装置
２：インタフェース部
３：制御部
４：映像出力部
５：リアクション取得部
６：映像一時記憶部
７：映像解析部
８：保存時間範囲抽出部
９：映像保存制御部
１０：リアクション時間情報記憶部
１１：重要度記憶部
１２：境界候補記憶部
１３：保存時間範囲記憶部
１４：映像保存部
２１：表示部
２２：リアクション入力部

Claims (4)

1. 映像を出力する映像出力部と、
   前記映像出力部が映像を出力している際に視聴者の所定のリアクションが取得されたか否かを判別し、所定のリアクションが取得された場合、所定のリアクションの取得時間を記憶するリアクション取得部と、
   前記リアクション取得部により取得された所定のリアクションの取得時間に基づいて、前記視聴者の関心がある映像範囲を抽出する抽出部と、
   前記映像出力部が出力している映像のジャンルを判別し、判別された前記ジャンルに応じて前記映像の重要度の時間変化を算出する映像解析部を有し、
   前記抽出部は、前記リアクション取得部により取得された所定のリアクションの取得時間と前記映像解析部により算出された前記映像の重要度の時間変化とに基づいて、前記視聴者の関心がある映像範囲を抽出することを特徴とする映像範囲抽出装置。
2. 請求項１に記載の映像範囲抽出装置において、
   前記映像解析部は、さらに、前記映像出力部が出力している映像の境界候補を検出し、前記抽出部は、前記リアクション取得部により取得された所定のリアクションの取得時間と前記映像解析部により算出された前記映像の重要度の時間変化、及び前記映像の境界候補に基づいて、前記視聴者の関心がある映像範囲を抽出することを特徴とする映像範囲抽出装置。
3. 映像を表示部に対し出力する処理と、
   前記映像を出力している際に視聴者の所定のリアクションが取得されたか否かを判別し、所定のリアクションが取得された場合、所定のリアクションの取得時間を記憶する処理と、
   前記リアクションの取得時間に基づいて、前記視聴者の関心がある映像範囲を抽出する映像範囲抽出処理と
   前記表示部が出力している映像のジャンルを判別する判別処理と、
   前記判別処理により判別された前記ジャンルに応じて前記表示部が出力している前記映像の重要度の時間変化を算出する映像解析処理と、
   前記所定のリアクションの取得時間と前記算出された前記映像の重要度の時間変化とに基づいて、前記視聴者の関心がある映像範囲抽出処理と
   をコンピュータに実行させることを特徴とする映像範囲抽出プログラム。
4. 映像を出力する映像出力部と、
   前記映像出力部が映像を出力している際に視聴者の所定のリアクションが取得されたか否かを判別し、所定のリアクションが取得された場合、所定のリアクションの取得時間を記憶するリアクション取得部と、
   前記リアクション取得部により取得された所定のリアクションの取得時間に基づいて、前記視聴者の関心がある映像範囲を抽出する抽出部と、
   前記映像出力部が出力した映像から前記抽出部により抽出された映像範囲の映像を抽出する映像保存制御部と、
   前記映像保存制御部により抽出された映像を記憶する映像保存部と
   前記映像出力部が出力している映像のジャンルを判別し、判別された前記ジャンルに応じて前記映像の重要度の時間変化を算出する映像解析部を有し、
   前記抽出部は、前記リアクション取得部により取得された所定のリアクションの取得時間と前記映像解析部により判別された前記ジャンルにしたがって算出された重要度の時間変化とに基づいて、前記視聴者の関心がある映像範囲を抽出することを特徴とする映像保存装置。

Images