JP2010068426A - 再生装置及びコンテンツ再生プログラム - Google Patents

Abstract

【課題】予め特徴がわからないようなシーンを含め、所望のシーンを抽出することが可能な技術を提供する。
【解決手段】録画したコンテンツを再生する録画再生装置１において、コーナー区間指定部１１は、再生すべきシーン群からなるコーナーを持つコンテンツと、そのコーナーの開始位置及び終了位置を特定する情報の指定を受け付ける。コーナー特徴抽出部１２は、指定されたコンテンツのうち、指定されたコーナー部分をショット単位で分割し、得られた各ショットについて第１の特徴量を求める。映像特徴抽出部１３は、コンテンツとは異なる他のコンテンツをショット単位で分割し、得られた各ショットについて第２の特徴量を求める。特徴マッチング部１５は第１の特徴量と第２の特徴量とを比較し、第１及び第２の特徴量が所定の閾値に収まる場合には、第２の特徴量を有するショットを、コーナーのショットとして抽出する。
【選択図】図１

Description

本発明は、テレビ番組等の映像のコンテンツを録画し、再生する技術に関する。特に、録画したコンテンツをシーン単位で再生する技術に関する。

テレビ番組等のコンテンツを予約録画する際には、番組単位で録画するのが一般的である。そのため、番組の中の一部のシーンだけを視聴するためには、ユーザは、見たいシーンが含まれる番組を選択し、その番組を再生させて見たいシーンまでスキップさせる必要がある。このように、番組のうち所定のシーンを再生するには、操作に手間がかかるとともに、見たいシーンを視聴するまでに時間が係る。

そこで、映像から特定のシーンを抽出するための方式として、例えば、テレビ映像からコマーシャル部分を抽出する方式、リプレイシーンを抽出する方式、あるいは、天気予報の部分を抽出する方式が開発されている。これらの方式を用いてシーンを抽出すれば、そのシーンだけを再生することが容易に可能となる。

これらの方式では、抽出したいシーンに固有の特徴を設定し、その特徴に合致する部分を映像から探し出すことで所望のシーンを抽出している。
例えば、天気予報等のキー画面を指定して記憶しておき、受信したテレビジョン信号に基づく動画情報の中からキー画面が検出されると、キー画面から一定時間、動画情報を記憶する技術について開示されている（例えば、特許文献１）。

また、入力された動画像信号から所定の動画像表示部分を切り出して目的動画像信号を得て、目的動画像信号から求めた特徴ベクトルを用いて、予め収録された蓄積動画像信号の中から入力された動画像信号と類似した部分を探し出す技術についても開示されている（例えば、特許文献２）。
特開平１０−４２２４７号公報 特開２００４−１９３９８３号公報

上記の従来技術によれば、抽出するシーンに固有の特徴を設定するため、見たいシーンが決まった後に特徴を設定する必要がある。コマーシャルを取り出す、天気予報を取り出すといった一般的なニーズに対しては利用可能である。しかし、「あの番組のいつも見ているコーナーだけを取り出したい」といった、どのようなシーンを取り出せばよいかが予め特定できないような場合には、上記の従来の方式を適用することができない。

すなわち、コマーシャルや天気予報等のように、予めそのシーンの特徴がわかっているシーンでなければ、録画した番組の中から抽出することができず、ユーザが所望のシーンを抽出して再生することはできない。

開示の再生装置は、予め特徴がわからないようなシーンを含め、所望のシーンを抽出することが可能な技術を提供することを目的とする。

上記課題を解決するために、開示の再生装置は、録画したコンテンツを再生する再生装置であって、再生すべきシーン群からなるコーナーを持つコンテンツと、そのコーナーの
開始位置及び終了位置を特定する情報の指定を受け付ける指定手段と、前記指定手段により指定されたコンテンツのうち、指定されたコーナー部分をショット単位で分割し、得られた各ショットについて第１の特徴量を求める第１の特徴量抽出手段と、前記コンテンツとは異なる他のコンテンツをショット単位で分割し、得られた各ショットについて第２の特徴量を求める第２の特徴量抽出手段と、前記第１の特徴量と前記第２の特徴量とを比較し、該第１及び第２の特徴量が所定の閾値に収まる場合には、該第２の特徴量を有するショットを、前記コーナーのショットとして抽出するコーナー抽出手段と、を備えた構成とする。

コンテンツの中から抽出すべきシーン群として指定されたコーナーについて、ショットごとにその特徴量（第１の特徴量）を求めておく。新たにコンテンツが入力されると、コンテンツをショット単位で分割してショットごとに特徴量（第２の特徴量）を求め、ショットごとに求めた特徴量を、第１の特徴量と比較する。第１の特徴量と値が近い場合には、そのショットをコーナーとして抽出する。特徴量を求めてコーナーを抽出することで、特徴が予めわかっていないシーン群であっても抽出することが可能となる。

前記第１及び第２の特徴量抽出手段は、前記コーナー区間内の画像を対象とした特徴群、区間内の音声を対象とした特徴群、及び区間の開始時刻や継続時間等の時間特徴群を含む特徴を抽出することとしてもよい。

前記第１の特徴量抽出手段は、前記指定手段により指定されたコーナーの開始時刻から終了時刻までの区間の特徴群に加え、該区間の前後の所定の区間の特徴群を抽出することとしてもよい。

前記第１の特徴量抽出手段は、前記指定手段により指定されたコーナーの開始時刻の直前の特徴群、開始時刻の直後の特徴群、開始時刻から終了時刻までの特徴群、終了時刻の直前の特徴群及び終了時刻の直後の特徴群をそれぞれ抽出し、
前記コーナー抽出手段は、前記他のコンテンツの各ショットについて、コーナーの開始直前である確率、コーナーの開始直後である確率、コーナー中である確率、コーナーの終了直前である確率及びコーナーの終了直後である確率を計算し、該計算結果に基づき最もコーナーらしい区間を抽出することとしてもよい。

開示の再生装置によれば、予めその特徴がわからないシーン等であっても、ユーザが所望のシーンを抽出することが可能となる。

以下、本発明の好適な実施の形態について、図面を参照して詳細に説明する。
＜第１の実施形態＞
図１は、本実施形態に係るコーナーの抽出方法の概要を説明する図である。以下においては、映像コンテンツの一例として、テレビ放送される番組について説明する。

本実施形態に係るコーナー抽出方法を実行するためには、まず、所定の番組を録画しておく必要がある。ここで、コーナー抽出の対象となる番組は、定期的に放送されるものであり、予約の設定等で毎回録画するように予め指定しておく必要がある。まだ録画済の番組がない場合には、予約後に初めて番組を録画した後に以降の処理を実行する。

（ａ）に示すように、録画済の番組の中から、ユーザが、抽出したいコーナーを指定する。ユーザにコーナーを指定させるために、録画した映像をショット単位に分割し、各ショットの先頭フレーム画像を時間順に画面に表示させる。ユーザは、画面を通して先頭ショットのフレーム画像と最後のショットのフレーム画像を指定する。ユーザが指定した先頭フレームから最後のフレームまでを、コーナー区間として特定する。コーナー区間から画像や音声の特徴を抽出し、抽出した特徴については、コーナーの特徴として、データベース（ＤＢ）等のデータ格納部３に格納しておく。

次に、（ｂ）に示すように、新たに番組が録画されると、新たに録画した番組をショット単位に分割し、ショットごとに特徴を抽出して、データ格納部３に格納されているコーナーの特徴と比較していく。比較に基づき、新たに録画された番組の中からコーナーを抽出する。新たに録画した番組から抽出したコーナー区間についての情報を格納部３に格納するとともに、必要に応じて、格納部３に格納されているコーナーの特徴、すなわち（ａ）で格納した情報を更新する。

そして、（ｃ）に示すように、ユーザにより指定したコーナーを再生するよう指示が入力されると、（ｂ）において格納部３に格納した情報に基づき、新たに録画した番組から抽出したコーナーの先頭を頭出ししてコーナー区間の映像を再生する。

あるいは、番組の録画後にコーナー区間の抽出処理を実行した場合には、コーナー区間の映像だけを格納しておき、元の番組の映像については破棄する構成としてもよい。この場合には、ユーザが映像の再生を指定すると、頭出し等は行わずに、そのコーナー区間の映像がそのまま再生される。

図２は、本実施形態に係る録画再生装置の構成図である。図２に示すテレビ番組録画再生装置（以下録画再生装置とする）１は、表示部２及びデータ格納部３と接続され、シーン抽出手段１０を備える。表示部２は、テレビ番組等の映像コンテンツのショットのフレームを複数表示し、ユーザは、表示部２を介してコーナーの先頭と終了フレームを指定する。データ格納部３は、コーナーの抽出に関わる情報を格納し、例えば、コーナーの特徴や区間についての情報を、映像と関連付けて格納する。

シーン抽出部１０は、コーナー区間指定部１１、コーナー特徴抽出部１２、映像特徴抽出部１３、特徴マッチング部１４及びコーナー特徴更新部１５を備え、録画したテレビ番組等のコンテンツの中からユーザが指定したコーナーを、以後に録画した同じテレビ番組から抽出する。

ここで、コーナーとは、ある番組内の一部のシーンを指すものとする。コーナーは、同一の番組の中では同様の内容を有するシーン群からなり、他のシーンとは構成的に独立し、定期的に（例えば、毎週あるいは毎日）放送されるテレビ番組の中に毎回登場するが、内容については毎回異なる、といった性質を有する。

シーン抽出部１０のうち、コーナー区間指定部１１は、ユーザが表示部２を介して入力した情報にしたがって、コーナーを抽出すべき番組（映像コンテンツ）、及び番組のうち、抽出すべきコーナーの開始位置・終了位置の指定を受け付ける。なお、表示部２には、映像をショットごとに分割して得られたフレームが表示されており、ユーザは、表示されているフレームの中から抽出したいコーナーの開始フレーム及び終了フレームの位置を指定する。コーナーの開始及び終了位置は、例えば、ユーザが指定したフレームの番組開始からみた時間や時刻により指定される。

コーナー特徴抽出部１２は、コーナー区間指定部１１により指定されたコーナーについての特徴を抽出する。特徴の抽出方法の詳細については後述する。抽出された特徴は、コーナー特徴としてデータ格納部３に格納する。

映像特徴抽出部１３は、コーナー特徴を抽出した映像とは別の異なる映像が新たに録画された場合に、その新たに録画された映像から、特徴を抽出する。特徴マッチング部１４は、データ格納部３に格納されているコーナーの特徴と、映像特徴抽出部１３により抽出された映像の特徴とを比較して、特徴の一致の度合に基づき、コーナーを抽出する。

コーナー特徴更新部１５は、特徴マッチング部１４において映像からコーナーを抽出する処理におけるコーナー特徴の寄与の度合に応じて、データ格納部３に格納されているコーナー特徴に関わる情報を更新する。

図２に示す録画再生装置１では、シーン抽出部１０において、映像から特徴を抽出して、ユーザが指定した区間すなわちコーナーの特徴と比較して、特徴の一致の度合が高い場合には、その箇所をコーナーとして抽出する。ユーザは、映像の中から抽出したコーナーのみを再生させたり、コーナーについてアーカイブしたり等の視聴が可能となる。以下、コーナーの抽出方法についてより具体的に説明する。

図３は、抽出する特徴の例を示す図である。抽出する特徴は、ショットの特徴、コーナーの特徴及びコーナーの切れ目の特徴に区分できる。
ショットの特徴としては、（ａ）に示すように、例えば、音声、画像、文字列等の特徴がある。音声の特徴は、ショットの音声波形から取得する。画像の特徴は、画像の色や形等から取得し、文字列は、ショットに含まれるテロップ文字列等から取得する。

実施例においては、ショットの特徴は、ユーザにより指定された先頭ショット及び最終ショットに加え、先頭ショットの１つ前のショットや最終ショットの１つ後のショット、先頭ショットから最終ショットまでの間の全てのショットからも抽出する。コーナーの切れ目、すなわち抽出すべきコーナーと他のシーンとの境界をより高精度に抽出するためである。

コーナーの特徴としては、（ｂ）に示すように、番組の先頭からコーナーが始まるまでの時間（開始時間あるいは開始時刻）、コーナーが終わるまでの時間（終了時間あるいは終了時刻）及びコーナーの継続時間等がある。

コーナーの切れ目の特徴としては、（ｃ）に示すように、例えば、コーナーの前後にコマーシャルが流れる、といった特徴がある。
ユーザにより先頭ショット及び最後のショットが指定されると、指定された先頭ショット及び最後のショットに基づき、コーナーの切れ目を判断する。抽出すべきコーナーの特徴は、番組の先頭から先頭ショット及び最後のショットからコーナーの最後までの時間をそれぞれ求めることにより得る。そして、求めたコーナーの開始時間及び終了時間に基づき、必要なショットについての特徴を取得する。

ショットの特徴については、上記の音声、画像及び文字列等の特徴を多次元ベクトルで表す。なお、ショットの特徴を多次元ベクトルで表す技術については、公知の技術を用いているため、詳細な説明は省略する。まず、録画済の番組のうち、ユーザの指定したショット等について上記ベクトルを求め、「コーナーの特徴」を得る。上記のとおり、「コーナーの特徴」を求めるべきショットは、実施例では、ユーザが指定した先頭ショット及び最終ショットだけでなく、先頭ショットの１つ前のショット、最終ショットの１つ後のショット及び先頭ショットから最終ショットまでの間の全てのショットである。

新たに番組が録画されると、その番組の映像をショット単位で分割して、ショットごとに特徴ベクトルを求めてコーナーの特徴との差を計算して、新たに録画された番組の各ショットについての「コーナーの特徴」として先に求めた特徴ベクトルとの距離を求めていく。コーナーの特徴と、コーナーを抽出すべき番組のショットについての特徴ベクトルとの距離を、そのショットについての「コーナーのショットらしさ」とする。以下の説明では、「コーナーの特徴」のうち、例えば先頭ショットから取得した特徴ベクトルとの差から得られるコーナーのショットらしさは、「先頭ショットらしさ」とする。

次に、「コーナーのショットらしさ」の計算方法について、図４を参照して説明する。
図４は、コーナーのショットらしさの計算方法を説明する図である。ここでは、先頭ショットらしさを計算する場合を例に説明する。

上記のとおり、録画済みの番組から取得した先頭ショットについてのコーナーの特徴２２と、番組を分割して得たあるショットについての特徴２１とは、いずれも多次元ベクトルとして表現されている。あるショットについての特徴２１とコーナーの特徴２２とが似ている場合には、ベクトルの差（距離）は小さくなり、特徴２１と特徴２２とが似ていない場合には、ベクトルの差は大きくなる。

実施例では、これらの特徴ベクトルの差に重み付けして全ての項目について加算してゆき、合計を項目数で除算して得られる値を、先頭ショットらしさとする。重みについては、図４に示すように所期状態においては全ての項目について「１．０」が設定されている。コーナーの抽出に大きく寄与した項目については重みを上げ、寄与の小さい項目については重みを下げることとする。重みの更新処理については、後述する。

各ショットについて「コーナーのショットらしさ」を求めると、求めたコーナーのショットらしさを用いて、新たに録画された番組の各ショットがコーナー区間に属するか否かを判断する。

図５は、コーナー区間らしさを計算する方法を説明する図である。図中の（ａ）には、ある番組のショットごとのコーナー区間に関係するショットらしさを示す。ここでは、時系列にショットの識別番号を付して記載しており、図に示す例では、番組は、７つのショット（ショット１からショット７）を含む。また、ショットらしさに加え、ショットの番組の開始時点から数えた経過時間についても記載している。例えば、番組の開始時点から１５秒まで（０：００−０：１５）がショット１である。

本実施形態においては、番組を構成する複数のショットの中から異なる２つのショットを選択し、選択した２つのショットがコーナーの先頭ショット及び最終ショットであるか否かを、上記の方法により求めた「ショットらしさ」を用いて判断する。

コーナー区間らしさの計算は、以下の式により求める。なお、以下の計算式においては、ショットｍ及びショットｎ（ｍ＜ｎ）がそれぞれ先頭ショット及び最終ショットであるものとする。
（ショットｍ〜ｎのコーナー区間らしさ）
＝（ショットｍ−１の先頭前ショットらしさ）
＋（ショットｍの先頭ショットらしさ）
＋（ショットm＋１〜ｎ−１の中間ショットらしさの合計）
＋（ショットｎの最終ショットらしさ）
＋（ショットｎ＋１の最終後ショットらしさ）
＋（コーナー特徴の開始時刻とショットｍの開始時刻との差）
＋（コーナー特徴の終了時刻とショットｎの終了時刻との差）

例えば、（ｂ）のショット１〜ショット２のコーナー区間らしさについては、ショット１の１つ前のショット０は存在しないため、「もっともらしくない値」として実施例で設定されている値「５００」を入力している。ショット１とショット２の間にはショットが
存在しないため、中間ショットらしさの項の値は「０」である。

また、コーナー特徴の開始時刻は、（ａ）に示すとおり、番組開始から３０秒後であるのに対し、ショット１の開始時刻は番組開始と同時（０秒後）であり、その差分は３０秒である。これより、コーナー区間らしさの計算式の「開始時刻差」には、値「３０」を入力している。コーナー特徴の終了時刻は番組開始から２分後すなわち１２０秒後であるのに対し、ショット２の終了時刻は番組開始から２５秒後である。これより、終了時刻差については、「１２０−２５＝９５」を入力している。

同様に、番組の全てのショットについて先頭及び最終ショットの組み合わせを求め、組み合わせごとに上記の計算式からコーナー区間らしさを計算する。コーナー区間らしさの値が最も小さいショットの組み合わせを先頭及び最終ショットとして、コーナー区間のショット群を抽出する。図５に示す例では、ショット２〜５の「コーナー区間らしさ」が最少であるので、ショット２からショット５をコーナー区間として抽出する。

コーナー区間としてショット群を抽出すると、コーナー区間の特定に対する寄与の度合に応じて、コーナー特徴の重みを更新する。
図６は、コーナー特徴の重みを更新する方法を説明する図である。同図の（ａ）の右方には、図２のデータ格納部３に格納されているコーナー特徴についてのテーブルを示す。コーナー特徴のテーブルには、コーナー特徴及び各特徴と対応付けた重みが格納されている。

まず、「コーナー区間らしさ」の値が所定の閾値以下であるか否かを判定する。図５の例では、ショット２〜５のコーナー区間らしさについて判定を行う。コーナー区間らしさが所定の閾値以下である場合には、コーナー特徴の更新を行う。

特徴の値を更新する方法としては、例えば、データ格納部３のテーブルに格納されているコーナー特徴の値と、コーナー区間のショットの特徴の値との平均を新たなコーナー特徴の値とする。この他には、これまでにコーナー特徴の更新に使用したショット特徴の数を保持しておき、その分コーナー特徴に重みを付けて平均を計算する方法等が考えられる。

重みについては、例えば、以下の式（図６では計算式２３）にしたがって更新する方法がある。
（新重み）＝（旧重み）＋（旧重み）×（閾値−距離）／（閾値×学習係数）
ここで、閾値は、実施例においては、「２００」とする。また、上式中の学習係数とは、重みをどのくらい大きく更新するかを決定する値である。学習係数が大きいほど更新は緩やかになる。図６に示す例では、学習係数は「５」とする。

距離が小さいほどコーナー区間の判定に寄与したものと考えられる。このため、重み更新の計算式２３は、距離が小さかった特徴については、次にコーナー区間を判定するときに重みが大きくなり、距離が大きかった特徴については重みが小さくなるように設定されている。

上記の方法によれば、コーナー特徴は、抽出されたショットの特徴との間で平均に更新されているので、抽出されたショットの特徴と、更新後のコーナー特徴とでは、更新前よりも互いに値が近づいている。このため、仮に同じ特徴を有するショットについて、コーナー特徴の更新後に距離（特徴ベクトル）を求めた場合には、更新前よりも、距離は小さくなる。

更に、更新された重みを反映させてショットらしさ（図６の例では先頭ショットらしさ）を計算すると、（ｂ）のようになり、ショットらしさの値は、更新前と比較して小さくなっていることがわかる。すなわち、コーナー特徴（及びその重み）の更新後は、より高精度にショットらしさを算出することができ、これにより、コーナー区間の抽出を高精度に抽出することが可能となる。

図７は、コーナー区間を抽出する処理を示したフローチャートである。
まず、ステップＳ１で、新規に録画した映像に対してショット分割されたショットを映像の先頭から順に取得する。このとき、抽出したシーン特徴についても同時に取得する。ステップＳ２で、ショットを取得できたか否かを判定する。取得できなかったと判定された場合は、全てのショットについての処理が終了したと判断し、ステップＳ７に進む。

ステップＳ２の判定において、ショットを取得できたと判定された場合は、ステップＳ３に進み、コーナー特徴のうち先頭ショットについての特徴を図２のデータ格納部３から取得する。そして、ステップＳ４で、ステップＳ１で取得したショットの特徴と、ステップＳ３でデータ格納部３から取り出した先頭ショットについての特徴とを比較し、先頭ショットらしさを計算し、ステップＳ５に進む。

ステップＳ５で、コーナー特徴のうち最終ショットについての特徴をデータ格納部３から取得する。そして、ステップＳ６で、ステップＳ１で取得したショットの特徴と、ステップＳ５でデータ格納部３から取り出した最終ショットについての特徴とを比較し、最終ショットらしさを計算する。

以降は、図７においては記載を省略しているが、先頭前ショットらしさ、最終後ショットらしさ及びコーナーの中間ショットらしさについても、上記と同様の方法で計算する。
新規に録画した映像の全てのショットについて、先頭ショットらしさ、最終ショットらしさ、先頭前ショットらしさ、最終後ショットらしさ及び中間ショットらしさを計算した場合には、ステップＳ７に進む。そして、上記ステップで求めた「ショットらしさ」を用いてコーナー区間らしさを計算し、コーナー区間のショット群を抽出し、処理を終了する。コーナー区間らしさを計算してコーナー区間に属するショット群を抽出する方法については、先に説明したとおりである。

図８は、コーナー特徴を更新する処理を示したフローチャートである。
まず、ステップＳ１１で、コーナー区間と判断されたショットを順に取得する。上記のとおり、ここでは、先頭ショットから最終ショットまでのコーナー区間内のショットだけでなく、コーナー区間らしさの計算に利用したショット（先頭前ショット及び終了後ショット）についても取得する。

ステップＳ１２で、所望のショットを取得できたか否かを判定し、取得できなかったと判定された場合には、特に処理を行わず、処理を終了する。
ステップＳ１２で、所望のショットを取得できたと判定された場合には、ステップＳ１３に進み、取得したショットについてのコーナー区間らしさを取得する。ここでは、例えば、「先頭前ショットらしさ」の値には、コーナーの先頭の１つ前のショットと判断されたショットについての値（図５の例ではショット１の先頭前ショットらしさ「５」）を、「先頭ショットらしさ」の値には、コーナーの先頭ショットと判断されたショットについての値（図５の例ではショット２の先頭ショットらしさ「１０」）を用いて計算したコーナー区間らしさを取得する。

そして、ステップ１４で、取得したコーナー区間らしさの値が所定の閾値以下であるか否かを判定する。コーナー区間らしさの値が閾値を超える場合には、そのショットについ
てはコーナー区間の判定に寄与しなかったとみなし、コーナー特徴及び重みの更新は行わないこととし、ステップＳ１１に戻る。

ステップＳ１４において、コーナーのショットらしさの値が閾値以下である場合には、ステップＳ１５に進み、ショットの特徴と対応するコーナー特徴との距離を順に取得する。ステップＳ１６で、全ての特徴について距離を取得できたか否かを判定し、距離を取得できなかった特徴がある場合には、ステップＳ１１に戻る。

ステップＳ１６において、全ての特徴について距離を取得できたと判定された場合には、ステップＳ１７に進み、コーナー特徴及び重みの更新を行う。更新方法については、先に図６を参照して説明したとおりである。

以上説明したように、本実施形態に係る録画再生装置１によれば、予め抽出すべきコーナーを指定してそのコーナーの特徴をコーナー特徴として取得し保有しておく。コーナー特徴は、ユーザによりコーナーとして指定された期間に関わるショットのそれぞれについて取得する。そして、新たに録画した映像からコーナーを取り出すときに、新たに録画した映像の各ショットと、保有しているコーナー特徴のそれぞれとを比較して、映像のうち、特徴が近い部分を同じコーナーであるとして抽出する。ユーザにより指定したコーナーを再生するよう指示が入力されると、新たに録画した映像のうち、抽出したコーナー区間の映像を再生する。予めコンテンツ映像の（シーンの）特徴がわかっていないシーンであっても、ユーザが指定したシーンと特徴の近い区間をコーナー区間として抽出することが可能となる。

＜第２の実施形態＞
本実施形態に係る録画再生装置１は、コーナー区間の抽出をすべき映像（新たに録画された映像）についてショット単位で分割する点については上記実施形態と同様であるが、映像の先頭のショットから順にコーナー区間の先頭を探索してゆき、先頭が見つかった場合には、次以降のショットについて、コーナー区間内のショットであるか、最終のショットであるかを判断していく点で上記実施形態と異なる。

本実施形態に係る録画再生装置の構成等については上記の実施形態と同様であるため、説明は省略し、異なる点を中心に説明することとする。

図９は、第２の実施形態に係るコーナー区間抽出方法を示すフローチャートである。
まず、ステップＳ２１で、番組の映像の先頭から順にショットを指定し、指定したショットの特徴を取得する。ステップＳ２２で、ショットの特徴を取得できたか否かを判定し、取得できなかったと判定された場合は、コーナー区間らしい区間がなかったとして、処理を終了する。

ステップＳ２２において、ショットの特徴を取得できたと判定された場合は、ステップＳ２３に進み、図２のデータ格納部３に格納されているコーナー特徴のうち、先頭ショットについての特徴を取得する。ステップＳ２４で、ステップＳ２１で取得したショットの特徴とデータ格納部３から取り出した先頭ショットの特徴とを比較して、先頭ショットらしさを計算する。そして、ステップＳ２５で、求めた先頭ショットらしさが所定の閾値以下であるか否かを判定する。先頭ショットらしさが所定の閾値を超えると判定された場合は、ステップＳ１に戻り、先頭ショットの探索を継続する。

ステップＳ２５において、先頭ショットらしさが所定の閾値以下であると判定された場合は、ステップＳ２６に進み、ステップＳ２１で取得したショットの次のショットについて、特徴を取得する。

ステップＳ２７で、ショットの特徴を取得できたか否かを判定する。ショットの特徴を取得できなかったと判定された場合は、コーナー区間がみつからなかったと判断し、処理を終了する。

ステップＳ２７において、ショットの特徴を取得できたと判定された場合は、ステップＳ２８に進み、データ格納部３から最終ショットについての特徴を取得する。ステップＳ２９で、ステップＳ２６で取得したショットの特徴とデータ格納部３から取り出した最終ショットの特徴とを比較して、最終ショットらしさを計算する。そして、ステップＳ３０で、求めた最終ショットらしさが所定の閾値以下であるか否かを判定する。

ステップＳ３０において、最終ショットらしさが所定の閾値以下であると判定された場合は、ステップＳ２６で取得したショットは最終ショットであると判断し、ステップＳ３４に進む。

ステップＳ３０において、最終ショットらしさは所定の閾値を超えると判定された場合は、ステップＳ３１に進み、ステップＳ２６で取得したショットについての中間ショットらしさを更に判断する。

具体的には、ステップＳ３１で、データ格納部３から中間ショットの特徴を取得する。そして、ステップＳ３２で、ステップＳ２６で取得したショットについての中間ショットらしさを計算する。ステップＳ３３で、求めた中間ショットらしさが所定の閾値以下であるか否かを判定する。

ステップＳ３３において、中間ショットらしさが閾値を超える場合には、そのショットについてはコーナー区間のショットではないと判断し、ステップＳ２１に戻る。そして、ステップＳ２１では、ステップＳ２６で特徴を取得したショットの次のショットについて特徴を取得し、上記の処理を繰り返す。

ステップＳ３３において、中間ショットらしさが閾値以下である場合には、そのショットについてはコーナー区間の中間ショットであると判断し、ステップＳ２６に戻る。そして、ステップＳ２６では、先に特徴を取得したショットの次のショットについて特徴を取得し、上記の処理を繰り返す。

上記のとおり、ステップＳ３０において最終ショットらしさが所定の閾値以下であると判定されると、ステップＳ３４に進み、ステップＳ２１で取得して先頭ショットらしさが閾値を超えると判定されたショットをコーナー区間の先頭ショット、ステップＳ２６で取得して最終ショットらしさが閾値を超えると判定されたショットを最終ショットとしてコーナー区間を求め、処理を終了する。

なお、上記の方法では、先頭ショットらしさ、最終ショットらしさ及び中間ショットらしさを所定の閾値と比較することによりコーナー区間を抽出しているが、コーナー区間の抽出方法は、これには限らない。例えば、先述の先頭前ショットや最終後ショットも利用してコーナー区間を求める構成としてもよい。

また、使用する閾値は、先頭ショットらしさ、最終ショットらしさ及び中間ショットらしさのいずれについても同じ値を設定してもよいし、それぞれ異なる値を設定してもよい。

以上説明したように、本実施形態に係るコーナー区間抽出方法のように、映像の先頭から順に先頭ショットであるか否かを判断し、先頭ショットが得られた場合には、次以降の
ショットについて、中間ショットであるか、最終ショットであるかを判断していく方法によっても、コーナー区間を抽出することができる。上記実施形態と同様に、ユーザにより指定されたコーナーを再生するよう指示が入力されると、新たに録画した映像のうち、抽出したコーナー区間の映像が再生される。

ところで、図２の録画再生装置１は、例えば、図１０に示すような情報処理装置（コンピュータ）を用いて構成することができる。図１０の情報処理装置は、ＣＰＵ（中央処理装置）１００１、メモリ１００２、入力装置１００３、出力装置１００４、外部記憶装置１００５、媒体駆動装置１００６、ネットワーク接続装置１００７を備え、それらはバス１００８により互いに接続されている。

メモリ１００２は、例えば、ＲＯＭ（read only memory）、ＲＡＭ（random access memory）等を含み、処理に用いられるプログラムおよびデータを格納する。ＣＰＵ１００１は、メモリ１００２を利用してプログラムを実行することにより、必要な処理を行う。

図２のデータ格納部３は、メモリ１００２に対応する。また、図２のコーナー区間指定部１１、コーナー特徴抽出部１２、映像特徴抽出部１３、特徴マッチング部１４及びコーナー特徴更新部１５は、メモリ１００２に格納されたプログラムを実行することにより実現される機能に対応する。

入力装置１００３は、例えば、キーボード、ポインティングデバイス、タッチパネル等であり、録画再生装置１のユーザからのコーナー区間の指定等、指示や情報の入力に用いられる。出力装置１００４は、例えば、ディスプレイ等であり、アラーム、処理結果等の出力に用いられる。

外部記憶装置１００５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。情報処理装置は、この外部記憶装置１００５に、上記プログラムおよびデータを格納しておき、必要に応じて、それらをメモリ１００２にロードして使用する。

媒体駆動装置１００６は、可搬記録媒体１００９を駆動し、その記録内容にアクセスする。可搬記録媒体１００９は、メモリカード、フレキシブルディスク、ＣＤ−ＲＯＭ（compact disk read only memory ）、光ディスク、光磁気ディスク等の任意のコンピュータ読み取り可能な記録媒体である。オペレータは、この可搬記録媒体１００９に上記プログラムおよびデータを格納しておき、必要に応じて、それらをメモリ１００２にロードして使用する。

ネットワーク接続装置１００７は、ＬＡＮ（local area network）、インターネット等の任意の通信ネットワークに接続され、通信に伴うデータ変換を行う。情報処理装置は、必要に応じて、上記プログラムおよびデータを外部の装置からネットワーク接続装置１００７を介して受け取り、それらをメモリ１００２にロードして使用する。

図１１は、図１０の情報処理装置にプログラムおよびデータを供給することのできるコンピュータ読み取り可能な記録媒体を示している。可搬記録媒体１００９やサーバ１１０１のデータベース１１０３に格納されたプログラムおよびデータは、情報処理装置１１０２のメモリ１００２にロードされる。サーバ１１０１は、そのプログラムおよびデータを搬送する搬送信号を生成し、ネットワーク上の任意の伝送媒体を介して情報処理装置１１０２に送信する。ＣＰＵ１００１は、そのデータを用いてそのプログラムを実行し、必要な処理を行う。

以上の実施形態に関し、更に以下の付記を開示する。
（付記１）
録画したコンテンツを再生する再生装置であって、
再生すべきシーン群からなるコーナーを持つコンテンツと、そのコーナーの開始位置及び終了位置を特定する情報の指定を受け付ける指定手段と、
前記指定手段により指定されたコンテンツのうち、指定されたコーナー部分をショット単位で分割し、得られた各ショットについて第１の特徴量を求める第１の特徴量抽出手段と、
前記コンテンツとは異なる他のコンテンツをショット単位で分割し、得られた各ショットについて第２の特徴量を求める第２の特徴量抽出手段と、
前記第１の特徴量と前記第２の特徴量とを比較し、該第１及び第２の特徴量が所定の閾値に収まる場合には、該第２の特徴量を有するショットを、前記コーナーのショットとして抽出するコーナー抽出手段と、
を備えたことを特徴とする再生装置。
（付記２）
前記第１及び第２の特徴量抽出手段は、前記コーナー区間内の画像を対象とした特徴群、区間内の音声を対象とした特徴群、及び区間の開始時刻や継続時間等の時間特徴群を含む特徴を抽出する
ことを特徴とする付記１記載の再生装置。
（付記３）
前記第１の特徴量抽出手段は、前記指定手段により指定されたコーナーの開始時刻から終了時刻までの区間の特徴群に加え、該区間の前後の所定の区間の特徴群を抽出する
ことを特徴とする付記２記載の再生装置。
（付記４）
前記第１の特徴量抽出手段は、前記指定手段により指定されたコーナーの開始時刻の直前の特徴群、開始時刻の直後の特徴群、開始時刻から終了時刻までの特徴群、終了時刻の直前の特徴群及び終了時刻の直後の特徴群をそれぞれ抽出し、
前記コーナー抽出手段は、前記他のコンテンツの各ショットについて、コーナーの開始直前である確率、コーナーの開始直後である確率、コーナー中である確率、コーナーの終了直前である確率及びコーナーの終了直後である確率に基づき、最もコーナーらしい区間を抽出する
ことを特徴とする付記３記載の再生装置。
（付記５）
前記第１の特徴量抽出手段は、前記指定手段により指定されたコーナーの開始時刻の直後の特徴群、及び終了時刻の直前の特徴群をそれぞれ抽出し、
前記コーナー抽出手段は、前記他のコンテンツのショットの先頭から、コーナーの開始直後である確率に基づき、コーナーの開始直後のショットを探索してゆき、該コーナーの開始直後のショット以降のショットについて、コーナー終了直前である確率に基づき、該コーナーの終了直前のショットを探索することにより、最もコーナーらしい区間のショットを抽出する
ことを特徴とする付記３記載の再生装置。
（付記６）
前記コーナー抽出部において前記第１及び第２の特徴量を比較した結果、互いに距離の近い特徴量については該第１の特徴量の重みを上げるコーナー特徴更新部と、
を更に備えたことを特徴とする付記１記載の再生装置。
（付記７）
録画したコンテンツを再生するコンテンツ再生プログラムであって、
再生すべきシーン群からなるコーナーを持つコンテンツと、そのコーナーの開始位置及び終了位置を特定する情報の指定を受け付け、
前記指定されたコンテンツのうち、指定されたコーナー部分をショット単位で分割し、
得られた各ショットについて第１の特徴量を求め、
前記コンテンツとは異なる他のコンテンツをショット単位で分割し、得られた各ショットについて第２の特徴量を求め、
前記第１の特徴量と前記第２の特徴量とを比較し、該第１及び第２の特徴量が所定の閾値に収まる場合には、該第２の特徴量を有するショットを、前記コーナーのショットとして抽出する
処理をコンピュータに実行させることを特徴とするコンテンツ再生プログラム。

コーナーの抽出方法の概要を説明する図である。 実施形態に係る録画再生装置の構成図である。 抽出する特徴の例を示す図である。 コーナーのショットらしさの計算方法を説明する図である。 コーナー区間らしさを計算する方法を説明する図である。 コーナー特徴の重みを更新する方法を説明する図である。 コーナー区間を抽出する処理を示したフローチャート（その１）である。 コーナー特徴を更新する処理を示したフローチャートである。 コーナー区間を抽出する処理を示したフローチャート（その２）である。 情報処理装置の構成図である。 記録媒体を示す図である。

符号の説明

１ 録画再生装置
２ 表示部
３ データ格納部
１０ シーン抽出部
１１ コーナー区間指定部
１２ コーナー特徴抽出部
１３ 映像特徴抽出部
１４ 特徴マッチング部
１５ コーナー特徴更新部

Claims (5)

1. 録画したコンテンツを再生する再生装置であって、
   再生すべきシーン群からなるコーナーを持つコンテンツと、そのコーナーの開始位置及び終了位置を特定する情報の指定を受け付ける指定手段と、
   前記指定手段により指定されたコンテンツのうち、指定されたコーナー部分をショット単位で分割し、得られた各ショットについて第１の特徴量を求める第１の特徴量抽出手段と、
   前記コンテンツとは異なる他のコンテンツをショット単位で分割し、得られた各ショットについて第２の特徴量を求める第２の特徴量抽出手段と、
   前記第１の特徴量と前記第２の特徴量とを比較し、該第１及び第２の特徴量が所定の閾値に収まる場合には、該第２の特徴量を有するショットを、前記コーナーのショットとして抽出するコーナー抽出手段と、
   を備えたことを特徴とする再生装置。
2. 前記第１及び第２の特徴量抽出手段は、前記コーナー区間内の画像を対象とした特徴群、区間内の音声を対象とした特徴群、及び区間の開始時刻や継続時間等の時間特徴群を含む特徴を抽出する
   ことを特徴とする請求項１記載の再生装置。
3. 前記第１の特徴量抽出手段は、前記指定手段により指定されたコーナーの開始時刻から終了時刻までの区間の特徴群に加え、該区間の前後の所定の区間の特徴群を抽出する
   ことを特徴とする請求項２記載の再生装置。
4. 前記第１の特徴量抽出手段は、前記指定手段により指定されたコーナーの開始時刻の直前の特徴群、開始時刻の直後の特徴群、開始時刻から終了時刻までの特徴群、終了時刻の直前の特徴群及び終了時刻の直後の特徴群をそれぞれ抽出し、
   前記コーナー抽出手段は、前記他のコンテンツの各ショットについて、コーナーの開始直前である確率、コーナーの開始直後である確率、コーナー中である確率、コーナーの終了直前である確率及びコーナーの終了直後である確率を計算し、該計算結果に基づき最もコーナーらしい区間を抽出する
   ことを特徴とする請求項３記載の再生装置。
5. 録画したコンテンツを再生するコンテンツ再生プログラムであって、
   再生すべきシーン群からなるコーナーを持つコンテンツと、そのコーナーの開始位置及び終了位置を特定する情報の指定を受け付け、
   前記指定されたコンテンツのうち、指定されたコーナー部分をショット単位で分割し、得られた各ショットについて第１の特徴量を求め、
   前記コンテンツとは異なる他のコンテンツをショット単位で分割し、得られた各ショットについて第２の特徴量を求め、
   前記第１の特徴量と前記第２の特徴量とを比較し、該第１及び第２の特徴量が所定の閾値に収まる場合には、該第２の特徴量を有するショットを、前記コーナーのショットとして抽出する
   処理をコンピュータに実行させることを特徴とするコンテンツ再生プログラム。

Images