JP2009055528A - コンテンツ処理装置 - Google Patents

Abstract

【課題】時間的に連続したコンテンツを適切にチャプター分割を行い、また適切なタイミングでハイライトシーンを検出することで、使い勝手の良いサムネイルを作成すること。
【解決手段】特徴抽出部３は、コンテンツに含まれるＡＶデータから複数種類の特徴量（色信号強度、音量、字幕の文字情報など）を抽出し、合成部５は、複数の特徴量を演算して第１、第２の合成特徴量Ｇ１，Ｇ２を生成する。チャプター分割部６は第１の合成特徴量Ｇ１に基づきコンテンツをチャプターに分割する。サムネイル作成部７は、第２の合成特徴量Ｇ２に基づきハイライトシーンを検出する。
【選択図】図１

Description

本発明は、オーディオビデオデータを含むコンテンツをチャプターに分割しサムネイル画像を作成するコンテンツ処理装置に関するものである。

オーディオビデオデータ（ＡＶデータ）をＤＶＤ、ＨＤＤ等の記録媒体に記録する際、コンテンツメニューを作成することで記録したコンテンツの内容が一目で分かり、所望のコンテンツの検索や再生が容易になる。具体的には、コンテンツを複数のチャプターに分割し、その分割位置を記録経過時間などで管理する。また、コンテンツ内の盛り上がりシーン（ハイライトシーン）を検出してサムネイル画像を作成して保存しておく。

例えば特許文献１には、ＡＶデータを複数のチャプターに分割する際、記録日時を示す日時データに基づき、日時データの連続性がない箇所をＡＶデータの区切りとする方法が開示されている。また、特許文献１には、サムネイルを作成する際、ＡＶデータのハイライトシーンを検出する方法として、画素差分値が設定した基準値以上となる映像符号化データに基づいて作成する方法が開示されている。

特開２００４−２７４１７１号公報

従来のチャプター分割方法やサムネイル作成方法は、その分割・作成精度の点で、ユーザにとって十分満足できるものではない。特許文献１の技術によれば、記録日時データのみでチャプター分割を行うため、時間的に連続して記録したＡＶデータについてはチャプター分割することが困難となる。また、サムネイル作成の技術では、ハイライトシーンを画像信号の変化でのみ判別しているので適切なタイミングを見逃す場合があった。

本発明の目的は、時間的に連続したコンテンツを適切にチャプター分割を行うことができ、また適切なタイミングでハイライトシーンを検出することで、使い勝手の良いサムネイルを作成することである。

本発明のコンテンツ処理装置は、コンテンツに含まれるオーディオビデオデータから複数の特徴量を抽出する特徴抽出部と、特徴抽出部で抽出した複数の特徴量を演算して第１の合成特徴量を生成する合成部と、合成部で生成した第１の合成特徴量に基づきコンテンツを複数のチャプターに分割するチャプター分割部と、コンテンツと共にチャプター分割情報を記録媒体に該記録媒体の規格に合わせて成型して記録するオーサリング部と、を備える。

また本発明のコンテンツ処理装置は、特徴抽出部で抽出した複数の特徴量を演算して第２の合成特徴量を生成する合成部と、合成部で生成した第２の合成特徴量に基づきコンテンツからハイライトシーンを含むサムネイル画像を作成するサムネイル作成部と、コンテンツと共にサムネイル情報を記録媒体に該記録媒体の規格に合わせて成型して記録するオーサリング部と、を備える。

ここに前記特徴抽出部は、複数の特徴量として映像データの色信号強度と、音声データの音量と、字幕データの文字の情報を抽出する。また前記合成部は、第１の合成特徴量と第２の合成特徴量を生成するために同一若しくは異なる演算式を用いる。

本発明によれば、コンテンツのチャプター分割やサムネイル作成における精度が向上し、また、コンテンツメニューを自動的に作成できるコンテンツ処理装置を実現する。

以下、本発明の実施例を図面を用いて説明する。
図１は、本実施例に係るコンテンツ処理装置の一実施例を示す構成図である。本装置は、記録媒体からコンテンツ（オーディオビデオデータ）を読み出して、複数のチャプターに分割し、またコンテンツの内容を表わすサムネイル画像を作成する。そしてチャプター分割とサムネイル画像に関するコンテンツメニューを作成し、記録媒体に保存する。

ＨＤＤなどの補助記憶装置１にはオーディオビデオデータ（ＡＶデータ）が記録されており、これを再生処理部２で再生する。その際、記録されているＡＶデータが符号化されていればこれを復号化処理し、また読み出したＡＶデータを映像データ、音声データ、字幕データに分離する。

特徴抽出部３は、分離した各データから複数の特徴量を抽出する。本例では、映像データについては特定色の強度、音声データについてはその音量、また字幕データについては字幕の文字に関する情報を特徴量として抽出する。正規化部４は、抽出した各特徴量をそれらの最大レベルが１００％となるよう正規化する。合成部５は、これらの正規化された特徴量を演算して２つの合成特徴量Ｇ１，Ｇ２を生成する。このとき、チャプター分割用とサムネイル作成用に同一若しくは異なる演算式を用いて、それぞれに適切な合成特徴量Ｇ１，Ｇ２を生成する。

チャプター分割部６は、合成部５から合成特徴量Ｇ１を入力し、特徴量Ｇ１の大きさからチャプターの分割位置を決定する。またサムネイル作成部７は合成特徴量Ｇ２を入力し、特徴量Ｇ２の大きさからハイライトシーンを決定し、ＡＶデータから対応するサムネイル画像（静止画、動画など）を作成する。

オーサリング部８は、チャプター分割位置の情報（チャプターデータ）とサムネイル画像の情報（サムネイルデータ）を基に、記録媒体の規格（記録フォーマット）に従ったコンテンツメニューを作成する。記録処理部９は、コンテンツメニューを記録装置１０（例えば光ディスクドライブＯＤＤ）に記録する。また、上記補助記憶装置１、記録装置１０、再生処理部２、記録処理部９は外部装置として構成しても良い。

このように本実施例では、特徴抽出部３は、再生したＡＶデータから映像、音声に関する複数の特徴量を抽出する。そして、それらの特徴量を合成して合成特徴量を生成し、チャプター分割とサムネイル作成の指標とすることに特徴がある。

以下、各部の動作を順に説明する。
図２は、ＡＶデータから抽出した特徴量と合成特徴量の生成例を示す図である。これらは、特徴抽出部３、正規化部４、合成部５が実行する。ここでは３種類の特徴量を抽出するものとし、（ａ）は映像データにおける特定色の強度Ｑａ、（ｂ）は音声データにおける音量Ｑｂ、（ｃ）は字幕データにおける文字情報の有無Ｑｃを示している。また（ｄ）はチャプター分割用の合成特徴量Ｇ１、（ｅ）はサムネイル作成用の合成特徴量Ｇ２を示す。またここでは、コンテンツとして相撲番組中継を例に説明する。

（ａ）は各画像フレームから色信号を検出し、特定色の強度（画面内の割合）を定量的に求める。符号２１は特定色の強度信号の時間変化であり、これを低域フィルタで高周波成分を除去し、符号２２のように滑らかな信号を得る。そして、一定期間（コンテンツ全体の期間）においてその最大値が１となるように正規化して、映像特徴量Ｑａを得る。相撲番組であれば、特定色として土俵の色に注目するのがよい。期間ｔ１〜ｔ２を相撲の取り組み期間とすると、その期間では土俵画面の表示が中心となるので、特徴量Ｑａの値が大きくなる。

（ｂ）は音声データの音量を検出し、符号２３のように時間変化を求める。そして一定期間で正規化して音声特徴量Ｑｂを得る。相撲番組であれば、取り組み期間ｔ１〜ｔ２において観客の歓声により特徴量Ｑｂは増大し、ハイライトシーン（勝負が決定した瞬間などの盛り上がりシーン）ｔ３にて最大となる。

（ｃ）は字幕データの文字情報を検出し、字幕特徴量Ｑｃを２値で表わす。符号２４のように「字幕あり」の場合Ｑｃ＝１、符号２５のように「字幕なし」の場合Ｑｃ＝０とする。相撲番組では、力士紹介などの字幕表示されるのは取り組み前や取り組み後の期間であり、取り組み期間ｔ１〜ｔ２においては表示されないので特徴量Ｑｃ＝０となる。

（ｄ）はチャプター分割の判定に用いる合成特徴量Ｇ１を示し、上記の各特徴量Ｑａ，Ｑｂ，Ｑｃを用いて次式（１）で演算する。
Ｇ１＝Ｑａ・（１−Ｑｂ）・（１−Ｑｃ） （１）
この演算式（１）では、Ｑａが大きく（土俵画面であること）、Ｑｂが小さく（歓声が小さいこと）、Ｑｃが小さい（字幕データなし）場合に合成特徴量Ｇ１が大きくなる。すなわち、取り組み期間の開始時点ｔ１と終了時点ｔ２にてＧ１は大きくなる。このことは、取り組みの期間に対応して番組を区切り、チャプター分割を行う上で好都合である。

（ｅ）はサムネイル作成の判定に用いる合成特徴量Ｇ２を示し、上記の各特徴量Ｑａ，Ｑｂ，Ｑｃを用いて次式（２）で演算する。
Ｇ２＝Ｑａ・Ｑｂ・（１−Ｑｃ） （２）
前記演算式（１）と比較すると、演算式（２）では、Ｑｂが大きい（歓声が大きい）場合に合成特徴量Ｇ２が大きくなるようにしている。すなわち、取り組み期間中のハイライトシーンｔ３にてＧ２は大きくなる。これにより、取り組みの期間のハイライトシーンを検出してサムネイル作成を行う上で好都合である。

このように本実施例では、複数の特徴量を組み合わせて合成特徴量を生成し、それを指標にチャプター分割とサムネイル作成するようにしている。よって、単一の特徴量を基にチャプター分割やサムネイル作成を行う場合に比べて、判定の精度が向上し適切なタイミングを見逃すことがなくなる。例えば相撲番組の場合、取り組み期間中は字幕の文字情報は表示されないため、字幕データの特徴量を組み合わせることで、取り組み期間以外のシーンからサムネイルを作成することを防止できる。また、チャプター分割では音声特徴量Ｑｂの小さいシーンを分割位置としているので、ハイライトシーンを確実に含むようにチャプターを分割できる。

合成特徴量の演算式は、コンテンツをどのような観点でチャプターに分割するか、またサムネイルをどのような観点で作成するかにより、目的に応じて適宜設定すればよい。また、上記演算式においては各特徴量を正規化して寄与率を同一にしたが、必要に応じて各特徴量に重み付け係数を追加し、寄与率に差を付けることもできる。

図３は、チャプター分割部６によるチャプター分割処理の手順を示すフローチャートである。以下、各ステップについて説明する。

Ｓ１０１では、チャプター分割に用いる合成特徴量Ｇ１のデータを読み出す。ここで合成特徴量Ｇ１のデータは、装置内のメモリに格納されているものとする。そして、読み出したデータに含まれる特徴量Ｇ１の各ピーク点のレベルとその時間位置を求めてピーク点データを作成しテーブルに格納しておく。

Ｓ１０２では、チャプター分割法として分割数を指定するか、閾値を指定するかをユーザが選択する。分割数を指定する場合は、Ｓ１０３にてチャプター分割数Ｎを入力する。Ｓ１０４では、テーブルに格納している合成特徴量Ｇ１のピーク点データを参照し、レベルの大きい順に（Ｎ−１）個のピーク点を検出する。一方Ｓ１０２で閾値を指定する場合は、Ｓ１０５にて閾値Ｇｔｈ（０〜１００％）を入力する。Ｓ１０６では、合成特徴量Ｇ１のピーク点データを参照し、レベルが閾値Ｒｔｈ以上となるピーク点を検出する。

Ｓ１０７では、上記Ｓ１０４又はＳ１０６で求めたピーク点の時間位置を分割点として、コンテンツをチャプターに分割する。そして分割した位置の時間情報を作成しチャプターデータとする。

図４は、チャプター分割の例を示す図であり、（ａ）は分割数を指定した場合、（ｂ）は閾値を指定した場合である。

（ａ）は分割数Ｎ＝３を指定した場合で、合成特徴量Ｇ１のピーク点データを参照し、レベルの大きい順にＮ−１＝２個のピーク点を選択する。図では、符号４１と符号４２の２個のピーク点が選択される。これらの点を区切り位置として、コンテンツを３個のチャプターＣｈａｐ−１，Ｃｈａｐ−２，Ｃｈａｐ−３に分割する。

（ｂ）は閾値Ｇｔｈ＝５０％を指定した場合で、合成特徴量Ｇ１のピーク点データを参照し、レベルが閾値Ｒｔｈ以上となるピーク点を選択する。図では、符号４１，４２の他に、さらに符号４３，４４のピーク点が該当し、計４個のピーク点が選択される。これらの点を区切り位置として、コンテンツを５個のチャプターＣｈａｐ−１，Ｃｈａｐ−２，・・・，Ｃｈａｐ−５に分割する。

なお、ピーク点の検出において、複数個のピーク点が所定距離（所定時間）未満に近接して存在する場合は、１個のピーク点のみで代表させるようにする。例えば図４（ｂ）における符号４３，４４のピーク点は、１個で代表させたものである。

このようなチャプター分割によれば、合成特徴量Ｇ１の大きさにより分割位置を定量的に判定するので、コンテンツをより精度を高く分割することが可能になる。すなわち、ＡＶデータから抽出した特徴量を指標としているので、コンテンツが時間的に連続しているかどうかは関係なく、幅広く適用できる。相撲番組で言えば、１つの取り組みを１つのチャプターとして確実に分割することができる。また、ユーザは分割方法として分割数指定、閾値指定の両方から選択することで、チャプターを所望のサイズに分割できるので使い勝手が良い。

図５は、サムネイル作成部７によるサムネイル作成処理の手順を示すフローチャートである。以下、各ステップについて説明する。

Ｓ２０１では、サムネイル作成に用いる合成特徴量Ｇ２のデータを読み出す。ここで合成特徴量Ｇ２のデータは、装置内のメモリに格納されているものとする。そして、読み出したデータに含まれる各ピーク点のレベルとその時間位置を求めてピーク点データを作成しテーブルに格納しておく。

Ｓ２０２では、サムネイル作成法としてサムネイル数を指定するか、閾値を指定するかをユーザが選択する。サムネイル数を指定する場合は、Ｓ２０３にてサムネイル数Ｍを入力する。Ｓ２０４では、テーブルに格納している合成特徴量Ｇ２のピーク点データを参照し、レベルの大きい順にＭ個のピーク点を検出する。一方Ｓ２０２で閾値を指定する場合は、Ｓ２０５にて閾値Ｇｔｈ（０〜１００％）を入力する。Ｓ２０６では、合成特徴量Ｇ２のピーク点データを参照し、レベルが閾値Ｒｔｈ以上となるピーク点を検出する。

Ｓ２０７では、上記Ｓ２０４又はＳ２０６で求めたピーク点をハイライトシーンとして、これに対応するコンテンツの映像データを補助記憶装置１から取得する。サムネイル画像は、ピーク位置のフレームの静止画、又はピーク位置を含む前後期間の動画を基に作成し、記録装置１０に格納する。ピーク点が複数個あれば、それぞれに対する複数のサムネイル画像を作成して格納する。Ｓ２０８では、作成したサムネイル画像の時間情報や格納位置情報を作成し、コンテンツメニューとする。

図６は、サムネイル作成の例を示す図であり、（ａ）はサムネイル数を指定した場合、（ｂ）は閾値を指定した場合である。

（ａ）はサムネイル数Ｍ＝２を指定した場合で、合成特徴量Ｇ２のピーク点データを参照し、レベルの大きい順にＭ＝２個のピーク点を選択する。図では、符号６１と符号６２の２個のピーク点が選択される。これらの点をハイライトシーンとして、コンテンツから２個のサムネイルＴｈｕｍ−１，Ｔｈｕｍ−２を作成する。サムネイル画像として、静止画とその前後の動画を作成する。

（ｂ）は閾値Ｇｔｈ＝５０％を指定した場合で、合成特徴量Ｇ２のピーク点データを参照し、レベルが閾値Ｒｔｈ以上となるピーク点を選択する。図では、符号６１のピーク点のみが該当して選択され、この点をハイライトシーンとして、コンテンツから１個のサムネイルＴｈｕｍ−１を作成する。

このようなサムネイル作成によれば、合成特徴量Ｇ２の大きさによりシーンの盛り上位置を定量的に判定するので、コンテンツを代表するより適切なサムネイルを作成することが可能になる。相撲番組で言えば、取り組み中のハイライトシーンを確実に捉え、サムネイル画像とすることができる。この場合も、ユーザはサムネイル作成方法としてサムネイル数指定、閾値指定の両方から選択することで、所望の数のサムネイルを作成することができ使い勝手が良い。

次に、サムネイル作成のための閾値を可変とすることで、複数の条件に基づく複数のサムネイルを作成する場合について説明する。

図７は、サムネイル作成時の閾値を可変としてサムネイル画像を作成するフローチャートを示す。

Ｓ２１１では、サムネイル作成のための条件として、閾値Ｇｔｈ（０〜１００％）を指定する。Ｓ２１２では、合成特徴量Ｇ２のデータをスキャンして、特徴量Ｇ２が閾値Ｇｔｈ以上となるデータ領域Ｒを検出する。データ領域Ｒは、閾値Ｇｔｈ以上となる区間の時間情報で表わす。なおこの場合には、合成特徴量Ｇ２のピーク点データは用いない。

Ｓ２１３では、上記求めた領域Ｒの時間情報を基に、補助記憶装置１に格納されるコンテンツから該当する映像データを取得し、サムネイル画像とする。領域Ｒが複数箇所検出されれば、複数のサムネイル画像を得る。また、領域Ｒが時間幅を持てば動画サムネイルとなり、領域Ｒが点位置であれば静止画サムネイルとなる。一般に、Ｇｔｈ＝１００％としたときには静止画サムネイルが得られ、Ｇｔｈが小さい場合には、時間幅の大きな動画サムネイルが得られる。

Ｓ２１４では、さらに新しい作成条件（閾値Ｇｔｈ）があるかどうか判定する。新たな条件がある場合は、Ｓ２１１に戻り異なる閾値Ｇｔｈを指定してサムネイル画像を追加作成する。このように作成条件（閾値Ｇｔｈ）を複数通り設定することで、複数の条件に基づくサムネイル画像を作成することができる。Ｓ２１５では、作成したサムネイル画像の時間情報や格納位置情報を作成し、コンテンツメニューとする。

図８は、閾値を可変とするサムネイル作成例を示す図である。
ここでは、サムネイル作成条件を２つの閾値Ｇｔｈ１＝１００％、Ｇｔｈ２＝３０％で指定した場合である。その結果、閾値Ｇｔｈ１＝１００％の場合は、符号８１で示す領域（ピーク点）のみが該当し、これから１個の静止画サムネイルＴｈｕｍ−１を取得する。一方Ｇｔｈ２＝３０％の場合は、符号８２，８３で示す領域が該当し、２個の動画サムネイルＴｈｕｍ−２，Ｔｈｕｍ−３を取得する。

このように本実施例によれば、閾値設定を可変とすることで複数条件のサムネイル画像を作成し、また静止画と動画とを切り替えて作成することができる。その際、閾値を１００％と指定すれば、ハイライトシーンの静止画を自動的に取り込むことができ、また動画についてはその時間幅を調整することもできる。

以上のように、コンテンツに対するチャプター分割とサムネイル画像の作成を終えると、オーサリング部８は、それらの情報をコンテンツメニューとして作成し、記録媒体に保存する。

図９は、作成したコンテンツメニューの一例を示す図である。
コンテンツ毎に、チャプター分割位置と、サムネイル画像（静止画／動画）の取得位置を時間情報として表現している。また作成したサムネイル画像については、記録媒体に保存するときの格納アドレスを記憶しておく。このコンテンツメニューを参照することで、記録したコンテンツのチャプター表示やサムネイル表示を効率良く実行することができる。

サムネイル表示では、記録した各コンテンツに設定されているサムネイル画像を画面に一覧表示する。１つのコンテンツに複数のサムネイル画像が設定されている場合には、それらの画像を一定時間間隔で切り替えて表示する。そして、ユーザが１つのサムネイルを選択すると、対応するコンテンツの頭出しを行いそこから再生を開始する。

以上述べたように本実施例のコンテンツ処理装置によれば、コンテンツの映像・音声・字幕データから複数の特徴量を抽出しこれらを合成した指標を用いるので、チャプター分割やサムネイル作成の精度が向上しユーザの使い勝手が優れるものとなる。

本実施例に係るコンテンツ処理装置の一実施例を示す構成図。 ＡＶデータから抽出した特徴量と合成特徴量の生成例を示す図。 チャプター分割処理の手順を示すフローチャート。 チャプター分割の例を示す図。 サムネイル作成処理の手順を示すフローチャート。 サムネイル作成の例を示す図。 閾値を可変としてサムネイル画像を作成するフローチャート。 閾値を可変とするサムネイル作成例を示す図。 作成したコンテンツメニューの一例を示す図。

符号の説明

１…補助記憶装置（ＨＤＤ）
２…再生処理部
３…特徴抽出部
４…正規化部
５…合成部
６…チャプター分割部
７…サムネイル作成部
８…オーサリング部
９…記録処理部
１０…記録装置（ＯＤＤ）
Ｇ１，Ｇ２…合成特徴量
Ｃｈａｐ…チャプター
Ｔｈｕｍ…サムネイル。

Claims (5)

1. オーディオビデオデータを含むコンテンツをチャプターに分割するコンテンツ処理装置において、
   上記コンテンツに含まれるオーディオビデオデータから複数の特徴量を抽出する特徴抽出部と、
   該特徴抽出部で抽出した複数の特徴量を演算して第１の合成特徴量を生成する合成部と、
   該合成部で生成した第１の合成特徴量に基づき上記コンテンツを複数のチャプターに分割するチャプター分割部と、
   上記コンテンツと共に上記チャプター分割情報を記録媒体に該記録媒体の規格に合わせて成型して記録するオーサリング部と、
   を備えることを特徴とするコンテンツ処理装置。
2. オーディオビデオデータを含むコンテンツからサムネイル画像を作成するコンテンツ処理装置において、
   上記コンテンツに含まれるオーディオビデオデータから複数の特徴量を抽出する特徴抽出部と、
   該特徴抽出部で抽出した複数の特徴量を演算して第２の合成特徴量を生成する合成部と、
   該合成部で生成した第２の合成特徴量に基づき上記コンテンツからハイライトシーンを含むサムネイル画像を作成するサムネイル作成部と、
   上記コンテンツと共に上記サムネイル情報を記録媒体に該記録媒体の規格に合わせて成型して記録するオーサリング部と、
   を備えることを特徴とするコンテンツ処理装置。
3. オーディオビデオデータを含むコンテンツをチャプターに分割するとともに該コンテンツからサムネイル画像を作成するコンテンツ処理装置において、
   上記コンテンツに含まれるオーディオビデオデータから複数の特徴量を抽出する特徴抽出部と、
   該特徴抽出部で抽出した複数の特徴量を演算して第１の合成特徴量及び第２の合成特徴量を生成する合成部と、
   該合成部で生成した第１の合成特徴量に基づき上記コンテンツを複数のチャプターに分割するチャプター分割部と、
   該合成部で生成した第２の合成特徴量に基づき上記コンテンツからハイライトシーンを含むサムネイル画像を作成するサムネイル作成部とを備え、
   上記合成部は、上記第１の合成特徴量と上記第２の合成特徴量を生成するために同一若しくは異なる演算式を用いることを特徴とするコンテンツ処理装置。
4. 請求項１ないし３のいずれか１項に記載のコンテンツ処理装置において
   前記特徴抽出部は、前記複数の特徴量として映像データの色信号強度と、音声データの音量と、字幕データの文字の情報を抽出することを特徴とするコンテンツ処理装置。
5. 請求項２または３に記載のコンテンツ処理装置において、
   前記サムネイル作成部は、前記第２の合成特徴量の大きさが予め定めた閾値以上となる領域の映像データからサムネイル画像を作成するものであって、上記閾値の設定を可変とすることを特徴とするコンテンツ処理装置。

Images