JP2009118204A - Ｃｍ検出方法及びこれを用いた動画再生装置 - Google Patents

Abstract

【課題】
安価かつ高精度にＣＭを検出する。また、利用者が快適に動画データを視聴可能な動画再生装置を提供する。
【解決手段】
動画データに含まれる字幕情報を取得して、字幕文字列が第１の時間以上表示されない区間を検出し、前記検出された区間内で字幕表示を消去する制御コードを検出し、前記検出した制御コードが適用される時刻から予め決められた第２の時間の倍数の時間だけ離れた時刻であって、前記字幕文字列が第１の時間以上表示されない区間の終端に近い時刻をCM区間の終端として検出する。
【選択図】 図９

Description

本発明は、動画データを再生する動画再生装置に関する。

CM検出方法として、例えば、動画データに含まれる字幕情報を使用して、その字幕非表示時間と予め決められたCM時間を評価することによるCMの検出方法及び装置が知られている（特許文献１参照のこと。）。

また、CM検出を利用した動画再生装置として、例えば、CMの始端と終端を表示して、当該CM区間をスキップする装置が知られている(特許文献２参照のこと。)。

特開２００６−２７０２９９号公報 特表平１０−５０７８８４号公報

特許文献１のCM検出方法及び装置では、動画データ中のCMが予め決められたCM時間と合致しない場合には、CMを精度よく検出することが出来ないという課題がある。

また、特許文献２に記載の動画再生装置では、 CMの検出誤りを考慮しておらず、検出誤りがあった場合に、CMスキップあるいはチャプタスキップ時に意図しないシーンにスキップしてしまうため、利用者は著しく不快感を覚えるという課題がある。

本発明は、これらの課題を解決するものであり、その目的は、少ない計算リソースかつ少ない検出漏れ／誤りにてCM検出する方法及びこれを用いた動画再生装置を提供することである。また、CM検出漏誤りがあっても、利用者の不快感を低減した動画再生装置を提供することである。

上述の課題を解決するために、本発明の一実施の形態は、例えば、特許請求の範囲に記載されるように構成すればよい。

本発明によれば、安価かつ高精度にCMを検出できる。また、利用者が快適に動画データを視聴可能な動画再生装置を提供できる。

以下、本発明にかかる実施例について、図面を参照して説明する。

各図面において、同一の符号が付されている構成要素は同一の機能を有すること
とする。

本明細書の各記載及び各図面における「チャプタ」という表現は、「マーカー」もしくは「チャプタマーク」という意味も含む。

本明細書の各記載及び各図面における「ＣＭ」という表現は、「コマーシャルメッセージ」の略である。これは、「動画広告」、「ＣＭシーン」という意味も含む。

また、本明細書の各記載及び各図面において示される、「ＣＭ」の区間や「ＣＭ」の長さは、複数種類のＣＭが連続している場合であっても、まとめて一つの「ＣＭ」の区間及びその長さであるとして取り扱う。すなわち、３０秒のＣＭが１種類ある場合及び１５秒のＣＭが２種類連続している場合のいずれも、本明細書の各記載及び各図面においては３０秒のＣＭとして取り扱う。

まず、本実施例に係る動画再生装置のハードウェア構成を説明する。

図１は、本発明に係る動画再生装置のハードウェア構成の一例である。図１に示す通り、本実施例に係る動画再生装置は、動画データ入力装置１００と、中央処理装置１０１と、入力装置１０２と、表示装置１０３と、音声出力装置１０４と、記憶装置１０５と、二次記憶装置１０６を有して構成される。そして、各装置は、バス１０７によって接続され、各装置間で、相互にデータの送受信が可能なように構成されている。

動画データ入力装置１００は、動画データを入力する。本動画データ入力装置１００は、例えば後述する記憶装置１０５あるいは二次記憶装置１０６に記憶されている動画データを読み込む装置としたり、テレビ放送等を受信する場合には、テレビのチューナユニットとすることが出来る。チューナユニットには、例えば、放送信号を復調する復調部と放送信号のチャンネルを選局する選局部などが含まれる。

また、ネットワーク経由で動画データを入力する場合には、本動画データ入力装置１００をLANカード等のネットワークカードとすることが出来る。

中央処理装置１０１は、マイクロプロセッサを主体に構成されており、記憶装置１０５や二次記憶装置１０６に格納されているプログラムを実行する。

入力装置１０２は、例えばリモコン、あるいはキーボードや、マウス等のポインティングデバイスによって実現される。前記動画データ入力装置１００に入力する動画データを指定することで、利用者が視聴する動画データを指定したり、後述するチャプタ位置に再生位置をスキップ指示する。すなわち、本実施例に係る動画再生装置に対する利用者の指示を入力することができる。

表示装置１０３は、例えばディスプレイアダプタと液晶パネルやプロジェクタ等によって実現され、再生データに含まれる映像や後述する利用者へのメッセージ等を表示する。

音声出力装置１０４は、例えばサウンドカードとスピーカ等によって実現され、再生動画データに含まれる音声を出力する。

記憶装置１０５は、例えばランダムアクセスメモリ(RAM)やリードオンリーメモリ(ROM)等によって実現され、中央処理装置１０１によって実行されるプログラムや本動画再生装置において処理されるデータ、あるいは再生対象の動画データ等を格納する。

二次記憶装置１０６は、例えばハードディスクやDVDあるいはCDとそれらのドライブ、あるいはフラッシュメモリ等の不揮発性メモリにより構成され、中央処理装置１０１によって実行されるプログラムや本動画再生装置において処理されるデータ、あるいは再生対象の動画データ等を格納する。なお、本二次記憶装置１０６は、必ずしも必要ではない。

次に、本実施例に係る動画再生装置の機能ブロックについて説明する。

図２は、本実施例に係る動画再生装置の機能ブロック図である。これらの機能ブロックの一部あるいは全部は、図１で示したハードウェアに加えて、ハードウェアとして実現されてもよいが、中央処理装置１０１によって実行されるソフトウェアプログラムとして実現されてもよい。なお、以下では、一例として、これらの機能ブロックの全てが中央処理装置１０１によって実行されるソフトウェアプログラムであるものとして説明する。

図２に示す通り、本実施例に係る動画再生装置は、解析動画データ入力部２０１と、CM検出部２０２と、チャプタリング部２０３と、チャプタデータ保持部２０４と、チャプタデータ入力部２０５と、スキップ位置取得部２０６と、再生制御部２０７と、スキップ指定部２０８と、表示部２１０と、音声出力部２０９を有して構成される。

図２において、動画データ入力部２０１は、後述するCM検出及びチャプタリング対象の動画データ及び再生対象の動画データを動画データ入力装置１００から入力する。

CM検出部２０２は、動画データ入力部２０１において入力した動画データ内に含まれるCM区間を検出する。本CM検出の方法は従来の技術を適用可能であるが、本発明でもCM検出方法を提案しており、これについては後述する。なお、本実施例においては、CM検出部２０２は、必ずしもCM区間を検出する必要は無く、CMの終端を検出できればよい。

チャプタリング部２０３は、CM検出部２０２で検出したCM区間に基づいて、動画データにチャプタをつける。特に、CM検出部２０２で検出した動画データ内の各CM区間の終端をチャプタとし、図３に示すチャプタデータを生成する。なお、チャプタデータについては後でその詳細を説明する。

チャプタデータ保持部２０４は、チャプタリング部２０３において生成したチャプタデータを保持する。これは、例えばチャプタリング部２０３において生成したチャプタデータを記憶装置１０５あるいは二次記憶装置１０６に格納することによって実現できる。

チャプタデータ入力部２０５は、チャプタデータ保持部２０４において保持されたチャプタデータを入力する。これは、例えば記憶装置１０５あるいは二次記憶装置１０６に格納されているチャプタデータを読み出すことによって実現できる。

表示部２１０は、後述する再生制御部２０７による再生映像を表示装置１０３に表示する。

音声出力部２０９は、後述する再生制御部２０７による再生音声を音声出力装置１０４に出力する。

スキップ指定部２０８は、入力装置１０２を介して、利用者が現在再生中の動画データにおいて次のチャプタまでスキップするように再生制御部２０７に指示する。

スキップ位置取得部２０６は、後述する再生制御部２０７から、現在の再生動画データにおける現在の再生位置を入力し、その現在の再生位置とチャプタデータ入力部２０５で入力したチャプタデータから次のチャプタ位置を取得し、当該次のチャプタ位置を再生制御部２０７に通知する。これは、後述するチャプタデータに列挙された各チャプタ位置と、再生制御部２０７から入力した現在の再生位置を比較し、現在の再生位置よりも時間的に後で、かつ一番時間的に早いチャプタ位置を取得し、当該チャプタ位置を再生制御部２０７に通知することで実現できる。

再生制御部２０７は、動画データ入力部２０１より動画データを入力し、再生画像及び再生音声を生成して表示部２０９および音声出力部２１０に出力することによって、動画データを再生する。また、スキップ指定部２０８からの指示に従い、現在の再生位置を求め、スキップ位置取得部２０６に通知して、当該スキップ位置取得部２０６から次のチャプタ位置を取得して、現在の再生位置と次のチャプタ位置の位置関係から、次のチャプタ位置にジャンプして再生を継続するか否かを判断する。本制御が本発明で提案する内容のひとつであり、本再生制御部２０７における制御内容については後で詳しく述べる。

次に、本実施例に係る動画再生装置で使用するデータの構造について説明する。

図３は、チャプタデータのデータ構造の一例である。本チャプタデータは、チャプタリング部２０３及びチャプタデータ保持部２０４で生成及び記憶装置１０５あるいは二次記憶装置１０６に保持され、チャプタデータ入力部２０５及びチャプタ位置取得部２０６で記憶装置１０５あるいは二次記憶装置１０６から入力及び参照される。

図３において、３０１はチャプタ番号である。また、３０２に示されるＴ１、Ｔ２、Ｔ３などはチャプタ位置であり、動画データ中の当該チャプタの時刻とすればよい。また、３１１ないし３１３はそれぞれ１つのチャプタを表しており、この例では３つのチャプタがあることを示している。前述の通り、チャプタリング部２０３は、CM検出部２０２で検出した各CMの終端毎に、シーケンシャルにチャプタ番号３０１をつけて、それらのCMの終端位置の動画データ内での時刻を３０１に格納して、チャプタデータ保持部２０４で記憶装置１０５あるいは二次記憶装置１０６に保持する。一方、チャプタ位置取得部２０６は、チャプタデータ入力部２０５により記憶装置１０５あるいは二次記憶装置１０６から本チャプタデータを取得し、再生制御部２０７から通知された再生動画データにおける現在の再生位置から、その現在の再生位置よりも時間的に後で、かつ一番時間的に早いチャプタ位置をチャプタデータから取得することで次のチャプタ位置を取得する。なお、本説明では、チャプタ位置を“動画データ内の時刻”として説明しているが、その限りではなく、例えば“動画データ内の映像フレーム番号”等としてもよく、動画データ内の位置を示すものであれば、その他の情報でもかまわない。

次に、本実施例に係る動画再生装置の再生制御部２０７の処理内容の詳細について、図４、図５、及び図６を用いて説明する。

図４は、本実施例に係る動画再生装置の再生制御部２０７の処理内容を示すフローチャートである。

図５は、入力装置１０２及びスキップ指定部２０８を介して利用者からスキップ指示がなされたときの本実施例に係る動画再生装置の再生制御部２０７の処理を説明する図である。

図６は、入力装置１０２及びスキップ指定部２０８を介して利用者からスキップ指示がなされたときに、表示部２１０を介して表示装置１０３に表示される画面例である。なお、この画面例は表示部２１０により表示装置１０３上に再生映像にオーバーレイされて表示されるように構成されても良い。

さて、再生制御部２０７は、動作中ループ処理をしており、通常は動画データを動画データ入力部２０１から入力し、映像を再生して再生映像を表示部２１０を介して表示装置１０３に表示すると共に、音声を再生して再生音声を音声出力部２０９を音声出力装置１０４に出力することで、当該動画データを通常再生している。以下、図４を用いて、本再生制御部２０７のループ内の処理を詳細に説明することで、再生制御部２０７の処理内容について詳細を説明する。

図４に示すとおり、本実施例に係る動画再生装置の再生制御部２０７のループ処理の中では、まず、利用者から入力装置１０２及びスキップ指定部２０８を介してスキップ指示がなされたか否かを判断する（ステップ４０１）。

ステップ４０１における判断の結果、利用者からスキップ指示がなされてなければ、通常再生を継続する（ステップ４０７）。

一方、ステップ４０１における判断の結果、利用者からスキップ指示がなされたと判断された場合には、動画データにおける現在の再生位置（Tc）（図５における５０２）を取得する（ステップ４０２）。

続いて、本実施例に係る動画再生装置の再生制御部２０７は、次のチャプタ位置（Tn）（図５における５０３）を取得する（ステップ４０３）。これは、ステップ４０１で取得した現在の再生位置をチャプタ位置取得部２０６に通知することで、チャプタ位置取得部２０６より取得できる。なお、次のチャプタ位置は、チャプタ位置取得部２０６において、チャプタデータ入力部２０５により記憶装置１０５あるいは二次記憶装置１０６からチャプタデータを取得し、再生制御部２０７から通知された再生動画データにおける現在の再生位置から、その現在の再生位置よりも時間的に後で、かつ一番時間的に早いチャプタ位置をチャプタデータから取得することで次のチャプタ位置を取得することで実現できる。ただし、次のチャプタ位置が無い場合には動画データの終了位置を次のチャプタ位置とすればよい。

続いて、本実施例に係る動画再生装置の再生制御部２０７は、現在の再生位置（Tc）から次のチャプタ位置（Tn）までの距離（Tn - Tc）（図５における５０５）を計算し、距離（Tn - Tc）が所定の距離（C）（図５における５０６）以下であるか否かを判断する（ステップ４０４）。

なお、この所定の距離（C）の閾値は、５分から１０分に設定することが望ましい。所定の距離（C）の閾値の下限を５分とする理由は、５分以上連続するＣＭは一般的に限りなく少ないため、距離（Tn - Tc）が５分より大きい場合は、一般的なＣＭの長さを超えていることが判別でき、ＣＭ検出漏れが発生している可能性が高いからである。また、所定の距離（C）の閾値の上限を１０分とする理由は以下のとおりである。すなわち、ＣＭとＣＭの間に番組が挟まれている場合に、番組によっては、先のＣＭの終了時と後のＣＭの終了時との距離が１２分程度である場合がある。この場合、距離（Tn - Tc）が１０分以上の場合にもスキップをＯＫとすると、ＣＭ検出漏れが発生している場合に、ＣＭとＣＭの間に挟まれた番組ごと、スキップしてしまう可能性があるからである。これを防止するために、所定の距離（C）の閾値の上限を１０分とすることが望ましい。

次に、ステップ４０４における判断の結果、距離（Tn - Tc）（図５における５０５）が所定の距離（C）（図５における５０６）以下であると判断できた場合には、次のチャプタ位置（Tn）（図５における５０３）にジャンプして動画データの再生を継続する（ステップ４０５）。

一方、ステップ４０４における判断の結果、距離（Tn - Tc）（図５における５０５）が所定の距離（C）（図５における５０６）以下ではないと判断した場合には、再生位置をジャンプすることなく、通常再生を続ける（ステップ４０６）。

このとき、例えば、図６（ａ）に示すようにジャンプしないことを表示部２１０を介して表示装置１０３に表示し、ジャンプしない旨を利用者に通知するように構成しても良い。

またこのとき、図６（ｂ）に示すように、ジャンプしてもよいか確認するメッセージを表示部２１０を介して表示装置１０３に表示し、利用者から再度スキップ指示がなされた場合に、次のチャプタにジャンプし、利用者から一定時間スキップ指示がなされないか、あるいはキャンセル指示が行われた場合にジャンプせずに通常再生を続けるように構成しても良い。

またこのとき、次のチャプタにジャンプするのではなく、15秒先の位置など、一定時間先の位置を計算し、これをジャンプ先の位置と設定して、この位置にジャンプし、動画データの再生を継続するように構成しても良い。これにより、例えばCM検出漏れがあったとしても、細切れなスキップ動作が可能となり、利用者はさらに快適に再生動画データの視聴を楽しむことが出来るようになる。当然この細切れなスキップ動作を実現するためには、この場合にジャンプする位置は、所定の距離（C）よりも短い距離が設定される。

なお、図６において、６０６は再生位置を示すスライドバーであり、６０２は現在の再生位置を示すインジケータである。また、６０１、６０３、６０４はチャプタ位置を示すインジケータであり、特に、再生位置に対して、６０１は前のチャプタ、６０３は次のチャプタを示すインジケータである。また、６０６及び６０７は利用者に対するメッセージである。

さて、本実施例に係る動画再生装置の再生制御部２０７は、以上のループ処理中に利用者から動画データの再生終了が指示されたか、あるいは動画データの終了位置まで再生が行われたか否かを判断することにより、再生終了を判断し（ステップ４０８）、再生終了を判断するまで、以上のステップ４０１ないしステップ４０８のループ処理を繰り返す。

一方、ステップ４０８における判断の結果、再生終了と判断した場合には、本ループをから抜ける。

以上が、本実施例に係る動画再生装置の再生制御部２０７のループ処理である。本再生制御部２０７の処理により、CM検出部でCMの検出誤りがあった場合でも、CMスキップあるいはチャプタスキップ時に意図しないシーンにスキップすることが無くなるため、利用者が不快感を覚えることの無い動画再生装置を提供できる。

次に、本実施例に係るＣＭ検出部２０２のＣＭ検出方法を説明する。なお、本発明では従来のＣＭ検出方法を適用可能であるが、ＣＭ検出方法についても提案している。

図７は、本発明で提案するＣＭ検出部２０２内の機能ブロックである。これらの機能ブロックの一部あるいは全部はハードウェアとして実現されてもよいが、中央処理装置１０１によって実行されるソフトウェアプログラムとして実現されてもよい。なお、以下では、一例として、これらの機能ブロックの全てが中央処理装置１０１によって実行されるソフトウェアプログラムであるものとして説明する。

図７に示す通り、本発明で提案するＣＭ検出部２０２は、字幕取得部１３０２と、字幕特徴生成部１３０３と、字幕特徴保持部１３０４と、字幕特徴入力部１３０５と、ＣＭ区間判定部１３０６を有して構成される。

字幕取得部１３０２は、動画データに含まれる字幕情報を取得する。これは、例えば、デジタルテレビ放送では、音声のES（Elementary Stream）や映像のESと同様に字幕のESが送られてきているので、この字幕のESを取得し、デコードすることによって取得できる。また、映画コンテンツ等のようにコンテンツ画面の上下又は左右に字幕スペースがあるコンテンツなどにおいては、その字幕スペースにおいて従来の文字認識、パターン認識の技術を用いて文字情報を抽出するようにしてもよい。

字幕特徴生成部１３０３は、字幕取得部１３０２で取得した字幕情報の表示時刻を取得し、この表示時刻のテーブル（字幕特徴データと呼ぶ）を生成する。

これは、例えば字幕のESには、字幕として表示される文字列とそれが表示される時刻の情報が含まれているので、図８に示すように時刻の情報をテーブルに書き込むことによって実現できる。

図８は、字幕特徴データのデータ構造の一例である。図８において、１４０１は、同時あるいは一度に表示される文字列の番号であり、１４１１ないし１４１３は、それぞれ一度に表示される字幕情報を示している。また、１４０２は、その字幕の文字列が表示される時刻、１４０３は、その時刻に表示される文字の種類を示している。この文字の種類は例えば、字幕として表示される文字列の場合には“１”、表示されている文字列を消去する字幕表示消去制御コードの場合には“２”とすればよい。なお、文字の種類としては、上述の“字幕として表示される文字列”と、“字幕表示消去制御コード”以外にも存在するが、ここでは使用しないので、字幕特徴生成部１３０３では、これらを無視してかまわない。

図７の説明に戻り、字幕特徴保持部１４０４は、字幕特徴生成部１４０３において生成した字幕特徴データを保持する。これは、例えば字幕特徴生成部１４０３において生成した字幕特徴データを記憶装置１０５あるいは二次記憶装置１０６に格納することによって実現できる。

字幕特徴入力部１３０５は、字幕特徴保持部１３０４において保持された字幕特徴データを入力する。これは、例えば記憶装置１０５あるいは二次記憶装置１０６に格納されている字幕特徴データを読み出すことによって実現できる。

CM区間判定部１３０６は、字幕特徴入力部１３０５で入力した字幕特徴データからCM区間を判定する。このCM区間判定部１３０６における詳細な処理内容及びCM区間の判定方法を図９及び図１０を用いて説明する。

図９は、本発明で提案するCM区間判定部１３０６における処理内容を説明するフローチャートである。

また、図１０は、本CM区間判定部１３０６におけるCM区間の判定方法の説明図である。なお、図１０において、１７０１ないし１７０６は、横軸に時間をとったときの字幕文字列が表示されている時間を示している。これは、特徴データの文字の種類が“字幕として表示される文字列”であり、“字幕表示消去制御コード”を除いた表示時刻が一定時間（例えば１０秒）以上空いて以内場合にそれらをつなげて示したものである。また、１７１１ないし１７１３は、字幕表示制御コードが反映または適用される時刻を示している。これは、特徴データの文字の種類が“字幕表示消去制御コード”である表示時刻をプロットしたものである。また、後で図９と合わせて説明するが、１７２１は検出したCM区間である。１７４１は字幕文字列が一定時間Tr以上表示されない区間の始端の時刻（Ts）であり、当該区間前の最後の“字幕として表示される文字列”が表示される時刻である。１７４２は字幕文字列が一定時間Tr以上表示されない区間の終端の時刻（Te）であり、当該区間後の最初の“字幕として表示される文字列”が表示される時刻である。
１７４３は字幕文字列が一定時間Tr以上表示されない区間である。１７３１は区間（Ts〜Te）内で最初に反映または適用される字幕表示消去制御コードの時刻（Ｔｓ’）である。１７３２はTcsから60秒以上かつ15秒の倍数でTe以下で最もTeに近い時刻（Ｔｅ’）である。１７３３はTcsを起点とする１５の倍数秒であり、Te以下で最もTeに近い時刻までの区間である。

さて、図９に示すとおり、本発明で提案するCM区間判定部１３０６は、まず、字幕特徴入力部１３０５で入力した字幕特徴データから字幕文字列が一定時間Tr以上表示されない区間(Ts（図１０における１７４１）〜Te（図１０における１７４２）)（図１０における１７４３）を検出する（ステップ１６０１）。これは、特徴データの文字の種類が“字幕表示消去制御コード”であるエントリを除いて“字幕として表示される文字列”となっているエントリに対して表示時刻が前後でTr以上間隔があるエントリを見つけることによって実現できる。

ここで、TrはＣＭが存在する可能性がある期間を判別するための閾値である。ここで、閾値Trが短く設定する場合、字幕文字列が表示されない区間であってＣＭではない区間も検出されやすくなる。これらは、ＣＭ検出においては誤検出となるため好ましくない。一般的な放送においては３０秒より短いCM区間ははほとんど存在しないことを考慮すると、閾値Trは３０秒以上に設定することが望ましい。

また、閾値Trより短い区間は検出されないため、閾値Trを長く設定した場合、ＣＭ区間であっても、検出できなくなる可能性が高まり、好ましくない。一般的な放送においては、３０秒のＣＭ区間、１分のＣＭ区間、またはそれより長いＣＭ区間が存在する。ここで、３０秒のＣＭ区間に比べて、１分のＣＭ区間は非常に頻度が高い。よって、例えば、３０秒のＣＭ区間を検出しなくとも、検出漏れの頻度は少ないが、１分のＣＭ区間を検出しない場合、検出漏れの頻度は高くなる。よって、少なくとも１分のＣＭ区間を検出することができるように、閾値Trは１分以下に設定することが望ましい。

以上の理由から、閾値Trは、例えば３０秒以上１分以下に設定することが望ましい。

次に、CM区間判定部１３０６は、ステップ１６０１で検出した区間（Ts〜Te）（図１０における）に字幕表示消去制御コードがあるか否かを判断する（ステップ１６０２）。これは、ステップ１６０１で見つけた表示時刻Tr以上間隔がある２つの“字幕として表示される文字列”エントリの間に、“字幕表示消去制御コード”であるエントリが含まれているか否かを判断することによって実現できる。

続いて、CM区間判定部１３０６は、上記ステップ１６０２における判断の結果、区間（Ts〜Te）（図１０における）に字幕表示消去制御コードがあると判断した場合には、当該制御コードの中で最も反映時刻(適用時刻)が早い制御コード（図１０における１７０３）に対して、その制御コードの反映時刻(適用時刻)（Ｔｓ’）（図１０における１７３１）をCM区間の始端の時刻（Tcs）とする（ステップ１６０３）。

一方、上記ステップ１６０２における判断の結果、区間（Ts〜Te）（図１０における）に字幕表示消去制御コードがないと判断した場合には、CM区間判定部１３０６は、上記ステップ１６０１で検出した区間（Ts〜Te）の始端（Ts）（図１０における１７４１）をCM区間の始端の時刻（Tcs）とする（ステップ１６０４）。

続いて、CM区間判定部１３０６は、Tcs（図１０における１７３１あるいは１７４１）から60秒以上かつ15秒の倍数でTe（図１０における１７４２）以下で最もTeに近い時刻Tce（図１０における１７３２）をCM区間の終端とし（ステップ１６０５）、Tcs〜Tce（図１０における１７３３）をCM区間（図１０における１７２１）として判定する（ステップ１６０６）。

CM区間判定部１３０６は、上記ステップ１６０１ないし１６０６を、字幕文字列が一定時間Tr以上表示されない区間全てに対して評価及び実施することで、動画データ内の全てのCM区間を判定する。

以上説明した本実施例１に係るCM検出する方法及びこれを用いた動画再生装置によれば、映像あるいは/及び音声を処理する必要がなく、字幕処理のみによりCM検出を実現するため、少ない計算リソースでCM検出を実現できる。

また、動画データ中のCMが予め決められたCM時間と合致しない場合でも、CMを検出することが出来るため、少ない計算リソースで安価にかつ少ない検出漏れ/誤りにてCM検出を行うことができる。

また、CM検出誤りがあった場合に、チャプタスキップ時に意図しないシーンにスキップしてしまうことを防止し、利用者の不快感を低減することが可能である。

なお、本実施例では字幕特徴生成部１３０３によって、字幕特徴データを生成し、その字幕特徴データからCM区間判定部１３０６がCM区間を判断する方法を示したが、字幕取得部１３０２で取得した字幕データから直接同様な方法でCM区間判定部１３０６がCM区間を判別してもよい。この場合には、必ずしも字幕特徴生成部１３０３は必要ないことは言うまでも無い。また、この場合、字幕特徴保持部１３０４と字幕特徴入力部１３０５も省略できる。

本実施例２では、CMスキップが可能なときには、利用者にその旨を知らせる動画再生装置を提供する。

本実施例２の動画再生装置は、実施例１で示したハードウェア構成とすることができるので、ハードウェア構成についての説明は省略する。

図１１は、本発明の実施例２に係る動画再生装置の機能ブロック図である。

図１１に示すとおり、本発明の実施例２に係る動画再生装置の機能ブロックでは、実施例１の機能ブロックに、CMデータ保持部７０１と、CMデータ入力部７０２を加え、再生制御部２０７の処理内容を若干変更したものとなっている。

ここで、CMデータ保持部７０１は、CM検出部２０２で検出したCM区間をCMデータとして保持する。これは、例えばCM検出部２０２で検出したCM区間を図１２に示すデータ構造を持つ、データとして記憶装置１０５あるいは二次記憶装置１０６に格納することによって実現できる。なお、図１２のCMデータ構造については、後述する。

CMデータ入力部７０２は、CMデータ保持部７０１において保持されたCMデータを入力する。これは、例えば記憶装置１０５あるいは二次記憶装置１０６に格納されているCMデータを読み出すことによって実現できる。

なお、本実施例２に係る動画再生装置では、実施例１に係る動画再生装置で行ったチャプタリングを行うように構成しても良いが、必ずしも行う必要は無く、チャプタリングを行わない場合には、チャプタリング部２０３、チャプタデータ保持部２０４、チャプタデータ入力部２０５、及びスキップ位置取得部２０６は必要ない。これらの機能ブロックがあった場合には、実施例１で説明したとおり、CM区間の終端にチャプタが設定され、動画再生装置は実施例１で説明した動作が可能であるが、これらの機能ブロックがない場合には、CMデータ保持部７０１で保持したCM区間の終端をチャプタ位置として代用できる。以降では、便宜的にこれらの機能ブロックが無いものとして、説明を継続する。

さて、続いて、本実施例２に係る動画再生装置で使用されるCMデータ構造について説明する。

図１２は、CMデータのデータ構造の一例である。本CMデータは、CM検出部２０２及びCMデータ保持部７０１で生成及び記憶装置１０５あるいは二次記憶装置１０６に保持され、CMデータ入力部７０２及び再生制御部７０３で記憶装置１０５あるいは二次記憶装置１０６から入力及び使用される。

図１２において、８０１は検出したCM番号である。また、８０２は検出したCMの開始位置であり、特に検出したCM区間の動画データ内での開始時刻とすればよい。また、８０３は検出したCM区間の終了位置であり、特に検出したCM区間の動画データ内での終了時刻とすればよい。８１１ないし８１３はそれぞれ１つのCM区間を表しており、この例では３つのCM区間があることを示している。この場合、CM検出部２０２は検出した各CM区間毎に、シーケンシャルにCM番号８０１をつけて、それらのCM区間の動画データ内での開始時刻と終了時刻を８０１及び８０２にそれぞれ格納して、CMデータ保持部７０１で記憶装置１０５あるいは二次記憶装置１０６に保持する。一方、再生制御部７０３は、CMデータ入力部７０２により記憶装置１０５あるいは二次記憶装置１０６から本CMデータを取得し、後述する処理を実施する。なお、本説明では、CM区間の開始位置及び終了位置をそれぞれ動画データ内での時刻として説明しているが、その限りではなく、例えば“動画データ内での映像フレーム番号”等としてもよく、動画データ内の位置を示すものであれば、その他の情報でもかまわない。

次に、本実施例２に係る動画再生装置の再生制御部７０３の処理内容の詳細について、図１３、図１４、及び図１５を用いて説明する。

図１３は、本実施例２に係る動画再生装置の再生制御部７０３の処理内容を示すフローチャートである。

図１４は、入力装置１０２及びスキップ指定部２０８を介して利用者からスキップ指示がなされたときの本実施例２に係る動画再生装置の再生制御部７０３の処理を説明する図である。

図１５は、本実施例２に係る動画再生装置の再生制御部７０３が表示部２１０を介して表示装置１０３に表示される画面例であり、特に、現在の再生位置が検出されたCM区間に入ったときに、再生制御部７０３が表示部２１０を介して表示装置１０３に表示する画面例である。なお、図１５において、１１０１は表示部２１０の表示画面であり、通常、動画データの再生中には動画データの再生映像が表示される。また、１１０２は再生制御部７０３により、現在の再生位置が検出されたCM区間に入ったと判断した場合に、再生制御部７０３が表示部２１０を介して表示装置１０３上の表示画面上に表示されるアイコンであり、例えば動画データの再生映像上にオーバーレイされるように構成されても良い。

さて、本発明の実施例２に係る再生制御部７０３は、動作中ループ処理をしており、通常は動画データを動画データ入力部２０１から入力し、映像を再生して再生映像を表示部２１０を介して表示装置１０３に表示すると共に、音声を再生して再生音声を音声出力部２０９を音声出力装置１０４に出力することで、当該動画データを通常再生している。以下、図１３を用いて、本再生制御部７０３のループ内の処理を詳細に説明することで、本発明の実施例２に係る再生制御部７０３の処理内容について詳細を説明する。

図１３に示すとおり、本実施例２に係る動画再生装置の再生制御部７０３のループ処理の中では、まず、動画データにおける現在の再生位置（Tc）（図１４における１００５）を取得し（ステップ９０１）、CMデータ入力部７０２により、CMデータからCM区間（Ts（図１４における１００２あるいは１００４）〜Te（図１４における１００３あるいは１００６））（図１４における区間１００９及び１０１０）を取得する（ステップ９００２）。

続いて、再生制御部７０３は、現在の再生位置（Tc）が含まれるCM区間（図１０における１０１０）を探し出し（ステップ９００３）、もし当該区間が見つからなければ、通常再生を継続する（ステップ９０８）。

一方、ステップ９０３における判断の結果、現在の再生位置（Tc）が含まれるCM区間（図１０における１０１０）が見つかった場合には、さらに、現在の再生位置（Tc）から当該CM区間の終端（Te）までの距離（Te―Tc）（図１４における１００７）が、一定値（C）（図１４における１００８）以内であるか否かを判断する（ステップ９０４）。なお、この一定値（C）は、例えば、一連のCM区間として考えられうる最大の長さ（例えば６分等）とすればよい。

続いて、再生制御部７０３は、上記ステップ９０４における判断の結果、現在の再生位置（Tc）から当該CM区間の終端（Te）までの距離（Te―Tc）が、一定値（C）以内ではないと判断した場合には、通常再生を継続する（ステップ９０８）。

一方、上記ステップ９０４における判断の結果、現在の再生位置（Tc）から当該CM区間の終端（Te）までの距離（Te―Tc）が、一定値（C）以内であると判断した場合には、再生制御部７０３は、図１５に示すとおり、表示部２１０を介して表示装置１０３における表示画面１１０１上にCMの終端にスキップ可能であることを示すアイコン１１０２を表示する（ステップ９０５）。なお、このアイコン表示は、ステップ９００３において、現在の再生位置（Tc）が含まれるCM区間（図１０における１０１０）が見つからなかった場合に消去されるように構成すると良い。

続いて、再生制御部７０３は、利用者から入力装置１０２及びスキップ指定部２０８を介してスキップ指示がなされたか否かを判断し（ステップ９０６）、スキップ指示がなされてなければ、通常再生を継続する（ステップ９０８）。

一方、ステップ９０６における判断の結果、利用者からスキップ指示がなされたと判断された場合には、再生制御部７０３は、当該CM区間の終端（Te）（図１４における１００６）にジャンプして動画データの再生を継続する（ステップ９０７）。

続いて、再生制御部７０３は、利用者から動画データの再生終了が指示されたか、あるいは動画データの終了位置まで再生が行われたか否かを判断することにより、再生終了を判断し（ステップ９０９）、再生終了を判断するまで、以上のステップ９０１ないしステップ９０９のループ処理を繰り返す。

一方、ステップ９０９における判断の結果、再生終了と判断した場合には、本ループをから抜ける。

以上説明した本実施例２に係る動画再生装置によれば、動画データ内のCMを再生中に当該CMをスキップできるか否かが利用者が容易に判断可能となる。また、CM検出部２０２において、CMの検出誤りがあった場合でも、スキップ時に意図しないシーンにスキップすることが無くなるため、利用者の不快感を低減することができる。

なお、上記本実施例２に係る動画再生装置の再生制御部７０３の処理において、上記ステップ９０６以外のところで利用者からのスキップ指示を判断できた場合には、現在の再生位置（Tc）に対して一定時間（例えば１５秒）先の位置をジャンプ先として設定し、当該ジャンプ先にジャンプするように構成してもよい。これにより、CM検出部２０２でCM検出漏れがあったとしても、細切れなスキップ動作が行われ、利用者はさらに快適に再生動画データの視聴を楽しむことが出来るようになる。

本発明に係る動画再生装置のハードウェア構成の一例である。 本発明の本実施例１に係る動画再生装置の機能ブロック図である。 チャプタデータのデータ構造の一例である。 本発明の本実施例１に係る動画再生装置の再生制御部の処理内容を示すフローチャートである。 本発明の本実施例１に係る動画再生装置の再生制御部の処理を説明する図である。 本発明の本実施例１において、利用者からスキップ指示がなされたときの表示画面例である。 本発明で提案するＣＭ検出部２０２内の機能ブロックである。 字幕特徴データのデータ構造の一例である。 本発明で提案するCM区間判定部における処理内容を説明するフローチャートである。 本発明で提案するCM区間判定部におけるCM区間の判定方法の説明図である。 本発明の実施例２に係る動画再生装置の機能ブロック図である。 CMデータのデータ構造の一例である。 本発明の実施例２に係る動画再生装置の再生制御部の処理内容を示すフローチャートである。 本発明の実施例２に係る動画再生装置の再生制御部の処理を説明する図である。 本発明の実施例２に係る動画再生装置の再生制御部が表示する画面例である。

符号の説明

１００・・・動画データ入力装置、１０１・・・中央処理装置、１０２・・・入力装置、１０３・・・表示装置、１０４・・・音声出力装置、１０５・・・記憶装置、１０６・・・二次記憶装置、１０７・・・バス、２０１・・・動画データ入力部、２０２・・・CM検出部、２０３・・・チャプタリング部、２０４・・・チャプタデータ保持部、２０５・・・チャプタデータ入力部、２０６・・・スキップ位置取得部、２０７・・・再生制御部、２０８・・・スキップ指定部、２０９・・・音声出力部、２１０・・・表示部、１３０２・・・字幕取得部、１３０３・・・字幕特徴生成部、１３０４・・・字幕特徴保持部、１３０５・・・字幕特徴入力部、１３０６・・・ＣＭ区間判定部、７０１・・・CMデータ保持部、７０２・・・CMデータ入力部、７０３・・・再生制御部

Claims (17)

1. 動画データに含まれる字幕情報を取得して、字幕文字列が第１の時間以上表示されない区間を検出するステップと、
   前記検出された区間内で字幕表示を消去する制御コードを検出するステップと、
   前記検出した制御コードが適用される時刻から予め決められた第２の時間の倍数の時間だけ離れた時刻であって、前記字幕文字列が第１の時間以上表示されない区間の終端に近い時刻をCM区間の終端として検出するＣＭ検出ステップとを備えることを特徴とするＣＭ検出方法。
2. 請求項１に記載のＣＭ検出方法であって、
   前記ＣＭ検出ステップでは、前記検出した制御コードが適用される時刻をCM区間の始端として検出することを特徴とするＣＭ検出方法。
3. 請求項１または請求項２の何れか一の請求項に記載のＣＭ検出方法であって、
   前記第１の時間は、３０秒以上１分以下であることを特徴とするＣＭ検出方法。
4. 請求項１または請求項２の何れか一の請求項に記載のＣＭ検出方法であって、
   前記第２の時間は、１５秒であることを特徴とするＣＭ検出方法。
5. 動画データを入力する動画データ入力部と、
   利用者からの指示を入力する指示入力部と、
   前記動画データ入力部が入力する動画データ内のCMシーンの区間を検出し、前記検出したCMシーンの区間の情報に基づいてチャプタを設定し、前記指示入力部からスキップ指示が入力された場合に、前記設定したチャプタの位置に再生位置をスキップして再生する制御部と、
   前記制御部が再生した動画データを表示する表示部とを備え、
   前記制御部は、動画データに含まれる字幕情報を取得し、字幕文字列が第１の時間以上表示されない区間を検出し、前記検出された区間内で字幕表示を消去する制御コードを検出し、前記検出した制御コードが適用される時刻から予め決められた第２の時間の倍数の時間だけ離れた時刻であって、前記字幕文字列が第１の時間以上表示されない区間の終端に近い時刻をCM区間の終端として検出し、前記CM区間の終端にチャプタを設定することを特徴とする動画再生装置。
6. 請求項５に記載の動画再生装置であって、
   前記制御部は、前記検出した制御コードが適用される時刻をCM区間の始端として検出することを特徴とする動画再生装置。
7. 請求項５または請求項６の何れか一の請求項に記載の動画再生装置であって、
   前記第１の時間は、３０秒以上１分以下であることを特徴とする動画再生装置。
8. 請求項５または請求項６の何れか一の請求項に記載の動画再生装置であって、
   前記第２の時間は、１５秒であることを特徴とする動画再生装置。
9. 動画データを入力する動画データ入力部と、
   前記動画データ入力部が入力する動画データ内のCMシーンを検出するCM検出部と、
   前記CM検出部により検出したCMシーンの終端にチャプタを設定するチャプタリング部と、
   利用者からのスキップ指示を入力する指定するスキップ指定部と、
   前記スキップ指定部によりスキップが指定されたときに、前記チャプタリング部が設定したチャプタに基づいて、スキップ位置を取得するスキップ位置取得部と、
   前記動画データ入力部が入力する動画データを再生し、前記スキップ指定部によりスキップが指定されたときに、前記スキップ位置取得部により取得したスキップ位置と現在の再生位置とに基づいて、再生位置をスキップさせる再生制御部と、
   再生動画データの映像を表示する表示部と、
   を有し、
   前記再生制御部は、前記スキップ指定部によりスキップが指定されたときに、前記現在の再生位置から前記スキップ位置取得部により取得したスキップ位置までの距離が所定の距離以下であった場合に前記スキップ位置取得部により取得したスキップ位置にスキップすることを特徴とする動画再生装置。
10. 請求項９に記載の動画再生装置であって、
    前記再生制御部は、前記スキップ指定部によりスキップが指定されたときに、前記現在の再生位置から前記スキップ位置取得部により取得したスキップ位置までの距離が前記所定の距離より大きかった場合には前記スキップ位置取得部により取得したスキップ位置にスキップせずに、前記現在の再生位置から前記動画データの再生を継続することを特徴とする動画再生装置。
11. 請求項９に記載の動画再生装置であって、
    前記再生制御部は、前記スキップ指定部によりスキップが指定されたときに、前記現在の再生位置から前記スキップ位置取得部により取得したスキップ位置までの距離が前記所定の距離より大きかった場合には前記現在の再生位置から前記所定の距離より短い第２の距離だけ先の位置にスキップして前記動画データの再生を継続することを特徴とする動画再生装置。
12. 請求項９に記載の動画再生装置であって、
    前記再生制御部は、前記スキップ指定部によりスキップが指定されたときに、前記現在の再生位置から前記スキップ位置取得部により取得したスキップ位置までの距離が所定の距離より大きかった場合には、前記スキップ位置取得部により取得したスキップ位置にスキップしてもよいか確認する画面を表示することを特徴とする動画再生装置。
13. 請求項９に記載の動画再生装置であって、
    前記再生制御部は、現在の再生位置が前記CM検出部が検出したCMシーンの区間に入った場合に、前記CM検出部がCMシーンの区間の終点と判断した位置に設定されるチャプタにスキップ可能であることを表示し、前記スキップ指定部によりスキップが指定されたときに、前記CM検出部がCMシーンの区間の終点と判断した位置に設定されるチャプタにスキップすることを特徴とする動画再生装置。
14. 請求項９に記載の動画再生装置であって、
    前記再生制御部は、現在の再生位置が前記CM検出部が検出したCMシーンの区間に入った場合に、現在の再生位置から前記CM検出部がCMシーンの区間の終点と判断した位置に設定されるチャプタまでの距離が、前記所定の距離以下である場合には、前記CM検出部がCMシーンの区間の終点と判断した位置に設定されるチャプタにスキップ可能であることを表示し、
    現在の再生位置から前記CM検出部がCMシーンの区間の終点と判断した位置に設定されるチャプタまでの距離が、前記所定の距離より大きい場合には、前記対応するチャプタにスキップ可能であることを表示しないことを特徴とする動画再生装置。
15. 請求項９に記載の動画再生装置であって、
    前記再生制御部は、現在の再生位置が前記CM検出部が検出したCMシーンの区間に入った場合に、
    前記現在の再生位置から前記CM検出部がCMシーンの区間の終点と判断した位置位置に設定されるチャプタまでの距離が前記所定の距離以下である場合には、前記CM検出部がCMシーンの区間の終点と判断した位置に設定されるチャプタにスキップ可能であることを表示し、前記スキップ指定部によりスキップが指定されたときに、前記CM検出部がCMシーンの区間の終点と判断した位置に設定されるチャプタにスキップし、
    前記現在の再生位置から前記CM検出部がCMシーンの区間の終点と判断した位置位置に設定されるチャプタまでの距離が前記所定の距離より大きい場合には、前記対応するチャプタにスキップ可能であることを表示せず、前記スキップ指定部によりスキップが指定されたときには、現在の再生位置から前記所定の距離より短い第２の距離だけ先の位置にスキップすることを特徴とする動画再生装置。
16. 請求項９乃至請求項１５の何れか一の請求項に記載の動画再生装置であって、前記所定の距離は５分以上１０分以下であることを特徴とする動画再生装置。
17. 請求項１１または請求項１５の何れか一の請求項に記載の動画再生装置であって、前記第２の距離は１５秒であることを特徴とする動画再生装置。

Images