JP2010219929A - 動画像解析装置、プログラム及び方法、並びに、動画像処理装置及び動画像配信装置 - Google Patents

Abstract

【課題】 動画像コンテンツについてシーン（場面）が切替わる位置の解析を行うのに必要な処理量を低減する。
【解決手段】 本発明は、画像単位に符号化された動画像の動画像データを解析する動画解析理装置に関する。そして、動画解析理装置は、動画像データにおいて、所定の符号化画像のデータ量と、所定の画像の直前の内部符号化画像のデータ量とを比較した結果に基づいて、動画像における場面切替タイミングを推定する手段と、推定した場面切替タイミングが推定した場面切替タイミングの情報を出力するタイミング手段とを有することを特徴とする。
【選択図】 図１

Description

本発明は、動画像解析装置、プログラム及び方法、並びに、動画像処理装置及び動画像配信装置に関し、例えば、動画像コンテンツの間にコマーシャル（以下、「ＣＭ」という）動画像コンテンツを挿入して配信するシステムに適用することができる。

映画などの動画像コンテンツをインターネット上で配信するネットサービスが盛んになってきている。

視聴者は、有料コンテンツより無料コンテンツをより多く視聴する傾向にあり、サービス提供者は、広告を同時に表示したり、ＣＭ（宣伝や広告等）などの他の動画像コンテンツを同時に視聴させることなどで、広告主より料金を徴収し、視聴者には無料での視聴が可能なようにしているサービスも存在する。

ＣＭなどの本編以外の動画像コンテンツを配信する場合は、あらかじめ決められた位置に配信されるのが一般的である。例えば、従来は、動画像コンテンツがあらかじめきめられた位置で分断されたもの、および、ＣＭ動画像とで動画像再生リストをあらかじめ生成し、そのリストに沿った映像再生を行うことが一般的である。

また、本編の動画像コンテンツについて、ＣＭ動画像の挿入位置を決定するための方法としては、本編の動画像コンテンソの提供者からの指定位置に挿入する、指定時間単位の位置に挿入するという方法がある。

従来、本編の動画像コンテンツについて、自動的にＣＭ動画像の挿入位置を決定するための方法としては、特許文献１の方法がある。特許文献１に記載されている方法では、動画像コンテンツのシーンの分類を用いて、動画像コンテンツのシーンの切り替えの位置を特定し、特定された位置にＣＭを挿入している。

特開２００４−１２８５５０号公報

しかしながら、特許文献１に記載されるシーンの分類は、動画像データが圧縮データのときに、その動き強度、動き空間分布および動き方向ヒストグラムを、各ショット内に存在する予測符号化画像が持つ動きベクトルの値を用いて検出し、これらとショット密度とに基づいて、動画像コンテンツの各ショットをシーンに分類するので、複雑な演算の追加を必要する。

そのため、動画像コンテンツのシーン（場面）が切替わる位置の解析を行うのに必要な処理量を低減することができる、動画像解析装置、プログラム及び方法、並びに、動画像処理装置及び動画像配信装置が望まれている。

第１の本発明の動画像解析装置は、（１）画像単位に符号化された動画像の動画像データを解析する動画解析理装置において、（２）上記動画像データにおいて、所定の符号化画像のデータ量と、上記所定の符号化画像の直前の、画像間予測を用いずに符号化されている内部符号化画像のデータ量との比較結果に基づいて、上記動画像において場面が切り替わる場面切替タイミングを推定する場面切替タイミング推定手段と、（３）上記場面切替タイミング推定手段が推定した場面切替タイミングに係る場面切替タイミング情報を出力するタイミング情報出力手段とを有することを特徴とする。

第２の本発明の動画像解析プログラムは、（１）画像単位に符号化された動画像の動画像データを解析する動画解析理装置に搭載されたコンピュータを、（２）上記動画像データにおいて、所定の符号化画像のデータ量と、上記所定の符号化画像の直前の、画像間予測を用いずに符号化されている内部符号化画像のデータ量との比較結果に基づいて、上記動画像において場面が切り替わる場面切替タイミングを推定する場面切替タイミング推定手段と、（３）上記場面切替タイミング推定手段が推定した場面切替タイミングに係る場面切替タイミング情報を出力するタイミング情報出力手段として機能させることを特徴とする。

第３の本発明の動画像解析方法は、（１）画像単位に符号化された動画像の動画像データを解析する動画解析理方法において、（２）場面切替タイミング推定手段、タイミング情報出力手段を有し、（３）上記場面切替タイミング推定手段は、上記動画像データにおいて、所定の符号化画像のデータ量と、上記所定の符号化画像の直前の、画像間予測を用いずに符号化されている内部符号化画像のデータ量との比較結果に基づいて、上記動画像において場面が切り替わる場面切替タイミングを推定し、（４）上記タイミング情報出力手段は、上記場面切替タイミング推定手段が推定した場面切替タイミングに係る場面切替タイミング情報を出力することを特徴とする。

第４の本発明の動画像処理装置は、（１）画像単位に符号化された動画像の動画像データを処理する動画像処理装置において、（２）第１の本発明の動画像処理装置を備え、（３）上記動画像データについて、上記動画像処理装置を解析した場面切替タイミングの一部又は全部に、上記動画像データとは異なる他の動画像データを挿入して、処理済動画像データを生成する処理を行う動画像挿入処理手段を有することを特徴とする。

第５の本発明の動画像配信装置は、（１）画像単位に符号化された配信用動画像の配信用動画像データを配信する動画像配信装置において、（２）第４の本発明の記載の動画像処理装置を備え、（３）上記配信用動画像データとして、上記動画像処理装置により処理された処理済動画像データを適用することを特徴とする。

動画像コンテンツについてシーン（場面）が切替わる位置の解析を行うのに必要な処理量を低減する。

第１の実施形態に係る動画配信システムの全体構成について示したブロック図である。 第１の実施形態に係る動画像配信装置において、動画像コンテンツが入力されてから配信されるまでの動作の概要について示したフローチャートである。 第１の実施形態に係る動画像配信装置において、動画像コンテンツの入力の動作について示したフローチャートである。 第１の実施形態に係る動画像解析装置によるシーン切替位置の解析の動作について説明したフローチャートである。 第１の実施形態に係る動画像配信装置による、動画像コンテンツ配信の動作について説明したフローチャートである。 第２の実施形態に係る動画配信システムの全体構成について示したブロック図である。 第２の実施形態に係る動画像解析装置によるシーン切替位置の解析の動作について説明したフローチャートである。 第３の実施形態に係る動画配信システムの全体構成について示したブロック図である。 第３の実施形態に係る動画像配信装置において、動画像コンテンツが入力されてから配信されるまでの動作の概要について示したフローチャートである。 第３の実施形態に係る動画像配信装置による、動画像コンテンツ配信の動作について説明したフローチャートである。

（Ａ）第１の実施形態
以下、本発明による動画像解析装置、プログラム及び方法、並びに、動画像処理装置及び動画像配信装置の第１の実施形態を、図面を参照しながら詳述する。

（Ａ−１）第１の実施形態の構成
図１は、この実施形態の動画配信システム１０の全体構成を示すブロック図である。

動画配信システム１０は、動画像配信装置２０と再生装置６０を有している。

動画像配信装置２０は、入力された動画像コンテンツＣに所定の処理を行い、再生装置６０に配信再生装置６０するものである。この実施形態において、動画像配信装置２０扱う動画像コンテンツＣは、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式であるものとして説明するが、その他の形式（例えば、ＷＭＡ形式等他の形式）であっても良い。また、動画像配信装置２０は、再生装置６０の要求に応じて、動画像コンテンツＣを配信（オン・デマンド配信）するようにしても良いし、一方的に配信（ブロードキャスト）するようにしても良い。また、図１においては図示は省略しているが、動画像コンテンツＣには、動画像だけでなく、動画像に同期した音声データを含めるようにしても良い。

再生装置６０は、動画像配信装置２０から受信した動画像コンテンツのデータを受信してユーザ出力する受信装置の機能を担っている。再生装置６０による動画像コンテンツの出力方法は、ユーザに表示出力するようにしても良いし、記録媒体に記録したり、さらに他の装置に送信する等限定されないものである。図１においては、説明を簡易にするため再生装置６０は１台として図示しているが、再生装置６０の台数は限定されないものである。

なお、この実施形態において、動画像コンテンツＣには、１以上の本編動画像コンテンツと、１以上のＣＭ動画像コンテンツが含まれているものとし、動画像配信装置２０は、本編動画像コンテンツの間にＣＭ動画像コンテンツを挿入する処理を行って再生装置６０に配信するものとする。

次に、動画像配信装置２０の詳細について説明する。

動画像配信装置２０は、動画像処理装置３０及び動画像配信部５０を有している。

動画像配信装置２０は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭ、ハードディスクなどのプログラムの実行構成に、動画像配信プログラム等（実施形態の動画像解析プログラム等を含む）をインストールすることにより構築されるものである。

動画像処理装置３０は、動画像コンテンツＣのデータが入力されると、動画像コンテンツＣに含まれている本編動画像コンテンツの間にＣＭ動画像コンテンツを挿入する処理を行って、動画像配信部５０に与えるものである。

なお、動画像コンテンツＣには、ＣＭ動画像コンテンツを含めずに、本編動画像に挿入するＣＭ動画像コンテンツは、動画像配信装置２０に別途格納部を設けて格納しておき、本編動画像コンテンツに挿入するＣＭ動画像コンテンツは、上述の格納部から選択して挿入するようにしても良い。また、動画像処理装置３０において、本編動画像に挿入するＣＭ動画像を選択する方法は、予め挿入する順序を設定しておいても良いし、ランダムに選択するようにしても良く、その選択方法は限定されないものである。

動画像配信部５０は、動画像処理装置３０から与えられた動画像コンテンツ（本編動画像コンテンツにＣＭ動画像コンテンツが挿入されたもの）を、再生装置６０に配信する機能を担っている。

次に、動画像処理装置３０の詳細構成について説明する。

動画像処理装置３０は、動画像解析装置４０、入力部３１、動画像蓄積部３２、動画像処理部３３、動画像分割情報格納部３４を有している。

動画像処理装置３０は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭ、ハードディスクなどのプログラムの実行構成に、動画像処理プログラム（実施形態の動画像解析プログラム等を含む）等をインストールすることにより構築されるものである。

入力部３１は、動画像コンテンツＣが入力されると、動画像コンテンツＣを取り込んで、動画像蓄積部３２に蓄積させる入力手段である。

動画像蓄積部３２は、入力部３１により入力された動画像コンテンツＣのデータを蓄積する蓄積手段である。

動画像解析装置４０は、動画像処理部３３に蓄積された動画像コンテンツＣに含まれる本編動画像において、シーン（場面）の切り替えが発生した位置（以下、「シーン切替位置」という）を検出し、その検出した位置情報を、動画像分割情報格納部３４に出力して格納させるものである。

動画像解析装置４０は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭ、ハードディスクなどのプログラムの実行構成に、実施形態の動画像解析プログラム等をインストールすることにより構築されるものである。

本編動画像コンテンツの配信において、ＣＭ動画像コンテンツを挿入するのに最も適した場所は、シーンチェンジにあわせて挿入することである。シーンの途中で突然無作為に挿入すると音声が分断され映像の意味がなさなくなる場合があるためである。

ＭＰＥＧ形式の動画像データにおいては、動画像データはフレーム（以下、「画像」ともいう）ごとに分割されており、フレーム内部の符号化により、フレーム自体の情報で１枚の映像を構成できるＩフレームと、フレーム間予測により、前のフレーム情報との差分情報で構成されるＰフレームなどを有している。一般にＰフレームは映像の変化が激しいほどデータ量が多くなる。

この実施形態では、本編動画像において、Ｐフレームのデータ量に基づいて、シーン切替位置を検出するものとする。これは、シーン切替位置の直後のＰフレームについては、映像の変化が激しく、データ量が大きくなることに着目し、Ｐフレームのデータ量が所定より大きい場合には、シーン切替位置に係るフレームであると推定することができるためである。

この実施形態においては、動画像解析装置４０は、例として、あるＰフレームのデータ量が、直前のＩフレームよりも大きい場合には、当該Ｐフレームと、当該Ｐフレームの直前のフレームとの間が、シーン切替位置にあたると判断するものとする。

そして、動画像解析装置４０は、本編動画像について解析したシーン切替位置のタイミングに係る情報（以下、「シーン切替位置情報」という）を、動画像分割情報格納部３４に格納する。

シーン切替位置情報は、例えば、本編動画像の再生開始からの経過時間により表現しても良いし、再生開始からのフレーム数により表現しても良く、シーン切替位置のタイミングを特定することができる情報であれば、その形式は限定されないものである。

動画像処理部３３は、動画像蓄積部３２に蓄積された動画像コンテンツＣに係る本編動画像データについて、動画像分割情報格納部３４に格納されたシーン切替位置情報に基づいたタイミングでＣＭ動画像データを挿入する処理を行い、処理済の動画像コンテンツを動画像配信部５０に与える。

動画像処理部３３は、シーン切替位置情報に示される全てのシーン切替位置についてＣＭ動画像データを挿入する処理を行うようにしても良いし、一部のシーン切替位置についてのみＣＭ動画像を挿入する処理を行うようにしても良いが、この実施形態においては、後者を採用するものとする。一般的に、動画像コンテンツの配信においてＣＭを挿入する場合は、１５分程度の間隔でＣＭ挿入が行われることから、この実施形態において、動画像処理部３３は、まず最初に再生開始から１５分の時点に最も近いシーン切替位置にＣＭ動画像を挿入し、ＣＭ動画像を挿入したシーン切替位置から、さらに１５分後の時点に最も近いシーン切替位置にＣＭ動画像を挿入するという動作を繰り返すものとする。

以下の説明において、ＣＭ動画像コンテンツを挿入する位置（以下、「ＣＭ挿入位置」という）の間隔の目標時間（上述の例では１５分）を、「ＣＭ挿入間隔目標時間」と呼ぶものとする。なお、ＣＭ挿入間隔目標時間は、１５分以外の時間を適用するようにしても良いし、固定の長さではなく、配信する動画像コンテンツの再生時間に応じた長さを適用する等、動的に設定するようにしても良い。また、ＣＭ挿入間隔目標時間には、ＣＭ動画像コンテンツを配信している時間を含むものとしても良いし、含まないものとしても良いが、この実施形態においては、ＣＭ動画像を配信している時間は含まないものとして説明する。

また、一つのシーン切替位置に挿入するＣＭ動画像の数は、限定されないものである。

（Ａ−２）第１の実施形態の動作
次に、以上のような構成を有する第１の実施形態の動画配信システム１０の動作を説明する。

（Ａ−２−１）動画像配信装置の動作の概要
図２は、動画像配信装置２０において、動画像コンテンツＣが入力されてから再生装置６０に配信されるまでの一連の動作の概要について示したフローチャートである。

動画像配信装置２０では、まず、動画像コンテンツＣが入力され、動画像蓄積部３２に蓄積（Ｓ１０１）されると、動画像解析装置４０により動画像コンテンツＣのうち本編ストリームについてシーン切替位置が分析され、分析結果がシーン切替位置情報として動画像分割情報格納部３４に出力される（Ｓ１０２）。次に、動画像処理部３３により、動画像蓄積部３２に格納された動画像コンテンツＣの本編動画像について、シーン切替位置情報に従ってＣＭ動画像が挿入され、再生装置６０に配信される（Ｓ１０３）。

以下、上述のステップＳ１０１〜Ｓ１０３のそれぞれのステップの詳細について説明する。

（Ａ−２−２）動画像コンテンツの入力
まず、上述のステップＳ１０１における動画像コンテンツＣの入力の動作の詳細について説明する。

図３は、動画像配信装置２０において、動画像コンテンツＣの入力の動作について示したフローチャートである。

まず、入力部３１において、動画像コンテンツＣの入力が開始されると、読込むデータが終了するまで、動画像コンテンツＣが読込まれ（Ｓ２０１、Ｓ２０２）、読込んだデータは、動画像蓄積部３２に書き込みされる（Ｓ２０３）。

（Ａ−２−３）シーン切替位置の解析
次に、上述のステップＳ１０２における、動画像解析装置４０によるシーン切替位置の解析の動作について説明する。

図４は、動画像解析装置４０によるシーン切替位置の解析の動作について説明したフローチャートである。

まず、動画像解析装置４０では、動画像蓄積部３２に蓄積された本編動画像コンテンツの１フレームの読込みが試みられ（Ｓ３０１）、読込みができたか否かが判定される（Ｓ３０２）。

上述のステップＳ３０２において、動画像解析装置４０では、フレームの読込みができたと判定された場合には、後述するステップＳ３０３から動作し、読込むフレームが無くデータが終了したと判定された場合には、シーン切替位置の解析の動作を終了する。

上述のステップＳ３０２において、動画像解析装置４０では、フレームの読込みができたと判定された場合には、上述のステップＳ３０１において、当該フレームについてフレームの種別及びサイズを判定する（Ｓ３０３）。

そして、動画像解析装置４０では、上述のステップＳ３０３の判定結果において、当該フレームがＰフレームであるかが判定され、Ｐフレームである場合には後述するステップＳ３０６から動作し、Ｐフレームでない場合には上述のステップＳ３０１に戻って動作する（Ｓ３０４）。

上述のステップＳ３０４において、当該フレームがＰフレームであると判定された場合には、動画像解析装置４０では、さらに、当該Ｐフレームと、当該Ｐフレームの直前のＩフレームとのサイズが比較され、当該Ｐフレームのサイズが直前のＩフレームのサイズよりも大きいか否かが判定され、「大きい」と判定された場合には、後述するステップＳ３０６から動作し、そうでない場合には上述のステップＳ３０１に戻って動作する（Ｓ３０５）。

上述のステップＳ３０５において、当該当該Ｐフレームのサイズが直前のＩフレームのサイズよりも大きいと判定された場合には、動画像解析装置４０では、当該Ｐフレームのと、当該Ｐフレームの直前のフレームの間をシーン切替位置と認識し、そのシーン切替位置に係るシーン切替位置情報が生成され、動画像分割情報格納部３４に出力され（Ｓ３０６）、上述のステップＳ３０１に戻って動作する。

（Ａ−２−４）コンテンツ配信の動作
次に、上述のステップＳ１０３におけるコンテンツ配信の動作について説明する。

図５は、動画像配信装置２０による、コンテンツ配信の動作について説明したフローチャートである。

まず、動画像処理装置３０では、動画像分割情報格納部３４に格納されたシーン切替位置情報に基づいて、動画像蓄積部３２に蓄積された動画像コンテンツＣの本編動画像コンテンツについて、ＣＭ挿入位置が計算される（Ｓ４０１）。ステップＳ４０１において、動画像処理装置３０では、まず最初に再生開始から１５分の時点に最も近いシーン切替位置をＣＭ挿入位置として指定し、次に計算を行う場合には、前回計算したＣＭ挿入位置から、さらに１５分後の時点に最も近いシーン切替位置を、次のＣＭ挿入位置と指定する。なお、動画像処理部３３のＣＭ挿入位置の指定において、前回指定されたＣＭ挿入位置が、本編動画像コンテンツの終了１５分前の時点よりも後の時点であった場合には、次のＣＭ挿入位置の指定を行わないようにしても良いし、本編動画像コンテンツの終了後にＣＭ挿入位置を指定するようにしても良い。

次に、現時点（直前に出力したフレームと次に出力しようとするフレームの間の時点）が、上述のステップＳ４０１で算出した次のＣＭ挿入位置に該当するかどうかが判定され、次のＣＭ挿入位置であると判定された場合には、後述するステップＳ４０６から動作し、次のＣＭ挿入位置でないと判定された場合には、後述するステップＳ４０３から動作する（Ｓ４０２）。

上述のステップＳ４０２において、現時点がＣＭ挿入位置でないと判定された場合には、動画像処理装置３０では、動画像蓄積部３２に蓄積された本編動画像コンテンツの、次の１フレームの読み出しが試みられ（Ｓ４０２）、読込みができたか否かが判定される（Ｓ４０３）。

次に、動画像処理装置３０では、上述のステップＳ４０４において、フレームの読込みができたと判定された場合には、後述するステップＳ４０５から動作し、読込むフレームが無くデータが終了したと判定された場合には、シーン切替位置の解析の動作を終了する。

上述のステップＳ４０４において、動画像処理部３３でフレーム読込みができたと判定された場合には、そのフレームが動画像配信部５０に出力され、動画像配信部５０により再生装置６０に配信される（Ｓ４０５）。

上述のステップＳ４０２において、現時点がＣＭ挿入位置と判定された場合には、動画像処理部３３において、動画像蓄積部３２に蓄積されたＣＭ動画像コンテンツが選択されて読込まれ、読込まれたＣＭ動画像コンテンツのデータが終了するまで、そのＣＭ動画像コンテンツのフレームがそのフレームが動画像配信部５０に出力され、動画像配信部５０により再生装置６０に配信され（Ｓ４０６〜Ｓ４０８）、上述のステップＳ４０１に戻って動作する。なお、この際上述のステップＳ４０１に戻って動作すると、上述のステップＳ４０１において読込まれる本編動画像のフレームは、ＣＭ挿入位置のタイミングの次に発生するフレームとなる。

以上のように、動画像配信装置２０により、動画像コンテンツＣの本編動画像コンテンツにＣＭ動画像コンテンツが挿入されて、再生装置６０に配信される。

（Ａ−３）第１の実施形態の効果
第１の実施形態によれば、以下のような効果を奏することができる。

動画像解析装置４０を用いて、自動的にシーン切替位置を解析し、シーン切替位置に基づいてＣＭ挿入位置を解析することができるので、ＣＭ挿入位置を手動で設定する手間を省くことができる。

また、動画像解析装置４０において、シーン切替位置を解析する方法として、Ｐフレームと、そのＰフレームの直前のＩフレームのデータ量を比較するだけでよいので、特許文献１に記載されている方法と比較して、容易にシーン切替位置を解析することができ、シーン切替位置を解析するための処理量を低減することができる。

（Ｂ）第２の実施形態
以下、本発明による動画像解析装置、プログラム及び方法、並びに、動画像処理装置及び動画像配信装置の第２の実施形態を、図面を参照しながら詳述する。

（Ｂ−１）第２の実施形態の構成
図６は、この実施形態の動画配信システム１０の全体構成を示すブロック図である。

ＭＰＥＧ形式の動画像コンテンツにおいて、通常Ｉフレームは、１秒３０フレームとすると、１５フレームに１個が推奨されているが、サイズが所定よりも大きい場合等、一部のＰフレームについては、Iフレームに強制的に変換する動画像のエンコーダも存在するため、動画像コンテンツＣのエンコードに上述のようなエンコーダが用いられていた場合には、第１の実施形態での動画像解析装置４０のように、Ｐフレームのサイズに基づいて、シーン切替位置を検出する方法だと、シーン切替位置を検出することができない場合があるという問題がある。

そこで、第２の実施形態では、上述のような問題点を解決するために、通常は、定期的なタイミングでＩフレームが出現する環境で、不定期のタイミングで出現するＩフレームのサイズもシーン切替位置の検出に用いるものとする。

以下、第２の実施形態について、第１の実施形態との差異点を説明する。

第２の実施形態の動画配信システム１０Ａは、動画像配信装置２０Ａ及び再生装置６０を有している。

再生装置６０については、第１の実施形態のものと同様であるので、詳しい説明は省略する。

動画像配信装置２０Ａは、動画像処理装置３０Ａ及び動画像配信部５０を有している。

動画像配信部５０は、第１の実施形態のものと同様であるので、詳しい説明は省略する。

動画像配信装置２０Ａは、動画像解析装置４０Ａ、入力部３１、動画像蓄積部３２、動画像処理部３３、動画像分割情報格納部３４を有している。

入力部３１、動画像蓄積部３２、動画像処理部３３、動画像分割情報格納部３４については、第１の実施形態と同様のものであるので詳しい説明を省略する。

動画像解析装置４０Ａにおいては、上述の通り、Ｐフレームだけでなく、不定期のタイミングで出現するＩフレームのサイズもシーン切替位置の検出に用いるものとする。

例えば、動画像コンテンツＣにおいて、通常時１５フレームに１つＩフレームが出現する場合に、当該Ｉフレームと、当該Ｉフレームの直前のＩフレームとの間のフレーム数が１４（＝１５−１）個でない場合には、当該Ｉフレームは、不定期に出現するＩフレーム（以下、「不定期Ｉフレーム」という）となる。なお、以下の説明において、不定期ＩフレームではないＩフレームについては「定期Ｉフレーム」と呼ぶものとする。

動画像コンテンツＣにおいて、通常時Ｉフレームが出現する間隔については、予め動画像解析装置４０に設定するようにしても良いし、動画像コンテンツＣを解析して検出するようにしても良い。例えば、動画像コンテンツＣの一部又は全部について、Ｉフレームが発生する間隔を分析して、所定以上の確率（例えば、５割以上等）で出現する間隔を、動画像コンテンツＣにおいて、通常時Ｉフレームが出現する間隔として認識するようにしても良い。

そして、動画像解析装置４０Ａでは、不定期Ｉフレームのデータ量が所定より大きい場合、その不定期Ｉフレームは、シーン切替位置に係るフレームであると推定するものとする。すなわち、この実施形態では、本編動画像コンテンツにおいて、Ｐフレームのデータ量と、不定期Ｉフレームのサイズを用いてシーン切替位置を検出する。

この実施形態においては、動画像解析装置４０Ａは、例として、ある不定期Ｉフレームのデータ量が、直前のＩフレームよりも大きい場合には、その不定期Ｉフレームは、シーン切替位置に係るフレームと判断するものとする。Ｐフレームのデータ量に基づいてシーン切替位置を検出する方法は、第１の実施形態と同様であるので詳しい説明は省略する。

（Ｂ−２）第２の実施形態の動作
次に、以上のような構成を有する第２の実施形態の動画配信システム１０Ａの動作を説明する。

動画像配信装置２０Ａにおいて、動画像コンテンツＣが入力されてから再生装置６０に配信されるまでの一連の動作の概要についても、上述の図２を用いて表すことができる。

動画配信システム１０Ａにおいて、上述の図２における、動画像コンテンツの入力（ステップＳ１０１）及び、動画像コンテンツの配信（ステップＳ１０３）の動作については第１の実施形態と同様であるので詳しい説明を省略し、ここでは、シーン切替位置の解析（ステップＳ１０２）についてのみ説明する。

次に、動画像解析装置４０Ａによるシーン切替位置の解析の動作について説明する。

図７は、動画像解析装置４０Ａによるシーン切替位置の解析の動作について説明したフローチャートである。

まず、動画像解析装置４０Ａでは、動画像蓄積部３２に蓄積された本編動画像コンテンツの１フレームの読込みが試みられ（Ｓ５０１）、読込みができたか否かが判定される（Ｓ５０２）。

上述のステップＳ５０２において、フレームの読込みができたと判定された場合には、後述するステップＳ５０３から動作し、読込むフレームが無くデータが終了したと判定された場合には、シーン切替位置の解析の動作を終了する。

上述のステップＳ５０２において、フレームの読込みができたと判定された場合には、動画像解析装置４０Ａでは、上述のステップＳ５０１において、読込んだフレームについてフレームの種別及びサイズを判定する（Ｓ５０３）。

そして、動画像解析装置４０Ａでは、上述のステップＳ５０３の判定結果において、当該フレームがＰフレーム、又は、不定期Ｉフレームである場合には、当該フレームの直前のＩフレームとのサイズが比較され、当該フレームが、Ｐフレームでも、不定期Ｉフレームでもない場合には上述のステップＳ５０１に戻って動作する（Ｓ５０４〜Ｓ５０６）。

上述のステップＳ５０６において、当該フレーム（Ｐフレーム、又は、不定期Ｉフレーム）のデータ量が、直前のＩフレームのサイズよりも「大きい」と判定された場合には、後述するステップＳ５０８から動作し、そうでない場合には上述のステップＳ５０１に戻って動作する（Ｓ５０７）。

上述のステップＳ５０７において、当該フレーム（Ｐフレーム、又は、不定期Ｉフレーム）のサイズが直前のＩフレームのサイズよりも大きいと判定された場合には、動画像解析装置４０Ａでは、当該フレームと、当該フレームの直前のフレームとの間をシーン切替位置と認識し、そのシーン切替位置に係るシーン切替位置情報を、動画像分割情報格納部３４に出力し（Ｓ５０８）、上述のステップＳ５０１に戻って動作する。

（Ｂ−３）第２の実施形態の効果
第２の実施形態によれば、第１の実施形態の効果に加えて、以下のような効果を奏することができる。

動画像解析装置４０Ａでは、Ｐフレームだけでなく、不定期Ｉフレームも用いてシーン切替位置を解析するため、動画像コンテンツＣの本編動画コンテンツにおいて、本来Ｐフレームであるはずのフレームが強制的にＩフレームに変更されている場合でも、シーン切替位置を検出することができる。すなわち、動画像解析装置４０Ａでは、第１の実施形態と比較してシーン切替位置を検出する精度を向上させることができる。

（Ｃ）第３の実施形態
以下、本発明による動画像解析装置、プログラム及び方法、並びに、動画像処理装置及び動画像配信装置の第３の実施形態を、図面を参照しながら詳述する。

（Ｃ−１）第３の実施形態の構成
図８は、第３の実施形態の動画配信システム１０Ｂの全体構成を示すブロック図である。

第１の実施形態の動画像配信装置においては、動画像コンテンツＣの本編動画像コンテンツについて、一旦全てのシーン切替位置を求めて、シーン切替位置情報を動画像分割情報格納部に格納し、格納されたシーン切替位置情報を用いてＣＭ挿入位置を検出していた。第３の実施形態の動画配信システム１０Ｂでは、「動画像分割情報格納部」を省略し、リアルタイムにシーン切替位置及びＣＭ挿入位置を検出する点で、第１の実施形態と異なっている。

以下、第３の実施形態について、第１の実施形態との差異を説明する。

第３の実施形態の動画配信システム１０Ｂは、動画像配信装置２０Ｂ及び再生装置６０を有している。再生装置６０については、第１の実施形態と同様のものであるので詳しい説明は省略する。

動画像配信装置２０Ｂは、動画像処理装置３０Ｂ及び動画像配信部５０を有している。動画像配信部５０については、第１の実施形態と同様のものであるので、詳しい説明は省略する。

動画像処理装置３０Ｂは、動画像解析装置４０Ｂ、入力部３１、動画像蓄積部３２、動画像処理部３３Ｂを有している。入力部３１、動画像蓄積部３２については、第１の実施形態と同様のものであるので詳しい説明は省略する。

動画像処理部３３Ｂは、動画像蓄積部３２に蓄積された動画像コンテンツＣの本編動画像コンテンツについて１フレームづつ読込み、動画像配信部５０に出力する。そして、動画像処理部３３Ｂは、当該フレームの内容を動画像解析装置４０Ｂに与えて、現時点（当該フレームと当該フレームの直前のフレームとの間）がシーン切替位置のタイミングであるか否かを判定させ、現時点がシーン切替位置のタイミングに該当する場合には、さらに、現時点がＣＭ挿入位置のタイミングに該当するか否かを判定する。そして、動画像処理部３３Ｂは、現時点がＣＭ挿入位置のタイミングに該当すると判定した場合には、動画像蓄積部３２に蓄積されたＣＭ動画像コンテンツを選択して読込んで、フレーム単位で動画像配信部５０に出力し、ＣＭ動画像コンテンツの出力が完了すると、再び本編動画像コンテンツの続きのフレームを読込んで同様の処理を行う。

動画像処理部３３Ｂは、動画像処理部３３Ｂから、本編動画像コンテンツについて１フレームずつ与えられると、現時点（当該フレームと当該フレームの直前のフレームとの間）が、シーン切替位置であるか否かを判定し、その判定結果を動画像処理部３３Ｂに与える。動画像処理部３３Ｂにおける、シーン切替位置の検出方法は、第１の実施形態の動画像処理部３３又は第２の実施形態の動画像処理部３３Ａのいずれの方法を適用しても良い。

動画像処理部３３Ｂにおいて、現時点がＣＭ挿入位置のタイミングに該当するか否かを判定する方法としては、例えば、第１及び第２の実施形態と同様に、まず最初に再生開始からＣＭ挿入間隔目標時間（１５分）の時点に近いシーン切替位置にＣＭ動画像を挿入し、ＣＭ動画像を挿入したシーン切替位置から、さらにＣＭ挿入間隔目標時間（１５分）経過後の時点に近いシーン切替位置にＣＭ動画像を挿入するという動作を繰り返すようにしても良い。

しかし、第１の実施形態では、予め本編動画像コンテンツについて全てのシーン切替位置を検出してから、ＣＭ挿入位置の検出を行っているので、ＣＭ挿入位置の間隔が最もＣＭ挿入間隔目標時間（１５分）に近い時間となるシーン切替位置を選択することができるが、第３の実施形態の動画像処理部３３Ｂ及び動画像解析装置４０Ｂにおいては、１フレームずつ読込んで、リアルタイムにシーン切替位置とＣＭ挿入位置の検出を同時に行うため、ＣＭ挿入位置を判定する方法を変更する必要がある。

例えば、動画像処理装置３０Ｂでは、前回のＣＭ挿入位置の時点又は本編動画像コンテンツの配信を開始した時点から、所定時間（以下、「ＣＭ挿入待機時間」と呼ぶ）が経過した時点以降に、最初に発生するシーン切替位置を、ＣＭ挿入位置として検出するようにしても良い。

ＣＭ挿入待機時間としては、例えば、ＣＭ挿入間隔目標時間の９割（この割合は限定されないものである）の時間（１５分×０．９＝１３．５分）と設定しても良いし、ＣＭ挿入間隔目標時間から１分（この時間は限定されないものである）減算した時間（１５分―１分＝１４分）とすること等が挙げられる。

（Ｃ−２）第３の実施形態の動作
次に、以上のような構成を有する第３の実施形態の動画配信システム１０Ｂの動作を説明する。

図９は、動画像配信装置２０Ｃにおいて、動画像コンテンツＣが入力されてから再生装置６０に配信されるまでの一連の動作の概要について示したフローチャートである。

動画像配信装置２０Ｂでは、まず、動画像コンテンツＣが入力され、動画像蓄積部３２に蓄積（Ｓ７０１）される、動画像処理部３３Ｂにより、動画像蓄積部３２に格納された動画像コンテンツＣの本編動画像について、ＣＭ動画像コンテンツが挿入され、再生装置６０に配信される（Ｓ７０２）。

ステップＳ７０１の動作については、上述のステップＳ１０１（図２及び図３参照）と同様の内容であるので詳しい説明を省略する。

次に、上述のステップＳ７０２におけるコンテンツ配信の動作について説明する。

図１０は、動画像配信装置２０Ｂによる、コンテンツ配信の動作について説明したフローチャートである。

まず、動画像処理装置３０Ｂでは、動画像蓄積部３２に蓄積された本編動画像コンテンツの、次の１フレームの読み出しが試みられ（Ｓ８０１）、読込みができたか否かが判定される（Ｓ８０２）。

動画像処理部３３Ｂでは、上述のステップＳ８０２において、フレームの読込みができたと判定された場合には、後述するステップＳ８０３から動作し、読込むフレームが無くデータが終了したと判定された場合には、シーン切替位置の解析の動作を終了する。

上述のステップＳ８０２において、動画像処理部３３Ｂでフレーム読込みができたと判定された場合には、動画像処理部３３Ｂでは、現時点（読込んだフレームと、読込んだフレームの直前のフレームとの間）がＣＭ挿入位置に該当するか否かの検査が、動画像解析装置４０Ｂによるシーン切替位置の判定結果を利用して行われる（Ｓ８０３）。

次に、動画像処理部３３Ｂでは、上述のステップＳ８０３において、「現時点がＣＭ挿入位置に該当する」という検査結果だった場合には後述するステップＳ８０６から動作し、「現時点がＣＭ挿入位置に該当しない」という検査結果だった場合には、後述するステップＳ８０５から動作する（Ｓ８０４）。

ＣＭ挿入位置の検査結果が、「現時点がＣＭ挿入位置に該当しない」という検査結果だった場合には、上述のステップＳ８０１において読込んだフレームが、動画像配信部５０に出力され、動画像配信部５０により再生装置６０に配信され（Ｓ８０５）、上述のステップＳ８０１に戻って動作する。

ＣＭ挿入位置の検査結果が、「現時点がＣＭ挿入位置に該当する」という検査結果だった場合には、動画像処理部３３Ｂにおいて、動画像蓄積部３２に蓄積されたＣＭ動画像コンテンツが選択されて読込まれ、選択されたＣＭ動画像コンテンツのデータが終了するまで、そのＣＭ動画像コンテンツのフレームがそのフレームが動画像配信部５０に出力され、動画像配信部５０により再生装置６０に配信され（Ｓ８０６〜Ｓ８０８）、上述のステップＳ８０１に戻って動作する。なお、この際上述のステップＳ８０１に戻って動作すると、上述のステップＳ８０１において読込まれる本編動画像のフレームは、ＣＭ挿入位置のタイミングの次に発生するフレームとなる。

以上のように、動画像配信装置２０Ｂにより、動画像コンテンツＣの本編動画像コンテンツにＣＭ動画像コンテンツが挿入されて、再生装置６０に配信される。

（Ｃ−３）第３の実施形態の効果
第３の実施形態によれば、第１及び第２の実施形態に加えて、以下のような効果を奏することができる。

動画像配信装置２０Ｂでは、事前にシーン切替位置を解析する工程をおこなわずに、リアルタイムに動画像解析装置４０Ｂによりシーン切替位置及びＣＭ挿入位置を検出し、本編動画像コンテンツにＣＭ動画像コンテンツを挿入して配信することができる。特に、本発明の動画像解析装置では、従来の特許文献１に記載の方法よりも少ない処理量で、シーン切替位置を検出することができるので、第３の実施形態のようにリアルタイムにシーン切替位置を検出する処理を行っても、シーン切替位置の検出に係る処理遅延時間が少ないという効果も奏することができる。

また、第３の実施形態では、第１及び第２の実施形態のように、動画像分割情報格納部を設ける必要がない。

（Ｄ）他の実施形態
本発明は、上記の各実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。

（Ｄ−１）第２の実施形態においては、動画像解析装置によるシーン切替位置の検出において、Ｐフレーム及び不定期Ｉフレームを用いているが、不定期Ｉフレームのみを用いて検出するようにしても良い。

（Ｄ−２）上記の各実施形態においては、本発明の動画像処理装置を、動画像配信装置に適用した例について説明したが、動画像処理装置により処理された動画像データ（本編動画像コンテンツにＣＭ動画像コンテンツを挿入した動画像データ）を、記録媒体に記録したり、ディスプレイ等の表示装置に直接表示させたりする等しても良い。すなわち、本発明の動画像処理装置による出力方法は限定されないものである。

（Ｄ−３）上記の各実施形態においては、本発明の動画解析装置をＣＭ挿入位置の検出に用いることを目的としているが、その他の目的に利用するようにしても良い。

例えば、動画解析装置が検出したシーン切替位置を、映画やドラマの動画像コンテンツにおけるチャプター検出に用いるようにしても良い。例えば、当該動画像コンテンツを鑑賞中のユーザが次のチャプターに早送りしたい場合に、動画解析装置が検出したシーン切替位置まで早送りすることなどが挙げられる。

（Ｄ−４）上記の実施形態においては、動画像処理装置において、本編動画像コンテンツに挿入されるのはＣＭ動画像コンテンツのみであったが、その他にも、視聴者に対する警告の動画、ニュースの動画、テスト用動画、時報に係る動画等、他の動画コンテンツを挿入するようにしても良い。すなわち、動画像処理装置において、本編動画像コンテンツに挿入される他の動画像コンテンツの種類は限定されないものである。

１０…動画配信システム、２０…動画像配信装置、３０…動画像処理装置、４０…動画像解析装置、３１…入力部、３２…動画像蓄積部、３３…動画像処理部、３４…動画像分割情報格納部、Ｃ…動画像コンテンツ、５０…動画像配信部、６０…再生装置。

Claims (9)

1. 画像単位に符号化された動画像の動画像データを解析する動画解析理装置において、
   上記動画像データにおいて、所定の符号化画像のデータ量と、上記所定の符号化画像の直前の、画像間予測を用いずに符号化されている内部符号化画像のデータ量との比較結果に基づいて、上記動画像において場面が切り替わる場面切替タイミングを推定する場面切替タイミング推定手段と、
   上記場面切替タイミング推定手段が推定した場面切替タイミングに係る場面切替タイミング情報を出力するタイミング情報出力手段と
   を有することを特徴とする動画像解析装置。
2. 上記場面切替タイミング推定手段は、上記内部符号化画像に対する上記所定の符号化画像のデータ量の比率が所定以上の場合には、上記所定の符号化画像と、上記所定の符号化画像の直前の符号化画像との間のタイミングを、場面切替タイミングと推定することを特徴とする請求項１に記載の動画解析装置。
3. 上記所定の符号化画像としては、少なくとも画像間予測を用いて符号化されている予測符号化画像が該当することを特徴とする請求項１又は２に記載の動画解析装置。
4. 上記動画像データには、直前の内部符号化画像までの画像数が所定の数となる定期内部符号化画像と、直前の内部符号化画像までの画像数が上記所定の数と異なる不定期内部符号化画像とが含まれており、
   上記所定の符号化画像としては、少なくとも上記不定期内部符号化画像が該当することを特徴とする請求項１〜３のいずれかに記載の動画像解析装置。
5. 上記所定の数は、上記動画像データにおいて定められている定数であることを特徴とする請求項４に記載の動画像解析装置。
6. 画像単位に符号化された動画像の動画像データを解析する動画解析理装置に搭載されたコンピュータを、
   上記動画像データにおいて、所定の符号化画像のデータ量と、上記所定の符号化画像の直前の、画像間予測を用いずに符号化されている内部符号化画像のデータ量との比較結果に基づいて、上記動画像において場面が切り替わる場面切替タイミングを推定する場面切替タイミング推定手段と、
   上記場面切替タイミング推定手段が推定した場面切替タイミングに係る場面切替タイミング情報を出力するタイミング情報出力手段と
   して機能させることを特徴とする動画像解析プログラム。
7. 画像単位に符号化された動画像の動画像データを解析する動画解析理方法において、
   場面切替タイミング推定手段、タイミング情報出力手段を有し、
   上記場面切替タイミング推定手段は、上記動画像データにおいて、所定の符号化画像のデータ量と、上記所定の符号化画像の直前の、画像間予測を用いずに符号化されている内部符号化画像のデータ量との比較結果に基づいて、上記動画像において場面が切り替わる場面切替タイミングを推定し、
   上記タイミング情報出力手段は、上記場面切替タイミング推定手段が推定した場面切替タイミングに係る場面切替タイミング情報を出力する
   ことを特徴とする動画像解析方法。
8. 画像単位に符号化された動画像の動画像データを処理する動画像処理装置において、
   請求項１〜５のいずれかに記載の動画像処理装置を備え、
   上記動画像データについて、上記動画像処理装置を解析した場面切替タイミングの一部又は全部に、上記動画像データとは異なる他の動画像データを挿入して、処理済動画像データを生成する処理を行う動画像挿入処理手段
   を有することを特徴とする動画像処理装置。
9. 画像単位に符号化された配信用動画像の配信用動画像データを配信する動画像配信装置において、
   請求項８に記載の動画像処理装置を備え、
   上記配信用動画像データとして、上記動画像処理装置により処理された処理済動画像データを適用することを特徴とする動画像配信装置。

Images