JP2009088686A

JP2009088686A - シーン切り替え点検出装置及びシーン切り替え点検出方法

Info

Publication number: JP2009088686A
Application number: JP2007252443A
Authority: JP
Inventors: Koji Mori; 光司森; Tomoyuki Mizuta; 智之水田
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2007-09-27
Filing date: 2007-09-27
Publication date: 2009-04-23

Abstract

【課題】Ｈ．２６４／ＡＶＣ動画ストリームを復号せずに、高速にシーン切り替え点を検出する。
【解決手段】動画ストリームからＰフレームを検出し（ステップＳ４０２）、検出したＰフレーム内のマクロブロックを検出する（ステップＳ４０４）。各マクロブロックの参照ピクチャＬ０を検出し、参照ピクチャＬ０が未来のフレームを参照しているか否かを判定する（ステップＳ４０６）。未来のフレームを参照しているマクロブロックが閾値Ｔより多いと判断（ステップＳ４０８）されると、検出したＰフレームをシーン切り替え点として検出する（ステップＳ４０９）。
【選択図】図４

Description

本発明は動画のシーン切り替え点検出装置及び検出方法に係り、特にＨ．２６４／ＡＶＣ動画ストリームを復号せずに高速にシーン切り替え点を検出するシーン切り替え点検出装置及びシーン切り替え点検出方法に関する。

動画は１枚のサムネイルでは内容がよく判別できないという問題点があるため、動画のシーン切り替え点を抽出するための方法が考えられている。特許文献１には、画面内符号化されたフレーム間の１フレーム符号量の差分値が基準値以上の場合に、そのフレームを切り替え点と判断するシーン変化検出方法が記載されている。この技術によれば、動画からシーン変化のフレームを自動的に抽出することが可能となる。
特開平６−１３３３０５号公報

しかし、特許文献１に記載のシーン変化検出方法は、Ｉフレームのフレーム間の相関を用いるシーン切り替え点の検出方法であり、Ｉフレーム以外のフレームには適用できないという欠点があった。また、Ｈ．２６４／ＡＶＣで追加されたストリーム情報を用いてのシーン切り替え点検出をおこなう技術を開示するものはなかった。本発明はこのような事情に鑑みてなされたもので、復号せずにＨ．２６４／ＡＶＣ動画ストリームを解析し、シーン切り替え点を抽出するシーン切り替え点検出装置及びシーン切り替え点検出方法を提供することを目的とする。

前記目的を達成するために請求項１に記載のシーン切り替え点検出装置は、一定周期ごとに挿入されるフレーム内予測符号化された基準フレームと、マクロブロック毎に異なるフレームを参照してフレーム間予測符号化された差分フレームとを含む圧縮符号化された動画ストリームを解析して、前記動画のシーン切り替え点を検出するシーン切り替え点検出装置において、前記動画ストリームから差分フレームを抽出する手段と、前記抽出された差分フレームからマクロブロックを抽出する手段と、前記抽出されたマクロブロックのフレーム間予測の参照フレームを検出する手段と、前記参照フレームが前記抽出された差分フレームに対して過去のフレームであるか未来のフレームであるかを判断する手段と、前記参照フレームが前記抽出された差分フレームに対して未来のフレームであると判断されたマクロブロックが、前記抽出された差分フレームに占める割合を算出する算出手段とを備え、前記割合が所定値以上の場合に、前記抽出された差分フレームをシーン切り替え点として検出することを特徴とする。

これにより、動画ストリームを復号せずに、高速にシーン切り替え点を検出することができる。

請求項２に示すように請求項１に記載のシーン切り替え点検出装置において、前記動画ストリームから差分フレームを抽出する手段は、１つのマクロブロックにつき参照フレームが１つ存在する差分フレームを抽出することを特徴とする。

これにより、Ｐフレームからシーン切り替え点を検出することができる。

請求項３に示すように請求項１又は２に記載のシーン切り替え点検出装置において、前記動画ストリームから差分フレームを抽出する手段は、１つのマクロブロックにつき参照フレームが２つ存在する差分フレームを抽出し、前記算出手段は、前記２つの参照フレームが共に前記抽出された差分フレームに対して未来のフレームであると判断されたマクロブロックが、前記抽出された差分フレームに占める割合を算出することを特徴とする。

これにより、Ｂフレームからシーン切り替え点を検出することができる。

請求項４に示すように請求項１から３に記載のシーン切り替え点検出装置において、前記動画ストリームから差分フレームを抽出する手段は、フレーム内予測符合化されたマクロブロックと、１つのマクロブロックにつき参照フレームが１つ存在するマクロブロックと、１つのマクロブロックにつき参照フレームが２つ存在するマクロブロックと、が混在する差分フレームを抽出し、前記算出手段は、前記１つのマクロブロックにつき参照フレームが１つ存在するマクロブロックにおいて前記参照フレームが前記抽出された差分フレームに対して未来のフレームであると判断されたマクロブロック、及び前記１つのマクロブロックにつき参照フレームが２つ存在するマクロブロックにおいて前記２つの参照フレームが共に前記抽出された差分フレームに対して未来のフレームであると判断されたマクロブロックが、前記差分フレームに占める割合を算出することを特徴とする。

これにより、Ｉ・Ｐ・Ｂスライス混在フレームからシーン切り替え点を検出することができる。

前記目的を達成するために請求項５に記載のシーン切り替え点検出装置は、一定周期ごとに挿入されるフレーム内予測符号化された基準フレームと、マクロブロック毎に異なるフレームを参照してフレーム間予測符号化された差分フレームとを含む圧縮符号化された動画ストリームを解析して、前記動画のシーン切り替え点を検出するシーン切り替え点検出装置において、前記動画ストリームからフレーム内予測を行ったマクロブロックと、１つの参照フレームからフレーム間予測を行ったマクロブロックと、２つの参照フレームからフレーム間予測を行ったマクロブロックと、が混在する差分フレームを抽出する手段と、前記抽出された差分フレームからマクロブロックを抽出する手段と、前記抽出されたマクロブロックの種別を検出する手段と、フレーム内予測を行ったマクロブロック、及び２つの参照フレームからフレーム間予測を行ったマクロブロックが前記抽出された差分フレームに占める割合を算出する算出手段とを備え、前記割合が所定値以上の場合に、前記抽出された差分フレームをシーン切り替え点として検出することを特徴とする。

前記目的を達成するために請求項６に記載のシーン切り替え点検出装置は、一定周期ごとに挿入されるフレーム内予測符号化された基準フレームと、マクロブロック毎に異なるフレームを参照してフレーム間予測符号化された差分フレームとを含む圧縮符号化された動画ストリームを解析して、前記動画のシーン切り替え点を検出するシーン切り替え点検出装置において、前記動画ストリームからフレーム内予測を行ったマクロブロックと、１つの参照フレームからフレーム間予測を行ったマクロブロックと、２つの参照フレームからフレーム間予測を行ったマクロブロックと、が混在する差分フレームを抽出する手段と、前記抽出された差分フレームからフレーム内予測を行ったマクロブロックを抽出する手段と、前記フレーム内予測を行ったマクロブロックが、前記抽出された差分フレームに占める割合を算出する算出手段とを備え、前記割合が所定値以上の場合に、前記抽出された差分フレームをシーン切り替え点として検出することを特徴とする。

前記目的を達成するために請求項７に記載のシーン切り替え点検出装置は、一定周期ごとに挿入されるフレーム内予測符号化された基準フレームと、マクロブロック毎に異なるフレームを参照してフレーム間予測符号化された差分フレームとを含む圧縮符号化された動画ストリームを解析して、前記動画のシーン切り替え点を検出するシーン切り替え点検出装置において、前記動画ストリームからフレームを抽出する手段と、前記抽出されたフレームが基準フレームである場合に、該基準フレームの動画内の位置を記憶する手段と、前記抽出されたフレームが差分フレームである場合に、該差分フレームがシーン切り替え点であるか否かを検出するシーン切り替え点検出手段と、シーン切り替え点を検出した場合に、前記記憶した基準フレームの動画内の位置に基づいて、前記シーン切り替え点である差分フレームの画像を復号する手段と、前記復号された差分フレームの画像データを記憶する記憶手段とを備えたことを特徴とする。

これにより、検出したシーン切り替え点の復号を高速化することができる。

請求項８に示すように請求項１から６に記載のシーン切り替え点検出装置において、前記動画ストリームから前記動画の基準フレームを抽出する手段と、前記基準フレームの動画内の位置を記憶する手段と、前記記憶した基準フレームの動画内の位置に基づいて、前記検出されたシーン切り替え点である差分フレームを復号することを特徴とする。

請求項９に示すように請求項８に記載のシーン切り替え点検出装置において、撮像レンズを介して受光した被写体像を動画データに変換する撮像手段と、前記動画データを符号化して動画ストリームを作成する符号化手段とを備えたことを特徴とする。

これにより、撮像した動画のシーン切り替え点検出をおこなうことができる。

前記目的を達成するために請求項１０に記載のシーン切り替え点検出装置は、記録媒体に記録された動画ストリームの再生を指示する再生指示手段と、前記再生指示に従って前記動画ストリームを復号して再生する手段と、前記再生された動画の表示を行う表示手段と、前記動画ストリームからシーン切り替え点を検出する手段と、前記シーン切り替え点の画像を復号する手段と、前記復号されたシーン切り替え点の画像を前記表示手段に表示する手段と、前記シーン切り替え点の画像の表示時間を計時する計時手段と、前記再生指示手段による指示があるまで、前記表示手段に前記動画のシーン切り替え点の画像を表示させ、前記計時手段の計時終了時に、異なるシーン切り替え点の画像に切り替えて表示させる制御手段とを備えたことを特徴とする。

これにより、ユーザが動画の内容を知ることが可能となり、所望の動画の選択が容易になる。

請求項１１に示すように請求項１０に記載のシーン切り替え点検出装置において、前記再生指示手段は複数の前記動画ストリームの中から再生する動画ストリームを選択する手段を備え、前記制御手段は、前記表示手段に前記記録媒体に記録された複数の動画ストリームのシーン切り替え点の画像を一覧表示させることを特徴とする。

これにより、ユーザが同時に複数の動画の内容を知ることが可能となり、所望の動画の選択が容易になる。

前記目的を達成するために請求項１２に記載のシーン切り替え点検出装置は、記録媒体に記録された動画ストリームの再生を指示する再生指示手段と、前記再生指示に従って前記動画ストリームを復号して再生する手段と、前記再生された動画の表示を行う表示手段と、前記動画ストリームからシーン切り替え点を検出する手段と、前記シーン切り替え点の画像を復号する手段と、前記再生指示手段による指示があるまで、複数の前記復号されたシーン切り替え点の画像を前記表示手段に一覧表示させる手段とを備え、前記再生指示手段は複数の前記復号されたシーン切り替え点の画像の中から１つのシーン切り替え点の画像を選択する手段を備え、前記動画ストリームを復号して再生する手段は、再生指示があると前記選択されたシーン切り替え点から前記動画ストリームを復号して再生することを特徴とする。

これにより、ユーザが動画の内容を知ることが可能となり、所望のシーン切り替え点から再生を行うことができる。

前記目的を達成するために請求項１３に記載のシーン切り替え点検出装置は、記録媒体に記録された動画ストリームを復号して再生する手段と、前記再生された動画の表示を行う表示手段と、前記動画ストリームからシーン切り替え点を検出する手段とを備え、前記再生された動画において前記シーン切り替え点に到達したときに、動画の表示と共に前記シーン切り替え点であることを表示することを特徴とする。

これにより、動画再生中にシーン切り替え点が検出されたことをユーザが知ることができる。

前記目的を達成するために請求項１４に記載のシーン切り替え点検出装置は、撮像レンズを介して受光した被写体像を動画データに変換する撮像手段と、前記動画データに基づいて前記被写体像をスルー画像として表示する表示手段と、前記動画データを符号化して動画ストリームを作成する符号化手段と、前記動画ストリームからシーン切り替え点を検出する手段とを備え、前記スルー画像と共に前記シーン切り替え点であることを表示することを特徴とする。

これにより、動画撮影中にシーン切り替え点が検出されたことをユーザが知ることができる。

前記目的を達成するために請求項１５に記載のシーン切り替え点検出方法は、一定周期ごとに挿入されるフレーム内予測符号化された基準フレームと、マクロブロック毎に異なるフレームを参照してフレーム間予測符号化された差分フレームとを含む圧縮符号化された動画ストリームを解析して、前記動画のシーン切り替え点を検出するシーン切り替え点検出方法において、前記動画ストリームから差分フレームを抽出する工程と、前記抽出された差分フレームからマクロブロックを抽出する工程と、前記抽出されたマクロブロックのフレーム間予測の参照フレームを検出する工程と、前記参照フレームが前記抽出された差分フレームに対して過去のフレームであるか未来のフレームであるかを判断する工程と、前記参照フレームが前記抽出された差分フレームに対して未来のフレームであると判断されたマクロブロックが、前記抽出された差分フレームに占める割合を算出する算出工程とを備え、前記割合が所定値以上の場合に、前記抽出された差分フレームをシーン切り替え点として検出することを特徴とする。

前記目的を達成するために請求項１６に記載のシーン切り替え点検出方法は、一定周期ごとに挿入されるフレーム内予測符号化された基準フレームと、マクロブロック毎に異なるフレームを参照してフレーム間予測符号化された差分フレームとを含む圧縮符号化された動画ストリームを解析して、前記動画のシーン切り替え点を検出するシーン切り替え点検出方法において、前記動画ストリームからフレーム内予測を行ったマクロブロックと、１つの参照フレームからフレーム間予測を行ったマクロブロックと、２つの参照フレームからフレーム間予測を行ったマクロブロックと、が混在する差分フレームを抽出する工程と、前記抽出された差分フレームからマクロブロックを抽出する工程と、前記抽出されたマクロブロックの種別を検出する工程と、フレーム内予測を行ったマクロブロック、及び２つの参照フレームからフレーム間予測を行ったマクロブロックが前記抽出された差分フレームに占める割合を算出する算出工程とを備え、前記割合が所定値以上の場合に、前記抽出された差分フレームをシーン切り替え点として検出することを特徴とする。

前記目的を達成するために請求項１７に記載のシーン切り替え点検出方法は、一定周期ごとに挿入されるフレーム内予測符号化された基準フレームと、マクロブロック毎に異なるフレームを参照してフレーム間予測符号化された差分フレームとを含む圧縮符号化された動画ストリームを解析して、前記動画のシーン切り替え点を検出するシーン切り替え点検出方法において、前記動画ストリームからフレーム内予測を行ったマクロブロックと、１つの参照フレームからフレーム間予測を行ったマクロブロックと、２つの参照フレームからフレーム間予測を行ったマクロブロックと、が混在する差分フレームを抽出する工程と、前記抽出された差分フレームからフレーム内予測を行ったマクロブロックを抽出する工程と、前記フレーム内予測を行ったマクロブロックが、前記抽出された差分フレームに占める割合を算出する算出工程とを備え、前記割合が所定値以上の場合に、前記抽出された差分フレームをシーン切り替え点として検出することを特徴とする。

前記目的を達成するために請求項１８に記載のシーン切り替え点検出方法は、一定周期ごとに挿入されるフレーム内予測符号化された基準フレームと、マクロブロック毎に異なるフレームを参照してフレーム間予測符号化された差分フレームとを含む圧縮符号化された動画ストリームを解析して、前記動画のシーン切り替え点を検出するシーン切り替え点検出方法において、前記動画ストリームからフレームを抽出する工程と、前記抽出されたフレームが基準フレームである場合に、該基準フレームの動画内の位置を記憶する工程と、前記抽出されたフレームが差分フレームである場合に、該差分フレームがシーン切り替え点であるか否かを検出するシーン切り替え点検出工程と、シーン切り替え点を検出した場合に、前記記憶した基準フレームの動画内の位置に基づいて、前記シーン切り替え点である差分フレームの画像を復号する工程と、前記復号された差分フレームの画像データを記憶する記憶工程とを備えたことを特徴とする。

本発明によれば、復号せずにＨ．２６４／ＡＶＣ動画ストリームを解析し、シーン切り替え点を抽出するシーン切り替え点検出装置及びシーン切り替え点検出方法を提供することができる。

以下、添付図面に従って本発明を実施するための最良の形態について説明する。

＜第１の実施の形態＞
図１は、本発明が適用されたデジタルカメラ１の斜視図である。デジタルカメラ１は、本体前面に撮影レンズ１０が組み込まれたレンズ銅鏡１１２が設けられており、本体１１１上面にはレリーズボタン１１３及び電源スイッチ１１４が設けられている。背面には、ＬＣＤパネル１１５、ファインダ接眼窓１１６、汎用キー１１７、動作モード切り替えスイッチ１１８、メニューボタン１１９、キャンセルボタン１２１、ディスプレイボタン１２２、及びファンクションボタン１２３が設けられている。

動作モード切り替えスイッチ１１８は、静止画や動画を撮像し、記録媒体２９に記録する撮影モードと、記録媒体２９に記録された静止画や動画を再生し、ＬＣＤパネル１１５に再生表示する再生モードとを切り替える。ＬＣＤパネル１１５は、画像再生に使用される他、撮影モードのときには、フレーミング用のスルー画を表示する電子ビューファインダとしても機能する。また、ＬＣＤパネル１１５は、各種の設定をするための設定画面を表示する。メニューボタン１１９を押下すると、ＬＣＤパネル１１５に設定画面が表示され、撮影モードあるいは再生モードからセットアップモードへ移行する。この設定画面では、露出値、色合い、ＩＳＯ感度、記録画素数などの画質調整に関する項目や、セルフタイマの設定、測光方式の切り替え、デジタルズームを使用するか否か等の画質調整以外の項目など、デジタルカメラ１が持つ全ての調整項目の設定が行われる。デジタルカメラ１は、この設定画面で設定された条件に応じて動作する。メニューボタン１１９は、選択した項目や処理を確定したり実行するための確定／実行ボタンとしても機能する。

汎用キー１１７は、再生する画像を選択したり、設定画面内の項目を選択するためのカーソルを移動するカーソルシフトキーとして機能する。汎用キー１１７は、カーソルを左右方向に移動させる左シフトキー１１７ａ及び右シフトキー１１７ｃ、上下方向に移動させる上下シフトキー１１７ｂとからなる。左右の各シフトキー１１７ａ、１１７ｃは押しボタン式であり、上下シフトキー１１７ｂは、水平方向の軸を中心に上下方向に揺動自在に設けられている。また、上下シフトキー１１７ｂは、撮影モードで動作している場合には、ズームボタンとして機能する。

キャンセルボタン１２１は、選択した項目や操作をキャンセルする。ディスプレイボタン１２２は、ＬＣＤパネル１１５をオン／オフするボタンである。

図２は、デジタルカメラ１の第１の実施の形態の電気的構成を示すブロック図である。同図に示すように、本実施の形態のデジタルカメラ１は、撮影レンズ１０、固体撮像素子１１、この両者の間に設けられた絞り１２、赤外線カットフィルタ１３、及び光学ローパスフィルタ１４を備えている。デジタルカメラ１の全体を制御するＣＰＵ１５は、フラッシュ用の発光部１６及び受光部１７を制御し、またレンズ駆動部１８を制御して撮影レンズ１０の位置をフォーカス位置に調整し、絞り駆動部１９を介して絞り１２の開口量を制御して露光量が適正露光量となるように調整する。

また、ＣＰＵ１５は、撮像素子駆動部２０を介して固体撮像素子１１を駆動し、撮影レンズ１０を通して撮像した被写体画像を色信号として出力される。また、ＣＰＵ１５には、前述のレリーズボタン１１３、電源スイッチ１１４、汎用キー１１７等からなる操作部２１を通してユーザの指示信号が入力され、ＣＰＵ１５はこの指示に従って各種制御を行う。固体撮像素子１１は、ハニカム画素配置のＣＣＤやベイヤー方式のＣＣＤ、あるいはＣＭＯＳセンサである。

デジタルカメラ１の電気制御系は、固体撮像素子１１の出力に接続されたアナログ信号処理部２２と、このアナログ信号処理部２２から出力されたＲＧＢの色信号をデジタル信号に変換するＡ／Ｄ変換器２３とを備え、これらはＣＰＵ１５によって制御される。このデジタルカメラ１の電気制御系はさらに、メインメモリ２４に接続されたメモリ制御部２５と、デジタル信号処理部２６と、撮像画像をＪＰＥＧ画像に圧縮したり圧縮画像を伸張したりする圧縮伸張処理部２７と、固体撮像素子１１から出力されデジタルデータに変換された画像データをＲ、Ｇ、Ｂ毎に積算し各積算値をデジタル信号処理部２６に出力する積算部２８と、着脱自在の記録媒体２９が接続される外部メモリ制御部３０と、カメラ背面に設けられたＬＣＤパネル１１５が接続される表示制御部３２と、動画のシーン切り替え点検出を可能とするシーン切り替え点検出モジュール３５と、撮影した動画のデータを記録媒体２９に記録するにあたって所定のフォーマットに圧縮処理する動画圧縮処理部３６と、圧縮処理され記録媒体２９に記録された動画データを伸張処理してＬＣＤパネル１１５に再生するための動画伸張処理部３７とを備え、これらは、制御バス３３及びデータバス３４によって相互に接続され、ＣＰＵ１５からの指令によって制御される。

次に、デジタル信号処理部２６について説明する。このデジタル信号処理部２６は、ハードウェア回路で構成しても、ソフトウェアにて構成することも可能である。図３に示すように、デジタル信号処理部２６は、積算部２８の出力データを取り込んでホワイトバランスゲイン調整用のゲイン値を算出するホワイトバランスゲイン算出回路４０と、Ａ／Ｄ変換回路２３から出力されるＲ、Ｇ、Ｂの各色の画像信号を取り込んでオフセット処理を行うオフセット補正回路４１と、オフセット補正回路４１の出力信号を取り込んでホワイトバランス調整をゲイン算出回路４０で算出されたゲイン値を用いて行うゲイン補正回路４２と、ゲイン補正回路４２から出力される信号に対して所定のγ値を用いガンマ補正を行うガンマ補正回路４３とを備えている。デジタル信号処理部２６は更に、ガンマ補正回路４３から出力されるＲＧＢの色信号を補間演算して各画素位置におけるＲＧＢ３色の信号を求めるＲＧＢ補間演算部４４と、ＲＧＢ補間演算後のＲＧＢ信号から輝度信号Ｙと色差信号Ｃｒ、Ｃｂとを求めるＲＧＢ／ＹＣ変換回路４５と、輝度信号Ｙと色差信号Ｃｒ、Ｃｂからノイズを低減するノイズフィルタ４６と、ノイズ低減後の輝度信号Ｙに対して輪郭補正を行う輪郭補正回路４７と、ノイズ低減後の色差信号Ｃｒ、Ｃｂに対して色差マトリクス（Ｃ−ＭＴＸ）を乗算して色調補正を行う色差マトリクス回路４８と、積算部２８から出力される積算値を取り込んで光源種別を判定し、色差マトリクス回路４８に色差マトリクス選択信号を出力する光源種別判定回路４９とを備えている。

ＲＧＢ補間演算部４４は、固体撮像素子１１が３板色の撮像素子であれば不要であるが、本実施の形態で使用する固体撮像素子１１は単板式の固体撮像素子であり、各画素からは、Ｒ、Ｇ、Ｂのうちの一色の信号しか出力されないため、出力しない色、即ち、Ｒを出力する画素では、この画素位置においてＧ、Ｂの色信号がどの程度になるかを、周りの画素のＧ、Ｂ信号から補間演算により求めるものである。

光源種別判定回路４９は、固体撮像素子１１で撮像した一画面を例えば８×８＝６４の領域に分割し、各分割領域における信号電荷のΣＲ、ΣＧ、ΣＢの値を積算値から求め、ΣＲ／ΣＧのデータとΣＢ／ΣＧのデータの組を求め、これら６４組のデータをＲ／Ｇ軸とＢ／Ｇ軸で張る二次元空間にプロットし、その分布の形状から撮影光源種を検出する。色差マトリクス回路４８には、光源対応の色差マトリクスが複数種類設けられており、光源種別判定回路４９が求めた光源種別に応じて使用する色差マトリクスを切り替え、この切り替え後の色差マトリクス（Ｃ−ＭＴＸ）を、入力してくる色差信号Ｃｒ、Ｃｂに乗算し、色調補正された色差信号Ｃｒ’、Ｃｂ’を出力する。

以上のように、デジタル信号処理部２６は、点順次に取り込んだＲ、Ｇ、Ｂの画像信号に所定の信号処理を施して、輝度信号Ｙと色差信号Ｃｒ、Ｃｂとからなる画像信号（Ｙ／Ｃ信号）を生成する。

デジタル信号処理部２６や、アナログ信号処理部２２、Ａ／Ｄ変換回路２３等は、これをそれぞれ別回路としてデジタルカメラ１に搭載することもできるが、これらを固体撮像素子１１と同一半導体基板上にＬＳＩ製造技術を用いて製造し、１つの固体撮像装置とするのがよい。

次に、Ｈ．２６４／ＡＶＣストリームからシーン切り替え点を検出する処理について説明する。図４は、この処理を示すフローチャートである。

シーン切り替え点検出モジュール３５は、記録媒体２９からＨ．２６４／ＡＶＣ動画ストリーム（バイナリデータ）を取得し、解析を開始する（ステップＳ４０１）。まず、動画ストリームからＰフレームを検出する（ステップＳ４０２）。Ｈ．２６４／ＡＶＣのフレームには、予測フレームの基準となる画面内符号化を行って得られるＩフレーム、各マクロブロックにつき１つの参照フレームからフレーム間予測を行って得られるＰフレーム、各マクロブロックにつき２つの参照フレームからフレーム間予測を行って得られるＢフレーム、及び後述するＩ・Ｐ・Ｂスライス混在フレームが存在し、ここではＰフレームを検出する。

次に、変数Ａを０にリセットする（ステップＳ４０３）。この検出したＰフレームから、マクロブロックを検出し（ステップＳ４０４）、検出したマクロブロックの参照ピクチャ（Ｌ０）を検出する（ステップＳ４０５）。

そして、この検出した参照ピクチャ（Ｌ０）が、未来のフレームを参照しているか否かを判定する（ステップＳ４０６）。未来のフレームを参照していない場合は、この処理を行っているマクロブロックが現Ｐフレームにおける最後のマクロブロックであるか否かを判定する（ステップＳ４１０）。最後のマクロブロックでない場合は、ステップＳ４０４に戻り、処理を継続する。

検出した参照ピクチャ（Ｌ０）が未来のフレームを参照している場合には、変数Ａをインクリメントし（ステップＳ４０７）、変数Ａが閾値Ｔを超えたか否かを判定する（ステップＳ４０８）。ここでは、閾値Ｔは現Ｐフレームのマクロブロックの総数に対して８０％の値とするが、適宜決めればよい。変数Ａが閾値Ｔを超えた場合、即ち、未来のフレームを参照しているマクロブロックが８０％より多く存在する場合は、現Ｐフレームをシーン切り替え点として検出する（ステップＳ４０９）。

変数Ａが閾値Ｔを超えていない場合は、この処理を行っているマクロブロックが現Ｐフレーム内における最後のマクロブロックであるか否かを判定する（ステップＳ４１０）。最後のマクロブロックでない場合は、ステップＳ４０４に戻り、次のマクロブロックを検出し、処理を継続する。

ステップＳ４０９において、現Ｐフレームをシーン切り替え点として検出した場合、及びステップＳ４１０において、最後のマクロブロックであると判断された場合には、ストリームの解析が終了したか否かを判定する（ステップＳ４１１）。終了していない場合は、ステップＳ４０２に戻り、次のＰフレームを検出し、同様の処理を行う。ストリームの解析が終了した場合は、シーン切り替え点検出処理を終了する。

このように、各マクロブロックの参照ピクチャ（Ｌ０）の情報を利用することにより、Ｐフレームからシーン切り替え点を検出することが可能となる。

＜第２の実施の形態＞
第２の実施の形態のデジタルカメラ１について説明する。第２の実施の形態のデジタルカメラ１は、Ｂフレームの参照ピクチャからシーン切り替え点を検出する。図５は、第２の実施の形態のデジタルカメラ１のシーン切り替え点検出処理について示したフローチャートである。

第１の実施の形態と同様に、シーン切り替え点検出モジュール３５は、記録媒体２９から動画ストリームを取得し、解析を開始する（ステップＳ５０１）。まず、動画ストリームからＢフレームを検出する（ステップＳ５０２）。Ｈ．２６４／ＡＶＣにおけるＢフレームにおいては、各マクロブロックにつき２つの参照ピクチャが存在する。

次に、変数Ａを０にリセットし（ステップＳ５０３）、この検出したＢフレームからマクロブロックを検出し（ステップＳ５０４）、さらに、検出したマクロブロックの２つの参照ピクチャ（Ｌ０、Ｌ１）を検出する（ステップＳ５０５）。

そして、この２つの参照ピクチャ（Ｌ０、Ｌ１）が共に未来のフレームを参照しているか否かを判定する（ステップＳ５０６）。どちらか一方でも過去のフレームを参照している場合は、この処理を行っているマクロブロックが現Ｂフレームにおける最後のマクロブロックであるか否かを判定する（ステップＳ５１０）。最後のマクロブロックでない場合は、ステップＳ５０４に戻り、次のマクロブロックを検出し、処理を継続する。

参照ピクチャ（Ｌ０、Ｌ１）が共に未来のフレームを参照している場合には、変数Ａをインクリメントし（ステップＳ５０７）、変数Ａが閾値Ｔを超えたか否かを判定する（ステップＳ５０８）。ここでは、閾値Ｔは現Ｂフレームのマクロブロックの総数に対して８０％の値とするが、適宜決めればよい。変数Ａが閾値Ｔを超えた場合、即ち、２つの参照ピクチャが共に未来のフレームを参照しているマクロブロックが８０％より多く存在する場合は、現Ｂフレームをシーン切り替え点として検出する（ステップＳ５０９）。

変数Ａが閾値Ｔを超えていない場合は、処理を行っているマクロブロックが現Ｂフレーム内における最後のマクロブロックであるか否かを判定する（ステップＳ５１０）。最後のマクロブロックでない場合は、ステップＳ５０４に戻り、次のマクロブロックを検出し、処理を継続する。

ステップＳ５０９において、現Ｂフレームをシーン切り替え点として検出した場合、及びステップＳ５１０において、最後のマクロブロックであると判断された場合には、ストリームの解析が終了したか否かを判定する（ステップＳ５１１）。終了していない場合は、ステップＳ５０２に戻り、次のＢフレームを検出し、同様の処理を行う。ストリームの解析が終了した場合は、シーン切り替え点検出処理を終了する。

このように、各マクロブロックの２つの参照ピクチャ（Ｌ０、Ｌ１）の情報を利用してＢフレームからシーン切り替え点を検出することが可能となる。

＜第３の実施の形態＞
第３の実施の形態のデジタルカメラ１について説明する。第３の実施の形態のデジタルカメラ１は、Ｉ・Ｐ・Ｂスライス混在フレームのマクロブロックの参照ピクチャからシーン切り替え点を検出する。図６は、第３の実施の形態のデジタルカメラ１のシーン切り替え点検出処理について示したフローチャートである。

これまでと同様に、シーン切り替え点検出モジュール３５は、記録媒体２９から動画ストリームを取得し、解析を開始する（ステップＳ６０１）。まず、動画ストリームからＩ・Ｐ・Ｂスライス混在フレームを検出する（ステップＳ６０２）。Ｈ．２６４／ＡＶＣにおけるＩ・Ｐ・Ｂスライス混在フレームは、図７に示すように、独立して符号化されたＩスライスと、１つの参照ピクチャから符号化されたＰスライスと、２つの参照ピクチャから符号化されたＢスライスから構成されている。なお、スライスとは、マクロブロックの帯である。

次に、変数Ａを０にリセットし（ステップＳ６０３）、この検出したＩ・Ｐ・Ｂスライス混在フレームから、マクロブロックを検出する（ステップＳ６０４）。この検出したマクロブロックが、Ｉスライス中のマクロブロックか否かを判定する（ステップＳ６０５）。Ｉスライス中のマクロブロックである場合は、ステップＳ６０４に戻り、次のマクロブロックを検出して、同様の処理を行う。Ｉスライス中のマクロブロックでない場合は、次にＰスライス中のマクロブロックであるか否かを判定する（ステップＳ６０６）。Ｐスライス中のマクロブロックである場合には、このマクロブロックの参照ピクチャ（Ｌ０）を検出し（ステップＳ６０７）、この参照ピクチャ（Ｌ０）が未来のフレームを参照しているか否かを判定する（ステップＳ６０８）。

ステップＳ６０６において、Ｐスライス中のマクロブロックでないと判断した場合は、このマクロブロックはＢスライス中のマクロブロックであるので、２つの参照ピクチャ（Ｌ０、Ｌ１）を検出し（ステップＳ６１０）、この２つの参照ピクチャ（Ｌ０、Ｌ１）が共に未来のフレームを参照しているか否かを判定する（ステップＳ６１１）。

ステップＳ６０７において参照ピクチャ（Ｌ０）が未来のフレームを参照している場合、及びステップＳ６１１において２つの参照ピクチャ（Ｌ０、Ｌ１）が共に未来のフレームを参照している場合は、変数Ａをインクリメントし（ステップＳ６０９）、変数Ａが閾値Ｔを超えたか否かを判定する（ステップＳ６１２）。これまでと同様に、閾値Ｔは、現Ｉ・Ｐ・Ｂスライス混在フレームのマクロブロックの総数に対して８０％の値となっているが、この閾値Ｔは、適宜決めればよい。また、Ｉスライスを除き、Ｐスライス及びＢスライスにおけるマクロブロックの総数に対して、閾値Ｔを決めてよい。変数Ａが閾値Ｔを超えている場合は、現Ｉ・Ｐ・Ｂスライス混在フレームをシーン切り替え点として検出する（ステップＳ６１３）。

変数Ａが閾値Ｔを超えていない場合は、処理を行っているマクロブロックが現Ｉ・Ｐ・Ｂスライス混在フレーム内における最後のマクロブロックであるか否かを判定する（ステップＳ６１４）。最後のマクロブロックでない場合は、ステップＳ６０４に戻り、次のマクロブロックを検出し、同様の処理を行う。

ステップＳ６１３において、現Ｉ・Ｐ・Ｂスライス混在フレームをシーン切り替え点として検出した場合、及びステップＳ６１４において、最後のマクロブロックであると判断された場合には、ストリームの解析が終了したか否かを判定する（ステップＳ６１５）。終了していない場合は、ステップＳ６０２に戻り、次のＩ・Ｐ・Ｂスライス混在フレームを検出し、同様の処理を行う。ストリームの解析が終了した場合は、シーン切り替え点検出処理を終了する。

このように、Ｐスライス中のマクロブロックの参照ピクチャ（Ｌ０）、及びＢスライス中のマクロブロックの２つの参照ピクチャ（Ｌ０、Ｌ１）の情報を利用して、Ｉ・Ｐ・Ｂスライス混在フレームからシーン切り替え点を検出することが可能となる。

＜第４の実施の形態＞
第４の実施の形態のデジタルカメラ１について説明する。第４の実施の形態のデジタルカメラ１は、Ｉ・Ｐ・Ｂスライス混在フレームのマクロブロックのタイプからシーン切り替え点を検出する。図８は、第４の実施の形態のデジタルカメラ１のシーン切り替え点検出処理について示したフローチャートである。

これまでと同様に、シーン切り替え点検出モジュール３５は、記録媒体２９から動画ストリームを取得し、解析を開始する（ステップＳ８０１）。まず、動画ストリームからＩ・Ｐ・Ｂスライス混在フレームを検出する（ステップＳ８０２）。

次に、変数Ａを０にリセットし（ステップＳ８０３）、この検出したＩ・Ｐ・Ｂスライス混在フレームから、マクロブロックを検出し（ステップＳ８０４）、さらにこの検出したマクロブロックのタイプを判別する（ステップＳ８０５）。そして、マクロブロックのタイプが画面内符号化マクロブロックであるか、又は逆方向予測ブロックであるか否かを判定する（ステップＳ８０６）。画面内符号化マクロブロック又は逆方向予測ブロックである場合には、変数Ａをインクリメントし（ステップＳ８０７）、変数Ａが閾値Ｔを超えたか否かを判定する（ステップＳ８０８）。これまでと同様に、閾値Ｔは、現Ｉ・Ｐ・Ｂスライス混在フレームのマクロブロックの総数の８０％としているが、適宜決めればよい。

変数Ａが閾値Ｔを超えている場合は、現Ｉ・Ｐ・Ｂスライス混在フレームをシーン切り替え点として検出する（ステップＳ８０９）。変数Ａが閾値Ｔを超えていない場合は、この処理を行っているマクロブロックが現Ｉ・Ｐ・Ｂスライス混在フレーム内における最後のマクロブロックであるか否かを判定する（ステップＳ８１０）。最後のマクロブロックでない場合は、ステップＳ８０４に戻り、次のマクロブロックを検出し、処理を継続する。

ステップＳ８０９において、現Ｉ・Ｐ・Ｂスライス混在フレームをシーン切り替え点として検出した場合、及びステップＳ８１０において、最後のマクロブロックであると判断された場合には、ストリームの解析が終了したか否かを判定する（ステップＳ８１１）。終了していない場合は、ステップＳ８０２に戻り、次のＩ・Ｐ・Ｂスライス混在フレームを検出し、同様の処理を行う。ストリームの解析が終了した場合は、シーン切り替え点検出処理を終了する。

このように、Ｉ・Ｐ・Ｂスライス混在フレームにおいて、マクロブロックのタイプを判別することにより、シーン切り替え点を検出することが可能となる。

＜第５の実施の形態＞
第５の実施の形態のデジタルカメラ１について説明する。第５の実施の形態のデジタルカメラ１は、Ｉ・Ｐ・Ｂスライス混在フレームにおいて、Ｉスライスが占める割合からシーン切り替え点を検出する。図９は、第５の実施の形態のデジタルカメラ１のシーン切り替え点検出処理について示したフローチャートである。

これまでと同様に、シーン切り替え点検出モジュール３５は、記録媒体２９から動画ストリームを取得し、解析を開始する（ステップＳ９０１）。まず、動画ストリームからＩ・Ｐ・Ｂスライス混在フレームを検出する（ステップＳ９０２）。

次に、検出したＩ・Ｐ・Ｂスライス混在フレームから、Ｉスライスを検出し（ステップＳ９０３）、現フレーム内におけるＩスライスが占める割合を算出する（ステップＳ９０４）。そして、算出したＩスライスが占める割合が所定の閾値Ｔより多いか否かを判定する（ステップＳ９０５）。これまでと同様に、閾値Ｔは、現Ｉ・Ｐ・Ｂスライス混在フレームの８０％としているが、適宜決めればよい。Ｉスライスが占める割合が所定の閾値Ｔより多い場合は、現Ｉ・Ｐ・Ｂスライス混在フレームをシーン切り替え点として検出する（ステップＳ９０６）。

次に、ストリームの解析が終了したか否かを判定する（ステップＳ９０７）。終了していない場合は、ステップＳ９０２に戻り、次のＩ・Ｐ・Ｂスライス混在フレームを検出し、同様の処理を行う。ストリームの解析が終了した場合は、シーン切り替え点検出処理を終了する。

このように、Ｉ・Ｐ・Ｂスライス混在フレームにおいて、フレーム内におけるＩスライスが占める割合から、シーン切り替え点を検出することが可能となる。

＜第６の実施の形態＞
第６の実施の形態のデジタルカメラ１について説明する。第６の実施の形態のデジタルカメラ１は、シーン切り替え点のフレームについて、復号を行う。図１０は、第６の実施の形態のデジタルカメラ１のこの処理について示したフローチャートである。

これまでと同様に、シーン切り替え点検出モジュール３５は、記録媒体２９から動画ストリームを取得し、解析を開始する（ステップＳ１００１）。まず、動画ストリームからフレームを検出する（ステップＳ１００２）。

次に、検出したフレームが、Ｉフレームであるか否かを判定する（ステップＳ１００３）。検出したフレームがＩフレームである場合は、このＩフレームが格納されているアドレスを記憶する（ステップＳ１００４）。

また、検出したフレームについて、シーン切り替え点の検出処理を行い（ステップＳ１００５）、このフレームがシーン切り替え点であるか否かの検出を行う（ステップＳ１００６）。

検出したフレームがシーン切り替え点であると判断した場合は、動画伸張処理部３７は、ステップＳ１００４において記憶したアドレスを利用して、Ｉフレームからシーン切り替え点であるフレームを復号し、別ファイルとして記録する（ステップＳ１００７）。

次に、ストリームの解析が終了したか否かを判定する（ステップＳ１００８）。終了していない場合は、ステップＳ１００２に戻り、次のフレームを検出し、同様の処理を行う。ストリームの解析が終了した場合は、処理を終了する。

このように、Ｉフレームの格納されているアドレスを予め記憶しておくことにより、シーン切り替え点であるフレームを高速に復号することが可能となる。

＜第７の実施の形態＞
第７の実施の形態のデジタルカメラ１について説明する。第７の実施の形態のデジタルカメラ１は、Ｐフレーム、Ｂフレーム、及びＩ・Ｐ・Ｂ混在フレームにおいてシーン切り替え点検出処理を行うと共に、記憶したＩフレームの格納アドレスを利用してシーン切り替え点フレームの復号を行う。図１１は、第７の実施の形態のデジタルカメラ１のシーン切り替え点検出処理について示したフローチャートである。

これまでと同様に、シーン切り替え点検出モジュール３５は、記録媒体２９から動画ストリームを取得し、解析を開始する（ステップＳ１１０１）。まず、動画ストリームからフレームを検出する（ステップＳ１１０２）。

次に、検出したフレームが、Ｉフレームであるか否かを判定する（ステップＳ１１０３）。検出したフレームがＩフレームである場合は、このＩフレームが格納されているアドレスを記憶する（ステップＳ１１０４）。さらに、ストリームの解析が終了したか否かを判定し（ステップＳ１１１２）、終了していない場合は、ステップＳ１１０２に戻り、次のフレームを検出し、同様の処理を行う。ストリームの解析が終了した場合は、処理を終了する。

検出したフレームがＩフレームで無い場合は、Ｉ・Ｐ・Ｂスライス混在フレームであるか否かを判定する（ステップＳ１１０５）。Ｉ・Ｐ・Ｂスライス混在フレームである場合は、シーン切り替え点検出処理を行う（ステップＳ１１０６）。このＩ・Ｐ・Ｂスライス混在フレームにおけるシーン切り替え点検出処理は、第３〜５の実施の形態のデジタルカメラ１の検出処理と同様に行えばよく、また、他の方法を用いてもよい。

検出したフレームがＩ・Ｐ・Ｂスライス混在フレームでない場合は、Ｂフレームであるか否かの判定を行う（ステップＳ１１０９）。Ｂフレームである場合は、シーン切り替え点検出処理を行う（ステップＳ１１１０）。このＢフレームにおけるシーン切り替え点検出処理は、第２の実施の形態のデジタルカメラ１の検出処理と同様に行えばよく、また、他の方法を用いてもよい。

検出したフレームがＢフレームでない場合は、このフレームはＰフレームであり、シーン切り替え点検出処理を行う（ステップＳ１１１１）。このＰフレームにおけるシーン切り替え点検出処理は、第１の実施の形態のデジタルカメラ１の検出処理と同様に行えばよく、また、他の方法を用いてもよい。

次に、現フレームがシーン切り替え点であるか否かの判定を行う（ステップＳ１１０７）。シーン切り替え点である場合は、記憶されているＩフレームのアドレスを利用して、シーン切り替え点のフレームを復号する（ステップＳ１１０８）。

さらに、ストリームの解析が終了したか否かを判定し（ステップＳ１１１２）、終了していない場合は、ステップＳ１１０２に戻り、次のフレームを検出し、同様の処理を行う。ストリームの解析が終了した場合は、処理を終了する。

このように、フレームに応じたシーン切り替え点検出処理を行い、またＩフレームの格納されているアドレスを予め記憶しておくことにより、シーン切り替え点であるフレームを高速に復号することが可能となる。なお、本実施の形態ではＩフレームについてはシーン切り替え点検出処理を行っていないが、Ｉフレームからシーン切り替え点を検出する従来技術と組み合わせることにより、動画ストリーム中の全てのフレームをシーン切り替え点検出の対象としてもよい。

＜第８の実施の形態＞
第８の実施の形態のデジタルカメラ１について説明する。第８の実施の形態のデジタルカメラ１は、動画の符号化と同時に、Ｐフレーム、Ｂフレーム、及びＩ・Ｐ・Ｂ混在フレームにおいてシーン切り替え点検出処理を行う。図１２は、第８の実施の形態のデジタルカメラ１のシーン切り替え点検出処理について示したフローチャートである。

シーン切り替え点検出モジュール３５は、動画撮影中において、動画圧縮処理部３６から動画ストリームを取得し、解析を開始する（ステップＳ１２０１）。まず、動画ストリームからフレームの種別を検出する（ステップＳ１２０２）。

次に、検出したフレーム種別が、Ｉ・Ｐ・Ｂスライス混在フレームであるか否かを判定する（ステップＳ１２０３）。Ｉ・Ｐ・Ｂスライス混在フレームである場合は、シーン切り替え点検出処理を行う（ステップＳ１２０４）。このＩ・Ｐ・Ｂスライス混在フレームにおけるシーン切り替え点検出処理は、第３〜５の実施の形態のデジタルカメラ１の検出処理と同様に行えばよく、また、他の方法を用いてもよい。

検出したフレームがＩ・Ｐ・Ｂスライス混在フレームでない場合は、Ｂフレームであるか否かの判定を行う（ステップＳ１２０７）。Ｂフレームである場合は、シーン切り替え点検出処理を行う（ステップＳ１２０８）。このＢフレームにおけるシーン切り替え点検出処理は、第２の実施の形態のデジタルカメラ１の検出処理と同様に行えばよく、また、他の方法を用いてもよい。

検出したフレームがＢフレームでない場合は、Ｐフレームであるか否かの判定を行う（ステップＳ１２０９）。Ｐフレームである場合は、シーン切り替え点検出処理を行う（ステップＳ１２１０）。このＰフレームにおけるシーン切り替え点検出処理は、第１の実施の形態のデジタルカメラ１の検出処理と同様に行えばよく、また、他の方法を用いてもよい。また、検出したフレームがＰフレームでない場合は、ステップＳ１２１１に進む。ステップＳ１２１１については後述する。

次に、現フレームがシーン切り替え点であるか否かの判定を行う（ステップＳ１２０５）。シーン切り替え点である場合は、このフレームを復号し、記憶する（ステップＳ１２０６）。

次に、動画の符号化が終了したか否かを判定する（ステップＳ１２１１）。終了していない場合は、ステップＳ１２０２に戻り、次のフレームを検出し、同様の処理を行う。符号化が終了した場合は、処理を終了する。

このように、符号化と同時にシーン切り替え点であるフレームを復号することが可能となる。なお、本実施の形態ではＩフレームについてはシーン切り替え点検出処理を行っていないが、Ｉフレームからシーン切り替え点を検出する従来技術と組み合わせることにより、動画ストリーム中の全てのフレームをシーン切り替え点検出の対象としてもよい。

＜第９の実施の形態＞
第９の実施の形態のデジタルカメラ１について説明する。第９の実施の形態のデジタルカメラ１は、動画再生モードにおいて、ユーザがどの動画を再生させるかを選択する際に各動画のシーン切り替え点の画像を定期的に切り替えて表示を行う。図１３は、第９の実施の形態のデジタルカメラ１の動画選択時の処理について示したフローチャートである。

まず、ユーザが動作モード切り替えスイッチ１１８を操作することにより、動画再生モードへ移行する（ステップＳ１３０１）。ＣＰＵ１５は、記録媒体２９に記録されている動画ファイルを選択する（ステップＳ１３０２）。

次に、選択された動画ファイルのシーン切り替え点の検出が終了しているか否かを判定する（ステップＳ１３０３）。シーン切り替え点の検出がされていない場合は、動画ストリームからシーン切り替え点を検出する（ステップＳ１３０４）。

選択された動画ファイルのシーン切り替え点の検出が予め終了していた場合、又はステップＳ１３０４でシーン切り替え点の検出が終了した場合は、先頭シーンの画像を表示制御部３２を介してＬＣＤパネル１１５へ表示する（ステップＳ１３０５）。ここで、ステップＳ１３０２において、１つの動画ファイルが選択されている場合には、図１４（ａ）に示すようにＬＣＤパネル１１５に選択されている動画ファイル２０１の先頭シーンの表示を行う。また、ステップＳ１３０２において、例えば４つの動画ファイルが選択されている場合には、図１４（ｂ）に示すように、ＬＣＤパネル１１５に選択されている動画ファイル２０１〜２０４を同時に表示する。同時に表示する動画の数は、ユーザが設定できてもよい。

次に、一定時間待つ（ステップＳ１３０６）。この時間は、数１００ミリ秒から数秒程度であり、デジタルカメラ１に予め設定された時間でもよいし、ユーザが設定できてもよい。

一定時間が経過したら、動画再生要求があったか否かを判定する（ステップＳ１３０７）。ユーザは汎用キー１１７を用いて再生する画像を選択することができ、メニューボタン１１９を用いて選択した動画を確定することが可能である。なお、ユーザは、ＬＣＤパネル１１５に再生したい動画が表示されていない場合は、汎用キー１１７を用いることにより、別の動画の先頭シーンを表示させることが可能である。ここでは、表示している動画が選択され、確定された場合に動画再生要求と判断する。

動画再生要求がない場合は、ＬＣＤパネル１１５に表示している動画について、次のシーン切り替え点が存在するか否かを判定する（ステップＳ１３０８）。図１４（ｂ）に示すように、複数の動画のシーンを表示している場合には、それぞれの動画について判断する。

次のシーン切り替え点が存在する場合は、その切り替え点の画像を表示制御部３２を介してＬＣＤパネル１１５へ表示する（ステップＳ１３０９）。また、次のシーン切り替え点が存在しない場合には、ステップＳ１３０５へ戻り、先頭シーンの画像を表示制御部３２を介してＬＣＤパネル１１５へ表示する（ステップＳ１３０５）。表示を行ったら、一定時間待つ（ステップＳ１３０６）。

一定時間が経過したら、再び動画再生要求があったか否かを判定する（ステップＳ１３０７）。動画再生要求が無い場合は、次のシーン切り替え点が存在するか否かを判定し（ステップＳ１３０８）、次のシーン切り替え点が存在する場合は、その切り替え点の画像を表示制御部３２を介してＬＣＤパネル１１５へ表示する（ステップＳ１３０９）。

ステップＳ１３０７において動画再生要求があった場合は、選択された動画の再生処理を行う（ステップＳ１３１０）。

このように、検出したシーン切り替え点の画像を連続して切り替えて表示することにより、ユーザが動画の内容を知ることが可能となり、所望の動画の選択が容易になる。

＜第１０の実施の形態＞
第１０の実施の形態のデジタルカメラ１について説明する。第１０の実施の形態のデジタルカメラ１は、動画再生モードにおいて、選択された動画ファイルの各シーン切り替え点の画像を表示し、ユーザが任意のシーン切り替え点から再生を開始することができる。図１５は、第１０の実施の形態のデジタルカメラ１の動画選択時の処理について示したフローチャートである。

まず、ユーザが動作モード切り替えスイッチ１１８を操作することにより、動画再生モードへ移行する（ステップＳ１５０１）。ＣＰＵ１５は、記録媒体２９に記録されている動画ファイルを選択する（ステップＳ１５０２）。

次に、選択された動画ファイルのシーン切り替え点の検出が終了しているか否かを判定する（ステップＳ１５０３）。シーン切り替え点の検出がされていない場合は、動画ストリームからシーン切り替え点を検出する（ステップＳ１５０４）。

選択された動画ファイルのシーン切り替え点の検出が予め終了していた場合、又はステップＳ１５０４でシーン切り替え点の検出が終了した場合は、各シーン切り替え点の画像を表示制御部３２を介してＬＣＤパネル１１５へ一覧表示する（ステップＳ１５０５）。図１６は、９つのシーン切り替え点の画像２０５ａ〜２０５ｉがＬＣＤパネル１１５に一覧表示されたことを示す図である。一覧表示する画像の数は９つに限られるものではなく、いくつでもよい。一覧表示する画像の数よりシーン切り替え点の方が多い場合には、スクロール表示をさせてもよい。

ここで、ユーザは汎用キー１１７を用いて各シーン切り替え点の画像から任意の画像をを選択することができ、メニューボタン１１９を用いて選択した動画を確定することが可能である。ユーザは、再生を開始したいシーン切り替え点の画像を選択、確定する（ステップＳ１５０６）。

シーン切り替え点の画像が選択されると、動画伸張処理部３７は、選択された画像に対応するＩフレームを取得し（ステップＳ１５０７）、取得したＩフレームから動画再生を開始する（ステップＳ１５０８）。

このように、検出したシーン切り替え点の画像を一覧表示してユーザに見せることにより、ユーザが動画の内容を知ることが可能となり、さらにユーザの選択したシーンから高速に動画再生を始めることが可能となる。

＜第１１の実施の形態＞
第１１の実施の形態のデジタルカメラ１について説明する。第１１の実施の形態のデジタルカメラ１は、動画再生中において、どのフレームがシーン切り替え点として検出されているかの表示を行う。図１７は、第１１の実施の形態のデジタルカメラ１の動画選択時の処理について示したフローチャートである。

まず、ユーザが動作モード切り替えスイッチ１１８を操作することにより、動画再生モードへ移行する（ステップＳ１７０１）。ＣＰＵ１５は、記録媒体２９に記録されている動画ファイルを選択する（ステップＳ１７０２）。

次に、選択された動画ファイルのシーン切り替え点の検出が終了しているか否かを判定する（ステップＳ１７０３）。シーン切り替え点の検出がされていない場合は、動画ストリームからシーン切り替え点を検出する（ステップＳ１７０４）。

選択された動画ファイルのシーン切り替え点の検出が予め終了していた場合、又はステップＳ１７０４でシーン切り替え点の検出が終了した場合は、選択された動画ファイルの再生を開始する（ステップＳ１７０５）。

再生を開始したら、現在表示しているフレームがシーン切り替え点であるか否かを判定する（ステップＳ１７０６）。表示しているフレームがシーン切り替え点である場合には、現在表示している画像に、その画像がシーン切り替え点である旨の画像やアイコン、文字等を重ねて表示する（ステップＳ１７０７）。

次に、最終フレームであるか否かを判定する（ステップＳ１７０８）。最終フレームでない場合は、次のフレームが表示されるまで待つ（ステップＳ１７０９）。次のフレームが表示されたら、ステップＳ１７０６に戻り、再び現在表示しているフレームがシーン切り替え点であるか否かを判定する。最終フレームなった場合は、動画再生処理を終了する（ステップＳ１７１０）。

このように、どのフレームがシーン切り替え点として検出されているかを、動画再生中にユーザが知ることが可能となる。

シーン切り替え点である旨の画像等は、シーン切り替え点である画像が表示されている間だけでなく、シーン切り替え点から所定時間表示してもよい。

＜第１２の実施の形態＞
第１２の実施の形態のデジタルカメラ１について説明する。第１２の実施の形態のデジタルカメラ１は、第９〜１１の実施の形態のデジタルカメラ１の機能を全て含んだものである。図１８は、第１２の実施の形態のデジタルカメラ１の動画選択時の処理について示したフローチャートである。なお、図１３、図１５、及び図１７のフローチャートと共通する部分には同一の符号を付し、その詳細な説明は省略する。

まず、ユーザが動作モード切り替えスイッチ１１８を操作することにより、動画再生モードへ移行する（ステップＳ１８０１）。ＣＰＵ１５は、記録媒体２９に記録されている動画ファイルを選択する（ステップＳ１８０２）。次に、選択された動画ファイルのシーン切り替え点の検出が終了しているか否かを判定する（ステップＳ１８０３）。シーン切り替え点の検出がされていない場合は、動画ストリームからシーン切り替え点を検出する（ステップＳ１８０４）。

次に、再生する動画の選択画面の表示を、シーン切り替え点切り替え表示を行うか、一覧表示を行うかの判定を行う（ステップＳ１８０５）。ユーザは、汎用キー１１７を用いて、どちらの表示形式にするかを選択できるようになっている。また、デフォルトでどちらかが選択されており、ユーザがもう一方への出力方法へ切り替えられるようにしてもよい。

切り替え表示が選択された場合は、動画ファイルの先頭シーンの画像を表示制御部３２を介してＬＣＤパネル１１５へ表示し（ステップＳ１３０５）、一定時間待つ（ステップＳ１３０６）。一定時間が経過したら、動画再生要求があったか否かを判定する（ステップＳ１３０７）。

動画再生要求がない場合は、ＬＣＤパネル１１５に表示している動画について、次のシーン切り替え点が存在するか否かを判定する（ステップＳ１３０８）。次のシーン切り替え点が存在する場合は、その切り替え点の画像を表示制御部３２を介してＬＣＤパネル１１５へ表示する（ステップＳ１３０９）。また、次のシーン切り替え点が存在しない場合には、ステップＳ１３０５へ戻り、先頭シーンの画像を表示制御部３２を介してＬＣＤパネル１１５へ表示する（ステップＳ１３０５）。表示を行ったら、一定時間待つ（ステップＳ１３０６）。

ステップＳ１８０５において一覧表示が選択された場合は、各シーン切り替え点の画像を表示制御部３２を介してＬＣＤパネル１１５へ一覧表示する（ステップＳ１５０５）。この一覧表示を見て、ユーザは、再生を開始したいシーン切り替え点の画像を選択、確定する（ステップＳ１５０６）。シーン切り替え点の画像が選択されると、動画伸張処理部３７は、選択された画像に対応するＩフレームを取得し（ステップＳ１５０７）、取得したＩフレームから動画再生を開始する（ステップＳ１５０８）。

動画の再生が開始すると、現在表示しているフレームがシーン切り替え点であるか否かを判定する（ステップＳ１７０６）。表示しているフレームがシーン切り替え点である場合には、現在表示している画像に、その画像がシーン切り替え点である旨の画像やアイコン、文字等を重ねて表示する（ステップＳ１７０７）。

＜第１３の実施の形態＞
第１３の実施の形態のデジタルカメラ１について説明する。第１３の実施の形態のデジタルカメラ１は、動画撮影中にシーン切り替え点の検出を行い、シーン切り替え点を検出した場合に、スルー画像に重ねてシーン切り替え点を検出した旨の表示を行う。図１９は、第１３の実施の形態のデジタルカメラ１の動画撮影時の処理について示したフローチャートである。

まず、ユーザが動作モード切り替えスイッチ１１８を操作することにより、動画撮影モードへ移行する（ステップＳ１９０１）。そして、撮影開始指示と共に、動画撮影処理を開始し（ステップＳ１９０２）、同時にシーン切り替え点検出を開始する（ステップＳ１９０３）。

次に、撮影中の画像がシーン切り替え点であるか否かを判定する（ステップＳ１９０４）。シーン切り替え点である場合は、ＬＣＤパネル１１５にスルー画像と共にシーン切り替え点である旨の画像やアイコン、文字等を重ねて表示する（ステップＳ１９０５）。

次に、動画撮影終了指示があったか否かを判定する（ステップＳ１９０６）。撮影終了指示がない場合は、ステップＳ１９０４に戻り、再び現在撮影しているシーンがシーン切り替え点であるか否かを判定する。動画撮影終了指示があった場合は、動画撮影処理を終了する（ステップＳ１９０７）。

このように、動画撮影中にシーン切り替え点が検出されたことをユーザが知ることが可能となる。

＜第１４の実施の形態＞
第１４の実施の形態のデジタルカメラ１について説明する。第１４の実施の形態のデジタルカメラ１は、第１２及び第１３の実施の形態のデジタルカメラ１の機能を全て含んだものである。図２０は、第１４の実施の形態のデジタルカメラ１の動画再生及び動画撮影時の処理について示したフローチャートである。なお、図１８及び図１９のフローチャートと共通する部分には同一の符号を付し、その詳細な説明は省略する。

まず、設定されているモードが、動画再生モードであるか動画撮影モードであるかを判定する（ステップＳ２００１）。前述のように、ユーザは、動作モード切り替えスイッチ１１８を操作することにより、これらのモードを切り替えることが可能である。

動画再生モードが選択された場合は、動画再生モードへ移行する（ステップＳ１８０１）。ＣＰＵ１５は、記録媒体２９に記録されている動画ファイルを選択する（ステップＳ１８０２）。次に、選択された動画ファイルのシーン切り替え点の検出が終了しているか否かを判定する（ステップＳ１８０３）。シーン切り替え点の検出がされていない場合は、動画ストリームからシーン切り替え点を検出する（ステップＳ１８０４）。

ステップＳ２００１において、動画再生モードが選択された場合は、動画撮影モードへ移行する（ステップＳ１９０１）。そして、撮影開始指示と共に、動画撮影処理を開始し（ステップＳ１９０２）、同時にシーン切り替え点検出を開始する（ステップＳ１９０３）。

本実施の形態ではデジタルカメラを用いて説明したが、本発明に係るシーン切り替え点検出装置はデジタルカメラである必要はなく、デジタルビデオカメラや携帯電話、パーソナルコンピュータ等、動画データを扱える機器であれば何でもよい。

図１は、本発明が適用されたデジタルカメラ１の斜視図である。図２は、デジタルカメラ１の第１の実施の形態の電気的構成を示すブロック図である。図３は、デジタル信号処理部２６の内部構成を示すブロック図である。図４は、第１の実施の形態におけるＨ．２６４／ＡＶＣストリームからシーン切り替え点を検出する処理を示すフローチャートである。図５は、第２の実施の形態のデジタルカメラ１のシーン切り替え点検出処理について示したフローチャートである。図６は、第３の実施の形態のデジタルカメラ１のシーン切り替え点検出処理について示したフローチャートである。図７は、Ｈ．２６４／ＡＶＣにおけるＩ・Ｐ・Ｂスライス混在フレームを示す図である。図８は、第４の実施の形態のデジタルカメラ１のシーン切り替え点検出処理について示したフローチャートである。図９は、第５の実施の形態のデジタルカメラ１のシーン切り替え点検出処理について示したフローチャートである。図１０は、第６の実施の形態のデジタルカメラ１のこの処理について示したフローチャートである。図１１は、第７の実施の形態のデジタルカメラ１のシーン切り替え点検出処理について示したフローチャートである。図１２は、第８の実施の形態のデジタルカメラ１のシーン切り替え点検出処理について示したフローチャートである。図１３は、第９の実施の形態のデジタルカメラ１の動画選択時の処理について示したフローチャートである。図１４は、ＬＣＤパネル１１５の表示を示す図である。図１５は、第１０の実施の形態のデジタルカメラ１の動画選択時の処理について示したフローチャートである。図１６は、９つのシーン切り替え点の画像２０５ａ〜２０５ｉがＬＣＤパネル１１５に一覧表示されたことを示す図である。図１７は、第１１の実施の形態のデジタルカメラ１の動画選択時の処理について示したフローチャートである。図１８は、第１２の実施の形態のデジタルカメラ１の動画選択時の処理について示したフローチャートである。図１９は、第１３の実施の形態のデジタルカメラ１の動画撮影時の処理について示したフローチャートである。図２０は、第１４の実施の形態のデジタルカメラ１の動画再生及び動画撮影時の処理について示したフローチャートである。

符号の説明

１…デジタルカメラ、１０…撮影レンズ、１５…ＣＰＵ、２１…操作部、２６…デジタル信号処理部、２９…記録媒体、３０…外部メモリ制御部、３２…表示制御部、３５…シーン切り替え検出モジュール、３６…動画圧縮処理部、３７…動画伸張処理部、１１３…レリーズボタン、１１５…ＬＣＤパネル、１１７…汎用キー、１１８…動作モード切り替えスイッチ

Claims

一定周期ごとに挿入されるフレーム内予測符号化された基準フレームと、マクロブロック毎に異なるフレームを参照してフレーム間予測符号化された差分フレームとを含む圧縮符号化された動画ストリームを解析して、前記動画のシーン切り替え点を検出するシーン切り替え点検出装置において、
前記動画ストリームから差分フレームを抽出する手段と、
前記抽出された差分フレームからマクロブロックを抽出する手段と、
前記抽出されたマクロブロックのフレーム間予測の参照フレームを検出する手段と、
前記参照フレームが前記抽出された差分フレームに対して過去のフレームであるか未来のフレームであるかを判断する手段と、
前記参照フレームが前記抽出された差分フレームに対して未来のフレームであると判断されたマクロブロックが、前記抽出された差分フレームに占める割合を算出する算出手段と、を備え、
前記割合が所定値以上の場合に、前記抽出された差分フレームをシーン切り替え点として検出することを特徴とするシーン切り替え点検出装置。
前記動画ストリームから差分フレームを抽出する手段は、１つのマクロブロックにつき参照フレームが１つ存在する差分フレームを抽出することを特徴とする請求項１に記載のシーン切り替え点検出装置。
前記動画ストリームから差分フレームを抽出する手段は、１つのマクロブロックにつき参照フレームが２つ存在する差分フレームを抽出し、
前記算出手段は、前記２つの参照フレームが共に前記抽出された差分フレームに対して未来のフレームであると判断されたマクロブロックが、前記抽出された差分フレームに占める割合を算出することを特徴とする請求項１又は２に記載のシーン切り替え点検出装置。
前記動画ストリームから差分フレームを抽出する手段は、フレーム内予測符合化されたマクロブロックと、１つのマクロブロックにつき参照フレームが１つ存在するマクロブロックと、１つのマクロブロックにつき参照フレームが２つ存在するマクロブロックと、が混在する差分フレームを抽出し、
前記算出手段は、前記１つのマクロブロックにつき参照フレームが１つ存在するマクロブロックにおいて前記参照フレームが前記抽出された差分フレームに対して未来のフレームであると判断されたマクロブロック、及び前記１つのマクロブロックにつき参照フレームが２つ存在するマクロブロックにおいて前記２つの参照フレームが共に前記抽出された差分フレームに対して未来のフレームであると判断されたマクロブロックが、前記差分フレームに占める割合を算出することを特徴とする請求項１から３のいずれかに記載のシーン切り替え点検出装置。
一定周期ごとに挿入されるフレーム内予測符号化された基準フレームと、マクロブロック毎に異なるフレームを参照してフレーム間予測符号化された差分フレームとを含む圧縮符号化された動画ストリームを解析して、前記動画のシーン切り替え点を検出するシーン切り替え点検出装置において、
前記動画ストリームからフレーム内予測を行ったマクロブロックと、１つの参照フレームからフレーム間予測を行ったマクロブロックと、２つの参照フレームからフレーム間予測を行ったマクロブロックと、が混在する差分フレームを抽出する手段と、
前記抽出された差分フレームからマクロブロックを抽出する手段と、
前記抽出されたマクロブロックの種別を検出する手段と、
フレーム内予測を行ったマクロブロック、及び２つの参照フレームからフレーム間予測を行ったマクロブロックが前記抽出された差分フレームに占める割合を算出する算出手段と、を備え、
前記割合が所定値以上の場合に、前記抽出された差分フレームをシーン切り替え点として検出することを特徴とするシーン切り替え点検出装置。
一定周期ごとに挿入されるフレーム内予測符号化された基準フレームと、マクロブロック毎に異なるフレームを参照してフレーム間予測符号化された差分フレームとを含む圧縮符号化された動画ストリームを解析して、前記動画のシーン切り替え点を検出するシーン切り替え点検出装置において、
前記動画ストリームからフレーム内予測を行ったマクロブロックと、１つの参照フレームからフレーム間予測を行ったマクロブロックと、２つの参照フレームからフレーム間予測を行ったマクロブロックと、が混在する差分フレームを抽出する手段と、
前記抽出された差分フレームからフレーム内予測を行ったマクロブロックを抽出する手段と、
前記フレーム内予測を行ったマクロブロックが、前記抽出された差分フレームに占める割合を算出する算出手段と、を備え、
前記割合が所定値以上の場合に、前記抽出された差分フレームをシーン切り替え点として検出することを特徴とするシーン切り替え点検出装置。
一定周期ごとに挿入されるフレーム内予測符号化された基準フレームと、マクロブロック毎に異なるフレームを参照してフレーム間予測符号化された差分フレームとを含む圧縮符号化された動画ストリームを解析して、前記動画のシーン切り替え点を検出するシーン切り替え点検出装置において、
前記動画ストリームからフレームを抽出する手段と、
前記抽出されたフレームが基準フレームである場合に、該基準フレームの動画内の位置を記憶する手段と、
前記抽出されたフレームが差分フレームである場合に、該差分フレームがシーン切り替え点であるか否かを検出するシーン切り替え点検出手段と、
シーン切り替え点を検出した場合に、前記記憶した基準フレームの動画内の位置に基づいて、前記シーン切り替え点である差分フレームの画像を復号する手段と、
前記復号された差分フレームの画像データを記憶する記憶手段と、
を備えたことを特徴とするシーン切り替え点検出装置。
前記動画ストリームから前記動画の基準フレームを抽出する手段と、
前記基準フレームの動画内の位置を記憶する手段と、
前記記憶した基準フレームの動画内の位置に基づいて、前記検出されたシーン切り替え点である差分フレームを復号することを特徴とする請求項１から６に記載のシーン切り替え点検出装置。
撮像レンズを介して受光した被写体像を動画データに変換する撮像手段と、
前記動画データを符号化して動画ストリームを作成する符号化手段と、
を備えたことを特徴とする請求項８に記載のシーン切り替え点検出装置。
記録媒体に記録された動画ストリームの再生を指示する再生指示手段と、
前記再生指示に従って前記動画ストリームを復号して再生する手段と、
前記再生された動画の表示を行う表示手段と、
前記動画ストリームからシーン切り替え点を検出する手段と、
前記シーン切り替え点の画像を復号する手段と、
前記復号されたシーン切り替え点の画像を前記表示手段に表示する手段と、
前記シーン切り替え点の画像の表示時間を計時する計時手段と、
前記再生指示手段による指示があるまで、前記表示手段に前記動画のシーン切り替え点の画像を表示させ、前記計時手段の計時終了時に、異なるシーン切り替え点の画像に切り替えて表示させる制御手段と、
を備えたことを特徴とするシーン切り替え点検出装置。
前記再生指示手段は複数の前記動画ストリームの中から再生する動画ストリームを選択する手段を備え、
前記制御手段は、前記表示手段に前記記録媒体に記録された複数の動画ストリームのシーン切り替え点の画像を一覧表示させることを特徴とする請求項１０に記載のシーン切り替え点検出装置。
記録媒体に記録された動画ストリームの再生を指示する再生指示手段と、
前記再生指示に従って前記動画ストリームを復号して再生する手段と、
前記再生された動画の表示を行う表示手段と、
前記動画ストリームからシーン切り替え点を検出する手段と、
前記シーン切り替え点の画像を復号する手段と、
前記再生指示手段による指示があるまで、複数の前記復号されたシーン切り替え点の画像を前記表示手段に一覧表示させる手段と、を備え、
前記再生指示手段は複数の前記復号されたシーン切り替え点の画像の中から１つのシーン切り替え点の画像を選択する手段を備え、前記動画ストリームを復号して再生する手段は、再生指示があると前記選択されたシーン切り替え点から前記動画ストリームを復号して再生することを特徴とするシーン切り替え点検出装置。
記録媒体に記録された動画ストリームを復号して再生する手段と、
前記再生された動画の表示を行う表示手段と、
前記動画ストリームからシーン切り替え点を検出する手段と、を備え、
前記再生された動画において前記シーン切り替え点に到達したときに、動画の表示と共に前記シーン切り替え点であることを表示することを特徴とするシーン切り替え点検出装置。
撮像レンズを介して受光した被写体像を動画データに変換する撮像手段と、
前記動画データに基づいて前記被写体像をスルー画像として表示する表示手段と、
前記動画データを符号化して動画ストリームを作成する符号化手段と、
前記動画ストリームからシーン切り替え点を検出する手段と、を備え、
前記スルー画像と共に前記シーン切り替え点であることを表示することを特徴とするシーン切り替え点検出装置。
一定周期ごとに挿入されるフレーム内予測符号化された基準フレームと、マクロブロック毎に異なるフレームを参照してフレーム間予測符号化された差分フレームとを含む圧縮符号化された動画ストリームを解析して、前記動画のシーン切り替え点を検出するシーン切り替え点検出方法において、
前記動画ストリームから差分フレームを抽出する工程と、
前記抽出された差分フレームからマクロブロックを抽出する工程と、
前記抽出されたマクロブロックのフレーム間予測の参照フレームを検出する工程と、
前記参照フレームが前記抽出された差分フレームに対して過去のフレームであるか未来のフレームであるかを判断する工程と、
前記参照フレームが前記抽出された差分フレームに対して未来のフレームであると判断されたマクロブロックが、前記抽出された差分フレームに占める割合を算出する算出工程と、を備え、
前記割合が所定値以上の場合に、前記抽出された差分フレームをシーン切り替え点として検出することを特徴とするシーン切り替え点検出方法。
一定周期ごとに挿入されるフレーム内予測符号化された基準フレームと、マクロブロック毎に異なるフレームを参照してフレーム間予測符号化された差分フレームとを含む圧縮符号化された動画ストリームを解析して、前記動画のシーン切り替え点を検出するシーン切り替え点検出方法において、
前記動画ストリームからフレーム内予測を行ったマクロブロックと、１つの参照フレームからフレーム間予測を行ったマクロブロックと、２つの参照フレームからフレーム間予測を行ったマクロブロックと、が混在する差分フレームを抽出する工程と、
前記抽出された差分フレームからマクロブロックを抽出する工程と、
前記抽出されたマクロブロックの種別を検出する工程と、
フレーム内予測を行ったマクロブロック、及び２つの参照フレームからフレーム間予測を行ったマクロブロックが前記抽出された差分フレームに占める割合を算出する算出工程と、を備え、
前記割合が所定値以上の場合に、前記抽出された差分フレームをシーン切り替え点として検出することを特徴とするシーン切り替え点検出方法。
一定周期ごとに挿入されるフレーム内予測符号化された基準フレームと、マクロブロック毎に異なるフレームを参照してフレーム間予測符号化された差分フレームとを含む圧縮符号化された動画ストリームを解析して、前記動画のシーン切り替え点を検出するシーン切り替え点検出方法において、
前記動画ストリームからフレーム内予測を行ったマクロブロックと、１つの参照フレームからフレーム間予測を行ったマクロブロックと、２つの参照フレームからフレーム間予測を行ったマクロブロックと、が混在する差分フレームを抽出する工程と、
前記抽出された差分フレームからフレーム内予測を行ったマクロブロックを抽出する工程と、
前記フレーム内予測を行ったマクロブロックが、前記抽出された差分フレームに占める割合を算出する算出工程と、を備え、
前記割合が所定値以上の場合に、前記抽出された差分フレームをシーン切り替え点として検出することを特徴とするシーン切り替え点検出方法。
一定周期ごとに挿入されるフレーム内予測符号化された基準フレームと、マクロブロック毎に異なるフレームを参照してフレーム間予測符号化された差分フレームとを含む圧縮符号化された動画ストリームを解析して、前記動画のシーン切り替え点を検出するシーン切り替え点検出方法において、
前記動画ストリームからフレームを抽出する工程と、
前記抽出されたフレームが基準フレームである場合に、該基準フレームの動画内の位置を記憶する工程と、
前記抽出されたフレームが差分フレームである場合に、該差分フレームがシーン切り替え点であるか否かを検出するシーン切り替え点検出工程と、
シーン切り替え点を検出した場合に、前記記憶した基準フレームの動画内の位置に基づいて、前記シーン切り替え点である差分フレームの画像を復号する工程と、
前記復号された差分フレームの画像データを記憶する記憶工程と、
を備えたことを特徴とするシーン切り替え点検出方法。