JP2009088686A - シーン切り替え点検出装置及びシーン切り替え点検出方法 - Google Patents

シーン切り替え点検出装置及びシーン切り替え点検出方法 Download PDF

Info

Publication number
JP2009088686A
JP2009088686A JP2007252443A JP2007252443A JP2009088686A JP 2009088686 A JP2009088686 A JP 2009088686A JP 2007252443 A JP2007252443 A JP 2007252443A JP 2007252443 A JP2007252443 A JP 2007252443A JP 2009088686 A JP2009088686 A JP 2009088686A
Authority
JP
Japan
Prior art keywords
frame
switching point
scene switching
macroblock
moving image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2007252443A
Other languages
English (en)
Inventor
Koji Mori
光司 森
Tomoyuki Mizuta
智之 水田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2007252443A priority Critical patent/JP2009088686A/ja
Publication of JP2009088686A publication Critical patent/JP2009088686A/ja
Abandoned legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】H.264/AVC動画ストリームを復号せずに、高速にシーン切り替え点を検出する。
【解決手段】動画ストリームからPフレームを検出し(ステップS402)、検出したPフレーム内のマクロブロックを検出する(ステップS404)。各マクロブロックの参照ピクチャL0を検出し、参照ピクチャL0が未来のフレームを参照しているか否かを判定する(ステップS406)。未来のフレームを参照しているマクロブロックが閾値Tより多いと判断(ステップS408)されると、検出したPフレームをシーン切り替え点として検出する(ステップS409)。
【選択図】 図4

Description

本発明は動画のシーン切り替え点検出装置及び検出方法に係り、特にH.264/AVC動画ストリームを復号せずに高速にシーン切り替え点を検出するシーン切り替え点検出装置及びシーン切り替え点検出方法に関する。
動画は1枚のサムネイルでは内容がよく判別できないという問題点があるため、動画のシーン切り替え点を抽出するための方法が考えられている。特許文献1には、画面内符号化されたフレーム間の1フレーム符号量の差分値が基準値以上の場合に、そのフレームを切り替え点と判断するシーン変化検出方法が記載されている。この技術によれば、動画からシーン変化のフレームを自動的に抽出することが可能となる。
特開平6−133305号公報
しかし、特許文献1に記載のシーン変化検出方法は、Iフレームのフレーム間の相関を用いるシーン切り替え点の検出方法であり、Iフレーム以外のフレームには適用できないという欠点があった。また、H.264/AVCで追加されたストリーム情報を用いてのシーン切り替え点検出をおこなう技術を開示するものはなかった。本発明はこのような事情に鑑みてなされたもので、復号せずにH.264/AVC動画ストリームを解析し、シーン切り替え点を抽出するシーン切り替え点検出装置及びシーン切り替え点検出方法を提供することを目的とする。
前記目的を達成するために請求項1に記載のシーン切り替え点検出装置は、一定周期ごとに挿入されるフレーム内予測符号化された基準フレームと、マクロブロック毎に異なるフレームを参照してフレーム間予測符号化された差分フレームとを含む圧縮符号化された動画ストリームを解析して、前記動画のシーン切り替え点を検出するシーン切り替え点検出装置において、前記動画ストリームから差分フレームを抽出する手段と、前記抽出された差分フレームからマクロブロックを抽出する手段と、前記抽出されたマクロブロックのフレーム間予測の参照フレームを検出する手段と、前記参照フレームが前記抽出された差分フレームに対して過去のフレームであるか未来のフレームであるかを判断する手段と、前記参照フレームが前記抽出された差分フレームに対して未来のフレームであると判断されたマクロブロックが、前記抽出された差分フレームに占める割合を算出する算出手段とを備え、前記割合が所定値以上の場合に、前記抽出された差分フレームをシーン切り替え点として検出することを特徴とする。
これにより、動画ストリームを復号せずに、高速にシーン切り替え点を検出することができる。
請求項2に示すように請求項1に記載のシーン切り替え点検出装置において、前記動画ストリームから差分フレームを抽出する手段は、1つのマクロブロックにつき参照フレームが1つ存在する差分フレームを抽出することを特徴とする。
これにより、Pフレームからシーン切り替え点を検出することができる。
請求項3に示すように請求項1又は2に記載のシーン切り替え点検出装置において、前記動画ストリームから差分フレームを抽出する手段は、1つのマクロブロックにつき参照フレームが2つ存在する差分フレームを抽出し、前記算出手段は、前記2つの参照フレームが共に前記抽出された差分フレームに対して未来のフレームであると判断されたマクロブロックが、前記抽出された差分フレームに占める割合を算出することを特徴とする。
これにより、Bフレームからシーン切り替え点を検出することができる。
請求項4に示すように請求項1から3に記載のシーン切り替え点検出装置において、前記動画ストリームから差分フレームを抽出する手段は、フレーム内予測符合化されたマクロブロックと、1つのマクロブロックにつき参照フレームが1つ存在するマクロブロックと、1つのマクロブロックにつき参照フレームが2つ存在するマクロブロックと、が混在する差分フレームを抽出し、前記算出手段は、前記1つのマクロブロックにつき参照フレームが1つ存在するマクロブロックにおいて前記参照フレームが前記抽出された差分フレームに対して未来のフレームであると判断されたマクロブロック、及び前記1つのマクロブロックにつき参照フレームが2つ存在するマクロブロックにおいて前記2つの参照フレームが共に前記抽出された差分フレームに対して未来のフレームであると判断されたマクロブロックが、前記差分フレームに占める割合を算出することを特徴とする。
これにより、I・P・Bスライス混在フレームからシーン切り替え点を検出することができる。
前記目的を達成するために請求項5に記載のシーン切り替え点検出装置は、一定周期ごとに挿入されるフレーム内予測符号化された基準フレームと、マクロブロック毎に異なるフレームを参照してフレーム間予測符号化された差分フレームとを含む圧縮符号化された動画ストリームを解析して、前記動画のシーン切り替え点を検出するシーン切り替え点検出装置において、前記動画ストリームからフレーム内予測を行ったマクロブロックと、1つの参照フレームからフレーム間予測を行ったマクロブロックと、2つの参照フレームからフレーム間予測を行ったマクロブロックと、が混在する差分フレームを抽出する手段と、前記抽出された差分フレームからマクロブロックを抽出する手段と、前記抽出されたマクロブロックの種別を検出する手段と、フレーム内予測を行ったマクロブロック、及び2つの参照フレームからフレーム間予測を行ったマクロブロックが前記抽出された差分フレームに占める割合を算出する算出手段とを備え、前記割合が所定値以上の場合に、前記抽出された差分フレームをシーン切り替え点として検出することを特徴とする。
これにより、I・P・Bスライス混在フレームからシーン切り替え点を検出することができる。
前記目的を達成するために請求項6に記載のシーン切り替え点検出装置は、一定周期ごとに挿入されるフレーム内予測符号化された基準フレームと、マクロブロック毎に異なるフレームを参照してフレーム間予測符号化された差分フレームとを含む圧縮符号化された動画ストリームを解析して、前記動画のシーン切り替え点を検出するシーン切り替え点検出装置において、前記動画ストリームからフレーム内予測を行ったマクロブロックと、1つの参照フレームからフレーム間予測を行ったマクロブロックと、2つの参照フレームからフレーム間予測を行ったマクロブロックと、が混在する差分フレームを抽出する手段と、前記抽出された差分フレームからフレーム内予測を行ったマクロブロックを抽出する手段と、前記フレーム内予測を行ったマクロブロックが、前記抽出された差分フレームに占める割合を算出する算出手段とを備え、前記割合が所定値以上の場合に、前記抽出された差分フレームをシーン切り替え点として検出することを特徴とする。
これにより、I・P・Bスライス混在フレームからシーン切り替え点を検出することができる。
前記目的を達成するために請求項7に記載のシーン切り替え点検出装置は、一定周期ごとに挿入されるフレーム内予測符号化された基準フレームと、マクロブロック毎に異なるフレームを参照してフレーム間予測符号化された差分フレームとを含む圧縮符号化された動画ストリームを解析して、前記動画のシーン切り替え点を検出するシーン切り替え点検出装置において、前記動画ストリームからフレームを抽出する手段と、前記抽出されたフレームが基準フレームである場合に、該基準フレームの動画内の位置を記憶する手段と、前記抽出されたフレームが差分フレームである場合に、該差分フレームがシーン切り替え点であるか否かを検出するシーン切り替え点検出手段と、シーン切り替え点を検出した場合に、前記記憶した基準フレームの動画内の位置に基づいて、前記シーン切り替え点である差分フレームの画像を復号する手段と、前記復号された差分フレームの画像データを記憶する記憶手段とを備えたことを特徴とする。
これにより、検出したシーン切り替え点の復号を高速化することができる。
請求項8に示すように請求項1から6に記載のシーン切り替え点検出装置において、前記動画ストリームから前記動画の基準フレームを抽出する手段と、前記基準フレームの動画内の位置を記憶する手段と、前記記憶した基準フレームの動画内の位置に基づいて、前記検出されたシーン切り替え点である差分フレームを復号することを特徴とする。
これにより、検出したシーン切り替え点の復号を高速化することができる。
請求項9に示すように請求項8に記載のシーン切り替え点検出装置において、撮像レンズを介して受光した被写体像を動画データに変換する撮像手段と、前記動画データを符号化して動画ストリームを作成する符号化手段とを備えたことを特徴とする。
これにより、撮像した動画のシーン切り替え点検出をおこなうことができる。
前記目的を達成するために請求項10に記載のシーン切り替え点検出装置は、記録媒体に記録された動画ストリームの再生を指示する再生指示手段と、前記再生指示に従って前記動画ストリームを復号して再生する手段と、前記再生された動画の表示を行う表示手段と、前記動画ストリームからシーン切り替え点を検出する手段と、前記シーン切り替え点の画像を復号する手段と、前記復号されたシーン切り替え点の画像を前記表示手段に表示する手段と、前記シーン切り替え点の画像の表示時間を計時する計時手段と、前記再生指示手段による指示があるまで、前記表示手段に前記動画のシーン切り替え点の画像を表示させ、前記計時手段の計時終了時に、異なるシーン切り替え点の画像に切り替えて表示させる制御手段とを備えたことを特徴とする。
これにより、ユーザが動画の内容を知ることが可能となり、所望の動画の選択が容易になる。
請求項11に示すように請求項10に記載のシーン切り替え点検出装置において、前記再生指示手段は複数の前記動画ストリームの中から再生する動画ストリームを選択する手段を備え、前記制御手段は、前記表示手段に前記記録媒体に記録された複数の動画ストリームのシーン切り替え点の画像を一覧表示させることを特徴とする。
これにより、ユーザが同時に複数の動画の内容を知ることが可能となり、所望の動画の選択が容易になる。
前記目的を達成するために請求項12に記載のシーン切り替え点検出装置は、記録媒体に記録された動画ストリームの再生を指示する再生指示手段と、前記再生指示に従って前記動画ストリームを復号して再生する手段と、前記再生された動画の表示を行う表示手段と、前記動画ストリームからシーン切り替え点を検出する手段と、前記シーン切り替え点の画像を復号する手段と、前記再生指示手段による指示があるまで、複数の前記復号されたシーン切り替え点の画像を前記表示手段に一覧表示させる手段とを備え、前記再生指示手段は複数の前記復号されたシーン切り替え点の画像の中から1つのシーン切り替え点の画像を選択する手段を備え、前記動画ストリームを復号して再生する手段は、再生指示があると前記選択されたシーン切り替え点から前記動画ストリームを復号して再生することを特徴とする。
これにより、ユーザが動画の内容を知ることが可能となり、所望のシーン切り替え点から再生を行うことができる。
前記目的を達成するために請求項13に記載のシーン切り替え点検出装置は、記録媒体に記録された動画ストリームを復号して再生する手段と、前記再生された動画の表示を行う表示手段と、前記動画ストリームからシーン切り替え点を検出する手段とを備え、前記再生された動画において前記シーン切り替え点に到達したときに、動画の表示と共に前記シーン切り替え点であることを表示することを特徴とする。
これにより、動画再生中にシーン切り替え点が検出されたことをユーザが知ることができる。
前記目的を達成するために請求項14に記載のシーン切り替え点検出装置は、撮像レンズを介して受光した被写体像を動画データに変換する撮像手段と、前記動画データに基づいて前記被写体像をスルー画像として表示する表示手段と、前記動画データを符号化して動画ストリームを作成する符号化手段と、前記動画ストリームからシーン切り替え点を検出する手段とを備え、前記スルー画像と共に前記シーン切り替え点であることを表示することを特徴とする。
これにより、動画撮影中にシーン切り替え点が検出されたことをユーザが知ることができる。
前記目的を達成するために請求項15に記載のシーン切り替え点検出方法は、一定周期ごとに挿入されるフレーム内予測符号化された基準フレームと、マクロブロック毎に異なるフレームを参照してフレーム間予測符号化された差分フレームとを含む圧縮符号化された動画ストリームを解析して、前記動画のシーン切り替え点を検出するシーン切り替え点検出方法において、前記動画ストリームから差分フレームを抽出する工程と、前記抽出された差分フレームからマクロブロックを抽出する工程と、前記抽出されたマクロブロックのフレーム間予測の参照フレームを検出する工程と、前記参照フレームが前記抽出された差分フレームに対して過去のフレームであるか未来のフレームであるかを判断する工程と、前記参照フレームが前記抽出された差分フレームに対して未来のフレームであると判断されたマクロブロックが、前記抽出された差分フレームに占める割合を算出する算出工程とを備え、前記割合が所定値以上の場合に、前記抽出された差分フレームをシーン切り替え点として検出することを特徴とする。
これにより、動画ストリームを復号せずに、高速にシーン切り替え点を検出することができる。
前記目的を達成するために請求項16に記載のシーン切り替え点検出方法は、一定周期ごとに挿入されるフレーム内予測符号化された基準フレームと、マクロブロック毎に異なるフレームを参照してフレーム間予測符号化された差分フレームとを含む圧縮符号化された動画ストリームを解析して、前記動画のシーン切り替え点を検出するシーン切り替え点検出方法において、前記動画ストリームからフレーム内予測を行ったマクロブロックと、1つの参照フレームからフレーム間予測を行ったマクロブロックと、2つの参照フレームからフレーム間予測を行ったマクロブロックと、が混在する差分フレームを抽出する工程と、前記抽出された差分フレームからマクロブロックを抽出する工程と、前記抽出されたマクロブロックの種別を検出する工程と、フレーム内予測を行ったマクロブロック、及び2つの参照フレームからフレーム間予測を行ったマクロブロックが前記抽出された差分フレームに占める割合を算出する算出工程とを備え、前記割合が所定値以上の場合に、前記抽出された差分フレームをシーン切り替え点として検出することを特徴とする。
これにより、I・P・Bスライス混在フレームからシーン切り替え点を検出することができる。
前記目的を達成するために請求項17に記載のシーン切り替え点検出方法は、一定周期ごとに挿入されるフレーム内予測符号化された基準フレームと、マクロブロック毎に異なるフレームを参照してフレーム間予測符号化された差分フレームとを含む圧縮符号化された動画ストリームを解析して、前記動画のシーン切り替え点を検出するシーン切り替え点検出方法において、前記動画ストリームからフレーム内予測を行ったマクロブロックと、1つの参照フレームからフレーム間予測を行ったマクロブロックと、2つの参照フレームからフレーム間予測を行ったマクロブロックと、が混在する差分フレームを抽出する工程と、前記抽出された差分フレームからフレーム内予測を行ったマクロブロックを抽出する工程と、前記フレーム内予測を行ったマクロブロックが、前記抽出された差分フレームに占める割合を算出する算出工程とを備え、前記割合が所定値以上の場合に、前記抽出された差分フレームをシーン切り替え点として検出することを特徴とする。
これにより、I・P・Bスライス混在フレームからシーン切り替え点を検出することができる。
前記目的を達成するために請求項18に記載のシーン切り替え点検出方法は、一定周期ごとに挿入されるフレーム内予測符号化された基準フレームと、マクロブロック毎に異なるフレームを参照してフレーム間予測符号化された差分フレームとを含む圧縮符号化された動画ストリームを解析して、前記動画のシーン切り替え点を検出するシーン切り替え点検出方法において、前記動画ストリームからフレームを抽出する工程と、前記抽出されたフレームが基準フレームである場合に、該基準フレームの動画内の位置を記憶する工程と、前記抽出されたフレームが差分フレームである場合に、該差分フレームがシーン切り替え点であるか否かを検出するシーン切り替え点検出工程と、シーン切り替え点を検出した場合に、前記記憶した基準フレームの動画内の位置に基づいて、前記シーン切り替え点である差分フレームの画像を復号する工程と、前記復号された差分フレームの画像データを記憶する記憶工程とを備えたことを特徴とする。
これにより、検出したシーン切り替え点の復号を高速化することができる。
本発明によれば、復号せずにH.264/AVC動画ストリームを解析し、シーン切り替え点を抽出するシーン切り替え点検出装置及びシーン切り替え点検出方法を提供することができる。
以下、添付図面に従って本発明を実施するための最良の形態について説明する。
<第1の実施の形態>
図1は、本発明が適用されたデジタルカメラ1の斜視図である。デジタルカメラ1は、本体前面に撮影レンズ10が組み込まれたレンズ銅鏡112が設けられており、本体111上面にはレリーズボタン113及び電源スイッチ114が設けられている。背面には、LCDパネル115、ファインダ接眼窓116、汎用キー117、動作モード切り替えスイッチ118、メニューボタン119、キャンセルボタン121、ディスプレイボタン122、及びファンクションボタン123が設けられている。
動作モード切り替えスイッチ118は、静止画や動画を撮像し、記録媒体29に記録する撮影モードと、記録媒体29に記録された静止画や動画を再生し、LCDパネル115に再生表示する再生モードとを切り替える。LCDパネル115は、画像再生に使用される他、撮影モードのときには、フレーミング用のスルー画を表示する電子ビューファインダとしても機能する。また、LCDパネル115は、各種の設定をするための設定画面を表示する。メニューボタン119を押下すると、LCDパネル115に設定画面が表示され、撮影モードあるいは再生モードからセットアップモードへ移行する。この設定画面では、露出値、色合い、ISO感度、記録画素数などの画質調整に関する項目や、セルフタイマの設定、測光方式の切り替え、デジタルズームを使用するか否か等の画質調整以外の項目など、デジタルカメラ1が持つ全ての調整項目の設定が行われる。デジタルカメラ1は、この設定画面で設定された条件に応じて動作する。メニューボタン119は、選択した項目や処理を確定したり実行するための確定/実行ボタンとしても機能する。
汎用キー117は、再生する画像を選択したり、設定画面内の項目を選択するためのカーソルを移動するカーソルシフトキーとして機能する。汎用キー117は、カーソルを左右方向に移動させる左シフトキー117a及び右シフトキー117c、上下方向に移動させる上下シフトキー117bとからなる。左右の各シフトキー117a、117cは押しボタン式であり、上下シフトキー117bは、水平方向の軸を中心に上下方向に揺動自在に設けられている。また、上下シフトキー117bは、撮影モードで動作している場合には、ズームボタンとして機能する。
キャンセルボタン121は、選択した項目や操作をキャンセルする。ディスプレイボタン122は、LCDパネル115をオン/オフするボタンである。
図2は、デジタルカメラ1の第1の実施の形態の電気的構成を示すブロック図である。同図に示すように、本実施の形態のデジタルカメラ1は、撮影レンズ10、固体撮像素子11、この両者の間に設けられた絞り12、赤外線カットフィルタ13、及び光学ローパスフィルタ14を備えている。デジタルカメラ1の全体を制御するCPU15は、フラッシュ用の発光部16及び受光部17を制御し、またレンズ駆動部18を制御して撮影レンズ10の位置をフォーカス位置に調整し、絞り駆動部19を介して絞り12の開口量を制御して露光量が適正露光量となるように調整する。
また、CPU15は、撮像素子駆動部20を介して固体撮像素子11を駆動し、撮影レンズ10を通して撮像した被写体画像を色信号として出力される。また、CPU15には、前述のレリーズボタン113、電源スイッチ114、汎用キー117等からなる操作部21を通してユーザの指示信号が入力され、CPU15はこの指示に従って各種制御を行う。固体撮像素子11は、ハニカム画素配置のCCDやベイヤー方式のCCD、あるいはCMOSセンサである。
デジタルカメラ1の電気制御系は、固体撮像素子11の出力に接続されたアナログ信号処理部22と、このアナログ信号処理部22から出力されたRGBの色信号をデジタル信号に変換するA/D変換器23とを備え、これらはCPU15によって制御される。このデジタルカメラ1の電気制御系はさらに、メインメモリ24に接続されたメモリ制御部25と、デジタル信号処理部26と、撮像画像をJPEG画像に圧縮したり圧縮画像を伸張したりする圧縮伸張処理部27と、固体撮像素子11から出力されデジタルデータに変換された画像データをR、G、B毎に積算し各積算値をデジタル信号処理部26に出力する積算部28と、着脱自在の記録媒体29が接続される外部メモリ制御部30と、カメラ背面に設けられたLCDパネル115が接続される表示制御部32と、動画のシーン切り替え点検出を可能とするシーン切り替え点検出モジュール35と、撮影した動画のデータを記録媒体29に記録するにあたって所定のフォーマットに圧縮処理する動画圧縮処理部36と、圧縮処理され記録媒体29に記録された動画データを伸張処理してLCDパネル115に再生するための動画伸張処理部37とを備え、これらは、制御バス33及びデータバス34によって相互に接続され、CPU15からの指令によって制御される。
次に、デジタル信号処理部26について説明する。このデジタル信号処理部26は、ハードウェア回路で構成しても、ソフトウェアにて構成することも可能である。図3に示すように、デジタル信号処理部26は、積算部28の出力データを取り込んでホワイトバランスゲイン調整用のゲイン値を算出するホワイトバランスゲイン算出回路40と、A/D変換回路23から出力されるR、G、Bの各色の画像信号を取り込んでオフセット処理を行うオフセット補正回路41と、オフセット補正回路41の出力信号を取り込んでホワイトバランス調整をゲイン算出回路40で算出されたゲイン値を用いて行うゲイン補正回路42と、ゲイン補正回路42から出力される信号に対して所定のγ値を用いガンマ補正を行うガンマ補正回路43とを備えている。デジタル信号処理部26は更に、ガンマ補正回路43から出力されるRGBの色信号を補間演算して各画素位置におけるRGB3色の信号を求めるRGB補間演算部44と、RGB補間演算後のRGB信号から輝度信号Yと色差信号Cr、Cbとを求めるRGB/YC変換回路45と、輝度信号Yと色差信号Cr、Cbからノイズを低減するノイズフィルタ46と、ノイズ低減後の輝度信号Yに対して輪郭補正を行う輪郭補正回路47と、ノイズ低減後の色差信号Cr、Cbに対して色差マトリクス(C−MTX)を乗算して色調補正を行う色差マトリクス回路48と、積算部28から出力される積算値を取り込んで光源種別を判定し、色差マトリクス回路48に色差マトリクス選択信号を出力する光源種別判定回路49とを備えている。
RGB補間演算部44は、固体撮像素子11が3板色の撮像素子であれば不要であるが、本実施の形態で使用する固体撮像素子11は単板式の固体撮像素子であり、各画素からは、R、G、Bのうちの一色の信号しか出力されないため、出力しない色、即ち、Rを出力する画素では、この画素位置においてG、Bの色信号がどの程度になるかを、周りの画素のG、B信号から補間演算により求めるものである。
光源種別判定回路49は、固体撮像素子11で撮像した一画面を例えば8×8=64の領域に分割し、各分割領域における信号電荷のΣR、ΣG、ΣBの値を積算値から求め、ΣR/ΣGのデータとΣB/ΣGのデータの組を求め、これら64組のデータをR/G軸とB/G軸で張る二次元空間にプロットし、その分布の形状から撮影光源種を検出する。色差マトリクス回路48には、光源対応の色差マトリクスが複数種類設けられており、光源種別判定回路49が求めた光源種別に応じて使用する色差マトリクスを切り替え、この切り替え後の色差マトリクス(C−MTX)を、入力してくる色差信号Cr、Cbに乗算し、色調補正された色差信号Cr’、Cb’を出力する。
以上のように、デジタル信号処理部26は、点順次に取り込んだR、G、Bの画像信号に所定の信号処理を施して、輝度信号Yと色差信号Cr、Cbとからなる画像信号(Y/C信号)を生成する。
デジタル信号処理部26や、アナログ信号処理部22、A/D変換回路23等は、これをそれぞれ別回路としてデジタルカメラ1に搭載することもできるが、これらを固体撮像素子11と同一半導体基板上にLSI製造技術を用いて製造し、1つの固体撮像装置とするのがよい。
次に、H.264/AVCストリームからシーン切り替え点を検出する処理について説明する。図4は、この処理を示すフローチャートである。
シーン切り替え点検出モジュール35は、記録媒体29からH.264/AVC動画ストリーム(バイナリデータ)を取得し、解析を開始する(ステップS401)。まず、動画ストリームからPフレームを検出する(ステップS402)。H.264/AVCのフレームには、予測フレームの基準となる画面内符号化を行って得られるIフレーム、各マクロブロックにつき1つの参照フレームからフレーム間予測を行って得られるPフレーム、各マクロブロックにつき2つの参照フレームからフレーム間予測を行って得られるBフレーム、及び後述するI・P・Bスライス混在フレームが存在し、ここではPフレームを検出する。
次に、変数Aを0にリセットする(ステップS403)。この検出したPフレームから、マクロブロックを検出し(ステップS404)、検出したマクロブロックの参照ピクチャ(L0)を検出する(ステップS405)。
そして、この検出した参照ピクチャ(L0)が、未来のフレームを参照しているか否かを判定する(ステップS406)。未来のフレームを参照していない場合は、この処理を行っているマクロブロックが現Pフレームにおける最後のマクロブロックであるか否かを判定する(ステップS410)。最後のマクロブロックでない場合は、ステップS404に戻り、処理を継続する。
検出した参照ピクチャ(L0)が未来のフレームを参照している場合には、変数Aをインクリメントし(ステップS407)、変数Aが閾値Tを超えたか否かを判定する(ステップS408)。ここでは、閾値Tは現Pフレームのマクロブロックの総数に対して80%の値とするが、適宜決めればよい。変数Aが閾値Tを超えた場合、即ち、未来のフレームを参照しているマクロブロックが80%より多く存在する場合は、現Pフレームをシーン切り替え点として検出する(ステップS409)。
変数Aが閾値Tを超えていない場合は、この処理を行っているマクロブロックが現Pフレーム内における最後のマクロブロックであるか否かを判定する(ステップS410)。最後のマクロブロックでない場合は、ステップS404に戻り、次のマクロブロックを検出し、処理を継続する。
ステップS409において、現Pフレームをシーン切り替え点として検出した場合、及びステップS410において、最後のマクロブロックであると判断された場合には、ストリームの解析が終了したか否かを判定する(ステップS411)。終了していない場合は、ステップS402に戻り、次のPフレームを検出し、同様の処理を行う。ストリームの解析が終了した場合は、シーン切り替え点検出処理を終了する。
このように、各マクロブロックの参照ピクチャ(L0)の情報を利用することにより、Pフレームからシーン切り替え点を検出することが可能となる。
<第2の実施の形態>
第2の実施の形態のデジタルカメラ1について説明する。第2の実施の形態のデジタルカメラ1は、Bフレームの参照ピクチャからシーン切り替え点を検出する。図5は、第2の実施の形態のデジタルカメラ1のシーン切り替え点検出処理について示したフローチャートである。
第1の実施の形態と同様に、シーン切り替え点検出モジュール35は、記録媒体29から動画ストリームを取得し、解析を開始する(ステップS501)。まず、動画ストリームからBフレームを検出する(ステップS502)。H.264/AVCにおけるBフレームにおいては、各マクロブロックにつき2つの参照ピクチャが存在する。
次に、変数Aを0にリセットし(ステップS503)、この検出したBフレームからマクロブロックを検出し(ステップS504)、さらに、検出したマクロブロックの2つの参照ピクチャ(L0、L1)を検出する(ステップS505)。
そして、この2つの参照ピクチャ(L0、L1)が共に未来のフレームを参照しているか否かを判定する(ステップS506)。どちらか一方でも過去のフレームを参照している場合は、この処理を行っているマクロブロックが現Bフレームにおける最後のマクロブロックであるか否かを判定する(ステップS510)。最後のマクロブロックでない場合は、ステップS504に戻り、次のマクロブロックを検出し、処理を継続する。
参照ピクチャ(L0、L1)が共に未来のフレームを参照している場合には、変数Aをインクリメントし(ステップS507)、変数Aが閾値Tを超えたか否かを判定する(ステップS508)。ここでは、閾値Tは現Bフレームのマクロブロックの総数に対して80%の値とするが、適宜決めればよい。変数Aが閾値Tを超えた場合、即ち、2つの参照ピクチャが共に未来のフレームを参照しているマクロブロックが80%より多く存在する場合は、現Bフレームをシーン切り替え点として検出する(ステップS509)。
変数Aが閾値Tを超えていない場合は、処理を行っているマクロブロックが現Bフレーム内における最後のマクロブロックであるか否かを判定する(ステップS510)。最後のマクロブロックでない場合は、ステップS504に戻り、次のマクロブロックを検出し、処理を継続する。
ステップS509において、現Bフレームをシーン切り替え点として検出した場合、及びステップS510において、最後のマクロブロックであると判断された場合には、ストリームの解析が終了したか否かを判定する(ステップS511)。終了していない場合は、ステップS502に戻り、次のBフレームを検出し、同様の処理を行う。ストリームの解析が終了した場合は、シーン切り替え点検出処理を終了する。
このように、各マクロブロックの2つの参照ピクチャ(L0、L1)の情報を利用してBフレームからシーン切り替え点を検出することが可能となる。
<第3の実施の形態>
第3の実施の形態のデジタルカメラ1について説明する。第3の実施の形態のデジタルカメラ1は、I・P・Bスライス混在フレームのマクロブロックの参照ピクチャからシーン切り替え点を検出する。図6は、第3の実施の形態のデジタルカメラ1のシーン切り替え点検出処理について示したフローチャートである。
これまでと同様に、シーン切り替え点検出モジュール35は、記録媒体29から動画ストリームを取得し、解析を開始する(ステップS601)。まず、動画ストリームからI・P・Bスライス混在フレームを検出する(ステップS602)。H.264/AVCにおけるI・P・Bスライス混在フレームは、図7に示すように、独立して符号化されたIスライスと、1つの参照ピクチャから符号化されたPスライスと、2つの参照ピクチャから符号化されたBスライスから構成されている。なお、スライスとは、マクロブロックの帯である。
次に、変数Aを0にリセットし(ステップS603)、この検出したI・P・Bスライス混在フレームから、マクロブロックを検出する(ステップS604)。この検出したマクロブロックが、Iスライス中のマクロブロックか否かを判定する(ステップS605)。Iスライス中のマクロブロックである場合は、ステップS604に戻り、次のマクロブロックを検出して、同様の処理を行う。Iスライス中のマクロブロックでない場合は、次にPスライス中のマクロブロックであるか否かを判定する(ステップS606)。Pスライス中のマクロブロックである場合には、このマクロブロックの参照ピクチャ(L0)を検出し(ステップS607)、この参照ピクチャ(L0)が未来のフレームを参照しているか否かを判定する(ステップS608)。
ステップS606において、Pスライス中のマクロブロックでないと判断した場合は、このマクロブロックはBスライス中のマクロブロックであるので、2つの参照ピクチャ(L0、L1)を検出し(ステップS610)、この2つの参照ピクチャ(L0、L1)が共に未来のフレームを参照しているか否かを判定する(ステップS611)。
ステップS607において参照ピクチャ(L0)が未来のフレームを参照している場合、及びステップS611において2つの参照ピクチャ(L0、L1)が共に未来のフレームを参照している場合は、変数Aをインクリメントし(ステップS609)、変数Aが閾値Tを超えたか否かを判定する(ステップS612)。これまでと同様に、閾値Tは、現I・P・Bスライス混在フレームのマクロブロックの総数に対して80%の値となっているが、この閾値Tは、適宜決めればよい。また、Iスライスを除き、Pスライス及びBスライスにおけるマクロブロックの総数に対して、閾値Tを決めてよい。変数Aが閾値Tを超えている場合は、現I・P・Bスライス混在フレームをシーン切り替え点として検出する(ステップS613)。
変数Aが閾値Tを超えていない場合は、処理を行っているマクロブロックが現I・P・Bスライス混在フレーム内における最後のマクロブロックであるか否かを判定する(ステップS614)。最後のマクロブロックでない場合は、ステップS604に戻り、次のマクロブロックを検出し、同様の処理を行う。
ステップS613において、現I・P・Bスライス混在フレームをシーン切り替え点として検出した場合、及びステップS614において、最後のマクロブロックであると判断された場合には、ストリームの解析が終了したか否かを判定する(ステップS615)。終了していない場合は、ステップS602に戻り、次のI・P・Bスライス混在フレームを検出し、同様の処理を行う。ストリームの解析が終了した場合は、シーン切り替え点検出処理を終了する。
このように、Pスライス中のマクロブロックの参照ピクチャ(L0)、及びBスライス中のマクロブロックの2つの参照ピクチャ(L0、L1)の情報を利用して、I・P・Bスライス混在フレームからシーン切り替え点を検出することが可能となる。
<第4の実施の形態>
第4の実施の形態のデジタルカメラ1について説明する。第4の実施の形態のデジタルカメラ1は、I・P・Bスライス混在フレームのマクロブロックのタイプからシーン切り替え点を検出する。図8は、第4の実施の形態のデジタルカメラ1のシーン切り替え点検出処理について示したフローチャートである。
これまでと同様に、シーン切り替え点検出モジュール35は、記録媒体29から動画ストリームを取得し、解析を開始する(ステップS801)。まず、動画ストリームからI・P・Bスライス混在フレームを検出する(ステップS802)。
次に、変数Aを0にリセットし(ステップS803)、この検出したI・P・Bスライス混在フレームから、マクロブロックを検出し(ステップS804)、さらにこの検出したマクロブロックのタイプを判別する(ステップS805)。そして、マクロブロックのタイプが画面内符号化マクロブロックであるか、又は逆方向予測ブロックであるか否かを判定する(ステップS806)。画面内符号化マクロブロック又は逆方向予測ブロックである場合には、変数Aをインクリメントし(ステップS807)、変数Aが閾値Tを超えたか否かを判定する(ステップS808)。これまでと同様に、閾値Tは、現I・P・Bスライス混在フレームのマクロブロックの総数の80%としているが、適宜決めればよい。
変数Aが閾値Tを超えている場合は、現I・P・Bスライス混在フレームをシーン切り替え点として検出する(ステップS809)。変数Aが閾値Tを超えていない場合は、この処理を行っているマクロブロックが現I・P・Bスライス混在フレーム内における最後のマクロブロックであるか否かを判定する(ステップS810)。最後のマクロブロックでない場合は、ステップS804に戻り、次のマクロブロックを検出し、処理を継続する。
ステップS809において、現I・P・Bスライス混在フレームをシーン切り替え点として検出した場合、及びステップS810において、最後のマクロブロックであると判断された場合には、ストリームの解析が終了したか否かを判定する(ステップS811)。終了していない場合は、ステップS802に戻り、次のI・P・Bスライス混在フレームを検出し、同様の処理を行う。ストリームの解析が終了した場合は、シーン切り替え点検出処理を終了する。
このように、I・P・Bスライス混在フレームにおいて、マクロブロックのタイプを判別することにより、シーン切り替え点を検出することが可能となる。
<第5の実施の形態>
第5の実施の形態のデジタルカメラ1について説明する。第5の実施の形態のデジタルカメラ1は、I・P・Bスライス混在フレームにおいて、Iスライスが占める割合からシーン切り替え点を検出する。図9は、第5の実施の形態のデジタルカメラ1のシーン切り替え点検出処理について示したフローチャートである。
これまでと同様に、シーン切り替え点検出モジュール35は、記録媒体29から動画ストリームを取得し、解析を開始する(ステップS901)。まず、動画ストリームからI・P・Bスライス混在フレームを検出する(ステップS902)。
次に、検出したI・P・Bスライス混在フレームから、Iスライスを検出し(ステップS903)、現フレーム内におけるIスライスが占める割合を算出する(ステップS904)。そして、算出したIスライスが占める割合が所定の閾値Tより多いか否かを判定する(ステップS905)。これまでと同様に、閾値Tは、現I・P・Bスライス混在フレームの80%としているが、適宜決めればよい。Iスライスが占める割合が所定の閾値Tより多い場合は、現I・P・Bスライス混在フレームをシーン切り替え点として検出する(ステップS906)。
次に、ストリームの解析が終了したか否かを判定する(ステップS907)。終了していない場合は、ステップS902に戻り、次のI・P・Bスライス混在フレームを検出し、同様の処理を行う。ストリームの解析が終了した場合は、シーン切り替え点検出処理を終了する。
このように、I・P・Bスライス混在フレームにおいて、フレーム内におけるIスライスが占める割合から、シーン切り替え点を検出することが可能となる。
<第6の実施の形態>
第6の実施の形態のデジタルカメラ1について説明する。第6の実施の形態のデジタルカメラ1は、シーン切り替え点のフレームについて、復号を行う。図10は、第6の実施の形態のデジタルカメラ1のこの処理について示したフローチャートである。
これまでと同様に、シーン切り替え点検出モジュール35は、記録媒体29から動画ストリームを取得し、解析を開始する(ステップS1001)。まず、動画ストリームからフレームを検出する(ステップS1002)。
次に、検出したフレームが、Iフレームであるか否かを判定する(ステップS1003)。検出したフレームがIフレームである場合は、このIフレームが格納されているアドレスを記憶する(ステップS1004)。
また、検出したフレームについて、シーン切り替え点の検出処理を行い(ステップS1005)、このフレームがシーン切り替え点であるか否かの検出を行う(ステップS1006)。
検出したフレームがシーン切り替え点であると判断した場合は、動画伸張処理部37は、ステップS1004において記憶したアドレスを利用して、Iフレームからシーン切り替え点であるフレームを復号し、別ファイルとして記録する(ステップS1007)。
次に、ストリームの解析が終了したか否かを判定する(ステップS1008)。終了していない場合は、ステップS1002に戻り、次のフレームを検出し、同様の処理を行う。ストリームの解析が終了した場合は、処理を終了する。
このように、Iフレームの格納されているアドレスを予め記憶しておくことにより、シーン切り替え点であるフレームを高速に復号することが可能となる。
<第7の実施の形態>
第7の実施の形態のデジタルカメラ1について説明する。第7の実施の形態のデジタルカメラ1は、Pフレーム、Bフレーム、及びI・P・B混在フレームにおいてシーン切り替え点検出処理を行うと共に、記憶したIフレームの格納アドレスを利用してシーン切り替え点フレームの復号を行う。図11は、第7の実施の形態のデジタルカメラ1のシーン切り替え点検出処理について示したフローチャートである。
これまでと同様に、シーン切り替え点検出モジュール35は、記録媒体29から動画ストリームを取得し、解析を開始する(ステップS1101)。まず、動画ストリームからフレームを検出する(ステップS1102)。
次に、検出したフレームが、Iフレームであるか否かを判定する(ステップS1103)。検出したフレームがIフレームである場合は、このIフレームが格納されているアドレスを記憶する(ステップS1104)。さらに、ストリームの解析が終了したか否かを判定し(ステップS1112)、終了していない場合は、ステップS1102に戻り、次のフレームを検出し、同様の処理を行う。ストリームの解析が終了した場合は、処理を終了する。
検出したフレームがIフレームで無い場合は、I・P・Bスライス混在フレームであるか否かを判定する(ステップS1105)。I・P・Bスライス混在フレームである場合は、シーン切り替え点検出処理を行う(ステップS1106)。このI・P・Bスライス混在フレームにおけるシーン切り替え点検出処理は、第3〜5の実施の形態のデジタルカメラ1の検出処理と同様に行えばよく、また、他の方法を用いてもよい。
検出したフレームがI・P・Bスライス混在フレームでない場合は、Bフレームであるか否かの判定を行う(ステップS1109)。Bフレームである場合は、シーン切り替え点検出処理を行う(ステップS1110)。このBフレームにおけるシーン切り替え点検出処理は、第2の実施の形態のデジタルカメラ1の検出処理と同様に行えばよく、また、他の方法を用いてもよい。
検出したフレームがBフレームでない場合は、このフレームはPフレームであり、シーン切り替え点検出処理を行う(ステップS1111)。このPフレームにおけるシーン切り替え点検出処理は、第1の実施の形態のデジタルカメラ1の検出処理と同様に行えばよく、また、他の方法を用いてもよい。
次に、現フレームがシーン切り替え点であるか否かの判定を行う(ステップS1107)。シーン切り替え点である場合は、記憶されているIフレームのアドレスを利用して、シーン切り替え点のフレームを復号する(ステップS1108)。
さらに、ストリームの解析が終了したか否かを判定し(ステップS1112)、終了していない場合は、ステップS1102に戻り、次のフレームを検出し、同様の処理を行う。ストリームの解析が終了した場合は、処理を終了する。
このように、フレームに応じたシーン切り替え点検出処理を行い、またIフレームの格納されているアドレスを予め記憶しておくことにより、シーン切り替え点であるフレームを高速に復号することが可能となる。なお、本実施の形態ではIフレームについてはシーン切り替え点検出処理を行っていないが、Iフレームからシーン切り替え点を検出する従来技術と組み合わせることにより、動画ストリーム中の全てのフレームをシーン切り替え点検出の対象としてもよい。
<第8の実施の形態>
第8の実施の形態のデジタルカメラ1について説明する。第8の実施の形態のデジタルカメラ1は、動画の符号化と同時に、Pフレーム、Bフレーム、及びI・P・B混在フレームにおいてシーン切り替え点検出処理を行う。図12は、第8の実施の形態のデジタルカメラ1のシーン切り替え点検出処理について示したフローチャートである。
シーン切り替え点検出モジュール35は、動画撮影中において、動画圧縮処理部36から動画ストリームを取得し、解析を開始する(ステップS1201)。まず、動画ストリームからフレームの種別を検出する(ステップS1202)。
次に、検出したフレーム種別が、I・P・Bスライス混在フレームであるか否かを判定する(ステップS1203)。I・P・Bスライス混在フレームである場合は、シーン切り替え点検出処理を行う(ステップS1204)。このI・P・Bスライス混在フレームにおけるシーン切り替え点検出処理は、第3〜5の実施の形態のデジタルカメラ1の検出処理と同様に行えばよく、また、他の方法を用いてもよい。
検出したフレームがI・P・Bスライス混在フレームでない場合は、Bフレームであるか否かの判定を行う(ステップS1207)。Bフレームである場合は、シーン切り替え点検出処理を行う(ステップS1208)。このBフレームにおけるシーン切り替え点検出処理は、第2の実施の形態のデジタルカメラ1の検出処理と同様に行えばよく、また、他の方法を用いてもよい。
検出したフレームがBフレームでない場合は、Pフレームであるか否かの判定を行う(ステップS1209)。Pフレームである場合は、シーン切り替え点検出処理を行う(ステップS1210)。このPフレームにおけるシーン切り替え点検出処理は、第1の実施の形態のデジタルカメラ1の検出処理と同様に行えばよく、また、他の方法を用いてもよい。また、検出したフレームがPフレームでない場合は、ステップS1211に進む。ステップS1211については後述する。
次に、現フレームがシーン切り替え点であるか否かの判定を行う(ステップS1205)。シーン切り替え点である場合は、このフレームを復号し、記憶する(ステップS1206)。
次に、動画の符号化が終了したか否かを判定する(ステップS1211)。終了していない場合は、ステップS1202に戻り、次のフレームを検出し、同様の処理を行う。符号化が終了した場合は、処理を終了する。
このように、符号化と同時にシーン切り替え点であるフレームを復号することが可能となる。なお、本実施の形態ではIフレームについてはシーン切り替え点検出処理を行っていないが、Iフレームからシーン切り替え点を検出する従来技術と組み合わせることにより、動画ストリーム中の全てのフレームをシーン切り替え点検出の対象としてもよい。
<第9の実施の形態>
第9の実施の形態のデジタルカメラ1について説明する。第9の実施の形態のデジタルカメラ1は、動画再生モードにおいて、ユーザがどの動画を再生させるかを選択する際に各動画のシーン切り替え点の画像を定期的に切り替えて表示を行う。図13は、第9の実施の形態のデジタルカメラ1の動画選択時の処理について示したフローチャートである。
まず、ユーザが動作モード切り替えスイッチ118を操作することにより、動画再生モードへ移行する(ステップS1301)。CPU15は、記録媒体29に記録されている動画ファイルを選択する(ステップS1302)。
次に、選択された動画ファイルのシーン切り替え点の検出が終了しているか否かを判定する(ステップS1303)。シーン切り替え点の検出がされていない場合は、動画ストリームからシーン切り替え点を検出する(ステップS1304)。
選択された動画ファイルのシーン切り替え点の検出が予め終了していた場合、又はステップS1304でシーン切り替え点の検出が終了した場合は、先頭シーンの画像を表示制御部32を介してLCDパネル115へ表示する(ステップS1305)。ここで、ステップS1302において、1つの動画ファイルが選択されている場合には、図14(a)に示すようにLCDパネル115に選択されている動画ファイル201の先頭シーンの表示を行う。また、ステップS1302において、例えば4つの動画ファイルが選択されている場合には、図14(b)に示すように、LCDパネル115に選択されている動画ファイル201〜204を同時に表示する。同時に表示する動画の数は、ユーザが設定できてもよい。
次に、一定時間待つ(ステップS1306)。この時間は、数100ミリ秒から数秒程度であり、デジタルカメラ1に予め設定された時間でもよいし、ユーザが設定できてもよい。
一定時間が経過したら、動画再生要求があったか否かを判定する(ステップS1307)。ユーザは汎用キー117を用いて再生する画像を選択することができ、メニューボタン119を用いて選択した動画を確定することが可能である。なお、ユーザは、LCDパネル115に再生したい動画が表示されていない場合は、汎用キー117を用いることにより、別の動画の先頭シーンを表示させることが可能である。ここでは、表示している動画が選択され、確定された場合に動画再生要求と判断する。
動画再生要求がない場合は、LCDパネル115に表示している動画について、次のシーン切り替え点が存在するか否かを判定する(ステップS1308)。図14(b)に示すように、複数の動画のシーンを表示している場合には、それぞれの動画について判断する。
次のシーン切り替え点が存在する場合は、その切り替え点の画像を表示制御部32を介してLCDパネル115へ表示する(ステップS1309)。また、次のシーン切り替え点が存在しない場合には、ステップS1305へ戻り、先頭シーンの画像を表示制御部32を介してLCDパネル115へ表示する(ステップS1305)。表示を行ったら、一定時間待つ(ステップS1306)。
一定時間が経過したら、再び動画再生要求があったか否かを判定する(ステップS1307)。動画再生要求が無い場合は、次のシーン切り替え点が存在するか否かを判定し(ステップS1308)、次のシーン切り替え点が存在する場合は、その切り替え点の画像を表示制御部32を介してLCDパネル115へ表示する(ステップS1309)。
ステップS1307において動画再生要求があった場合は、選択された動画の再生処理を行う(ステップS1310)。
このように、検出したシーン切り替え点の画像を連続して切り替えて表示することにより、ユーザが動画の内容を知ることが可能となり、所望の動画の選択が容易になる。
<第10の実施の形態>
第10の実施の形態のデジタルカメラ1について説明する。第10の実施の形態のデジタルカメラ1は、動画再生モードにおいて、選択された動画ファイルの各シーン切り替え点の画像を表示し、ユーザが任意のシーン切り替え点から再生を開始することができる。図15は、第10の実施の形態のデジタルカメラ1の動画選択時の処理について示したフローチャートである。
まず、ユーザが動作モード切り替えスイッチ118を操作することにより、動画再生モードへ移行する(ステップS1501)。CPU15は、記録媒体29に記録されている動画ファイルを選択する(ステップS1502)。
次に、選択された動画ファイルのシーン切り替え点の検出が終了しているか否かを判定する(ステップS1503)。シーン切り替え点の検出がされていない場合は、動画ストリームからシーン切り替え点を検出する(ステップS1504)。
選択された動画ファイルのシーン切り替え点の検出が予め終了していた場合、又はステップS1504でシーン切り替え点の検出が終了した場合は、各シーン切り替え点の画像を表示制御部32を介してLCDパネル115へ一覧表示する(ステップS1505)。図16は、9つのシーン切り替え点の画像205a〜205iがLCDパネル115に一覧表示されたことを示す図である。一覧表示する画像の数は9つに限られるものではなく、いくつでもよい。一覧表示する画像の数よりシーン切り替え点の方が多い場合には、スクロール表示をさせてもよい。
ここで、ユーザは汎用キー117を用いて各シーン切り替え点の画像から任意の画像をを選択することができ、メニューボタン119を用いて選択した動画を確定することが可能である。ユーザは、再生を開始したいシーン切り替え点の画像を選択、確定する(ステップS1506)。
シーン切り替え点の画像が選択されると、動画伸張処理部37は、選択された画像に対応するIフレームを取得し(ステップS1507)、取得したIフレームから動画再生を開始する(ステップS1508)。
このように、検出したシーン切り替え点の画像を一覧表示してユーザに見せることにより、ユーザが動画の内容を知ることが可能となり、さらにユーザの選択したシーンから高速に動画再生を始めることが可能となる。
<第11の実施の形態>
第11の実施の形態のデジタルカメラ1について説明する。第11の実施の形態のデジタルカメラ1は、動画再生中において、どのフレームがシーン切り替え点として検出されているかの表示を行う。図17は、第11の実施の形態のデジタルカメラ1の動画選択時の処理について示したフローチャートである。
まず、ユーザが動作モード切り替えスイッチ118を操作することにより、動画再生モードへ移行する(ステップS1701)。CPU15は、記録媒体29に記録されている動画ファイルを選択する(ステップS1702)。
次に、選択された動画ファイルのシーン切り替え点の検出が終了しているか否かを判定する(ステップS1703)。シーン切り替え点の検出がされていない場合は、動画ストリームからシーン切り替え点を検出する(ステップS1704)。
選択された動画ファイルのシーン切り替え点の検出が予め終了していた場合、又はステップS1704でシーン切り替え点の検出が終了した場合は、選択された動画ファイルの再生を開始する(ステップS1705)。
再生を開始したら、現在表示しているフレームがシーン切り替え点であるか否かを判定する(ステップS1706)。表示しているフレームがシーン切り替え点である場合には、現在表示している画像に、その画像がシーン切り替え点である旨の画像やアイコン、文字等を重ねて表示する(ステップS1707)。
次に、最終フレームであるか否かを判定する(ステップS1708)。最終フレームでない場合は、次のフレームが表示されるまで待つ(ステップS1709)。次のフレームが表示されたら、ステップS1706に戻り、再び現在表示しているフレームがシーン切り替え点であるか否かを判定する。最終フレームなった場合は、動画再生処理を終了する(ステップS1710)。
このように、どのフレームがシーン切り替え点として検出されているかを、動画再生中にユーザが知ることが可能となる。
シーン切り替え点である旨の画像等は、シーン切り替え点である画像が表示されている間だけでなく、シーン切り替え点から所定時間表示してもよい。
<第12の実施の形態>
第12の実施の形態のデジタルカメラ1について説明する。第12の実施の形態のデジタルカメラ1は、第9〜11の実施の形態のデジタルカメラ1の機能を全て含んだものである。図18は、第12の実施の形態のデジタルカメラ1の動画選択時の処理について示したフローチャートである。なお、図13、図15、及び図17のフローチャートと共通する部分には同一の符号を付し、その詳細な説明は省略する。
まず、ユーザが動作モード切り替えスイッチ118を操作することにより、動画再生モードへ移行する(ステップS1801)。CPU15は、記録媒体29に記録されている動画ファイルを選択する(ステップS1802)。次に、選択された動画ファイルのシーン切り替え点の検出が終了しているか否かを判定する(ステップS1803)。シーン切り替え点の検出がされていない場合は、動画ストリームからシーン切り替え点を検出する(ステップS1804)。
次に、再生する動画の選択画面の表示を、シーン切り替え点切り替え表示を行うか、一覧表示を行うかの判定を行う(ステップS1805)。ユーザは、汎用キー117を用いて、どちらの表示形式にするかを選択できるようになっている。また、デフォルトでどちらかが選択されており、ユーザがもう一方への出力方法へ切り替えられるようにしてもよい。
切り替え表示が選択された場合は、動画ファイルの先頭シーンの画像を表示制御部32を介してLCDパネル115へ表示し(ステップS1305)、一定時間待つ(ステップS1306)。一定時間が経過したら、動画再生要求があったか否かを判定する(ステップS1307)。
動画再生要求がない場合は、LCDパネル115に表示している動画について、次のシーン切り替え点が存在するか否かを判定する(ステップS1308)。次のシーン切り替え点が存在する場合は、その切り替え点の画像を表示制御部32を介してLCDパネル115へ表示する(ステップS1309)。また、次のシーン切り替え点が存在しない場合には、ステップS1305へ戻り、先頭シーンの画像を表示制御部32を介してLCDパネル115へ表示する(ステップS1305)。表示を行ったら、一定時間待つ(ステップS1306)。
ステップS1307において動画再生要求があった場合は、選択された動画の再生処理を行う(ステップS1310)。
ステップS1805において一覧表示が選択された場合は、各シーン切り替え点の画像を表示制御部32を介してLCDパネル115へ一覧表示する(ステップS1505)。この一覧表示を見て、ユーザは、再生を開始したいシーン切り替え点の画像を選択、確定する(ステップS1506)。シーン切り替え点の画像が選択されると、動画伸張処理部37は、選択された画像に対応するIフレームを取得し(ステップS1507)、取得したIフレームから動画再生を開始する(ステップS1508)。
動画の再生が開始すると、現在表示しているフレームがシーン切り替え点であるか否かを判定する(ステップS1706)。表示しているフレームがシーン切り替え点である場合には、現在表示している画像に、その画像がシーン切り替え点である旨の画像やアイコン、文字等を重ねて表示する(ステップS1707)。
次に、最終フレームであるか否かを判定する(ステップS1708)。最終フレームでない場合は、次のフレームが表示されるまで待つ(ステップS1709)。次のフレームが表示されたら、ステップS1706に戻り、再び現在表示しているフレームがシーン切り替え点であるか否かを判定する。最終フレームなった場合は、動画再生処理を終了する(ステップS1710)。
<第13の実施の形態>
第13の実施の形態のデジタルカメラ1について説明する。第13の実施の形態のデジタルカメラ1は、動画撮影中にシーン切り替え点の検出を行い、シーン切り替え点を検出した場合に、スルー画像に重ねてシーン切り替え点を検出した旨の表示を行う。図19は、第13の実施の形態のデジタルカメラ1の動画撮影時の処理について示したフローチャートである。
まず、ユーザが動作モード切り替えスイッチ118を操作することにより、動画撮影モードへ移行する(ステップS1901)。そして、撮影開始指示と共に、動画撮影処理を開始し(ステップS1902)、同時にシーン切り替え点検出を開始する(ステップS1903)。
次に、撮影中の画像がシーン切り替え点であるか否かを判定する(ステップS1904)。シーン切り替え点である場合は、LCDパネル115にスルー画像と共にシーン切り替え点である旨の画像やアイコン、文字等を重ねて表示する(ステップS1905)。
次に、動画撮影終了指示があったか否かを判定する(ステップS1906)。撮影終了指示がない場合は、ステップS1904に戻り、再び現在撮影しているシーンがシーン切り替え点であるか否かを判定する。動画撮影終了指示があった場合は、動画撮影処理を終了する(ステップS1907)。
このように、動画撮影中にシーン切り替え点が検出されたことをユーザが知ることが可能となる。
シーン切り替え点である旨の画像等は、シーン切り替え点である画像が表示されている間だけでなく、シーン切り替え点から所定時間表示してもよい。
<第14の実施の形態>
第14の実施の形態のデジタルカメラ1について説明する。第14の実施の形態のデジタルカメラ1は、第12及び第13の実施の形態のデジタルカメラ1の機能を全て含んだものである。図20は、第14の実施の形態のデジタルカメラ1の動画再生及び動画撮影時の処理について示したフローチャートである。なお、図18及び図19のフローチャートと共通する部分には同一の符号を付し、その詳細な説明は省略する。
まず、設定されているモードが、動画再生モードであるか動画撮影モードであるかを判定する(ステップS2001)。前述のように、ユーザは、動作モード切り替えスイッチ118を操作することにより、これらのモードを切り替えることが可能である。
動画再生モードが選択された場合は、動画再生モードへ移行する(ステップS1801)。CPU15は、記録媒体29に記録されている動画ファイルを選択する(ステップS1802)。次に、選択された動画ファイルのシーン切り替え点の検出が終了しているか否かを判定する(ステップS1803)。シーン切り替え点の検出がされていない場合は、動画ストリームからシーン切り替え点を検出する(ステップS1804)。
次に、再生する動画の選択画面の表示を、シーン切り替え点切り替え表示を行うか、一覧表示を行うかの判定を行う(ステップS1805)。ユーザは、汎用キー117を用いて、どちらの表示形式にするかを選択できるようになっている。また、デフォルトでどちらかが選択されており、ユーザがもう一方への出力方法へ切り替えられるようにしてもよい。
切り替え表示が選択された場合は、動画ファイルの先頭シーンの画像を表示制御部32を介してLCDパネル115へ表示し(ステップS1305)、一定時間待つ(ステップS1306)。一定時間が経過したら、動画再生要求があったか否かを判定する(ステップS1307)。
動画再生要求がない場合は、LCDパネル115に表示している動画について、次のシーン切り替え点が存在するか否かを判定する(ステップS1308)。次のシーン切り替え点が存在する場合は、その切り替え点の画像を表示制御部32を介してLCDパネル115へ表示する(ステップS1309)。また、次のシーン切り替え点が存在しない場合には、ステップS1305へ戻り、先頭シーンの画像を表示制御部32を介してLCDパネル115へ表示する(ステップS1305)。表示を行ったら、一定時間待つ(ステップS1306)。
ステップS1307において動画再生要求があった場合は、選択された動画の再生処理を行う(ステップS1310)。
ステップS1805において一覧表示が選択された場合は、各シーン切り替え点の画像を表示制御部32を介してLCDパネル115へ一覧表示する(ステップS1505)。この一覧表示を見て、ユーザは、再生を開始したいシーン切り替え点の画像を選択、確定する(ステップS1506)。シーン切り替え点の画像が選択されると、動画伸張処理部37は、選択された画像に対応するIフレームを取得し(ステップS1507)、取得したIフレームから動画再生を開始する(ステップS1508)。
動画の再生が開始すると、現在表示しているフレームがシーン切り替え点であるか否かを判定する(ステップS1706)。表示しているフレームがシーン切り替え点である場合には、現在表示している画像に、その画像がシーン切り替え点である旨の画像やアイコン、文字等を重ねて表示する(ステップS1707)。
次に、最終フレームであるか否かを判定する(ステップS1708)。最終フレームでない場合は、次のフレームが表示されるまで待つ(ステップS1709)。次のフレームが表示されたら、ステップS1706に戻り、再び現在表示しているフレームがシーン切り替え点であるか否かを判定する。最終フレームなった場合は、動画再生処理を終了する(ステップS1710)。
ステップS2001において、動画再生モードが選択された場合は、動画撮影モードへ移行する(ステップS1901)。そして、撮影開始指示と共に、動画撮影処理を開始し(ステップS1902)、同時にシーン切り替え点検出を開始する(ステップS1903)。
次に、撮影中の画像がシーン切り替え点であるか否かを判定する(ステップS1904)。シーン切り替え点である場合は、LCDパネル115にスルー画像と共にシーン切り替え点である旨の画像やアイコン、文字等を重ねて表示する(ステップS1905)。
次に、動画撮影終了指示があったか否かを判定する(ステップS1906)。撮影終了指示がない場合は、ステップS1904に戻り、再び現在撮影しているシーンがシーン切り替え点であるか否かを判定する。動画撮影終了指示があった場合は、動画撮影処理を終了する(ステップS1907)。
本実施の形態ではデジタルカメラを用いて説明したが、本発明に係るシーン切り替え点検出装置はデジタルカメラである必要はなく、デジタルビデオカメラや携帯電話、パーソナルコンピュータ等、動画データを扱える機器であれば何でもよい。
図1は、本発明が適用されたデジタルカメラ1の斜視図である。 図2は、デジタルカメラ1の第1の実施の形態の電気的構成を示すブロック図である。 図3は、デジタル信号処理部26の内部構成を示すブロック図である。 図4は、第1の実施の形態におけるH.264/AVCストリームからシーン切り替え点を検出する処理を示すフローチャートである。 図5は、第2の実施の形態のデジタルカメラ1のシーン切り替え点検出処理について示したフローチャートである。 図6は、第3の実施の形態のデジタルカメラ1のシーン切り替え点検出処理について示したフローチャートである。 図7は、H.264/AVCにおけるI・P・Bスライス混在フレームを示す図である。 図8は、第4の実施の形態のデジタルカメラ1のシーン切り替え点検出処理について示したフローチャートである。 図9は、第5の実施の形態のデジタルカメラ1のシーン切り替え点検出処理について示したフローチャートである。 図10は、第6の実施の形態のデジタルカメラ1のこの処理について示したフローチャートである。 図11は、第7の実施の形態のデジタルカメラ1のシーン切り替え点検出処理について示したフローチャートである。 図12は、第8の実施の形態のデジタルカメラ1のシーン切り替え点検出処理について示したフローチャートである。 図13は、第9の実施の形態のデジタルカメラ1の動画選択時の処理について示したフローチャートである。 図14は、LCDパネル115の表示を示す図である。 図15は、第10の実施の形態のデジタルカメラ1の動画選択時の処理について示したフローチャートである。 図16は、9つのシーン切り替え点の画像205a〜205iがLCDパネル115に一覧表示されたことを示す図である。 図17は、第11の実施の形態のデジタルカメラ1の動画選択時の処理について示したフローチャートである。 図18は、第12の実施の形態のデジタルカメラ1の動画選択時の処理について示したフローチャートである。 図19は、第13の実施の形態のデジタルカメラ1の動画撮影時の処理について示したフローチャートである。 図20は、第14の実施の形態のデジタルカメラ1の動画再生及び動画撮影時の処理について示したフローチャートである。
符号の説明
1…デジタルカメラ、10…撮影レンズ、15…CPU、21…操作部、26…デジタル信号処理部、29…記録媒体、30…外部メモリ制御部、32…表示制御部、35…シーン切り替え検出モジュール、36…動画圧縮処理部、37…動画伸張処理部、113…レリーズボタン、115…LCDパネル、117…汎用キー、118…動作モード切り替えスイッチ

Claims (18)

  1. 一定周期ごとに挿入されるフレーム内予測符号化された基準フレームと、マクロブロック毎に異なるフレームを参照してフレーム間予測符号化された差分フレームとを含む圧縮符号化された動画ストリームを解析して、前記動画のシーン切り替え点を検出するシーン切り替え点検出装置において、
    前記動画ストリームから差分フレームを抽出する手段と、
    前記抽出された差分フレームからマクロブロックを抽出する手段と、
    前記抽出されたマクロブロックのフレーム間予測の参照フレームを検出する手段と、
    前記参照フレームが前記抽出された差分フレームに対して過去のフレームであるか未来のフレームであるかを判断する手段と、
    前記参照フレームが前記抽出された差分フレームに対して未来のフレームであると判断されたマクロブロックが、前記抽出された差分フレームに占める割合を算出する算出手段と、を備え、
    前記割合が所定値以上の場合に、前記抽出された差分フレームをシーン切り替え点として検出することを特徴とするシーン切り替え点検出装置。
  2. 前記動画ストリームから差分フレームを抽出する手段は、1つのマクロブロックにつき参照フレームが1つ存在する差分フレームを抽出することを特徴とする請求項1に記載のシーン切り替え点検出装置。
  3. 前記動画ストリームから差分フレームを抽出する手段は、1つのマクロブロックにつき参照フレームが2つ存在する差分フレームを抽出し、
    前記算出手段は、前記2つの参照フレームが共に前記抽出された差分フレームに対して未来のフレームであると判断されたマクロブロックが、前記抽出された差分フレームに占める割合を算出することを特徴とする請求項1又は2に記載のシーン切り替え点検出装置。
  4. 前記動画ストリームから差分フレームを抽出する手段は、フレーム内予測符合化されたマクロブロックと、1つのマクロブロックにつき参照フレームが1つ存在するマクロブロックと、1つのマクロブロックにつき参照フレームが2つ存在するマクロブロックと、が混在する差分フレームを抽出し、
    前記算出手段は、前記1つのマクロブロックにつき参照フレームが1つ存在するマクロブロックにおいて前記参照フレームが前記抽出された差分フレームに対して未来のフレームであると判断されたマクロブロック、及び前記1つのマクロブロックにつき参照フレームが2つ存在するマクロブロックにおいて前記2つの参照フレームが共に前記抽出された差分フレームに対して未来のフレームであると判断されたマクロブロックが、前記差分フレームに占める割合を算出することを特徴とする請求項1から3のいずれかに記載のシーン切り替え点検出装置。
  5. 一定周期ごとに挿入されるフレーム内予測符号化された基準フレームと、マクロブロック毎に異なるフレームを参照してフレーム間予測符号化された差分フレームとを含む圧縮符号化された動画ストリームを解析して、前記動画のシーン切り替え点を検出するシーン切り替え点検出装置において、
    前記動画ストリームからフレーム内予測を行ったマクロブロックと、1つの参照フレームからフレーム間予測を行ったマクロブロックと、2つの参照フレームからフレーム間予測を行ったマクロブロックと、が混在する差分フレームを抽出する手段と、
    前記抽出された差分フレームからマクロブロックを抽出する手段と、
    前記抽出されたマクロブロックの種別を検出する手段と、
    フレーム内予測を行ったマクロブロック、及び2つの参照フレームからフレーム間予測を行ったマクロブロックが前記抽出された差分フレームに占める割合を算出する算出手段と、を備え、
    前記割合が所定値以上の場合に、前記抽出された差分フレームをシーン切り替え点として検出することを特徴とするシーン切り替え点検出装置。
  6. 一定周期ごとに挿入されるフレーム内予測符号化された基準フレームと、マクロブロック毎に異なるフレームを参照してフレーム間予測符号化された差分フレームとを含む圧縮符号化された動画ストリームを解析して、前記動画のシーン切り替え点を検出するシーン切り替え点検出装置において、
    前記動画ストリームからフレーム内予測を行ったマクロブロックと、1つの参照フレームからフレーム間予測を行ったマクロブロックと、2つの参照フレームからフレーム間予測を行ったマクロブロックと、が混在する差分フレームを抽出する手段と、
    前記抽出された差分フレームからフレーム内予測を行ったマクロブロックを抽出する手段と、
    前記フレーム内予測を行ったマクロブロックが、前記抽出された差分フレームに占める割合を算出する算出手段と、を備え、
    前記割合が所定値以上の場合に、前記抽出された差分フレームをシーン切り替え点として検出することを特徴とするシーン切り替え点検出装置。
  7. 一定周期ごとに挿入されるフレーム内予測符号化された基準フレームと、マクロブロック毎に異なるフレームを参照してフレーム間予測符号化された差分フレームとを含む圧縮符号化された動画ストリームを解析して、前記動画のシーン切り替え点を検出するシーン切り替え点検出装置において、
    前記動画ストリームからフレームを抽出する手段と、
    前記抽出されたフレームが基準フレームである場合に、該基準フレームの動画内の位置を記憶する手段と、
    前記抽出されたフレームが差分フレームである場合に、該差分フレームがシーン切り替え点であるか否かを検出するシーン切り替え点検出手段と、
    シーン切り替え点を検出した場合に、前記記憶した基準フレームの動画内の位置に基づいて、前記シーン切り替え点である差分フレームの画像を復号する手段と、
    前記復号された差分フレームの画像データを記憶する記憶手段と、
    を備えたことを特徴とするシーン切り替え点検出装置。
  8. 前記動画ストリームから前記動画の基準フレームを抽出する手段と、
    前記基準フレームの動画内の位置を記憶する手段と、
    前記記憶した基準フレームの動画内の位置に基づいて、前記検出されたシーン切り替え点である差分フレームを復号することを特徴とする請求項1から6に記載のシーン切り替え点検出装置。
  9. 撮像レンズを介して受光した被写体像を動画データに変換する撮像手段と、
    前記動画データを符号化して動画ストリームを作成する符号化手段と、
    を備えたことを特徴とする請求項8に記載のシーン切り替え点検出装置。
  10. 記録媒体に記録された動画ストリームの再生を指示する再生指示手段と、
    前記再生指示に従って前記動画ストリームを復号して再生する手段と、
    前記再生された動画の表示を行う表示手段と、
    前記動画ストリームからシーン切り替え点を検出する手段と、
    前記シーン切り替え点の画像を復号する手段と、
    前記復号されたシーン切り替え点の画像を前記表示手段に表示する手段と、
    前記シーン切り替え点の画像の表示時間を計時する計時手段と、
    前記再生指示手段による指示があるまで、前記表示手段に前記動画のシーン切り替え点の画像を表示させ、前記計時手段の計時終了時に、異なるシーン切り替え点の画像に切り替えて表示させる制御手段と、
    を備えたことを特徴とするシーン切り替え点検出装置。
  11. 前記再生指示手段は複数の前記動画ストリームの中から再生する動画ストリームを選択する手段を備え、
    前記制御手段は、前記表示手段に前記記録媒体に記録された複数の動画ストリームのシーン切り替え点の画像を一覧表示させることを特徴とする請求項10に記載のシーン切り替え点検出装置。
  12. 記録媒体に記録された動画ストリームの再生を指示する再生指示手段と、
    前記再生指示に従って前記動画ストリームを復号して再生する手段と、
    前記再生された動画の表示を行う表示手段と、
    前記動画ストリームからシーン切り替え点を検出する手段と、
    前記シーン切り替え点の画像を復号する手段と、
    前記再生指示手段による指示があるまで、複数の前記復号されたシーン切り替え点の画像を前記表示手段に一覧表示させる手段と、を備え、
    前記再生指示手段は複数の前記復号されたシーン切り替え点の画像の中から1つのシーン切り替え点の画像を選択する手段を備え、前記動画ストリームを復号して再生する手段は、再生指示があると前記選択されたシーン切り替え点から前記動画ストリームを復号して再生することを特徴とするシーン切り替え点検出装置。
  13. 記録媒体に記録された動画ストリームを復号して再生する手段と、
    前記再生された動画の表示を行う表示手段と、
    前記動画ストリームからシーン切り替え点を検出する手段と、を備え、
    前記再生された動画において前記シーン切り替え点に到達したときに、動画の表示と共に前記シーン切り替え点であることを表示することを特徴とするシーン切り替え点検出装置。
  14. 撮像レンズを介して受光した被写体像を動画データに変換する撮像手段と、
    前記動画データに基づいて前記被写体像をスルー画像として表示する表示手段と、
    前記動画データを符号化して動画ストリームを作成する符号化手段と、
    前記動画ストリームからシーン切り替え点を検出する手段と、を備え、
    前記スルー画像と共に前記シーン切り替え点であることを表示することを特徴とするシーン切り替え点検出装置。
  15. 一定周期ごとに挿入されるフレーム内予測符号化された基準フレームと、マクロブロック毎に異なるフレームを参照してフレーム間予測符号化された差分フレームとを含む圧縮符号化された動画ストリームを解析して、前記動画のシーン切り替え点を検出するシーン切り替え点検出方法において、
    前記動画ストリームから差分フレームを抽出する工程と、
    前記抽出された差分フレームからマクロブロックを抽出する工程と、
    前記抽出されたマクロブロックのフレーム間予測の参照フレームを検出する工程と、
    前記参照フレームが前記抽出された差分フレームに対して過去のフレームであるか未来のフレームであるかを判断する工程と、
    前記参照フレームが前記抽出された差分フレームに対して未来のフレームであると判断されたマクロブロックが、前記抽出された差分フレームに占める割合を算出する算出工程と、を備え、
    前記割合が所定値以上の場合に、前記抽出された差分フレームをシーン切り替え点として検出することを特徴とするシーン切り替え点検出方法。
  16. 一定周期ごとに挿入されるフレーム内予測符号化された基準フレームと、マクロブロック毎に異なるフレームを参照してフレーム間予測符号化された差分フレームとを含む圧縮符号化された動画ストリームを解析して、前記動画のシーン切り替え点を検出するシーン切り替え点検出方法において、
    前記動画ストリームからフレーム内予測を行ったマクロブロックと、1つの参照フレームからフレーム間予測を行ったマクロブロックと、2つの参照フレームからフレーム間予測を行ったマクロブロックと、が混在する差分フレームを抽出する工程と、
    前記抽出された差分フレームからマクロブロックを抽出する工程と、
    前記抽出されたマクロブロックの種別を検出する工程と、
    フレーム内予測を行ったマクロブロック、及び2つの参照フレームからフレーム間予測を行ったマクロブロックが前記抽出された差分フレームに占める割合を算出する算出工程と、を備え、
    前記割合が所定値以上の場合に、前記抽出された差分フレームをシーン切り替え点として検出することを特徴とするシーン切り替え点検出方法。
  17. 一定周期ごとに挿入されるフレーム内予測符号化された基準フレームと、マクロブロック毎に異なるフレームを参照してフレーム間予測符号化された差分フレームとを含む圧縮符号化された動画ストリームを解析して、前記動画のシーン切り替え点を検出するシーン切り替え点検出方法において、
    前記動画ストリームからフレーム内予測を行ったマクロブロックと、1つの参照フレームからフレーム間予測を行ったマクロブロックと、2つの参照フレームからフレーム間予測を行ったマクロブロックと、が混在する差分フレームを抽出する工程と、
    前記抽出された差分フレームからフレーム内予測を行ったマクロブロックを抽出する工程と、
    前記フレーム内予測を行ったマクロブロックが、前記抽出された差分フレームに占める割合を算出する算出工程と、を備え、
    前記割合が所定値以上の場合に、前記抽出された差分フレームをシーン切り替え点として検出することを特徴とするシーン切り替え点検出方法。
  18. 一定周期ごとに挿入されるフレーム内予測符号化された基準フレームと、マクロブロック毎に異なるフレームを参照してフレーム間予測符号化された差分フレームとを含む圧縮符号化された動画ストリームを解析して、前記動画のシーン切り替え点を検出するシーン切り替え点検出方法において、
    前記動画ストリームからフレームを抽出する工程と、
    前記抽出されたフレームが基準フレームである場合に、該基準フレームの動画内の位置を記憶する工程と、
    前記抽出されたフレームが差分フレームである場合に、該差分フレームがシーン切り替え点であるか否かを検出するシーン切り替え点検出工程と、
    シーン切り替え点を検出した場合に、前記記憶した基準フレームの動画内の位置に基づいて、前記シーン切り替え点である差分フレームの画像を復号する工程と、
    前記復号された差分フレームの画像データを記憶する記憶工程と、
    を備えたことを特徴とするシーン切り替え点検出方法。
JP2007252443A 2007-09-27 2007-09-27 シーン切り替え点検出装置及びシーン切り替え点検出方法 Abandoned JP2009088686A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007252443A JP2009088686A (ja) 2007-09-27 2007-09-27 シーン切り替え点検出装置及びシーン切り替え点検出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007252443A JP2009088686A (ja) 2007-09-27 2007-09-27 シーン切り替え点検出装置及びシーン切り替え点検出方法

Publications (1)

Publication Number Publication Date
JP2009088686A true JP2009088686A (ja) 2009-04-23

Family

ID=40661571

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007252443A Abandoned JP2009088686A (ja) 2007-09-27 2007-09-27 シーン切り替え点検出装置及びシーン切り替え点検出方法

Country Status (1)

Country Link
JP (1) JP2009088686A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109168001A (zh) * 2018-09-27 2019-01-08 苏州科达科技股份有限公司 视频场景变化的检测方法、装置及视频采集设备
CN113542851A (zh) * 2021-07-09 2021-10-22 Vidaa美国公司 一种菜单刷新方法及显示设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08214253A (ja) * 1995-01-31 1996-08-20 Sony Corp デイスク装置
JPH09247602A (ja) * 1996-03-07 1997-09-19 Kokusai Denshin Denwa Co Ltd <Kdd> 動画像検索装置
JPH09261648A (ja) * 1996-03-21 1997-10-03 Fujitsu Ltd シーンチェンジ検出装置
JP2002044611A (ja) * 2000-07-24 2002-02-08 Funai Electric Co Ltd ディスク再生装置
JP2003179872A (ja) * 2002-08-27 2003-06-27 Sony Corp 記録装置および記録方法、並びに記録媒体
JP2006262094A (ja) * 2005-03-17 2006-09-28 Funai Electric Co Ltd 映像データ再生装置
JP2007184909A (ja) * 2005-12-05 2007-07-19 Canon Inc 画像符号化装置、画像符号化装置の制御方法、プログラム並びに記憶媒体

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08214253A (ja) * 1995-01-31 1996-08-20 Sony Corp デイスク装置
JPH09247602A (ja) * 1996-03-07 1997-09-19 Kokusai Denshin Denwa Co Ltd <Kdd> 動画像検索装置
JPH09261648A (ja) * 1996-03-21 1997-10-03 Fujitsu Ltd シーンチェンジ検出装置
JP2002044611A (ja) * 2000-07-24 2002-02-08 Funai Electric Co Ltd ディスク再生装置
JP2003179872A (ja) * 2002-08-27 2003-06-27 Sony Corp 記録装置および記録方法、並びに記録媒体
JP2006262094A (ja) * 2005-03-17 2006-09-28 Funai Electric Co Ltd 映像データ再生装置
JP2007184909A (ja) * 2005-12-05 2007-07-19 Canon Inc 画像符号化装置、画像符号化装置の制御方法、プログラム並びに記憶媒体

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109168001A (zh) * 2018-09-27 2019-01-08 苏州科达科技股份有限公司 视频场景变化的检测方法、装置及视频采集设备
CN109168001B (zh) * 2018-09-27 2021-02-12 苏州科达科技股份有限公司 视频场景变化的检测方法、装置及视频采集设备
CN113542851A (zh) * 2021-07-09 2021-10-22 Vidaa美国公司 一种菜单刷新方法及显示设备
CN113542851B (zh) * 2021-07-09 2023-05-09 Vidaa美国公司 一种菜单刷新方法及显示设备

Similar Documents

Publication Publication Date Title
US7978239B2 (en) Digital camera using multiple image sensors to provide improved temporal sampling
KR101436639B1 (ko) 정보 처리 장치, 촬상 장치, 화상 표시 제어 방법, 및 기록 매체
JP4525561B2 (ja) 撮像装置、画像処理方法、並びにプログラム
JP2009147730A (ja) 動画生成装置、動画撮影装置、動画生成方法及びプログラム
WO2012138620A2 (en) Digital camera having variable duration burst mode
JP2009038649A (ja) 信号処理回路、及び撮影装置
JP4938615B2 (ja) 動画像記録再生装置
JP2007259155A (ja) カメラ、カメラの決定方法、カメラの制御方法
JP5883052B2 (ja) 画像処理装置及びその制御方法
JP4850111B2 (ja) 画像表示装置およびそれを搭載した撮像装置
JP2010021710A (ja) 撮像装置、画像処理装置およびプログラム
JP2009038478A (ja) プログラム、画像処理装置、撮像装置および画像処理方法
JP5058780B2 (ja) 画像処理装置
JP2009088686A (ja) シーン切り替え点検出装置及びシーン切り替え点検出方法
JP2007166539A (ja) 撮像装置、撮像方法、プログラムおよび記憶媒体
JP4902365B2 (ja) 画像合成装置及びプログラム
JP4300074B2 (ja) 静止画像抽出装置及び静止画像抽出方法
JP5167964B2 (ja) 表示制御装置、表示制御方法およびプログラム
JP2010021708A (ja) 画像処理装置および撮像装置
JP4966680B2 (ja) 動画再生装置、動画再生方法及び撮影装置
JP2015159405A (ja) 画像処理装置、撮像装置、制御方法、プログラム、及び記憶媒体
JP6294725B2 (ja) 画像処理装置、撮像装置、画像処理装置の制御方法、及び、プログラム
JP2013146025A (ja) 撮像装置
JP4300959B2 (ja) 電子カメラ並びに画像編集装置及び方法
JP2005192096A (ja) 撮像装置、動画ファイルの記録方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100222

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110615

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110617

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110812

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110914

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20111012