JP2011024017A - 動画抽出装置、プログラム、および動画抽出方法 - Google Patents

Abstract

【課題】動画抽出装置、プログラム、および動画抽出方法を提供すること。
【解決手段】動画を構成する各フレームのボケの度合を示すボケ値を取得するボケ値取得部と、前記ボケ値取得部により取得された前記ボケ値の分散が第１の値より低い安定区間と、前記安定区間でない不安定区間とに前記動画を区分する区間決定部と、前記動画から、前記区間決定部により得られた前記安定区間または前記不安定区間に基づく区間抽出を行う抽出部と、を動画抽出装置に設ける。
【選択図】図２

Description

本発明は、動画抽出装置、プログラム、および動画抽出方法に関する。

近日、入射光を電気信号に変換することにより動画を得ることが可能な撮像装置が広く普及している。ユーザは、この撮像装置を用い、子供の運動会の様子、旅行での風景、およびペットの仕草などを動画として保存することができる。

また、撮像装置により得られた動画の一区間を抽出してショートムービーを作成する自動編集用ソフトウェアも提案されている。この自動編集用ソフトウェアによれば、動画の抽出区間は例えばランダムに決定される。なお、動画の自動編集用ソフトウェアの一例が特許文献１に記載されている。

特開２００４−１５９３３１号公報

しかし、上記の自動編集用ソフトウェアでは、動画の抽出区間が例えばランダムに決定されるため、ユーザの所望する区間を抽出することが困難であった。例えば、ユーザが魅力的な動画部分の抽出を所望した場合に、上記の自動編集用ソフトウェアでは焦点の合っていないボケた動画部分が抽出されてしまう場合が想定された。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、動画からの区間抽出を各フレームのボケ値に応じて行うことが可能な、新規かつ改良された動画抽出装置、プログラム、および動画抽出方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、動画を構成する各フレームのボケの度合を示すボケ値を取得するボケ値取得部と、前記ボケ値取得部により取得された前記ボケ値の分散が第１の値より低い安定区間と、前記安定区間でない不安定区間とに前記動画を区分する区間決定部と、前記動画から、前記区間決定部により得られた前記安定区間または前記不安定区間に基づく区間抽出を行う抽出部と、を備える動画抽出装置が提供される。

前記区間決定部は、動画中の異なるフレームを順次に始点として選択し、選択したフレームを含む区間を、前記ボケ値の分散が前記第１の値を上回るまで広げて安定区間を定義する１次処理部を有してもよい。

前記１次処理部は、安定区間と定義されてなく、かつ、始点として選ばれていないフレームが無くなるまで、前記安定区間の定義を繰り返してもよい。

前記区間決定部は、各不安定区間と、前記各不安定区間の前後に定義された安定区間とを含む区間のボケ値の分散が前記第１の値を下回っているか否かを判断し、前記区間のボケ値の分散が前記第１の値を下回っている場合、前記区間を安定区間と定義する２次処理部を有してもよい。

前記区間決定部は、前記２次処理部により定義された安定区間を、前記ボケ値の分散が前記第１の値を上回るまで広げる３次処理部を有してもよい。

前記抽出部は、前記安定区間または前記不安定区間のうちで、前記ボケ値の平均値が第２の値より小さい区間を抽出してもよい。

前記抽出部は、前記ボケ値の平均値が第２の値より小さいことに加え、区間長さが第３の値より長い区間を抽出してもよい。

前記抽出部は、前記安定区間または前記不安定区間のうちで、最大ボケ値が第４の値より高い区間、および、区間長さが第５の値より短い区間を抽出してもよい。

前記抽出部は、さらに、最大ボケ値が前記第４の値より高い安定区間に隣接する不安定区間を抽出してもよい。

前記動画抽出装置は、ボケ値取得部により取得された新たなフレームのボケ値を一時的に保存するバッファをさらに備え、前記区間決定部は、前記バッファに未処理フレームのボケ値が所定量以上保存された後に前記動画の区分を行なってもよい。

前記区間決定部は、未処理フレームの直前フレームが安定区間に属する場合、前記直前フレームが属する安定区間を、前記ボケ値の分散が前記第１の値を上回るまで未処理フレーム側へ広げてもよい。

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、動画を構成する各フレームのボケの度合を示すボケ値を取得するボケ値取得部と、前記ボケ値取得部により取得された前記ボケ値の分散が第１の値より低い安定区間と、前記安定区間でない不安定区間とに前記動画を区分する区間決定部と、前記動画から、前記区間決定部により得られた前記安定区間または前記不安定区間に基づく区間抽出を行う抽出部と、として機能させるためのプログラムが提供される。

また、上記課題を解決するために、本発明の別の観点によれば、動画を構成する各フレームのボケの度合を示すボケ値を取得するステップと、前記ボケ値の分散が第１の値より低い安定区間と、前記安定区間でない不安定区間とに前記動画を区分するステップと、前記動画から、前記安定区間または前記不安定区間に基づく区間抽出を行うステップと、を含む動画抽出方法が提供される。

以上説明したように、本発明にかかる動画抽出装置、プログラム、および動画抽出方法によれば、動画からの区間抽出を各フレームのボケ値に応じて行うことができる。

本発明の一実施形態による画像抽出システムを示した説明図である。 画像抽出装置の動作の概略的な流れを示した説明図である。 画像抽出装置のハードウェア構成を示したブロック図である。 第１の実施形態による画像抽出装置の構成を示した機能ブロック図である。 安定区間および不安定区間の具体例を示した説明図である。 １次処理部による１次処理の具体例を示した説明図である。 ２次処理部による２次処理の具体例を示した説明図である。 ３次処理部による３次処理の具体例を示した説明図である。 ボケ統計値の一例を示した説明図である。 抽出部が抽出する失敗カットの具体例を示した説明図である。 抽出部が抽出するお奨めカットの具体例を示した説明図である。 第１の実施形態による画像抽出装置の動作の流れを示したフローチャートである。 第２の実施形態による動画抽出装置の構成を示した機能ブロック図である。 未処理フレームのボケ値および処理済みフレームのボケ値を模式的に示した説明図である。 未処理フレームのボケ値および処理済みフレームのボケ値を模式的に示した説明図である。 第２の実施形態における区間決定の流れを示したフローチャートである。 バッファリングの詳細フローを示したフローチャートである。 前処理の詳細の詳細フローを示したフローチャートである。 前処理の具体例を示した説明図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
１．画像抽出装置の概要
２．第１の実施形態
２−１．画像抽出装置のハードウェア構成
２−２．画像抽出装置の機能
２−３．画像抽出装置の動作
３．第２の実施形態
４．まとめ

＜１．画像抽出装置の概要＞
まず、図１および図２を参照し、本発明の一実施形態による画像抽出装置２０について概略的に説明する。

図１は、本発明の一実施形態による画像抽出システム１を示した説明図である。図１に示したように、画像抽出システム１は、撮像装置１０および画像抽出装置２０を含む。

撮像装置１０は、入射光を電気信号に変換することにより、複数フレームからなる動画を取得する。また、撮像装置１０は、取得した動画を、撮像装置１０に一体的に搭載されている記憶媒体、または撮像装置１０と着脱可能に装着されている記憶媒体に記録する。なお、撮像装置１０は、ユーザによる録画開始操作に基づいて動画の取得を開始し、ユーザによる録画停止操作に基づいて動画の取得を終了してもよい。

画像抽出装置２０は、撮像装置１０における撮像により得られた動画を取得する。例えば、画像抽出装置２０は、動画が記録された記憶媒体が装着され、記憶媒体から動画を取得してもよい。または、撮像装置１０が有線または無線で動画を送信し、画像抽出装置２０は、撮像装置１０から送信された動画を受信してもよい。

なお、図１においては画像抽出装置２０がＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）である例を示したが、画像抽出装置２０はＰＣに限定されない。例えば、画像抽出装置２０は、家庭用映像処理装置（ＤＶＤレコーダ、ビデオデッキなど）、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、家庭用ゲーム機器、家電機器などの情報処理装置であってもよい。また画像抽出装置２０は、携帯電話、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）、携帯用音楽再生装置、携帯用映像処理装置、携帯用ゲーム機器などの情報処理装置であってもよい。

また、画像抽出装置２０は、取得した動画中の一区間を抽出する。例えば、画像抽出装置２０は、動画を構成する各フレームのボケの度合に基づき、動画中の失敗カットまたはお奨めカットを抽出する。以下、図２を参照し、画像抽出装置２０が失敗カットまたはお奨めカットを抽出するまでの流れを簡単に説明する。

図２は、画像抽出装置２０の動作の概略的な流れを示した説明図である。図２に示したように、画像抽出装置２０は、動画を構成する各フレームのボケ値を算出する（Ｓ４０）。なお、ボケ値は、ボケの程度を示す指標であり、値が大きいほどボケの程度が高いことを示す。

その後、画像抽出装置２０は、動画中の安定区間および不安定区間を決定する（Ｓ４２）。なお、安定区間は、ボケ値の分散が閾値Ｔｈ１以下である区間である。また、不安定区間は、ボケ値の分散が閾値Ｔｈ１を上回っている区間であり、安定区間よりボケの程度の変動が大きい区間である。

続いて、画像抽出装置２０は、各区間のボケ統計値を示すリストに基づき、動画からの抽出区間を決定する（Ｓ４４）。例えば、画像抽出装置２０は、各区間の平均ボケ値、最大ボケ値、ボケ値分散などのボケ統計値を示すリストに基づき、お奨めカット、または失敗カットを抽出してもよい。

以上説明したように、本発明の一実施形態による画像抽出装置２０は、動画を構成する各フレームのボケ値に基づき、お奨めカット、または失敗カットを抽出することが可能である。以下、図１３〜図１９を参照し、このような画像抽出装置２０について詳細に説明する。

＜２．第１の実施形態＞
（２−１．画像抽出装置のハードウェア構成）
図３は、画像抽出装置２０のハードウェア構成を示したブロック図である。画像抽出装置２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３と、ホストバス２０４と、を備える。また、画像抽出装置２０は、ブリッジ２０５と、外部バス２０６と、インタフェース２０７と、入力装置２０８と、出力装置２１０と、ストレージ装置（ＨＤＤ）２１１と、ドライブ２１２と、通信装置２１５とを備える。

ＣＰＵ２０１は、演算処理装置および制御装置として機能し、各種プログラムに従って画像抽出装置２０内の動作全般を制御する。また、ＣＰＵ２０１は、マイクロプロセッサであってもよい。ＲＯＭ２０２は、ＣＰＵ２０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ２０３は、ＣＰＵ２０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス２０４により相互に接続されている。

ホストバス２０４は、ブリッジ２０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス２０６に接続されている。なお、必ずしもホストバス２０４、ブリッジ２０５および外部バス２０６を分離構成する必要はなく、一のバスにこれらの機能を実装してもよい。

入力装置２０８は、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ２０１に出力する入力制御回路などから構成されている。画像抽出装置２０のユーザは、該入力装置２０８を操作することにより、画像抽出装置２０に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置２１０は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。さらに、出力装置２１０は、スピーカおよびヘッドホンなどの音声出力装置を含む。出力装置２１０は、例えば、再生されたコンテンツを出力する。具体的には、表示装置は再生された映像データ等の各種情報をテキストまたはイメージで表示する。一方、音声出力装置は、再生された音声データ等を音声に変換して出力する。

ストレージ装置２１１は、本実施形態にかかる画像抽出装置２０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置２１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置２１１は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）で構成される。このストレージ装置２１１は、ハードディスクを駆動し、ＣＰＵ２０１が実行するプログラムや各種データを格納する。

ドライブ２１２は、記憶媒体用リーダライタであり、画像抽出装置２０に内蔵、あるいは外付けされる。ドライブ２１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体２４に記録されている情報を読み出して、ＲＡＭ２０３に出力する。

通信装置２１５は、例えば、通信網１２に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置２１５は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、ワイヤレスＵＳＢ対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。

（２−２．画像抽出装置の機能）
以上、図３を参照して画像抽出装置２０のハードウェア構成を説明した。続いて、図４〜図１１を参照し、画像抽出装置２０の機能を説明する。

図４は、第１の実施形態による画像抽出装置２０の構成を示した機能ブロック図である。図４に示したように、第１の実施形態による画像抽出装置２０は、記憶部２１６と、ボケ値取得部２１８と、区間決定部２２０と、統計値取得部２３０と、抽出部２３４と、を備える。

記憶部２１６は、撮像装置１０において動画が記録された記憶媒体である。記憶媒体としては、不揮発性メモリ、磁気ディスク、光ディスク、およびＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ）ディスクなどがあげられる。不揮発性メモリとしては、例えば、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）があげられる。また、磁気ディスクとしては、ハードディスクおよび円盤型磁性体ディスクなどがあげられる。また、光ディスクとしては、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ、ＤＶＤ−Ｒ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅｃｏｒｄａｂｌｅ）およびＢＤ（Ｂｌｕ−Ｒａｙ Ｄｉｓｃ（登録商標））などがあげられる。なお、記憶部２１６は、撮像装置１０から送信された動画が受信される記憶媒体であってもよい。

ボケ値取得部２１８は、記憶部２１６に記録されている動画を構成する各フレームのボケ値を取得する。このボケ値は、フレームのエッジ成分に基づいて取得することができる。例えば、焦点の合っていないボケているフレームほどエッジ部分の輝度分布の変化が緩やかであり、焦点の合っているボケていないフレームほどエッジ部分の輝度分布の変化が急峻である。そこで、ボケ値取得部２１８は、エッジ部分における輝度分布の変化の急峻さに基づいてボケ値を取得してもよい。

区間決定部２２０は、ボケ値取得部２１８により取得された各フレームのボケ値に基づいて、図５に示すように、ボケ値の分散が閾値Ｔｈ１（第１の値）以下である安定区間と、閾値Ｔｈ１を上回る不安定区間とに動画を区分する。

図５は、安定区間および不安定区間の具体例を示した説明図である。図５に示したように、区間決定部２２０は、ボケ値の変動が少ない区間を安定区間として決定し（実線楕円部分）、ボケ値の変動が大きい区間を不安定区間として決定する。このような区間決定を行うために、区間決定部２２０は、１次処理部２２１と、２次処理部２２２と、３次処理部２２３と、を備える。

１次処理部２２１は、動画中の異なるフレームを順次に始点として選択し、選択したフレームを含む区間を、ボケ値の分散が閾値Ｔｈ１を上回るまで広げて安定区間を定義する。より詳細には、１次処理部２２１は、選択したフレームを始点とする未来方向の区間をボケ値の分散が閾値Ｔｈ１を上回るまで広げた後、過去方向の区間もボケ値の分散が閾値Ｔｈ１を上回るまで広げることにより、安定区間を定義する。以下、図６を参照して具体的に説明する。

図６は、１次処理部２２１による１次処理の具体例を示した説明図である。図６の１段目に示したように、最初は、全フレームが不安定候補区間である。なお、図６において「ｘ−８」・・・「ｘ」・・・「ｘ＋７」はフレーム番号を示す。

ここで、図６の２段目に示したように、１次処理部２２１がフレーム「ｘ」を始点として選択した場合を考える。この場合、１次処理部２２１は、フレーム「ｘ」を始点として、未来方向の区間をフレーム「ｘ＋１」、「ｘ＋２」、「ｘ＋３」と広げていく。そして、１次処理部２２１は、未来方向の区間をフレーム「ｘ＋４」まで広げるとボケ値の分散が閾値Ｔｈ１を上回ってしまうため、図６の３段目に示したように、未来方向への区間の延長をフレーム「ｘ＋３」で終える。

続いて、１次処理部２２１は、フレーム「ｘ」を始点として、過去方向の区間をフレーム「ｘ−１」、「ｘ‐２」と広げていく。そして、１次処理部２２１は、過去方向の区間をフレーム「ｘ−３」まで広げるとボケ値の分散が閾値Ｔｈ１を上回ってしまうため、図６の４段目に示したように、過去方向への区間の延長をフレーム「ｘ−２」で終える。１次処理部２２１は、このようにして区間を広げていくことにより、安定区間を定義する。

また、１次処理部２２１は、安定区間として定義されていない不安定候補区間からあるフレームを選択して図６に示した１次処理を繰り返す。例えば、１次処理部２２１は、不安定候補区間中でボケ値が最大であるフレームを選択しても、ボケ値が最小であるフレームを選択してもよい。なお、１次処理部２２１は、このような１次処理を、全てのフレームが、安定区間に属する、または始点として選択されるまで繰り返す。

２次処理部２２２は、各不安定候補区間（１次的な不安定区間）と、各不安定候補区間の前後に定義された安定区間とを含む区間のボケ値の分散が閾値Ｔｈ１以下であるか否かを判断する。そして、２次処理部２２２は、上記区間のボケ値の分散が閾値Ｔｈ１以下である場合、上記区間全体を安定区間と定義する。以下、２次処理部２２２による２次処理について図７を参照して具体的に説明する。

図７は、２次処理部２２２による２次処理の具体例を示した説明図である。なお、図７上段における色つき部分は１次処理部２２１により安定区間として定義された区間を示し、他の部分は１次処理部２２１により安定区間として定義されなかった不安定候補区間を示す。例えば、図７上段に示した区間Ａ、Ｃ、ＥおよびＧは安定区間であり、区間Ｂ、ＤおよびＦは不安定候補区間である。

ここで、２次処理部２２２は、例えば不安定候補区間である区間Ｂと、区間Ｂの前後の安定区間である区間Ａおよび区間Ｃを選択する。続いて、２次処理部２２２は、選択した区間Ａ、ＢおよびＣにおけるボケ値の分散を算出する。そして、２次処理部２２２は、算出したボケ値の分散が閾値Ｔｈ１以下である場合、図７下段に示したように、区間Ａ、ＢおよびＣの全体を安定区間と再定義する。

その後、２次処理部２２２は、不安定候補区間である区間Ｂと、安定区間である区間Ｅおよび再定義された区間Ｈを選択し、上記同様の２次処理を行う。ここで、区間Ｈ、ＤおよびＥにおけるボケ値の分散が閾値Ｔｈ１を上回っている場合、区間Ｈ、ＤおよびＥの状態は維持される。なお、２次処理部２２２は、図７に示した２次処理を、安定区間として再定義できる区間が無くなるまで繰り返す。

３次処理部２２３は、１次処理部２２１および２次処理部２２２により定義された安定区間を、ボケ値の分散が閾値Ｔｈ１を上回るまで広げる。これは、２次処理部２２２における２次処理による複数区間の結合により、安定区間のボケ値の分散が下がり、安定区間をさらに広げられる場合が想定されるためである。以下、３次処理部２２３による３次処理について図８を参照して具体的に説明する。

図８は、３次処理部２２３による３次処理の具体例を示した説明図である。なお、図８の上段に示した区間Ｈは、２次処理部２２２により安定区間として再定義された区間である。

ここで、３次処理部２２３は、図８の下段に示したように、ボケ値の分散が閾値Ｔｈ１を上回るまで区間Ｈを広げることにより、区間Ｈ’を定義する。なお、図８においては３次処理部２２３が区間Ｈを未来方向へ広げる例を示したが、３次処理部２２３は過去方向へも区間Ｈを広げることができる。また、３次処理部２２３は、図８に示した３次処理を、全ての安定区間と不安定区間との境界において行う。

以上説明したように、区間決定部２２０は、１次処理〜３次処理を行い、３次処理部２２３における３次処理により定義された安定区間を安定区間として決定し、他の区間を不安定区間として決定する。

統計値取得部２３０は、区間決定部２２０により決定された各安定区間、および各不安定区間のボケ統計値のリストを取得する。

図９は、ボケ統計値の一例を示した説明図である。図９に示したように、ボケ統計値は、区間ＩＤ、開始フレーム番号、終了フレーム番号、平均ボケ値、最大ボケ値、最小ボケ値、およびボケ値分散などを含む。

抽出部２３４は、統計値取得部２３０により取得された各区間のボケ統計値に基づいて、動画から失敗カットまたはお奨めカット（成功カット）などを抽出する。以下、失敗カットの抽出基準およびお奨めカットの抽出基準を説明する。

（失敗カットの抽出）
抽出部２３４は、例えば、以下のいずれかに該当する区間を、失敗カットとして抽出する。
（１）区間の最大ボケ値＞閾値Ｔｈ４（第４の値）である区間
（２）区間の最大ボケ値＞閾値Ｔｈ４（第４の値）である安定区間の前後の不安定区間
（３）区間長＜閾値Ｔｈ５（第５の値）である区間

以下、図１０を参照し、抽出部２３４が抽出する失敗カットの具体例を説明する。

図１０は、抽出部２３４が抽出する失敗カットの具体例を示した説明図である。図１０においては、色を付した区間Ｏ、Ｑ、Ｓ、ＵおよびＷが安定区間を示し、他の区間Ｐ、Ｒ、ＴおよびＶが不安定区間を示す。また、区間Ｏ、ＳおよびＷの最大ボケ値は閾値Ｔｈ４より大きく、区間ＱおよびＵの最大ボケ値は閾値Ｔｈ４より小さい。

この場合、抽出部２３４は、上記（１）に基づき、安定区間ＱおよびＵを失敗カットとして抽出する。また、抽出部２３４は、上記（２）に基づき、不安定区間Ｐ、Ｒ、Ｔ、およびＶを失敗カットとして抽出する。さらに、抽出部２３４は、上記（３）に基づき、区間長＜閾値Ｔｈ５である安定区間Ｓを失敗カットとして抽出する。その結果、図１０に示した例では、区間Ｐ〜区間Ｖが失敗カットとして抽出される。

ユーザは、例えば、このようにして抽出された失敗カットを動画から削除することにより、動画中で視聴価値のある部分の密度を向上することができる。なお、上記（１）〜（３）に示した抽出基準は一例であり、新たな基準を追加してもよいし、いずれかの基準を削除してもよい。

（お奨めカットの抽出）
抽出部２３４は、例えば、以下の全てに該当する区間を、お奨めカットとして抽出する。
（４）区間の平均ボケ値≦閾値Ｔｈ２（第２の値）である区間
（５）区間長≧閾値Ｔｈ３（第３の値）である区間
（６）区間のボケ値分散≦閾値Ｔｈ６（第６の値）である区間

以下、図１１を参照し、抽出部２３４が抽出するお奨めカットの具体例を説明する。

図１１は、抽出部２３４が抽出するお奨めカットの具体例を示した説明図である。図１１に示したように、安定区間Ｘの平均ボケ値は閾値Ｔｈ２を下回っており、上記（４）が満たされている。また、安定区間Ｘのボケ値分散は閾値Ｔｈ６を下回っており、上記（６）が満たされている。したがって、抽出部２３４は、さらに安定区間Ｘの区間長が閾値Ｔｈ３であり上記（５）も満たされる場合、安定区間Ｘをお奨めカットとして抽出する。

画像抽出装置２０は、例えば、このようにして抽出されたお奨めカットをユーザに提供する。したがって、ユーザは、動画中の焦点のボケていない視聴価値のある部分を選択的に視聴することが可能となる。なお、上記（４）〜（６）に示した抽出基準は一例であり、新たな基準を追加してもよいし、いずれかの基準を削除してもよい。

（２−３．画像抽出装置の動作）
以上、本発明の第１の実施形態による画像抽出装置２０の構成および機能について説明いた。続いて、図１２を参照し、第１の実施形態による画像抽出装置２０の動作を説明する。

図１２は、第１の実施形態による画像抽出装置２０の動作の流れを示したフローチャートである。なお、図１２においては、図２に示したＳ４２の処理の流れを詳細に示している。

図１２に示したように、動画抽出装置２０は、ボケ値取得部により各フレームのボケ値が取得された後、１次処理（Ｓ１）、２次処理（Ｓ２）、および３次処理（Ｓ３）を行うことにより不安定区間を確定する（Ｓ４）。

（１次処理）
１次処理部２２１は、全フレームが評価済になるまで１次処理を繰り返す（Ｓ１−１）。具体的には、１次処理部２２１は、動画中の未評価フレームから１のフレームを始点として選択する（Ｓ１−２）。ここで、未評価フレームは、安定区間として定義されておらず、かつ、始点として選択されたことのないフレームを指す。

そして、１次処理部２２１は、選択したフレームを始点とする未来方向の区間をボケ値の分散が閾値Ｔｈ１を上回るまで広げる（Ｓ１−３）。さらに、１次処理部２２１は、選択したフレームを始点とする過去方向の区間もボケ値の分散が閾値Ｔｈ１を上回るまで広げることにより、安定区間を定義する（Ｓ１−４）。

（２次処理）
２次処理部２２２は、全不安定候補区間が処理済みになるまで２次処理を繰り返す（Ｓ２−１）。具体的には、２次処理部２２２は、未処理である不安定区間に隣接する安定区間を選択する（Ｓ２−２）。そして、２次処理部２２２は、選択した３（または２）の区間全体でのボケ値の分散が閾値Ｔｈ１以下であるか否かを判断する（Ｓ２−３）。

そして、２次処理部２２２は、上記区間全体でのボケ値の分散が閾値Ｔｈ１を上回っている場合、Ｓ２−２において選択した不安定候補区間を処理済みにする（Ｓ２−４）。一方、２次処理部２２２は、上記区間全体でのボケ値の分散が閾値Ｔｈ１以下である場合、上記区間全体を結合し、安定区間として再定義する（Ｓ２−５）。

（３次処理）
３次処理部２２３は、安定区間および不安定候補区間の間の全ての境界が処理済みになるまで３次処理を繰り返す（Ｓ３−１）。具体的には、３次処理部２２３は、未処理の境界を選択し（Ｓ３−２）、安定区間をボケ値の分散が閾値Ｔｈ１を上回るまで１フレームずつ広げる（Ｓ３−３）。

以上の１次処理〜３次処理により、３次処理部２２３における３次処理により定義された安定区間が安定区間として決定され、他の区間が不安定区間として決定される（Ｓ４）。その結果、抽出部２３４が、目的やユーザ指示に応じ、失敗カットまたはお奨めカットなどを抽出することが可能となる。

＜３．第２の実施形態＞
続いて、図１３〜図１９を参照し、本発明の第２の実施形態による動画抽出装置２０’について説明する。なお、この動画抽出装置２０’としては、例えば図１に示したような撮像装置１０を想定しており、動画抽出装置２０’は、撮像しつつ、安定区間または不安定区間を決定することが可能である。

図１３は、第２の実施形態による動画抽出装置２０’の構成を示した機能ブロック図である。図１３に示したように、第２の実施形態による動画抽出装置２０’は、ボケ値取得部２１８と、区間決定部２２０’と、統計値取得部２３０と、抽出部２３４と、撮像部２３８と、バッファ２４２と、を備える。

撮像部２３８は、撮像により新たなフレームを順次に取得する。ボケ値取得部２１８は、撮像部２３８により取得されたフレームのボケ値を取得し、バッファ２４２は、ボケ値取得部２１８により取得されたボケ値を順次に一時的に保存する。

区間決定部２２０’は、１次処理部２２１と、２次処理部２２２と、３次処理部２２３と、前処理部２５０と、を備える。ここで、図１４および図１５を参照し、未処理フレームのボケ値および処理済みフレームのボケ値について説明する。

図１４および図１５は、未処理フレームのボケ値および処理済みフレームのボケ値を模式的に示した説明図である。図１４に示したように、区間決定部２２０’は、動画中でバッファ２４２に一時的に保存されているフレームのボケ値を参照可能である。また、図１５に示したように、バッファ２４２に一時的に保存されている一番新しいボケ値のフレーム番号を「０」、最も古い未処理フレーム番号を「−Ｌ」、最も古い処理済みフレーム番号を「−Ｎ」として本実施形態を説明する。

図１６は、第２の実施形態における区間決定の流れを示したフローチャートである。図１６に示したように、まず、バッファ２４２においてボケ値がバッファリングされた後（Ｓ５）、区間決定部２２０’の前処理部２５０が前処理を行い（Ｓ６）、１次処理部２２１〜３次処理部２２３が１次処理〜３次処理を行う（Ｓ７）。以下、図１７を参照してバッファリング（Ｓ５）の詳細フローを説明し、図１８および図１９を参照して前処理（Ｓ６）の詳細フローを説明する。なお、１次処理〜３次処理（Ｓ７）は、第１の実施形態において説明した通りであるため、本実施形態における説明は省略する。

図１７は、バッファリングの詳細フローを示したフローチャートである。まず、区間決定部２２０’は、バッファ２４２においてバッファ中の未処理フレームのボケ値がＬフレーム分未満であるか否かを判断する（Ｓ５−１）。そして、バッファ中の未処理フレームのボケ値がＬフレーム分以上である場合、区間決定部２２０’の前処理部２５０による前処理が行われる（Ｓ６）。

一方、バッファ中の未処理フレームのボケ値がＬフレーム分未満である場合、バッファ中のフレームに終端のフレームが含まれていなければＳ５−１からの処理が繰り返される（Ｓ５−２）。また、バッファ中のフレームに終端のフレームが含まれている場合、終端のフレームのボケ値まで処理済みでなければ（Ｓ５−３）、区間決定部２２０’の前処理部２５０による前処理が行われる（Ｓ６）。一方、終端のフレームのボケ値まで処理済みである場合、区間決定処理が終了する。

図１８は、前処理の詳細の詳細フローを示したフローチャートである。図１８に示したように、バッファリングの後（Ｓ５）、前処理部２５０は、フレーム「Ｌ−１」が安定区間に属するか否かを判断する（Ｓ６−１）。ここで、フレーム「Ｌ−１」が安定区間に属する場合、フレーム「Ｌ−１」が属する安定区間をフレーム「Ｌ」まで広げる（Ｓ６−２）。そして、フレーム「Ｌ」まで広げられた区間のボケ値の分散が閾値Ｔｈ１を下回る場合（Ｓ６−３）、前処理部２５０は、フレーム「Ｌ」まで広げられた区間を安定区間と再定義する（Ｓ６−４）。その後、バッファリング（Ｓ５）からの処理が繰り返される。一方、フレーム「Ｌ−１」が安定区間に属さない場合（Ｓ６−１）、および、フレーム「Ｌ」まで広げられた区間のボケ値の分散が閾値Ｔｈ１以上である場合（Ｓ６−３）、バッファ中の参照可能なボケ値に対して１〜３次処理が行われる（Ｓ７）。ここで、図１９を参照し、上記前処理を具体的に説明する。

図１９は、前処理の具体例を示した説明図である。図１９に示したように、未処理フレーム「−Ｌ」の直前が安定区間である場合、前処理部２５０は、上記安定区間にフレーム「−Ｌ」を加えるとボケ値の分散が閾値Ｔｈ１以上になるか否かを判断する。そして、ボケ値の分散が閾値Ｔｈ１以上にならない場合、図１９の下段に示したように、安定区間をフレーム「−Ｌ」を含むように再定義する。一方、ボケ値の分散が閾値Ｔｈ１以上になる場合、バッファ中の参照可能なボケ値に対して、第１の実施形態において説明した１〜３次処理が行われる。すなわち、バッファ中の参照可能なボケ値において、未処理フレームからの始点の選択および安定区間の延長（１次処理）、安定区間―不安定区間―安定区間の結合（２次処理）、境界の移動（３次処理）が行われる。

＜４．まとめ＞
以上説明したように、本発明の第１の実施形態によれば、動画を各フレームのボケ値に基づいて安定区間および不安定区間に区分し、各区分のボケ統計値を利用して失敗カットまたはお奨めカットを抽出することが可能である。さらに、本発明の第２の実施形態によれば、撮像を行いながら安定区間および不安定区間の決定を行うことが可能である。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、本明細書の画像抽出装置２０の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、画像抽出装置２０の処理における各ステップは、並列的に実行される処理を含んでもよいし、個別に実行される処理を含んでもよい。

また、画像抽出装置２０に内蔵されるＣＰＵ２０１、ＲＯＭ２０２およびＲＡＭ２０３などのハードウェアを、上述した画像抽出装置２０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。また、図４の機能ブロック図で示したそれぞれの機能ブロックをハードウェアで構成することで、一連の処理をハードウェアで実現することもできる。

１０ 撮像装置
２０、２０’ 画像抽出装置
２１６ 記憶部
２１８ ボケ値取得部
２２０、２２０’ 区間決定部
２２１ １次処理部
２２２ ２次処理部
２２３ ３次処理部
２３０ 統計値取得部
２３４ 抽出部
２３８ 撮像部
２４２ バッファ
２５０ 前処理部

Claims (13)

1. 動画を構成する各フレームのボケの度合を示すボケ値を取得するボケ値取得部と；
   前記ボケ値取得部により取得された前記ボケ値の分散が第１の値より低い安定区間と、前記安定区間でない不安定区間とに前記動画を区分する区間決定部と；
   前記動画から、前記区間決定部により得られた前記安定区間または前記不安定区間に基づく区間抽出を行う抽出部と；
   を備える、動画抽出装置。
2. 前記区間決定部は、動画中の異なるフレームを順次に始点として選択し、選択したフレームを含む区間を、前記ボケ値の分散が前記第１の値を上回るまで広げて安定区間を定義する１次処理部を有する、請求項１に記載の動画抽出装置。
3. 前記１次処理部は、安定区間と定義されてなく、かつ、始点として選ばれていないフレームが無くなるまで、前記安定区間の定義を繰り返す、請求項２に記載の動画抽出装置。
4. 前記区間決定部は、各不安定区間と、前記各不安定区間の前後に定義された安定区間とを含む区間のボケ値の分散が前記第１の値を下回っているか否かを判断し、前記区間のボケ値の分散が前記第１の値を下回っている場合、前記区間を安定区間と定義する２次処理部を有する、請求項２に記載の動画抽出装置。
5. 前記区間決定部は、前記２次処理部により定義された安定区間を、前記ボケ値の分散が前記第１の値を上回るまで広げる３次処理部を有する、請求項４に記載の動画抽出装置。
6. 前記抽出部は、前記安定区間または前記不安定区間のうちで、前記ボケ値の平均値が第２の値より小さい区間を抽出する、請求項５に記載の動画抽出装置。
7. 前記抽出部は、前記ボケ値の平均値が第２の値より小さいことに加え、区間長さが第３の値より長い区間を抽出する、請求項６に記載の動画抽出装置。
8. 前記抽出部は、前記安定区間または前記不安定区間のうちで、最大ボケ値が第４の値より高い区間、および、区間長さが第５の値より短い区間を抽出する、請求項１に記載の動画抽出装置。
9. 前記抽出部は、さらに、最大ボケ値が前記第４の値より高い安定区間に隣接する不安定区間を抽出する、請求項８に記載の動画抽出装置。
10. 前記動画抽出装置は、
    ボケ値取得部により取得された新たなフレームのボケ値を一時的に保存するバッファをさらに備え、
    前記区間決定部は、前記バッファに未処理フレームのボケ値が所定量以上保存された後に前記動画の区分を行う、請求項１に記載の動画抽出装置。
11. 前記区間決定部は、未処理フレームの直前フレームが安定区間に属する場合、前記直前フレームが属する安定区間を、前記ボケ値の分散が前記第１の値を上回るまで未処理フレーム側へ広げる、請求項１０に記載の動画抽出装置。
12. コンピュータを、
    動画を構成する各フレームのボケの度合を示すボケ値を取得するボケ値取得部と；
    前記ボケ値取得部により取得された前記ボケ値の分散が第１の値より低い安定区間と、前記安定区間でない不安定区間とに前記動画を区分する区間決定部と；
    前記動画から、前記区間決定部により得られた前記安定区間または前記不安定区間に基づく区間抽出を行う抽出部と；
    として機能させるための、プログラム
13. 動画を構成する各フレームのボケの度合を示すボケ値を取得するステップと；
    前記ボケ値の分散が第１の値より低い安定区間と、前記安定区間でない不安定区間とに前記動画を区分するステップと；
    前記動画から、前記安定区間または前記不安定区間に基づく区間抽出を行うステップと；
    を含む、動画抽出方法。
    
    

Images