JP2012085227A - サムネイル画像生成方法、及びサムネイル画像生成装置 - Google Patents

Abstract

【課題】小さな表示画面しか持たない車載機やポータブルプレーヤ等においても、動画ファイルの内容を視覚的に把握しやすいサムネイル画像を生成する技術を提供する。
【解決手段】本発明のサムネイル画像生成方法は、所定数以内の色数が用いられ、コントラストの値が所定の値を超えたキーフレームを取得するキーフレーム取得ステップと、取得したキーフレーム以降の所定の個数の差分データのデータサイズが所定のデータサイズ以下であるかどうかを判定するデータサイズ判定ステップと、取得したキーフレーム以降の所定の個数の差分データのデータサイズが所定のデータサイズ以下であると判定されることにより、取得したキーフレームを用いたサムネイル画像を生成するサムネイル画像生成ステップと、を含むことを特徴とする。
【選択図】図７

Description

本発明は、動画ファイルのサムネイル画像生成方法及びサムネイル画像生成装置の技術に関する。

近年、記憶媒体が大容量化したことや、例えば、車載機やポータブルプレーヤ等、動画ファイルを再生する機能を有する装置が増えたこと等により、個人が大量の動画ファイルを保有する傾向にある。この大量の動画ファイルの内容を一つ一つ確認し、所望の動画ファイルを特定することは大変面倒な状況となってきている。

このような状況に鑑み、動画ファイルのサムネイル画像を表示し、動画ファイルの内容を視覚的に把握しやすいような工夫が行われている。例えば、以下の特許文献１から３のようなサムネイル画像の表示方法が提案されている。

特開２００８−１６６８９５号公報 特開２００９−０２０２６６号公報 特開２００７−１８９４７３号公報

これらにおいて提案されているサムネイル画像の表示方法は、動画ファイルの内容において重要であるシーンをサムネイル画像として表示するものであり、小さい表示画面でも見やすいサムネイル画像、例えば、タイトル画のようなサムネイル画像を表示するものではなかった。そのため、小さな表示画面しか持たない車載機やポータブルプレーヤ等では、動画ファイルの内容を視覚的に把握しにくいという問題点があった。

そこで、本発明の課題は、このような問題点に鑑み、小さな表示画面しか持たない車載機やポータブルプレーヤ等においても、動画ファイルの内容を視覚的に把握しやすいサムネイル画像を生成する技術を提供することにある。

本発明は、上述した課題を解決するために、以下の構成を採用する。

すなわち、本発明のサムネイル画像生成方法は、キーフレームと、前記キーフレームを起点として後続するフレームについての差分データと、を含む動画ファイルのサムネイル画像を生成する方法において、前記キーフレームのうち、所定数以内の色数が用いられ、コントラストの値が所定の値を超えたキーフレームを取得するキーフレーム取得ステップと、前記キーフレーム取得ステップにより取得したキーフレーム以降の所定の個数の差分データのデータサイズが所定のデータサイズ以下であるかどうかを判定するデータサイズ判定ステップと、前記データサイズ判定ステップにおいて、前記キーフレーム取得ステップにより取得したキーフレーム以降の所定の個数の差分データのデータサイズが所定のデータサイズ以下であると判定されることにより、前記キーフレーム取得ステップにより取得したキーフレームを用いたサムネイル画像を生成するサムネイル画像生成ステップと、を含むことを特徴とする。

また、前記キーフレーム取得ステップは、前記動画ファイルに含まれるキーフレームを周波数変換した後に得られる周波数成分のデータ領域において、前記データ領域内の周波数が低域側の所定範囲に含まれる第１周波数領域の周波数成分評価値と、前記データ領域内の周波数が高域側の所定領域に含まれる第２周波数領域の周波数成分評価値とが、第１周波数領域及び第２周波数領域を前記データ領域から除いた、第１周波数領域に含まれる周波数と第２周波数領域に含まれる周波数との間の周波数領域における所定領域に含まれる第３周波数領域の周波数成分評価値よりも大きい値であるキーフレームを、前記所定数以内の色数が用いられ、コントラストの値が所定の値を超えたキーフレームとして取得してもよい。

また、前記キーフレーム取得ステップは、キーフレームの各ピクセルにおける色情報を用いることにより、前記所定数以内の色数が用いられ、コントラストの値が所定の値を超えたキーフレームを取得してもよい。

また、前記サムネイル画像生成ステップは、サムネイル画像として、前記キーフレーム取得ステップにより取得したキーフレームを基準として所定の動画再生時間幅内に含まれるキーフレーム及び差分データのうち少なくとも一方を用いた動画ファイルを生成してもよい。

また、本発明のサムネイル画像生成方法は、キーフレームと、前記キーフレームを起点として後続するフレームについての差分データと、を含む動画ファイルのサムネイル画像を生成する方法において、前記キーフレームのうち、所定数以内の色数が用いられ、コントラストの値が所定の値を超えたキーフレームを取得するキーフレーム取得ステップと、前記キーフレーム取得ステップにより取得したキーフレームを用いたサムネイル画像を生成するサムネイル画像生成ステップと、を含むことを特徴とする。

また、本発明のサムネイル画像生成方法は、キーフレームと、前記キーフレームを起点として後続するフレームについての差分データと、を含む動画ファイルのサムネイル画像を生成する方法において、前記キーフレーム以降の所定の個数の差分データのデータサイズが所定のデータサイズ以下であるかどうかを判定するデータサイズ判定ステップと、前記データサイズ判定ステップにおいて、前記キーフレーム以降の所定の個数の差分データのデータサイズが所定のデータサイズ以下であると判定されることにより、当該キーフレームを用いたサムネイル画像を生成するサムネイル画像生成ステップと、を含むことを特徴とする。

また、本発明のサムネイル画像生成装置は、キーフレームと、前記キーフレームを起点として後続するフレームについての差分データと、を含む動画ファイルのサムネイル画像を生成する装置において、前記キーフレームのうち、所定数以内の色数が用いられ、コントラストの値が所定の値を超えたキーフレームを取得するキーフレーム取得部と、前記キーフレーム取得部により取得したキーフレーム以降の所定の個数の差分データのデータサイズが所定のデータサイズ以下であるかどうかを判定するデータサイズ判定部と、前記データサイズ判定部において、前記キーフレーム取得部により取得したキーフレーム以降の所定の個数の差分データのデータサイズが所定のデータサイズ以下であると判定されることにより、前記キーフレーム取得部により取得したキーフレームを用いたサムネイル画像を生成するサムネイル画像生成部と、前記生成されたサムネイル画像を一覧表示する表示部と、操作部と、前記操作部により前記表示部に一覧表示されたサムネイル画像が選択されることにより、前記選択されたサムネイル画像に対応する動画ファイルを前記表示部において再生する動画再生部と、を備えることを特徴とする。

なお、本発明の別態様としては、以上の何れかの構成を実現する装置であってもよいし
、プログラムであってもよいし、このようなプログラムを記録したコンピュータが読み取り可能な記憶媒体であってもよい。

本発明によれば、小さな表示画面しか持たない車載機やポータブルプレーヤ等においても、動画ファイルの内容を視覚的に把握しやすいサムネイル画像を生成する技術を提供することができる。

本発明を実施する装置の全体構成を例示する図 本発明を実施する装置の機能構成を例示する図 動画ファイルのフレーム構成を例示する図 既存の動画ファイルの圧縮技術例を説明するための図 周波数成分の比較を説明するための図 作成されたサムネイルの表示例 本発明の実施形態における処理の流れを示すフローチャート例

以下、本発明を実施するための形態としてのサムネイル画像生成装置（以下、単に「本装置」とも表記する）について具体例を挙げて説明する。以下に挙げる実施形態は例示であり、本発明は以下の実施形態の構成に限定されない。

なお、以下に挙げる実施形態において、コンピュータが処理するデータをグラフや自然言語を用いて例示しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメタ、マシン語、配列等で指定される。本発明は、データの表現方法を限定するものではない。

また、以下で用いる「画像」という言葉には、いわゆる「静止画」及び「動画」が含まれているものとする。

§１ ハードウェア構成
まず、サムネイル画像生成装置の一実施例である車載用オーディオ・ビジュアル・ナビゲーション一体機１（以降、ＡＶＮ一体機１と称する）について説明する。図１は、本発明に係る一実施例のＡＶＮ一体機１の構成例を示すブロック図である。

制御部１００は、ＡＶＮ一体機１の各部、或いは接続された外部機器からの信号、また使用者の操作に基づく各操作部からの操作指示信号等を受信し、それら信号に基づきＡＶＮ一体機１の各部、或いは外部機器を統括的に制御する。制御部１００は、例えば、１又は複数のマイクロコンピュータ（マイコン）と、このマイコンの処理に利用される周辺回路（ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、インタフェース回路等）を備え、ＲＯＭ等の周辺回路に記憶されたプログラムに従い動作する。

外部記憶媒体再生部１０１は、例えば、ＵＳＢ（Universal Serial Bus）メモリやＳＤカード等の外部記憶媒体を接続するためのコネクタを備える。そして、外部記憶媒体再生部１０１は、当該コネクタに接続された外部記憶媒体に記憶された各種データから所望のデータを読み出し、読み出した画像信号、音声信号又は文字信号等を分配回路１０７に出力する。なお、外部記憶媒体再生部１０１は、制御部１００からの制御信号により、コネクタに接続された外部記憶媒体からデータを読み出す動作等を制御される。

ラジオ受信部１０２及びＴＶ（television）受信部１０３は、アンテナにより受信され
た放送波から、セレクタ１１３等により特定の周波数の放送波を選択受信し、復調して当該放送の音声信号および、画像信号（テレビ放送の場合）を分配回路１０７に出力する。ラジオ受信部１０２及びＴＶ受信部１０３は、同調回路、復調・復号回路等を備える。そして、ラジオ受信部１０２及びＴＶ受信部１０３は、制御部１００からの制御信号により、そのオン／オフ、受信周波数等の各種動作を制御される。

ディスク再生部１０４は、ディスク（例えば、ＤＶＤ（Digital Versatile Disc）やＢＤ（Blu-ray Disc））に記憶されているデータをピックアップにより読込み、読込んだデータに基づく音声信号、画像信号等を分配回路１０７に出力する。ディスク再生部１０４は、光学ピックアップ、ピックアップ・ディスク駆動機構、ピックアップ・ディスク駆動機構の制御回路、読取信号の復号回路等を備える。そして、ディスク再生部１０４は、制御部１００からの制御信号により、読込み処理のオン／オフ、読込み位置等の各種動作を制御される。

ＨＤ（ハードディスク）再生部１０５は、磁気記憶媒体であるハードディスクに記憶された各種データから所望のデータを読み出し、読み出した画像信号、音声信号又は文字信号等を分配回路１０７に出力する。ハードディスクは、MP3ファイル等の音楽データやＪ
ＰＥＧ（Joint Photographic Experts Group）ファイルやＭＰＥＧ（Moving Picture Experts Group）ファイル等の画像データ、ナビゲーション用の地図データ等を記憶している。ＨＤ再生部１０５は、ＨＤドライブ、読取信号号の復号回路等を備える。そして、ＨＤ再生部１０５は、制御部１００からの制御信号により、読み出し処理のオン／オフ、読み出すデータ等の各種動作を制御される。

ナビゲーション部１０６は、地図上に自車位置や目的地までの経路を表示したり、交差点等で音声等により右左折等の進行方向案内を行い、また後述する交通情報通信システム（ＶＩＣＳ（登録商標））情報受信部１１１から交通情報、ＧＰＳ（登録商標）情報受信部１１２から自車位置情報を入手して表示したりして、目的地までの経路案内を行う。ナビゲーション部１０６は、ナビゲーションの為に利用される地図情報を記憶する記憶装置（媒体）、各種演算処理を行うＣＰＵ（Central Processing Unit）、各種処理のために
データを記憶するＲＡＭ等のメモリ等を備える。そして、ナビゲーション部１０６は、制御部１０１からの制御信号により、ナビゲーション処理のオン／オフ、各種動作を制御される。なお、ナビゲーションの為に利用される地図情報を記憶する記憶装置（媒体）は、外部記憶媒体再生部１０１に接続される上述の外部記憶装置、ディスク再生部１０３によって処理される上述のディスク、ＨＤ再生部１０５に備えられる上述のＨＤドライブであってもよい。

分配回路１０７は、制御部１００の制御信号により制御され、出力することが指定された各種ソース（外部記録媒体再生部１０１等）の音声信号と画像信号を音声調整回路１０９及び画像調整回路１０８に出力する。分配回路１０７は、リレーあるいはスイッチングトランジスタ等の電子回路を含むスイッチ群を備える。

画像調整回路１０８は、制御部１００の制御信号により制御され、分配回路１０７から入力された画像信号に対し、輝度や色調、コントラストなどを調整し、調整した各画像信号を画像出力部１１０に出力する。画像調整回路１０８は、画像データを記憶するメモリ、画像データを演算処理するデジタルシグナルプロセッサ等の演算回路等を備える。

音声調整回路１０９は、制御部１００の制御信号により制御され、分配回路１０７から入力された音声信号に対し、音量、音声を調整し、調整した音声信号をスピーカ１２３に出力する。音声調整回路１０９は、音声データを記憶するメモリ、画像データを演算処理するデジタルシグナルプロセッサ等の演算回路、トランジスタ・抵抗・コンデンサ・コイ
ル等を含む増幅・減衰回路や共振回路等を備える。スピーカ１２３は、音声調整回路１１０により入力された音声信号を、音声出力する。

画像出力部１１０は、制御部１００の制御信号により制御され、画像調整回路１０８から入力された画像信号と、画像信号を表示部１２２に表示させるために制御部１００から入力された表示画像信号とに基づいて画像合成等の処理を施し、当該処理を施した画像信号に基づき表示部１２２を駆動する。画像出力部１１０は、例えば、演算処理により画像処理を行なう画像用に特化された演算処理回路である画像ASIC、画像処理・出力用に画像データを記憶するビデオメモリ、画像出力用ビデオメモリに記憶された画像データに基づき表示部を駆動する画像駆動回路等を備える。

ＶＩＣＳ情報受信部１１１は、ＶＩＣＳに係る交通情報を受信し、受信した交通情報をナビゲーション部１０６に出力する。ＶＩＣＳ情報受信部で、交通情報通信システムからのデータを受信する受信機（ＦＭ受信機，電波ビーコン受信機，光ビーコン受信機）、受信したデータを復号する復号回路等を備える。

ＧＰＳ信号受信回路１１２は、ＧＰＳ衛星からのＧＰＳ信号に基づき自車位置を検出し、検出した現在地情報をナビゲーション部１０６に出力する。ＧＰＳ情報受信部１１２は、ＧＰＳ信号を受信するＧＰＳ信号受信回路、受信したＧＰＳ信号に基づき自車位置を算出する演算部を備える。

操作部１１４は、ＡＶＮ一体機１に対して使用者が各種操作を行うために用いられる。操作部１１４は、例えば、押釦スイッチ、回転操作スイッチ、ジョイスティック等である。操作部１１４は、ＡＶＮ一体機１に対する使用者による各種操作の操作状態を制御部１００に出力する。

リモコン送受信部１１５は、使用者によるリモコン１１６に対する入力操作の操作状態を制御部１００に出力する。本実施例では、リモコン送受信部１１５は、使用者のリモコン１１６に対する回転操作、傾動操作、押圧操作を検出する。

リモコン１１６は、ＡＶＮ一体機１本体から離れた場所、例えば運転席と助手席間のひじ掛け付近や、ステアリングホイールに設置されたインストルメントパネル等であってもよい。なお、リモコン１１６は、回転操作量・方向に応じた信号を出力するロータリエンコーダ、感圧センサにより構成され傾動操作方向に応じた信号を出力するジョイスティック等の傾動センサ、押圧操作によりオンオフ状態が変化する押圧スイッチを備える。

メモリ１１７は、各種データや制御プログラムを記憶する。メモリ１１７は、例えば、ＨＤＤ（Hard Disk Drive）や、書換え可能なフラッシュメモリ等である。メモリ１１７
は、制御部１００の制御信号により制御され、制御部１００に備えられたＲＯＭ等の周辺回路に所望のデータを出力する。

カメラ１１９は、例えば車両後部に備え付けられたカメラであり、撮影映像を外部音声／映像入力部１１８に出力する。なお、撮影映像は音声データを含んでもよい。

ＥＴＣ（Electronic Toll Collection System）車載機１２０は、使用者が高速道路の
通行料金等を支払うため、料金所に取り付けられたアンテナと無線通信を行い、適正な料金情報を交換する。なお、ＥＴＣ車載機１２０のこのような動作は、制御部１００の制御信号により制御される。

通信ユニット１２１は、ＡＶＮ一体機１がインターネット等のコンピュータネットワー
クに接続するため、様々な場所に取り付けられたアンテナと無線通信を行い、パケット等のデータの送受信を行う。

表示部１２２は、画像出力部１１０により入力された画像信号に基づき画像を表示する。表示部１２２は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ、プラズマディスプレイ、冷陰極フラットパネルディスプレイ等の液晶パネル２０１と、液晶パネル２０１を背面から証明するバックライト２００と、抵抗膜方式や静電容量方式等のタッチパネル２０２とを備える。タッチパネル２０２は、ＡＶＮ一体機１に対する使用者による各種操作の操作状態を制御部１００に出力する。

なお、ＡＶＮ一体機１は、動画ファイル分類装置の一実施例であり、動画ファイル分類装置を限定するものではない。動画ファイル分類装置は、例えば、ＣＰＵ等の１又は複数のプロセッサや、プロセッサの処理に利用される周辺回路（ＲＯＭ、ＲＡＭ、インタフェース回路等）を備える汎用コンピュータ等であってもよい。

§２ 機能構成
図２は、本実施形態における機能構成を例示する図である。図２において、ＡＶＮ一体機１は、操作制御部２、動画リスト取得部３、サムネイル画像生成処理部４、動画リスト表示部５、動画再生部６、及び記憶部７を備える。

操作制御部２、動画リスト取得部３、サムネイル画像生成処理部４、動画リスト表示部５及び動画再生部６は、例えば、メモリ１１７等に格納されたプログラムが、制御部１００の周辺回路であるＲＡＭ等に展開されて、制御部１００のマイコンにより実行され、各構成（外部記憶媒体再生部１０１等）が制御されることによって実現される。また、記憶部７は、例えば、外部記憶媒体再生部１０１に接続された外部記憶媒体、ディスク再生部１０４により読込み処理されるディスク、ＨＤ再生部１０５が備えるハードディスク、または、メモリ１１７により実現される。

以下、ＡＶＮ一体機１が備える各機能構成についてそれぞれ説明する。

§２−１ 記憶部７
記憶部７は、動画ファイル及びサムネイル画像を格納する。記憶部７は、動画ファイルと動画ファイルに対応するサムネイル画像を格納するため、動画データベース８とサムネイルデータベース９を備える。動画データベース８及びサムネイルデータベース９は、上述の記憶部７と同様に、例えば、外部記憶媒体再生部１０１に接続された外部記憶媒体、ディスク再生部１０４により読込み処理されるディスク、ＨＤ再生部１０５が備えるハードディスク、または、メモリ１１７により実現される。

動画データベース８は、所定のデータベース形式で動画ファイルのデータを格納する。また、サムネイルデータベース９は、所定のデータベース形式でサムネイル画像のデータを格納する。

なお、記憶部７は、動画ファイルとサムネイル画像の対応関係を格納する不図示のリストを格納してもよい。当該動画ファイルとサムネイル画像の対応関係は、動画ファイルやサムネイル画像のデータにタグとして追加されてもよい。本発明は、動画ファイルとサムネイル画像の対応関係を示す方法を限定するものではない。

また、記憶部７は、動画ファイルやサムネイル画像のデータをデータベース形式で格納しているが、本発明は、データを格納する形式を限定するものではない。記憶部７は、動画ファイルやサムネイル画像のデータを任意の形式で格納してもよい。

§２−２ 操作制御部２
操作制御部２は、使用者が操作部１１４、リモコン１１６又はタッチパネル２０２を操作することにより、操作部１１４、リモコン送受信部１１５又はタッチパネル２０２から出力される操作情報に応じた要求を各機能構成に行う。

ここで、本実施形態において想定する使用者の操作は、動画リスト取得操作と動画再生操作である。動画リスト取得操作とは、使用者が操作部１１４、リモコン１１６又はタッチパネル２０２を操作することにより、記憶部７に格納される動画ファイルのリストを表示部１２２に表示させるために行う操作である。また、動画再生操作とは、使用者が操作部１１４、リモコン１１６又はタッチパネル２０２を操作することにより、記憶部７に格納される動画ファイルの再生を表示部１２２において行うための操作である。ただし、ＡＶＮ一体機１において行われる操作は、動画リスト取得操作と動画再生操作に限定されるものではない。本発明は、使用者が行う操作に限定されない。

操作制御部２は、使用者による動画リスト取得操作に対応する操作情報を操作部１１４、リモコン送受信部１１５又はタッチパネル２０２から受け取ることにより、動画リスト取得部３に対して動画リスト取得要求を出力する。動画リスト取得要求とは、動画リストの取得を要求するための通知である。

また、操作制御部２は、使用者による動画再生操作に対応する操作情報を操作部１１４、リモコン送受信部１１５又はタッチパネル２０２から受け取ることにより、動画再生部６に対して動画再生要求を出力する。動画再生要求とは、動画ファイルの再生処理を要求するための通知である。この動画再生要求には、使用者が操作部１１４、リモコン１１６又はタッチパネル２０２を操作することにより選択したサムネイル画像を特定する情報が含まれている。

§２−２ 動画リスト取得部３
動画リスト取得部３は、操作制御部２から動画リスト取得要求を受け取ることにより、動画データベース８に格納されている動画ファイルに対応するサムネイル画像のデータがサムネイルデータベース９に格納されているかどうかを調べるための照合を実行する。

当該照合の実行の結果、動画データベース８に格納されている動画ファイルのうち、対応するサムネイル画像のデータがサムネイルデータベース９に格納されていない動画ファイルについて、動画リスト取得部３は、サムネイル画像生成処理部４に対して、サムネイル画像生成要求を出力する。サムネイル画像生成要求とは、動画ファイルのサムネイル画像を生成し、生成したサムネイル画像をサムネイルデータベース９に格納することを要求するための通知である。サムネイル画像生成要求には、サムネイル画像を生成する対象の動画ファイルの情報（動画ファイル名やパス等）が含まれている。動画リスト取得部３は、上記照合の実行の結果、対応するサムネイル画像がサムネイルデータベース９に格納されていない動画ファイルの情報を動画データベース８から取得し、当該サムネイル画像生成要求を生成する。サムネイル画像生成処理部４は、当該サムネイル画像生成要求に応じて、動画ファイルのサムネイル画像を生成し、生成したサムネイル画像をサムネイルデータベース９に格納する。サムネイル画像の生成については後述する。

そして、サムネイル画像生成処理部４の処理の実行完了後、或いは全てのサムネイル画像のデータがサムネイルデータベース９に格納されていた場合、動画リスト取得部３は、動画リスト表示部５に対してサムネイル画像取得要求を出力する。サムネイル画像取得要求とは、動画ファイルに対応するサムネイル画像をサムネイルデータベース９より取得することを要求するための通知である。なお、後述するとおり、サムネイル画像生成処理部
４の処理の実行完了後、動画リスト取得部３は、サムネイル画像生成完了通知をサムネイル画像生成処理部４から受け取る。動画リスト取得部３は、当該サムネイル画像生成完了通知により、サムネイル画像生成処理４の処理の実行完了を認識する。

なお、動画リスト取得要求は、使用者が作部１１４、リモコン１１６又はタッチパネル２０２を操作することにより選択した動画ファイルの範囲を示す情報を含んでもよい。動画ファイルの範囲とは、例えば、周知のファイルシステムにおけるフォルダや、外部記憶媒体再生部１０１等の記憶媒体によって限定される記憶領域の範囲を意味する。動画リスト取得要求に動画ファイルの範囲を示す情報が含まれる場合、動画リスト取得部３は、当該動画ファイルの範囲に含まれる動画ファイルに対して上記処理を行う。

§２−３ サムネイル画像生成処理部４
まずは、サムネイル画像生成処理部４の処理の概要について説明する。

サムネイル画像生成処理部４は、動画リスト取得部３からサムネイル画像生成要求を受けると、サムネイル画像生成要求に含まれる動画ファイルの情報に基づいて、動画データベース８より動画ファイルを取得する。

続いて、サムネイル画像生成処理部４は、取得した動画ファイルのサムネイル画像を生成する。サムネイル画像生成処理部４は、生成したサムネイル画像をサムネイルデータベース９に格納する。最後に、サムネイル画像生成処理部４は、サムネイル画像を生成した動画ファイルの情報をサムネイル画像生成要求に含まれる動画ファイルの情報から削除する。

サムネイル画像生成処理部４は、これまでの処理をサムネイル画像生成要求に含まれるサムネイル画像を生成する対象の動画ファイルの情報が無くなるまで繰り返す。サムネイル画像生成要求に含まれるサムネイル画像を生成する対象の動画ファイルの情報が無くなると、サムネイル画像生成処理部４は、サムネイル画像生成完了通知を動画リスト取得部３に出力する。サムネイル画像生成完了通知とは、サムネイル画像の生成処理が完了したことを認識させるための通知である。

以上までが、サムネイル画像生成処理部４の処理の概要である。

次に、サムネイル画像生成処理部４が実行するサムネイル画像の生成処理の概要について説明する。

小さな表示画面でも内容を視覚的に把握しやすい画像として、例えば、タイトル画のような文字がくっきりと表示され、バックの色が単一色になっている画像が挙げられる。また、このような画像は、一定時間における画像の変化量が少ないと考えられる。サムネイル画像生成処理部４は、このような画像、つまり、単一色に近く、コントラストの強い、一定時間画面変化量の少ない画像を動画ファイルから抽出して、抽出した画像からサムネイル画像を生成する。なお、コントラストとは、同一画像内における色の差を意味する。つまり、コントラストの強い画像とは、同一画像内における色の差が大きい画像を指す。

ここで、一般的な動画ファイルについて触れる。動画ファイルの例として、現在よく用いられているmpeg（Moving Picture Experts Group）により圧縮された動画ファイルの例を示す。図３は、mpegにより圧縮された動画ファイルの例である。図３に示されるとおり、動画ファイルは、一般的にフレームと呼ばれるデータの集合である。当該フレームは、キーフレーム（図３におけるＩフレーム）と呼ばれる完全な静止画であるフレームと、差分データ（図３におけるＢフレーム及びＰフレーム）と呼ばれるフレーム間の差分を示す
フレームとを有する。これらキーフレームと差分データは、図３に示されるとおり、再生される順序（時間軸）が定められている。

サムネイル画像生成処理部４は、このような動画ファイルから「単一色に近く、コントラストの強い、一定時間画面変化量の少ない画像」を抽出する。

まず、サムネイル画像生成処理部４は、「単一色に近く、コントラストが強く、一定時間画面変化量の少ない画像」の抽出について、「単一色に近く、コントラストの強い画像」を動画ファイル内のキーフレームから抽出する。つまり、サムネイル画像生成処理部４は、所定数以内の色数が用いられ、コントラストの値が所定の値を超えたキーフレームを動画ファイル内のキーフレームから抽出する。なお、サムネイル画像生成処理部４は、動画ファイルの再生される順序の順にこのような条件を満たすキーフレームを検索し、最初に条件を満たすキーフレームを抽出する。

次に、サムネイル画像生成処理部４は、抽出された「単一色に近く、コントラストの強い画像」が「一定時間画面変化量の少ない画像」であるかどうかを判定する。つまり、サムネイル画像生成処理部４は、再生される順序において、検索したキーフレームの後ろに続く所定の個数の差分データのデータサイズが所定のデータサイズ以下であるかどうかを判定する。サムネイル画像生成処理部４は、当該判定により、当該検索したキーフレームが一定時間画面変化量の少ない画像であるかどうかを識別する。

最後に、検索したキーフレームの後ろに続く所定の個数の差分データのデータサイズが所定のデータサイズ以下である場合、サムネイル画像生成処理部４は、当該検索したキーフレームを用いてサムネイル画像を生成する。

他方、検索したキーフレームの後ろに続く所定の個数の差分データのデータサイズが所定のデータサイズを超える場合、サムネイル画像生成処理部４は、再度「単一色に近く、コントラストの強い画像」の抽出から処理を繰り返す。

以上までが、サムネイル画像生成処理部４が実行するサムネイル画像の生成処理の概要である。

最後に、サムネイル画像生成処理部４が実行するサムネイル画像の生成処理を、サムネイル画像生成処理部４が備える各構成に基づいて説明する。

サムネイル画像生成処理部４は、以上のような動画ファイルのサムネイル画像を生成するために、キーフレーム取得部１０、データサイズ判定部１１及びサムネイル画像生成部１２を備える。キーフレーム取得部１０、データサイズ判定部１１及びサムネイル画像生成部１２は、上述のサムネイル画像生成処理部４と同様に、例えば、メモリ１１７等に格納されたプログラムが、制御部１００の周辺回路であるＲＡＭ等に展開されて、制御部１００のマイコンにより実行され、各構成（外部記憶媒体再生部１０１等）が制御されることによって実現される。

以下、サムネイル画像生成処理部４が備える各機能構成についてそれぞれ説明する。

§２−３−１ キーフレーム取得部１０
キーフレーム取得部１０は、「単一色に近く、コントラストの強い画像」を動画ファイルから抽出する。つまり、キーフレーム取得部１０は、動画ファイルに含まれるキーフレームの中から「所定数以内の色数が用いられ、コントラストの値が所定の値を超えたキーフレーム」を抽出する。キーフレーム取得部１０は、動画ファイルの再生される順序の順
にこのような条件を満たすキーフレームを検索し、最初に条件を満たすキーフレームを抽出する。

以下に、キーフレーム取得部１０が、動画ファイルに含まれるキーフレームが「所定数以内の色数が用いられ、コントラストの値が所定の値を超えたキーフレーム」であるかどうかを判定する処理について、２つの処理例を示す。１つ目の処理例は、周波数成分を用いる処理例であり、２つ目の処理例は、キーフレーム内の各ピクセルにおける色情報を用いる処理例である。これらの処理例は例示であり、本発明は、これらの処理例に限定されるものではない。

＜周波数成分を用いる処理＞
動画ファイルが圧縮される際、しばしばＤＣＴ（離散コサイン変換）等の周波数変換により、動画ファイルのキーフレームの各ピクセルの色情報（画像信号）は、周波数成分に変換される。以下、キーフレーム取得部１０の処理例として、当該周波数成分を用いた処理例について説明する。

ここで、キーフレームの各ピクセルの色情報が周波数成分に変換されることについて、動画ファイルの圧縮処理を簡単に説明する。動画ファイルの圧縮処理の例としては、mpegによる動画ファイルの圧縮処理を例として示す。図４は、mpegによる動画ファイルの圧縮の処理例である。

まず、キーフレーム２０は、ｎ個のブロックに分割される（ｎは１以上の自然数）。例えば、図４に示されるとおり、キーフレーム２０は、４×４のブロック２１に分割される。ブロック２１の各ピクセルの値は色情報の値である。

次に、このように分割されたブロック２１は、ＤＣＴにより、周波数成分の値を各ピクセルの値として持つブロック２２に変換される。ブロック２２内の各ピクセルの値は、右方向ほど水平方向の周波数の高い周波数成分の値である。また、ブロック２２内の各ピクセルの値は、下方向ほど垂直方向の周波数の高い周波数成分の値である。

そして、周波数成分の値に変換されたブロック２２は量子化される。ブロック２３は、ブロック２２を量子化した後のブロックである。図４に示される量子化の例では、ブロック２３の各ピクセルの値は、ブロック２２の各ピクセルの値（周波数成分の値）を１２で割り、余りを四捨五入した値となっている。

最後に、mpegでは、当該ブロック２３を所定の圧縮方法によりデータ圧縮することで、動画ファイルの圧縮が行われる。

なお、このよう圧縮された動画ファイルをデコードする場合、各演算の逆演算が行われる。例えば、図４に示されるとおり、ブロック２３は逆量子化される。ブロック２４は、ブロック２３を逆量子化した後のブロックである。そして、不図示であるが、ブロック２４は、逆ＤＣＴによる変換処理がなされる。この逆ＤＣＴによる変換処理により、圧縮された動画ファイルから各ピクセルの色情報の値を取得することができる。

動画ファイルのキーフレームは、以上のような処理により圧縮（エンコード）され、デコードされる。

ここで、上述のとおり、ブロック２２、ブロック２３及びブロック２４内の各ピクセルの値は、右方向ほど水平方向の周波数の高い周波数成分の値を示し、下方向ほど垂直方向の周波数の高い周波数成分の値を示す。したがって、ブロック２２、ブロック２３及びブ
ロック２４は、周波数によって、任意の領域に分割することができる。

つまり、これらのブロックは、周波数によって、任意の領域に分割することができるので、周波数が低域側の領域（第１周波数領域）、周波数が高域側の領域（第２周波数領域）、周波数が低域及び高域の間となる領域（第３周波数領域）に分割することができる。

周波数が低域側の領域とは、水平方向及び垂直方向共に低い周波数の領域を意味し、各ブロックにおける左上方向の所定の領域を指す。以下、周波数が低域側の領域を低周波数領域と表記する。

周波数が高域側の領域とは、水平方向及び垂直方向共に高い周波数の領域を意味し、各ブロックにおける右下方向の所定の領域を指す。以下、周波数が高域側の領域を高周波数領域と表記する。

周波数が低域及び高域の間となる領域とは、上記周波数が低域側の領域と周波数が高域側の領域とをブロック（データ領域）から除いた領域であり、水平方向及び垂直方向共に低域及び高域の間となる領域を意味する。つまり、周波数が低域及び高域の間となる領域とは、各ブロックにおける真ん中の所定の領域を指す。以下、周波数が低域及び高域の間となる領域を中周波数領域と表記する。

そして、単一色に近い（所定数以内の色数が用いられる）画像は、水平方向及び垂直方向共に低い周波数の領域、つまり、低周波数領域における周波数成分（以下、単に「低周波数成分」と表記する）の値が他の周波数の領域における周波数成分の値よりも大きくなる。つまり、単一色に近い画像は、ブロック内の左上方向の領域に含まれるピクセルの値が他のピクセルの値よりも大きくなる。

また、コントラストの強い（コントラストの値が所定の値を超えた）画像は、水平方向及び垂直方向共に高い周波数の領域、つまり、高周波数領域における周波数成分（以下、単に「高周波数成分」と表記する）の値が他の周波数の領域のおける周波数成分の値よりも大きくなる。つまり、コントラストの強い画像は、ブロック内の右下方向の領域に含まれるピクセルの値が他のピクセルの値よりも大きくなる。

つまり、「所定数以内の色数が用いられ、コントラストの値が所定の値を超えたキーフレーム」は、低周波数成分及び高周波数成分の値が、中周波数領域の周波数成分（以下、単に「中周波数成分」と表記する）の値よりも大きくなる。

したがって、キーフレーム取得部１０は、上記条件を満たすキーフレームを動画ファイルから抽出するため、周波数成分の値について、中周波数成分の値が低周波数成分及び高周波数成分の値よりも所定の値小さいキーフレームを動画ファイルから抽出する。

各周波数成分の値の比較について、図５（ａ）を用いて説明する。図５（ａ）は、図４におけるブロック２２、ブロック２３またはブロック２４において、上記各周波数領域に分割した例を示す。図５（ａ）におけるピクセル「Ｌ」は、低周波数領域を示す。また、図５（ａ）におけるピクセル「Ｍ」は、中周波数領域を示す。更に、図５（ａ）におけるピクセル「Ｈ」は、高周波数領域を示す。各周波数領域は、任意に定められ、メモリ１１７等に格納されるプログラムのパラメタ等により設定される。

キーフレーム取得部１０は、これらの領域に格納されている値の平均値や、最高値、中間値、任意に選択された値等、所定の演算や選択によって求めることができる周波数成分評価値同士を比較することにより、中周波数成分の値が低周波数成分及び高周波数成分の
値よりも所定の値小さいかどうかを判定する。以下の実施例では、キーフレーム取得部１０は、各領域に格納されている値の平均値を周波数成分評価値として用い、中周波数成分の値と低周波数成分及び高周波数成分の値とを比較することにする。

なお、図４の動画ファイル例では、キーフレームはｎ個のブロックに分割されている。この場合、例えば、キーフレーム取得部１０は、各ブロックについて、中周波数成分の値が低周波数成分及び高周波数成分の値よりも所定の値小さいブロックの数を数える。そして、当該ブロックの数が所定の個数を超えた場合、キーフレーム取得部１０は、これらのブロックから構成されるキーフレームを、中周波数成分の値が低周波数成分及び高周波数成分の値よりも所定の値小さいキーフレームとして動画ファイルから抽出する。

または、例えば、図５（ｂ）に示されるように、キーフレーム取得部１０は、各ピクセルの値について当該ｎ個のブロック全てを加算する。図５（ｂ）は、各ピクセルの値について１つのキーフレームから分割されたｎ個のブロックを加算した例である。キーフレーム取得部１０は、当該加算した各ピクセルの値について、中周波数成分の値が低周波数成分及び高周波数成分の値よりも所定の値小さいかどうかを判定する。そして、当該判定の結果、中周波数成分の値が低周波数成分及び高周波数成分の値よりも所定の値小さければ、キーフレーム取得部１０は、これらのブロックから構成されるキーフレームを動画ファイルから抽出する。

以下、当該処理の具体例を説明する。具体例として、図５（ｂ）に示される、各ピクセルの値についてｎ個のブロックを加算した値を用いて、キーフレーム取得部１０が、中周波数成分の値が低周波数成分及び高周波数成分の値よりも所定の値小さいキーフレームを動画ファイルから抽出する例を説明する。ここで、低周波数領域、中周波数領域及び高周波数領域の各領域は、図５（ａ）に示されるとおりに設定されているものとする。

各ピクセルの値についてｎ個のブロックを加算した値における中周波数成分の値は「（４０＋３０＋３０＋２０）÷４＝３０」である。また、低周波数成分の値は「８００÷１＝８００」であり、高周波数成分の値は「（１２０＋１２０＋１５０）÷３＝１３０」である。

したがって、所定の値が「１００」であれば、図５（ｂ）に示される各ブロックから構成されるキーフレームは、中周波数成分の値が低周波数成分及び高周波数成分の値よりも所定の値小さいキーフレームであると判定される。キーフレーム取得部１０は、このようなキーフレームを動画ファイルから抽出する。

なお、当該所定の値は、中周波数成分の値と低周波数成分の値を比較する時と中周波数成分の値と高周波数成分の値を比較する時で異なってもよい。

また、周波数成分に変換されていないキーフレーム（動画ファイル）については、キーフレーム取得部１０は、ＤＣＴ等の直交変換により周波数成分に変換した後に、上記処理を行えばよい。

キーフレーム取得部１０は、例えば以上のような処理により、「所定数以内の色数が用いられ、コントラストの値が所定の値を超えたキーフレーム」を動画ファイルから抽出する。

＜各ピクセルの色情報を用いる処理＞
「所定数以内の色数が用いられ、コントラストの値が所定の値を超えたキーフレーム」であるかどうかを判定する処理について、キーフレーム取得部１０は、上記のように画像
の周波数成分の値を用いてもよいし、画像の各ピクセルの色情報を用いてもよい。

この場合、キーフレーム取得部１０は、キーフレームの各ピクセルの色情報を用いることにより、「所定数以内の色数が用いられ、コントラストの値が所定の値を超えたキーフレーム」を動画ファイルから抽出する。ここで、キーフレームの各ピクセルの色情報とは、ブロック２１の各ピクセルの値やブロック２４を逆ＤＣＴした後のブロックの各ピクセルの値を指す。

キーフレーム取得部１０は、例えば、キーフレームの各ピクセルの値（色情報）の種類を数えることで、キーフレームに用いられている色数が所定数以内であるかどうかを判定する。また、キーフレーム取得部１０は、例えば、キーフレームの各ピクセル間の値（色情報）の差が所定の値以上であるかを算出することで、キーフレームのコントラストの値が所定の値を超えているかどうかを判定する。なお、キーフレームの各ピクセル間の値（色情報）の差は、キーフレームの各ピクセルの値の最大値と最小値の差であってもよい。

キーフレーム取得部１０は、例えば以上のような処理により、「所定数以内の色数が用いられ、コントラストの値が所定の値を超えたキーフレーム」を動画ファイルから抽出する。

＜まとめ＞
キーフレーム取得部１０は、例えば、上記２つの処理例のいずれかにより、「所定数以内の色数が用いられ、コントラストの値が所定の値を超えたキーフレーム」を動画ファイルから抽出する。そして、キーフレーム取得部１０は、動画再生の順において、抽出したキーフレームに続く差分データが所定のデータサイズ以下であるかどうかを判定する処理をデータサイズ判定部１１に要求する。

§２−３−２ データサイズ判定部１１
データサイズ判定部１１は、抽出された「単一色に近く、コントラストの強い画像」が「一定時間画面変化量の少ない画像」であるかどうかを判定する。つまり、データサイズ判定部１１は、キーフレーム取得部１０からの要求に応じて、動画再生の順において、キーフレーム取得部１０により抽出されたキーフレームに続く所定の個数の差分データのデータサイズが所定のデータサイズ以下であるかどうかを判定する。

当該データサイズの判定は、任意に行われる。例えば、データサイズ判定部１１は、動画再生の順において、キーフレーム取得部１０により抽出されたキーフレームに続く所定の個数の差分データを取得する。そして、データサイズ判定部１１は、当該データサイズの判定として、例えば、取得した所定の個数の差分データのデータサイズを全て加算し、所定のデータサイズ以下であるかどうかを判定してもよい。また、例えば、データサイズ判定部１１は、当該データサイズの判定として、取得した各差分データのデータサイズが所定のデータサイズ以下であるかどうかを判定してもよい。

当該データサイズの判定の結果、所定の個数の差分データのデータサイズが所定のデータサイズ以下であるならば、データサイズ判定部１１は、当該キーフレームを用いたサムネイル画像を生成する処理をサムネイル画像生成部１２に要求する。

他方、所定の個数の差分データのデータサイズが所定のデータサイズを超えているならば、データサイズ判定部１１は、キーフレーム取得部１０に対して、再度、キーフレームの抽出処理を要求する。この時、キーフレーム取得部１０は、当該抽出処理を、当該条件を満たさなかったキーフレームから実行する。

なお、データサイズ判定部１１は、当該データサイズの判定を差分データに対して実行しているが、キーフレームを含めてもよい。この時、差分データとキーフレームとで所定のデータサイズは異なってもよい。ただし、「一定時間画面変化量の少ない画像」を判定するためには、フレーム間の差分を示すデータである差分データのみを用いる方が望ましい。

§２−３−３ サムネイル画像生成部１２
サムネイル画像生成部１２は、データサイズ判定部１１からの要求に応じて、上記条件を満たしたキーフレームを用いたサムネイル画像を生成する。

サムネイル画像生成部１２により生成されるサムネイル画像は任意のものでよい。例えば、サムネイル画像は、上記条件を満たしたキーフレーム（静止画）でもよい。

また、例えば、サムネイル画像生成部１２により生成されるサムネイル画像は、上記条件を満たしたキーフレームを基準点として、所定の時間幅に含まれるデータ（キーフレーム又は差分データ）を含んだ動画であってもよい。なお、基準点と時間幅の関係は、基準点を時間幅の中心に設定した関係であってもよいし、基準点を時間幅の最前又は最後に設定した関係であってもよい。

また、例えば、サムネイル画像生成部１２により生成されるサムネイル画像は、上記条件を満たしたキーフレームを基準点として、一定時間間隔に存在するキーフレーム又は差分データを含む動画であってもよい。

また、例えば、サムネイル画像生成部１２により生成されるサムネイル画像は、上記条件を満たしたキーフレームと、動画ファイルの再生時間内において音量がある閾値を超える時点に該当するキーフレーム又は差分データを含む動画であってもよい。

また、例えば、サムネイル画像生成部１２により生成されるサムネイル画像は、上記データサイズ判定部１１のデータサイズの判定に従い、所定のデータサイズ以下である差分データとキーフレームを含む動画であってもよい。この場合、データサイズ判定部１１は、当該条件を満たす差分データ及びキーフレームの範囲の情報をサムネイル画像生成部１２に出力する。サムネイル画像生成部１２は当該情報に基づいて、所定のデータサイズ以下である差分データとキーフレームを含む動画のサムネイル画像を生成する。

サムネイル画像生成部１２は、動画ファイルから上記に該当するデータ（キーフレーム又は差分データ）を取得し、上記条件を満たしたキーフレームを用いたサムネイル画像を生成する。

なお、サムネイル画像生成部１２が生成するサムネイル画像は設定により変更されてもよい。この場合、サムネイル画像生成部１２が生成するサムネイル画像の種類はメモリ１１７等に格納されるプログラムのパラメタ等により設定される。

§２−３−４ まとめ
以上のとおり、まず、キーフレーム取得部１０が、所定数以内の色数が用いられ、コントラストの値が所定の値を超えたキーフレームを動画ファイルから抽出する。次に、キーフレーム取得部１０が抽出したキーフレームに対して、データサイズ判定部１１が、当該抽出されたキーフレームの後ろに続く所定の個数の差分データのデータサイズが所定のデータサイズ以下であるかどうかを判定する。最後に、当該判定の結果、所定の個数の差分データのデータサイズが所定のデータサイズ以下であるならば、サムネイル画像生成部１２が、当該キーフレームを用いたサムネイル画像を生成する。

なお、本実施形態において、動画ファイルの再生順序の先頭のキーフレームから順に上記各処理を実行した結果、上記のような条件を満たすキーフレームが最後まで存在しなければ、サムネイル画像生成処理部４はサムネイル画像を生成することができない。このような場合、サムネイル画像生成処理部４は、周知の方法によりサムネイル画像を生成してもよいし、適当なキーフレームに基づいてサムネイル画像を生成してもよい。また、サムネイル画像生成処理部４は、各所定の値を変更することにより、再度、動画ファイルの再生順序の先頭から上記各処理を実行してもよい。以下、上記のような条件を満たすキーフレームが存在するものとする。

§２−４ 動画リスト表示部５
動画リスト表示部５は、動画リスト取得部３からサムネイル画像取得要求を受け取ると、記憶部７のサムネイルデータベース９からサムネイル画像のデータを取得する。そして、動画リスト表示部５は、例えば、図６に示されるとおり、当該取得したサムネイル画像を表示部１２２に表示する。図６は、サムネイル画像が表示部１２２に表示されている状態例を示す。サムネイル画像の表示は周知の方法により行う。

§２−５ 動画再生部６
動画再生部６は、操作制御部２から動画再生要求を受け取ると、当該動画再生要求に含まれる操作部１１４等により選択されたサムネイル画像を特定する情報に基づいて、当該サムネイル画像に対応する動画ファイルを記憶部７の動画データベース８から取得する。そして、動画再生部６は、表示部１２２において当該取得した動画ファイルを再生する。動画ファイルの再生は周知の方法により行う。

§３ 動作例
＜サムネイル画像の生成方法＞
動作例として、本実施形態におけるサムネイル画像の生成方法について説明する。図７は、サムネイル画像を生成する時のＡＶＮ一体機１（本装置）の動作例を示すフローチャートである。

まず、操作制御部２は、使用者の操作部１１４等による動画リスト取得操作に応じて、動画リスト取得要求を動画リスト取得部３に出力する（Ｓ１０００）。

動画リスト取得部３当該動画リスト取得要求を受け取ると、動画データベース８に格納されている動画ファイルに対応するサムネイル画像のデータがサムネイルデータベース９に格納されているかどうかを調べるための照合を行う（Ｓ１００１）。

当該照合の結果、動画データベース８に格納されている動画ファイルに対応するサムネイル画像のデータが全てサムネイルデータベース９に格納されている場合（Ｓ１００２）、動画リスト取得部３は、動画リスト表示部５に対してサムネイル画像取得要求を出力する（Ｓ１０１１）。そして、動画リスト表示部５は、当該サムネイル画像取得要求を受け取ると、記憶部７のサムネイルデータベース９からサムネイル画像のデータを取得する（Ｓ１０１２）。そして、動画リスト表示部５は、例えば、図６に示されるとおり、当該取得したサムネイル画像を表示部１２２に表示する（Ｓ１０１３）。

他方、動画データベース８に格納されているいくつかの動画ファイルについて、対応するサムネイル画像のデータがサムネイルデータベース９に格納されていない場合がある。この場合、動画リスト取得部３は、当該動画ファイルの情報を含むサムネイル画像生成要求をサムネイル画像生成処理部４に出力する（Ｓ１００３）。

サムネイル画像生成処理部４は、当該サムネイル画像生成要求を受け取ると、サムネイル画像生成要求に含まれる動画ファイルの情報に基づいて、動画データベース８より当該情報に対応する動画ファイルを取得する（Ｓ１００４）。

取得した動画ファイルについて、サムネイル画像生成処理部４のキーフレーム取得部１０は、上述のとおり、当該キーフレームが所定数以内の色数が用いられ、コントラストの値が所定の値を超えたキーフレームを動画ファイルから抽出する（Ｓ１００５）。

そして、キーフレーム取得部１０が抽出したキーフレームに対して、データサイズ判定部１１が、当該抽出されたキーフレームの後ろに続く所定の個数の差分データのデータサイズが所定のデータサイズ以下であるかどうかを判定する（Ｓ１００６）。

当該判定の結果、抽出されたキーフレームの後ろに続く所定の個数の差分データのデータサイズが所定のデータサイズを超えているとする。この時、データサイズ判定部１１は、抽出されたキーフレーム以降のキーフレームに対して、再度、所定数以内の色数が用いられ、コントラストの値が所定の値を超えたキーフレームの抽出をキーフレーム取得部１０に対して要求する（Ｓ１００７、Ｓ１００４）。

他方、抽出されたキーフレームの後ろに続く所定の個数の差分データのデータサイズが所定のデータサイズ以下であるとする。この時、サムネイル画像生成部１２は、当該キーフレームを用いたサムネイル画像を生成する。そして、サムネイル画像生成処理部４は、サムネイル画像生成部１２により生成したサムネイル画像をサムネイルデータベース９に格納する（Ｓ１００８）。サムネイル画像生成処理部４は、サムネイル画像を生成した動画ファイルの情報をサムネイル画像生成要求に含まれる動画ファイルの情報から削除する。

サムネイル画像生成処理部４は、Ｓ１００４からＳ１００８までの処理をサムネイル画像生成要求に含まれるサムネイル画像を生成する対象の動画ファイルの情報が無くなるまで繰り返す（Ｓ１００９）。

そして、サムネイル画像生成要求に含まれていた情報に対応する動画ファイルのサムネイル画像を全て生成し終えると、サムネイル画像生成処理部４はサムネイル画像生成完了通知を動画リスト取得部３に出力する（Ｓ１０１０）。

動画リスト取得部３は、当該サムネイル画像生成完了通知を受け取ると、動画リスト表示部５に対してサムネイル画像取得要求を出力する（Ｓ１０１１）。そして、動画リスト表示部５は、当該サムネイル画像取得要求を受け取ると、記憶部７のサムネイルデータベース９からサムネイル画像のデータを取得する（Ｓ１０１２）。そして、動画リスト表示部５は、例えば、図６に示されるとおり、当該取得したサムネイル画像を表示部１２２に表示する（Ｓ１０１３）。

＜動画ファイルの再生方法＞
動作例として、本実施形態における動画ファイルの再生方法について説明する。

まず、操作制御部２は、使用者の操作部１１４等による動画再生操作に応じて、操作部１１４等により選択されたサムネイル画像を特定する情報を含む動画再生要求を動画再生部６に出力する。

そして、動画再生部６は、当該動画再生要求を受け取ると、当該動画再生要求に含まれる操作部１１４等により選択されたサムネイル画像を特定する情報に基づいて、当該サム
ネイル画像に対応する動画ファイルを記憶部７の動画データベース８から取得する。そして、動画再生部６は、表示部１２２において当該取得した動画ファイルを再生する。

＜実施形態の作用及び効果＞
上述したように、本実施形態におけるサムネイル画像生成装置は、動画ファイルの再生順に、所定数以内の色数が用いられ、コントラストの値が所定の値を超えたキーフレームを動画ファイルから抽出する。そして、本装置は、抽出したキーフレームに対して、当該抽出したキーフレームの後ろに続く所定の個数の差分データのデータサイズが所定のデータサイズ以下であるかどうかを判定する。当該判定の結果、所定の個数の差分データのデータサイズが所定のデータサイズ以下であるならば、本装置は、当該キーフレームを用いたサムネイル画像を生成する。

このように、本実施形態によれば、単一色に近く、コントラストの強い、一定時間画面変化量の少ない画像を用いたサムネイル画像（例えば、タイトル画面）が生成されるため、小さな表示画面でも内容を視覚的に把握しやすいサムネイル画像を生成することができる。

また、本実施形態によれば、動画ファイルの再生順に上記条件を満たす画像の検索が行われるため、サムネイル画像を生成する際に参照しなければならない動画ファイルの範囲を削減することができる。

§４ 変形例
上述の本実施形態では、サムネイル画像生成処理部４が、「単一色に強く、コントラストの強い画像」であって、かつ、「一定時間画面変化量の少ない画像」を動画ファイルから抽出して、抽出した画像からサムネイル画像を生成する例を説明した。しかしながら、サムネイル画像生成処理部４が抽出する画像は、「単一色に強く、コントラストの強い画像」であって、かつ、「一定時間画面変化量の少ない画像」でなくてもよい。例えば、サムネイル画像生成処理部４が抽出する画像は、「単一色に強く、コントラストの強い画像」、または、「一定時間画面変化量の少ない画像」でもよい。

例えば、サムネイル画像生成処理部４が、「単一色に強く、コントラストの強い画像」を抽出する場合、本実施形態におけるデータサイズ判定部の処理が不要となる。つまり、この場合、サムネイル画像生成処理部４は、キーフレーム取得部１０とサムネイル画像生成部１２を備えればよい。キーフレーム取得部１０は、上述のとおり、「単一色に強く、コントラストの強い画像」を取得する。そして、サムネイル画像生成部１２は、キーフレーム取得部１０が取得した「単一色に強く、コントラストの強い画像」を用いてサムネイル画像を生成する。具体的な処理については上述のとおりである。

上記態様によれば、単一色に近く、コントラストの強い画像を用いたサムネイル画像が生成される。また、単一色に近く、コントラストの強い画像は、画像内の色数が少なく、画素間の変化がはっきりしている。したがって、上記態様によれば、小さな表示画面でも内容を視覚的に把握しやすいサムネイル画像を生成することができる。

また、例えば、サムネイル画像生成処理部４が、「一定時間画面変化量の少ない画像」を抽出する場合、本実施形態におけるキーフレーム取得部１０の処理が不要となる。つまり、この場合、サムネイル画像生成処理部４は、データサイズ判定部１１とサムネイル画像生成部１２を備えればよい。データサイズ判定部１１は、例えば、動画再生の順において、キーフレームを抽出し、当該抽出したキーフレームに続く所定の個数の差分データのサイズが所定のデータサイズ以下であるかどうかを判定する。そして、データサイズ判定部１１は、所定の個数の差分データのサイズが所定のデータサイズ以下であるならば、当
該抽出したキーフレームを「一定時間画面変化量の少ない画像」として取得する。続いて、サムネイル画像生成部１２は、データサイズ判定部１１が取得した「一定時間画面変化量の少ない画像」を用いてサムネイル画像を生成する。具体的な処理については上述のとおりである。

上記態様によれば、一定時間画面変化量の少ない画像を用いたサムネイル画像が生成される。また、一定時間画面変化量の少ない画像は、画面変化の少ないシーンの画像である。したがって、上記態様によれば、小さな表示画面でも内容を視覚的に把握しやすいサムネイル画像を生成することができる。

§５ 補足
本実施形態において、動画ファイルのキーフレーム及び差分データを解析することによりサムネイル画像を生成する処理を説明した。しかし、サムネイル画像の生成に際して、サムネイル画像生成処理部４は、動画ファイルの音声データを用いてもよい。例えば、サムネイル画像生成処理部４は、動画ファイルの再生順に音量のデータを取得する。そして、サムネイル画像生成処理部４は、取得したデータを用いて、所定時間の間無音である部分のデータ（キーフレーム及び差分データ）を用いてサムネイル画像を生成してもよい。また、サムネイル画像生成処理部４は、取得したデータを用いて、音量が一気に大きくなる、つまり、データ間の音量差が所定の値を超えた時点を判別し、当該時点におけるデータ（キーフレーム及び差分データ）を用いてサムネイル画像を生成してもよい。

また、サムネイル画像生成処理部４は、周知の文字認識手段により、動画ファイルからタイトル画面を抽出し、当該タイトル画面を用いたサムネイル画像を生成してもよい。

なお、本実施形態において、サムネイル画像の生成とサムネイル画像の表示とが一連の処理として実行されているが、それぞれ別々に行われてもよい。この場合、操作制御部２からサムネイル画像生成処理部４に直接サムネイル画像生成要求を出力してもよいし、操作制御部２から動画リスト表示部５に直接サムネイル画像取得要求を出力してもよい。また、動画ファイルが動画データベース８に登録された時点において、サムネイル画像が生成されてもよい。この場合、動画ファイルが動画データベース８に登録された時点、例えば、使用者の操作部１１４等による動画ファイルの登録操作に応じて、操作制御部２からサムネイル画像生成処理部４にサムネイル画像生成要求を出力すればよい。サムネイル画像の生成とサムネイル画像の表示とが一連の処理として実行されていることは、本発明を限定するものではない。

また、本実施形態における各所定の値及び閾値は、任意に定められ、メモリ１１７等に格納されるプログラムのパラメタ等により設定される。また、本実施形態における任意に定められる事項についても、メモリ１１７等に格納されるプログラムのパラメタ等により設定される。ただし、当該設定方法は、本発明を限定するものではない。周知の方法で、各所定の値、閾値及び任意に定められる事項が設定されればよい。

１ ＡＶＮ一体機
２ 操作制御部
３ 動画リスト取得部
４ サムネイル画像生成処理部
５ 動画リスト表示部
６ 動画再生部
７ 記憶部
８ 動画データベース
９ サムネイルデータベース
１０ キーフレーム取得部
１１ データサイズ判定部
１２ サムネイル画像生成部
２０ キーフレーム
２１ ブロック
２２ ブロック
２３ ブロック
２４ ブロック
１００ 制御部
１０１ 外部記憶媒体再生部
１０２ ラジオ受信部
１０３ ＴＶ受信部
１０４ ディスク再生部
１０５ ＨＤ再生部
１０６ ナビゲーション部
１０７ 分配回路
１０８ 画像調整回路
１０９ 音声調整回路
１１０ 画像出力部
１１１ ＶＩＣＳ情報受信部
１１２ ＧＰＳ情報受信部
１１３ セレクタ
１１４ 操作部
１１５ リモコン送受信部
１１６ リモコン
１１７ メモリ
１１８ 外部音声／映像入力部
１１９ カメラ
１２０ ＥＴＣ車載
１２１ 通信ユニット
１２２ 表示部
１２３ スピーカ
２００ バックライト
２０１ 液晶パネル
２０２ タッチパネル

Claims (7)

1. キーフレームと、前記キーフレームを起点として後続するフレームについての差分データと、を含む動画ファイルのサムネイル画像を生成する方法において、
   前記キーフレームのうち、所定数以内の色数が用いられ、コントラストの値が所定の値を超えたキーフレームを取得するキーフレーム取得ステップと、
   前記キーフレーム取得ステップにより取得したキーフレーム以降の所定の個数の差分データのデータサイズが所定のデータサイズ以下であるかどうかを判定するデータサイズ判定ステップと、
   前記データサイズ判定ステップにおいて、前記キーフレーム取得ステップにより取得したキーフレーム以降の所定の個数の差分データのデータサイズが所定のデータサイズ以下であると判定されることにより、前記キーフレーム取得ステップにより取得したキーフレームを用いたサムネイル画像を生成するサムネイル画像生成ステップと、
   を含むことを特徴とするサムネイル画像生成方法。
2. 前記キーフレーム取得ステップは、前記動画ファイルに含まれるキーフレームを周波数変換した後に得られる周波数成分のデータ領域において、前記データ領域内の周波数が低域側の所定範囲に含まれる第１周波数領域の周波数成分評価値と、前記データ領域内の周波数が高域側の所定領域に含まれる第２周波数領域の周波数成分評価値とが、第１周波数領域及び第２周波数領域を前記データ領域から除いた、第１周波数領域に含まれる周波数と第２周波数領域に含まれる周波数との間の周波数領域における所定領域に含まれる第３周波数領域の周波数成分評価値よりも大きい値であるキーフレームを、前記所定数以内の色数が用いられ、コントラストの値が所定の値を超えたキーフレームとして取得することを特徴とする請求項１に記載のサムネイル画像生成方法。
3. 前記キーフレーム取得ステップは、キーフレームの各ピクセルにおける色情報を用いることにより、前記所定数以内の色数が用いられ、コントラストの値が所定の値を超えたキーフレームを取得することを特徴とする請求項１に記載のサムネイル画像生成方法。
4. 前記サムネイル画像生成ステップは、サムネイル画像として、前記キーフレーム取得ステップにより取得したキーフレームを基準として所定の動画再生時間幅内に含まれるキーフレーム及び差分データのうち少なくとも一方を用いた動画ファイルを生成することを特徴とする請求項１から３のいずれか１項に記載のサムネイル画像生成方法。
5. キーフレームと、前記キーフレームを起点として後続するフレームについての差分データと、を含む動画ファイルのサムネイル画像を生成する方法において、
   前記キーフレームのうち、所定数以内の色数が用いられ、コントラストの値が所定の値を超えたキーフレームを取得するキーフレーム取得ステップと、
   前記キーフレーム取得ステップにより取得したキーフレームを用いたサムネイル画像を生成するサムネイル画像生成ステップと、
   を含むことを特徴とするサムネイル画像生成方法。
6. キーフレームと、前記キーフレームを起点として後続するフレームについての差分データと、を含む動画ファイルのサムネイル画像を生成する方法において、
   前記キーフレーム以降の所定の個数の差分データのデータサイズが所定のデータサイズ以下であるかどうかを判定するデータサイズ判定ステップと、
   前記データサイズ判定ステップにおいて、前記キーフレーム以降の所定の個数の差分データのデータサイズが所定のデータサイズ以下であると判定されることにより、当該キーフレームを用いたサムネイル画像を生成するサムネイル画像生成ステップと、
   を含むことを特徴とするサムネイル画像生成方法。
7. キーフレームと、前記キーフレームを起点として後続するフレームについての差分データと、を含む動画ファイルのサムネイル画像を生成する装置において、
   前記キーフレームのうち、所定数以内の色数が用いられ、コントラストの値が所定の値を超えたキーフレームを取得するキーフレーム取得部と、
   前記キーフレーム取得部により取得したキーフレーム以降の所定の個数の差分データのデータサイズが所定のデータサイズ以下であるかどうかを判定するデータサイズ判定部と、
   前記データサイズ判定部において、前記キーフレーム取得部により取得したキーフレーム以降の所定の個数の差分データのデータサイズが所定のデータサイズ以下であると判定されることにより、前記キーフレーム取得部により取得したキーフレームを用いたサムネイル画像を生成するサムネイル画像生成部と、
   前記生成されたサムネイル画像を一覧表示する表示部と、
   操作部と、
   前記操作部により前記表示部に一覧表示されたサムネイル画像が選択されることにより、前記選択されたサムネイル画像に対応する動画ファイルを前記表示部において再生する動画再生部と、
   を備えることを特徴とするサムネイル画像生成装置。

Images