JP2007329732A - サムネイル表示方法及び情報記録再生装置 - Google Patents

Abstract

【課題】不鮮明なフレーム画像に代えて鮮明なフレーム画像をサムネイル表示することにより、撮影画像の検索や編集等を容易に行うことが可能なサムネイル表示方法及び情報記録再生装置を提供する。
【解決手段】サムネイル表示するフレーム画像の特徴量の計算を行い、特徴量が予め決められた条件を満たしていない場合には、サムネイル表示するフレーム画像を特徴量の条件を満たすフレーム画像に変更する。特徴量としては、例えば、フレームのエッジ量が用いられる。そうすることで、サムネイル表示する画像は、常に、見やすく、鮮明な画像が表示されることになる。
【選択図】図１１

Description

本発明は、撮影画像の検索等のため区切られた動画毎にサムネイルを表示する方法及び情報記録再生装置に関するものである。

従来、撮影された動画音声データから所望のシーンを検索する場合には、チャプターもしくはファイルの先頭から所望のシーンまで早送りや早戻しをする必要があり、ユーザにとって不便であった。

そこで、例えば、ビデオカメラ等において撮影画像を所定時間長毎にファイルとして分割設定し、ファイル毎の代表画像を検索画面として表示（サムネイル表示）する技術が、特開２０００−２１５６４８号公報に開示されている（特許文献１）。
特開２０００−２１５６４８号公報

上記従来技術では、撮影画像を所定時間毎に区切り、フレームをサムネイル表示する場合には、サムネイルがユーザにとって見づらく、内容を把握しにくい画像である可能性がある。ユーザにとって見づらく、内容を把握しにくい画像とは、例えば、急激なＰａｎ中の画像やフォーカスが合っていない画像等である。そのため、ユーザにとって見づらく、内容を把握しにくいサムネイル画像を表示すると、本来の目的である長時間の録画内容の検索や編集等をできない場合があった。

本発明の目的は、不鮮明なフレーム画像に代えて鮮明なフレーム画像をサムネイル表示することにより、撮影画像の検索や編集等を容易に行うことが可能なサムネイル表示方法及び情報記録再生装置を提供することにある。

本発明は、サムネイル表示するフレーム画像の特徴量の計算を行い、特徴量が予め決められた条件を満たしていない場合には、サムネイル表示するフレーム画像を特徴量の条件を満たすフレーム画像に変更する。そのため、サムネイル表示する画像は、常に、見やすく、鮮明な画像となる。

本発明によれば、録画等を一定時間長等に区切って代表画像をサムネイル表示する際に不鮮明な画像を鮮明な画像に代えてサムネイル表示することにより、容易に録画内容の検索、編集等を行うことができる。

次に、発明を実施するための最良の形態について図面を参照して詳細に説明する。

（本発明の構成）
図１は本発明に係る情報記録再生装置の一実施形態を示すブロック図である。図中２１はＨＤＤ、ＤＶＤ、光ディスク、半導体メモリ等の情報記録媒体、２２は情報記録媒体２１に情報の記録又は再生を行うドライブである。

２３は動画や音声データ等を入力するＡ／Ｖ入力部、２４はデータの符号化と復号化を行うコーデック部、２５は情報記録媒体２１から読み出された情報を出力するＡ／Ｖ出力部である。２６は装置全体を制御するマイクロコンピュータ、２７は動作表示部、２８はキー入力部、２９は必要な情報を記憶するメモリである。

情報記録媒体２１にデータを記録する場合には、例えば、放送局で配信されているデータをチューナで取り込んだものや、カムコーダ録画した動画、音声データ等がＡ／Ｖ入力部２３から入力される。このデータはマイクロコンピュータ２６の制御によりコーデック部２４で情報記録媒体２１に記録可能なデータに符号化され、ドライブ２２により情報記録媒体２１に記録される。

一方、情報記録媒体２１のデータを再生する場合には、マイクロコンピュータ２６の制御に基づきドライブ２２により記録媒体媒体２１からデータが読み出される。読み出されたデジタル信号はコーデック部２４においてＡ／Ｖ出力部２５の先に繋がるＴＶ等のモニタで表示可能なデータに復号化される。その後、Ａ／Ｖ出力部２５から出力され、ＴＶ等のモニタ上に表示される。

（ファイル管理とアクセス方法）
図１の情報記録媒体２１は、例えば、ＨＤＤ、ＤＶＤ等であるが、情報記録媒体２１に動画、音声データを記録する場合には、ファイル単位で記録する。ＨＤＤ、ＤＶＤ等の情報記録媒体のデータ構造を図２に示す。

図２に示すように情報記録媒体上のデータはトラック（track）と呼ばれる同心円に分割されている。トラックは更にセクタ（sector）と呼ばれる円弧に分割されている。図２では全てのトラックで同数セクタを持つ場合を示しているが、内周の方が外周に比べて密度が高くなるため、外周のセクタ数を多くするものもある。

セクタには夫々番号が割り振られており、あるデータをファイルとして登録する際には、ファイル名、ファイルの開始セクタ番号、データが占有するデータサイズ（例えばバイト）、データの種類等の情報をファイル管理情報としてデータとは別に登録する。

（チャプターの構成）
情報記録媒体にデータを記録する単位はファイル単位だが、一連の再生を実行する単位は再生制御の情報テーブルを持つことにより、ファイルと同じか、それ以下のサイズで複数の単位で実現してもよい。一連の再生単位をチャプターと呼ぶ。

図３は情報記録媒体２１に記録されているファイルの構成の一例を示す。図３の例では、ファイル４１はチャプター（Chapter）４２とチャプター４３の２つのチャプターから構成されている。

（サムネイル生成と表示方法）
サムネイルとは情報記録媒体２１に記録されている動画音声データの代表フレームを縮小して表示するものである。一般的にサムネイル表示はチャプター毎で行う。図４はサムネイルの表示例を示す。

図４に示すようにＡ／Ｖ出力部２５に繋がる動画表示部５１（例えば、ＴＶ等のモニタ）に情報記録媒体２１中に記録されているチャプター４２のサムネイル５２、チャプター４３のサムネイル５３が表示されている。

複数のサムネイルを表示するフレームをメニューフレームと呼ぶ。メニューフレームは情報記録媒体２１の内容をユーザが簡易に把握できるように起動時に表示される。また、ユーザの操作によりメニューフレームを表示することも可能である。サムネイル画像は、特に指定がなければ、チャプターの先頭フレームを情報記録媒体２１から読み出し、メモリ２９に格納する。

また、格納されたフレームを縮小処理する。縮小化された複数の代表画像を一つのメニューフレームとしてＡ／Ｖ出力部２５を介して動画表示部５１に出力し、図４に示すように表示する。

（一定時間長毎にサムネイル表示する技術）
図５（ａ）は、例えば、２８分間の動画音声ファイル６１が情報記録媒体２１に記録されている例を示す。チャプターはファイル６１に対してチャプター６２の一つしかない。この場合、図６（ａ）に示す様にチャプター６２に対応するサムネイル７１が動画表示部５１に表示される。

図５（ｂ）はファイル６１の先頭から５分の間隔でチャプターを自動的に挿入した場合の例を示す。チャプターは６３〜６８の６個が作成されている。その場合、図５（ｂ）に対応する図６（ｂ）のサムネイルはチャプター６３〜６８に対してサムネイル７２〜７７である。チャプターを挿入する間隔は変更が可能である。

（特徴量の検出（エッジ））
図７（ａ）は動画表示部５１に人物が撮影された状態を示す。図７（ｂ）は図７（ａ）の画像を一次微分（ｘ方向一次微分）したグラフを示す。即ち、図７（ａ）に示す画像の動画音声データの一フレームにおいて、ある特定のライン８１の輝度成分分布をｆ（ｘ）とおき、その微分値分布ｆ’（ｘ）をグラフ化したものが図７（ｂ）である。人物と背景の境界ではｆ（ｘ）の微分値が高くなる。エッジだけを検出する際には閾値を８２の様に設定して、閾値以上の微分値を持つ画素を１とし、それ以外を０とする２値化を行う。

（本発明の説明）
図８（ａ）は図６（ｂ）の場合と同様に一定時間長毎にサムネイル表示した状態を示す。図８（ｂ）は図８（ａ）のサムネイル表示したフレーム画像のうち、７３のフレーム画像を示す。

図８（ｂ）にはフレーム中に人物が写されているが、急激なＰａｎの途中のフレームであり、フレームはエッジ境界がなまる。そのため、図８（ｂ）の特定ライン９１の輝度成分分布をｇ（ｘ）とする場合、一次微分値ｇ’（ｘ）は図８（ｃ）のグラフのように示すことができる。

図８（ｃ）のグラフに示すように一次微分値は閾値９２を超えなくなっている。このように急激なＰａｎや全体的にフォーカスがずれているフレームはエッジ部分が少なく、ユーザにとって見づらいものとなる。

よって、フレーム全体で一次微分を行い、その微分値と閾値を比較して、閾値を超えている画素をエッジ部分としたとき、検出したエッジ部分の画素数が一定数よりも少ない場合には、区切りの位置を変更する。

具体的な方法を説明する。図８（ａ）のサムネイル７３はチャプター６４の先頭フレームだが、そのフレームの前後のフレームを情報記録媒体２１から読み出す。即ち、図９に示す様にチャプター６４の先頭フレームである１０１から前後のフレームを、例えば、１０２、１０３、１０４、１０５の順番でメモリ２９に読み出す。

マイクロコンピュータ２６は各フレームについて上述のようなエッジ部分を検出する処理を行い、エッジ部分の画素数が一定値より多いフレームがあるかを探索する。エッジ部分の画素数が一定値より多いフレームが見つかった場合には、そのフレーム部分でファイルを区切り、チャプターを新たに作成する。

図１０は分割位置変更によるサムネイル表示の変更状態を示す。まず、ファイル６１は図９に示すように５：００の位置でチャプター分割されている。その際、上述のようにエッジ部分の画素数が一定値より少ない場合には、図９の様に前後のフレームを読み出し、エッジ部分の画素数が一定値より多いフレームを探索する。

図１０の例では、探索の結果、５：３０秒のフレームがエッジ検出された画素数が一定値より多くなったと判定され、この位置を区切りとして変更する。また、図１０に示すように６３、６４のチャプターは１１、１２に修正され、サムネイル７３は５：３０秒の位置のフレームを縮小したサムネイル１３に変更する。

図１１は本発明に係る分割位置変更処理を示すフローチャートである。まず、マイクロコンピュータ２６は情報記録媒体２１のファイルを一定時間長毎に分割後、分割位置画像をメモリ２９に読み出す（Ｓ１０１）。即ち、図６（ｂ）に示すようにファイルを一定時間長毎に区切り、例えば、代表画像としてそれぞれの先頭フレーム画像をメモリ１９に読み込む。

次いで、マイクロコンピュータ１６は読み出したそれぞれのフレーム画像に関して上述のようにフレーム全体で一次微分計算を行う（Ｓ１０２）。また、上述のようにその微分値と所定の閾値との比較を行い、閾値を超えている画素（エッジ画素という）を計算する（Ｓ１０２）。

その後、エッジ画素が一定数以上であるか否かを判定し（Ｓ１０３）、エッジ画素以上でない場合には、図９で説明したように分割画像前又は後の画像を情報記録媒体２１からメモリ２９に読み出す（Ｓ１０４）。次に、Ｓ１０２に戻って読み出したフレーム画像に対して一次微分計算を行い、Ｓ１０３でエッジ画素以上であるかを判定する。このようにしてエッジ画素以上のフレーム画像を探索する。

Ｓ１０３でエッジ画素以上の画像がある場合には、現在メモリ２９に読み出されているフレーム画像の位置で分割処理を行う（Ｓ１０５）。その際、Ｓ１０３でエッジ画素が一定値以下であった場合には、Ｓ１０４で分割画像前後のフレーム画像の探索を行い、それに応じてチャプターの変更（区切り位置の変更）を行う。

また、最初に読み込んだ先頭フレーム画像がエッジ画素の条件を満たす場合には、区切り位置はそのままとする。次に、分割画像のサムネイルを作成して（Ｓ１０６）、処理を終了する。このようにサムネイル表示する画像の特徴量を計算し、特徴量が条件を満たしていない場合には、特徴量の条件を満たすフレーム画像に変更することで見やすく鮮明なサムネイル表示が可能となる。

ここで、以上の実施形態では、情報記録媒体２１に記録後にファイルの分割位置を変更しているが、情報記録媒体への記録中に一定時間長毎にチャプターを区切る際に分割位置を修正してもよい。

その際、図１２に示す様にファイルの記録時に記録前のフレームデータがメモリ２９に数枚溜まっており、順次情報記録媒体２１に記録される。図１２ではフレーム１１１〜１１４として示す。

例えば、分割予定位置がフレーム１１２である時に上述のようなフレーム１１２のエッジ検出を行った結果、エッジ画素が一定値より少ないとする。その場合には、メモリ２９内に存在する前後フレームのエッジの計算を行う。

エッジ計算の結果、例えば、フレーム１１３がエッジ画素が一定値よりも多い場合には、分割予定位置をフレーム１１３にずらす。分割予定のフレーム１１３が記録されたら、その分割予定位置前の一連の動画音声データをチャプターとして登録する。この方法でも同様の効果が得られる。

図１３は本発明の他の実施形態を示す。図１３（ａ）はサムネイル変更前、図１３（ｂ）はサムネイル変更後の状態を示す。本実施形態では図１３（ｂ）に示すように分割位置をずらさずに表示するサムネイルだけ変更する。

即ち、図１３では、例えば、チャプター６４の先頭フレーム画像に関して一次微分計算結果、エッジ画素が一定以上となっていない。その場合、同じチャプター６４内で条件を満たすフレーム画像を探索し、サムネイル表示する画像を変更する。

この方法でも上述の実施形態と同様の効果が得られる。また、本実施形態においてもサムネイルの変更処理は、上述のように動画音声ファイルの情報記録媒体への記録後又は記録中に行う。

なお、特徴量としてフレーム画像のエッジ量を示したが、本発明はこれに限ることなく、例えば、フレーム画像の階調分布を用いても良い。また、フレーム画像内に存在する対象物の位置、長さ、面積、個数等を用いても良い。

本発明に係る情報記録再生装置の一実施形態を示すブロック図である。 ディスク上のデータ構成例を示す図である。 ファイルをチャプターに分割した例を示す図である。 サムネイルの表示例を示す図である。 ファイルを一定時間長毎に分割した例を示す図である。 ファイルの分割前と分割後のサムネイル表示例を示す図である。 本発明に係るフレーム画像の一次微分による特徴量の検出を説明する図である。 本発明に係る分割画像の特徴量の検出によるフレーム画像の合否判定を説明するための図である。 本発明に係る先頭フレーム画像の前後のフレーム画像からサムネイル表示するフレーム画像を探索する様子を示す図である。 本発明に係るファイルの分割位置変更に伴うサムネイル変更を説明する図である。 本発明に係るサムネイル表示するフレーム画像を探索する処理を説明するフローチャートである。 本発明に係る記録時の分割位置変更を説明する図である。 本発明の他の実施形態を示す図である。

符号の説明

２１ 情報記録媒体
２２ ドライブ
２３ Ａ／Ｖ入力部
２４ コーデック部
２５ Ａ／Ｖ出力部
２６ マイクロコンピュータ
２７ 動作表示部
２８ キー入力部
２９ メモリ

Claims (10)

1. 一連の動画データを区切り、区切られた動画データの中から代表フレーム画像をサムネイル表示する方法において、サムネイル表示するフレーム画像の特徴量の計算を行い、前記特徴量が予め決められた条件を満たしていない場合には、サムネイル表示するフレーム画像を前記特徴量の条件を満たすフレーム画像に変更することを特徴とするサムネイル表示方法。
2. 前記代表フレーム画像の特徴量が予め決められた条件を満たしていない場合には、前記代表フレーム画像の前方又は後方に位置するフレーム画像の中から特徴量の条件を満たすフレーム画像を探索し、探索結果に基づいて前記動画データの区切り位置を変更することによってサムネイル表示するフレーム画像を変更することを特徴とする請求項１に記載のサムネイル表示方法。
3. 前記特徴量が予め決められた条件を満たしていない場合には、前記区切られた動画データの範囲内で特徴量の条件を満たすフレーム画像を探索し、探索結果に基づいてサムネイル表示するフレーム画像を変更することを特徴とする請求項１に記載のサムネイル表示方法。
4. 前記代表フレーム画像は前記区切られた動画データの先頭フレーム画像であることを特徴とする請求項２又は３に記載のサムネイル表示方法。
5. 前記動画データの情報記録媒体への記録後又は記録中に前記サムネイル表示するフレーム画像の変更処理を行うことを特徴とする請求項１〜４のいずれか１項に記載のサムネイル表示方法。
6. 前記動画データの区切られた範囲毎に動画データの再生単位が分割されていることを特徴とする請求項１〜５のいずれか１項に記載のサムネイル表示方法。
7. 前記特徴量はフレーム画像のエッジ量であることを特徴とする請求項１〜６のいずれか１項に記載のサムネイル表示方法。
8. 前記特徴量はフレーム画像の階調分布であることを特徴とする請求項１〜６のいずれか１項に記載のサムネイル表示方法。
9. 前記特徴量はフレーム画像内に存在する対象物の位置、長さ、面積、個数、であることを特徴とする請求項１〜６のいずれか１項に記載のサムネイル表示方法。
10. 動画データを情報記録媒体に記録又は再生する装置において、一連の動画データを区切り、区切られた動画データの中から代表フレーム画像をサムネイル表示する際に、サムネイル表示するフレーム画像の特徴量の計算を行う手段と、前記特徴量が予め決められた条件を満たしていない場合には、サムネイル表示するフレーム画像を前記特徴量の条件を満たすフレーム画像に変更する手段とを備えたことを特徴とする情報記録再生装置。