JP2005294904A

JP2005294904A - サムネイル画像抽出方法、装置、プログラム

Info

Publication number: JP2005294904A
Application number: JP2004102589A
Authority: JP
Inventors: Hiroto Kawachi; 洋人河内
Original assignee: Pioneer Electronic Corp
Current assignee: Pioneer Corp
Priority date: 2004-03-31
Filing date: 2004-03-31
Publication date: 2005-10-20
Anticipated expiration: 2024-03-31
Also published as: US20050232598A1; JP4230402B2

Abstract

【課題】よりインデックス機能の高いサムネイル画面の抽出が可能であり、記録媒体に記録されたタイトル毎のサムネイル画像を例えば番組のタイトル画面等のわかりやすい画像に揃える。
【解決手段】複数のタイトルの一つを選んでユーザが基準サムネイル画像Ｓｉを設定すると（Ｓａ）、この選定されたサムネイル画像Ｓｉが基準断片情報（基準フレーム）として抽出され、そのフレーム番号がメモリＳ［ｉ］（ｉ＝０）に保存される（Ｓ１〜Ｓ２）。次に、対象となるタイトルＴ［１］〜Ｔ［Ｔｎ］に対して、各タイトルのフレーム毎に基準サムネイル画像Ｓｉとの相関が求められ、最も相関の高いフレームのフレーム番号が自動検出され、メモリＳ［ｉ］に保存される。
【選択図】図１

Description

本発明は、サムネイル画像抽出方法、サムネイル画像抽出装置、サムネイル画像抽出プログラムに関するものである。

近年、画像及び音声のデジタル情報を大容量の記録媒体に再生可能に記録する装置が普及している。一般には、固定式の記録媒体（ハードディスク等）と可搬式の記録媒体（光ディスク（ＤＶＤを含む）等）への記録再生機能を備え、各記録媒体への記録を選択できると共に、相互の情報記録媒体間で情報の複写や転送を可能にするものである。このような装置は、専用機（ハードディスク付きＤＶＤレコーダ）として市販されているものもあれば、汎用コンピュータ（ＰＣ等）の記録媒体及びそれに対する記録再生装置を利用して、コンピュータに画像及び音声情報の記録再生機能を実現させるプログラムをインストールしたものもある。

このような装置では、画像及び音声の情報を記録媒体上にタイトルと呼ばれる情報単位で記録し、この情報単位毎に再生できるようにしている。このタイトルは、ＴＶ放送を受信して録画するような場合には一つの番組等のコンテンツ毎の単位になることもあるし、ビデオカメラで撮影した情報を記録するような場合には、撮影カット毎の情報或いはこれらを分割又は結合した情報の単位になることもある。

また、このような装置は、記録媒体上に記録された複数のタイトル毎の情報を管理するためにＯＳＤ（On Screen Display）を用いたインデックス機能を備えている。このインデックス機能としては、タイトル毎の記録日時やユーザ入力によるタイトル名等の文字情報をテーブル化し、これをタイトル毎に選択操作ができるように表示するもの、或いは、ＡＶ効果を高めるために、サムネイルと呼ばれる圧縮画像音声情報をタイトル毎に生成し、これをインデックス情報としてＯＳＤに乗せること等が一般に採用されている。

このサムネイルを用いたインデックス機能では、サムネイル画像がタイトル毎に画面上に並んで表示されることになるが、このサムネイル画像は、各タイトルにおける情報の中から画像及び音声の情報を切り出して圧縮することで得られる断片情報であるから、ユーザは、このサムネイル画像を見ればタイトルの内容をおおよそ把握することが可能になり、複数のサムネイル画像を見て自分が見たいタイトルのサムネイル画像を選択操作することで、所望のタイトルを再生することができるようになる。

このサムネイル画像の抽出は、従来は、装置毎に決められた一定の規則に従って抽出することなされており、具体的には、抽出対象のタイトルの先頭部分又はその先頭部分から一定の録画又は再生時間後の情報によって生成される場合が多かった。また、下記特許文献１に記載された従来例では、ユーザが各タイトルの情報からサムネイルを抽出する特定時点又は情報の位置を指定できるようしたものが開示されている。

特開２００３−３２５８１号公報

しかしながら、これのようなサムネイル画像の抽出によると、ＴＶ放送を受信して録画するような場合には、コマーシャルメッセージの存在によって効果的なサムネイル画像を抽出することができない場合がある。すなわち、録画しようとする番組の開始時刻とその番組本編の開始時刻とは一致しない場合が多く、一般的に、ＴＶ番組の開始時には、本編の放送前に数本のコマーシャルが放送される場合が多いので、タイトルの先頭部分又はその先頭部分から一定の録画又は再生時間後の情報からサムネイル画像を抽出するように設計されている場合には、ほとんどのサムネイル画像はコマーシャルの画像になってしまい、サムネイル画像からタイトルの番組内容を把握することができなくなる。

このため、サムネイルの画像から番組内容を把握できるようにするために、ユーザは録画したコンテンツを一端再生し、再生中の任意の場面を指定することによりサムネイルを生成する情報を変更して、サムネイルを作り直すという面倒な作業を行っていた。

これに対して、前述した従来技術によると、ユーザが番組録画に先立ってサムネイル画像の抽出時点を指定することができるので、コマーシャルを外したサムネイル画像を得ることができ、また、ハードディスクに蓄積された幾つかのタイトルを集めてオーサリングを行う際にも、一つのタイトルに対するサムネイル画像の抽出時点を設定すれば、他のタイトルに対して同じ時点でサムネイル画像を抽出するように一括変更することが可能になる。

しかしながら、更にサムネイル画像のインデックス機能を高めるために、例えば録画されたコンテンツのタイトル画面をサムネイル画面に設定したいと考えた場合等には、録画開示時刻のずれや番組配信側の都合で番組開始時間がずれた場合、或いはタイトル毎に番組のタイトル画面が現れる時間が異なる場合等には、従来技術のような抽出時点或いは情報の抽出位置のみによるサムネイル画像の抽出では、複数のタイトルのサムネイル画像を全てタイトル画面に合わせることは困難である。したがって、記録された複数のタイトルに対するオーサリング時に全てのタイトルのサムネイル画像をタイトル画面に一致させたいような場合には、やはりユーザによる手作業でサムネイル抽出時点をタイトル毎に設定する必要があり、面倒な作業を行わざるを得ないという問題があった。

本発明は、このような問題に対処することを課題の一例とするものである。すなわち、よりインデックス機能の高いサムネイル画面の抽出が可能であること、記録媒体に記録されたタイトル毎のサムネイル画像を例えば番組のタイトル画面等のわかりやすい画像に揃えることができること、オーサリング時等のサムネイル画像抽出を効果的且つ簡単に行うことができること等が本発明の目的である。

このような目的を達成するために、本発明は、以下の各独立請求項に係る構成を少なくとも具備するものである。

［請求項１］複数の情報単位で記録媒体に記録された画像・音声情報から、情報単位毎のサムネイル画像を抽出する方法であって、一つの情報単位に設定されたサムネイル画像に基づいて基準断片情報を抽出する工程と、他の情報単位における断片情報と前記基準断片情報との相関を求める工程と、前記他の情報単位に対して前記相関の最も高い断片情報に基づいて当該情報単位のサムネイル画像を抽出する工程と、を有することを特徴とするサムネイル画像抽出方法。

［請求項５］複数の情報単位で記録媒体に記録された画像・音声情報から、情報単位毎のサムネイル画像を抽出する装置であって、一つの情報単位に設定されたサムネイル画像に基づいて基準断片情報を抽出する手段と、他の情報単位における断片情報と前記基準断片情報との相関を求める手段と、前記他の情報単位に対して前記相関の最も高い断片情報に基づいて当該情報単位のサムネイル画像を抽出する手段と、を有することを特徴とするサムネイル画像抽出装置。

［請求項６］コンピュータを、複数の情報単位で記録媒体に記録された画像・音声情報から、情報単位毎のサムネイル画像を抽出する装置として機能させるプログラムであって、前記コンピュータを、一つの情報単位に設定されたサムネイル画像に基づいて基準断片情報を抽出する手段と、他の情報単位における断片情報と前記基準断片情報との相関を求める手段と、前記他の情報単位に対して前記相関の最も高い断片情報に基づいて当該情報単位のサムネイル画像を抽出する手段として機能させるためのサムネイル画像抽出プログラム。

以下、本発明の実施形態を図面を参照して説明する。図１は本発明の一実施形態に係るサムネイル画像抽出方法の基本フローを示す説明図である。本発明の実施形態に係るサムネイル画像抽出方法は、複数の情報単位で記録媒体に記録された画像・音声情報から、情報単位毎のサムネイル画像を抽出する方法であって、一つの情報単位に設定されたサムネイル画像に基づいて基準断片情報を抽出する工程と、他の情報単位における断片情報と前記基準断片情報との相関を求める工程と、前記他の情報単位に対して前記相関の最も高い断片情報に基づいて当該情報単位のサムネイル画像を抽出する工程とを有する。

ここで情報単位とは、記録媒体に記録されたデジタル画像・音声情報の中で一連の再生が可能な情報の単位であって、映像情報を記録したものでは前述したタイトルに相当する単位である。記録媒体にタイトル毎の映像情報が記録されており、一タイトル内で連続的な再生が可能なものを一つの例とすることができる。

そして、サムネイル画像とは、このタイトルの中から画像及び音声の情報を切り出して圧縮することで得られる断片情報からなるが、一般に動画像情報は、単位静止画（フレーム）の集合体であるから、この単位静止画の一つ又は複数からなる断片情報をサムネイル画像として抽出することができる。

図１に沿って、このサムネイル画像の抽出工程を説明する。複数のタイトルの一つを選んでユーザが基準サムネイル画像Ｓｉを設定すると（Ｓａ）、この選定されたサムネイル画像Ｓｉが基準断片情報（基準フレーム）として抽出され、そのフレーム番号がメモリＳ［ｉ］（ｉ＝０）に保存される（Ｓ１〜Ｓ２）。

次に、対象となるタイトルＴ［１］〜Ｔ［Ｔｎ］に対して、各タイトルのフレーム毎に基準サムネイル画像Ｓｉとの相関が求められ、最も相関の高いフレームのフレーム番号が自動検出され、メモリＳ［ｉ］に保存される。すなわち、各タイトルＴ［１］〜Ｔ［Ｔｎ］のサムネイル画像として抽出されるフレームの番号がメモリＳ［１］〜Ｓ［Ｔｎ］に保存されることになる（Ｓ３〜Ｓ５）。

これによると、各タイトルＴ［１］〜Ｔ［Ｔｎ］から抽出されたサムネイル画像は、全て基準サムネイル画像Ｓｉに対してタイトル内で最も相関の高いフレームになるので、対象となる複数のタイトルの一つに対して、例えばタイトル画面等を抽出して基準サムネイル画像Ｓｉを設定しておけば、他のタイトルに対しては自動で同様のタイトル画面をサムネイル画像として抽出することができる。

ここで基準サムネイル画像Ｓｉとなる基準フレーム（基準断片情報）は、ユーザが選択した一つのタイトル（情報単位）におけるサムネイル画像に対応した画像情報と音声情報の一方又は両方であり、他のタイトル（情報単位）におけるフレーム（断片情報）は、そのタイトル（情報単位）における画像情報のフレーム（断片情報）と音声情報のフレーム（断片情報）の一方又は両方であり、前記相関は、画像情報相互の画像相関と音声情報相互の音声相関の一方又は両方が求められる。

すなわち、相関を求める対象は、画像情報と音声情報の一方であっても両方であってもよい。一般に、ドラマ等の番組ではタイトル画面と共に共通の音声（主題歌等）が流れることが多いので、画像情報と音声情報を組み合わせることで、より関連性の高い情報からなるサムネイル画像を抽出することができる。タイトル画面を抽出する際に、画像情報の相関は低いが音声情報では高い相関が得られる場合がある。このような場合には、音声情報のみの相関を取ることで、所望のタイトル画面をサムネイル画像として抽出することができる。

また、基準サムネイル画像（基準断片情報）を２つのタイトル（情報単位）からそれぞれ抽出し、該抽出された２つの基準サムネイル画像（基準断片情報）の両方と高い相関のあるフレーム（断片情報）に基づいて他のタイトル（情報単位）のサムネイル画像を抽出することもできる。

これを図２に従って説明すると、始めにユーザが２つのタイトルＴ［１］，Ｔ［２］を選択して、そこから基準サムネイル画像Ｓ１，Ｓ２を設定する（Ｓ１１〜Ｓ１４）。そして、その基準サムネイル画像Ｓ１，Ｓ２の相関の強さＲを算出する（Ｓ１５）。

次に、他のタイトルＴ［３］〜Ｔ［Ｔｎ］に対して、基準サムネイル画像Ｓ１，Ｓ２と相関の高い画像のフレーム番号を自動検出し、これをＳ［３］〜Ｓ［Ｔｎ］に保存する。この際に各相関の高さを基準サムネイル画像Ｓ１，Ｓ２間の相関の強さＲと比較することで、より所望の関連性が得られるサムネイル画像を抽出することが可能になる。ユーザ設定の基準サムネイル画像を更に増やすことで、関連性の高いサムネイル画像を抽出する精度を上げることができる。

また、前述の自動抽出に加えて、ユーザが設定する一つのタイトル（情報単位）のサムネイル画像に対応するテキスト情報を参照して他のタイトル（情報単位）のサムネイル画像を抽出するようにしてもよい。すなわち、画像情報及び音声情報の相関による自動抽出に加えて、テキスト情報の類似性を参照することで、関連性の高いサムネイル画像を抽出する率を高めることができる。テキスト情報としては、ユーザ設定のサムネイル画像における基準サムネイル画像Ｓｉの出現フレーム番号、基準サムネイル画像Ｓｉ周辺の静止フレーム数、２つの基準サムネイル画像を採用する場合には、その相関が特に高いエリア（フレーム番号何番から何番といった範囲）等を採用することができる。これによっても、関連性の高いサムネイル画像を抽出する精度を上げることができる。

図３は、本発明の実施形態に係るサムネイル画像抽出方法を実現することができるオーサリング機能を有する画像記録再生装置を示す説明図である。この画像記録再生装置は、装置本体１０に、Ａ／Ｄ，Ｄ／Ａ変換部１１、ＣＰＵブロック１２、ハードディスクユニット１３、ＤＶＤドライブユニット１４を主要構成として備えるものである。

Ａ／Ｄ，Ｄ／Ａ変換部１１はチューナ部１６から入力される放送映像音声信号をデジタル変換すると共にＡＶ入出力部１７Ａから入力されるアナログ映像音声信号をデジタル変換し、また、装置本体１０側からのデジタル信号をアナログ変換してＡＶ入出力部１７Ａから出力させるものである。

ＣＰＵブロック１２は、ＭＰＥＧ−２エンコード／デコード機能１２Ａ、オーサリング機能１２Ｂ、画像／音声相関検出機能１２Ｃを少なくとも備える制御ブロックであり、Ａ／Ｄ，Ｄ／Ａ変換部１１を介して入力された映像音声信号をハードディスクユニット１３又はＤＶＤドライブユニット１４に出力すると共に、ハードディスクユニット１３又はＤＶＤドライブユニット１４からの映像音声信号をＡ／Ｄ，Ｄ／Ａ変換部１１を介して出力する基本機能、ハードディスクユニット１３に記録された映像音声信号をＤＶＤドライブユニットによってＤＶＤに記録させるオーサリング機能等を行うものである。更には、画像／音声相関検出機能１２Ｃを備えることで本発明の実施形態に係るサムネイル画像抽出方法を実現することができる。

また、ＣＰＵブロック１２は入力装置（リモコン）１９からの入力信号を赤外線送／受信機１５で受信して操作可能になっており、ＡＶ入出力部１７ＡにはＡＶ入出力部１７Ｂを介してモニタ装置１８が接続されており、装置本体１０からの映像音声信号が出力される構成になっている。

このような画像記録再生装置は、前述の画像／音声相関検出機能１２Ｃを備えることで、複数の情報単位で記録媒体に記録された画像・音声情報から、情報単位毎のサムネイル画像を抽出する装置であって、一つの情報単位に設定されたサムネイル画像に基づいて基準断片情報を抽出する手段と、他の情報単位における断片情報と前記基準断片情報との相関を求める手段と、前記他の情報単位に対して前記相関の最も高い断片情報に基づいて当該情報単位のサムネイル画像を抽出する手段とを有するサムネイル画像抽出装置として機能することができる。

この機能をオーサリング時のサムネイル画像抽出を例にして説明する。図４は、ハードディスクユニット１３のハードディスクに記録されている映像音声情報を示すリストである。ここでは、録画開始時刻順にハードディスクに記録されているタイトルに対して、タイトルＡ（ｉ）（ｉ＝１〜６）に関する情報のみをハードディスクから取り出してＤＶＤに記録させ、その際にタイトル画面に一致したサムネイル画像を抽出することを例示する。

この際には、オーサリング機能によってタイトルＡ（１）〜Ａ（６）が順次取り出されてＤＶＤに記録されることになるが、先ず、タイトルＡ（１）の記録時にユーザが設定して基準サムネイル画像Ｓｉが設定される。これによって、タイトルＡ（１）における基準サムネイル画像Ｓｉのフレーム番号がＳ［０］に保存され、このＳ［０］のデータがＤＶＤの情報管理領域に書き込まれる。そして、次のタイトルＡ（２）の記録時には、タイトルＡ（２）の全てのフレームと基準サムネイル画像Ｓｉとの相関が求められ、その中で最も相関の高いフレームのフレーム番号がＳ［２］に保存され、そのＳ［２］のデータがＤＶＤの情報管理領域に書き込まれることになる。その後は、同様の操作が繰り返され、タイトルＡ（１）〜Ａ（６）の全てがＤＶＤに記録された際には、そのＤＶＤの情報管理領域には、各タイトルＡ（１）〜Ａ（６）のサムネイル画像のフレーム番号が自動で書き込まれることになる。

そして、このＤＶＤを再生する際には、図５に示すようなサムネイル画像を得ることができる。すなわち、画像記録再生装置（装置本体１０）からの再生信号によってモニタ装置１８に表示されるサムネイル画像は、図示のように、全て関連性のあるタイトル画面になる。これによってＤＶＤに収録した複数タイトルからなるコンテンツを一目で識別することができ、また、見たいタイトルを容易に選択して再生することが可能になる。

ここでは、専用の画像記録再生装置を用いてサムネイル画像の抽出を行う場合を説明したが、ＰＣ等のコンピュータを用いて画像記録再生機能を持たせる場合には、前述したサムネイル画像抽出機能をコンピュータが実行できるようなプログラムによって得ることができる。

以上説明したように、本発明の実施形態に係るサムネイル画像抽出方法、装置、プログラムによると、よりインデックス機能の高いサムネイル画面の抽出が可能であり、記録媒体に記録されたタイトル毎のサムネイル画像を例えば番組のタイトル画面等のわかりやすい画像に揃えることができる。そして、オーサリング時等のサムネイル画像抽出を効果的且つ簡単に行うことができる。

図１は本発明の一実施形態に係るサムネイル画像抽出方法の基本フローを示す説明図である。図２は本発明の他の実施形態に係るサムネイル画像抽出方法の基本フローを示す説明図である。本発明の実施形態に係るサムネイル画像抽出方法を実現することができるオーサリング機能を有する画像記録再生装置を示す説明図である。ハードディスクユニットのハードディスクに記録されている映像音声情報を示すリストである。本発明の実施形態に係るサムネイル画像の表示例である。

符号の説明

１０装置本体（画像記録再生装置本体）
１１Ａ／Ｄ，Ｄ／Ａ変換部
１２ＣＰＵブロック
１３ハードディスクユニット
１４ＤＶＤドライブユニット
１５赤外線送／受信部
１６チューナ部
１７Ａ，１７ＢＡＶ入出力部
１８モニタ装置
１９入力装置

Claims

複数の情報単位で記録媒体に記録された画像・音声情報から、情報単位毎のサムネイル画像を抽出する方法であって、
一つの情報単位に設定されたサムネイル画像に基づいて基準断片情報を抽出する工程と、
他の情報単位における断片情報と前記基準断片情報との相関を求める工程と、
前記他の情報単位に対して前記相関の最も高い断片情報に基づいて当該情報単位のサムネイル画像を抽出する工程と、を有することを特徴とするサムネイル画像抽出方法。
前記基準断片情報は、前記一つの情報単位におけるサムネイル画像に対応した画像情報と音声情報の一方又は両方であり、
前記他の情報単位における断片情報は、当該情報単位における画像情報の断片情報と音声情報の断片情報の一方又は両方であり、
前記相関は、画像情報相互の画像相関と音声情報相互の音声相関の一方又は両方が求められることを特徴とする請求項１に記載されたサムネイル画像抽出方法。
前記基準断片情報を２つの情報単位からそれぞれ抽出し、該抽出された２つの基準断片情報の両方と高い相関のある前記断片情報に基づいて前記他の情報単位のサムネイル画像を抽出することを特徴とする請求項１又は２に記載されたサムネイル画像抽出方法。
前記一つの情報単位に設定されたサムネイル画像に対応するテキスト情報を参照して前記他の情報単位のサムネイル画像を抽出することを特徴とする請求項１〜３のいずれかに記載されたサムネイル画像抽出方法。
複数の情報単位で記録媒体に記録された画像・音声情報から、情報単位毎のサムネイル画像を抽出する装置であって、
一つの情報単位に設定されたサムネイル画像に基づいて基準断片情報を抽出する手段と、
他の情報単位における断片情報と前記基準断片情報との相関を求める手段と、
前記他の情報単位に対して前記相関の最も高い断片情報に基づいて当該情報単位のサムネイル画像を抽出する手段と、を有することを特徴とするサムネイル画像抽出装置。
コンピュータを、複数の情報単位で記録媒体に記録された画像・音声情報から、情報単位毎のサムネイル画像を抽出する装置として機能させるプログラムであって、
前記コンピュータを、一つの情報単位に設定されたサムネイル画像に基づいて基準断片情報を抽出する手段と、他の情報単位における断片情報と前記基準断片情報との相関を求める手段と、前記他の情報単位に対して前記相関の最も高い断片情報に基づいて当該情報単位のサムネイル画像を抽出する手段として機能させるためのサムネイル画像抽出プログラム。