JP2011244175A - 電子機器、映像処理方法及びプログラム - Google Patents

Abstract

【課題】複数のフレームからそれぞれ抽出された画像を連結して早送り用の画像を生成する際に、相関の無い画像同士が連結されるのを防ぐこと。
【解決手段】ＰＶＲ１００は、高速サーチ操作が入力された場合に、サーチ速度に応じた枚数のフレームを、それらの間に特徴フレームが挟まれないように、また各フレーム内のオブジェクトが分断されないように、フレーム選別し、各フレームから短冊画像を切り出し、各短冊画像を連結して連結画像を生成してサーチ画像として表示する。
【選択図】図３

Description

本発明は、映像データを再生可能な電子機器、当該電子機器における画像処理方法及びプログラムに関する。

従来から、記録再生装置等の電子機器では、映像データを通常の再生速度より高速に再生する処理（早送り処理、サーチ処理）が可能である。このような早送り処理では、例えばその再生速度に応じてフレームを間引いて、一部のフレームのみ再生することが行われている。

しかし、早送り処理においてフレームを間引くと、全てのフレームが再生されなくなる結果、ユーザのサーチ対象となるような重要なフレームが見落とされてしまうという問題があった。

そこで下記特許文献１に記載の映像データ再生装置では、映像データをｎ（ｎ＞１）倍速映像データとして外部に出力するときに、ｎが整数のとき出力映像１フレームをｎ分割し、ｎが整数でないとき出力映像１フレームをｍ（ｍはｎの整数部分）分割し、ｎ分割あるいはｍ分割した出力映像１フレームに、映像データｎフレームあるいはｍフレームを割り当てて再生映像を生成している。

国際公開第９９／４５７０８号

しかしながら、上記特許文献１に記載の技術では、分割されたｎフレームまたはｍフレームの間に、例えばシーンチェンジにより映像内容が大きく変化した場合、再生映像において、相関の無い画像同士が結合されてしまい、ユーザにとって非常に見苦しい。また、そのような再生映像では、ユーザがシーンの内容を把握することも難しくなる。

以上のような事情に鑑み、本発明の目的は、複数のフレームからそれぞれ抽出された画像を連結して早送り用の画像を生成する際に、相関の無い画像同士が連結されるのを防ぐことが可能な電子機器、画像処理方法及びプログラムを提供することにある。

上記目的を達成するため、本発明の一形態に係る電子機器は、記憶部と、再生部と、操作受付部と、制御部とを有する。上記記憶部は、複数のフレームを有する映像データと、当該複数のフレームのうち、所定の映像特徴を含む特徴フレームに関する特徴フレーム情報とを記憶する。上記再生部は、上記記憶された映像データを再生する。上記操作受付部は、上記再生された映像データについて、任意の速度による早送りまたは巻き戻しを指示するユーザのサーチ操作を受け付ける。上記制御部は、上記サーチ操作が受け付けられた場合に、当該サーチ操作受け付け時点のフレームから所定数の候補フレームを抽出し、当該候補フレームから、上記特徴フレームを間に挟まない複数のフレームを選別する。また制御部は、当該選別された複数のフレームの互いに異なる部分からそれぞれ部分画像を抽出し、当該各部分画像を時系列順に連結して連結フレームを生成し、当該連結フレームを上記再生部に再生させる。

これにより電子機器は、複数のフレームの部分画像を連結して、サーチ操作時に再生するための連結フレームを生成する際に、特徴フレームを挟む複数のフレームから部分画像が抽出されないように制御することができる。したがって電子機器は、シーンチェンジ等により映像内容に相関が無いフレームの部分画像同士が連結されてしまいユーザにとって見づらく内容も把握しにくい連結フレームが早送り画像として再生されるのを防ぐことができる。

上記複数のフレームのうち少なくとも１つは、任意のオブジェクトを示すオブジェクト画像を含んでいてもよい。この場合上記制御部は、上記部分画像の抽出により上記オブジェクト画像が分断されないように、上記選別された複数のフレームを選別しなおしてもよい。

これにより電子機器は、部分画像を抽出することで１つのオブジェクトが分断されてしまい、連結フレームの内容が把握しづらくなるのを防ぐことができる。

上記制御部は、上記選別された各フレーム内の複数の領域毎の重要度を算出し、当該各フレーム内の各領域のうち上記重要度が所定の閾値未満である領域から上記部分画像が抽出されないように、上記選別された複数のフレームを選別しなおしてもよい。

これにより電子機器は、各フレームのうち重要度が高い部分を連結させて連結フレームを生成できるため、重要な情報が見逃されるのを防ぎ、サーチ操作対象の映像の内容をユーザに的確に把握させることができる。

上記各領域は、上記各フレームが、上記各フレームの中央部からの複数の距離範囲毎に分割されたものであってもよい。この場合上記重要度は、上記各フレームの中央部と上記各領域との距離が小さくなるほど高くなるように決定されてもよい。

これにより電子機器は、各フレームの中央部に近い部分画像を用いて連結フレームを生成することができる。ここで各フレームの中央部に近いほど重要度が高く設定されるのは、当該中央部ほどユーザにとって重要な画像が含まれている可能性が高く、連結フレーム再生時にもユーザの目に留まりやすいいという前提に基づく。

また上記各領域は、上記各フレームから検出されたオブジェクトにより分割される領域であってもよい。この場合上記重要度は、上記各フレームにおける上記検出されたオブジェクトの大きさが大きいほど高くなるように決定されてもよい。

これにより電子機器は、各フレームに含まれる大きなオブジェクトを部分画像に用いて連結フレームを生成することができるため、当該連結フレームが再生された場合に当該オブジェクトをユーザの目に留まらせることができる。

上記記憶部は、上記オブジェクト画像が表すオブジェクト毎の重要度を示す重要度情報を記憶してもよい。この場合上記制御部は、上記選別された各フレームから上記オブジェクト画像により表されるオブジェクトを認識してもよい。そして制御部は、上記記憶された重要度情報を基に、当該認識されたオブジェクトのうち所定の閾値以上の重要度を有するオブジェクトのオブジェクト画像が上記部分画像に含まれるように、上記選別された複数のフレームを選別しなおしてもよい。

これにより電子機器は、オブジェクト毎の重要度を判定してフレームを選別しなおすことで、重要なオブジェクトを連結フレームに含ませることができる。ここでオブジェクトとは例えば人の顔、人の体（顔を除く）等であり、例えば人の顔は体よりも重要度が高く設定される。

この場合、上記制御部は、上記部分画像の抽出により、上記選別された複数のフレームのうち第１のフレームに含まれる第１のオブジェクト画像が分断されないように上記選別された複数のフレームを選別しなおすと、上記選別された複数のフレームのうち第２のフレームに含まれる第２のオブジェクト画像が上記連結フレームに含まれなくなる場合は、上記第１のオブジェクト画像により表される第１のオブジェクトと、上記第２のオブジェクト画像により表される第２のオブジェクトのうち、上記重要度が高いオブジェクトを表すオブジェクト画像が上記連結フレームに含まれるように、上記選別された複数のフレームを選別しなおしてもよい。

これにより電子機器は、重要度の低いオブジェクトが分断されるのは許容しながら、重要度の高いオブジェクトが連結フレームに含まれるようにフレームを選別することで、連結フレームが再生された場合にユーザにとって重要な情報が見逃されるのを防ぐことができる。

上記制御部は、上記選別された複数のフレームからそれぞれ抽出された上記各部分画像から生成されるべき連結フレームのうち、当該連結フレームの中央部から所定範囲の領域と、上記重要度が上記所定の閾値以上である領域とを除く領域の画像に対応する、上記各部分画像内の画像を簡略化するための所定の画像処理を実行してもよい。

これにより電子機器は、ユーザにとって重要度が低い部分の画像を簡略化することで、連結フレームが再生された場合に重要度の高い部分を目立たせることができる。ここで簡略化のための画像処理とは、例えばぼかし処理、色の削除処理、黒等の他の画素値への代替処理等である。

この場合さらに上記制御部は、上記所定範囲の領域の面積を、上記早送りまたは上記巻き戻しの速度が大きくなるにしたがって小さくしてもよい。

これにより電子機器は、早送り速度が大きい場合には簡略化される領域の範囲も大きくすることで、連結フレームのうち重要な部分に目を留まらせることができる。この処理は、早送り速度が大きいほどユーザの視点も連結フレームの中央に集まる傾向があるという前提に基づいている。

上記制御部は、連結対象の２つの上記部分画像を所定領域分だけオーバーラップさせ、かつ、当該各部分画像の上記各所定領域から所定比率で画素を抽出することで上記各部分画像を連結してもよい。

これにより電子機器は、各フレームの部分画像を滑らかに連結してそれらの境界を目立たせなくすることで、連結フレームの見易さを向上させることができる。

また上記制御部は、上記再生された連結フレームに続けて再生される連結フレームを、上記特徴フレームの直後のフレームから抽出される上記所定数の上記候補フレームを基に生成してもよい。

これにより電子機器は、直前に再生された連結フレームが生成される際に用いられなかった候補フレームを次の連結フレームの生成に用いることができるため、連結フレームの生成に用いられないフレームが発生するのを防ぐことで、サーチ操作中にユーザが特定の映像を見逃すのを防ぐことができる。

本発明の他の形態に係る画像処理方法は、複数のフレームを有する映像データと、当該複数のフレームのうち、所定の映像特徴を含む特徴フレームに関する特徴フレーム情報とを記憶することを含む。上記記憶された映像データが再生される。上記再生された映像データについて、任意の速度による早送りまたは巻き戻しを指示するユーザのサーチ操作が受け付けられる。上記サーチ操作が受け付けられた場合に、当該サーチ操作受け付け時点のフレームから所定数の候補フレームが抽出される。上記候補フレームからは、上記特徴フレームを間に挟まない複数のフレームが選別される。上記選別された複数のフレームの互いに異なる部分からそれぞれ部分画像を抽出される。上記各部分画像が時系列順に連結されて連結フレームが生成され、上記連結フレームが再生される。

本発明のまた別の形態に係るプログラムは、電子機器に、記憶ステップと、第１の再生ステップと、操作受付ステップと、第１の抽出ステップと、選別ステップと、第２の抽出ステップと、生成ステップと、第２の再生ステップとを実行させる。上記記憶ステップでは、複数のフレームを有する映像データと、当該複数のフレームのうち、所定の映像特徴を含む特徴フレームに関する特徴フレーム情報とが記憶される。上記第１の再生ステップでは、上記記憶された映像データが再生される。上記操作受付ステップでは、上記再生された映像データについて、任意の速度による早送りまたは巻き戻しを指示するユーザのサーチ操作が受け付けられる。上記第１の抽出ステップでは、上記サーチ操作が受け付けられた場合に、当該サーチ操作受け付け時点のフレームから所定数の候補フレームが抽出される。上記選別ステップでは、上記候補フレームから、上記特徴フレームを間に挟まない複数のフレームが選別される。上記第２の抽出ステップでは、上記選別された複数のフレームの互いに異なる部分からそれぞれ部分画像が抽出される上記生成ステップでは、上記各部分画像が時系列順に連結され連結フレームが生成される。上記第２の再生ステップでは、上記連結フレームが再生される。

以上説明したように、本発明によれば、複数のフレームからそれぞれ抽出された画像を連結して早送り用の画像を生成する際に、相関の無い画像同士が連結されるのを防ぐことができる。

本発明の一実施形態に係るＰＶＲのハードウェア構成を示す図である。 本発明の一実施形態に係るＰＶＲが有するソフトウェアの機能ブロックを示した図である。 本発明の一実施形態に係るＰＶＲによる連結画像の表示処理の大まかな流れを示したフローチャートである。 本発明の一実施形態における短冊パラメータ決定処理の流れを示したフローチャートである。 本発明の一実施形態における入力フレームの開始位置の決定方法の２つの方法の概要を示した図である。 本発明の一実施形態において決定される各パラメータの例を示した図である。 本発明の一実施形態においてサーチ速度が８倍速である場合の元画像と出力画像（連結画像）の例を示す図である。 本発明の一実施形態においてサーチ速度が１５倍速である場合の元画像と出力画像（連結画像）の例を示す図である。 本発明の一実施形態においてサーチ速度が５倍速である場合の元画像と出力画像（連結画像）の例を示す図である。 本発明の一実施形態においてサーチ速度が１０倍速である場合の元画像と出力画像（連結画像）の例を示す図である。 本発明の一実施形態における画像特徴判定処理及び画像領域処理の流れを示すフローチャートである。 本発明の一実施形態における画像領域処理の一例を示す図である。 本発明の一実施形態における画像領域処理の他の例を示す図である。 本発明の一実施形態における短冊フレーム選別部の詳細を示すブロック図である。 本発明の一実施形態における短冊フレーム選別処理の流れを示すフローチャートである。 本発明の一実施形態における短冊フレーム選別処理全体の流れを概念的に示した図である。 本発明の一実施形態における短冊フレーム選別処理のうち上記選別処理（１）を概念的に示した図である。 本発明の一実施形態における短冊フレーム選別処理のうち上記選別処理（２）を概念的に示した図である。 本発明の一実施形態における短冊フレーム選別処理のうち上記選別処理（３）を概念的に示した図である。 本発明の一実施形態における短冊切り出し処理の流れを示したフローチャートである。 本発明の一実施形態における短冊画像処理の流れを示したフローチャートである。 本発明の一実施形態における短冊画像処理を概念的に示した図である。 本発明の一実施形態における短冊連結処理の流れを示したフローチャートである。 本発明の一実施形態における短冊連結処理の方法の一例を概念的に示した図である。 本発明の一実施形態における短冊連結処理の方法の他の例を概念的に示した図である。 本発明の他の実施形態に係るＰＶＲが有するソフトウェアの機能ブロックを示した図である。 本発明の他の実施形態における立体視処理の流れを示したフローチャートである。 本発明の他の実施形態における立体視処理で処理されるオブジェクトの条件を示した図である。 本発明の他の実施形態における立体視処理の例を概念的に示した図である。

以下、図面を参照しながら、本発明の実施形態を説明する。

［ＰＶＲのハードウェア構成］
図１は、本発明の一実施形態に係るＰＶＲ（Personal Video Recorder）のハードウェア構成を示す図である。

同図に示すように、このＰＶＲ１００は、デジタルチューナ１、復調部２、デマルチプレクサ３、デコーダ４、記録再生部５、ＨＤＤ（Hard Disk Drive）８、光ディスクドライブ９、通信部１１を有する。またＰＶＲ１００は、ＣＰＵ（Central Processing Unit）１２、フラッシュメモリ１３、ＲＡＭ（Random Access Memory）１４を有する。さらにＰＶＲ１００は、操作入力部１５、グラフィック制御部１６、映像Ｄ／Ａ（Digital/Analog）コンバータ１７、音声Ｄ／Ａ（Digital/Analog）コンバータ１８及び外部インタフェース１９を有する。

デジタルチューナ１は、ＣＰＵ１２の制御に従って、アンテナＡを介してデジタル放送の特定のチャンネルを選局して、番組のデータを含む放送信号を受信する。この放送信号は、例えばＭＰＥＧ−２ ＴＳフォーマットで符号化されたＭＰＥＧストリーム（ＴＳ：トランスポートストリーム）であるが、このフォーマットに限られるものではない。復調部２は、変調された当該放送信号を復調する。

デマルチプレクサ３は、多重化された上記放送信号を、映像信号、音声信号、字幕信号、ＳＩ（Service Information）信号等の各信号に分離し、デコーダ４へ供給する。

デコーダ４は、デマルチプレクサ３で分離された映像信号、音声信号、字幕信号、ＳＩ信号をそれぞれデコードする。デコードされた各信号は記録再生部５へ供給される。

記録再生部５は、記録部６及び再生部７を有する。記録部６は、デコーダ４によりデコードされ入力された映像信号及び音声信号を一時的に蓄積して、タイミングやデータ量を制御しながらＨＤＤ８や光ディスクドライブ９に出力して記録させる。また記録部６は、ＨＤＤ８に記録されたコンテンツを読み出して光ディスクドライブ９に出力し、光ディスク１０に記録させることも可能である。再生部７は、ＨＤＤ８や光ディスク１０に記録された映像コンテンツの映像信号及び音声信号を読み出し、タイミングやデータ量を制御しながらデコーダ４へ出力して再生させる。

ＨＤＤ８は、デジタルチューナ１を介して受信した番組の映像データや、通信部１１によりネットワーク５０を介して受信される種々の映像データ、ユーザにより撮影された映像データ等のコンテンツを内蔵のハードディスクに記憶する。これらの記憶されたコンテンツが再生される際には、ＨＤＤ８は、これらのデータを上記ハードディスクから読み出し、記録再生部５へ出力する。

またＨＤＤ８は、各種プログラムやその他のデータ等を記憶する場合もある。これらのプログラムやデータは、それらの実行時及び参照時に、ＣＰＵ１２の指令によりＨＤＤ８から読み出され、ＲＡＭ１４へ展開される。

光ディスクドライブ９は、上記ＨＤＤ８と同様に、当該装着された光ディスク１０に上記番組コンテンツ等の各種データを記録し、また記録されたデータを読み出すことが可能である。また上記各種プログラムは、これら光ディスク１０等の可般性の記録媒体に記録され、光ディスクドライブ９によりＰＶＲ１００にインストールされてもよい。光ディスクは例えばＢＤ（Blu-ray Disc）、ＤＶＤ（Digital Versatile Disc）、ＣＤ（Compact Disc）等である。

通信部１１は、上記ネットワーク５０に接続してＴＣＰ／ＩＰ（Transmission Control Protocol / Internet Protocol）等のプロトコルによりネットワーク５０上の他の装置とデータのやり取りを行うためのネットワークインタフェースである。通信部１１により受信されたデータが多重化されている場合、デマルチプレクサ３に供給される。

外部インタフェース１９は、例えばＵＳＢインタフェース、ＨＤＭＩ（High-Definition Multimedia Interface）、メモリカードインタフェース等からなり、例えばデジタルビデオカメラ、デジタルスチルカメラ等の撮影装置や、メモリカード等と接続し、それらから、ユーザにより撮影された映像データを読み出す。

ＣＰＵ１２は、必要に応じてＲＡＭ１４等にアクセスし、ＰＶＲ１００の各ブロックの処理を統括的に制御する。後述するが、本実施形態におけるＰＶＲ１００は、コンテンツ（映像データ）の各フレームから短冊状の部分画像（以下、短冊画像と称する）を切り出し、当該複数の短冊画像を連結した連結画像を生成し、ユーザから高速サーチ（早送り／巻き戻し）操作があった場合に、当該連結画像を再生することができる。ＣＰＵ１２は、映像データの受信処理のほか、上記連結画像の生成処理において各ブロックを制御する。

ここで高速サーチ操作とは、例えば５倍速等、所定倍速以上の操作であるが、これに限られない。当該所定倍速に満たないサーチ操作があった場合には、単に各フレームが当該サーチ操作に合わせた速度で表示されることになる。

フラッシュメモリ１３は、例えばＮＡＮＤ型のものであり、ＣＰＵ１２に実行させるＯＳ、プログラムや各種パラメータなどのファームウェアが固定的に記憶されている不揮発性のメモリである。またフラッシュメモリ１３は、上記連結画像生成機能を有する映像再生アプリケーション等のソフトウェア及びその動作に必要な各種データを有する。

ＲＡＭ１４は、ＣＰＵ１２の作業用領域等として用いられ、上記映像データの再生処理、連結画像の生成処理等の最中に、ＯＳやプログラム、処理データ等を一時的に保持するメモリである。

操作入力部１５は、例えば複数のキーを有するリモートコントローラＲ（以下、リモコンＲと称する）から、上記サーチ操作等のユーザの操作に応じた各種設定値や指令を入力してＣＰＵ１２へ出力する。もちろん、操作入力部１５は、リモコンＲによらずに、ＰＶＲ１００に接続されたキーボードやマウス、ＰＶＲ１００に実装されたスイッチ、タッチパネル、タッチパッド等で構成されていても構わない。

グラフィック制御部１６は、デコーダ４から出力された映像信号やＣＰＵ１２から出力されるその他の映像データにＯＳＤ（On Screen Display）処理等のグラフィック処理を施し、例えばテレビジョン装置（以下、ＴＶと称する）等のディスプレイＤに表示させるための映像信号を生成する。

映像Ｄ／Ａコンバータ１７は、上記グラフィック制御部１６から入力されたデジタル映像信号をアナログ映像信号に変換して、映像出力端子等を介してＴＶ等のディスプレイＤへ出力する。

音声Ｄ／Ａコンバータ１８は、上記デコーダ４から入力されたデジタル音声信号をアナログ音声信号に変換して、音声出力端子等を介して、ＴＶ等のスピーカＳへ出力する。

［ＰＶＲのソフトウェア構成］
図２は、上記ＰＶＲ１００が短冊連結処理のために有するソフトウェアの機能ブロックを示した図である。

同図に示すように、ＰＶＲ１００は、映像信号記録部２１、特徴フレーム抽出部２２、特徴フレーム記録部２３、再生処理部２４、フレームメモリ２５、画像特徴判定部２６、画像領域処理部２７、短冊パラメータ決定部２８、短冊フレーム選別部２９、短冊切り出し部３０、短冊画像処理部３１、短冊連結部３２、フレームメモリ３３、表示処理部３４、システムコントローラ３５及びＩ／Ｆ部３６を有する。

映像信号記録部２１は、デジタルチューナ１により受信された放送番組、通信部１１により受信された映像データ、外部Ｉ／Ｆ１９により入力された映像データ等のコンテンツの映像信号を記録する。

特徴フレーム抽出部２２は、上記映像信号記録部２１に記録されたコンテンツまたはＰＶＲ１００に入力され当該映像信号記録部２１に記録される前のコンテンツから、特徴フレームを抽出する。特徴フレームは、例えばカット点やフェード区間の中間点等のシーンチェンジを示すフレームである。当該特徴フレームの抽出処理は、上記映像信号記録部２１にコンテンツが記録された直後に実行されてもよいし、当該記録後、定期的に実行されてもよい。

特徴フレーム記録部２３は、上記特徴フレーム抽出部２２により抽出された特徴フレームを記録する。

再生処理部２４は、上記映像信号記録部２１からコンテンツを読み出し再生（デコード）する。

フレームメモリ２５は、上記再生処理部２４により再生されたコンテンツのフレームを一時的にバッファリングする。

画像特徴判定部２６は、上記フレームメモリ２５に蓄えられた各フレームが、後述する短冊連結処理を行うと弊害が生じるようなオブジェクトの画像を含むか否かを判定し、判定結果を画像領域処理部２７へ出力する。ここでオブジェクトとは、例えば人の顔、体、動物、建物等の様々な有体物のほか、テロップ等の変化する文字領域も含む。

画像領域処理部２７は、後述する短冊画像の切り出し元となる全ての入力フレームを複数の領域に分割し、分割された領域毎に重要度のランク付けを行い、当該ランク情報を短冊画像処理部３１に出力する。ここで分割される領域には、フレームの中央部からの距離に応じて矩形状に分割される領域と、フレーム内のオブジェクトの形状によって分割される領域とがある。

短冊パラメータ決定部２８は、ユーザによるサーチ操作のサーチ速度を基に、後述する短冊フレーム選別処理及びそれ以降の処理に必要なパラメータを決定し、短冊フレーム選別部２９へ出力する。ここでパラメータとは、サーチ操作に応じて連結画像を表示する際の、同一出力画像の表示回数、短冊画像の枚数、間引きフレーム数、入力フレームのうち対象とするピクチャの種類等である。

また短冊パラメータ決定部２８は、後述する短冊フレーム選別部２９による短冊フレーム選別処理の結果を入力し、次の出力画像を生成するための入力フレーム位置を決定する。当該入力フレーム位置の決定処理は、短冊フレーム選別部２９の処理結果を受けて、上記特徴フレームの直後のフレームを、次の連結画像生成用の入力フレームとして利用するか否かによって２つの処理に分かれるが、詳細は後述する。

短冊フレーム選別部２９は、上記特徴フレーム抽出部２２により抽出された特徴フレームと、上記画像領域処理部２７により出力されたランク情報と、上記短冊パラメータ決定部２８により決定されたパラメータと、ユーザによるサーチ操作のサーチ速度とを用いて、短冊パラメータ決定部２８により決定されたパラメータに従った短冊元フレームをさらに最適化し、最終的な短冊元となるフレームを決定する。当該短冊元フレームの決定結果は、短冊パラメータ決定部２８及び短冊切り出し部３０へ出力される。詳細は後述するが、当該短冊フレーム選別処理は、特徴フレーム情報が含まれる時間（位置）情報を利用する処理、フレーム内の特徴を利用する処理、フレーム間の特徴を利用する処理に分けられる。

短冊切り出し部３０は、上記短冊フレーム選別部２９による選別情報にしたがって、複数のフレームから、短冊状に画像データを切り出し、短冊画像処理部３１へ出力する。この際、短冊切り出し部３０は、後述する短冊連結部３２における連結処理を考慮して、各短冊画像を、その境界ぎりぎりではなく、ある程度のマージンを持って切り出す。

短冊画像処理部３１は、画像領域処理部２７により出力された領域毎のランク情報と、サーチ操作のサーチ速度とから画像処理の内容を決定した後、上記短冊切り出し部３０により切り出された短冊画像に対して当該画像処理を施し、短冊連結部３２へ出力する。

短冊連結部３２は、短冊画像処理部３１から出力された短冊画像を連結し、１フレームに相当する連結画像を生成し、フレームメモリ３３へ出力する。詳細は後述するが、この際、短冊連結部３２は、短冊画像の境界が滑らかになるよう画像処理を行う。

フレームメモリ３３は、上記短冊連結部３２から出力された連結画像を一時的にバッファリングする。

表示処理部３４は、上記フレームメモリ３３に蓄えられた連結画像を、上記パラメータにしたがってディスプレイＤへ出力する。

システムコントローラ３５は、ＣＰＵ１２と協働して、上記各ブロック２１〜３４の処理を統括的に制御する。

Ｉ／Ｆ部３６は、上記操作入力部１５と協働して、サーチ操作の入力の有無及びその速度を検出し、検出結果をシステムコントローラ３５へ出力する。

［ＰＶＲの動作］
次に、本手法におけるＰＶＲ１００の動作について、上記連結画像の生成処理及び表示処理を中心に説明する。以下の説明では、ＰＶＲ１００のＣＰＵ１２を動作主体として説明するが、当該動作は、図１で示したその他のハードウェアや、上記図２で説明した映像表示アプリケーションの各部とも協働して実行される。

（連結画像表示処理の概要）
図３は、本実施形態に係るＰＶＲ１００による連結画像表示処理の流れの概要を示したフローチャートである。

同図に示すように、まず、ＣＰＵ１２は、上記映像信号記録部２１に記録されたコンテンツを入力し（ステップ４１）、特徴フレーム抽出部２２により、当該コンテンツの各フレームから上記特徴フレームを抽出する（ステップ４２）。ＣＰＵ１２は、当該抽出した特徴フレームに関する情報を上記特徴フレーム記録部２３に記録する（ステップ４３）。またＣＰＵ１２は、当該特徴フレームが抽出されたコンテンツの映像信号を映像信号記録部２１へ記録する（ステップ４４）。

続いてＣＰＵ１２は、再生対象のコンテンツが変更されたか否かを判断する（ステップ４５）。当該ステップ４５は、処理開始から未だコンテンツが再生されていない状態においてはスキップされる。

続いてＣＰＵ１２は、例えばコンテンツの再生リスト上でのユーザの操作に基づいて、再生するコンテンツを選択し（ステップ４６）、当該コンテンツの再生を開始する（ステップ４７）。

当該再生が開始された後、ＣＰＵ１２は、高速サーチ操作があったか否かを判断する（ステップ４８）。当該高速サーチ操作があった場合（Ｙｅｓ）、ＣＰＵ１２は、サーチ速度の変更があったか否かを判断する（ステップ４９）。本処理開始後コンテンツが初めて再生される場合には、当該ステップ４９はＹｅｓとして処理される。当該高速サーチ速度の変更があった場合（Ｙｅｓ）、ＣＰＵ１２は、当該高速サーチ操作のサーチ速度を入力する（ステップ５０）。

続いてＣＰＵ１２は、上記短冊パラメータ決定部２８により、上記高速サーチ速度を基に、後の短冊フレーム選別処理及びそれ以降の処理に必要なパラメータを決定する（ステップ５１）。

続いてＣＰＵ１２は、上記短冊パラメータ決定処理により決定された、連結画像作成に必要な枚数のフレームを入力し終えていないか否かを判断し（ステップ５２）、入力し終えていない場合（Ｙｅｓ）には新たにフレームを入力する（ステップ５３）。

続いてＣＰＵ１２は、画像特徴判定部２６により、入力されたフレームに、後の短冊画像の連結処理による弊害の要因となりうるオブジェクト領域（の位置、形状、大きさ）を判定する（ステップ５４）。またＣＰＵ１２は、入力されたフレームにおいて、その中央部からの距離に応じて、分割すべき複数の矩形領域を決定する。

続いてＣＰＵ１２は、画像領域処理部２７により、上記判定されたオブジェクト領域及び矩形領域毎に入力フレームを分割し、分割領域毎に重要度のランク付けを行う（ステップ５５）。

ＣＰＵ１２は、連結画像作成に必要な枚数のフレームを入力し終えるまで、入力フレーム毎に上記ステップ５２〜５５の処理を繰り返し、当該処理を完了すると、短冊フレーム選別部２９により、上記特徴フレーム情報と、上記ランク情報と、上記短冊パラメータと、上記高速サーチ速度とを用いて、連結画像の切り出し元となる短冊画像を選別する（ステップ５６）。

続いてＣＰＵ１２は、上記短冊切り出し部３０により、上記選別された各フレームのそれぞれ異なる位置から短冊画像をそれぞれ切り出す（ステップ５７）。

続いてＣＰＵ１２は、上記短冊連結部３２により、上記切り出した複数の短冊画像を連結して、連結画像を生成する（ステップ５９）。

そしてＣＰＵ１２は、表示処理部３４により、上記上記生成した連結画像をディスプレイＤへ表示する（ステップ６０）。

ＣＰＵ１２は、以上の処理を、再生対象のコンテンツが変更される度、及び、再生コンテンツについて高速サーチ操作が行われる度に繰り返す（ステップ６１）。

次に、以上説明した各処理の詳細について説明する。

（短冊パラメータ決定処理）
まず、上記ステップ５１に示した短冊パラメータ決定処理の詳細について説明する。図４は、当該短冊パラメータ決定処理の流れを示したフローチャートである。

上述したように、当該入力フレーム位置の決定処理は、特徴フレームの直後のフレームを、次の連結画像生成用の入力フレームとして利用するか否かによって２つの処理に分かれる。

同図に示すように、ＣＰＵ１２はまず、各連結画像における入力フレームの開始位置の決定方法を決定する（ステップ７１）。上述したように、本実施形態では、当該入力フレーム位置の決定処理は、前回の短冊フレーム選別部２９の処理結果を、今回の連結画像の生成にあたって開始位置の決定処理に反映する方法と、反映しない方法とがある。図５は、当該入力フレームの開始位置の決定方法の２つの方法の概要を示した図である。

後述するが、短冊フレーム選別処理においては、複数の短冊画像で構成される連結画像において、特徴フレームが間に挟まれないように、すなわち異なるシーン・カットのフレームの短冊画像が混在しないように、短冊元のフレームが選別される。同図（Ａ）は、当該フレーム選別処理の結果を反映させない場合、または、反映させるが連結画像を構成する短冊画像の元フレームが、特徴フレームを挟まない場合（以下、ケースＡと称する）の入力フレームと出力フレーム（連結画像）との関係を示す。同図（Ｂ）は、上記フレーム選別処理の結果を反映させる場合であって、連結画像を構成する短冊画像の元フレームが特徴フレームを挟む場合（以下、ケースＢと称する）の入力フレームと出力フレームとの関係を示す。同図では、連結画像を構成する短冊画像の枚数が６枚である例を示す。

同図（Ａ）に示すように、ケースＡでは、連結画像を構成する各短冊画像の各元フレームが特徴フレームを含んでいる場合、特徴フレーム以降のフレームは短冊画像の切り出し元としては利用されないこととなる。同図の例では、フレームｆ１〜ｆ６のうち特徴フレーム以降のフレームｆ５及びｆ６は、連結画像ｃ１には用いられず、フレームｆ１３〜ｆ１８のうち特徴フレーム以降のフレームｆ１６〜ｆ１８は、連結画像ｃ３には用いられない。フレームｆ７〜ｆ１２には特徴フレームが含まれないため、連結画像ｃ２にはフレームｆ７〜ｆ１２の全てのフレームが用いられることとなる。

この場合、入力フレームの開始位置は、直前の連結画像の生成に利用されなかったフレームがある場合（連結画像ｃ１及びｃ３）には当該利用されなかったフレームの直後のフレーム（フレームｆ７及びフレームｆ１９）となり、直前の連結画像の生成に全てのフレームが利用された場合（連結画像ｃ２）には、当該利用されたフレームのうち最後のフレームの直後のフレーム（フレームｆ１３）となる。

一方、同図（Ｂ）に示すように、ケースＢでは、直前の連結画像生成処理において利用されたフレームの直後のフレームが次の連結画像生成処理において最初のフレームとして用いられることになる（フレームｆ５、ｆ１１、ｆ１３、ｆ１６）。この場合、連結画像の生成元となるフレーム数が連結画像毎に異なってくるため、サーチ速度は一定でなくなる。

ＣＰＵ１２は、上記ケースＡとケースＢのいずれの方法で入力フレームの開始位置を決定するかを、例えばユーザの選択により、または高速サーチ速度に応じて決定する。例えば、ケースＡでは、サーチ速度が一定に保たれるという長所がある一方、最終的に短冊画像の切り出し元として利用されないフレームが存在するという短所もある。ケースＢでは、間引きが無い限り全てのフレームが短冊画像の切り出し元として用いられるため、ユーザによる画像の見逃しが少ないという長所がある一方、サーチ速度が一定に保たれないため、短冊画像の連結画像としてサーチ画像を出力する効果が薄れる場合がある。

したがって、ユーザの選択により方法を決定する場合は、上記各ケースの長所及び短所を考慮して、目的に応じてユーザが選択することとなる。

また高速サーチ速度に応じて方法を決定する場合、ユーザの入力したサーチ速度が低速（例えば２倍速〜１０倍速）である場合には、ユーザがシーンをじっくりサーチすることが想定されるため、ＣＰＵ１２は上記ケースＢを選択してユーザの見逃しを防止する。一方、サーチ速度が高速（例えば１０倍速以上）の場合には、ある程度の見逃しは防げないスピードであるため、ＣＰＵ１２は、サーチ速度を一定に保つことを優先して、上記ケースＡを選択する。

図４に戻り、ＣＰＵ１２が、短冊フレーム選別処理の結果を反映させることを選択し（ステップ７２のＹｅｓ）、かつ、１フレーム過去の短冊元フレームが特徴フレームを挟んでいる（または特徴フレームである）場合（ステップ７３のＹｅｓ）、すなわち上記ケースＢの場合、ＣＰＵ１２は、入力フレームの開始位置を、特徴フレームの次のフレームと決定する（ステップ７４、７５）。

一方、上記短冊フレーム選別処理の結果を反映させないことを選択した場合（ステップ７２のＮｏ）、または、当該結果を反映させることを選択し（ステップ７２のＹｅｓ）、かつ、１フレーム過去の短冊元フレームが特徴フレームを挟んでいない（または特徴フレームでない）場合、すなわち上記ケースＡの場合、ＣＰＵ１２は、入力フレームの開始位置をそれらが等間隔となるように決定する（ステップ７５、７６）。

続いてＣＰＵ１２は、短冊パラメータの決定処理に移る。まずＣＰＵ１２は、上記高速サーチ速度を入力し（ステップ７７）、同一の連結画像の表示回数（繰り返し回数）を決定する（ステップ７８）。

続いてＣＰＵ１２は、連結画像に用いられる短冊画像の枚数を決定し（ステップ７９）、短冊画像の切り出し対象となるピクチャ種別を決定し（ステップ８０）、さらに間引きフレーム数を決定する（ステップ８１）。

図６は、上述の処理により決定される各パラメータの例を示した図である。

同図に示すように、サーチ速度が８倍速の場合、同じ連結画像の出力回数は１回であり、連結される短冊画像の枚数は８枚、間引きフレーム数は０枚、対象ピクチャは全種類のピクチャとなる。図７に、当該サーチ速度が８倍速である場合の元画像と出力画像（連結画像）の例を示す。同図に示すように、従来技術では、高速サーチ操作が行われた場合、連続する８枚のフレームについては最初の１枚のフレームの画像が出力されていた。しかし、本実施形態においては、連続する８枚のフレームのうち、各フレームが水平方向に８分割された短冊画像が、各フレームからそれぞれ１枚ずつ切り出され、連結される。切り出される短冊画像は、フレームの上方向から順に、１番目のフレームからはその１番目の短冊画像、２番目のフレームからはその２番目の短冊画像、というように、フレーム順に応じた位置の短冊画像が切り出される。

サーチ速度が１５倍速の場合、同じ連結画像の出力回数は１回であり、連結される短冊画像の枚数は８枚、間引きフレーム数は１枚、対象ピクチャは全種類のピクチャとなる。図８に、当該サーチ速度が１５倍速である場合の元画像と出力画像（連結画像）の例を示す。

サーチ速度が５倍速の場合、同じ連結画像の出力回数は３回であり、連結される短冊画像の枚数は８枚、間引きフレーム数は１枚、対象ピクチャは全種類のピクチャとなる。図９に、当該サーチ速度が５倍速である場合の元画像と出力画像（連結画像）の例を示す。

サーチ速度が１０倍速の場合、同じ連結画像の出力回数は３回であり、連結される短冊画像の枚数は６枚、間引きフレーム数は５枚、対象ピクチャはＩピクチャ及びＰピクチャとなる。図１０に、当該サーチ速度が１０倍速である場合の元画像と出力画像（連結画像）の例を示す。Ｉピクチャ及びＢピクチャの位置のみが対象とされたのは、実装の実現性が考慮された結果である。またこの場合はＩピクチャ及びＢピクチャの位置の制約を受けるため、一部の間引きフレーム数（フレームｆ１３〜ｆ１５）は２枚とされる。

（画像特徴判定処理及び画像領域処理）
次に、上記図３のステップ５４及び５５で示した画像特徴判定処理及び画像領域処理の詳細について説明する。図１１は、当該画像特徴判定処理及び画像領域処理の流れを示すフローチャートである。

同図に示すように、まずＣＰＵ１２は、画像特徴判定処理をしていない入力フレームがあるか否かを判断し（ステップ１０１）、ある場合にはフレームを入力し（ステップ１０２）、当該フレームについて画像特徴（オブジェクト領域）の有無及び矩形領域の範囲を判定する（ステップ１０３）。またここでは、フレームにおけるオブジェクト領域の位置座標も検出される。当該位置座標情報は、例えばオブジェクトの水平方向及び垂直方向の端部と重なるような矩形の四隅の座標として検出され、後述する短冊フレーム選別処理におけるオブジェクト分断の有無の判定に用いられる。

続いてＣＰＵ１２は、画像領域処理へ移る。まずＣＰＵ１２は、フレームの矩形領域に関する画像領域処理（以下、処理（Ａ）と称する）を実行し（ステップ１０４、１０５）、続いて上記オブジェクト領域に関する画像領域処理（以下、処理（Ｂ）と称する）を実行する。図１２は、処理（Ａ）及び（Ｂ）の各一例を概念的に示す図であり、図１３は処理（Ａ）及び（Ｂ）の各他の例を概念的に示す図である。

まず処理（Ａ）において、ＣＰＵ１２は、上記矩形領域の範囲の判定結果に基づいて、フレームを矩形状の領域に分割し（ステップ１０４）、当該分割された領域毎に重要度を算出する（ステップ１０５）。当該矩形状の領域分割の例としては２つの例が考えられる。

１つの例は、図１２に示すように、フレームを、その中央の矩形領域及びその周囲の複数段階の矩形枠領域に分割するものである。この例では中央の矩形領域の重要度が最も高く、その周囲の矩形枠領域については、中央の矩形領域から離れるにしたがって重要度が低くなる。

もう１つの例は、図１３に示すように、フレームを水平方向に複数の矩形領域に分割するものである。この例では、フレームの垂直方向のみで重要度が判定される。すなわち、中央の矩形領域から上下方向に離れた矩形領域ほど、その重要度が低くなる。

図１１に戻り、続いてＣＰＵ１２は、処理（Ｂ）において、上記オブジェクト領域に関する特徴情報を入力し（ステップ１０６）、オブジェクト領域毎にフレームを分割する（ステップ１０７）。そしてＣＰＵ１２は、当該分割されたオブジェクト領域毎に重要度を算出する（ステップ１０８）。当該オブジェクト領域毎の重要度算出処理としては、２つの例が考えられる。

１つの例は、図１２に示すように、オブジェクトが何であるか（種別／名前）を認識した上で、重要度を算出するものである。例えば、人の顔、人の体（顔以外）、その他という各オブジェクトが認識された場合、顔の重要度が最も高く、次に体の重要度が高く、その他のオブジェクトは最も重要度が低くなる。当該オブジェクト認識は例えばパターンマッチング等の一般的な手法により行われる。画像領域処理部２７は、当該オブジェクト認識のためのオブジェクト毎のパターン情報を記憶している。

２つ目の例は、図１３に示すように、オブジェクトが何であるかは認識せずに、その大きさのみで重要度を算出するものである。この例では、オブジェクトの大きさが大きいほど重要度が高くなる。

図１１に戻り、ＣＰＵ１２は、図１２にも示すように、上記処理（Ａ）及び処理（Ｂ）における各領域分割の結果を重ねて、領域の範囲を最終決定し（ステップ１０９）、処理（Ａ）及び処理（Ｂ）で算出した各領域の重要度を掛け合わせて、領域毎の重要度を最終決定する（ステップ１１０）。そしてＣＰＵ１２は、当該領域毎の重要度情報（ランク情報）を領域情報とともに短冊フレーム選別部２９へ出力し（ステップ１１１）、処理対象のフレームが無くなるまで以上の処理を繰り返す（ステップ１０１）。当該領域情報には、上記オブジェクトの位置座標情報も含まれる。

（短冊フレーム選別処理）
次に、上記図３のステップ５６で示した短冊フレーム選別処理の詳細について説明する。図１４は、上記短冊フレーム選別部２９の詳細を示すブロック図である。

同図に示すように、短冊フレーム選別部２９は、短冊元フレーム候補決定部２９１、第１の短冊フレーム選別部２９２、第２の短冊フレーム選別部２９３、第３の短冊フレーム選別部及びランク閾値決定部２９５を有する。

短冊元フレーム候補決定部２９１は、上記短冊パラメータ決定部２８から各種パラメータ情報を入力し、当該パラメータ情報を用いて短冊元となるフレーム候補を決定する。

第１の短冊フレーム選別部２９２は、特徴フレーム記録部２３から特徴フレーム情報を入力し、当該特徴フレーム情報（時間情報）を用いて、上記短冊元フレーム候補を選別しなおす。この処理を以下選別処理（１）と称する。

ランク閾値決定部２９５は、上記画像領域処理部２７から上記領域情報及びランク情報を入力し、システムコントローラから高速サーチ速度を入力して、当該領域情報、ランク情報及び高速サーチ速度情報とから、短冊元フレームの選別をしなおすか否かの基準となる、各領域のランクの閾値を決定する。

第２の短冊フレーム選別部２９３は、上記領域情報、ランク情報、高速サーチ速度及び上記決定された閾値の各情報、すなわち各フレーム内の特徴情報を基に、上記第１の短冊フレーム選別部２９２で選別しなおされた短冊元フレームを、さらに選別しなおす。この処理を以下選別処理（２）と称する。

第３の短冊フレーム選別部２９４は、上記第２の短冊フレーム選別部２９３で選別しなおされた短冊元フレームを、フレーム間の特徴情報（オブジェクト同士の重なり具合）を用いて最終的に選別しなおす。この処理を以下選別処理（３）と称する。

図１５は当該短冊フレーム選別処理の流れを示すフローチャートである。また図１６は当該短冊フレーム選別処理全体の流れを概念的に示した図である。また図１７は、短冊フレーム選別処理のうち上記選別処理（１）を概念的に示した図であり、図１８は、短冊フレーム選別処理のうち上記選別処理（２）を概念的に示した図であり、図１９は、短冊フレーム選別処理のうち上記選別処理（３）を概念的に示した図である。

図１５に示すように、まずＣＰＵ１２は、上記短冊元フレーム候補決定部２９１により、短冊パラメータを入力し（ステップ１２１）、短冊元フレーム候補を決定する（ステップ１２２）。

続いてＣＰＵ１２は、上記選別処理（１）に移る。当該選別処理（１）において、ＣＰＵ１２はまず、上記特徴フレーム記録部２３から特徴フレーム情報を入力し（ステップ１２３）、当該特徴フレームが、上記複数の短冊元フレーム候補の間に挟まれているか否か、すなわち上記短冊元フレーム候補にシーンチェンジ点が含まれているか否かを判断する（ステップ１２４）。

特徴フレームが短冊元フレーム候補の間に挟まれていると判断した場合（Ｙｅｓ）、ＣＰＵ１２は、当該短冊元フレーム候補を、特徴フレームが挟まれないように、修正する（ステップ１２５）。

具体的には、ＣＰＵ１２は、短冊元フレーム候補のうち、特徴フレームより後のフレームを短冊元フレーム候補から削除する。例えば、図１６及び図１７に示すように、短冊元フレーム候補のフレームｆ１、ｆ３、ｆ５、ｆ７、ｆ９、ｆ１１のうち、特徴フレームであるフレームｆ９より後のフレームｆ１１が削除される。この修正後の短冊元フレーム候補から連結画像が生成される場合、フレームｆ１、ｆ３、ｆ５、ｆ７及びｆ９からは短冊画像が１枚ずつ用いられ、フレームｆ９からは２枚の短冊画像が用いられることになる。

続いてＣＰＵ１２は、上記画像領域処理部２７から、領域情報及び領域毎のランク情報を入力し（ステップ１２６）、システムコントローラ３５から、高速サーチ速度を入力する（ステップ１２７）。続いてＣＰＵ１２は、当該領域情報、ランク情報及び高速サーチ速度を基に、上記ランク閾値決定部２９５により、短冊元フレームの選別をしなおすか否かの基準となる、各領域のランクの閾値を決定する（ステップ１２８）。

続いてＣＰＵ１２は、上記選別処理（２）へ移る。当該選別処理（２）において、ＣＰＵ１２はまず、未処理の短冊元フレーム候補があるか否かを判断し（ステップ１２９）、ある場合（Ｙｅｓ）には、上記パラメータに従えば処理対象の短冊元フレーム候補から短冊画像として切り出されることとされている領域（短冊領域）の情報を入力する（ステップ１３０）。

続いてＣＰＵ１２は、上記短冊領域と、上記領域情報及びランク情報とを比較して、当該短冊領域に含まれる領域（オブジェクト領域及び矩形領域）の各重要度の最大値が上記決定された閾値以下であるか否かを判断する（ステップ１３１）。

上記短冊領域に含まれる領域の重要度の最大値が閾値以下である場合（Ｙｅｓ）、ＣＰＵ１２は、当該短冊領域を、隣接するフレームの同一位置の短冊領域へと修正する（ステップ１３２）。

図１６及び図１８では、上記図１３に示したように、矩形領域の重要度が、水平方向に分割されたフレームの垂直方向において判断され、オブジェクト領域の重要度が、オブジェクトの大きさで判断される場合が示されている。この場合、ＣＰＵ１２は、上記閾値を重要度１とすると、フレームｆ１の短冊１−１の重要度は当該閾値以下であるため、当該短冊１−１に代えて、当該閾値以上の重要度を有する、隣接するフレームｆ２の同一位置の短冊２−１が用いられるように、１番目の短冊画像が切り出されるための短冊元フレーム候補をフレームｆ１からフレームｆ２に変更する。

ここで、フレームｆ５の短冊５−３は、オブジェクト領域を有していないが、上記垂直方向における重要度が高いため、短冊元フレーム候補ｆ５は変更されない。

ＣＰＵ１２は、以上の選別処理（２）を、未処理の短冊元フレーム候補がなくなるまで繰り返す（ステップ１２９）。

続いてＣＰＵ１２は、上記選別処理（３）へ移る。当該選別処理（３）において、ＣＰＵ１２はまず、未処理の短冊元フレーム候補があるか否かを判断し（ステップ１３３）、ある場合（Ｙｅｓ）には、処理対象の短冊元フレーム候補の上記短冊領域の情報を入力する（ステップ１３４）。

続いてＣＰＵ１２は、当該短冊領域が短冊画像として用いられると、当該短冊画像によって、他の短冊元フレーム候補に含まれるオブジェクトが分断されることになるか否かを判断する（ステップ１３５）。

続いてＣＰＵ１２は、当該オブジェクトが分断されないように他の短冊元フレーム候補の短冊領域を選択した場合に、連結画像において当該オブジェクトの領域が他のオブジェクトの領域と重なるか否かを判断する（ステップ１３６）。

ＣＰＵ１２は、当該オブジェクトと他のオブジェクトとの間でそれらの重要度を比較し、重要度が低い方のオブジェクトが含まれるフレームを短冊元フレーム候補から外し、重要度の高い方のオブジェクトが含まれるフレームを短冊元フレーム候補とする（ステップ１３８）。

上記ステップ１３６において、上記オブジェクトの領域が他のオブジェクトの領域と重ならないと判断された場合（Ｎｏ）、ＣＰＵ１２は、上記オブジェクトが分断されないように、当該オブジェクトを分断してしまう短冊領域の代わりに、オブジェクトを全て包含する複数の短冊領域を有するフレームを短冊元フレーム候補として選別する（ステップ１３９）。

ここで、上記分断の有無の判断には、座標判定が用いられる。すなわち、ＣＰＵ１２は、上記領域情報に含まれる、オブジェクトの位置座標情報としての矩形座標の範囲が、上記短冊領域の座標範囲と重なっているか否かで分断の有無を判断する。

また、オブジェクトが分断されないような短冊領域を有するフレームを選別するためには、ＣＰＵ１２は、上記矩形座標範囲を全て包含する短冊領域を有する短冊元フレーム候補を選択する。

例えば、図１６及び図１９に示した例では、上記選別処理（１）にしたがった短冊元フレームから短冊画像を切り出すとすると、後の連結画像においては、オブジェクトＯ１がフレームｆ２の短冊２−１とフレームｆ３の短冊３−２とで分断されて表示されることとなる。そこでＣＰＵ１２は、当該オブジェクトＯ１が分断されないように、上記短冊３−２に代えて、上記フレームｆ２の短冊２−２が用いられるように、連結画像における２番目の短冊画像の短冊元フレーム候補を、フレームｆ３からフレームｆ２へと変更する。

また上記連結画像では、オブジェクトＯ２が、フレームｆ７の短冊７−４のみで表示され、かつ、分断されてしまうこととなる。そこで、フレームｆ７の短冊７−３〜短冊７−６までの４つの短冊領域を用いるとオブジェクトＯ２は分断されなくなる。しかし、そうすると、オブジェクトＯ２とオブジェクトＯ３の領域範囲が一部重複しているため、連結画像においてオブジェクトＯ３が表示されなくなってしまう。そこでＣＰＵ１２は、オブジェクトＯ２とＯ３の各重要度を例えばそれらの大きさにより比較し、重要度の高いオブジェクトＯ２が表示されるように、すなわちフレームｆ７の短冊７−３〜短冊７−６が用いられるように、連結画像における３番目〜６番目の短冊画像の短冊元フレームとして、フレームｆ７を選択する。

ＣＰＵ１２は、以上の選別処理（３）を、未処理の短冊元フレーム候補がなくなるまで繰り返す（ステップ１３３）。これにより短冊元フレーム候補は最終的に短冊元フレームとして選別される。

ここで「重要度」は、ユーザによる高速サーチにとっての重要度であり、単にオブジェクトの有無で判断されるものではない。フレームにオブジェクトが含まれていない場合でも、例えば、ユーザが、「青空を映したカットから再生したい」、「人も家具もない部屋（壁や床・天井など）を映したカットから再生したい」といった要望を有している場合もある。本実施形態では、上記選別処理（２）において、フレームの中央の絵柄がサーチのキーになりやすいことも考慮され、垂直方向や中央／周辺領域において重要度が定義されている。

したがって、上記各短冊元フレームの各中央のいずれにもオブジェクトが存在しない場合には、当該中央の短冊領域がそのまま用いられることとなる。

（短冊切り出し処理）
次に、上記図３のステップ５７で示した短冊切り出し処理の詳細について説明する。図２０は、当該短冊切り出し処理の流れを示したフローチャートである。

同図に示すように、ＣＰＵ１２はまず、上記短冊フレーム選別部２９による短冊フレーム選別処理の結果を入力する（ステップ１４１）。

続いてＣＰＵ１２は、未処理の短冊元フレームがあるか否かを判断し（ステップ１４２）、ある場合（Ｙｅｓ）、当該短冊元フレームを入力する（ステップ１４３）。

続いてＣＰＵ１２は、上記入力された短冊元フレームについて、切り出しのマージン量を決定する（ステップ１４４）。上述したように、本実施形態では、短冊連結部３２による短冊連結処理において短冊境界に滑らか連結処理を行うことを考慮し、境界ギリギリでなく、ある程度のマージンを持って切り出す。当該マージン量は、例えば連結画像を構成する短冊画像の枚数（短冊画像の縦方向の長さ）等に応じて適宜決定される。

続いてＣＰＵ１２は、上記入力された短冊フレーム選別結果にしたがって、短冊元フレームから短冊画像を切り出す（ステップ１４５）。

ＣＰＵ１２は、以上の処理を、全ての短冊元フレームについて繰り返し（ステップ１４２）、全ての短冊元フレームについて切り出し処理を完了すると、当該切り出した短冊画像を短冊画像処理部３１へ出力する（ステップ１４６）。

（短冊画像処理）
次に、上記図３のステップ５８で示した短冊画像処理の詳細について説明する。図２１は、当該短冊切り出し処理の流れを示したフローチャートである。また図２２は、当該短冊画像処理を概念的に示した図である。

同図に示すように、ＣＰＵ１２はまず、上記領域情報及びランク情報を入力し（ステップ１５１）、上記高速サーチ速度を入力する（ステップ１５２）。

続いてＣＰＵ１２は、上記領域情報、ランク情報及び高速サーチ速度を基に、短冊画像内の領域について、重要度（ランク）の閾値、すなわち、後述する画像簡略化のための画像処理を施すか否かの基準となる閾値を決定する（ステップ１５３）。

続いてＣＰＵ１２は、未処理の短冊画像があるか否かを判断し（ステップ１５４）、ある場合（Ｙｅｓ）は、上記短冊切り出し部３０から出力された複数の短冊画像のうち１枚を入力する（ステップ１５５）。

そしてＣＰＵ１２は、上記閾値に基づいて、各短冊画像に、重要度の低い領域の画像を簡略化するための画像処理を施す（ステップ１５６）。ここで簡略化のための画像処理とは、例えばぼかし処理、色の削除処理、黒等の他の画素値への代替処理等である。ＣＰＵ１２は、以上の処理を、全ての短冊画像について繰り返す（ステップ１５１）。

上記閾値は、例えば図２２（Ａ）に示すように、サーチ速度が大きくなるほど高く設定される。すなわち、同図（Ａ−１）に示すように、サーチ速度が小さい場合には閾値も低く設定され、短冊画像のどの領域の画像も簡略化されないが、同図（Ａ−２）及び（Ａ０３）に示すように、サーチ速度が大きくなるほど、短冊画像における各領域の重要度の閾値は高くなり、閾値以下の領域には上記画像処理が施される。同図（Ａ−２）においては、上記図１２でも示したように、最も外側の矩形枠領域の重要度が最も低いため、当該矩形枠領域に相当する、各短冊画像内の画像が簡略化処理される。同図（Ａ−３）においては、さらに閾値が高くなることで、同図（Ａ−２）の場合よりもさらに内側の矩形枠領域の画像に相当する、各短冊画像内の画像まで簡略化される。

同図（Ｂ）は、当該同図（Ａ−３）の場合における各短冊画像Ｓ１〜Ｓ６の画像処理の様子を示す。同図に示すように、上記フレーム選別処理において、一定以上の重要度を有するフレームが短冊元フレームとして選別されているため、短冊画像全体の領域が簡略化処理されることはほぼなくなる。例えば短冊画像Ｓ１においては、当該短冊画像Ｓ１の切り出し元となった短冊領域は、フレーム中央からの距離に関しては重要度が低いが、三角形のオブジェクトＯの領域は重要度が高くなり、上記閾値以上となるため、簡略化処理されずに残っている。

ここで、サーチ速度が大きくなるほど簡略化される領域が増えるように処理されるのは、サーチ速度が大きいほどユーザの視点が連結画像の中央に集まる傾向があるという前提に基づいている。

（短冊フレーム連結処理）
次に、上記図３のステップ５９で示した短冊切り出し処理の詳細について説明する。図２３は、当該短冊切り出し処理の流れを示したフローチャートである。

同図に示すように、まずＣＰＵ１２は、上記切り出し後、画像処理が施された各短冊画像を入力し（ステップ１６１）、短冊連結処理の手法を決定する（ステップ１６２）。

ここで、本実施形態では、短冊連結処理には２種類の連結手法が考えられる。図２４は第１の連結手法を示した図であり、図２５は第２の連結手法を示した図である。

図２４に示すように、第１の連結手法では、２枚の短冊画像のうち、上記各マージン部分の画素が所定比率で足し込まれることで２枚の短冊画像が連結される。数ライン単位で足し込み比率が変えられることで、２枚の短冊画像が滑らかに繋がって見える。

例えば、短冊Ａの画素の比率をα／γ、短冊Ｂの画素の比率をβ／γ（（α＋β）／γ＝1.0）とした場合、連結領域の出力画素の値は以下の混合式により算出される。
out = (α*A+β*B)/γ
[α,β,γ] ＝[1,31,32] ,[2,30,32]...

すなわち、連結領域において、上側の短冊画像Ａに近いほど短冊画像Ａの画素の比率が高くなり、下側の短冊画像Ｂに近いほど短冊画像Ｂの画素の比率が高くなる。また連結領域の水平方向においては、例えば左側に短冊画像Ａの画素が配置され、右側に短冊画像Ｂの画素が配置される。

また、連結領域の垂直方向において、階調は例えば32（γ）とされ、ライン幅は例えば4とされる。当該ライン幅は、本実施形態においては、１枚の連結画像において連結される短冊画像の枚数によらず固定とされるが、連結される短冊画像の枚数に応じて変更されてもよい。

図２５に示すように、第２の連結手法においては、上記連結領域において、２枚の短冊画像のいずれかの各マージン部分の各画素が、１画素単位または数画素単位で切り替えられて配置される。

連結領域の水平方向において、上記切り替えは、規則的に行われてもよいし、ランダムに行われてもよい。同図の例は、上記切り替えが規則的に行われ、同一の短冊画像の画素が極力縦横に繋がらないようにされた場合を示している。

連結領域の垂直方向においては、上側の領域ほど短冊画像Ａの画素数の比率が高く、下側の領域ほど短冊画像Ｂの画素数の比率が高くなる。当該各画素数の比率は、例えば数ライン単位で変更される。

図２３に戻り、ＣＰＵ１２は、連結処理の手法を決定すると、各手法における連結パラメータを決定する（ステップ１６３）。連結パラメータとは、例えば上記第１の連結手法においては上記階調やライン幅であり、上記第２の連結手法においては水平方向における上記画素の切り替え手法及びその単位、垂直方向における画素数比率の変更単位等である。

続いてＣＰＵ１２は、各短冊画像の連結処理において、未処理の画素があるか否かを判断し（ステップ１６４）、ある場合（Ｙｅｓ）には、処理対象の画素を設定し（ステップ１６５）、当該設定された画素が、上記連結領域（マージン領域）内であるか否かを判断する（ステップ１６５）。

処理対象の画素が連結領域内である場合（Ｙｅｓ）、ＣＰＵ１２は、２枚の短冊画像から、上記各手法にしたがって画素値を計算する（ステップ１６７）。一方、処理対象の画素が連結領域外である場合（Ｎｏ）、ＣＰＵ１２は、１枚の短冊画像から画素値を取得する（ステップ１６８）。

そしてＣＰＵ１２は、処理対象の位置の画素について、最終的な出力画素を決定する（ステップ１６９）。ＣＰＵ１２は、以上の処理を、１枚の連結画像を構成する全ての短冊画像の全ての画素について繰り返し（ステップ１６４）、全ての画素について処理を完了すると（ステップ１６４のＮｏ）、連結画像としての１フレームを上記フレームメモリ３３へ出力する（ステップ１７０）。そして、当該フレームメモリ３３に出力された連結画像が、表示処理部３４によりディスプレイＤへサーチ画像として出力される。

［まとめ］
以上説明したように、本実施形態によれば、ＰＶＲ１００は、ユーザからサーチ操作があった場合に、複数のフレームの短冊画像を連結した連結画像をサーチ画像として出力し、かつ、当該連結画像において、シーンチェンジ等の特徴フレームを挟む複数のフレームから短冊画像が切り出されないように制御することができる。したがってＰＶＲ１００は、シーンチェンジ等により映像内容に相関が無いフレームの短冊画像同士が連結されてしまい、ユーザにとって見づらく内容も把握しにくい連結画像がサーチ画像として再生されるのを防ぐことができる。

またＰＶＲは、各短冊元フレーム候補内の各領域の重要度（ランク）に応じて短冊元フレームを選別しなおすことで、連結画像において重要なシーンがユーザに見逃されるのを防ぐことができる。

［変形例］
本発明は上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更され得る。

上述の実施形態においては、処理対象の映像データは二次元画像であったが、三次元画像が処理対象とされてもよい。ここで三次元画像とは、立体視のために、ユーザの左右の両眼（２視点）から見た両眼視差画像（左右画像）と、画素単位の奥行情報とを有するフォーマットであるが、これに限られない。

図２６は、三次元画像が処理対象とされる場合にＰＶＲ１００が有するソフトウェアの機能ブロックを示した図である。同図に示すように、三次元画像が処理される場合、ＰＶＲ１００には、上記図２で示したブロック図と比較して、奥行情報記録部３７及び立体視処理部３８が追加される。また同図においては、映像信号記録部２１に入力される映像信号は、上記左右画像を表す左右映像信号である。以下の説明においては、上述の実施形態と同様の機能を有する各ブロックには同一の符号を付し、説明を省略する。

奥行情報記録部３７は、上記左右映像信号と同期して入力される奥行情報を記憶する。

立体視処理部３８は、短冊フレーム選別部２９から入力される短冊元フレームの情報と、画像特徴判定部２６から入力される画像特徴情報と、上記奥行情報記録部３７から入力される奥行情報と、システムコントローラ３５から入力される高速サーチ速度とを基に、短冊連結部３２から入力される連結画像を、高速サーチにとって最も見やすい出力画像へと変換する。

図２７は、上記三次元画像が処理対象とされる場合の上記連結画像の表示処理の流れを示したフローチャートである。同図においては、上述の実施形態と同様に連結画像が生成された後の処理が示されている。また同図においても、上記ＰＶＲ１００のＣＰＵ１２を動作主体として説明する。

当該処理は、連結画像について、三次元表示が表示に適さない領域については二次元表示を行う処理（立体視処理（１））と、連結画像内のオブジェクトの「距離」が視聴に適さない場合に当該「距離」調整した上で連結画像の表示を行う処理（立体視処理（２））とを含む。ここで「距離」とは、オブジェクトが、ユーザから見て、ディスプレイの画面から飛び出して見えるか、引っ込んで見えるかを表す。

同図に示すように、ＣＰＵ１２はまず、未処理の連結画像があるか否かを判断し（ステップ１７１）、ある場合（Ｙｅｓ）には、当該連結画像を入力する（ステップ１７２）。

続いてＣＰＵ１２は、上記短冊フレーム選別部２９から短冊元フレームの選別結果情報を入力する（ステップ１７３）。

続いてＣＰＵ１２は、当該処理対象の連結画像について、未処理の画素があるか否かを判断し（ステップ１７４）、ある場合（Ｙｅｓ）には、上記立体視処理（１）へと移る。

当該立体視処理（１）において、ＣＰＵ１２はまず、上記画像特徴判定部２６から画像特徴情報を入力し（ステップ１７５）、システムコントローラ３５から高速サーチ速度を入力する（ステップ１７６）。

続いてＣＰＵ１２は、上記入力された画像特徴情報及び高速サーチ速度を基に、連結画像の各画素が、三次元表示に適さないか否かを判断する（ステップ１７７）。例えば、サーチ速度が速く（例えば１０倍速以上）、連結画像として一瞬しか表示されない場合には、例えば細かい模様の服を着た人物や、情報番組等のフレームに含まれる文字量が多い領域に属する画素等は、三次元表示に適さない画素であると判定される。

続いてＣＰＵ１２は、上記判定結果により、対象画素を二次元で表示すべきか否かを判断する（ステップ１７８）。当該画素を二次元で表示すべきであると判断した場合（Ｙｅｓ）、ＣＰＵ１２は、三次元画像用の画素を二次元画像用の画素へと変換する（ステップ１７９、立体視制限処理（１））。具体的には、ＣＰＵ１２は、左右画像の対応する画素のうち、右眼用画像の画素を用いずに、左眼用画像の画素を出力画素に設定する。

一方、ＣＰＵ１２は、上記ステップ１７８において対象画素を三次元表示すべきであると判断した場合（Ｎｏ）、立体視処理（２）へと移る。図２８は、上記立体視処理（２）で処理されるオブジェクトの条件を示した図であり、図２９は、上記立体視処理（２）の例を概念的に示した図である。

当該立体視処理（２）において、ＣＰＵ１２はまず、システムコントローラ３５から、上記高速サーチ速度を入力する（ステップ１８０）。

続いてＣＰＵ１２は、上記奥行情報記録部３７から奥行情報を入力する。ここで当該奥行情報は、図２８（Ａ）に示すように、ユーザから見た、連結画像内の各オブジェクトの、ディスプレイに対する距離である。すなわち、ユーザにとって飛び出して見えるオブジェクト（オブジェクトＯ１）は距離が小さく、引っ込んで見えるオブジェクト（オブジェクトＯ３）は距離が大きい。またオブジェクトＯ２は、二次元画像と同様にディスプレイと同一平面上に存在するように見える。

また同図（Ｂ）に示すように、上記オブジェクトのうち、上記飛び出し側のオブジェクトＯ１は左側に右眼用画像、右側に左眼用画像を有し、引っ込み側のオブジェクトＯ３は右側に右眼用画像、左側に左眼用画像を有する。ディスプレイ上のオブジェクトＯ２では左眼用画像と右眼用画像とは完全に重なっている。同図（Ｃ）は、上記各オブジェクトの左右画像の水平ずれを調整して完全に二次元表示にした様子を示す。

図２７に戻り、ＣＰＵ１２は、上記高速サーチ速度及び奥行情報を基に、処理対象の画素に奥行方向で制限を加えるべきか否かを判定する（ステップ１８２）。そして、当該制限を加えるべきであると判定した場合（ステップ１８３のＹｅｓ）、ＣＰＵ１２は、飛び出しすぎ、または引っ込みすぎの画素について、奥行位置の調整処理を実行する（ステップ１８４、立体視制限処理（２））。制限を加えるべきでないと判定した場合（Ｎｏ）、ＣＰＵ１２は、当該画素をそのまま三次元画像として表示する（ステップ１８５）。

具体的には、ＣＰＵ１２は、処理対象の画素が飛び出しすぎ、または引っ込みすぎである場合には、当該画素をディスプレイ側へ移動させるように調整を行う。当該調整は、具体的には、左右画像の水平方向のずれ量を調整することで行われる。当該立体視制限処理としては、２つの例が挙げられる。

１つ目の例では、上記ステップ１８２の奥行方向の判定処理において、上記高速サーチ速度が、所定の閾値を越えた場合には、連結画像の全ての画素が処理対象と判定され、上記ステップ１８４において、対象画素が完全に二次元の画素として表示される。この場合、図２９（Ａ）に示すように、高速サーチ速度が閾値を超えた場合には、全ての画素がディスプレイ側へ移動される。これにより、各オブジェクトは、上記図２８（Ｃ）に示すように、いずれも水平方向の位置ずれを調整されて、二次元画像として表示される。これにより、通常再生時には三次元表示されていたフレームも、高速サーチ時には二次元画像として表示されるため、ユーザの違和感が解消される。

２つ目の例では、上記ステップ１８２の奥行方向の判定処理において、所定の閾値以上の奥行情報を持つ領域（画素）、すなわち、飛び出しすぎ、または引っ込みすぎの領域が処理対象と判定され、上記ステップ１８４において、上記特定の領域に対しては、左右画像の水平方向のずれ量が調整される。当該所定の閾値は、上記高速サーチ速度に応じて変化する。これにより、図２９（Ｂ）に示すように、高速サーチ速度が大きくなるほど、飛び出し側及び引っ込み側の画素がディスプレイ側へ移動され、より二次元に近い形で表示される。したがって、連結画像において、飛び出しすぎ、または引っ込みすぎな領域はなくなり、サーチ画像として違和感のないように表示されることになる。

上記図２１及び図２２に示した短冊画像処理及び上記図２６〜図２９に示した立体視処理は、上記短冊画像や連結画像ではなく、通常の１枚のフレームに対して実行されてもよい。すなわち、従来、サーチ操作があった場合に出力されていたような、１枚のサーチ画像に対して、サーチ速度に応じた一部画像の簡略化処理が実行されてもよいし、当該サーチ画像が三次元画像である場合には、上記立体視処理が実行されてもよい。

上述の実施形態においては、上記短冊フレーム選別処理として選別処理（１）〜（３）が実行されたが、当該選別処理（２）及び（３）は必須ではなく、選別処理（１）のみによってフレームが餞別されてもよい。

上述の実施形態においては、オブジェクトとして人の顔や体が例として挙げられたが、もちろん、これ以外のあらゆるオブジェクト（テロップ等の文字領域も含む）について同様の処理が実行されうる。

上述の実施形態及び変形例においてＰＶＲ１００により実行されるとして説明された処理は、例えばテレビジョン装置、ＰＣ（Personal Computer）、デジタルスチルカメラ、デジタルビデオカメラ、携帯電話機、スマートフォン、記録再生装置、ゲーム機器、ＰＤＡ（Personal Digital Assistants）、電子ブック端末、電子辞書、携帯型ＡＶ機器等、その他のあらゆる電子機器でも同様に実行可能である。

４…デコーダ
７…再生部
８…ＨＤＤ
１１…通信部
１２…ＣＰＵ
１３…フラッシュメモリ
１５…操作入力部
２１…映像信号記録部
２２…特徴フレーム抽出部
２３…特徴フレーム記録部
２４…再生処理部
２５…フレームメモリ
２６…画像特徴判定部
２７…画像領域処理部
２８…短冊パラメータ決定部
２９…短冊フレーム選別部
３１…短冊画像処理部
３２…短冊連結部
３３…フレームメモリ
３４…表示処理部
３５…システムコントローラ
３６…インタフェース部
３７…奥行情報記録部
３８…立体視処理部
５０…ネットワーク
１００…ＰＶＲ
２９１…短冊元フレーム候補決定部
２９２…第１の短冊フレーム選別部
２９３…第２の短冊フレーム選別部
２９４…第３の短冊フレーム選別部
２９５…ランク閾値決定部

Claims (13)

1. 複数のフレームを有する映像データと、当該複数のフレームのうち、所定の映像特徴を含む特徴フレームに関する特徴フレーム情報とを記憶する記憶部と、
   前記記憶された映像データを再生する再生部と、
   前記再生された映像データについて、任意の速度による早送りまたは巻き戻しを指示するユーザのサーチ操作を受け付ける操作受付部と、
   前記サーチ操作が受け付けられた場合に、当該サーチ操作受け付け時点のフレームから所定数の候補フレームを抽出し、当該候補フレームから、前記特徴フレームを間に挟まない複数のフレームを選別し、当該選別された複数のフレームの互いに異なる部分からそれぞれ部分画像を抽出し、当該各部分画像を時系列順に連結して連結フレームを生成し、当該連結フレームを前記再生部に再生させる制御部と
   を具備する電子機器。
2. 請求項１に記載の電子機器であって、
   前記複数のフレームのうち少なくとも１つは、任意のオブジェクトを示すオブジェクト画像を含み、
   前記制御部は、前記部分画像の抽出により前記オブジェクト画像が分断されないように、前記選別された複数のフレームを選別しなおす
   電子機器。
3. 請求項１に記載の電子機器であって、
   前記制御部は、前記選別された各フレーム内の複数の領域毎の重要度を算出し、当該各フレーム内の各領域のうち前記重要度が所定の閾値未満である領域から前記部分画像が抽出されないように、前記選別された複数のフレームを選別しなおす
   電子機器。
4. 請求項３に記載の電子機器であって、
   前記各領域は、前記各フレームが、前記各フレームの中央部からの複数の距離範囲毎に分割されたものであり、
   前記重要度は、前記各フレームの中央部と前記各領域との距離が小さくなるほど高くなるように決定される
   電子機器。
5. 請求項３に記載の電子機器であって、
   前記各領域は、前記各フレームから検出されたオブジェクトにより分割される領域であり、
   前記重要度は、前記各フレームにおける前記検出されたオブジェクトの大きさが大きいほど高くなるように決定される
   電子機器。
6. 請求項２に記載の電子機器であって、
   前記記憶部は、前記オブジェクト画像が表すオブジェクト毎の重要度を示す重要度情報を記憶し、
   前記制御部は、前記選別された各フレームから前記オブジェクト画像により表されるオブジェクトを認識し、前記記憶された重要度情報を基に、当該認識されたオブジェクトのうち所定の閾値以上の重要度を有するオブジェクトのオブジェクト画像が前記部分画像に含まれるように、前記選別された複数のフレームを選別しなおす
   電子機器。
7. 請求項６に記載の電子機器であって、
   前記制御部は、前記部分画像の抽出により、前記選別された複数のフレームのうち第１のフレームに含まれる第１のオブジェクト画像が分断されないように前記選別された複数のフレームを選別しなおすと、前記選別された複数のフレームのうち第２のフレームに含まれる第２のオブジェクト画像が前記連結フレームに含まれなくなる場合は、前記第１のオブジェクト画像により表される第１のオブジェクトと、前記第２のオブジェクト画像により表される第２のオブジェクトのうち、前記重要度が高いオブジェクトを表すオブジェクト画像が前記連結フレームに含まれるように、前記選別された複数のフレームを選別しなおす
   電子機器。
8. 請求項３に記載の電子機器であって、
   前記制御部は、前記選別された複数のフレームからそれぞれ抽出された前記各部分画像から生成されるべき連結フレームのうち、当該連結フレームの中央部から所定範囲の領域と、前記重要度が前記所定の閾値以上である領域とを除く領域の画像に対応する、前記各部分画像内の画像を簡略化するための所定の画像処理を実行する
   電子機器。
9. 請求項８に記載の電子機器であって、
   前記制御部は、前記所定範囲の領域の面積を、前記早送りまたは前記巻き戻しの速度が大きくなるにしたがって小さくする
   電子機器。
10. 請求項１に記載の電子機器であって、
    前記制御部は、連結対象の２つの前記部分画像を所定領域分だけオーバーラップさせ、かつ、当該各部分画像の前記各所定領域から所定比率で画素を抽出することで前記各部分画像を連結する
    電子機器。
11. 請求項１に記載の電子機器であって、
    前記制御部は、前記再生された連結フレームに続けて再生される連結フレームを、前記特徴フレームの直後のフレームから抽出される前記所定数の前記候補フレームを基に生成する
    電子機器。
12. 複数のフレームを有する映像データと、当該複数のフレームのうち、所定の映像特徴を含む特徴フレームに関する特徴フレーム情報とを記憶し、
    前記記憶された映像データを再生し、
    前記再生された映像データについて、任意の速度による早送りまたは巻き戻しを指示するユーザのサーチ操作を受け付け、
    前記サーチ操作が受け付けられた場合に、当該サーチ操作受け付け時点のフレームから所定数の候補フレームを抽出し、
    前記候補フレームから、前記特徴フレームを間に挟まない複数のフレームを選別し、
    前記選別された複数のフレームの互いに異なる部分からそれぞれ部分画像を抽出し、
    前記各部分画像を時系列順に連結して連結フレームを生成し、
    前記連結フレームを再生する
    画像処理方法。
13. 電子機器に、
    複数のフレームを有する映像データと、当該複数のフレームのうち、所定の映像特徴を含む特徴フレームに関する特徴フレーム情報とを記憶するステップと、
    前記記憶された映像データを再生するステップと、
    前記再生された映像データについて、任意の速度による早送りまたは巻き戻しを指示するユーザのサーチ操作を受け付けるステップと、
    前記サーチ操作が受け付けられた場合に、当該サーチ操作受け付け時点のフレームから所定数の候補フレームを抽出するステップと、
    前記候補フレームから、前記特徴フレームを間に挟まない複数のフレームを選別するステップと、
    前記選別された複数のフレームの互いに異なる部分からそれぞれ部分画像を抽出するステップと、
    前記各部分画像を時系列順に連結して連結フレームを生成するステップと、
    前記連結フレームを再生するステップと
    を実行させるプログラム。