JP2016140029A - 画像処理装置 - Google Patents

Abstract

【課題】ユーザーが意図した動画の特徴的な内容を表す画像を動画データから容易に抽出して出力する。
【解決手段】画像処理装置に、動画データの入力を受け付ける動画受付部と、受け付けられた動画データにおいて音声の音量が直前のサンプル点の音声の音量に対して基準音量差以上増大する一以上のサンプル点を基準サンプル点として検出する検出部と、基準サンプル点のそれぞれについて当該基準サンプル点に対応する基準画像を含む時系列に並んだ所定数の画像を当該基準サンプル点に対応するシーンを構成するフレーム画像として動画データから抽出する画像抽出部と、抽出された各シーンを構成するフレーム画像が一覧表示された操作画面を生成する画面生成部と、操作画面においてフレーム画像の中からシーンを代表する代表画像の選択を受け付ける選択受付部と、代表画像を出力する画像出力部と、を備える。
【選択図】図１

Description

本発明は、画像処理装置に関し、特に、動画の特徴的な内容を表す画像を出力する技術に関する。

従来から、例えば下記特許文献１乃至３に記載されているように、動画データから動画の特徴的な内容を表す代表画像を抽出し、当該抽出した代表画像をディスプレイに表示する、或いは、印刷する等して出力する技術が知られている。

特開２００４−２２９１６０号公報 特開２００４−２４８３１２号公報 特開２００１−２６５３７８号公報

しかし、上記従来の技術では、動画データが表す動画の音声の音量や被写体の動きの変化量等、動画データから検出可能な所定の特徴量に基づき、特徴が見られると判断された時点の画像を代表画像として抽出する、或いは、一定時間おきに画像を代表画像として抽出する等して、自動的に代表画像が抽出されていた。

このため、ユーザーが、例えばスポーツ観戦時に撮影した動画から歓声が起こる直前の緊迫したシーン等、音量や被写体の動きに特徴が見られる前後のシーンの画像を代表画像として抽出することを望んでも、所望の画像が代表画像として抽出されない虞があった。

そこで、ディスプレイ等に動画を表示しながら、ユーザーに所望の画像を代表画像として随時抽出させる操作を行わせることが考えられる。しかし、この場合、代表画像を抽出するのに時間を要することとなり、ユーザーは当該操作を行う手間に煩わしさを感じる虞があった。

本発明は、上記の問題を解決するためになされたものであり、ユーザーが意図した、動画の特徴的な内容を表す画像を、動画データから容易に抽出して出力することができる画像処理装置を提供することを目的とする。

本発明による画像処理装置は、時系列に並べられた複数の画像を示す画像データ及び前記複数の画像に対応する複数の音声を示す音声データを含む動画データの入力を受け付ける動画受付部と、前記動画受付部により受け付けられた前記動画データである受付動画データにおいて、前記音声の音量が直前のサンプル点に対応する前記音声の音量に対して所定の基準音量差以上増大する一以上のサンプル点を基準サンプル点として検出する検出部と、前記検出部により検出された前記基準サンプル点のそれぞれについて、当該基準サンプル点に対応する基準画像を含む時系列に並んだ所定のサンプル数分の画像を、当該基準サンプル点に対応するシーンを構成するフレーム画像として、前記受付動画データから抽出する画像抽出部と、各前記シーンにおいて、前記画像抽出部により抽出された当該各シーンを構成するフレーム画像が一覧表示された操作画面を生成する画面生成部と、前記画面生成部により生成された前記操作画面において、一覧表示されている前記フレーム画像の中から前記シーンを代表する代表画像の選択を受け付ける選択受付部と、前記選択受付部により受け付けられた前記代表画像を出力する画像出力部と、を備える。

本構成によれば、受付動画データにおいて、音声の音量が直前のサンプル点に対応する音声の音量に対して所定の基準音量差以上増大している、音量変化に特徴が見られる一以上の基準サンプル点が検出される。また、各基準サンプル点に対応する基準画像を含む時系列に並んだ所定のサンプル数分の画像が、当該各基準サンプル点に対応する各シーンを構成するフレーム画像として抽出される。

つまり、本構成によれば、受付動画データが表す動画の特徴的な内容を表していると考えられる、音量変化に特徴が見られる一以上のシーンを、ユーザーに手間をかけさせることなく、自動的に検出することができる。また、当該検出した各シーンに対応する時系列に並んだ所定のサンプル数分の画像を、当該各シーンを構成するフレーム画像として、ユーザーに手間をかけさせることなく、自動的に抽出することができる。

そして、ユーザーは、当該抽出された各フレーム画像が一覧表示された操作画面を用いて、当該各フレーム画像の中から意図した画像を各シーンを代表する代表画像として選択し、当該選択した各代表画像を出力することができる。

このように、本構成によれば、ユーザーが意図した、動画の特徴的な内容を表す画像を、受付動画データから容易に抽出して出力することができる。

また、ユーザーによる前記基準音量差の入力を受け付ける第一受付部を更に備えてもよい。

本構成によれば、受付動画データが表す動画が全体的に音量変化が小さい動画であったとしても、ユーザーは、入力する基準音量差を小さくすることにより、検出部に基準サンプル点を検出させることができる。反対に、受付動画データが表す動画が全体的に音量変化が大きい動画であったとしても、ユーザーは、入力する基準音量差を大きくすることにより、検出部によって不要に多くの基準サンプル点が検出される虞を低減することができる。

このようにして、ユーザーは、入力する基準音量差を調整することにより、検出部によって検出される基準サンプル点の数を調整することができる。これにより、ユーザーは、各基準サンプル点に対応する各シーンを代表する代表画像の選択に用いる操作画面の数を調整することができ、選択する代表画像の数を調整することができる。

また、前記画像抽出部は、前記基準サンプル点から所定の基準時間おきに過去に遡ったサンプル点に対応する画像及び／又は前記基準サンプル点から前記基準時間おきに未来に進んだサンプル点に対応する画像を、前記フレーム画像として抽出してもよい。

本構成によれば、基準サンプル点よりも過去及び／又は未来へ所定の基準時間おきに離れたサンプル点に対応する画像が各フレーム画像に含まれる。このため、ユーザーは、各フレーム画像に含まれる基準時間おきに時系列に連続する画像の中から代表画像としての画像を選択する場合に、基準サンプル点との相対的な時間を意識しながら意図した画像を選択することができる。

また、ユーザーによる前記基準時間の入力を受け付ける第二受付部を更に備えてもよい。

本構成によれば、ユーザーは、入力する基準時間を小さくすることにより、基準サンプル点に時間的に近いサンプル点に対応する画像をフレーム画像に含めることができる。また、ユーザーは、入力する基準時間を大きくすることにより、基準サンプル点から時間的に離れたサンプル点に対応する画像をフレーム画像に含めることができる。このようにして、ユーザーは、入力する基準時間を調整することにより、フレーム画像に含める画像を調整することができる。

また、ユーザーによる前記サンプル数の入力を受け付ける第三受付部を更に備えてもよい。

本構成によれば、ユーザーは、入力するサンプル数を調整することにより、フレーム画像に含まれる画像の数を調整することができる。このため、ユーザーは、入力するサンプル数を小さくすることにより、フレーム画像に含める画像の数を少なくし、効率よく代表画像を選択することができる。これとは反対に、ユーザーは、入力するサンプル数を大きくすることにより、フレーム画像に含める画像の数を多くし、意図したものに近い代表画像を選択する可能性を高めることできる。

また、ユーザーによる開始時刻及び終了時刻の入力を受け付ける第四受付部を更に備え、前記検出部は、前記受付動画データのうち、前記第四受付部により受け付けられた前記開始時刻から前記第四受付部により受け付けられた前記終了時刻までの期間に対応する前記動画データにおいて、前記基準サンプル点を検出してもよい。

本構成によれば、ユーザーは、受付動画データが表す動画において、予め音量変化が大きい時間帯を知っている場合、当該時間帯の開始時刻と終了時刻とを入力することにより、検出部によって基準サンプル点を効率よく検出させることができる。

また、前記検出部は、検出した前記基準サンプル点の数が所定の制限数になる度に、前記基準サンプル点の検出を中断し、以降の前記基準サンプル点の検出を再開するか否かをユーザーに選択させ、前記基準サンプル点の検出を再開することが選択されたときは、以降の前記基準サンプル点の検出を再開する一方、前記基準サンプル点の検出を再開しないことが選択されたときは、前記基準サンプル点の検出を終了してもよい。

本構成によれば、ユーザーは、検出部により検出された基準サンプル点の数が所定の制限数になる度に、検出部による基準サンプル点の検出を継続させるか否かを選択することができる。このため、ユーザーは、検出部が制限なく基準サンプル点を検出し続けることにより、代表画像の数が不要に増大する虞を低減することができる。

また、前記操作画面は、前記代表画像を選択しないことを指示する非選択指示が入力可能であり、前記選択受付部は、前記操作画面において前記非選択指示が入力された場合、当該操作画面に対応する前記シーンを代表する前記代表画像の選択を受け付けないようにしてもよい。

本構成によれば、ユーザーは、フレーム画像の中に代表画像として選択したい画像が存在しない場合に、非選択指示を入力することにより、意図しない代表画像を選択することを回避することができる。

また、前記画像出力部は、前記選択受付部により受け付けられた各前記代表画像を所定のレイアウトで配置して出力してもよい。

本構成によれば、各代表画像が所定のレイアウトで配置して出力されるので、ユーザーは出力された各代表画像を視認しやすくなる。

また、ユーザーによる前記レイアウトの入力を受け付ける配置受付部を更に備えてもよい。

本構成によれば、ユーザーは、意図したレイアウトを入力することにより、各代表画像を意図したレイアウトで配置して出力することができる。

また、前記選択受付部により受け付けられた各前記代表画像の中から、個別に出力する対象の前記代表画像の選択を受け付ける画像受付部を更に備え、前記画像出力部は、前記画像受付部により受け付けられた前記代表画像を個別に出力してもよい。

本構成によれば、ユーザーは、選択受付部により受け付けられた各代表画像の中に個別に出力したい代表画像が含まれている場合に、当該代表画像を個別に出力する対象として選択し、当該代表画像を個別に出力することができる。

また、前記画像出力部は、前記代表画像のサイズを所定の出力サイズに変換して出力してもよい。

本構成によれば、複数の代表画像が出力された場合に、各代表画像のサイズが所定の出力サイズに揃っているので、ユーザーは当該複数の代表画像を視認しやすくなる。

画像の解像度と、当該解像度の画像を出力するときに最適な画像のサイズである最適サイズと、を予め対応付けて記憶するサイズ記憶部を更に備え、前記出力サイズは、前記代表画像の解像度と対応付けて前記サイズ記憶部に記憶されている前記最適サイズに定められていてもよい。

本構成によれば、代表画像が最適なサイズで出力されるので、ユーザーは代表画像を視認しやすくなる。

前記代表画像を出力するときの所望のサイズの入力を受け付けるサイズ受付部を更に備え、前記画像出力部は、前記サイズ受付部により受け付けられた前記所望のサイズを前記出力サイズとしてもよい。

本構成によれば、ユーザーは、入力するサイズを調整することにより、画像出力部によって出力される各代表画像のサイズを意図したサイズに調整することができる。

前記操作画面は、当該操作画面に対応する前記シーンを表す文字列であるシーン文字列の入力欄を備え、前記画像出力部は、前記シーンを代表する前記代表画像と、当該シーンに対応する前記操作画面の前記入力欄に入力された前記シーン文字列と、を対応付けて出力してもよい。

本構成によれば、シーンを代表する代表画像と、操作画面の入力欄に入力された当該シーンを表す文字列と、が対応付けて出力される。このため、ユーザーは、代表画像に対応するシーンの特徴を明確に表すような文字列を操作画面の入力欄に入力することにより、代表画像だけを出力する場合に比して、代表画像に対応するシーンの特徴をより明確にして出力することができる。

前記検出部により検出された前記基準サンプル点のそれぞれについて、当該基準サンプル点に対応する基準音声を含む時系列に連続する所定数分の音声を、当該基準サンプル点に対応する前記シーンを代表する代表音声として、前記受付動画データから抽出する音声抽出部と、前記音声抽出部により抽出された各前記代表音声に対して所定の音声認識処理を行うことにより認識した文字列を、当該各代表音声に対応する前記シーンに対応する前記操作画面の前記入力欄に入力する文字列認識部を更に備えてもよい。

本構成によれば、シーンを代表する代表画像と対応付けて出力されるシーン文字列が、文字列認識部によって、当該シーンに対応する操作画面の入力欄に自動的に入力される。このため、ユーザーが操作画面の入力欄にシーン文字列を入力する手間を軽減することができる。

前記画像出力部が、前記シーンを代表する前記代表画像と、当該シーンに対応する前記シーン文字列とを対応付けて出力するときの、当該代表画像に対する当該シーン文字列の相対的な出力位置の入力をユーザーから受け付ける位置受付部を更に備えてもよい。

本構成によれば、ユーザーは、意図した出力位置を入力することにより、シーン文字列を意図した位置に出力することができる。これにより、ユーザーは、シーン文字列の代表画像に対する相対的な出力位置が固定されている場合に比して、代表画像及びシーン文字列の見易さを向上することができる。

前記相対的な出力位置には、前記代表画像と重なる位置が含まれてもよい。

本構成によれば、シーン文字列を代表画像に重ねて出力することができる。この場合、代表画像とシーン文字列とによって占有されるスペースを軽減することができる。

前記選択受付部により受け付けられた各前記代表画像の中から、変更する対象の前記代表画像の選択を受け付ける変更受付部を更に備え、前記選択受付部は、前記変更受付部により前記変更する対象の前記代表画像が受け付けられた場合、当該変更する対象の前記代表画像の選択に用いた前記操作画面において、一覧表示されている前記フレーム画像の中から前記代表画像の再選択を受け付けてもよい。

本構成によれば、ユーザーは、代表画像を誤って選択した場合であっても、当該代表画像の選択に用いた操作画面において代表画像を再選択することができ、当該誤って選択した代表画像を意図した代表画像に変更することができる。

用紙に形成された画像を読み取る画像読取部と、前記選択受付部により受け付けられた各前記代表画像のうち何れかの前記代表画像を変更する変更指示の入力を受け付ける変更指示受付部と、前記変更指示受付部により前記変更指示が受け付けられた場合、前記選択受付部により受け付けられた各前記代表画像と、所定の選択マークを書き込み可能な選択欄と、当該各代表画像の選択に用いた前記操作画面の識別情報と、を対応付けた選択リスト画像が形成された用紙である選択用紙を出力する選択用紙出力部と、を備え、前記選択受付部は、前記選択用紙に形成された前記選択リスト画像が前記画像読取部によって読み取られた場合に、当該選択リスト画像に前記選択マークが書き込まれた前記選択欄が存在するときは、当該選択リスト画像において当該選択欄と対応付けられている前記識別情報によって識別される前記操作画面において、一覧表示されている前記フレーム画像の中から前記代表画像の再選択を受け付けるようにしてもよい。

本構成によれば、ユーザーは、変更指示を入力して選択用紙を出力させた後、都合のよいときに当該選択用紙において変更する対象の代表画像に対応する選択欄に選択マークを書き込むことができる。そして、ユーザーは、都合の良いときに当該選択用紙に形成されている選択リスト画像を画像読取部により読み取らせ、当該変更する対象の代表画像を意図した代表画像に変更することができる。

この発明によれば、ユーザーが意図した、動画の特徴的な内容を表す画像を、動画データから容易に抽出して出力することができる画像処理装置を提供することができる。

本発明の一実施形態に係る画像処理装置の電気的構成を示すブロック図である。 本発明の一実施形態に係る動画データの概略構成図である。 条件設定画面の一例を示す図である。 本発明の一実施形態に係る操作画面の一例を示す図である。 代表画像を生成する動作を示すフローチャートである。 代表画像を出力する動作を示すフローチャートである。 出力条件設定画面の一例を示す図である。 本発明の一実施形態に係るサイズ記憶部に記憶されている最適サイズの一例を示す図である。 （Ａ）は、予め定められた出力条件を用いた場合のプレビュー画面の一例を示す図である。（Ｂ）は、レイアウトと相対出力位置を変更した場合のプレビュー画面の一例を示す図である。（Ｃ）は、出力サイズを変更した場合のプレビュー画面の一例を示す図である。（Ｄ）は、相対出力位置を変更した場合のプレビュー画面の一例を示す図である。 個別印刷出力画面の一例を示す図である。 代表画像を変更する動作を示すフローチャートである。 変更対象選択画面の一例を示す図である。 本発明の一実施形態に係る選択用紙の一例を示す図である。 選択用紙を用いて代表画像を変更する動作を示すフローチャートである。

以下、本発明に係る画像処理装置の一実施形態を図面に基づいて説明する。尚、本実施形態では、画像処理装置として複合機を例に説明するが、これに限定する趣旨ではなく、画像処理装置は、例えば、スキャナー又は複写機であってもよい。

図１は、複合機１の電気的構成を示すブロック図である。図１に示すように、複合機１は、画像読取部３１と、画像形成部３２と、操作部３３と、記憶部３４（サイズ記憶部）と、通信部３５と、外部インターフェイス部３６と、制御部１０と、を備えている。

画像読取部３１は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）ラインセンサーや露光ランプ等を有する不図示の光学系ユニットを備えている。画像読取部３１は、制御部１０による制御の下、光学系ユニットに原稿の画像を読み取らせて、原稿の画像を表す画像データを生成し、当該画像データを制御部１０へ出力するスキャン処理を行う。

画像形成部３２は、制御部１０による制御の下、制御部１０に入力された画像データに基づいて用紙に画像を形成する印刷処理を行う。具体的には、画像形成部３２は、感光体ドラム、感光体ドラムの周面に対向して配設された帯電部、帯電部の下流側であって感光体ドラムの周面に対向して配設された露光部、露光部の下流側であって感光体ドラムの周面に対向して配設された現像部、現像部の下流側であって感光体ドラムの周面に対向して配設されたクリーニング部等を備えた周知の構成を有する。

操作部３３は、表示部３３１と、ユーザーに各種操作を行わせるための操作キー部３３２と、を備えている。表示部３３１は、例えばタッチパネル機能を有する液晶ディスプレイ等であり、各種情報を表示する。操作キー部３３２は、例えば、数値や記号を入力するためのテンキーや、表示部３３１に表示されたポインター（カーソル）を移動させるための方向キー等の各種キーを含む。

記憶部３４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置によって構成されている。記憶部３４には、画像読取部３１によって生成された画像データや、通信部３５によって受信されたデータや、後述の動画受付部１１により受け付けられた動画データ等が記憶される。また、記憶部３４には、制御部１０が複合機１の制御に用いる各種設定値の初期値が予め記憶されている。

通信部３５は、パソコン等の外部装置と制御部１０との間でＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等を介して通信を行うための通信インターフェイス回路である。

外部インターフェイス部３６は、デジタルビデオカメラやスマートフォン等の外部機器に接続されたケーブルコネクターが着脱自在に接続されるソケットを備えている。外部インターフェイス部３６は、外部機器に接続されたケーブルコネクターが当該ソケットに接続されている場合に、当該外部機器の内部の記憶装置との間で当該ケーブルコネクターを介してデータの入出力を行う。

制御部１０は、例えば、所定の演算処理を実行する不図示のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、所定の制御プログラムが記憶されたＥＥＰＲＯＭ等の不図示の不揮発性メモリーと、データを一時的に記憶するための不図示のＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、これらの周辺回路等とを備えている。制御部１０は、不揮発性メモリー等に記憶された制御プログラムをＣＰＵに実行させることによって各種処理を実行し、複合機１の各部の動作を制御する。

制御部１０は、特に、動画受付部１１、検出部１２、画像抽出部１３、音声抽出部１４、文字列認識部１５、抽出条件受付部１６（第一受付部、第二受付部、第三受付部、第四受付部）、画面生成部１７、選択受付部１８、画像出力部１９、出力条件受付部２０（配置受付部、サイズ受付部、位置受付部）、画像受付部２１、変更受付部２２、変更指示受付部２３、及び選択用紙出力部２４として動作する。

動画受付部１１は、動画を表す動画データの入力を受け付ける。具体的には、動画受付部１１は、通信部３５によって外部装置から送信された動画データが受信された場合に、制御部１０に入力された当該動画データを取得することにより、当該動画データの入力を受け付ける。

また、デジタルビデオカメラ等の外部機器に接続されたケーブルコネクターが外部インターフェイス部３６のソケットに接続され、ユーザーによる操作部３３の操作により、当該外部機器の内部の記憶装置に記憶されている動画データの取り込み指示が入力されたとする。この場合、動画受付部１１は、当該取り込み指示に従い、外部インターフェイス部３６を制御して、外部機器の内部の記憶装置に記憶されている当該動画データを取得する。これにより、動画受付部１１は、当該動画データの入力を受け付ける。

検出部１２は、動画受付部１１により受け付けられた動画データである受付動画データにおいて、音声の音量が直前のサンプル点に対応する音声の音量に対して所定の基準音量差以上増大する一以上のサンプル点を基準サンプル点として検出する。

画像抽出部１３は、検出部１２により検出された基準サンプル点のそれぞれについて、当該基準サンプル点に対応する基準画像を含む時系列に並んだ所定のサンプル数分の画像を、当該基準サンプル点に対応するシーンを構成するフレーム画像として、受付動画データから抽出する。

音声抽出部１４は、検出部１２により検出された基準サンプル点のそれぞれについて、当該基準サンプル点に対応する基準音声を含む時系列に連続する所定数分の音声を、当該基準サンプル点に対応するシーンを代表する代表音声として、受付動画データから抽出する。

以下、動画データの構成、検出部１２、画像抽出部１３、及び音声抽出部１４の詳細について図２を用いて説明する。図２は、動画データＤＭの概略構成図である。

図２に示すように、また、動画データＤＭは、動画の画像を所定の時間間隔でサンプリングして生成した画像データＤＤと、動画の音声を所定の時間間隔でサンプリングして生成した音声データＤＶと、を含んでいる。画像データＤＤは、時系列に並べられた複数のサンプル点に対応する複数の画像（複数の矩形部）からなる。音声データＤＶは、時系列に並べられた複数のサンプル点に対応する複数の音声（複数の矩形部）からなる。また、動画データＤＭは、当該動画データＤＭが示す動画の長さ（時間）や作成日時等の不図示のプロパティデータを含んでいる。

図２において、画像データＤＤの横軸は時刻を示し、縦軸は画像データＤＤに含まれる複数の画像それぞれの解像度を示す。画像データＤＤに含まれる複数の画像は、全て同じ解像度となっている。音声データＤＶの横軸は時刻を示し、縦軸は音声データＤＶに含まれる複数の音声（複数の矩形部）それぞれの音量を示す。図２に示す音声データＤＶに含まれる複数の音声の音量は、時系列に変化している。

また、図２に示す動画データＤＭにおいては、画像データＤＤに含める各画像をサンプリングするときに用いた時間間隔と、音声データＤＶに含める各音声をサンプリングするときに用いた時間間隔と、が同じであり、各サンプル点に対応する画像と各サンプル点に対応する音声とが一対一に対応している。

しかし、これに限らず、画像データＤＤに含める各画像をサンプリングするときに用いる時間間隔と、音声データＤＶに含める各音声をサンプリングするときに用いる時間間隔と、は互いに異なっていてもよい。つまり、各サンプル点に対応する画像と各サンプル点に対応する音声とが一対多又は多対一に対応する関係であってもよい。

以下、図２に示す動画データＤＭが動画受付部１１により受け付けられたものとして説明する。また、動画受付部１１により受け付けられた動画データＤＭを受付動画データＤＭと示す。

検出部１２は、受付動画データＤＭに含まれる音声データＤＶを用いて、当該音声データＤＶに含まれる各サンプル点に対応する音声の音量が、当該サンプル点の直前のサンプル点に対応する音声の音量よりも増大しているサンプル点を検出する。そして、検出部１２は、当該検出したサンプル点に対応する音声の音量と当該検出したサンプル点の直前のサンプル点に対応する音声の音量との音量差ΔＶが、所定の基準音量差以上である場合、当該検出したサンプル点を基準サンプル点として検出する。

ここで、基準音量差は、直前のサンプル点に対応する音声の音量に対する比率で定められている。これに合わせて、検出部１２は、上記音量差ΔＶを直前のサンプル点に対応する音声の音量に対する比率で算出する。

例えば、基準音量差が３０％に定められているとする。また、図２において、サンプル点ＢＳ１に対応する音声の音量が、サンプル点ＢＳ１の直前のサンプル点ＳＰ１に対応する音声の音量の４倍であるとする。

この場合、検出部１２は、サンプル点ＢＳ１に対応する音声の音量とサンプル点ＳＰ１に対応する音声の音量との音量差ΔＶを「３００％」と算出する。この場合、検出部１２は、当該算出した音量差ΔＶ「３００％」が基準音量差「３０％」以上であるので、サンプル点ＢＳ１を基準サンプル点として検出する。図２は、これと同様にして、検出部１２がサンプル点ＢＳ２とサンプル点ＢＳ３とを基準サンプル点として検出したことを示している。

以下では、検出部１２が基準サンプル点として検出した三個のサンプル点ＢＳ１、ＢＳ２、ＢＳ３をそれぞれ基準サンプル点ＢＳ１、ＢＳ２、ＢＳ３と記載する。尚、以下では、検出部１２により検出された基準サンプル点を総称する場合、基準サンプル点ＢＳと記載する。

このように、直前のサンプル点に対応する音声の音量に対する比率で基準音量差が定められ、これに合わせて、検出部１２は、直前のサンプル点に対応する音声の音量に対する比率で音量差ΔＶを算出する。これにより、検出部１２は、音声の音量が全体的に小さい動画を示す動画データにおいても基準サンプル点を検出することができる。

ただし、基準音量差は、直前のサンプル点に対応する音声の音量に対する比率に限らず、音量を示す絶対値（例えば、デシベル値）で定めてもよい。これに合わせて、検出部１２は、上記音量差ΔＶを、サンプル点に対応する音声の音量を示す絶対値と当該サンプル点の直前に対応する音声の音量の絶対値との差として算出してもよい。

検出部１２により基準サンプル点ＢＳが検出されると、画像抽出部１３は、当該検出された基準サンプル点ＢＳのそれぞれについて、当該基準サンプル点ＢＳ１（ＢＳ２、ＢＳ３）に対応する基準画像Ｄ１（Ｄ２、Ｄ３）を、受付動画データＤＭに含まれる画像データＤＤから抽出する。

画像抽出部１３は、検出部１２が抽出した基準画像Ｄ１（Ｄ２、Ｄ３）を含む時系列に並んだ所定のサンプル数分の画像を、当該基準サンプル点ＢＳ１（ＢＳ２、ＢＳ３）に対応するシーンを構成するフレーム画像ＦＤ１（ＦＤ２、ＦＤ３）として、受付動画データＤＭに含まれる画像データＤＤから抽出する。つまり、基準サンプル点ＢＳとシーンは、一対一の関係にある。

例えば、サンプル数が３に定められているとする。この場合、画像抽出部１３は、図２に示すように、基準画像Ｄ１（Ｄ２、Ｄ３）と、基準サンプル点ＢＳ１（ＢＳ２、ＢＳ３）から過去へ所定の基準時間ＢＴ遡ったサンプル点Ｂ１１（Ｂ２１、Ｂ３１）に対応する画像と、基準サンプル点ＢＳ１（ＢＳ２、ＢＳ３）から未来へ基準時間ＢＴ進んだサンプル点Ａ１１（Ａ２１、Ａ３１）に対応する画像とを、フレーム画像ＦＤ１（ＦＤ２、ＦＤ３）として抽出する。

サンプル数が５に定められている場合、画像抽出部１３は、基準サンプル点ＢＳ１に対応するシーンを構成するフレーム画像として、基準画像Ｄ１と、基準サンプル点ＢＳ１から基準時間ＢＴおきに過去に遡った二つのサンプル点Ｂ１１、Ｂ１２に対応する画像と、基準サンプル点ＢＳ１から基準時間ＢＴおきに未来に進んだ二つのサンプル点Ａ１１、Ａ１２に対応する画像とを、抽出する。

尚、画像抽出部１３は、例えばサンプル数が３に定められている場合に、上記とは異なり、基準サンプル点ＢＳ１に対応するシーンを構成するフレーム画像ＦＤ１として、基準画像Ｄ１と、基準サンプル点ＢＳ１から所定の基準時間ＢＴおきに過去に遡った二つのサンプル点Ｂ１１、Ｂ１２に対応する画像を抽出してもよい。つまり、画像抽出部１３が、フレーム画像ＦＤ１として、基準サンプル点ＢＳ１よりも未来のサンプル点に対応する画像を抽出しないようにしてもよい。

または、画像抽出部１３は、例えばサンプル数が３に定められている場合に、上記とは異なり、基準サンプル点ＢＳ１に対応するシーンを構成するフレーム画像ＦＤ１として、基準画像Ｄ１と、基準サンプル点ＢＳ１から所定の基準時間ＢＴおきに未来に進んだ二つのサンプル点Ａ１１、Ａ１２に対応する画像を抽出してもよい。つまり、画像抽出部１３が、フレーム画像ＦＤ１として、基準サンプル点ＢＳ１よりも過去のサンプル点に対応する画像を抽出しないようにしてもよい。

つまり、画像抽出部１３は、フレーム画像ＦＤ１（ＦＤ２、ＦＤ３）に含める画像として、基準画像Ｄ１（Ｄ２、Ｄ３）と、基準サンプル点ＢＳ１（ＢＳ２、ＢＳ３）から所定の基準時間ＢＴおきに過去に遡ったサンプル点に対応する画像、及び／又は、基準サンプル点ＢＳ１（ＢＳ２、ＢＳ３）から基準時間ＢＴおきに未来に進んだサンプル点に対応する画像と、を抽出する。

以下では、各シーンを構成するフレーム画像ＦＤ１、ＦＤ２、ＦＤ３を総称する場合、フレーム画像ＦＤと記載する。また、各基準サンプル点ＢＳ１、ＢＳ２、ＢＳ３に対応する基準画像Ｄ１、Ｄ２、Ｄ３を総称する場合、基準画像Ｄと記載する。

音声抽出部１４は、検出部１２により基準サンプル点ＢＳが検出されると、当該検出された基準サンプル点ＢＳのそれぞれについて、当該基準サンプル点ＢＳ１（ＢＳ２、ＢＳ３）に対応する基準音声Ｖ１（Ｖ２、Ｖ３）を、受付動画データＤＭに含まれる音声データＤＶから抽出する。

そして、音声抽出部１４は、当該抽出した基準音声Ｖ１（Ｖ２、Ｖ３）を含む時系列に連続する所定数分の音声を、当該基準サンプル点ＢＳ１（ＢＳ２、ＢＳ３）に対応するシーンを代表する代表音声ＳＶ１（ＳＶ２、ＳＶ３）として、受付動画データＤＭに含まれる音声データＤＶから抽出する。

具体的には、上記所定数が６に定められているとする。この場合、画像抽出部１３は、図２に示すように、基準音声Ｖ１（Ｖ２、Ｖ３）と、基準サンプル点ＢＳ１（ＢＳ２、ＢＳ３）よりも未来の五つの連続するサンプル点に対応する音声と、を、当該基準サンプル点ＢＳ１（ＢＳ２、ＢＳ３）に対応するシーンを代表する代表音声ＳＶ１（ＳＶ２、ＳＶ３）として抽出する。

以下では、各シーンを代表する代表音声ＳＶ１、ＳＶ２、ＳＶ３を総称する場合、代表音声ＳＶと記載する。

図１に参照を戻す。文字列認識部１５は、音声抽出部１４により抽出された各代表音声ＳＶに対して、周知の所定の音声認識処理を行う。これにより、文字列認識部１５は、各代表音声ＳＶを表す文字列を認識する。文字列認識部１５は、当該認識した文字列を、当該各代表音声ＳＶに対応するシーンに対応する後述の代表画像選択画面Ｗ２の入力欄Ｇ２２に入力する。

抽出条件受付部１６は、ユーザーによる上記の基準音量差、基準時間ＢＴ、及びサンプル数の入力を受け付ける。また、抽出条件受付部１６は、ユーザーによる開始時刻及び終了時刻の入力を受け付ける。これに合わせて、検出部１２は、受付動画データＤＭのうち、抽出条件受付部１６により受け付けられた開始時刻から抽出条件受付部１６により受け付けられた終了時刻までの期間に対応する受付動画データＤＭにおいて、基準サンプル点ＢＳを検出する。

例えば、図２に示すように、抽出条件受付部１６により、開始時刻として時刻ＳＴが受け付けられ、終了時刻として時刻ＥＴが受け付けられたとする。この場合、検出部１２は、受付動画データＤＭのうち開始時刻ＳＴから終了時刻ＥＴまでの期間に対応する動画データＤＭにおいて、基準サンプル点ＢＳ２のみを検出する。

以下、抽出条件受付部１６がユーザーによる基準音量差、基準時間ＢＴ、サンプル数、開始時刻、及び終了時刻の入力を受け付ける方法について図３を用いて説明する。図３は、条件設定画面Ｗ１の一例を示す図である。

抽出条件受付部１６は、図３に示す条件設定画面Ｗ１を表示部３３１に表示する。図３に示すように、条件設定画面Ｗ１には、開始時刻の入力欄Ｇ１１、終了時刻の入力欄Ｇ１２、基準音量差の入力欄Ｇ１３、基準時間ＢＴの入力欄Ｇ１４及びサンプル数の入力欄Ｇ１５が設けられている。条件設定画面Ｗ１には、更に、ＯＫボタンＫ１１及びキャンセルボタンＫ１２が設けられている。

入力欄Ｇ１１には、抽出条件受付部１６によって、条件設定画面Ｗ１の表示当初に、受付動画データＤＭが表す動画の開始時刻「０：００：００」が入力される。また、入力欄Ｇ１２には、抽出条件受付部１６によって、条件設定画面Ｗ１の表示当初に、受付動画データＤＭが表す動画の終了時刻が入力される。

例えば、受付動画データＤＭが表す動画の長さが３０分であり、当該受付動画データＤＭに、動画の長さ「０：３０：００」を示すプロパティデータが含まれているとする。この場合、抽出条件受付部１６は、条件設定画面Ｗ１の表示当初に、上記プロパティデータが示す動画の長さ「０：３０：００」を入力欄Ｇ１２に入力する。

その後、ユーザーは、操作部３３を操作することにより、入力欄Ｇ１１に入力された開始時刻、及び入力欄Ｇ１２に入力された終了時刻を編集入力する。

入力欄Ｇ１３には、抽出条件受付部１６によって、条件設定画面Ｗ１の表示当初に、不揮発性メモリー等に予め記憶されている基準音量差が入力される。例えば、基準音量差が、３０％に定められ、不揮発性メモリー等に記憶されているとする。この場合、抽出条件受付部１６は、基準音量差「３０」を入力欄Ｇ１３に表示する。その後、ユーザーは、操作部３３を操作することにより、入力欄Ｇ１３に入力された基準音量差を編集入力する。

入力欄Ｇ１４には、抽出条件受付部１６によって、条件設定画面Ｗ１の表示当初に、不揮発性メモリー等に予め記憶されている基準時間ＢＴが入力される。例えば、基準時間が、０．０３秒に定められ、不揮発性メモリー等に記憶されているとする。この場合、抽出条件受付部１６は、基準時間ＢＴ「０．０３」を入力欄Ｇ１４に入力する。その後、ユーザーは、操作部３３を操作することにより、入力欄Ｇ１４に入力された基準時間ＢＴを編集入力する。

入力欄Ｇ１５には、抽出条件受付部１６によって、条件設定画面Ｗ１の表示当初に、不揮発性メモリー等に予め記憶されているサンプル数が入力される。例えば、サンプル数が３に定められ、不揮発性メモリー等に記憶されているとする。この場合、抽出条件受付部１６は、サンプル数「３」を入力欄Ｇ１５に入力する。その後、ユーザーは、操作部３３を操作することにより、入力欄Ｇ１５に入力されたサンプル数を編集入力する。

ＯＫボタンＫ１１は、入力欄Ｇ１１〜Ｇ１５における開始時刻、終了時刻、基準音量差、基準時間ＢＴ及びサンプル数の入力を確定するボタンである。つまり、ＯＫボタンＫ１１が押下された場合、抽出条件受付部１６は、入力欄Ｇ１１〜Ｇ１５における開始時刻、終了時刻、基準音量差、基準時間ＢＴ及びサンプル数の入力が確定したと判断し、当該開始時刻、終了時刻、基準音量差、基準時間ＢＴ及びサンプル数の入力を受け付ける。そして、抽出条件受付部１６は、表示部３３１への条件設定画面Ｗ１の表示を終了する。

抽出条件受付部１６は、開始時刻、終了時刻、基準音量差、基準時間ＢＴ及びサンプル数の入力を受け付けると、当該受け付けた開始時刻、終了時刻、基準音量差、基準時間ＢＴ及びサンプル数によって、不揮発性メモリー等に予め記憶されている開始時刻、終了時刻、基準音量差、基準時間ＢＴ及びサンプル数を更新する。

キャンセルボタンＫ１２は、入力欄Ｇ１１〜Ｇ１５における開始時刻、終了時刻、基準音量差、基準時間ＢＴ及びサンプル数の入力をキャンセルするボタンである。つまり、キャンセルボタンＫ１２が押下された場合、抽出条件受付部１６は、入力欄Ｇ１１〜Ｇ１５における開始時刻、終了時刻、基準音量差、基準時間ＢＴ及びサンプル数の入力がキャンセルされたと判断し、当該開始時刻、終了時刻、基準音量差、基準時間ＢＴ及びサンプル数の入力を受け付けず、表示部３３１への条件設定画面Ｗ１の表示を終了する。

図１に参照を戻す。画面生成部１７は、各シーンにおいて、画像抽出部１３により抽出された当該各シーンを構成するフレーム画像ＦＤが一覧表示された代表画像選択画面（操作画面）を生成する。つまり、シーンと代表画像選択画面は、一対一の関係にある。

選択受付部１８は、画面生成部１７により生成された各代表画像選択画面において、一覧表示されているフレーム画像の中から、シーンを代表する代表画像の選択を受け付ける。

以下、画面生成部１７及び選択受付部１８の詳細について説明する。尚、以下では、図２に示すように、画像抽出部１３によって、基準サンプル点ＢＳ１に対応するシーンを構成するフレーム画像ＦＤ１、基準サンプル点ＢＳ２に対応するシーンを構成するフレーム画像ＦＤ２、及び基準サンプル点ＢＳ３に対応するシーンを構成するフレーム画像ＦＤ３が抽出されたものとして説明する。

画面生成部１７は、基準サンプル点ＢＳ１に対応するシーンを構成するフレーム画像ＦＤ１が一覧表示された代表画像選択画面と、基準サンプル点ＢＳ２に対応するシーンを構成するフレーム画像ＦＤ２が一覧表示された代表画像選択画面と、基準サンプル点ＢＳ３に対応するシーンを構成するフレーム画像ＦＤ３が一覧表示された代表画像選択画面と、を生成する。

選択受付部１８は、画面生成部１７により生成された三個の代表画像選択画面を順次表示部３３１に表示する。図４は、代表画像選択画面Ｗ２の一例を示す図である。以下では、当該三個の代表画像選択画面を代表して、基準サンプル点ＢＳ２に対応するシーンに対応する代表画像選択画面Ｗ２について説明する。

図４に示すように、代表画像選択画面Ｗ２には、基準サンプル点ＢＳ２に対応するシーンを代表する代表画像の選択欄Ｇ２１、当該シーンを表す文字列（以下、シーン文字列と記載する）の入力欄Ｇ２２、表示欄Ｇ２３、表示欄Ｇ２４、前へボタンＫ２１、後へボタンＫ２２、ＯＫボタンＫ２３、及びキャンセルボタンＫ２４が設けられている。

選択欄Ｇ２１には、画面生成部１７によって、基準サンプル点ＢＳ２に対応するシーンを構成するフレーム画像ＦＤ２に含まれる画像Ｂ２１、Ｄ２、Ａ２１（図２）が選択可能に一覧表示される。また、選択欄Ｇ２１には、画面生成部１７によって、基準サンプル点ＢＳ２に対応するシーンを代表する代表画像を選択しないことを指示する非選択指示を入力するための非選択指示画像ＮＳが選択可能に表示される。

ユーザーは、操作部３３を操作することにより、選択欄Ｇ２１に一覧表示されたフレーム画像ＦＤ２に含まれる画像Ｂ２１、Ｄ２、Ａ２１の何れかを基準サンプル点ＢＳ２に対応するシーンを構成する代表画像として選択する、または、非選択指示画像ＮＳを選択する。

入力欄Ｇ２２には、画面生成部１７による代表画像選択画面Ｗ２の生成当初に、文字列認識部１５によって、基準サンプル点ＢＳ２に対応するシーンに対応する代表音声ＳＶを表す文字列がシーン文字列として入力される。ユーザーは、操作部３３を操作することにより、当該代表画像選択画面Ｗ２の入力欄Ｇ２２に入力されたシーン文字列を編集入力する。

表示欄Ｇ２３には、画面生成部１７によって、当該代表画像選択画面Ｗ２に対応するシーンをユーザーに識別させるための情報が表示される。図４では、画面生成部１７は、当該代表画像選択画面Ｗ２に対応するシーンが、検出部１２によって検出された三つの基準サンプル点ＢＳ１、ＢＳ２、ＢＳ３のうち、二番目に検出された基準サンプル点ＢＳ２に対応するシーンであることをユーザーに識別させるために、文字列「２／３」が表示欄Ｇ２３に表示されている。

表示欄Ｇ２４には、検出部１２によって、基準サンプル点ＢＳの検出が終了している受付動画データＤＭにおける時刻が表示される。例えば、検出部１２は、受付動画データＤＭに含まれる時刻「ｈｈ：ｍｍ：ｓｓ」までの音声を用いた基準サンプル点ＢＳの検出を終了しているとき、表示欄Ｇ２４に当該時刻「ｈｈ：ｍｍ：ｓｓ」を表示する。

前へボタンＫ２１は、当該代表画像選択画面Ｗ２に代えて、当該代表画像選択画面Ｗ２に対応するシーンの前のシーンに対応する代表画像選択画面Ｗ２を表示するためのボタンである。代表画像選択画面Ｗ２に対応するシーンの前のシーンとは、当該代表画像選択画面Ｗ２に対応するシーンに対応する基準サンプル点ＢＳの前に検出部１２により検出された基準サンプル点ＢＳに対応するシーンを示す。

つまり、ユーザーによる操作部３３の操作により、図４に示す代表画像選択画面Ｗ２の前へボタンＫ２１が押下されたとする。この場合、選択受付部１８は、図４に示す代表画像選択画面Ｗ２に代えて、基準サンプル点ＢＳ２の前に検出された基準サンプル点ＢＳ１に対応するシーンに対応する代表画像選択画面Ｗ２を表示部３３１に表示する。

後へボタンＫ２２は、当該代表画像選択画面Ｗ２に代えて、当該代表画像選択画面Ｗ２に対応するシーンの後のシーンに対応する代表画像選択画面Ｗ２を表示するためのボタンである。代表画像選択画面Ｗ２に対応するシーンの後のシーンとは、当該代表画像選択画面Ｗ２に対応するシーンに対応する基準サンプル点ＢＳの後に検出部１２により検出された基準サンプル点ＢＳに対応するシーンを示す。

つまり、ユーザーによる操作部３３の操作により、図４に示す代表画像選択画面Ｗ２の後へボタンＫ２２が押下されたとする。この場合、選択受付部１８は、図４に示す代表画像選択画面Ｗ２に代えて、基準サンプル点ＢＳ２の後に検出された基準サンプル点ＢＳ３に対応するシーンに対応する代表画像選択画面Ｗ２を表示部３３１に表示する。

ＯＫボタンＫ２３は、画面生成部１７によって生成された全ての代表画像選択画面Ｗ２の選択欄Ｇ２１における代表画像又は非選択指示画像の選択と、画面生成部１７によって生成された全ての代表画像選択画面Ｗ２の入力欄Ｇ２２におけるシーン文字列の入力と、を確定するボタンである。

選択受付部１８は、画面生成部１７によって生成された少なくとも一つの代表画像選択画面Ｗ２の選択欄Ｇ２１において、ユーザーによる代表画像又は非選択指示画像の選択が行われていない場合、ＯＫボタンＫ２３を押下不可能にする（グレー表示する）。

つまり、ＯＫボタンＫ２３が押下された場合、選択受付部１８は、画面生成部１７により生成された全ての代表画像選択画面Ｗ２において、各シーンを代表する代表画像又は非選択指示画像ＮＳの選択と、各シーン文字列の入力が確定したと判断し、当該選択と当該入力とを受け付ける。そして、選択受付部１８は、代表画像選択画面Ｗ２の表示部３３１への表示を終了する。

尚、選択受付部１８は、非選択指示画像ＮＳの選択を受け付けた場合、非選択指示が入力されたと判断し、当該非選択指示画像ＮＳが表示された代表画像選択画面Ｗ２に対応するシーンを代表する代表画像の選択を受け付けない。

例えば、基準サンプル点ＢＳ１に対応するシーンに対応する代表画像選択画面Ｗ２の選択欄Ｇ２１において基準画像Ｄ１が代表画像として選択されているとする。また、基準サンプル点ＢＳ２に対応するシーンに対応する代表画像選択画面Ｗ２の選択欄Ｇ２１において画像Ｂ２１が代表画像として選択されているとする。そして、基準サンプル点ＢＳ３に対応するシーンに対応する代表画像選択画面Ｗ２の選択欄Ｇ２１において非選択指示画像ＮＳが選択されているとする。この場合に、ユーザーによって、表示部３３１に表示されている代表画像選択画面Ｗ２のＯＫボタンＫ２３が押下されたとする。

この場合、選択受付部１８は、基準画像Ｄ１を基準サンプル点ＢＳ１に対応するシーンを代表する代表画像として受け付け、画像Ｂ２１を基準サンプル点ＢＳ２に対応するシーンを代表する代表画像として受け付ける。しかし、選択受付部１８は、基準サンプル点ＢＳ３に対応するシーンを代表する代表画像の選択を受け付けない。

キャンセルボタンＫ２４は、画面生成部１７によって生成された全ての代表画像選択画面Ｗ２の選択欄Ｇ２１における代表画像又は非選択指示画像の選択と、画面生成部１７によって生成された全ての代表画像選択画面Ｗ２の入力欄Ｇ２２におけるシーン文字列の入力と、をキャンセルするボタンである。つまり、キャンセルボタンＫ２４が押下された場合、選択受付部１８は、代表画像の選択を一つも受け付けず、代表画像選択画面Ｗ２の表示部３３１への表示を終了する。

図１に参照を戻す。画像出力部１９は、選択受付部１８により受け付けられた各代表画像を出力する。画像出力部１９の詳細については後述する。

出力条件受付部２０、画像受付部２１、変更受付部２２、変更指示受付部２３、及び選択用紙出力部２４は、画像出力部１９による各代表画像の出力に関連する動作を行う。これら各部の詳細についても後述する。

以下、受付動画データＤＭが示す動画の内容を表す代表画像を生成する動作について説明する。図５は、代表画像を生成する動作を示すフローチャートである。

図５に示すように、動画受付部１１により、上述のように、外部装置から送信された動画データＤＭや、外部機器の内部の記憶装置に記憶されている動画データＤＭの入力が受け付けられたとする（Ｓ１）。この場合、制御部１０は、当該受付動画データＤＭが示す動画の内容を表す代表画像を生成するか否かの選択が可能な不図示の操作画面を表示部３３１に表示する。

当該操作画面において代表画像を生成することが選択された場合（Ｓ２；ＹＥＳ）、抽出条件受付部１６は、条件設定画面Ｗ１（図３）を表示部３３１に表示する。そして、抽出条件受付部１６は、当該条件設定画面Ｗ１を用いて、上述のように基準音量差、基準時間ＢＴ、サンプル数、開始時刻、及び終了時刻の入力を受け付ける（Ｓ３）。一方、当該操作画面において代表画像を生成することがユーザーにより選択されなかった場合（Ｓ２；ＮＯ）、制御部１０は、代表画像を生成する動作を行わず、受付動画データＤＭを記憶部３４に記憶して処理を終了する。

ステップＳ３の実行後、検出部１２は、上述のように、ステップＳ３で受け付けられた開始時刻から終了時刻までの期間に対応する受付動画データＤＭにおいて基準サンプル点ＢＳを検出する（Ｓ４）。

音声抽出部１４は、上述のように、検出部１２により検出された基準サンプル点ＢＳのそれぞれに対応するシーンを代表する代表音声ＳＶを受付動画データＤＭに含まれる音声データＤＶから抽出する（Ｓ５）。文字列認識部１５は、上述のように、ステップＳ５において抽出された各代表音声ＳＶを表す文字列を認識する（Ｓ６）。

画像抽出部１３は、上述のように、検出部１２により検出された基準サンプル点ＢＳのそれぞれに対応するシーンを構成するフレーム画像ＦＤを受付動画データＤＭに含まれる画像データＤＤから抽出する（Ｓ７）。

検出部１２は、ステップＳ３で受け付けられた開始時刻から終了時刻までの期間に対応する受付動画データＤＭにおいて基準サンプル点ＢＳを検出することを終了していず（Ｓ８；ＮＯ）、且つ、検出した基準サンプル点ＢＳの数が所定の制限数未満である場合（Ｓ９；ＹＥＳ）、基準サンプル点ＢＳの検出を継続する（Ｓ４）。尚、上記の制限数は、不揮発性メモリー等に予め記憶されている。

一方、検出部１２は、ステップＳ３で受け付けられた開始時刻から終了時刻までの期間に対応する受付動画データＤＭにおいて基準サンプル点ＢＳを検出することを終了していず（Ｓ８；ＮＯ）、且つ、検出した基準サンプル点ＢＳの数が上記制限数になった場合（Ｓ９；ＮＯ）、基準サンプル点ＢＳの検出を中断する。その後、後述のステップＳ１０以降の処理が実行される。

また、検出部１２が、ステップＳ３で受け付けられた開始時刻から終了時刻までの期間に対応する受付動画データＤＭにおいて基準サンプル点ＢＳを検出することを終了した場合（Ｓ８；ＹＥＳ）、後述のステップＳ１０以降の処理が実行される。

ステップＳ１０において、画面生成部１７は、上述のように、画像抽出部１３により抽出された各シーンを構成するフレーム画像ＦＤを一覧表示した、当該各シーンに対応する各代表画像選択画面Ｗ２（図４）を生成する（Ｓ１０）。

このとき、検出部１２は、基準サンプル点ＢＳの検出を中断している場合は、当該中断した時刻を各代表画像選択画面Ｗ２の表示欄Ｇ２４に表示する。又は、検出部１２は、基準サンプル点ＢＳの検出を終了している場合は、ステップＳ３で受け付けられた終了時刻を各代表画像選択画面Ｗ２の表示欄Ｇ２４に表示する。

ステップＳ１０の実行後、選択受付部１８は、上述のように、ステップＳ１０で生成された各代表画像選択画面Ｗ２を順次表示部３３１に表示する。そして、選択受付部１８は、上述のように、各代表画像選択画面Ｗ２に対応する各シーンを代表する代表画像又は非選択指示画像ＮＳの選択と、各シーン文字列の入力を受け付けると、表示部３３１への各代表画像選択画面Ｗ２の表示を終了する（Ｓ１１）。

検出部１２は、基準サンプル点ＢＳの検出を中断していた場合、ステップＳ１１の終了後、当該中断していた時刻以降の基準サンプル点ＢＳの検出を再開するか否かの選択が可能な不図示の操作画面を表示部３３１に表示する。

そして、ユーザーにより、基準サンプル点ＢＳの検出を再開することが選択された場合（Ｓ１２；ＹＥＳ）、検出部１２は、検出した基準サンプル点ＢＳの数を０に戻し、基準サンプル点ＢＳを検出することを再開する（Ｓ４）。一方、ユーザーにより、基準サンプル点ＢＳの検出を再開しないことが選択された場合（Ｓ１２；ＮＯ）、検出部１２は、基準サンプル点ＢＳの検出を終了する。尚、検出部１２は、基準サンプル点ＢＳの検出を終了していた場合、ステップＳ１１の終了後、基準サンプル点ＢＳの検出を再開しない。

つまり、検出部１２は、検出した基準サンプル点ＢＳの数が所定の制限数になる度に（Ｓ９；ＮＯ）、基準サンプル点ＢＳの検出を中断し、以降の基準サンプル点ＢＳの検出を再開するか否かをユーザーに選択させ、基準サンプル点ＢＳの検出を再開することが選択されたときは（Ｓ１２；ＹＥＳ）、以降の基準サンプル点ＢＳの検出を再開する一方、基準サンプル点ＢＳの検出を再開しないことが選択されたときは（Ｓ１２；ＮＯ）、基準サンプル点ＢＳの検出を終了する。

以下、図５に示す動作により生成された各代表画像を出力する動作について説明する。当該説明の中で、画像出力部１９、出力条件受付部２０、画像受付部２１、変更受付部２２、変更指示受付部２３、及び選択用紙出力部２４の詳細について説明する。図６は、代表画像を出力する動作を示すフローチャートである。図７は、出力条件設定画面Ｗ３の一例を示す図である。

図５に示す動作が終了すると、図６に示すように、出力条件受付部２０は、図７に示す出力条件設定画面Ｗ３を表示部３３１に表示し、各代表画像を出力するときの出力条件を、当該出力条件設定画面Ｗ３を用いてユーザーに入力させる（Ｓ２１）。

出力条件には、各代表画像を出力するときに各代表画像を配置するレイアウト、各代表画像を出力するときの各代表画像のサイズ、及び代表画像と当該代表画像に対応するシーン文字列とを対応付けて出力するときの当該代表画像に対する当該文字列の相対的な出力位置が含まれる。

具体的には、図７に示すように、出力条件設定画面Ｗ３には、レイアウト選択欄Ｇ３１、出力サイズ選択欄Ｇ３２、出力位置選択欄Ｇ３３、プレビューボタンＫ３１、全印刷ボタンＫ３２、個別印刷ボタンＫ３３、画像変更ボタンＫ３４及び終了ボタンＫ３５が設けられている。

レイアウト選択欄Ｇ３１には、出力条件受付部２０によって、各代表画像を出力するときに各代表画像を配置する複数のレイアウトが選択可能に表示される。例えば、図７では、レイアウト選択欄Ｇ３１に、各代表画像を順次縦に並べて配置するレイアウト「縦並び」と、各代表画像を順次横に並べて配置するレイアウト「横並び」と、が選択可能に表示されている。

尚、各代表画像を配置するレイアウトは、予め定められ、不揮発性メモリー等に予め記憶されている。出力条件受付部２０は、出力条件設定画面Ｗ３の表示当初に、不揮発性メモリー等に予め記憶されているレイアウト（例えば、「縦並び」）を選択した状態で表示する。

その後、ユーザーは、操作部３３を操作することにより、レイアウト選択欄Ｇ３１に表示されたレイアウト「縦並び」又は「横並び」を選択入力する。

出力条件受付部２０は、プレビューボタンＫ３１、全印刷ボタンＫ３２、個別印刷ボタンＫ３３、及び画像変更ボタンＫ３４のうちの何れかのボタンが押下された場合に、レイアウト選択欄Ｇ３１において選択されているレイアウトを、各代表画像を配置するレイアウトとして受け付ける。出力条件受付部２０は、ユーザーによる当該レイアウトの選択を受け付けると、当該レイアウトによって、不揮発性メモリー等に予め記憶されている各代表画像を配置するレイアウトを更新する。

出力サイズ選択欄Ｇ３２には、出力条件受付部２０によって、各代表画像を出力するときの各代表画像のサイズ（以下、出力サイズと記載する）の決定方法が択一的に選択できるように表示される。例えば、図７では、出力サイズの決定方法として、出力サイズを自動的に決定する「自動」又は出力サイズをユーザーが意図する所望のサイズに決定させる「手動」が選択可能なラジオボタンが表示されている。

更に、出力サイズ選択欄Ｇ３２には、出力サイズの決定方法「手動」が選択された場合にのみ操作可能なリストボックスが出力条件受付部２０によって表示される。当該リストボックスでは、所定の複数の変換率の中から一の変換率をユーザーに選択させることが可能となっている。

尚、出力サイズの決定方法は、予め定められ、不揮発性メモリー等に予め記憶されている。出力サイズの決定方法が予め「手動」に定められている場合は、更に、上記一の変換率が予め定められ、不揮発性メモリー等に予め記憶されている。

出力サイズの決定方法が予め「自動」に定められている場合、出力条件受付部２０は、出力条件設定画面Ｗ３の表示当初に、不揮発性メモリー等に予め記憶されている出力サイズの決定方法「自動」を選択した状態で表示する。

出力サイズの決定方法が予め「手動」に定められている場合、出力条件受付部２０は、出力条件設定画面Ｗ３の表示当初に、不揮発性メモリー等に予め記憶されている出力サイズの決定方法「手動」を選択した状態で表示する。この場合、出力条件受付部２０は、不揮発性メモリー等に予め記憶されている上記一の変換率を選択した状態で上記リストボックスを表示する。例えば、図７は、上記リストボックスが、一の変換率「１００％」を選択した状態で表示されていることを示している。

その後、ユーザーは、操作部３３を操作することにより、出力サイズ選択欄Ｇ３２に表示された出力サイズの決定方法を選択入力する。

プレビューボタンＫ３１、全印刷ボタンＫ３２、個別印刷ボタンＫ３３、及び画像変更ボタンＫ３４のうちの何れかのボタンが押下された場合に、出力サイズ選択欄Ｇ３２において、出力サイズの決定方法「自動」が選択されていたとする。

この場合、出力条件受付部２０は、出力サイズとして、当該代表画像の解像度に対応付けて予め記憶部３４に記憶されている最適サイズが選択入力されたと判断する。そして、出力条件受付部２０は、当該最適サイズを出力サイズとして受け付ける。この場合、出力条件受付部２０は、当該出力サイズの決定方法「自動」によって、不揮発性メモリー等に予め記憶されている出力サイズの決定方法を更新する。

図８は、記憶部３４に記憶されている最適サイズの一例を示す図である。図８に示すように、記憶部３４には、画像の解像度と、当該解像度の画像を出力するときに最適な画像のサイズである最適サイズと、が予め対応付けて記憶されている。例えば、図８は、画像の解像度「Ｘ１」と、最適サイズ「ｈ１×ｗ１」と、が予め対応付けて記憶部３４に記憶されていることを示している。

例えば、代表画像の解像度が解像度「Ｘ１」であるとする。この場合、出力条件受付部２０は、代表画像の解像度「Ｘ１」に対応付けて予め記憶部３４に記憶されている最適サイズ「ｈ１×ｗ１」を出力サイズとして受け付ける。

一方、ユーザーは、出力サイズの決定方法「手動」を選択した場合、更に上記リストボックスを用いて一の変換率を選択入力する。

プレビューボタンＫ３１、全印刷ボタンＫ３２、個別印刷ボタンＫ３３、及び画像変更ボタンＫ３４のうちの何れかのボタンが押下された場合に、出力サイズ選択欄Ｇ３２において出力サイズの決定方法「手動」が選択され、上記リストボックスにおいて一の変換率が選択されていたとする。

この場合、出力条件受付部２０は、当該代表画像のサイズを当該選択されている一の変換率で変換した後のサイズを算出し、当該算出したサイズが出力サイズとして選択されたと判断する。そして、出力条件受付部２０は、当該算出したサイズを出力サイズとして受け付ける。

この場合、出力条件受付部２０は、出力サイズの決定方法「手動」によって、不揮発性メモリー等に予め記憶されている出力サイズの決定方法を更新する。また、出力条件受付部２０は、上記リストボックスにおいて選択されていた一の変換率によって、予め記憶部３４に記憶されている一の変換率を更新する。

出力位置選択欄Ｇ３３には、出力条件受付部２０によって、代表画像と当該代表画像に対応するシーンを表すシーン文字列とを対応付けて出力するときの、当該代表画像に対する当該シーン文字列の相対的な出力位置（以下、相対出力位置と記載する）が選択可能に表示される。

例えば、図７では、出力位置選択欄Ｇ３３に、シーン文字列を代表画像の上部、下部、左部及び右部のそれぞれに出力することを示す四個の相対出力位置「上」「下」「左」「右」と、シーン文字列を代表画像に重ねて出力することを示す相対出力位置「重ねる」と、が選択可能に表示されている。

尚、相対出力位置は、予め定められ、不揮発性メモリー等に予め記憶されている。出力条件受付部２０は、出力条件設定画面Ｗ３の表示当初に、不揮発性メモリー等に予め記憶されている相対出力位置（例えば、「右」）を選択した状態で表示する。

その後、ユーザーは、操作部３３を操作することにより、出力位置選択欄Ｇ３３に表示された相対出力位置「上」「下」「左」「右」「重ねる」の中から何れか一の相対出力位置を選択入力する。

出力条件受付部２０は、プレビューボタンＫ３１、全印刷ボタンＫ３２、個別印刷ボタンＫ３３、及び画像変更ボタンＫ３４のうちの何れかのボタンが押下された場合に、出力位置選択欄Ｇ３３における相対出力位置の選択を受け付ける。出力条件受付部２０は、ユーザーによる当該相対出力位置の選択を受け付けると、当該相対出力位置によって、不揮発性メモリー等に予め記憶されている相対出力位置を更新する。

プレビューボタンＫ３１は、プレビュー出力処理を実行するためのボタンである。プレビュー出力処理とは、各代表画像と当該各代表画像に対応するシーンを表すシーン文字列とを対応付けて表示したプレビュー画面を表示部３３１に表示することにより、各代表画像を出力する処理である。

全印刷ボタンＫ３２は、全印刷出力処理を実行するためのボタンである。全印刷出力処理とは、画像形成部３２に全ての代表画像を用紙に形成する印刷処理を実行させることにより、各代表画像を出力する処理である。

個別印刷ボタンＫ３３は、画像出力部１９に後述の個別印刷出力画面を表示させるためのボタンである。画像変更ボタンＫ３４は、画像出力部１９に後述の変更対象選択画面を表示させるためのボタンである。終了ボタンＫ３５は、画像出力部１９による各代表画像の出力を終了するためのボタンである。

これら各ボタンＫ３１〜Ｋ３５が押下されたときの動作については後述する。

図６に参照を戻す。ステップＳ２１において、各代表画像を出力するときの出力条件が入力された後、プレビューボタンＫ３１が押下されたとする（Ｓ３０；ＹＥＳ）。

この場合、出力条件受付部２０は、ステップＳ２１において入力された出力条件を受け付ける。画像出力部１９は、当該受け付けられた出力条件を用いて、プレビュー出力処理を実行する（Ｓ３１）。その後は、ステップＳ２１以降の処理が行われる。

図９（Ａ）は、予め定められた出力条件を用いた場合のプレビュー画面の一例を示す図である。図９（Ｂ）は、レイアウトと相対出力位置を変更した場合のプレビュー画面の一例を示す図である。図９（Ｃ）は、出力サイズを変更した場合のプレビュー画面の一例を示す図である。図９（Ｄ）は、相対出力位置を変更した場合のプレビュー画面の一例を示す図である。

図９（Ａ）〜（Ｄ）に示すように、ステップＳ３１のプレビュー出力処理において、表示部３３１に表示されるプレビュー画面Ｗ４には、プレビュー表示欄Ｇ４１と、閉じるボタンＫ４１と、が設けられている。プレビュー表示欄Ｇ４１には、画像出力部１９によって、出力条件受付部２０により受け付けられた出力条件に従って、各代表画像ＤＲ１（ＤＲ２、ＤＲ３）と当該各代表画像ＤＲ１（ＤＲ２、ＤＲ３）に対応するシーンを表すシーン文字列Ｃ１、（Ｃ２、Ｃ３）とを対応付けて表示した画像が表示される。

例えば、出力条件設定画面Ｗ３の表示当初に入力された予め定められた出力条件が変更されずにプレビューボタンＫ３１が押下され、出力条件受付部２０が、当該予め定められた出力条件を受け付けたとする。尚、当該予め定められた出力条件は、各代表画像を順次縦に並べて配置するレイアウト「縦並び」、出力サイズを自動的に決定する出力サイズの決定方法「自動」及びシーン文字列を代表画像の右部に出力することを示す相対出力位置「右」であるとする。

この場合、画像出力部１９は、図９（Ａ）に示すように、上記予め定められた出力条件に従って、各代表画像のサイズを当該各代表画像の解像度に対応する最適サイズに変換し、当該最適サイズに変換された各代表画像ＤＲ１、ＤＲ２、ＤＲ３を順次縦に並べて表示した画像をプレビュー表示欄Ｇ４１に表示する。また、画像出力部１９は、プレビュー表示欄Ｇ４１に表示した当該画像において、ステップＳ１１（図５）で受け付けられた当該各代表画像ＤＲ１（ＤＲ２、ＤＲ３）に対応するシーンを表すシーン文字列Ｃ１（Ｃ２、Ｃ３）を、当該各代表画像ＤＲ１（ＤＲ２、ＤＲ３）の右部に表示する。

または、ステップＳ２１において、出力条件設定画面Ｗ３を用いて、各代表画像を順次横に並べて配置するレイアウト「横並び」、出力サイズを自動的に決定する出力サイズの決定方法「自動」、及びシーン文字列を代表画像の下部に出力することを示す相対出力位置「下」が選択入力された後、プレビューボタンＫ３１が押下され、出力条件受付部２０が当該選択入力された出力条件を受け付けたとする。

この場合、画像出力部１９は、図９（Ｂ）に示すように、当該受け付けられた出力条件に従って、各代表画像のサイズを当該各代表画像の解像度に対応する最適サイズに変換し、当該最適サイズに変換された各代表画像ＤＲ１、ＤＲ２、ＤＲ３を順次横に並べて表示した画像をプレビュー表示欄Ｇ４１に表示する。また、画像出力部１９は、プレビュー表示欄Ｇ４１に表示した当該画像において、ステップＳ１１（図５）で受け付けられた当該各代表画像ＤＲ１（ＤＲ２、ＤＲ３）に対応するシーンを表すシーン文字列Ｃ１（Ｃ２、Ｃ３）を、当該各代表画像ＤＲ１（ＤＲ２、ＤＲ３）の下部に表示する。

または、ステップＳ２１において、出力条件設定画面Ｗ３を用いて、各代表画像を順次縦に並べて配置するレイアウト「縦並び」、出力サイズをユーザーに決定させる出力サイズの決定方法「手動」、一の変換率「１３０％」、及びシーン文字列を代表画像の右部に出力することを示す相対出力位置「右」が選択入力された後、プレビューボタンＫ３１が押下され、出力条件受付部２０が、当該選択入力された出力条件を受け付けたとする。

この場合、画像出力部１９は、図９（Ｃ）に示すように、当該受け付けられた出力条件に従って、各代表画像のサイズを一の変換率「１３０％」で変換することにより拡大し、当該拡大後のサイズの各代表画像ＤＲ１、ＤＲ２、ＤＲ３を順次縦に並べて表示した画像をプレビュー表示欄Ｇ４１に表示する。また、画像出力部１９は、プレビュー表示欄Ｇ４１に表示した当該画像において、ステップＳ１１（図５）で受け付けられた当該各代表画像ＤＲ１（ＤＲ２、ＤＲ３）に対応するシーンを表すシーン文字列Ｃ１（Ｃ２、Ｃ３）を、当該各代表画像ＤＲ１（ＤＲ２、ＤＲ３）の右部に表示する。

または、ステップＳ２１において、出力条件設定画面Ｗ３を用いて、各代表画像を順次縦に並べて配置するレイアウト「縦並び」、出力サイズを自動的に決定する出力サイズの決定方法「自動」、及びシーン文字列を代表画像に重ねて出力することを示す相対出力位置「重ねる」が選択入力された後、プレビューボタンＫ３１が押下され、出力条件受付部２０が、当該選択入力された出力条件を受け付けたとする。

この場合、画像出力部１９は、図９（Ｄ）に示すように、当該受け付けられた出力条件に従って、各代表画像のサイズを当該各代表画像の解像度に対応する最適サイズに変換し、当該最適サイズに変換された各代表画像ＤＲ１、ＤＲ２、ＤＲ３を順次縦に並べて表示した画像をプレビュー表示欄Ｇ４１に表示する。また、画像出力部１９は、プレビュー表示欄Ｇ４１に表示した当該画像において、ステップＳ１１（図５）で受け付けられた当該各代表画像ＤＲ１（ＤＲ２、ＤＲ３）に対応するシーンを表すシーン文字列Ｃ１（Ｃ２、Ｃ３）を、当該各代表画像ＤＲ１（ＤＲ２、ＤＲ３）に重ねて表示する。

閉じるボタンＫ４１が押下された場合、画像出力部１９はプレビュー画面Ｗ４の表示部３３１への表示を終了する。

図６に参照を戻す。ステップＳ２１において、各代表画像を出力するときの出力条件が入力された後、全印刷ボタンＫ３２が押下されたとする（Ｓ３０；ＮＯ、Ｓ４０；ＹＥＳ）。

この場合、出力条件受付部２０は、ステップＳ２１において入力された出力条件を受け付ける。画像出力部１９は、当該受け付けられた出力条件を用いて、全印刷出力処理を実行する（Ｓ４１）。その後は、ステップＳ２１以降の処理が行われる。

具体的には、ステップＳ４１において、画像出力部１９は、ステップＳ３１のプレビュー出力処理で、出力条件受付部２０により受け付けられた出力条件を用いてプレビュー画面Ｗ４のプレビュー表示欄Ｇ４１に表示する画像と同じ画像を、用紙に形成する印刷処理を、画像形成部３２に実行させる。

例えば、ステップＳ２１において出力条件設定画面Ｗ３の表示当初に入力された、上記ステップＳ３１において説明した予め定められた出力条件が変更されずに、全印刷ボタンＫ３２が押下されたとする。これにより、出力条件受付部２０が、当該予め定められた出力条件を受け付けたとする。この場合、画像出力部１９は、ステップＳ３１でプレビュー画面Ｗ４のプレビュー表示欄Ｇ４１に表示する、図９（Ａ）に示す画像と同じ画像を用紙に形成する印刷処理を画像形成部３２に実行させる。

図６に参照を戻す。ステップＳ２１において、各代表画像を出力するときの出力条件が入力された後、個別印刷ボタンＫ３３が押下されたとする（Ｓ３０；ＮＯ、Ｓ４０；ＮＯ、Ｓ５０；ＹＥＳ）。

この場合、出力条件受付部２０は、ステップＳ２１において入力された出力条件を受け付ける。画像受付部２１は、個別印刷出力画面を表示部３３１に表示する。画像受付部２１は、当該個別印刷出力画面を用いて、選択受付部１８により受け付けられた各代表画像の中から、個別に出力する対象の代表画像の選択をユーザーから受け付ける（Ｓ５１）。

図１０は、個別印刷出力画面Ｗ５の一例を示す図である。具体的には、図１０に示すように、個別印刷出力画面Ｗ５には、プレビュー表示欄Ｇ５１と、印刷ボタンＫ５１と、閉じるボタンＫ５２と、が設けられている。

プレビュー表示欄Ｇ５１には、プレビュー画面Ｗ４のプレビュー表示欄Ｇ４１と同様に、画像出力部１９によって、出力条件受付部２０により受け付けられた出力条件を用いて、各代表画像ＤＲ１（ＤＲ２、ＤＲ３）と当該各代表画像ＤＲ１（ＤＲ２、ＤＲ３）に対応するシーンを表すシーン文字列Ｃ１（Ｃ２、Ｃ３）とを対応付けて表示した画像が表示される。更に、プレビュー表示欄Ｇ５１に表示される画像には、画像出力部１９によって、各代表画像ＤＲ１（ＤＲ２、ＤＲ３）と対応付けて選択欄ＣＢ１（ＣＢ２、ＣＢ３）が表示される。

尚、図１０は、出力条件受付部２０が、上記ステップＳ３１において説明した予め定められた出力条件を受け付けた場合に表示される個別印刷出力画面Ｗ５を示している。つまり、図１０に示す個別印刷出力画面Ｗ５のプレビュー表示欄Ｇ５１には、図９（Ａ）に示すプレビュー画面Ｗ４のプレビュー表示欄Ｇ４１に表示された画像において、更に、各代表画像ＤＲ１（ＤＲ２、ＤＲ３）と対応付けて選択欄ＣＢ１（ＣＢ２、ＣＢ３）が表示されている。

ユーザーは、操作部３３を操作することにより、プレビュー表示欄Ｇ５１に表示された各代表画像ＤＲ１、ＤＲ２、ＤＲ３の中から、個別に出力する対象の代表画像に対応する選択欄ＣＢ１、ＣＢ２、ＣＢ３を選択入力する。例えば、図１０は、ユーザーが選択欄ＣＢ２を選択入力したことを示している。画像受付部２１は、ユーザーにより少なくとも一以上の選択欄が選択入力された場合、当該選択入力された各選択欄に対応する各代表画像を、個別に出力する対象の代表画像として受け付ける。

印刷ボタンＫ５１は、個別印刷出力処理を実行するためのボタンである。個別印刷出力処理とは、画像形成部３２に、画像受付部２１により受け付けられた各代表画像を個別に用紙に形成する印刷処理を実行させることにより、各代表画像を出力する処理である。閉じるボタンＫ５２は、個別印刷出力画面Ｗ５の表示部３３１への表示を終了するためのボタンである。

図６に参照を戻す。ステップＳ５１において、画像受付部２１により個別に出力する対象の代表画像が受け付けられた後、個別印刷出力画面Ｗ５の印刷ボタンＫ５１が押下されたとする（Ｓ５２；印刷）。この場合、画像出力部１９は、個別印刷出力処理を実行する（Ｓ５３）。つまり、画像出力部１９は、ステップＳ５３において、画像形成部３２に、画像受付部２１により受け付けられた各代表画像を個別に用紙に形成する印刷処理を実行させる。

例えば、ステップＳ５１において、画像受付部２１により、個別に出力する対象の代表画像として、図１０に示す二つの代表画像ＤＲ１、ＤＲ２が受け付けられた後、個別印刷出力画面Ｗ５の印刷ボタンＫ５１が押下されたとする。この場合、画像出力部１９は、ステップＳ５３における個別印刷出力処理において、画像形成部３２に、代表画像ＤＲ１を用紙に形成する印刷処理と、代表画像ＤＲ２を用紙に形成する印刷処理と、を実行させる。これにより、画像出力部１９は、画像形成部３２に、画像受付部２１により受け付けられた各代表画像ＤＲ１、ＤＲ２を個別に用紙に形成する印刷処理を実行させる。

一方、ステップＳ５１において、個別印刷出力画面Ｗ５の閉じるボタンＫ５２が押下された場合（Ｓ５２；閉じる）、画像出力部１９は、個別印刷出力処理を実行せず、画像受付部２１は、個別印刷出力画面Ｗ５の表示部３３１への表示を終了する。その後は、ステップＳ２１以降の処理が行われる。

また、個別印刷出力画面Ｗ５において終了ボタンＫ３５が押下されたとする（Ｓ３０；ＮＯ、Ｓ４０；ＮＯ、Ｓ５０；ＮＯ、Ｓ６０；ＹＥＳ）。

この場合、画像出力部１９は、ステップＳ１で受け付けられた受付動画データＤＭと、各代表画像を表す画像データ、当該各代表画像の選択に用いた代表画像選択画面Ｗ２を表す画面データ、及び当該画面データの識別情報と、を対応付けて記憶部３４に記憶する（Ｓ６１）。そして、出力条件受付部２０は、出力条件設定画面Ｗ３の表示部３３１への表示を終了する。その後は、ステップＳ２１以降の処理が行われる。

また、ステップＳ２１において、各代表画像を出力するときの出力条件が入力された後、画像変更ボタンＫ３４が押下されたとする（Ｓ３０；ＮＯ、Ｓ４０；ＮＯ、Ｓ５０；ＮＯ、Ｓ６０；ＮＯ）。この場合、出力条件受付部２０は、ステップＳ２１において入力された出力条件を受け付ける。図１１は、代表画像を変更する動作を示すフローチャートである。

この場合、図１１に示すように、変更受付部２２は、変更対象選択画面を表示部３３１に表示する。変更受付部２２は、当該変更対象選択画面を用いて、選択受付部１８により受け付けられた各代表画像の中から、変更する対象の代表画像をユーザーに選択させる（Ｓ７１）。

図１２は、変更対象選択画面Ｗ６の一例を示す図である。具体的には、図１２に示すように、変更対象選択画面Ｗ６には、プレビュー表示欄Ｇ６１と、今すぐボタンＫ６１と、後でボタンＫ６２と、閉じるボタンＫ６３と、が設けられている。

プレビュー表示欄Ｇ６１には、個別印刷出力画面Ｗ５のプレビュー表示欄Ｇ５１と同様に、画像出力部１９によって、出力条件受付部２０により受け付けられた出力条件を用いて、選択欄ＣＢ１（ＣＢ２ａ、ＣＢ３）と、各代表画像ＤＲ１（ＤＲ２ａ、ＤＲ３）と、当該各代表画像ＤＲ１（ＤＲ２ａ、ＤＲ３）に対応するシーンを表す文字列Ｃ１（Ｃ２、Ｃ３）とを対応付けて表示した画像が表示される。

尚、図１２は、出力条件受付部２０が上記ステップＳ３１において説明した予め定められた出力条件を受け付けた場合に表示される変更対象選択画面Ｗ６を示している。また、図１２は、上述の個別印刷出力画面Ｗ５のプレビュー表示欄Ｇ５１（図１０）等に表示される代表画像ＤＲ２に代えて、選択受付部１８によって代表画像ＤＲ２ａが受け付けられた場合を示している。

ユーザーは、操作部３３を操作することにより、プレビュー表示欄Ｇ６１に表示された各代表画像ＤＲ１、ＤＲ２ａ、ＤＲ３の中から、変更する対象の代表画像に対応する選択欄ＣＢ１、ＣＢ２ａ、ＣＢ３を選択する。例えば、図１２は、プレビュー表示欄Ｇ６１に表示されている代表画像ＤＲ２ａが被写体の一部が欠けた画像となっているため、ユーザーが、代表画像ＤＲ２ａを変更する対象の代表画像とするために選択欄ＣＢ２ａを選択したことを示している。

変更受付部２２は、今すぐボタンＫ６１が押下された場合に、選択されている各選択欄に対応する各代表画像を、変更する対象の代表画像として受け付ける。

今すぐボタンＫ６１は、選択受付部１８に再選択処理を実行させるためのボタンである。再選択処理とは、変更受付部２２により受け付けられた各代表画像の選択に用いた代表画像選択画面Ｗ２（図４）において、一覧表示されているフレーム画像ＦＤの中から代表画像の再選択を受け付ける処理である。

尚、プレビュー表示欄Ｇ６１に表示されている選択欄ＣＢ１、ＣＢ２ａ、ＣＢ３のうち、選択されている選択欄が存在しない場合、変更受付部２２は、今すぐボタンＫ６１を押下不可能にする（グレー表示する）。今すぐボタンＫ６１は、ユーザーによって、プレビュー表示欄Ｇ６１に表示されている代表画像のうちの何れかの代表画像を即時に変更したい場合等に押下される。

後でボタンＫ６２は、プレビュー表示欄Ｇ６１に表示されている、選択受付部１８により受け付けられた各代表画像のうち何れかの代表画像を変更する変更指示を入力するためのボタンである。後でボタンＫ６２は、ユーザーによって、プレビュー表示欄Ｇ６１に表示されている代表画像の中から、変更する対象の代表画像を、即時ではなく後で選択したい場合等に押下される。

閉じるボタンＫ６３は、変更対象選択画面Ｗ６の表示部３３１への表示を終了するためのボタンである。

図１１に参照を戻す。ステップＳ７１において、ユーザーにより、変更対象選択画面Ｗ６を用いて、変更する対象の代表画像に対応する選択欄が選択された後、今すぐボタンＫ６１が押下されたとする（Ｓ７２；今すぐ）。

この場合、変更受付部２２は、当該選択入力された各選択欄に対応する各代表画像を変更する対象の代表画像として受け付け、変更対象選択画面Ｗ６の表示部３３１への表示を終了する。そして、選択受付部１８は、上述の再選択処理を実行する。

つまり、選択受付部１８は、再選択処理を開始すると、ステップＳ１１（図５）と同様に、変更受付部２２により受け付けられた各代表画像の選択に用いた代表画像選択画面Ｗ２を順次表示部３３１に表示する。そして、選択受付部１８は、各代表画像選択画面Ｗ２に対応する各シーンを代表する代表画像又は非選択指示画像ＮＳの再選択と、各シーンを表す文字列の再入力とを受け付けた後、表示部３３１への各代表画像選択画面Ｗ２の表示を終了する（Ｓ７３）。その後は、ステップＳ２１（図６）以降の処理が行われる。

一方、変更対象選択画面Ｗ６において、後でボタンＫ６２が押下されたとする（Ｓ７２；後で）。この場合、変更指示受付部２３は、選択受付部１８により受け付けられた各代表画像のうち何れかの代表画像を変更する上記変更指示の入力を受け付ける（Ｓ７４）。この場合、選択用紙出力部２４は、画像形成部３２に、選択リスト画像を用紙に形成する印刷処理を行わせることにより、当該選択リスト画像が形成された選択用紙を出力する（Ｓ７５）。

選択リスト画像とは、選択受付部１８により受け付けられた各代表画像と、所定の選択マークを書き込み可能な選択欄と、当該各代表画像の選択に用いた代表画像選択画面Ｗ２の識別情報と、を対応付けた画像である。図１３は、選択用紙Ｐの一例を示す図である。

具体的には、図１３に示すように、ステップＳ７５において、選択用紙出力部２４は、画像出力部１９によって変更対象選択画面Ｗ６のプレビュー表示欄Ｇ６１に表示される画像（図１２）と同様に、出力条件受付部２０により受け付けられた出力条件を用いて、各代表画像ＤＲ１（ＤＲ２ａ、ＤＲ３）と、選択欄ＣＢ１（ＣＢ２ａ、ＣＢ３）と、当該各代表画像の選択に用いた代表画像選択画面Ｗ２の識別情報を表すＱＲコード（登録商標）Ｑ１（Ｑ２ａ、Ｑ３）と、を対応付けて表示した選択リスト画像ＳＬを生成する。

尚、選択用紙出力部２４は、代表画像選択画面Ｗ２の識別情報を表すＱＲコードに代えて、当該識別情報を表す、地紋や一次元バーコード等の他の画像を選択リスト画像ＳＬに表示するようにしてもよい。

そして、選択用紙出力部２４は、画像形成部３２に、当該生成した選択リスト画像ＳＬを用紙に形成する印刷処理を行わせることにより、当該選択リスト画像ＳＬが形成された選択用紙Ｐを出力する。尚、図１３は、出力条件受付部２０が、ステップＳ３１において説明した上記予め定められた出力条件を受け付けた場合に出力される選択用紙Ｐを示している。

ステップＳ７５の実行後は、変更受付部２２により、変更対象選択画面Ｗ６の表示部３３１への表示が終了され、ステップＳ２１（図６）以降の処理が行われる。

次に、ステップＳ７５において出力された選択用紙Ｐを用いて代表画像を変更する動作について説明する。図１４は、選択用紙Ｐを用いて代表画像を変更する動作を示すフローチャートである。尚、以下では、図１３に示す選択用紙Ｐを用いるものとして説明する。

図１４に示すように、ユーザーは、選択用紙Ｐに表示された各代表画像ＤＲ１、ＤＲ２ａ、ＤＲ３の中から、変更する対象の代表画像に対応する選択欄ＣＢ１、ＣＢ２ａ、ＣＢ３に選択マークを書き込む（Ｓ８１）。選択欄に選択マークを書き込むとは、選択欄を塗り潰したり、或いは選択欄にチェックを書き込み、選択欄が選択されたことを識別可能な状態にすることをいう。

そして、ユーザーによる操作部３３の操作により、選択用紙Ｐを用いて代表画像を変更する動作の実行指示が入力されると、変更指示受付部２３は、当該実行指示を受け付ける（Ｓ８２）。

変更指示受付部２３によって上記実行指示が受け付けられると、選択受付部１８は、選択用紙Ｐに形成された選択リスト画像ＳＬを読み取らせるようユーザーに案内するメッセージを表示部３３１に表示する。当該メッセージは、例えば「選択用紙を原稿台に載置してスキャン処理を実行して下さい」等である。

これにより、ユーザーが、操作部３３を操作して、選択用紙Ｐに形成された選択リスト画像ＳＬを画像読取部３１に読み取らせるスキャン処理の実行指示を入力すると、選択受付部１８は、選択用紙Ｐに形成された選択リスト画像ＳＬを読み取るスキャン処理を画像読取部３１に実行させる（Ｓ８３）。

ステップＳ８３におけるスキャン処理の実行結果、選択リスト画像ＳＬを表す画像データが制御部１０に入力されると、選択受付部１８は、当該画像データが表す選択リスト画像ＳＬにおいて、選択マークが書き込まれた選択欄ＣＢ１、ＣＢ２ａ、ＣＢ３が存在するか否かを判定する（Ｓ８４）。

そして、選択受付部１８は、選択マークが書き込まれた選択欄ＣＢ１、ＣＢ２ａ、ＣＢ３が存在すると判定したとする（Ｓ８４；ＹＥＳ）。この場合、選択受付部１８は、当該選択リスト画像ＳＬにおいて、当該選択マークが書き込まれた各選択欄ＣＢ１、ＣＢ２ａ、ＣＢ３と対応付けて表示されている各ＱＲコードＱ１、Ｑ２ａ、Ｑ３が表す識別情報を解読する。

そして、選択受付部１８は、当該解読した各識別情報と対応付けて記憶部３４に記憶されている各代表画像選択画面Ｗ２を表す画面データを取得する（Ｓ８５）。つまり、選択受付部１８は、ステップＳ８５において、当該選択マークが書き込まれた各選択欄ＣＢ１、ＣＢ２ａ、ＣＢ３に対応する各代表画像の選択に用いた各代表画像選択画面Ｗ２を表す画面データを取得する。

そして、選択受付部１８は、ステップＳ１１（図５）と同様に、ステップＳ８５で取得した各画面データが表す各代表画像選択画面Ｗ２を順次表示部３３１に表示する。そして、選択受付部１８は、当該各代表画像選択画面Ｗ２に対応する各シーンを代表する代表画像又は非選択指示画像ＮＳの再選択と、各シーンを表す文字列の再入力とを受け付けた後、表示部３３１への各代表画像選択画面Ｗ２の表示を終了する（Ｓ８６）。その後は、ステップＳ２１（図６）以降の処理が行われる。

一方、ステップＳ８４において、選択受付部１８は、選択リスト画像ＳＬに選択マークが書き込まれた選択欄が存在しないと判定したとする（Ｓ８４；ＮＯ）。

この場合、選択受付部１８は、警告メッセージを表示部３３１に表示し（Ｓ８７）、選択用紙Ｐを用いた代表画像を変更する動作を終了する。当該警告メッセージは、選択リスト画像ＳＬ内の何れかの選択欄に選択マークを入力後に、代表画像の変更動作を再実行するようユーザーに案内する旨のメッセージである。例えば、当該警告メッセージは、「変更したい代表画像のチェック欄にチェックを入れた後、再度実行してください。」等である。

このように、上記実施形態の構成によれば、以下に示す効果が得られる。

つまり、上記実施形態の構成によれば、受付動画データＤＭにおいて、音声の音量が直前のサンプル点に対応する音声の音量に対して所定の基準音量差以上増大している、音量変化に特徴が見られる一以上の基準サンプル点ＢＳが検出される。また、各基準サンプル点ＢＳに対応する基準画像Ｄを含む時系列に並んだ所定のサンプル数分の画像が、当該各基準サンプル点ＢＳに対応する各シーンを構成するフレーム画像ＦＤとして抽出される。

つまり、上記実施形態の構成によれば、受付動画データＤＭが表す動画の特徴的な内容を表していると考えられる、音量変化に特徴が見られる一以上のシーンを、ユーザーに手間をかけさせることなく、自動的に検出することができる。また、当該検出した各シーンに対応する時系列に並んだ所定のサンプル数分の画像を、当該各シーンを構成するフレーム画像ＦＤとして、ユーザーに手間をかけさせることなく、自動的に抽出することができる。

そして、ユーザーは、当該抽出された各フレーム画像ＦＤが一覧表示された代表画像選択画面Ｗ２（図４）を用いて、当該各フレーム画像ＦＤの中から意図した画像を各シーンを代表する代表画像として選択し、当該選択した各代表画像を出力することができる。

このように、上記実施形態の構成によれば、ユーザーが意図した、動画の特徴的な内容を表す画像を、受付動画データＤＭから容易に抽出して出力することができる。

また、上記実施形態の構成によれば、受付動画データＤＭが表す動画が全体的に音量変化が小さい動画であったとしても、ユーザーは、条件設定画面Ｗ１の入力欄Ｇ１３（図３）に入力する基準音量差を小さくすることにより、検出部１２に基準サンプル点ＢＳを検出させることができる。反対に、受付動画データＤＭが表す動画が全体的に音量変化が大きい動画であったとしても、ユーザーは、入力する基準音量差を大きくすることにより、検出部１２によって不要に多くの基準サンプル点ＢＳが検出される虞を低減することができる。

このようにして、ユーザーは、入力する基準音量差を調整することにより、検出部１２によって検出される基準サンプル点ＢＳの数を調整することができる。これにより、ユーザーは、各基準サンプル点ＢＳに対応する各シーンを代表する代表画像の選択に用いる代表画像選択画面Ｗ２（図４）の数を調整することができ、選択する代表画像の数を調整することができる。

また、上記実施形態の構成によれば、基準サンプル点ＢＳよりも過去及び／又は未来へ所定の基準時間ＢＴおきに離れたサンプル点に対応する画像が各フレーム画像ＦＤに含まれる。このため、ユーザーは、各フレーム画像ＦＤに含まれる基準時間ＢＴおきに時系列に連続する画像の中から代表画像としての画像を選択する場合に、基準サンプル点ＢＳとの相対的な時間を意識しながら意図した画像を選択することができる。

また、上記実施形態の構成によれば、ユーザーは、条件設定画面Ｗ１の入力欄Ｇ１４（図３）に入力する基準時間ＢＴを小さくすることにより、基準サンプル点ＢＳに時間的に近いサンプル点に対応する画像をフレーム画像ＦＤに含めることができる。また、ユーザーは、入力する基準時間ＢＴを大きくすることにより、基準サンプル点ＢＳから時間的に離れたサンプル点に対応する画像をフレーム画像ＦＤに含めることができる。このようにして、ユーザーは、入力する基準時間ＢＴを調整することにより、フレーム画像ＦＤに含める画像を調整することができる。

また、上記実施形態の構成によれば、ユーザーは、条件設定画面Ｗ１の入力欄Ｇ１５（図３）に入力するサンプル数を調整することにより、フレーム画像ＦＤに含まれる画像の数を調整することができる。このため、ユーザーは、入力するサンプル数を小さくすることにより、フレーム画像ＦＤに含める画像の数を少なくし、効率よく代表画像を選択することができる。これとは反対に、ユーザーは、入力するサンプル数を大きくすることにより、フレーム画像ＦＤに含める画像の数を多くし、意図したものに近い代表画像を選択する可能性を高めることできる。

また、上記実施形態の構成によれば、ユーザーは、受付動画データＤＭが表す動画において、予め音量変化が大きい時間帯を知っている場合、当該時間帯の開始時刻を条件設定画面Ｗ１の入力欄Ｇ１１（図３）に入力し、当該時間帯の終了時刻を条件設定画面Ｗ１の入力欄Ｇ１２（図３）に入力することにより、検出部１２によって基準サンプル点ＢＳを効率よく検出させることができる。

また、上記実施形態の構成によれば、ユーザーは、検出部１２により検出された基準サンプル点ＢＳの数が所定の制限数になる度に（Ｓ９；ＮＯ、図５）、検出部１２による基準サンプル点ＢＳの検出を継続させるか否かを選択することができる。このため、ユーザーは、検出部１２が制限なく基準サンプル点ＢＳを検出し続けることにより、代表画像の数が不要に増大する虞を低減することができる。

また、上記実施形態の構成によれば、ユーザーは、フレーム画像ＦＤの中に代表画像として選択したい画像が存在しない場合に、非選択指示画像ＮＳ（図４）を選択することにより（非選択指示を入力することにより）、意図しない代表画像を選択することを回避することができる。

また、上記実施形態の構成によれば、各代表画像が所定のレイアウトで配置して出力されるので、ユーザーは出力された各代表画像を視認しやすくなる。

また、上記実施形態の構成によれば、ユーザーは、出力条件設定画面Ｗ３の選択欄Ｇ３１（図７）において意図したレイアウトを選択することにより、各代表画像を意図したレイアウトで配置して出力することができる。

また、上記実施形態の構成によれば、ユーザーは、選択受付部１８により受け付けられた各代表画像の中に個別に出力したい代表画像が含まれている場合に、個別印刷出力画面Ｗ５を用いて、当該代表画像を個別に出力する対象として選択し、当該代表画像を個別に出力することができる（Ｓ５１〜Ｓ５３、図６）。

また、上記実施形態の構成によれば、複数の代表画像が出力された場合に、各代表画像のサイズが所定の出力サイズに揃っているので、ユーザーは当該複数の代表画像を視認しやすくなる。

また、上記実施形態の構成によれば、出力条件設定画面Ｗ３の出力サイズ選択欄Ｇ３２（図７）において、出力サイズの決定方法「自動」が選択されていた場合、代表画像が最適なサイズで出力されるので、ユーザーは代表画像を視認しやすくなる。

また、上記実施形態の構成によれば、ユーザーは、出力条件設定画面Ｗ３の出力サイズ選択欄Ｇ３２（図７）において、出力サイズの決定方法「手動」を選択し、更に、リストボックスから選択する一の変換率を調整することにより、画像出力部１９によって出力される各代表画像のサイズを意図したサイズに調整することができる。

また、上記実施形態の構成によれば、シーンを代表する代表画像と、代表画像選択画面Ｗ２（図４）の入力欄Ｇ２２に入力された当該シーンを表すシーン文字列と、が対応付けて出力される。このため、ユーザーは、代表画像に対応するシーンの特徴を明確に表すような文字列を代表画像選択画面Ｗ２（図４）の入力欄Ｇ２２に入力することにより、代表画像だけを出力する場合に比して、代表画像に対応するシーンの特徴をより明確にして出力することができる。

また、上記実施形態の構成によれば、シーンを代表する代表画像と対応付けて出力されるシーン文字列が、文字列認識部１５によって、当該シーンに対応する代表画像選択画面Ｗ２（図４）の入力欄Ｇ２２に自動的に入力される。このため、ユーザーが、代表画像選択画面Ｗ２（図４）の入力欄Ｇ２２にシーン文字列を入力する手間を軽減することができる。

また、上記実施形態の構成によれば、ユーザーは、出力条件設定画面Ｗ３の出力位置選択欄Ｇ３３（図７）において、意図した相対出力位置を選択することにより、シーン文字列を意図した位置に出力することができる。これにより、ユーザーは、シーン文字列の代表画像に対する相対的な出力位置が固定されている場合に比して、代表画像及びシーン文字列の見易さを向上することができる。

また、上記実施形態の構成によれば、出力条件設定画面Ｗ３の出力位置選択欄Ｇ３３（図７）において、相対出力位置「重ねる」を選択しておくことにより、シーン文字列を代表画像に重ねて出力することができる。この場合、代表画像とシーン文字列とによって占有されるスペースを軽減することができる。

また、上記実施形態の構成によれば、ユーザーは、代表画像を誤って選択した場合であっても、当該代表画像の選択に用いた代表画像選択画面Ｗ２（図４）において代表画像を再選択することができ、当該誤って選択した代表画像を意図した代表画像に変更することができる（Ｓ７１〜Ｓ７３、図１１）。

また、上記実施形態の構成によれば、ユーザーは、変更指示を入力して選択用紙Ｐを出力させた後（Ｓ７４、Ｓ７５、図１１）、都合のよいときに当該選択用紙Ｐにおいて変更する対象の代表画像に対応する選択欄に選択マークを書き込むことができる。そして、ユーザーは、都合の良いときに当該選択用紙Ｐに形成されている選択リスト画像ＳＬ（図１３）を画像読取部３１により読み取らせ、当該変更する対象の代表画像を意図した代表画像に変更することができる（Ｓ８１〜Ｓ８６、図１４）。

尚、上記実施形態は、本発明に係る実施形態の例示に過ぎず、本発明を上記実施形態に限定する趣旨ではない。例えば、以下に示す変形実施形態であってもよい。

（１）変更対象選択画面Ｗ６（図１２）に後でボタンＫ６２を設けないようにしてもよい。これに合わせて、制御部１０が、変更指示受付部２３及び選択用紙出力部２４として動作しないようにし、図１１に示すステップＳ７４、Ｓ７５及び図１４に示す動作を省略してもよい。又は、変更対象選択画面Ｗ６（図１２）に今すぐボタンＫ６１を設けないようにし、図１１に示すステップＳ７３を省略してもよい。又は、出力条件設定画面Ｗ３（図７）に画像変更ボタンＫ３４を設けないようにしてもよい。これに合わせて、制御部１０が、変更受付部２２、変更指示受付部２３及び選択用紙出力部２４として動作しないようにし、図１１及び図１４に示す動作を省略してもよい。

（２）出力条件受付部２０が、出力条件設定画面Ｗ３（図７）の出力位置選択欄Ｇ３３に相対出力位置「重ねる」を表示しないようにしてもよい。又は、出力条件設定画面Ｗ３（図７）に出力位置選択欄Ｇ３３を設けないようにし、画像出力部１９が、不揮発性メモリー等に予め記憶されている相対出力位置にシーン文字列を出力するようにしてもよい。

（３）制御部１０が、音声抽出部１４及び文字列認識部１５として動作しないようにし、図５に示すステップＳ５、Ｓ６を省略してもよい。

（４）代表画像選択画面Ｗ２（図４）に入力欄Ｇ２２を設けないようにして、画像出力部１９が各代表画像に対応するシーンを表すシーン文字列を出力しないようにしてもよい。

（５）出力条件受付部２０が、出力条件設定画面Ｗ３（図７）の出力サイズ選択欄Ｇ３２に、出力サイズの決定方法「手動」及びリストボックスを表示しないようにしてもよい。又は、出力条件受付部２０が、出力サイズ選択欄Ｇ３２に、出力サイズの決定方法「自動」を表示しないようにしてもよい。これに合わせて、記憶部３４に、画像の解像度と、当該解像度の画像を出力するときに最適な画像のサイズである最適サイズとを記憶しないようにしてもよい。又は、出力条件設定画面Ｗ３（図７）に出力サイズ選択欄Ｇ３２を設けないようにし、画像出力部１９が代表画像のサイズを変換せずに出力するようにしてもよい。

（６）画面生成部１７が、代表画像選択画面Ｗ２（図４）の選択欄Ｇ２１に非選択指示画像ＮＳを表示しないようにしてもよい。

（７）図５に示すステップＳ９、Ｓ１２を省略し、これに合わせて、検出部１２が、ステップＳ３（図５）で受け付けられた開始時刻から終了時刻までの期間に対応する受付動画データＤＭにおいて基準サンプル点ＢＳを検出することを終了していない場合に（Ｓ８；ＮＯ）、ステップＳ４を実行するようにしてもよい。つまり、検出部１２が、基準サンプル点ＢＳの検出を中断しないようにしてもよい。

（８）条件設定画面Ｗ１（図３）に、開始時刻の入力欄Ｇ１１と、終了時刻の入力欄Ｇ１２と、を設けないようにしてもよい。これに合わせて、検出部１２が、ステップＳ４（図５）において、受付動画データＤＭの開始時刻から終了時刻までの全期間において基準サンプル点ＢＳを検出するようにしてもよい。

（９）条件設定画面Ｗ１（図３）に、サンプル数の入力欄Ｇ１５を設けないようにしてもよい。これに合わせて、画像抽出部１３が、ステップＳ７（図５）において、不揮発性メモリー等に予め記憶されているサンプル数分の画像をフレーム画像ＦＤとして抽出するようにしてもよい。

（１０）条件設定画面Ｗ１（図３）に、基準時間ＢＴの入力欄Ｇ１４を設けないようにしてもよい。これに合わせて、画像抽出部１３が、ステップＳ７（図５）において、基準サンプル点ＢＳから不揮発性メモリー等に予め記憶されている基準時間ＢＴおきに過去に遡ったサンプル点及び／又は基準サンプル点ＢＳから当該基準時間ＢＴおきに未来に進んだサンプル点に対応する画像を、フレーム画像ＦＤとして抽出するようにしてもよい。又は、画像抽出部１３が、ステップＳ７（図５）において、基準時間ＢＴに関係なく、基準サンプル点ＢＳに対応する基準画像Ｄを含む時系列に並んだ所定のサンプル数分の画像を任意に抽出するようにしてもよい。

（１１）条件設定画面Ｗ１（図３）に、基準音量差の入力欄Ｇ１３を設けないようにしてもよい。これに合わせて、検出部１２が、ステップＳ４（図５）において、不揮発性メモリー等に予め記憶されている基準音量差を用いて基準サンプル点ＢＳを検出するようにしてもよい。

（１２）上記実施形態の構成において、画面生成部１７は、シーン毎に代表画像選択画面Ｗ２（図４）を生成し、選択受付部１８は、各代表画像選択画面Ｗ２において一の代表画像の選択を受け付けていた。しかし、これに代えて、画面生成部１７が、複数のシーン毎に、当該複数のシーンのそれぞれを構成する複数のフレーム画像がそれぞれ一覧表示された一の代表画像選択画面を生成するようにしてもよい。これに合わせて、選択受付部１８が、当該一の代表画像選択画面において、当該複数のシーンのそれぞれを代表する複数の代表画像の選択を受け付けるようにしてもよい。

１ 複合機（画像処理装置）
１１ 動画受付部
１２ 検出部
１３ 画像抽出部
１４ 音声抽出部
１５ 文字列認識部
１６ 抽出条件受付部（第一受付部、第二受付部、第三受付部、第四受付部）
１７ 画面生成部
１８ 選択受付部
１９ 画像出力部
２０ 出力条件受付部（配置受付部、サイズ受付部、位置受付部）
２１ 画像受付部
２２ 変更受付部
２３ 変更指示受付部
２４ 選択用紙出力部
３１ 画像読取部
３４ 記憶部（サイズ記憶部）
ＢＳ、ＢＳ１、ＢＳ２、ＢＳ３ 基準サンプル点
ＢＴ 基準時間
Ｃ１、Ｃ２、Ｃ３ シーン文字列
ＣＢ１、ＣＢ２ａ、ＣＢ３ 選択欄
Ｄ、Ｄ１、Ｄ２、Ｄ３ 基準画像
ＤＤ 画像データ
ＤＭ 受付動画データ
ＤＶ 音声データ
ＦＤ、ＦＤ１、ＦＤ２、ＦＤ３ フレーム画像
Ｇ２２ 入力欄
Ｐ 選択用紙
ＳＬ 選択リスト画像
ＳＶ、ＳＶ１、ＳＶ２、ＳＶ３ 代表音声
Ｖ１、Ｖ２、Ｖ３ 基準音声
Ｗ２ 代表画像選択画面（操作画面）

Claims (20)

1. 時系列に並べられた複数の画像を示す画像データ及び前記複数の画像に対応する複数の音声を示す音声データを含む動画データの入力を受け付ける動画受付部と、
   前記動画受付部により受け付けられた前記動画データである受付動画データにおいて、前記音声の音量が直前のサンプル点に対応する前記音声の音量に対して所定の基準音量差以上増大する一以上のサンプル点を基準サンプル点として検出する検出部と、
   前記検出部により検出された前記基準サンプル点のそれぞれについて、当該基準サンプル点に対応する基準画像を含む時系列に並んだ所定のサンプル数分の画像を、当該基準サンプル点に対応するシーンを構成するフレーム画像として、前記受付動画データから抽出する画像抽出部と、
   各前記シーンにおいて、前記画像抽出部により抽出された当該各シーンを構成するフレーム画像が一覧表示された操作画面を生成する画面生成部と、
   前記画面生成部により生成された前記操作画面において、一覧表示されている前記フレーム画像の中から前記シーンを代表する代表画像の選択を受け付ける選択受付部と、
   前記選択受付部により受け付けられた前記代表画像を出力する画像出力部と、
   を備える画像処理装置。
2. ユーザーによる前記基準音量差の入力を受け付ける第一受付部を更に備える請求項１に記載の画像処理装置。
3. 前記画像抽出部は、前記基準サンプル点から所定の基準時間おきに過去に遡ったサンプル点に対応する画像及び／又は前記基準サンプル点から前記基準時間おきに未来に進んだサンプル点に対応する画像を、前記フレーム画像として抽出する請求項１又は２に記載の画像処理装置。
4. ユーザーによる前記基準時間の入力を受け付ける第二受付部を更に備える請求項３に記載の画像処理装置。
5. ユーザーによる前記サンプル数の入力を受け付ける第三受付部を更に備える請求項１から４の何れか一項に記載の画像処理装置。
6. ユーザーによる開始時刻及び終了時刻の入力を受け付ける第四受付部を更に備え、
   前記検出部は、前記受付動画データのうち、前記第四受付部により受け付けられた前記開始時刻から前記第四受付部により受け付けられた前記終了時刻までの期間に対応する前記動画データにおいて、前記基準サンプル点を検出する請求項１から５の何れか一項に記載の画像処理装置。
7. 前記検出部は、検出した前記基準サンプル点の数が所定の制限数になる度に、前記基準サンプル点の検出を中断し、以降の前記基準サンプル点の検出を再開するか否かをユーザーに選択させ、前記基準サンプル点の検出を再開することが選択されたときは、以降の前記基準サンプル点の検出を再開する一方、前記基準サンプル点の検出を再開しないことが選択されたときは、前記基準サンプル点の検出を終了する請求項１から６の何れか一項に記載の画像処理装置。
8. 前記操作画面は、前記代表画像を選択しないことを指示する非選択指示が入力可能であり、
   前記選択受付部は、前記操作画面において前記非選択指示が入力された場合、当該操作画面に対応する前記シーンを代表する前記代表画像の選択を受け付けない請求項１から７の何れか一項に記載の画像処理装置。
9. 前記画像出力部は、前記選択受付部により受け付けられた各前記代表画像を所定のレイアウトで配置して出力する請求項１から８の何れか一項に記載の画像処理装置。
10. ユーザーによる前記レイアウトの入力を受け付ける配置受付部を更に備える請求項９に記載の画像処理装置。
11. 前記選択受付部により受け付けられた各前記代表画像の中から、個別に出力する対象の前記代表画像の選択を受け付ける画像受付部を更に備え、
    前記画像出力部は、前記画像受付部により受け付けられた前記代表画像を個別に出力する請求項９又は１０に記載の画像処理装置。
12. 前記画像出力部は、前記代表画像のサイズを所定の出力サイズに変換して出力する請求項１から１１の何れか一項に記載の画像処理装置。
13. 画像の解像度と、当該解像度の画像を出力するときに最適な画像のサイズである最適サイズと、を予め対応付けて記憶するサイズ記憶部を更に備え、
    前記出力サイズは、前記代表画像の解像度と対応付けて前記サイズ記憶部に記憶されている前記最適サイズに定められている請求項１２に記載の画像処理装置。
14. 前記代表画像を出力するときの所望のサイズの入力を受け付けるサイズ受付部を更に備え、
    前記画像出力部は、前記サイズ受付部により受け付けられた前記所望のサイズを前記出力サイズとする請求項１２又は１３に記載の画像処理装置。
15. 前記操作画面は、当該操作画面に対応する前記シーンを表す文字列であるシーン文字列の入力欄を備え、
    前記画像出力部は、前記シーンを代表する前記代表画像と、当該シーンに対応する前記操作画面の前記入力欄に入力された前記シーン文字列と、を対応付けて出力する請求項１から１４の何れか一項に記載の画像処理装置。
16. 前記検出部により検出された前記基準サンプル点のそれぞれについて、当該基準サンプル点に対応する基準音声を含む時系列に連続する所定数分の音声を、当該基準サンプル点に対応する前記シーンを代表する代表音声として、前記受付動画データから抽出する音声抽出部と、
    前記音声抽出部により抽出された各前記代表音声に対して所定の音声認識処理を行うことにより認識した文字列を、当該各代表音声に対応する前記シーンに対応する前記操作画面の前記入力欄に入力する文字列認識部を更に備える請求項１５に記載の画像処理装置。
17. 前記画像出力部が、前記シーンを代表する前記代表画像と、当該シーンに対応する前記シーン文字列とを対応付けて出力するときの、当該代表画像に対する当該シーン文字列の相対的な出力位置の入力をユーザーから受け付ける位置受付部を更に備える請求項１５又は１６に記載の画像処理装置。
18. 前記相対的な出力位置には、前記代表画像と重なる位置が含まれる請求項１７に記載の画像処理装置。
19. 前記選択受付部により受け付けられた各前記代表画像の中から、変更する対象の前記代表画像の選択を受け付ける変更受付部を更に備え、
    前記選択受付部は、前記変更受付部により前記変更する対象の前記代表画像が受け付けられた場合、当該変更する対象の前記代表画像の選択に用いた前記操作画面において、一覧表示されている前記フレーム画像の中から前記代表画像の再選択を受け付ける請求項１から１８の何れか一項に記載の画像処理装置。
20. 用紙に形成された画像を読み取る画像読取部と、
    前記選択受付部により受け付けられた各前記代表画像のうち何れかの前記代表画像を変更する変更指示の入力を受け付ける変更指示受付部と、
    前記変更指示受付部により前記変更指示が受け付けられた場合、前記選択受付部により受け付けられた各前記代表画像と、所定の選択マークを書き込み可能な選択欄と、当該各代表画像の選択に用いた前記操作画面の識別情報と、を対応付けた選択リスト画像が形成された用紙である選択用紙を出力する選択用紙出力部と、
    を備え、
    前記選択受付部は、前記選択用紙に形成された前記選択リスト画像が前記画像読取部によって読み取られた場合に、当該選択リスト画像に前記選択マークが書き込まれた前記選択欄が存在するときは、当該選択リスト画像において当該選択欄と対応付けられている前記識別情報によって識別される前記操作画面において、一覧表示されている前記フレーム画像の中から前記代表画像の再選択を受け付ける請求項１から１９の何れか一項に記載の画像処理装置。