JP2014146939A - フォトブック作成端末、フォトブック作成方法、及びプログラム - Google Patents

Abstract

【課題】動画像データの関連するシーンの数やシーンの長さに応じて、動画像の各シーンを各ページに割り当てることが可能なフォトブック作成端末等を提供する。
【解決手段】フォトブック作成端末は、動画像データから画像データを抽出して、フォトブックのページにレイアウトする端末であって、前記動画像データを入力する入力手段と、前記動画像データに含まれるシーンを、前記フォトブックの1または複数のページに割り当てるページ割り当て手段と、前記ページ割り当て手段により割り当てられたページ毎に、前記シーンの必要フレーム枚数を算出する画像数算出手段と、前記動画像データのシーン毎に、前記画像数算出手段により算出された必要フレーム枚数の画像データを抽出する画像抽出手段と、前記画像抽出手段により抽出された前記画像データを、前記ページ割り当て手段により割り当てられたページにレイアウトするレイアウト手段と、を備える構成とした。
【選択図】図９

Description

本発明は、動画像データから画像データを抽出してフォトブックを作成するフォトブック作成技術に関し、特に、動画像データのボリュームに応じたレイアウトを行いフォトブックを作成する技術に関する。

従来、撮りたいシーンをハンディタイプのカムコーダ（いわゆるビデオカメラ）とデジタルスチルカメラの両方を持って撮影するのは難しい。そこで、ハンディカムで動画像を撮影しながら、所々で静止画像を撮影することは可能であるが、撮りたいシーンほど、途切れず動画像で撮影したいため、万遍なく、動画像と静止画像を撮影することは実質不可能である。

近年、普及しつつある画像印刷システムでは、利用者がデジタルカメラ等で撮影した画像を印刷したり、複数の印刷物が製本されたフォトブックを作成したりすることができる。この画像印刷システムにおいて、例えば、動画像の全フレームの中からキーフレームとなる静止画像を自動的に抽出することにより、動画像から容易に静止画像を印刷する手法も考えられる。

しかしながら、動画像からフォトブックを作成するのは容易ではない。例えば、利用者は、専用のソフトを用いて、撮影した動画像から、フォトブックを作成する分量の静止画像を切り出し、切り出された静止画像からフォトブックを作成する編集を行う。つまり、利用者は、動画像の撮影時間分あるいはそれ以上の時間をかけて、動画像の確認をしながら、静止画像を切り出す作業を行わなければならず、操作が煩雑であり、かつ、作業時間もかかる。

また、動画像ソースからフォトブックを作りたいと思っても、どのくらいのボリュームのフォトブックを作りたいか、それには何枚の画像が必要かというのは、フォトブックを作り始めないとわからないことである。すなわち、フォトブックを作り始めて画像が足りないと思っても、動画像ソースを最初から見直して静止画像を切り出す作業を再開することは面倒である。

そこで、例えば、特許文献１には、顔が認識された画像を自動的に抽出することにより、動画像から動画像アルバムや静止画像（写真）アルバムを自動的に作成する技術が提案されている。

特開２００９−８８６８７号公報

特許文献１では、動画像に撮影されている人物を判別し、判別された人物が識別可能なフレームを代表画像として作成し、その代表画像を並べることでアルバムを作成している。つまり、シーンによっては、判別された人物が登場せず、抽出される代表画像に偏りが生じてしまう課題があった。

また、作成したいフォトブック（アルバム）のボリューム（ページ数や予算）に応じて画像のページ割り当てを行うことができない課題があった。

本発明は、前述した問題点に鑑みてなされたもので、その目的とすることは、動画像のシーンの数やシーンの長さに応じて、動画像の各シーンを各ページに割り当て、割り当てられた各シーンから必要枚数の静止画像を抽出してフォトブックを作成することが可能なフォトブック作成端末等を提供することである。

前述した目的を達成するために、第１の発明は、動画像データから画像データを抽出して、フォトブックのページにレイアウトするフォトブック作成端末であって、前記動画像データを入力する入力手段と、前記動画像データに含まれるシーンを、前記フォトブックの1または複数のページに割り当てるページ割り当て手段と、前記ページ割り当て手段により割り当てられたページ毎に、前記シーンの必要フレーム枚数を算出する画像数算出手段と、前記動画像データのシーン毎に、前記画像数算出手段により算出された必要フレーム枚数の画像データを抽出する画像抽出手段と、前記画像抽出手段により抽出された前記画像データを、前記ページ割り当て手段により割り当てられたページにレイアウトするレイアウト手段と、を具備することを特徴とするフォトブック作成端末である。
第１の発明によって、動画像のシーンに応じて、動画像の各シーンを各ページに割り当て、割り当てられた各シーンから必要枚数の静止画像を抽出してフォトブックを作成することができる。

第１の発明のページ割り当て手段は、前記動画像データに含まれる関連するシーンの数の比率に応じて、１又は複数の前記ページに割り当てることが望ましい。
これにより、関連するシーンの多いものを、多くのページに割り当てることができる。

第１の発明のページ割り当て手段は、前記動画像データに含まれるシーンの長さの比率に応じて、１又は複数の前記ページに割り当てることが望ましい。
これにより、シーンの記録時間の長いものを、多くのページに割り当てることができる。

第１の発明のページ割り当て手段は、前記動画像データに含まれるシーンを、ユーザの指示によって、前記フォトブックの1または複数のページに割り当てることが望ましい。
これにより、ユーザの好みに応じて自由に、シーンをページに割り当てることができる。

第１の発明のフォトブック作成端末は、フォトブックのページ数を指定する仕様指定手段をさらに具備することが望ましい。
これにより、指定されたページ数に応じて柔軟にフォトブックを作成することができる。

第１の発明のフォトブック作成端末は、動画像に含まれる被写体を指定する被写体指定手段をさらに具備し、前記画像抽出手段は、指定された前記被写体を含む画像データを抽出することが望ましい。
これにより、所望の被写体を含む画像データを簡単に抽出することができる。

第１の発明の画像抽出手段は、前記被写体の画像ポイントが高い前記画像データを抽出する。
これにより、好感度の高い画像を抽出し、ページにレイアウトすることができる。

第２の発明は、動画像データから画像データを抽出して、フォトブックのページにレイアウトするフォトブック作成方法であって、前記動画像データを入力する入力ステップと、前記動画像データに含まれるシーンを、前記フォトブックの1または複数のページに割り当てるページ割り当てステップと、前記ページ割り当て手段により割り当てられたページ毎に、前記シーンの必要フレーム枚数を算出する画像数算出ステップと、前記動画像データのシーン毎に、前記画像数算出手段により算出された必要フレーム枚数の画像データを抽出する画像抽出ステップと、前記画像抽出手段により抽出された前記画像データを、前記ページ割り当て手段により割り当てられたページにレイアウトするレイアウトステップと、を含むことを特徴とするフォトブック作成方法である。
第２の発明によって、動画像のシーンに応じて、動画像の各シーンを各ページに割り当て、割り当てられた各シーンから必要枚数の静止画像を抽出してフォトブックを作成することができる。

第３の発明は、コンピュータを、動画像データから画像データを抽出して、フォトブックのページにレイアウトするフォトブック作成端末として機能させるためのプログラムであって、コンピュータを、前記動画像データを入力する入力手段、前記動画像データに含まれるシーンを、前記フォトブックの1または複数のページに割り当てるページ割り当て手段、前記ページ割り当て手段により割り当てられたページ毎に、前記シーンの必要フレーム枚数を算出する画像数算出手段、前記動画像データのシーン毎に、前記画像数算出手段により算出された必要フレーム枚数の画像データを抽出する画像抽出手段、前記画像抽出手段により抽出された前記画像データを、前記ページ割り当て手段により割り当てられたページにレイアウトするレイアウト手段、として機能させるためのプログラムである。
第３の発明に係るプログラムをコンピュータにインストールすることで、第１の発明に係るフォトブック作成端末を得て、第２の発明のフォトブック作成方法を実行することができる。

本発明のフォトブック作成端末によって、ユーザは、作りたいフォトブックのボリューム（ページ数等）を指定し、動画像データを読み込ませることにより、希望のフォトブックのボリュームで、動画像データの撮影ボリュームに応じたページレイアウトで、フォトブックを作成することができる。

本発明の実施の形態に係るフォトブック作成端末の外観斜視図である。 フォトブック作成端末のハードウエアの構成例を示すブロック図である。 製本機のハードウエアの構成例を示すブロック図である。 フォトブック作成端末内のコンピュータの機能構成例を示すブロック図である。 編集部のさらに詳細な機能構成例を示すブロック図である。 関連するシーン数の比率に応じて、各シーンを各ページに割り当てる方法を説明する図である。 シーンの長さの比率に応じて、各シーンを各ページに割り当てる方法を説明する図である。 利用者からの指示に応じて、各シーンを各ページに割り当てる方法を説明する図である。 フォトブック作成端末の印刷注文処理を説明するフローチャートである。 フォトブック選択画面の表示例を示す図である。 チャプタ選択画面の表示例を示す図である。 チャプタ間の間隔を説明する図である。 被写体指定画面の表示例を示す図である。 レイアウトプレビュ編集画面の表示例を示す図である。 ページ指定画面の表示例を示す図である。 ページ割り当ての具体例を示す図である。 ページ割り当ての他の具体例を示す図である。

以下、図面に基づいて、本発明の実施形態を詳細に説明する。

［本発明の実施の形態］
（フォトブック作成端末の構成）
図１は、本発明の実施の形態に係るフォトブック作成端末１の外観斜視図である。

フォトブック作成端末１は、店頭において、入力メディア（記憶媒体）や携帯端末に記憶されている画像データの印刷を受け付け、印刷を行う端末である。フォトブック作成端末１は、予め画像データが記憶された入力メディアや携帯端末（いずれも不図示）から画像データを入力し、内部に保持する。

入力メディアは、例えば、DVD-ROM／DVD-R／DVD-RW／CD-ROM／CD-R／CD-RW／BD-ROM／BD-R／BD-RW、コンパクトフラッシュ（登録商標）、SD（Secure Digital）カード、ミニSDカード、マイクロSDカード、xD−ピクチャーカード、Smart Media（登録商標）、MEMORY STICK（登録商標）、USB（Universal Serial Bus）メモリ等である。

携帯端末は、例えば、スマートフォン、iPhone（登録商標）、カメラ付き携帯電話機、iPad（登録商標）、携帯型パーソナルコンピュータ等である。通信方法は、例えば、Bluetooth（登録商標）、IR（赤外線通信）、Wi-Fi（Wireless Fidelity）、USB等である。

フォトブック作成端末１の上部正面には、タッチパネル付ディスプレイ１１が配置されている。タッチパネル付ディスプレイ１１は、操作の案内、操作の状況、読み込んだ画像データ等を表示するとともに、利用者からの指示を受け付ける。利用者は、タッチパネル付ディスプレイ１１を介して、印刷注文する画像データの選択、画像データの画像処理の指示等を行う。

タッチパネル付ディスプレイ１１の下部には、メディア投入口１２および通信口１３が設けられている。メディア投入口１２は、各メディアの挿入口であり、複数の挿入口が１箇所にまとめて配置されている。通信口１３は、各携帯端末と通信を行うための通信ポートであり、複数の通信ポート（赤外線ポートやUSB（Universal Serial Bus）ポートなど）が１箇所にまとめて配置されている。

フォトブック作成端末１の下段部の前面板１４には、レシート取出口１５、硬貨投入口１６および紙幣挿入口１７のような料金投入口、つり銭返却口１８、印刷物取出口１９、ドア開閉キー２０、メンテナンスキー２１等が設けられている。

レシート取出口１５、硬貨投入口１６、紙幣挿入口１７、つり銭返却口１８は、利用者による印刷物の注文内容に応じた入金を要求する課金手段として機能する。利用者は、硬貨投入口１６に硬貨を投入したり、紙幣挿入口１７に紙幣を挿入したりすることにより、印刷物の料金を支払う。つり銭がある場合には、つり銭返却口１８から放出される。また、料金徴収後、徴収金額や注文内容等が印刷されたレシートがレシート取出口１５から放出される。

印刷物取出口１９には、フォトブック作成端末１の筐体内に設置されるプリンタにより印刷された印刷物が排出される。ドア開閉キー２０は、フォトブック作成端末１の前面板１４を開閉するためのキーである。メンテナンスキー２１は、利用者がフォトブック作成端末１を利用可能な運転モードと、管理者がフォトブック作成端末１のメンテナンスや設定、レシートの再印刷等を行う管理モードを切り替えるためのキーである。

次に、フォトブック作成端末１の基本的動作について説明する。

フォトブック作成端末１は、入力メディアから読み込んだ画像データを液晶ディスプレイ等のタッチパネル付ディスプレイ１１に表示する。利用者は、タッチパネル付ディスプレイ１１に設けられたタッチパネルにより、入力メディアや携帯端末等から読み込んだ画像の中から印刷注文する画像を選択する。

本実施の形態において、印刷注文の内容には、「通常印刷」と「フォトブック」の２種類がある。「通常印刷」は、熱転写方式などで片面または両面に印画した用紙を出力する（通常の画像印刷を行う）ものである。「フォトブック」は、画像やテキストを熱転写方式などで片面または両面に印画した複数の用紙を用いて製本を行い、製本物を出力（提供）するものである。

利用者は、タッチパネル付ディスプレイ１１に表示された画面上で、印刷注文する画像データを選択した後、印刷の実行を指示すると、フォトブック作成端末１内のコンピュータが内部プリンタに画像データを転送する。

また利用者は、印刷注文する画像の画像データを、インターネット等のネットワークを介して、利用者などが所有する汎用のコンピュータや、利用者が管理するホームページ等のサーバに送信することも可能である。

フォトブック作成端末１は、利用者に印刷物の印刷注文に応じた料金を算出、表示し、必要に応じてレシートプリンタによりレシート（引換券）を発行し、利用者に支払いを要求する。フォトブック作成端末１は、課金手段により利用者の入金が完了すると、印刷データの印刷を開始する。印刷された印刷物は、印刷物取出口１９から排出され、利用者に提供される。

また、フォトブック作成端末１は、「フォトブック」を作成する場合、印刷された印刷物を内部製本機に搬送し、印刷物を所定の製本方法で製本する。製本されたフォトブックは、図示せぬフォトブック取出口から排出され、利用者に提供される。

更に、本発明は、その場で印刷物を受け取る場合に限らず、いわゆる「オンラインプリント」にも適用可能である。「オンラインプリント」とは、利用者などが所有するコンピュータから同様の手順によって印刷物の発注を行い、業者が印刷された印刷物を郵送して、利用者が受け取るというものである。

本発明を「オンラインプリント」に適用する場合、後述する図９に示す処理を実行する為のプログラムを、利用者などが所有する汎用のコンピュータにインストールすることによって同様に実現することができる。すなわち、フォトブック作成端末１とは、図９に示す処理を実行する為のプログラムがインストールされた汎用のコンピュータも含むものである。

また、後述する図９に示す処理を実行する為のプログラムを、業者が所有するサーバにインストールするようにしても良い。この場合、利用者は、利用者などが所有する汎用のコンピュータから、インターネット等のネットワークを介して業者のサーバにアクセスし、インターネット閲覧ソフト等の画面から印刷物の発注を行う。

なお、フォトブック作成端末１は、料金算出、レシート（引換券）の発行を行うだけでなく、課金機を装備しているため、利用者に入金を要求して現金による課金処理を行うようにすることもできる。

図２は、フォトブック作成端末１のハードウエアの構成例を示すブロック図である。

コンピュータ３０は、制御部３１、記憶部３２、入出力部３３、通信部３４等から構成され、各種メディア読取部４１、通信部４２、シャッタ４３、モニタ４４、コインメック４５、ビルバリ４６、レシートジャーナル処理部４７、およびプリンタ４８、および製本機５０を制御する。

制御部３１は、プログラムの実行を行うCPU（Central processing Unit）と、プログラム命令あるいはデータ等を格納するためのRAM（Random Access Memory）、ROM（Read Only Memory）等で構成される。制御部３１は、記憶部３２等に格納されたプログラムに従って、バス３５を介して接続された各装置を制御する。

記憶部３２には、制御部３１が実行するプログラム、プログラム実行に必要なデータ、OS（Operating System）等が格納される。プログラムは、例えば、画像入力プログラム、課金処理プログラム、レシート印刷処理プログラム、保守プログラム等である。データは、例えば、画像データや印刷データ等である。

プログラムのコードは、制御部３１により必要に応じて読み出され、RAMに移され、CPUに読み出されて各種機能として実行される。

入出力部３３は、記憶部３２に格納されているプログラム等の更新や、フォトブック作成端末１の設定等を行うメンテナンス時に用いられる。

通信部３４は、通信制御装置、通信ポート等を有し、フォトブック作成端末１と図示せぬネットワーク間の通信を媒介する通信インターフェースである。通信部３４は、ネットワークを介してフォトブック作成端末１と他の外部装置間の通信制御を行う。

各種メディア読取部４１は、メディア投入口１２の各メディアの挿入口に対応してフォトブック作成端末１内部に設けられ、挿入された入力メディアに予め記憶されている画像データを読み込む。通信部４２は、通信口１３の各通信ポートに対応して設置されており、通信中の携帯端末に予め記憶されている画像データを読み込む。

シャッタ４３は、メディア投入口１２の各挿入口に設けられ、入力メディアの挿入口を開閉し、読取処理の最中や、課金処理が完了するまで、入力メディアを取り出せないようにする。モニタ４４は、タッチパネル付ディスプレイ１１である。

コインメック４５、ビルバリ４６、レシートジャーナル処理部４７は、課金機能の役割を果たす。コインメック４５は、硬貨投入口１６に対応してフォトブック作成端末１内部に設けられ、硬貨の入出力を管理する。ビルバリ４６は、紙幣挿入口１７に対応してフォトブック作成端末１内部に設けられ、紙幣の入出力を管理する。

レシートジャーナル処理部４７は、レシート取出口１５に対応してフォトブック作成端末１内部に設けられ、利用者の徴収金額や注文内容に応じたレシートを印刷する。

プリンタ４８は、印刷物取出口１９に対応してフォトブック作成端末１内部に設けられ、印刷物を印刷する。プリンタ４８は、画像データを印刷する高解像度カラープリンタであり、熱転写プリンタあるいはインクジェット型など、プリンタの方式は特に問わない。印刷する記録媒体は、シート状またはロール状の紙である。

製本機５０は、ローラや搬送路等を有し、プリンタ４８で印刷された印刷物を所定の製本方法で製本しフォトブック等の製本物を作成して出力する。

なお、プリンタ４８は、フォトブック作成端末１内部に設けられ、そこで印刷が行われるが、これに限らず、例えば、通信部３４およびネットワークを介して接続されたプリンタサーバに画像データを転送し、そこで印刷を行わせることも勿論可能である。
また、製本機５０も、フォトブック作成端末１内部に設けられ、そこで製本が行われるが、これに限らず、例えば、図示せぬ搬送路を介して接続された外部の製本機に印刷物を搬送し、そこで製本を行わせるようにしてもよい。
すなわち、フォトブック作成端末１と、プリンタ４８、製本機５０はそれぞれ別体であってもよい。

図３は、製本機５０のハードウエアの構成例を示すブロック図である。

製本機５０は、印刷物を折りたたむ折り機構５１、印刷物をホチキスや製本テープ、背表紙、糊等で綴じる綴じ機構５２、印刷物を化粧断裁する裁断機構５３等を備えるものを用いることができる。これらの機構としては、既知のものを使用できる。フォトブックの製本方法の詳細については、特開２０１０−１３７５６４号公報等に記載されている通り公知の技術である。

図４は、フォトブック作成端末１内のコンピュータ３０の機能構成例を示すブロック図である。図４に示す機能部のうちの少なくとも一部は、図２の制御部３１により画像印刷プログラムが実行されることによって実現される。

入力制御部６１は、各種メディア読取部４１で読み込まれた画像データや通信部４２で読み込まれた画像データの入力を制御する。

なお、画像入力手段としては、メディア投入口１２にメモリカードを挿入し、そこからデータを読み込む以外にも、少なくとも以下の３つの方法があるが、これに限られるものではない。
１．インターネットを介して、オンラインアルバムサーバから読み込む。
２．インターネットを介して、オンラインアルバムサーバからスマートフォン等の携帯端末がダウンロードし、更に、近距離通信によって、スマートフォン等から読み込む。
３．スマートフォンに記憶されている画像データを近距離通信（Wi-Fi、Bluetooth（登録商標）、IR等）や、USB接続による通信によって読み込む。

表示制御部６２は、入力制御部６１に入力された画像データの一覧表示画面、画像データの印刷サービスを利用者に提供するための画像出力サービス案内画面等の各種画面のモニタ４４上への表示を制御する。

画像受付部６３は、モニタ４４に表示されている画像データの一覧表示画面において、利用者による画像の選択を受け付ける。

編集部６４は、利用者により印刷する画像の編集が行われた場合、入力制御部６１に入力された編集内容を表わす入力データに基づいて、印刷情報を更新（編集）する。編集部６４のさらに詳細な機能構成例は、図５を参照して後述する。

課金部６５は、印刷注文に応じた料金を算出し、その算出結果をモニタ４４に表示させ、利用者に支払いを要求する。また課金部６５は、コインメック４５やビルバリ４６の金銭の入出力を管理する。

印刷実行部６６は、課金部６５によって課金処理が完了すると、印刷対象の画像データを所定位置に配した後、印刷データに変換し、印刷データの印刷を実行する。

図５は、編集部６４のさらに詳細な機能構成例を示すブロック図である。

ページ割り当て部７１は、入力制御部６１に入力された動画像データの各シーンを１又は複数のページに割り当てる。ページ割り当て方法には、以下の３つの方法がある。
１．関連するシーンの数の比率に応じて、ページに割り当てる（またはシーンに含まれるチャプタの数の比率に応じて、ページに割り当ててもよい）。
２．シーン（チャプタ間）の長さ（記録時間長）の比率に応じて、ページに割り当てる。
３．利用者からの指示に応じて（手動で）、ページに割り当てる。
４．画像ポイントの高低に応じて、ページに割り当てる。

図６は、関連するシーン（チャプタ）の数の比率に応じて、各シーンを各ページに割り当てる方法を説明する図である。

図６の例では、「京都旅行」の名前が付与された動画像データは、「１０月１日」〜「１０月３日」に撮影されており、「１０月１日」に撮影された動画像データは、シーンＳ１〜Ｓ３からなり、「１０月２日」に撮影された動画像データは、シーンＳ４〜Ｓ７からなり、「１０月３日」に撮影された動画像データは、シーンＳ８、Ｓ９からなる。

フォトブック作成端末１のページ割り当て部７１は、シーンＳ１〜Ｓ３を「１０月１日」に関連するシーンとして認識し、シーンＳ４〜Ｓ７を「１０月２日」に関連するシーンとして認識し、シーンＳ８、Ｓ９を「１０月３日」に関連するシーンとして認識する。次に、ページ割り当て部７１は、関連するシーンの数の比率（図６の例では、「１０月１日」が３つのシーン：「１０月２日」は４つのシーン：「１０月３日」は２つのシーン＝３：４：２）に応じて、シーンＳ１〜Ｓ３をページＰ１〜Ｐ４に割り当て、シーンＳ４〜Ｓ７をページＰ５〜Ｐ１０に割り当て、シーンＳ８、Ｓ９をページＰ１１、Ｐ１２に割り当てる。なお、各シーンを各ページに割り当てる際、端数が出る場合（例えば、１０シーンを８ページに割り当てる場合）には、シーンの長さによって調整する。

図７は、シーンの長さの比率に応じて、各シーンを各ページに割り当てる方法を説明する図である。図７の例では、動画像データの各シーンの長さに応じて、６つのシーンが１２ページに割り当てられている。

図７に示すように、フォトブック作成端末１のページ割り当て部７１は、シーンＳ１１を、ページＰ１、Ｐ２に割り当て、シーンＳ１２を、ページＰ３〜Ｐ５に割り当て、シーンＳ１３を、ページＰ６に割り当て、シーンＳ１４を、ページＰ７、Ｐ８に割り当て、シーンＳ１５を、ページＰ９、Ｐ１０に割り当て、シーンＳ１６を、ページＰ１１、Ｐ１２に割り当てる。

図８は、利用者からの指示に応じて、各シーンを各ページに割り当てる方法を説明する図である。図８の例では、手動により、動画像データの各シーンのうち、７つのシーンが１０ページに割り当てられている。

図８に示すように、フォトブック作成端末１のページ割り当て部７１は、利用者からの指示を検知し、例えば、シーンＳ２１をページＰ１に割り当て、シーンＳ２２をページＰ２〜Ｐ５に割り当て、シーンＳ２３をページＰ６に割り当て、シーンＳ２６をページＰ７に割り当て、シーンＳ２８をページＰ８に割り当て、シーンＳ３１をページＰ９に割り当て、シーンＳ３２をページＰ１０に割り当てる。

図５の説明に戻る。画像数算出部７２は、ページ割り当て部７１で割り当てられたページ毎に、動画像データの各シーンの必要フレーム枚数を算出する。

画像抽出部７３は、ページ割り当て部７１で割り当てられたページ毎に、対応するシーンから、画像算出部７２で算出された必要フレーム枚数分を、高ポイント画像順に抽出する。
高ポイント画像とは、例えば、登場ポイント、領域ポイント、笑顔ポイント、および写真ポイントが高い画像を示す。
登場ポイントは、公知の顔認識技術を用いて、入力された画像データ中の人物（顔画像）を抽出し、人物毎の登場回数をポイント化したものである。
領域ポイントは、公知の顔認識技術を用いて、画像データ中の顔の大きさ（領域）を抽出し、人物毎の全画像領域における顔の大きさの割合をポイント化したものである。
笑顔ポイントは、公知の笑顔認識技術を用いて、画像データ中の人物が笑顔かどうかを認識し、どのくらい笑っているかをポイント化したものである。
写真ポイントは、顔領域にピントが合っていることでよく撮れた画像中の人物毎の登場回数をポイント化したものである。

つまり、画像抽出部７３は、公知の技術を用いて、登場ポイント、領域ポイント、笑顔ポイント、および写真ポイントを算出し、それらの画像ポイントが高いものから順に、ページ毎に必要フレーム枚数分の画像データを抽出する。画像ポイントの算出方法の詳細は、本出願人が先に出願した、特願２０１１−２５２６０４号、および特願２０１２−１４８９８３号に記載されている。

自動レイアウト部７４は、画像抽出部７３で抽出された画像群を、ページ割り当て部７１で割り当てられた各ページに自動レイアウトする。

（フォトブックの印刷注文処理）
次に、図９のフローチャートを参照して、フォトブック作成端末１の印刷注文処理について説明する。この処理は、利用者により選択された画像入力方法で、フォトブック作成端末１の入力制御部６１に画像データが入力された場合に開始される。なお、説明を分かり易くするため、予め「フォトブック」の印刷サービスが選択されており、入力される画像データは、動画像データのみとする。
また、図１０、図１１、図１３〜図１５の画像出力サービス案内画面についても合わせて説明する。

ステップＳ１において、フォトブック作成端末１の制御部３１は、表示制御部６２によって、タッチパネル付ディスプレイ１１（モニタ４４）にフォトブック選択画面を表示させる。

図１０は、フォトブック選択画面１００の表示例を示す図である。

図１０に示すように、フォトブック選択画面１００には、作成するフォトブックの仕様（ページ数および料金）を選択するためのボタン１０１〜１０８が表示されている。利用者によって、ボタン１０１〜１０８のうち、いずれか１つのボタンが押下（選択）されると、選択されたことを示す表示に切り替わり（例えば、ボタンの色調が変更される）、選択されているボタンが再度押下されると、選択が解除される。「次へ進む」のボタン１０９は、ボタン１０１〜１０８のいずれかのボタンが１つ選択され、次の画像出力サービス案内画面に表示を切り替える場合に、利用者によって押下される。

図９の説明に戻る。ステップＳ２において、フォトブック作成端末１の制御部３１は、編集部６４によって、利用者により、フォトブック選択画面１００でフォトブックの仕様が選択されたことを検知する。
ステップＳ３において、フォトブック作成端末１の制御部３１は、表示制御部６２によって、タッチパネル付ディスプレイ１１（モニタ４４）にチャプタ選択画面を表示させる。

図１１は、チャプタ選択画面１２０の表示例を示す図である。

図１１に示すように、チャプタ選択画面１２０には、入力された動画像データＭ１〜Ｍ５が入力画像リスト１２１として表示されている。入力画像リスト１２１の左右に配置されたボタン１２２Ｌ、１２２Ｒは、入力された他の動画像データを表示する場合に、利用者によって押下される。また、入力画像リスト１２１の下方には、撮影日時およびＧＰＳ（Global Positioning System）情報、さらには、フォトブックに読み込む動画像を選択するためのチェックボックス１２３〜１２７が表示されている。プレビュ画面１２８には、入力画像リスト１２１の中で選択されている動画像データ（図１１の例では、動画像データＭ１）がストリーム再生されている。「もどる」のボタン１２９は、前の画像出力サービス案内画面（図１０）に表示を切り替える場合に、利用者によって押下され、「次へ進む」のボタン１３０は、次の画像出力サービス案内画面に表示を切り替える場合に、利用者によって押下される。

図９の説明に戻る。ステップＳ４において、フォトブック作成端末１の制御部３１は、画像受付部６３によって、利用者により、チャプタ選択画面１２０でフォトブックに読み込む動画像データが選択されたことを検知する。
ステップＳ５において、フォトブック作成端末１の制御部３１は、入力制御部６１を介して選択された動画像データを読み込み、記憶部３２に記憶させる。なお、図１２に示すように、動画像データにおいて、チャプタ間の間隔が所定の閾値ｎより短いシーンａ１は、その後に続くシーンａ２と同一の１シーンとするようにしてもよい。

ステップＳ６において、フォトブック作成端末１の制御部３１は、ページ割り当て部７１によって、ステップＳ２の処理で検知したフォトブックの仕様（ページ数）、およびステップＳ５の処理で読み込んだ動画像データに基づいて、図６または図７で示したように、シーンの数の比率、または、シーンの長さの比率に応じてページを割り当てる。

図９の説明に戻る。ステップＳ７において、フォトブック作成端末１の制御部３１は、画像数算出部７２によって、ステップＳ６の処理で割り当てたページ毎に、各シーンの必要フレーム枚数を算出する。

ステップＳ８において、フォトブック作成端末１の制御部３１は、表示制御部６２によって、タッチパネル付ディスプレイ１１（モニタ４４）に被写体指定画面を表示させる。

図１３は、被写体指定画面１４０の表示例を示す図である。

図１３に示すように、被写体指定画面１４０には、動画リスト１４１、被写体リスト１４２、および登録リスト１４３が表示されている。動画リスト１４１には、チャプタ選択画面１２０（図１１）で選択された動画像データＭ１１〜Ｍ１５がリスト表示されている。動画リスト１４１に表示されている各動画像データの下方には、撮影日時およびＧＰＳ情報が表示されている。動画リスト１４１の左右に配置されたボタン１４４Ｌ、１４４Ｒは、チャプタ選択画面１２０（図１１）で選択された他の動画像データを表示する場合に、利用者によって押下される。

被写体リスト１４２には、「人物」、「建物」または「その他」を選択可能な被写体設定部１４５が付随しており、動画リスト１４１で選択されている動画像データのシーンから、被写体設定部１４５で選択された項目を含む画像データが抽出され、抽出された画像データが被写体リスト１４２に表示される。図１３の例では、被写体設定部１４５において「人物」が選択されているため、動画リスト１４１で選択されている動画像データＭ１２のシーンから、「人物」を含む画像データが抽出され、被写体リスト１４２に画像データＰ１、Ｐ２として表示されている。

被写体リスト１４２の左右に配置されたボタン１４６Ｌ、１４６Ｒは、抽出された他の画像データを表示する場合に、利用者によって押下される。また、被写体リスト１４２に表示されている画像データＰ１には、被写体の認識領域を示す認識マーク１４７Ａが表示され、画像データＰ２には、認識マーク１４７Ｂ〜１４７Ｄが表示されている。

登録リスト１４３には、被写体リスト１４２から選択された画像データがリスト表示される。この登録リスト１４３に登録された被写体が、フォトブックに載せたい被写体として、画像抽出時に優先して抽出される。図１３の例では、被写体リスト１４２において画像データＰ２の被写体１４７Ｄが選択され、登録リスト１４３に画像データＰ１１として登録されている。登録リスト１４３の左右に配置されたボタン１４８Ｌ、１４８Ｒは、抽出された他の画像データを表示する場合に、利用者によって押下される。

「完了してもどる」のボタン１４９は、次の画像出力サービス案内画面に表示を切り替える場合に、利用者によって押下される。

図９の説明に戻る。ステップＳ９において、フォトブック作成端末１の制御部３１は、編集部６４によって、利用者により、被写体指定画面１４０でフォトブックに読み込む被写体が指定されたことを検知する。
ステップＳ１０において、フォトブック作成端末１の制御部３１は、画像抽出部７３によって、ステップＳ４の処理で選択され、ステップＳ５の処理で読込まれた動画像データの各シーンから、ステップＳ９の処理で指定された被写体を含む画像データを、ステップＳ７の処理で算出された必要フレーム枚数分だけ高ポイント順に、抽出する。

ステップＳ１１において、フォトブック作成端末１の制御部３１は、自動レイアウト部７４によって、ステップＳ１０の処理で抽出された画像群を、ステップＳ６の処理で割り当てられた各ページに自動レイアウトする。
ステップＳ１２において、フォトブック作成端末１の制御部３１は、表示制御部６２によって、ステップＳ１１の処理で自動レイアウトされたフォトブックのレイアウトプレビュ編集画面を、タッチパネル付ディスプレイ１１（モニタ４４）に表示させる。

図１４は、レイアウトプレビュ編集画面１５０の表示例を示す図である。

図１４に示すように、レイアウトプレビュ編集画面１５０には、動画リスト１５１、レイアウト１５２、および候補画像リスト１５３が表示されている。動画リスト１５１には、チャプタ選択画面１２０（図１１）で選択された動画像データＭ１１〜Ｍ１５がリスト表示されている。動画リスト１５１の左右に配置されたボタン１５４Ｌ、１５４Ｒは、チャプタ選択画面１２０で選択された他の動画像データを表示する場合に、利用者によって押下される。

レイアウト１５２には、見開き１ページ分のレイアウト枠に画像データＰ２１〜Ｐ２５が自動レイアウトされた現在編集中のページが表示されている。レイアウト１５２の上に配置されたタブ１５５は、ページを切り替える場合に、利用者によって押下される。図１４の例では、「Ｐ２」のページがアクティブ表示とされ、「Ｐ２」のページに割り当てられている画像の元となる動画像データＭ１２も動画リスト１５１においてアクティブ表示とされている。

候補画像リスト１５３には、動画像データＭ１２のシーンに含まれる高ポイント画像が、レイアウトの候補画像として表示されている。候補画像リスト１５３の上下に配置されたボタン１５６Ｕ、１５6Ｄは、他の候補画像を表示する場合に、利用者によって押下される。

例えば、利用者は、「Ｐ２」のページに割り当てられている画像Ｐ２３を候補画像リスト１５３の中のいずれかの候補画像に差し替えたい場合、マウス等を用いて画像Ｐ２３を選択し、候補画像リスト１５３の中から所望の画像を選択した後、マウスを右クリックするなどしてメニュー１５７を表示させ、「次候補差替」の項目を選択することによって差し替えることができる。

「もどる」のボタン１５８は、前の画像出力サービス案内画面（図１３）に表示を切り替える場合に、利用者によって押下され、「次へ進む」のボタン１５９は、図示せぬ注文画面に表示を切り替える場合に、利用者によって押下される。この注文画面において、利用者により、印刷注文するフォトブックの冊数の指定が行われ、印刷実行が指示される。

図９の説明に戻る。ステップＳ１３において、フォトブック作成端末１の制御部３１は、印刷実行部６８によって、利用者によって、印刷実行が指示されると、印刷対象のレイアウトデータを印刷データに変換し、印刷データをプリンタ４８に送信し、印刷を指示する。印刷された印刷物は、製本機５０に搬送され、所定の製本方法で製本され、図示せぬフォトブック取出口から排出され、フォトブックとして利用者に提供される。

更に、前述したように、本発明は、その場で印刷物を受け取る場合に限られず、「オンライン製本」にも適用可能である。「オンライン製本」の場合、利用者が、自宅などに設置されているコンピュータから同様の手順によって印刷物の発注を行い、業者が印刷物を製本し、郵送によって印刷物が提供される。

以上の処理では、シーンの数またはシーンの長さに応じて、自動でページを割り当てる場合の操作方法について説明したが、手動でページを割り当てる場合の操作方法について、図１５を参照して説明する。

図１５は、利用者により手動ページ割り当てが指示された場合に、タッチパネル付ディスプレイ１１（モニタ４４）に表示されるページ指定画面１６０の表示例を示す図である。

図１５に示すように、ページ指定画面１６０には、動画リスト１６１、ページ割りリスト１６２が表示されている。動画リスト１６１には、チャプタ選択画面１２０（図１１）で選択された動画像データＭ１１〜Ｍ１５がリスト表示されている。動画リスト１６１に表示されている各動画像データの下方には、撮影日時およびＧＰＳ情報が表示されている。動画リスト１６１の左右に配置されたボタン１６３Ｌ、１６３Ｒは、チャプタ選択画面１２０（図１１）で選択された他の動画像データを表示する場合に、利用者によって押下される。

ページ割りリスト１６２は、各ページのレイアウトが縮小表示されている。例えば、利用者が、動画リスト１６１の中から所望の動画像データを、マウス等を用いて選択し、矢印Ａ１に示す方向にドラッグアンドドロップすると、５ページに動画番号Ｄ４が割り当てられる。図１５の例では、１ページに動画番号Ｄ１が割り当てられ、２ページに動画番号Ｄ１、Ｄ２が割り当てられ、３ページ、４ページに動画番号Ｄ３が割り当てられ、５ページに動画番号Ｄ４が割り当てられ、６ページに動画番号Ｄ５が割り当てられている。

「もどる」のボタン１６４は、前の画像出力サービス案内画面（図１１）に表示を切り替える場合に、利用者によって押下され、「次へ進む」のボタン１６５は、次の画像出力サービス案内画面（図１３）に表示を切り替える場合に、利用者によって押下される。

以上のように、手動でも、直感的な簡単な操作でページ割り当てを行うことが可能である。

（本実施の形態の具体例）
図１６は、「運動会」に関する動画像データの各シーンを、シーンの数の比率に応じて各ページに割り当てる具体例を説明するための図である。

フォトブック作成端末１の制御部３１は、ページ割り当て部７１によって、ステップＳ６の処理により、図１６に示すように、１０分間撮影された「体操」のシーンＳ５０をページＰ１、Ｐ２に割り当て、１分間撮影された「かけっこ」のシーンＳ６０をページＰ３、Ｐ４に割り当て、１０分間撮影された「おゆうぎ」のシーンＳ７０をページＰ５、Ｐ６に割り当て、１５分間撮影された「たまいれ」のシーンＳ８０をページＰ７、Ｐ８に割り当て、５分間撮影された「リレー」のシーンＳ９０をページＰ９、Ｐ１０に割り当て、１０分間撮影された「閉会式」のシーンＳ１００をページＰ１１、Ｐ１２に割り当てる。つまり、フォトブック作成端末１のページ割り当て部７１は、各シーンを２ページずつに割り当てる。

次に、フォトブック作成端末１の制御部３１は、画像数算出部７２によって、ステップＳ７の処理により、各シーンの必要フレーム枚数を、例えば、５枚と算出する。フォトブック作成端末１の制御部３１は、画像数抽出部７３によって、ステップＳ１０の処理により、シーンＳ５０から、高ポイント画像である静止画像Ｐ５１〜Ｐ５５を抽出し、シーンＳ６０から、高ポイント画像である静止画像Ｐ６１〜Ｐ６５を抽出し、シーンＳ７０から高ポイント画像である静止画像Ｐ７１〜Ｐ７５を抽出し、シーンＳ８０から高ポイント画像である静止画像Ｐ８１〜Ｐ８５を抽出し、シーンＳ９０から高ポイント画像である静止画像Ｐ９１〜Ｐ９５を抽出し、シーンＳ１００から高ポイント画像である静止画像Ｐ１０１〜Ｐ１０５を抽出する。

以上のように、シーンの長短にかかわらず、どのシーンからも、高ポイント画像が５枚ずつ抽出され（実際には、次候補画像があるため５枚以上抽出され）、各ページに割り当てられる。これにより、シーンによる偏りをなくし、万遍なくどのシーンの画像も含んだフォトブックを作成することができる。特に、運動会等の撮影は、どのシーンも重要であるため、シーンの数の比率に応じて、各ページに割り当て、高画像ポイントの静止画像を抽出することが望ましい。

図１７は、「旅行」に関する動画像データの各シーンを、シーンの長さの比率に応じて各ページに割り当てる具体例を説明するための図である。

フォトブック作成端末１の制御部３１は、ページ割り当て部７１によって、ステップＳ６の処理により、図１７に示すように、１０分間撮影されたシーンＳ１１０をページＰ１、Ｐ２に割り当て、５分間撮影されたシーンＳ１２０をページＰ３に割り当て、１５分間撮影されたシーンＳ１３０をページＰ４〜Ｐ６に割り当て、２０分間撮影されたシーンＳ１４０をページＰ７〜Ｐ１０に割り当て、５分間撮影されたシーンＳ１５０をページＰ１１に割り当て、５分間撮影されたシーンＳ１６０をＰ１２に割り当てる。つまり、フォトブック作成端末１のページ割り当て部７１は、シーンが長いほど、多くのページに割り当てる。

次に、フォトブック作成端末１の制御部３１は、画像数算出部７２によって、ステップＳ７の処理により、シーンＳ１１０の必要フレーム枚数を、例えば、５枚と算出し、シーンＳ１２０の必要フレーム枚数を、例えば、３枚と算出し、シーンＳ１３０の必要フレーム枚数を、例えば、７枚と算出し、シーンＳ１４０の必要フレーム枚数を、例えば、１０枚と算出し、シーンＳ１５０、Ｓ１６０の必要フレーム枚数を、例えば、５枚と算出する。

フォトブック作成端末１の制御部３１は、画像数抽出部７３によって、ステップＳ１０の処理により、シーンＳ１１０から、高ポイント画像である静止画像Ｐ１１１〜Ｐ１１５を抽出し、シーンＳ１２０から、高ポイント画像である静止画像Ｐ１２１〜Ｐ１２３を抽出し、シーンＳ１３０から高ポイント画像である静止画像Ｐ１３１〜Ｐ１３７を抽出し、シーンＳ１４０から高ポイント画像である静止画像Ｐ１４１〜Ｐ１５０を抽出し、シーンＳ１５０から高ポイント画像である静止画像Ｐ１５１、Ｐ１５２を抽出し、シーンＳ１６０から高ポイント画像である静止画像Ｐ１６１〜Ｐ１６３を抽出する。

以上のように、シーンが長いほど、多くの高ポイント画像が抽出され、より多くのページに割り当てられる。これにより、撮影時間の長い重要なシーンほど、多くの画像を使用したフォトブックを作成することができる。特に、旅行等は、重要なシーンほど長く撮影されるため、長いシーンほど多くの高画像ポイントの静止画像を抽出し、多くのページに割り当てることが望ましい。

［発明の実施の形態における効果］
動画像データのシーンの数の比率やシーンの長さの比率に応じて、動画像データの各シーンを各ページに割り当て、割り当てられた各シーンから必要枚数の静止画像を抽出することができる。これにより、作成したいフォトブックの仕様（ページ数および料金）を守りながら、簡単に、動画像データからフォトブックを作成することが可能となる。

以上、添付図面を参照しながら、本発明に係るフォトブック作成端末等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

１…………フォトブック作成端末
１１………タッチパネル付ディスプレイ
６１………入力制御部
６２………表示制御部
６３………画像受付部
６４………編集部
７１………ページ割り当て部
７２………画像数算出部
７３………画像抽出部
７４………自動レイアウト部

Claims (9)

1. 動画像データから画像データを抽出して、フォトブックのページにレイアウトするフォトブック作成端末であって、
   前記動画像データを入力する入力手段と、
   前記動画像データに含まれるシーンを、前記フォトブックの1または複数のページに割り当てるページ割り当て手段と、
   前記ページ割り当て手段により割り当てられたページ毎に、前記シーンの必要フレーム枚数を算出する画像数算出手段と、
   前記動画像データのシーン毎に、前記画像数算出手段により算出された必要フレーム枚数の画像データを抽出する画像抽出手段と、
   前記画像抽出手段により抽出された前記画像データを、前記ページ割り当て手段により割り当てられたページにレイアウトするレイアウト手段と、
   を具備することを特徴とするフォトブック作成端末。
2. 前記ページ割り当て手段は、前記動画像データに含まれる関連するシーンの数の比率に応じて、１又は複数の前記ページに割り当てる
   ことを特徴とする請求項１に記載のフォトブック作成端末。
3. 前記ページ割り当て手段は、前記動画像データに含まれるシーンの長さの比率に応じて、１又は複数の前記ページに割り当てる
   ことを特徴とする請求項１に記載のフォトブック作成端末。
4. 前記ページ割り当て手段は、前記動画像データに含まれるシーンを、ユーザの指示によって、前記フォトブックの1または複数のページに割り当てる
   ことを特徴とする請求項１に記載のフォトブック作成端末。
5. 前記フォトブックのページ数を指定する仕様指定手段をさらに具備する
   ことを特徴とする請求項１乃至請求項４のいずれかに記載のフォトブック作成端末。
6. 前記動画像に含まれる被写体を指定する被写体指定手段をさらに具備し、
   前記画像抽出手段は、指定された前記被写体を含む画像データを抽出する
   ことを特徴とする請求項１乃至請求項５のいずれかに記載のフォトブック作成端末。
7. 前記画像抽出手段は、前記被写体の画像ポイントが高い前記画像データを抽出する
   ことを特徴とする請求項６に記載のフォトブック作成端末。
8. 動画像データから画像データを抽出して、フォトブックのページにレイアウトするフォトブック作成方法であって、
   前記動画像データを入力する入力ステップと、
   前記動画像データに含まれるシーンを、前記フォトブックの1または複数のページに割り当てるページ割り当てステップと、
   前記ページ割り当て手段により割り当てられたページ毎に、前記シーンの必要フレーム枚数を算出する画像数算出ステップと、
   前記動画像データのシーン毎に、前記画像数算出手段により算出された必要フレーム枚数の画像データを抽出する画像抽出ステップと、
   前記画像抽出手段により抽出された前記画像データを、前記ページ割り当て手段により割り当てられたページにレイアウトするレイアウトステップと、
   を含むことを特徴とするフォトブック作成方法。
9. コンピュータを、動画像データから画像データを抽出して、フォトブックのページにレイアウトするフォトブック作成端末として機能させるためのプログラムであって、
   コンピュータを、
   前記動画像データを入力する入力手段、
   前記動画像データに含まれるシーンを、前記フォトブックの1または複数のページに割り当てるページ割り当て手段、
   前記ページ割り当て手段により割り当てられたページ毎に、前記シーンの必要フレーム枚数を算出する画像数算出手段、
   前記動画像データのシーン毎に、前記画像数算出手段により算出された必要フレーム枚数の画像データを抽出する画像抽出手段、
   前記画像抽出手段により抽出された前記画像データを、前記ページ割り当て手段により割り当てられたページにレイアウトするレイアウト手段、
   として機能させるためのプログラム。

Images