JP2006333065A - 写真アルバム作成方法 - Google Patents

Abstract

【課題】動画からアルバム用写真画像となる注目する静止画を自動的に効率良く選択して抽出し、抽出された静止画からなる写真画像を用いて、容易に、かつ短時間で、写真アルバムを作成することができる写真アルバム作成方法を提供する。
【解決手段】取得された音声付き動画データから動画データと音声データとを分離し、分離された動画データからフレーム分割処理を行い、複数フレームの静止画データとして取り出し、これらの中から、複数の注目フレーム候補を特定する処理を行い、一方、分離された波形データ、そのテキスト化データの中から、予め取得していた注目音声の波形データ、テキストデータと一致するものを注目音声波形、注目キーワードとして特定し、特定された音声データに対応する注目フレーム候補を注目フレームとして確定し、全ての注目音声について複数の注目フレームの静止画データをプリント情報として取得し、複数の写真プリントとして出力し、写真アルバムを作成することにより、上記課題を解決する。
【選択図】図４

Description

本発明は、写真アルバム作成方法に係り、動画からアルバム用写真画像として適切な静止画あるいは所望の静止画を検索して抽出し、これらの抽出された静止画からなる写真画像を用いて写真アルバムを作成する写真アルバム作成方法に関するものである。

従来、ビデオカメラやデジタルカメラ等で撮影された動画から写真アルバムを生成するためには、動画が記録されたビデオテープ（ＶＨＳ、Ｂｅｔａ）やＣＤ−Ｒなどの記録メディアをビデオデッキやコンピュータ等に入力し、再生してモニタ表示し、動画を連続表示しながら、もしくは１コマずつコマ送りしながら、個人がモニタに表示された画像を目視して、適切かつ所望の、すなわち注目する静止画を選択して、抽出するという作業が必要であった。

しかしながら、このように、従来、動画からアルバム用写真画像とするための注目静止画を抽出する作業は、個人で行う必要があり、時間がかかるという問題があった。
このように、動画から注目する静止画を選択する作業は、自動化されておらず、非効率であるという問題があった。
また、この抽出作業には、ＰＣ（パーソナルコンピュータ)操作などによる動画の画像処理の知識が必要とされるという問題もある。

一方、デジタルビデオカメラなどに用いられる記録メディアの記憶容量も大容量となってきており、フルサイズや大サイズの動画データを長時間に渡って記録でき、また、複数の動画データを記録できるようになってきている。このように長時間に渡って記録された大量の動画データが記録された大容量の記録メディアから動画データを再生する際に、所望の画像や所望の動画を簡単に検索するのがユーザにとって難しくなってきている。

このため、特許文献１には、再生時に、大容量の記録メディアから所望の画像、すなわち所望の動画を確実に検索するために、検索画面に動画と静止画とを併せて表示することが提案されている。
特許文献１に開示の技術では、所望の動画を確実に検索するために、検索画面に動画と併せて表示する静止画のデータを、録画と略同タイミングで作成しているので、再生時に静止画データを作成する必要がないし、検索画面を作成するために、全動画データを読み出す必要がなく、検索画面作成の時間を大幅に短縮できるものである。

しかしながら、特許文献１に開示の技術では、所望の動画を確実に検索するために、検索画面に動画と併せて表示する静止画のデータを、録画と略同タイミングで作成しておく必要があるため、特許文献１に開示の検索方法は、動画再生時に、動画からアルバム用写真画像とするための注目静止画を抽出する作業には、適用できないという問題があった。
このため、上述した従来の静止画抽出方法や動画検索方法は、動画からアルバム用写真画像を抽出するために、動画から注目する静止画を効率的に選択する処理方法として用いることはできないという問題があった。
特開２００４−１９３６９５号公報

本発明の目的は、前記従来技術に基づく問題点を解消し、大容量の動画データであっても、複数種類の動画データであっても、動画からアルバム用写真画像となる注目する静止画を自動的に効率良く選択して抽出し、抽出された静止画からなる写真画像を用いて、容易に、かつ短時間で、写真アルバムを作成することができる写真アルバム作成方法を提供することにある。

また、より具体的には、本発明の他の目的は、上記目的に加え、長時間に渡って動画データが記録された記録メディアや、あるいは複数種類の動画データが記録された記録メディアであっても、ユーザが、動画が記録された記録メディアを渡し、作成したいアルバムの内外装や、レイアウトや、注文数などを指定するだけで、誰でも、完成した写真アルバムを受け取ることができる写真アルバム作成方法を提供することにある。

また、本発明の他の目的は、上記目的および他の目的に加え、動画からアルバム用写真画像となる注目する静止画と共にコメントをも自動的に効率良く選択して抽出し、抽出された静止画からなる写真画像に、ユーザに適切なコメントもしくは所望のコメントが記録された写真アルバムを、容易に、かつ短時間で作成することができる写真アルバム作成方法を提供することにある。

上記目的および他の目的を達成するために、本発明は、音声付き動画データを取得すると共に、１つ以上の注目音声の波形データおよびテキストデータの少なくとも一方を取得し、取得された音声付き動画データから動画データと音声データとを分離し、分離された動画データからフレーム分割処理を行い、フレームごとに分割処理された複数フレームの静止画データとして取り出し、これらの複数のフレームの静止画データの中から、複数の注目フレーム候補を特定する処理を行い、一方、分離された前記音声データの波形データの中から、予め取得していた前記１つ以上の注目音声の波形データの１つと一致する波形データを注目音声波形として特定する処理、および、分離された前記音声データの波形データをテキスト化する処理を行い、予め取得していた前記１つ以上の注目音声のテキストデータの１つと一致するテキスト化データを注目キーワードとして特定する処理、の少なくとも一方を行い、前記特定処理された複数の注目フレーム候補の中から、前記注目音声波形および前記注目キーワードの少なくとも一方として特定された音声データに対応する注目フレーム候補を注目フレームとして確定する処理を行い、こうして、前記注目フレームの確定処理を、前記１つ以上の注目音声の全ての注目音声について、かつ、取得した前記音声データの全てにおいて行い、写真アルバムとして用いるために写真プリントとして出力すべき複数の注目フレームの静止画データをプリント情報として取得し、取得された前記プリント情報に基づいて、前記複数の注目フレームの静止画データを、それぞれ予め定められたレイアウトに応じたサイズの複数の写真プリントとして出力し、出力された複数の写真プリントを、それぞれ前記レイアウトにしたがって配置して、写真アルバムを作成することを特徴とする写真アルバム作成方法を提供するものである。

ここで、前記複数の注目フレーム候補の特定処理は、分割処理された前記複数フレームの静止画データに対して、微分処理を行い、隣接するフレーム間において前記静止画データの急峻な変化があるフレームおよび／または記録時間の長いフレーム範囲のフレームを前記注目フレーム候補として選択し、選択された前記注目フレーム候補の撮影時刻を特定する処理であるのが好ましい。

また、前記注目フレームの確定処理は、分離された前記音声データの波形データの中から、前記注目音声の波形データと一致する波形データを前記注目音声波形として特定し、特定された前記注目音声波形の発生時刻を特定し、前記特定処理された複数の注目フレーム候補の中から、特定された前記発生時刻に該当する前記撮影時刻の前記注目フレーム候補を前記注目フレームとして確定する処理であるのが好ましい。

さらに、特定された前記注目音声波形の波形データをテキスト化する処理を行い、得られたテキスト化データを注目キーワードとして特定し、確定された前記注目フレームに、特定された前記注目キーワードの少なくとも一部をコメントとして付加する処理を行い、前記プリント情報の取得は、前記写真プリントとして出力すべき前記複数の注目フレームの静止画データに加え、それぞれに付加された前記コメントを取得することであるのが好ましい。

また、前記注目フレームの確定処理は、少なくとも、分離された前記音声データの波形データをテキスト化する処理を行い、前記注目音声のテキストデータと一致するテキスト化データを前記注目キーワードとして特定する処理を行い、前記特定処理された複数の注目フレーム候補の中から、前記注目音声波形および前記注目キーワードの少なくとも一方によって特定された音声データに対応する前記注目フレーム候補を前記注目フレームとして確定する処理を行い、さらに確定された前記注目フレームに、前記注目キーワードの少なくとも一部をコメントとして付加する処理を行うものであり、前記プリント情報の取得は、前記写真プリントとして出力すべき前記複数の注目フレームの静止画データに加え、それぞれに付加された前記コメントを取得することであるのが好ましい。

また、確定された前記注目フレームに付加される前記コメントは、前記注目フレームの静止画データを再現した写真プリントにテキストとして付加される、または、前記写真プリント自体にテキストとして記録されるのが好ましい。
また、確定された前記注目フレームに付加される前記コメントは、前記写真プリントの出力の前に確認のために、表示装置の表示画面に前記注目フレームの静止画データを再現した写真画像と共に表示されるのが好ましい。
また、前記表示装置の表示画面に前記写真画像と共に表示された前記コメントは、修正可能であるのが好ましい。

また、取得された前記プリント情報に基づいて前記複数の注目フレームの静止画データは、前記写真プリントの出力の前に確認のために、それぞれ予め定められたレイアウトに応じたサイズで再現され、前記レイアウトにしたがって配置された複数の写真画像を持つ前記写真アルバムとして作成されて、表示装置の表示画面に表示されるのが好ましい。
また、前記表示装置の表示画面に表示された前記写真画像および前記写真アルバムは、修正可能であるのが好ましい。

また、前記音声付き動画データは、記録メディアから取得される、または、通信手段を介して取得されるものであるのが好ましい。
また、前記注目音声の波形データおよびテキストデータの少なくとも一方は、予め、記録メディアから取得され、または、通信手段を介して取得され、もしくは、ユーザから直接取得され、データベースに記憶されているものであるのが好ましい。
また、前記写真アルバムの前記レイアウトは、前記音声付き動画データ、前記注目音声の波形データおよびテキストデータを取得する際に、前記写真アルバムの内外装および注文数とともに、記録メディアから取得され、または、通信手段を介して取得され、もしくは、ユーザから直接取得されるのが好ましい。

本発明によれば、上記構成により、動画（画像）の処理知識のないユーザや、動画の処理に時間のないユーザであっても、音声付き動画を収録した記録メディアを引き渡すだけで、簡便に、完成された写真アルバムを受け取ることができるので、幅広いユーザが完成された写真アルバムを受け取ることができる。
また、本発明によれば、音声付き動画からアルバム用写真画像となる注目する静止画を選択する作業を自動化することができるので、写真アルバムの作成作業時間を短縮することができる。また、本発明によれば、動画から注目する静止画を選択する効率的な処理方法を確立することができる。

また、本発明の好ましい態様によれば、音声付き動画の音声データから自動作成されたテキスト化データの一部を、写真アルバムの再現写真画像に付加するコメントとして用いることができるので、コメント作成時間を短縮することができる。また、本発明の好ましい態様によれば、ユーザに適切なコメントもしくは所望のコメントが記録された写真アルバムを容易に、かつ短時間で作成することができる。
また、本発明の好ましい態様によれば、自動作成されたコメントがユーザ所望のコメントであるか否かの確認を行うことができるので、ユーザの要望に合致したコメントを写真アルバムの再現写真画像に付加することができる。なお、この確認を行うか否かは、ユーザの写真アルバム注文時に、ユーザが決定できるので、ユーザの要求や要望に的確に答えることができる。

本発明に係る写真アルバム作成方法を添付の図面に示す好適実施形態に基づいて以下に詳細に説明する。
図１は、本発明の写真アルバム作成方法を実施する写真アルバム作成システムの構成の一実施例を示すブロック図である。

図１に示すように、写真アルバム作成システム１０は、ユーザ１２が持ち込んだ記録メディア１４ａから音声付動画データを読み出して取得するメディアリーダ１６ａおよびユーザ１２のＰＣ（パーソナルコンピュータ）１４ｂなどの画像送信デバイスを持つ装置からインターネットなどの通信手段を介して音声付動画データを受信して取得する受信デバイス１６ｂなどを持つ動画データの取得部１６と、この取得部１６で取得した音声付動画データから写真アルバムを作成するのに用いる注目画像の静止画データを抽出して、写真プリントを作成するための画像データからなるプリント情報を作成するプリント情報作成部１８と、プリント情報作成部１８に接続され、写真プリントを作成するための画像データを画像として表示する画像表示部２０と、プリント情報作成部１８に接続され、種々の操作を行うのに用いられるマウスやキーボードなどからなる操作部２２と、プリント情報作成部１８に接続され、写真プリントを作成するための画像データからなるプリント情報に基づいて写真アルバムを作成するのに用いる注目画像の写真プリント（ハードコピー）を出力するプリンタ部２４と、写真アルバム用に出力された写真プリントを用いて写真アルバム２８を作成するアルバムの仕上げ部２６とを有する。

ここで、ユーザ１２がプリント業者または写真アルバム作成業者の店頭に持ち込む、もしくは、郵送や配送サービスを用いて送付した記録メディア１４ａとしては、音声付動画データを記録可能なものであれば、どのようなものでも良く、例えば、ビデオテープ（ＶＨＳ方式、ベータ方式）、ＤＶＤ（デジタル多用途ディスク；digital versatile disc）、ＣＤ−Ｒ、リムーバブルディスク等が挙げられる。なお、記録メディア１４ａとしては、ビデオカメラで直接撮影して音声付動画データを記録したものでも良いし、撮影したビデオカメラの音声付動画データを、一旦、ＰＣ等に取り込んでＰＣ等で記録したものであっても良い。なお、メディアリーダ１６ａは、これらの記録メディア１４ａから音声付動画データを読み出すものであり、記録メディア１４ａの種類に応じた各種の再生装置や記録再生装置を用いることができる。

また、画像送信デバイスを備えた装置としては、通常、ユーザ１２が備えているＰＣ１４ｂなどを用いれば良いが、これに限定されず、音声付動画データを通信手段を介して送信できるものであればどのようなものでも良い。
図示例の動画データの取得部１６は、メディアリーダ１６ａおよび受信デバイス１６ｂの両方を備えているのが好ましいが、これに限定されず、どちらか一方を備えるものであっても良い。

また、プリント情報作成部１８は、本発明の写真アルバム作成方法の最も特徴とする写真アルバム作成のためのプリント情報取得処理を行う部分であって、写真アルバム作成のために、それぞれ所定サイズの複数の写真画像として再現するための画像データを含むプリント情報を取得するためのプリント情報取得処理を行う。すなわち、プリント情報作成部１８は、動画データの取得部１６で取得した音声付動画データから写真アルバムを作成するのに用いる注目画像の静止画データを抽出し選択して、写真プリントを作成するための画像データからなるプリント情報を取得し、作成する。
なお、プリント情報作成部１８で行われるプリント情報取得処理の詳細については後述する。

画像表示部２０は、プリント情報作成部１８でプリント情報取得処理を行う際に、写真プリントを作成するための画像として適切か否かの確認のために、動画データから抽出された静止画データの画像を表示するものである。具体的には、後述するが、画像表示部２０には、注目画像の候補フレームや候補キーワードが表示され、プリント注文者やオペレータなどのシステム利用者による候補フレームや候補キーワードの確認や選択のために供される。また、確認のために、プリント情報作成部１８で作成されたプリント情報に基づいて写真プリントとなる画像からユーザ所望のレイアウトで構成された写真アルバム自体のイメージ画像、もしくは、内外装も含めたイメージ画像をソフトコピー画像として表示するものであっても良い。なお、画像表示部２０にプリント情報作成部１８で行う種々の処理を行う上で必要となる種々の表示を行って良いのはもちろんである。
操作部２２は、マウスやキーボードなどを有し、プリント情報作成部１８でプリント情報取得処理を行う際の種々の操作を行う指示や入力を行うためのものである。また、操作部２２は、上述した画像表示部２０に表示された候補フレームや候補キーワードの選択などの操作ために、システム利用者に用いられるものである。

プリンタ部２４は、プリント情報作成部１８で作成されたプリント情報に基づいて、写真プリントを作成するための画像データから写真アルバムを作成するのに用いる注目画像の所定サイズの写真プリント（ハードコピー）を出力するためのものであって、例えば、デジタル写真プリンタを備える。
仕上げ部２８は、写真アルバムを作成するのに用いるために、プリンタ部２４から出力された注目画像の所定サイズの写真プリントを、ユーザ注文の内外装を持つアルバム冊子に、ユーザ注文のレイアウトで配置し、写真アルバム２８として仕上げ、ユーザの注文数の写真アルバム２８を作成する。

こうして、写真アルバム作成システム１０において、仕上げ部２６で仕上げられた写真アルバム２８は、プリント業者または写真アルバム作成業者の店頭で、もしくは、郵便や運送サービスを用いて、写真アルバム作成代金と引換（事前、同時、もしくは事後）に、ユーザに引き渡される。
本発明の写真アルバム作成方法を実施する写真アルバム作成システム１０は、基本的に以上のように構成される。

図２は、図１に示す写真アルバム作成システム１０において実施される本発明の写真アルバム作成方法の処理の流れ（フロー）の一例を示すフローチャートである。
同図に示すように、本発明の写真アルバム作成方法においては、まず、ステップＳ１０において、プリント業者、または写真アルバム作成業者の店頭で直接、もしくは郵送や運送（配送）サービスにより、音声付き動画データが記録されている記録メディア１４ａを写真アルバム作成のサービスを受けるユーザもしくは顧客から受け取り、写真アルバム作成の注文を受け付ける。また、店頭で、ユーザや顧客から、同時もしくは別のタイミングで、直接、指定された写真アルバムの内外装、レイアウト、注文数を受け付ける。なお、これらの注文内容が記載された注文用紙をユーザや顧客から直接もしくは郵送や配送等により、受け取るようにしても良い。また、これらの注文内容を記録メディア１４ａに文字や記号データとして記録しておいても良い。

次に、ステップＳ１２において、記録メディア１４ａをメディアリーダ１６ａに装填して、記録メディア１４ａの読み取りを行い、ステップＳ１４において、記録メディア１４ａに記録されていた音声付き動画データを取得する。図示例では、ステップＳ１４においては、同時に、記録メディア１４ａに記録された音声付き動画データから注目画像を抽出するための注目音声の波形データおよびテキストデータの少なくとも一方を読み出して取得する。
なお、記録メディア１４ａに記録された音声付き動画データから注目画像を抽出するために用いる注目音声の波形データおよびテキストデータの少なくとも一方は、音声付き動画データと共に、記録メディア１４ａから読み出して取得するのが好ましいが、上述した写真アルバムの内外装、レイアウト、注文数などの注文内容と同様にして、ユーザや顧客から受け付けて、取得するようにしても良い。

一方、本発明においては、ステップＳ１４において、記録メディア１４ａから音声付き動画データを取得するものに限定されない。
例えば、図２に示すように、ステップＳ１６において、音声付き動画データおよび注目音声の波形データとテキストデータとの少なくとも一方などを、ユーザや顧客のＰＣ１４ｂからインターネットなどの通信手段によって直接動画データ取得部１６の受信デバイス１６ｂに受信し、ステップＳ１４において、音声付き動画データおよび注目音声の波形データとテキストデータとの少なくとも一方などを取得するようにしても良い。

この時、ステップＳ１６において、音声付き動画データなどの種々のデータに加え、写真アルバムの内外装、レイアウト、注文数などの注文内容なども、ユーザや顧客のＰＣ１４ｂからインターネットなどの通信手段によって直接ネット注文として受信デバイス１６ｂに受信して受け付けるのが好ましい。こうして、ステップＳ１４において、音声付き動画データなどの種々のデータに加え、ネット注文として受け付けた写真アルバムの内外装、レイアウト、注文数などの注文内容なども取得することができる。

この後、ステップＳ１８において、ステップＳ１６で動画データの取得部１６によって取得された音声付き動画データから注目音声の波形データとテキストデータとの少なくとも一方を用いて、プリント情報作成部１８でプリント情報取得処理を行い、注目画像の静止画データを抽出し、写真アルバム作成用の複数の写真プリントのための画像データからなるプリント情報を取得し、作成する。なお、ステップＳ１８で行われるプリント情報取得処理の詳細については、後述する。
次に、ステップＳ２０において、ステップＳ１８で得られたプリント情報の複数の写真画像の画像データに基づいて、プリント部２４のデジタルフォトプリンタによって写真アルバム作成用の複数の写真プリントが出力される。

次に、ステップＳ２２において、ステップＳ２０で出力された複数の写真プリントを、仕上げ部２６で、ステップＳ１０またはＳ１６でユーザから注文を受け付けた内外装を持つ写真アルバム用冊子にユーザ注文のレイアウトで配置し、かつ編集して、注文数の写真アルバムを作成する。
最後に、ステップＳ２４において、ステップＳ２２で作成された注文数の写真アルバムを、店頭で、もしくは、郵送や配送サービスなどで、代金と引換に、ユーザや顧客に引き渡す。なお、代金は、注文数の写真アルバムの引渡の前に受領し、受領を確認してからでも良いし、引渡と同時であっても良いし、引渡後に受け取るようにしても良い。
こうして、本発明の写真アルバム作成方法は、基本的に以上のように実施される。

次に、本発明の写真アルバム作成方法において実施されるプリント情報取得処理について説明する。
図３は、図１に示すプリント情報作成部１８で実施される、図２にステップＳ１８として示すプリント情報取得処理方法のフローチャートの一例であり、図４は、プリント情報取得処理方法を構成する第Ｌ段のプリント情報取得処理プロセスのフローチャートの一例である。

図３に示すように、本発明法におけるプリント情報取得処理方法は、音声付動画データからユーザまたは顧客（以下、ユーザで代表する）所望の複数の再現画像の静止画データからなるアルバム作成用のプリント情報を取得するための第１段のプリント情報取得処理プロセスから第Ｚ段のプリント情報取得処理プロセス、すなわち第１段…、第（Ｌ−１）段、第Ｌ段、第（Ｌ＋１）段、…、第Ｚ段の複数のプリント情報取得処理プロセスからなり、各段のプリント情報取得処理プロセスにおいて、それぞれ、音声付動画データからユーザ所望の複数の再現画像の静止画データからなるアルバム作成用のプリント情報を取得する。

図３に示す各段のプリント情報取得処理プロセスは、本発明法の最も特徴とする部分であるが、同様の構成を有するので、図４に示す第Ｌ段のプリント情報取得処理プロセスを代表例として説明する。
図４に示すように、第Ｌ段のプリント情報取得処理プロセスにおいては、まず、ステップＳ３０の動画・音声分離処理工程において、音声付動画データから動画データと音声データとを分離する。
次に、ステップＳ３２のフレーム分割処理工程において、分離された動画データからフレーム分割処理を行い、ステップＳ３４において、フレームごとに分割処理された複数フレームの静止画データとして第１フレーム目から第Ｎフレーム目までの複数（Ｎフレーム）のフレームデータを取り出す。

次に、ステップＳ３６の注目フレーム候補特定処理工程において、こうして取り出された複数フレームのフレームデータ（静止画データ）の中から、複数の注目フレーム候補を特定する。ここで、取り出された複数のフレームのフレームデータの中から、注目フレーム候補を特定する方法は、特に制限的ではなく、フレーム分割処理によって分割された全てのフレームを注目フレーム候補として特定しても良いが、フレーム間の変化が急峻であるフレームや長時間に渡って変化が少ないフレームを注目フレーム候補として特定しても良い。このような注目フレーム候補特定処理工程の詳細については、後述する。

一方、ステップＳ３８において、ステップＳ３２のフレーム分割処理工程で分離された音声データから音声波形データを得、ステップＳ４０の注目音声波形特定処理工程において、得られた音声波形データの中から、予め注文受付時にユーザから取得していた１つまたは複数の注目音声の波形データと一致する各波形データを注目音声波形として特定する処理を行う。
また、ステップＳ４２のテキスト化処理工程において、ステップＳ３８において得られた音声波形データをテキスト化する処理を行い、ステップＳ４４において、テキスト化された音声データを得、ステップＳ４６の注目キーワード特定処理工程において、得られたテキスト化音声データの中から、予め注文受付時にユーザから取得していた１つまたは複数の注目音声のテキストデータと一致する各テキスト化音声データを注目キーワードとして特定する処理を行う。

そして、ステップＳ４８の注目フレーム確定処理工程において、ステップＳ３６で特定された複数の注目フレーム候補の中から、ステップＳ４０で特定された注目音声波形およびステップＳ４６で特定された注目キーワードに対応する、例えば、特定注目音声波形および特定注目キーワードの発生時刻と一致するまたは対応する撮影時刻の注目フレーム候補を注目フレームとして確定する処理を行い、ステップＳ５０において、確定された複数（Ｍ個の）の注目フレーム（第１の注目フレーム〜第Ｍの注目フレーム）の静止画データを得る。この時、同じ特定注目音声波形および特定注目キーワードの発生時刻が複数ある場合には、全ての発生時刻に一致もしくは対応する撮影時刻の注目フレーム候補を注目フレームとして確定する。また、異なる特定注目音声波形および異なる特定注目キーワードが複数ある場合には、全ての特定注目音声波形および特定注目キーワードの発生時刻に一致もしくは対応する撮影時刻の注目フレーム候補を注目フレームとして確定する。

なお、特定注目音声波形および特定注目キーワードの両者の発生時刻が一致する場合のみ、同一のもしくは対応する撮影時刻の注目フレーム候補を注目フレームとして確定するのが正確であり、好ましいが、たとえ両者の発生時刻が不一致の場合があっても、両者の全ての発生時刻に一致、もしくは対応する撮影時刻の注目フレーム候補を注目フレームとして確定しても良い。
上述した例では、ステップＳ４８において、特定注目音声波形および特定注目キーワードの両方を用いて、注目フレームを確定しているが、本発明はこれに限定されず、特定注目音声波形および特定注目キーワードのいずれか一方のみを用いて、注目フレームを確定しても良い。なお、例えば、特定注目音声波形のみを用いて注目フレームを確定する場合には、ステップＳ４２のテキスト化処理〜ステップＳ４６の注目キーワード特定処理は行わなくても良いし、特定注目キーワードのみを用いて注目フレームを確定する場合には、ステップＳ４０の注目音声波形特定処理は行わなくても良い。

こうして、図４に示すプリント情報取得処理プロセスにおいては、音声付き動画データからユーザ所望（注目）の音声波形を持つ、および／または、キーワードに対応する複数（第１〜第Ｍ）の注目フレームを自動的に抽出して確定し、確定された複数の注目フレームの静止画データを自動的に抽出し、抽出された複数（第１〜第Ｍ）の注目フレームの静止画データをアルバム作成用のプリント情報として得ることができる。ところで、詳細は後述するが、確定注目フレームと、注目キーワードとが対応している場合には、写真アルバムにおいて、対応する注目キーワードを、確定注目フレームの静止画の写真プリントに添付するコメントとして用いても良い。

ところで、図４に示すプリント情報取得処理プロセスにおいては、ユーザ所望の注目音声波形またはキーワードに基づいて確定された複数（第１〜第Ｍ）の注目フレームを自動的に抽出しているので、基本的にユーザの希望と一致するフレームの静止画のみが抽出されている。しかしながら、ユーザやオペレータなどのシステム利用者は、自動抽出された複数（第１〜第Ｍ）の注目フレームの静止画自体を目視確認しているわけではないので、図５に示すように、店頭において、図１に示す写真アルバム作成システム１０の画像表示部２０の表示画面に、自動抽出された複数（第１〜第Ｍ）の注目フレームの静止画（図４のステップＳ５０参照）を候補フレームとして表示して、ユーザやオペレータ等のシステム利用者の確認を受け、必要に応じて、表示画像を目視しながら、複数の注目フレームの静止画の中から、ユーザやオペレータ等のシステム利用者が操作部２２によって操作して候補フレームを選択し、写真アルバムに採用する複数の注目フレーム（第１〜第Ｍ’の決定フレーム）を決定し、複数の決定フレーム（第１〜第Ｍ’の決定フレーム）をプリント情報とするようにしても良い。
こうすることにより、作成される写真アルバムに対するユーザの満足度をより向上させることができる。

なお、図５に示すように、店頭において、図１に示す写真アルバム作成システム１０の画像表示部２０の表示画面に表示するのではなく、ユーザのＰＣ１４ｂから写真アルバム作成システム１０のプリント情報作成部１８にアクセスし、例えば、インターネットブラウザなどを使用して、ユーザのＰＣ１４ｂの表示部の表示画面に、自動抽出された複数の注目フレームの静止画を表示し、ユーザが確認し、必要に応じて、写真アルバムを作成すのに必要な複数の注目フレームのみを選択し、写真アルバムに採用する複数の注目フレーム（第１〜第Ｍ’の決定フレーム）を決定し、複数の決定フレーム（第１〜第Ｍ’の決定フレーム）をプリント情報とするようにしても良い。こうすることにより、ユーザの確認や選択を容易にすることができ、作成される写真アルバムに対するユーザの満足度をさらに向上させることができる。
本発明の最も特徴とするプリント情報取得処理プロセスは、基本的に以上のように構成される。

ここで、本発明法においては、図３に示す複数段のプリント情報取得処理プロセスに適用されるプリント情報取得処理プロセスは、図４に示すプリント情報取得処理プロセスに限定されず、音声付き動画データからユーザ所望の注目音声に対応する注目フレームの静止画データを自動抽出できればどのようなものであっても良いが、例えば、図６に示すプリント情報取得処理プロセスを用いても良い。図６に示すプリント情報取得処理プロセスは、図４に示すプリント情報取得処理プロセスの代わりに、もしくは、図３に示す複数段のプリント情報取得処理プロセスにおいて、図４に示すプリント情報取得処理プロセスを適用する段と異なる段のプリント情報取得処理プロセスとして用いられ得る。

図６は、図４に示すプリント情報取得処理プロセスと異なる構成のプリント情報取得処理プロセスを示すが、前者では、後者のステップＳ３６の注目フレーム候補特定処理工程およびステップＳ４０の注目音声波形特定処理工程の具体的な構成が示され、注目キーワードに関する処理が両者で異なる以外は、同様の処理工程を有するものであるので、同一の処理工程には同一の参照符号を付し、その詳細な説明は省略する。
図６に示すプリント情報取得処理プロセスにおいては、図４に示すプリント情報取得処理プロセスと同様に、まず、ステップＳ３０で音声付き動画データから動画データと音声データに分離され、ステップＳ３２で分離された動画データがフレーム分割され、ステップＳ３４で分割された複数フレームのフレームデータが得られ、得られた複数フレームのフレームデータは、ステップＳ３６の注目フレーム候補特定処理工程に供され、一方、ステップＳ３０で分離され、ステップＳ３８で得られた音声波形データは、ステップＳ４０の注目音声波形特定処理工程に供される。

ところで、図６に示すステップＳ３６の注目フレーム候補特定処理工程では、ステップＳ５２において、得られた複数フレームのフレームデータ（静止画データ）に対して微分処理が行われ、ステップＳ５４の隣接するフレーム間において記録映像の（静止画データ間に）急峻な変化があるフレームおよび／またはステップＳ５６の記録時間の長いフレーム範囲のフレームを得、ステップＳ５８において、急峻な変化があるフレームおよび／または記録時間の長いフレーム範囲のフレームを注目フレーム候補として選択する処理を行い、ステップＳ６０において、ステップＳ５８で選択された注目フレーム候補の撮影時刻を特定する。こうして、注目フレーム候補を特定することができる。

一方、図６に示すステップＳ４０の注目音声波形特定処理工程では、ステップＳ６２として、予め注文受付時にユーザから取得していた１つまたは複数の注目音声の波形データを注目音声波形データベース（ＤＢ）に格納しておき、ステップＳ６４の注目音声波形マッチング処理工程において、ステップＳ３８で得られた音声波形データと注目音声波形ＤＢに格納されていたユーザ所望の注目音声の波形データとのマッチング処理が行われ、ステップＳ６６において、ステップＳ３８で得られた音声波形データの中からユーザ所望の注目音声の波形データと一致する波形データが注目音声波形として特定されると共に、ステップＳ６８において、ステップＳ６６で特定された注目音声波形の発生時刻が特定される。こうして、注目音声波形およびその発生時刻を特定することができる。

続いて、ステップＳ４２のテキスト化処理工程において、ステップＳ６６で特定された注目音声波形の波形データをテキスト化する処理を行い、ステップＳ７０においてテキスト化された注目音声データを注目キーワードとして得ることができる。
そして、ステップＳ４８の注目フレーム確定処理工程においては、ステップＳ３６で特定された、具体的にはステップＳ５８で選択された複数の注目フレーム候補の中から、ステップＳ４０で特定された注目音声波形、具体的には、ステップＳ６８で特定された注目音声波形の発生時刻と一致するまたは対応する撮影時刻の注目フレーム候補を注目フレームとして確定する処理を行う。

次に、ステップＳ７２のキーワード付加処理工程において、ステップＳ４８で確定された注目フレームに、ステップＳ７０で得られ、確定注目フレームに対応する注目キーワードを、写真アルバムにおいて、確定注目フレームの静止画の写真プリントに添付するコメントとして付加する。
こうして、ステップＳ７４において、注目キーワードがコメントとして付加され、複数（Ｍ個の）の確定注目フレーム（第１のキーワード付き注目フレーム〜第Ｍのキーワード付き注目フレーム）の静止画データを得ることができる。

ところで、図７に示すように、図６に示すプリント情報取得処理プロセスのステップＳ７４において得られた複数（Ｍ個の）のキーワード付き注目フレーム（第１のキーワード付き注目フレーム〜第Ｍのキーワード付き注目フレーム）の静止画データを候補フレームおよび候補キーワードとして、店頭において、図１に示す写真アルバム作成システム１０の画像表示部２０の表示画面に、もしくは、例えば、インターネットブラウザなどを使用して、ユーザのＰＣ１４ｂの表示部の表示画面に表示して、ユーザやオペレータ等のシステム利用者の確認を受け、必要に応じて、表示画像を目視しながら、複数のキーワード付き注目フレームの静止画の中から、ユーザやオペレータ等のシステム利用者が操作部２２やユーザＰＣの操作部を操作して候補フレームを選択し、または候補フレームに付加されるキーワードに基づいて写真アルバムに付加するコメントの編集を行って、採用する複数のキーワード付き注目フレームを決定し、複数のキーワード付き決定フレーム（第１〜第Ｍ’のキーワード付き決定フレーム）をプリント情報とするようにしても良い。

なお、図７に示す例は、図４のプリント情報取得処理プロセスの出力を表示する図５に示す例と、注目フレームにキーワードが付加され、システム利用者による写真アルバムに付加するコメントの編集が行われ、プリント情報として得られる複数の決定フレームにコメントとして利用されるキーワードが付加されている点を除いて同様の構成を有するものであるので、その詳細な説明は省略する。

次に、図８に、本発明に用いられるプリント情報取得処理法に適用される、さらに別のプリント情報取得処理プロセスのフローチャートの一例を示す。
図８に示すプリント情報取得処理プロセスは、図４に示すプリント情報取得処理プロセスと、前者では、後者のステップＳ３６の注目フレーム候補特定処理工程、ステップＳ４０の注目音声波形特定処理工程およびステップＳ４６の注目キーワード特定処理工程の具体的な構成が示され、ステップＳ７４において得られる確定注目フレームがキーワード付き注目フレームである点以外は、ほぼ同様の処理工程を有するものであり、また、図６に示すプリント情報取得処理プロセスと、注目キーワードに関する処理工程において異なる以外は、ほぼ同様の処理工程を有するものであるので、同一の処理工程には同一の参照符号を付し、その詳細な説明は省略し、主として、相違点について説明する。

図８に示すプリント情報取得処理プロセスにおいては、図４および図６に示すプリント情報取得処理プロセスとほぼ同様に、まず、ステップＳ３０で音声付き動画データから動画データと音声データに分離され、ステップＳ３２で分離された動画データがフレーム分割され、ステップＳ３４で分割された複数フレームのフレームデータが得られ、得られた複数フレームのフレームデータは、ステップＳ３６の注目フレーム候補特定処理工程に供され、一方、ステップＳ３０で分離され、ステップＳ３８で得られた音声波形データは、ステップＳ４０の注目音声波形特定処理工程に供される。

ところで、図８に示すステップＳ３６の注目フレーム候補特定処理工程では、図６に示すステップＳ３６と全く同様に、ステップＳ５２において微分処理が行われ、ステップＳ５４の記録映像の急峻な変化があるフレームおよび／またはステップＳ５６の記録時間の長いフレーム範囲のフレームを得、ステップＳ５８においてこれらのフレームを注目フレーム候補として選択する処理を行い、ステップＳ６０において、ステップＳ５８で選択された注目フレーム候補の撮影時刻を特定して、注目フレーム候補を特定する。

一方、図８に示すステップＳ４０の注目音声波形特定処理工程では、図６に示すステップＳ４０と同様にして、ステップＳ６４において、ステップＳ３８で得られた音声波形データと、ステップＳ６２で格納されていたユーザ所望の注目音声の波形データとのマッチング処理が行われ、ステップＳ６６で両者が一致する波形データが注目音声波形として特定されると共に、ステップＳ６８において、特定された注目音声波形の発生時刻が特定される。こうして、注目音声波形およびその発生時刻を特定することができる。
他方、図８に示す例では、図４に示す例と同様に、ステップＳ４２で、ステップＳ３８で得られた音声波形データがテキスト化され、ステップＳ４４で、テキスト化された音声データが得られ、得られたテキスト化音声データが次のステップＳ４６の注目キーワード特定処理工程に送られる。

次に、図８に示すステップＳ４６の注目キーワード特定処理工程においては、ステップＳ７４として、予め注文受付時にユーザから取得していた１つまたは複数の注目音声のキーワードを注目キーワードとして注目キーワードＤＢに格納しておき、ステップＳ７６の注目キーワードマッチング処理工程において、ステップＳ４４で得られたテキスト化音声データと注目キーワードＤＢに格納されていたユーザ所望の注目キーワードとのマッチング処理が行われ、ステップＳ７８において、ステップＳ４４で得られたテキスト化音声データの中からユーザ所望の注目キーワードと一致するテキスト化音声データが注目キーワードとして特定されると共に、ステップＳ８０において、ステップＳ７８で特定された注目キーワードの発生時刻が特定される。こうして、注目キーワードおよびその発生時刻を特定することができる。

そして、ステップＳ８２の注目フレーム確定処理工程において、ステップＳ３６で特定された（ステップＳ５６で選択された）複数の注目フレーム候補の中から、ステップＳ４０で特定された（ステップＳ６８で得られた）注目音声波形の発生時刻およびステップＳ４６で特定された（ステップＳ８０で得られた）注目キーワードの発生時刻と一致する、または対応する撮影時刻の注目フレーム候補を注目フレームとして確定すると共に、ステップＳ４６で特定された（ステップＳ７８で得られた）注目キーワードを確定された注目フレームに付加する処理を行い、ステップＳ７４において、注目キーワードがコメントとして付加され、複数（Ｍ個の）の確定注目フレーム（第１のキーワード付き注目フレーム〜第Ｍのキーワード付き注目フレーム）の静止画データを得ることができる。

なお、図８に示すステップＳ８２の注目フレーム確定処理工程において、注目音声波形の発生時刻および注目キーワードの発生時刻の少なくとも一方を用いて、その発生時刻に一致もしくは対応する撮影時刻の注目フレーム候補を注目フレームとして確定する方法については、注目キーワードがコメントとして付加されている点を除いて、図４に示すステップＳ４８の注目フレーム確定処理工程における方法と同様に行うことができるので、その説明は省略する。
なお、図８に示すプリント情報取得処理プロセスのステップＳ７４で得られ、そこからプリント情報として出力される複数（Ｍ個の）のキーワード付き注目フレーム（第１〜第Ｍのキーワード付き注目フレーム）対して、図７に示す例を適用し、同図に示すように、ユーザやオペレータ等のシステム利用者のために表示装置に表示し、候補フレームの選択や注目キーワードのコメント編集に供して良いことはもちろんである。

このように、本発明のいずれの実施形態においても、動画データと共に録音されている音声データの波形を解析することにより、注目フレームの候補となる動画フレーム範囲を自動的に指定する、もしくは、音声データをテキスト化し、その中から、予め、用意された注目点となるキーワード一致した部分のフレームを注目フレームの候補として自動的に指定する。したがって、これらの指定方法を利用して、注目フレームを自動的に特定し、その静止画データを自動的に決定することができる。
こうして、動画から注目すべき静止画を選択する作業を自動化することができる。その結果、本発明においては、アルバム作成作業時間を短縮することができる。

本発明の写真アルバム作成方法は、基本的に以上のように構成されるものである。
以上、本発明に係る写真アルバム作成方法について種々の実施形態を挙げて詳細に説明したが、本発明は上記実施形態に限定されず、本発明の要旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。

本発明の写真アルバム作成方法を実施する写真アルバム作成システムの構成の一実施形態を示すブロック図である。 図１に示す写真アルバム作成システムにおいて実施される本発明の写真アルバム作成方法の処理の流れ（フロー）の一例を示すフローチャートである。 図２に示すプリント情報取得処理方法のフローチャートの一例である。 図３に示すプリント情報取得処理方法に適用されるプリント情報取得処理プロセスのフローチャートの一例である。 図４に示すプリント情報取得処理プロセスに続いて行われるプリント情報取得処理プロセスのフローチャートの一例である。 図３に示すプリント情報取得処理方法に適用されるプリント情報取得処理プロセスのフローチャートの別の例である。 図６に示すプリント情報取得処理プロセスに続いて行われるプリント情報取得処理プロセスのフローチャートの一例である。 図３に示すプリント情報取得処理方法に適用されるプリント情報取得処理プロセスのフローチャートの別の例である。

符号の説明

１０ 写真アルバム作成システム
１２ ユーザ
１４ａ 記録メディア
１４ｂ ＰＣ（パーソナルコンピュータ）
１６ 動画データの取得部
１６ａ メディアリーダ
１６ｂ 受信デバイス
１８ プリント情報作成部
２０ 画像表示部
２２ 操作部
２４ プリンタ部
２６ 仕上げ部
２８ 写真アルバム

Claims (13)

1. 音声付き動画データを取得すると共に、１つ以上の注目音声の波形データおよびテキストデータの少なくとも一方を取得し、
   取得された音声付き動画データから動画データと音声データとを分離し、
   分離された動画データからフレーム分割処理を行い、フレームごとに分割処理された複数フレームの静止画データとして取り出し、
   これらの複数のフレームの静止画データの中から、複数の注目フレーム候補を特定する処理を行い、
   一方、分離された前記音声データの波形データの中から、予め取得していた前記１つ以上の注目音声の波形データの１つと一致する波形データを注目音声波形として特定する処理、および、分離された前記音声データの波形データをテキスト化する処理を行い、予め取得していた前記１つ以上の注目音声のテキストデータの１つと一致するテキスト化データを注目キーワードとして特定する処理、の少なくとも一方を行い、
   前記特定処理された複数の注目フレーム候補の中から、前記注目音声波形および前記注目キーワードの少なくとも一方として特定された音声データに対応する注目フレーム候補を注目フレームとして確定する処理を行い、
   こうして、前記注目フレームの確定処理を、前記１つ以上の注目音声の全ての注目音声について、かつ、取得した前記音声データの全てにおいて行い、写真アルバムとして用いるために写真プリントとして出力すべき複数の注目フレームの静止画データをプリント情報として取得し、
   取得された前記プリント情報に基づいて、前記複数の注目フレームの静止画データを、それぞれ予め定められたレイアウトに応じたサイズの複数の写真プリントとして出力し、
   出力された複数の写真プリントを、それぞれ前記レイアウトにしたがって配置して、写真アルバムを作成することを特徴とする写真アルバム作成方法。
2. 前記複数の注目フレーム候補の特定処理は、
   分割処理された前記複数フレームの静止画データに対して、微分処理を行い、
   隣接するフレーム間において前記静止画データの急峻な変化があるフレームおよび／または記録時間の長いフレーム範囲のフレームを前記注目フレーム候補として選択し、
   選択された前記注目フレーム候補の撮影時刻を特定する処理である請求項１に記載の写真アルバム作成方法。
3. 前記注目フレームの確定処理は、
   分離された前記音声データの波形データの中から、前記注目音声の波形データと一致する波形データを前記注目音声波形として特定し、
   特定された前記注目音声波形の発生時刻を特定し、
   前記特定処理された複数の注目フレーム候補の中から、特定された前記発生時刻に該当する前記撮影時刻の前記注目フレーム候補を前記注目フレームとして確定する処理である請求項２に記載の写真アルバム作成方法。
4. さらに、特定された前記注目音声波形の波形データをテキスト化する処理を行い、
   得られたテキスト化データを注目キーワードとして特定し、
   確定された前記注目フレームに、特定された前記注目キーワードの少なくとも一部をコメントとして付加する処理を行い、
   前記プリント情報の取得は、前記写真プリントとして出力すべき前記複数の注目フレームの静止画データに加え、それぞれに付加された前記コメントを取得することである請求項３に記載の写真アルバム作成方法。
5. 前記注目フレームの確定処理は、
   少なくとも、分離された前記音声データの波形データをテキスト化する処理を行い、前記注目音声のテキストデータと一致するテキスト化データを前記注目キーワードとして特定する処理を行い、
   前記特定処理された複数の注目フレーム候補の中から、前記注目音声波形および前記注目キーワードの少なくとも一方によって特定された音声データに対応する前記注目フレーム候補を前記注目フレームとして確定する処理を行い、
   さらに、確定された前記注目フレームに、前記注目キーワードの少なくとも一部をコメントとして付加する処理を行うものであり、
   前記プリント情報の取得は、前記写真プリントとして出力すべき前記複数の注目フレームの静止画データに加え、それぞれに付加された前記コメントを取得することである請求項１〜３のいずれかに記載の写真アルバム作成方法。
6. 確定された前記注目フレームに付加される前記コメントは、前記注目フレームの静止画データを再現した写真プリントにテキストとして付加される、または、前記写真プリント自体にテキストとして記録される請求項４または５に記載の写真アルバム作成方法。
7. 確定された前記注目フレームに付加される前記コメントは、前記写真プリントの出力の前に確認のために、表示装置の表示画面に前記注目フレームの静止画データを再現した写真画像と共に表示される請求項４〜６のいずれかに記載の写真アルバム作成方法。
8. 前記表示装置の表示画面に前記写真画像と共に表示された前記コメントは、修正可能である請求項７に記載の写真アルバム作成方法。
9. 取得された前記プリント情報に基づいて前記複数の注目フレームの静止画データは、前記写真プリントの出力の前に確認のために、それぞれ予め定められたレイアウトに応じたサイズで再現され、前記レイアウトにしたがって配置された複数の写真画像を持つ前記写真アルバムとして作成されて、表示装置の表示画面に表示される請求項１〜８のいずれかに記載の写真アルバム作成方法。
10. 前記表示装置の表示画面に表示された前記写真画像および前記写真アルバムは、修正可能である請求項９に記載の写真アルバム作成方法。
11. 前記音声付き動画データは、記録メディアから取得される、または、通信手段を介して取得されるものである請求項１〜１０のいずれかに記載の写真アルバム作成方法。
12. 前記注目音声の波形データおよびテキストデータの少なくとも一方は、予め、記録メディアから取得され、または、通信手段を介して取得され、もしくは、ユーザから直接取得され、データベースに記憶されているものである請求項１〜１１のいずれかに記載の写真アルバム作成方法。
13. 前記写真アルバムの前記レイアウトは、前記音声付き動画データ、前記注目音声の波形データおよびテキストデータを取得する際に、前記写真アルバムの内外装および注文数とともに、記録メディアから取得され、または、通信手段を介して取得され、もしくは、ユーザから直接取得される請求項１〜１２のいずれかに記載の写真アルバム作成方法。

Images