JP2005173897A - 画像処理装置及び画像処理方法及びプログラム - Google Patents

Abstract

【課題】 複数の静止画、動画の中から所望の画像を検索することができる画像処理装置を提供する。
【解決手段】 画像が印刷された印刷物を撮像して画像を取得し、該画像の少なくとも一部と類似する画像を検索することで、所望の画像を容易に検索できる。
【選択図】 図１６

Description

本発明は画像処理技術に関し、特に、複数の静止画、動画の中から、所望の画像を検索する画像処理技術に関するものである。

近年、ディジタルカメラや、ディジタルビデオカムコーダ等の普及により、個人でも大量の静止画や動画を撮影するようになってきている。そのようにして撮影された静止画や動画は、ディジタルカメラや、ディジタルビデオカムコーダに装備されているディスプレイでも見ることができるが、ディスプレイが小さいため、一般に、テレビに出力してテレビで見たり、パーソナルコンピュータに取り込んで、パーソナルコンピュータのディスプレイで見たりされている。

このように大きなディスプレイに表示すると、見やすくなるというメリットがある反面、ディスプレイがある場所に縛られて、好きな場所で好きな時に見れないという欠点がある。また、前述のように、ディジタルカメラや、ディジタルビデオカムコーダ等でも見れるが、ディスプレイが小さいため、見づらいという欠点がある。そのために、特に静止画においては、紙に印刷することで、時間や場所に制約されることなく、見て楽しむことができる。

一方、大量に蓄積された静止画や動画は、所望の静止画やシーンを検索するのが困難になってくるが、これを解決するために、静止画や動画をパーソナルコンピュータに取り込み、特許文献１に開示されているように、静止画、もしくは、動画のシーンの代表画像のサムネイルに対して、付属情報（タイムコード等）を対応付けて記憶しておき、サムネイル画像の一覧を大きなディスプレイに表示し、その中から所望の静止画、もしくは、シーンを捜し、選択されたサムネイルに対応する静止画、もしくは、シーンをディスプレイに表示、あるいは、再生することが行なわれている。特に動画は、通常は動画を再生して検索する方法が行なわれているので、この方法は動画にとって有用である。
特開平７−２８４０６７号公報 特開平７−９５５０５号公報

しかしながら、前述と同じように、大きなディスプレイで表示すると、ディスプレイがある場所でしか検索できないという欠点がある。また、この方法を、ディジタルカメラや、ディジタルビデオカムコーダ等で行なおうとすると、前述と同じように、ディスプレイが小さいため、一度にたくさんのサムネイルを表示することができず、探しづらいという欠点がある。また、この方法では、ディジタルカメラや、ディジタルビデオカムコーダ以外に、パーソナルコンピュータが必要であるという欠点と、一旦、静止画や動画をパーソナルコンピュータに取り込まなければならないという煩わしさがあった。

このような欠点を解決するために、特許文献２に開示されているビデオプリントアクセス方法およびシステムにおいては、ビデオ再生機で再生したビデオを、ビデオ内容の把握に重要なビデオ内の大きな変化をイベントとして捕らえ、その結果として抜き出した画像をプリントし、同時に該画像の付属情報をバーコードあるいは磁性体としてプリントし、ビデオアクセス装置付属のスキャナにより出力紙上の付属情報をバーコードあるいは磁性体として読み取り、関連するビデオのアクセス、再生を自動的に行う方法が提案されている。この方法は、動画だけでなく、静止画にも応用することが可能である。

紙にサムネイル画像を一覧し、紙をめくって所望の画像を捜すほうが、ディスプレイに表示された一覧を切替ながら捜すよりも、人間にとって直感的で捜しやすいというメリットもある。

しかしながら、特許公報２に開示されている方法では、バーコードを画像と隣り合わせて印刷するため、観賞にとって余分な情報が印刷され、見栄えが悪くなるという欠点があった。また、磁性体としてプリントすることによって、用紙のコストや、印刷のコストが上がるという欠点があった。また、バーコードを読み取ったり、磁性体を読み込むための特別の機器が必要になるという欠点もあった。また、ディジタルカメラやディジタルビデオカムコーダ等では、取り外し可能な記録媒体を用いており、これらの機器に装填されている記録媒体と、印刷物の対応が取れていない場合があり、このような場合を想定していないという欠点もあった。

さらに、検索のために特別な印刷を行なった印刷物を用いないと、検索ができないという欠点があった。例えば、静止画をＬ判用紙に印刷し、ポケットアルバムに入れたものを観賞していて、その中の一つの静止画を使って、編集等の作業を行なおうと思っても、そのＬ判用紙の印刷物を使って検索できないという欠点があった。

従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、場所や時間に束縛されず、たとえ、小さいディスプレイしか持たない機器を用いていても、所望の静止画、もしくは、動画のシーンを容易に検索および選択できるようにすることである。

また、本発明の他の目的は、検索用に特殊な情報を付加した印刷物を用いなくても、一般的な印刷物からも、所望の静止画、もしくは、動画のシーンを検索および選択できるようにすることである。

また、本発明の他の目的は、検索のためだけに特別な機器（パーソナルコンピュータや、バーコードリーダなど）を追加することなく、印刷物から所望の静止画、もしくは、動画のシーンを検索および選択できるようにすることである。

また、本発明の他の目的は、取り外し可能な記録媒体を用いた場合に、印刷物と記録媒体の対応が取れていない場合に、適切な対応を図るようにすることである。

本発明は上記目的を達成するために、画像が印刷された印刷物を撮像して画像を取得する撮像手段と、前記撮像手段で撮像した画像の少なくとも一部と類似する画像を検索する検索手段とを備えたことを特徴とする画像処理装置を提供する。

また本発明は、画像が印刷された印刷物を撮像して画像を取得する撮像ステップと、前記撮像ステップで撮像した画像の少なくとも一部と類似する画像を検索する検索ステップとを備えたことを特徴とする画像処理方法を提供する。

本発明によれば、ユーザは、画像が印刷された印刷物に対して検索を行うことで、所望の画像を得ることができる。

以下、図面を参照して、本発明の好適な実施例について詳細に説明する。

図２は本発明の実施例１における交換可能な光磁気ディスク型記録媒体を用いるディジタルカムコーダの構成を示すブロック図である。

ドライブユニット２０５はメカ機構とサーボ機構、光ピックアップ等から成り、主制御部２０１によって、光磁気ディスク２０６とともに制御される。主制御部２０１は、ＣＰＵ２０２、ＲＯＭ２０３、ＲＡＭ２０４を有し、ＣＰＵ２０２はＲＯＭ２０３に格納された制御プログラムを実行することにより、以下で説明する処理を含む、本装置における各種制御を実現する。主制御部２０１は、図３に示されるように、ドライブユニット２０５を制御するためのドライブ制御部３０１の他に、光磁気ディスク２０６に動画の記録処理を行う動画記録部３０２、光磁気ディスク２０６に格納された動画を時間で管理するためのタイムコードを更新するタイムコードカウンタ３０３、撮影日時などを取得するための日時タイマ３０４、光磁気ディスク２０６に格納された動画のインデックスを生成するインデックス生成部３０５、インデックス生成部３０５で作成されたインデックスを印刷するインデックス印刷部３０６、動画を所望の位置を頭出しして再生する頭出し再生部３０７、動画の再生手順を作成するプレイリスト作成部３０８、プレイリスト作成部３０８で作成された再生手順に従って動画を再生するプレイリスト再生部３０９等から構成され、これらの処理は、内部のＲＯＭ２０３にプログラムとして格納されている。

まず、ドライブユニット２０５に光磁気ディスク２０６が装填されたときの初期化処理を説明する。光磁気ディスク２０６がドライブユニット２０５に装填されると、ドライブ制御部３０１によって、図４に示される光磁気ディスク２０６上のメディア管理情報４０１とショット管理情報４０２とインデックス管理情報４０３と印刷履歴情報４０４が、フラッシュメモリ２１１（途中で電源を落としても内容が消えないように不揮発性）に読み込まれる。

図５に、メディア管理情報４０１とショット管理情報４０２とインデックス管理情報４０３と印刷履歴情報４０４が読み込まれたフラッシュメモリ２１１の状態を示す。図５において、カムコーダＩＤ５０１は、個々のカムコーダを識別するための識別子であり、９桁の数字で表現され、カムコーダ製造時に記録されるものである。メディア・カウンタ５０２は、カムコーダが扱った未使用のメディアの数をカウントアップするものであり、カムコーダ製造時には０が格納されている。また、図５にメディア管理情報４０１の構成を示す。図５に示されるように、メディア管理情報４０１は、メディアＩＤ５０３と最新更新日時５０４と最大タイムコード５０５とショット数５０６とインデックス数５０７と印刷履歴数５０８とプレイリスト数５０９とから構成される。

ドライブ制御部３０１によって、メディア管理情報４０１がフラッシュメモリ２１１に読み込まれると、装填されている光磁気ディスク２０６が未使用であるかどうか判定される。光磁気ディスク２０６上のメディアＩＤ５０３は、製造時に０に設定されており、メディアＩＤ５０３の値が０であれば、未使用であると判定し、最大タイムコード５０５に初期値０を代入し、更に、ショット数５０６とインデックス数５０７と印刷履歴数５０８とプレイリスト数５０９にそれぞれ初期値０を代入し、続いて、メディア・カウンタ７０２を１だけカウントアップし、続いて、メディアを識別するためのＩＤを新たに生成して、メディアＩＤ５０３に生成された値を書き込む。生成されるＩＤの値は、フラッシュメモリ２１１上のカムコーダＩＤの９桁の数字を上９桁とし、メディア・カウンタ７０２の値３桁を下３桁とする１２桁の値とする。未使用でないと判定されれば、メディア・カウンタ７０２とメディアＩＤ５０３の更新は行なわない。

次に、撮影対象の動画の記録過程を説明する。入力部２１２の撮影開始ボタンが押されると、被写体からの反射光は光学系２０７を通して撮像素子２０８に投影され、電気信号に変換される。撮像素子２０８からは１フレームの全ての画素が順次走査で読み出され、撮像系処理部２０９において、ノイズ除去、自動ゲイン調整を行なった後、Ａ／Ｄ変換を行なってディジタル化し、輝度信号（Ｙ）と色差信号（Ｐｒ、Ｐｂ）に分離されてＹ／Ｐｒ／Ｐｂデータが生成される。このＹ／Ｐｒ／Ｐｂデータはバッファメモリ２１０に蓄積された後、動画記録部３０２においてＤＣＴを用いた圧縮アルゴリズムによって圧縮され、最後に同期符号やエラー訂正符号の付加などが行われてドライブユニット２０５を介して光磁気ディスク２０６上の動画記録領域６０５に記録される。このようにして入力部２１２の撮影終了ボタンが押されるまで、動画が記録される。

撮影開始ボタンが押され、サーボ機構が安定して上述の動画記録が開始されると、タイムコードカウンタ３０３はフレーム単位でカウントアップを開始し、インデックス生成部３０５において、インデックスの生成が開始され、フラッシュメモリ２１１上のインデックス管理情報４０３に記録される。このインデックスの生成及び記録の処理に関しては、後で詳しく説明する。また、動画記録が開始されると、フラッシュメモリ２１１上のショット数５０６の値を１だけカウントアップし、ショット管理情報６０２の中の有効なショット情報の末尾に、新たなショット情報を生成して追加する。図６に示されるように、ショット管理情報６０２は複数のショット情報から構成され、各ショット情報はショット番号とタイムコードと撮影日時が対応付けられている。新たに生成されるショット情報は、ショット数５０６の値をショット番号とし、最大タイムコード５０５をタイムコードとし、撮影ボタン４０１が押された時の日時タイマ５０４の日時の値を撮影日時としたものである。

また、動画の記録が撮影終了ボタンの押下によって終了すると、タイムコードカウンタ３０３は停止し、その時のタイムコードカウンタの値を、最大タイムコード５０６へ格納する。更に、日時タイマ３０４の日時の値を、フラッシュメモリ２１１上の最新更新日時５０４に書き込み、フラッシュメモリ２１１上のメディア管理情報４０１、ショット管理情報４０２、インデックス管理情報４０３を、光磁気ディスク２０６上のメディア管理情報４０１、ショット管理情報４０２、インデックス管理情報４０３に、それぞれ書き込む。

次に、図９に基づいて、インデックス生成部３０５におけるインデックスの記録過程を説明する。撮影開始ボタンが押され、上述の動画記録が開始されると、ステップＳ９０１において、バッファメモリ２１０に蓄積される動画の１フレーム分のＹ／Ｐｒ／Ｐｂデータを取り出す。ステップＳ９０２において、取り出すことができたかどうかを判定し、取り出すことができた場合はステップＳ９０３へ進み、撮影終了ボタンが押されて取り出すことができなかった場合はステップＳ９０８へ進む。

ステップＳ９０３において、ステップＳ９０１で取り出したフレーム画像をインデックスとなる代表画像として採用するかどうかを判定する。ショットの先頭フレームは、必ず、代表画像として採用する。それ以降のフレームに関しては、例えば、特開平８−３２９２４に示されている手法を用いて、２つのフレーム画像の輝度や色差等を用いた類似性（もしくは距離）に基づいて、近傍のフレームと変化が少ないフレームが代表画像となるように、代表画像として採用するかどうかを判定する。代表画像として判定された場合はステップＳ９０４へ進み、そうでなければステップＳ９０１へ進む。

ステップＳ９０４において、ステップＳ９０１で取り出した画像データから縮小画像（サムネイル画像）を作成し、ステップＳ９０５へ進む。ステップＳ９０５において、ステップＳ９０１で取り出した画像データから、代表画像の特徴量を抽出してステップＳ９０６へ進む。抽出する特徴量としては、代表画像を例えばＮ×Ｍのブロックに分割した各ブロックの平均色を各ブロックの位置に対応付けたものとする。

ステップＳ９０６において、インデックス管理情報４０３にインデックスを追加して記録する。すなわち、メディア管理情報４０１のインデックス数５０７を１だけカウントアップし、インデックス管理情報４０３の中の有効なインデックスの末尾に、新たなインデックスを生成して追加する。図７にインデックス管理情報の構成を示す。インデックス管理情報４０３は複数のインデックスから構成され、各インデックスは、ショット番号とタイムコードと重要度と画像特徴量とサムネイル画像データから構成される。新たに生成されるインデックスのショット番号は、ショット数５０６の値とし、タイムコードは、抽出された代表画像に対応したタイムコードをタイムコードカウンタ３０３より求める。また、ステップＳ９０４において作成したサムネイル画像とステップＳ９０５で抽出した画像特徴量も登録する。ただし、ここでは、重要度は格納しない。

ステップＳ９０７において、ステップＳ９０６で追加したインデックスの一つ手前のインデックスの重要度を算出して格納する。インデックスとして、変化の少ないフレームが代表画像として選ばれ、変化が少ない長いシーンが、人にとって印象に残りやすく、より重要と考えられるので、インデックスの重要度は、抽出した代表画像から次の代表画像までの時間で表現するものとする。したがって、ステップＳ９０６で追加したインデックスのタイムコードから、一つ手前のインデックスのタイムコードを差し引くことによって求めることができる。ただし、重要度は、代表画像が抽出された時点では、対応するインデックスに重要度を格納することができず、例えば、ショットの先頭フレームをインデックスとして登録した時点では、重要度の記録は行なわない。処理を終えると、ステップＳ９０１へ進む。

ステップＳ９０８は、撮影終了ボタンが押されて、撮影が終了した時の処理であり、末尾のインデックスに重要度を格納する。重要度は、タイムコードカウンタ３０３の値から、末尾のインデックスのタイムコードの値を差し引くことによって求めることができる。

次に、入力部２１２のインデックス印刷ボタンが押された場合のインデックス印刷部３０６の処理を、図１０を用いて説明する。入力部２１２のインデックス印刷ボタンが押されると、ステップＳ１００１において、印刷する代表画像の枚数の指定を行なう。ユーザは、入力部２１２の数字キーを用いて、印刷する代表画像の枚数の入力を行なう。

続いて、ステップＳ１００２において、ステップＳ１００１で指定された枚数の代表画像を印刷するために、インデックス管理情報４０３の中から、指定された枚数と同じ数のインデックスを選択する。選択する基準は、インデックスの重要度を用い、インデックス管理情報４０３の中から重要度の高いものから順番に、指定された枚数分のインデックスを選択する。ステップＳ１００３において、ステップＳ１００２で選択されたインデックスのタイムコードから動画中のインデックスの代表画像のフレーム画像を抽出し、フレーム画像を印刷用代表画像とする。

続いて、ステップＳ１００４において、ステップＳ１００２およびステップＳ１００３で選択したインデックスおよび印刷用代表画像（サムネイル）に対してインデックス印刷のレイアウトを決定する。インデックス印刷の例を図１１に示す。各サムネイルの右上に、インデックス管理情報４０３のインデックスに格納されているタイムコードを印刷する。図に示されるように、印刷するサムネイル画像は、タイムコードの順番に、各行左から右へ配置され、各行は上から下に配置される。また、図に示されるように、各サムネイルの周りには、黒い太枠が印刷される。黒い太枠の線幅は、サムネイルの横のサイズと枠の線幅の比が、８：１となるようにする。したがって、枠の横方向の外側のサイズの１０分の１が、枠の線幅になることになる。このような太枠を印刷することでサムネイルの抽出が容易になる。インデックス印刷は、Ａ４の用紙に、１行あたり５枚、全部で１０行配置するものとする。したがって、１ページあたり、最大５０枚のサムネイル画像を印刷することができる。

また、水平方向、または、垂直方向に隣り合うサムネイルの距離は、所定の距離で等間隔に並ぶようにレイアウトする。すなわち、サムネイルを囲む枠の横幅（または高さ）と、サムネイル間の距離の比は、一定になるようにレイアウトする。

続いて、ステップＳ１００５において、ステップＳ１００４で決定されたレイアウトにしたがって、印刷を行なう。すなわち、レイアウトに基づき、Ｒ，Ｇ，Ｂ毎にラスタライズを行なって多階調のビットイメージデータを作成し、さらに、インクに対応した印刷用のＹ，Ｍ，Ｃ，Ｋ，の多階調ビットイメージデータに変換する。この多階調ビットイメージデータに対して、各色毎にディザ法や誤差拡散法などによるハーフトーン処理を行なって、２値化されたビットマップデータに変換する。そして、２値化されたビットマップデータを、通信インタフェース２１４を介してプリンタ２１５に送信し、プリンタ２１５により印刷用紙に印刷を行う。なお、印刷用紙は、白い用紙を使用することが望ましい。通信インタフェースとしてはＩＥＥＥ１３９４やＵＳＢなどを使用することが出来る。

続いて、ステップＳ１００６において、印刷履歴情報４０４に、今回の印刷の情報を印刷履歴として追加記録する。メディア管理情報４０１の印刷履歴数５０８を１だけカウントアップし、印刷履歴情報４０４の中の有効な印刷履歴の末尾に、新たな印刷履歴を生成して追加する。印刷履歴情報４０４の構成を図８に示す。新たに追加する印刷履歴として、印刷日時には印刷が終了した時の日時タイマ３０４の値を格納し、サムネール数にはステップＳ１００１で指定した代表画像の枚数を格納し、インデックス番号に、ステップＳ１００２で選択したインデックス管理情報４０３の中のインデックスの番号を、タイムコードの順番に格納していく。そして、フラッシュメモリ２１１上のメディア管理情報４０１と印刷履歴情報４０４を、光磁気ディスク２０６上のメディア管理情報４０１と印刷履歴情報４０４に、それぞれ書き込む。印刷履歴情報の記録が終われば、インデックス印刷処理を終了する。

図１３は、入力部２１２の頭出し再生ボタンが押された時の頭出し再生部３０７の処理を説明するための図である。

入力部２１２の頭出し再生ボタンが押されると、ステップＳ１３０１において、表示部２１３に「頭出しするサムネイルを撮影してください」とメッセージが表示される。続いて、ステップＳ１３０２において、ユーザが図１１に例示されるインデックス印刷の所望のサムネイルを、本ディスクカムコーダで撮影すると、対応するサムネイルをインデックス管理情報４０３から検索し、サムネイルに対応したインデックスを求める。ステップＳ１３０２のインデックス選択処理は、後で詳しく説明する。続いて、ステップＳ１３０３において、ステップＳ１３０２で得られたインデックスに格納されているタイムコードから動画を再生する。動画再生中は、入力部２１２の取消ボタンを押すことによって、動画の再生を中止し、後述のステップＳ２２０５、ステップＳ２２０６の処理と同様に、表示部２１３に後述のインデックス候補リストに格納されたインデックスに対応するサムネイルの一覧を表示して他のインデックスを選択し、他のタイムコードから動画を再生することが可能である。

図１４は、入力部２１２のプレイリスト作成ボタンが押された時のプレイリスト作成部３０８の処理を説明するための図である。

入力部２１２のプレイリスト作成ボタンが押されると、ステップＳ１４０１において、表示部２１３に「再生区間の先頭のサムネイルを撮影してください」とメッセージが表示される。ステップＳ１４０２において、ユーザが入力部２１２からＯＫボタンを入力するとステップＳ１４０３へ進み、取消ボタンを入力すると、ステップＳ１４０７へ進む。ステップＳ１４０３において、ユーザが図１１に例示されるインデックス印刷の所望のサムネイルを、本ディスクカムコーダで撮影すると、対応するサムネイルをインデックス管理情報４０３から検索し、サムネイルに対応したインデックスを求める。ステップＳ１４０３のインデックス選択処理は、後で詳しく説明する。

続いて、ステップＳ１４０４において、表示部２１３に「再生区間の最後のサムネイルを撮影してください」とメッセージが表示され、さらに、ステップＳ１４０５において、ユーザが図１１に例示されるインデックス印刷の所望のサムネイルを、本ディスクカムコーダで撮影すると、対応するサムネイルをインデックス管理情報４０３から検索し、サムネイルに対応しインデックスを求める。ステップＳ１４０５のインデックス選択処理は、後で詳しく説明する。

続いて、ステップＳ１４０６において、ステップＳ１４０３で得られたインデックスに格納されているタイムコードを再生区間の開始のタイムコードとし、ステップＳ１４０５で得られたインデックスの（インデックス管理情報４０３の中での）次のインデックスに格納されているタイムコードを再生区間の終了のタイムコードとする。ただし、次のインデックスが存在しない場合は、最大タイムコード５０５に格納されているタイムコードを再生区間の終了のタイムコードとする。処理を終えると、ステップＳ１４０１へ進む。

ステップＳ１４０７では、プレイリスト情報４０５に、新たに作成されたプレイリストを登録する。図１５にプレイリスト情報４０５の構成を示す。ステップＳ１４０６で追加された再生区間の数をプレイリスト情報４０５のプレイリストの再生区間に格納し、ステップＳ１４０６で追加された再生区間（再生区間の開始と終了のタイムコード）を順番にプレイリスト情報４０５のプレイリストの再生区間に格納する。最後に、メディア管理情報４０１のプレイリスト数５０９の値を１だけカウントアップし、フラッシュメモリ２１１上のメディア管理情報４０１とプレイリスト情報４０５を、光磁気ディスク２０６上のメディア管理情報４０１とプレイリスト情報４０５に、それぞれ書き込み、プレイリスト作成処理を終了する。

入力部２１２のプレイリスト再生ボタンが押されると、プレイリスト再生部３０９において、プレイリスト情報４０５に格納されているプレイリストの中から、ユーザに再生するプレイリストを選択させ、選択されたプレイリストに格納されている再生区間の順番に従って動画を表示部２１３に再生する。

図１６は、ステップＳ１３０２、ステップＳ１４０３、ステップＳ１４０５のインデックス選択処理を説明するための図である。

ステップＳ１６０１において、ユーザにより、図１１に例示されるインデックス印刷の印刷物の中にある所望のサムネイル画像を、本ディスクカムコーダにより撮影する。その際、所望のサムネイルが中央に位置するように撮影を行なう。前述の撮影対象の動画の記録過程と同様にして、光学系２０７を通して入力されたインデックス印刷物の反射光は電気信号に変換され、１フレームごとにデジタル化されて画像データ（Ｙ／Ｐｒ／Ｐｂデータ）が生成されてバッファメモリ２１０に次々と一時的に格納される。ただし、光磁気ディスク２０６には記録されず、ユーザの確認用に、表示部２１３に表示されるだけである。ユーザが入力部２１２からＯＫボタンを入力すると、その時の画像データはバッファメモリ２１０に蓄積されたまま、ステップＳ１６０２へ進む。この時にバッファメモリ２１０に格納されている画像データは、図１２に示されるような画像である。ステップＳ１６０２において、バッファメモリ２１０に格納された画像データから、サムネイルに対応した部分画像を切出す。この処理は、後で詳しく説明する。ステップＳ１６０３において、ステップＳ１６０２でサムネイル画像が切出せたかどうか判定を行ない、切出せていない場合は表示部２１３に「サムネイル画像の切出しに失敗しました。もう一度、サムネイルを撮影してください。」とメッセージを表示してステップＳ１６０１に戻り、切出せている場合はステップＳ１６０４へ進む。

ステップＳ１６０４において、ステップＳ１６０２で切出されたサムネイル画像から、サムネイル画像の特徴量を抽出する。本処理は、ステップＳ９０５の特徴量抽出処理と同じ処理であるので、説明は省略する。

ステップＳ１６０５において、ステップＳ１６０４で抽出した特徴量と、インデックス管理情報４０３に格納されているインデックスの特徴量とを比較し、ステップＳ１６０４で抽出した特徴量と類似する特徴量を持つインデックスを、インデックス候補リストに抽出する。本書処理の詳細は後で述べる。

ステップＳ１６０６において、ステップＳ１６０５でインデックスの候補が抽出できたかどうかによって分岐する。インデックス候補リストにインデックスが格納されていればステップＳ１６０７へ進み、格納されていなければ、ステップＳ１６１１へ進む。

ステップＳ１６０７において、ステップＳ１６０５で抽出した各インデックス候補に対して、ステップＳ１６０１で取得したインデックス印刷物の画像における、ステップＳ１６０２で切出したサムネイル画像の周辺の画像との整合性をチェックする。整合性が取れないインデックス候補に対しては、インデックス候補リストの中から削除し、整合性が取れるインデックスに対しては、インデックス候補リスト中のインデックスの順番を、周辺画像の情報を加味した類似度を用いて入れ替える。このような構成とすることで、検索の効率を高めることが出来る。本処理の詳細は後で説明する。ステップＳ１６０８において、インデックス候補リスト中に候補が残っていればステップＳ１６０９へ進み、候補が残っていなければステップＳ１６１１へ進む。

ステップＳ１６０９において、インデックス候補リストに基づいて、必要に応じて、インデックスの候補を表示部２１３へ表示し、ユーザはインデックス候補の中から所望のインデックスを選択する。本処理は、後で詳しく説明する。ステップＳ１６１０において、ステップＳ１６０９ユーザが所望のインデックスを選択できた場合はインデックス選択処理を終了し、選択できなかった場合はステップＳ１６１１へ進む。

ステップＳ１６１１において、表示部２１３へ「撮影されたサムネイルに対応するインデックスは、装填されている光磁気ディスクには存在しません。光磁気ディスクを交換してください。」とメッセージを表示し、ユーザに光磁気ディスクの交換を促す。ユーザが光磁気ディスクを交換すると、前述の光磁気ディスク２０６が装填されたときの初期化処理を行ない、ステップＳ１６０１へ進む。

図１７は、Ｓ１６０２のサムネイル切出し処理を説明するためのフローチャートである。ステップＳ７０１において、ステップＳ１６０１において撮影されたサムネイル取込み画像（バッファメモリ２１０に格納されている）に対して、水平方向ならびに垂直方向の各ラインの輝度の累計を算出する。サムネイル取込み画像の点（ｉ，ｊ）の輝度をＹ（ｉ，ｊ）（原点は画像の左上とする）とすると、垂直方向の第ｉラインの輝度の累計ＳＹ（ｉ）は、（式１）で算出することができる。（式１）において、ｈはサムネイル取込み画像の縦方向の画素数である。

同様にして、水平方向の各ラインの輝度の累計も算出することができる。

続いて、ステップＳ１７０２において、サムネイルの枠に外接する矩形領域の候補を求める。水平方向ならびに垂直方向の各ラインの輝度の累計は、一般に、図１８のようになる。例えば、１８０１は枠の左側、１８０２は枠の右側に対応している。したがって、（式２）の条件を満たす座標ｉを、枠に外接する矩形領域の左側の座標の候補として求めることができる。また、（式３）の条件を満たす座標ｉを、枠に外接する矩形領域の右側の座標の候補として求めることができる。ここで、Ｔｓ、Ｔｄは閾値、△ｉは１以上の小さい整数であり、精度が向上するように値を設定するものとする。

同じようにして、枠に外接する矩形領域の上側の座標と下側の座標の候補を求めることができる。

このようにして得られた枠の外接矩形の左側、右側、上側、下側の座標の候補を、それぞれ、Ｌｉ、Ｒｊ、Ｔｋ、Ｂｌ（ｉ、ｊ、ｋ、ｌは添え字）とする。これらの候補の組み合わせの中から、サムネイル取込み画像の中心を含む矩形、すなわち、（式４）を満たす組を求め、さらに、（式５）を用いて、所定の範囲内のアスペクト比を満たす組を、枠に外接する矩形の候補とする。（式４）と（式５）において、ｗ、ｈは、それぞれ、サムネイル取込み画像の横方向、縦方向の画素数である。また、△Ａは、アスペクト比のマージンであり、精度が向上するように値を調整するものとする。

ステップＳ１７０３において、枠に外接する矩形の候補が存在するかどうかによって分岐する。候補が存在する場合はステップＳ１７０４へ進み、候補が存在しない場合は、サムネイル切出しに失敗したものとして、サムネイル切出し処理を終了する。

続いて、ステップＳ１７０４において、ステップＳ１７０２で得られた枠の外接矩形領域の各候補に対して、枠の四隅の頂点を捜し、四隅の頂点が見つかった候補が複数存在すれば、その中の一つを選び出し、枠の頂点を決定する。例えば、枠の左上の頂点の座標は、外接矩形領域の左上の頂点の座標の近傍で、（式６）を満たす点（ｉ，ｊ）として捜し、さらに、この点が枠の左上であるかどうかを（式７）を満たしている点を左上の頂点とすることができる。ここで、Ｔｙｌ、Ｔｙｈ、Ｔｓｙｌ、Ｔｓｙｈは閾値であり、精度が向上するように値を調整するものとする。また、△ｐ、△ｑは、３以上の整数であり、精度が向上するように値を調整するものとする。（式６）と（式７）を満たす点が複数ある場合は、外接矩形領域の左上の挑戦の座標に最も近いものを枠の左上の頂点とする。

同様にして、左下、右上、右下の頂点の座標を求めることができる。枠の四隅の頂点の候補が複数存在する場合は、対応する枠に外接する矩形の面積が大きいものを、最終的に枠の頂点として決定する。

ステップＳ１７０５において、枠の四隅の頂点が決定できたかどうかによって分岐する。決定できた場合はステップＳ１７０６へ進み、頂点を検出できずに決定できなかった場合は、サムネイル切出しに失敗したものとして、サムネイル切出し処理を終了する。

続いて、ステップＳ１７０６において、ステップＳ１７０４で決定された枠の四隅の頂点を元に、枠の中のサムネイル画像を抽出する。前述のように、黒い太枠の線幅は、サムネイルの横のサイズと枠の線幅の比が、８：１となるように印刷しているので、枠の内側のサムネイル画像の四隅の頂点は、容易に算出することができる。処理を終えると、サムネイル切出し処理を終了する。

図１９は、ステップＳ１６０５の検索処理を説明するためのフローチャートである。ステップＳ１９０１において、インデックス管理情報４０３から、インデックスを一つずつ取り出し、ステップＳ１９０２において、インデックスが取り出せればステップＳ１９０３へ分岐し、全てのインデックスを取り終えていれば、ステップＳ１９０７へ分岐する。

ステップＳ１９０３において、ステップＳ１９０１で取り出したインデックスが、印刷履歴情報４０４に格納されている印刷履歴のいずれかに格納されているかどうかを判定する。印刷履歴に格納されていれば、ステップＳ１９０１で取り出したインデックスに格納されているサムネイルは印刷されたものと見なし、ステップＳ１９０４へ進む。印刷履歴に格納されていなければ印刷されておらず、ステップＳ１６０１で撮影されることはないので、検索対象からはずし、ステップＳ１９０１へ進む。このような構成とすることで検索処理を軽減することができる。

ステップＳ１９０４において、ステップＳ１６０４で抽出した特徴量と、ステップＳ１９０１で取り出したインデックスに格納されている特徴量とから、２つの特徴量の類似度の尺度となる距離ｄを算出する。特徴量の距離ｄは、（式８）によって算出でき、距離ｄが小さいほど、特徴量が類似していると判定される。（式８）において、Ｎ，Ｍは、それぞれ、画像の特徴量を抽出するためのブロックの水平方向、垂直方向の分割数であり、Ｙｉ（ｎ，ｍ）、Ｐｒｉ（ｎ，ｍ）、Ｐｂｉ（ｎ，ｍ）は、インデックスの特徴量中の第（ｎ，ｍ）ブロックの平均色の輝度、色差であり、Ｙｑ（ｎ，ｍ）、Ｐｒｑ（ｎ，ｍ）、Ｐｂｑ（ｎ，ｍ）は、ステップＳ６０４で抽出した特徴量中の第（ｎ，ｍ）ブロックの平均色の輝度、色差である。また、ｗ１、１２、ｗ３は、それぞれ、距離ｄを算出する上での重みであり、精度が向上するように値を調整するものとする。

ステップＳ１９０５において、ステップＳ１９０４で算出した距離ｄと所定の閾値Ｔと比較し、ｄ＞Ｔであれば、ステップＳ１９０１で取り出したインデックスのサムネイルは、ステップＳ１６０２で切出したサムネイル画像と類似していないものとし、ステップＳ１９０１へ進み、ｄ≦Ｔであれば、類似しているものとしてステップＳ１９０６へ進む。

ステップＳ１９０６では、インデックス候補リストに、ステップＳ１９０１で取り出したインデックスを追加する。インデックス候補リストの構成を図２０に示す。インデックス候補リストは複数のインデックス候補を格納することができ、検索処理の最初に初期化されインデックス候補が登録されていない状態にされる。ステップＳ１９０６では、新たにインデックス候補リストにインデックス候補を作成し、インデックス候補には、インデックスのインデックス番号と、ステップＳ１９０４で算出した距離ｄを格納する。また、インデックス候補には、後述の加算距離を格納することができ、ここでは、無効値である−１を格納しておく。処理が終われば、ステップＳ１９０１へ進む。

ステップＳ１９０７では、インデックス候補リストに格納されているインデックス候補を、距離によって昇順にソーティングを行なう。処理を終えると検索処理を終了する。

図２１は、ステップＳ１６０７の周辺画像チェック処理を説明するためのフローチャートである。

ステップＳ２１０１において、ステップＳ１７０４で決定したサムネイルの枠に対して、上下左右方向の隣の枠の頂点の座標を、それぞれ、ステップＳ１６０１で撮影した画像（以下、サムネイル取り込み画像と呼ぶ）から抽出する。そのために、まず、上下左右方向の隣の枠の頂点の候補を検出する。前述のように、隣り合うサムネイルの距離は、所定の距離で等間隔に並ぶようにレイアウトして印刷しているので、ステップＳ１７０４で決定したサムネイルの枠のサイズ（横幅と高さ）と枠の傾きから、隣の枠の頂点の候補の座標が推測でき、その座標の近傍で、ステップＳ１７０４と同じように、（式６）および（式７）等を用いて、隣の枠の頂点の候補の座標を検出できる。サムネイル取り込み画像の内容によっては、隣の枠の頂点の候補の座標が検出できない場合もある。この場合、隣の枠の頂点の候補が、サムネイル取り込み画像の外側にあって検出できないのか、それとも、サムネイル取り込み画像の中のあるべき位置に枠の頂点が存在していないのかは、前述のように、隣の枠の頂点の座標が推測できるので、容易に判断することができる。したがって、左右上下に隣接する（しているかもしれない）各枠に対して、検出した頂点の候補の座標が矛盾しているかどうかも判定できる。例えば、右方向に隣接する枠に対して、右下の頂点が検出でき、左下の頂点が検出できなかった場合は、矛盾していることになる。このように頂点が矛盾している場合は、その枠は存在しないものと判定する。また、あるべき位置に枠の頂点が存在しない場合は、その枠は存在しないものと判定する。サムネイル取り込み画像の外側にあって頂点が一つも検出できない場合は、枠の存在は不明と判定する。それ以外の場合は、枠は存在するものと判定する。このようにして、左右上下に隣接する（しているかもしれない）各枠に対して、存在する、存在しない、存在は不明のいずれかの判定を行い、存在すると判定された隣の枠の頂点を抽出することができる。処理を終えると、ステップＳ２１０２へ進む。

ステップＳ２１０２において、ステップＳ１６０５で作成したインデックス候補リストの中から、インデックス候補を一つずつ取り出す。ステップＳ２１０３において、ステップＳ２１０２でインデックス候補が取り出せた場合はステップＳ２１０４へ進み、インデックス候補リストから全てのインデックス候補を取り出し終え、インデックス候補が取り出せなかった場合は、ステップＳ２１１３へ進む。

ステップＳ２１０４において、印刷履歴情報４０４から、印刷履歴を一つずつ取り出す。ステップＳ２１０５において、ステップＳ２１０４で印刷履歴が取り出せた場合はステップＳ２１０６へ進み、印刷履歴情報４０４から全ての印刷履歴を取り出し終え、印刷履歴が取り出せなかった場合は、ステップＳ２１０２へ進む。

ステップＳ２１０６において、ステップＳ２１０４で取り出した印刷履歴にステップＳ２１０２で取り出したインデックス候補のインデックス番号が登録されているかどうかによって分岐する。登録されていれば、ステップＳ２１０４で取り出した印刷履歴は、ステップＳ２１０２で取り出したインデックス候補と関係があるのでステップＳ２１０７へ進み、登録されていなければステップＳ２１０４へ進む。

ステップＳ２１０７において、ステップＳ２１０４で取り出した印刷履歴と照らし合わせて、ステップＳ２１０１で判定した隣の枠の存在に矛盾が無いかどうかを判定する。そのために、ステップＳ２１０４で取り出した印刷履歴から、ステップＳ２１０２で取り出したインデックス候補に対応するサムネイルが印刷された位置を求める。ステップＳ２１０４で取り出した印刷履歴の中で、ステップＳ２１０２で取り出したインデックス候補のインデックス番号が、Ｋ番目に出現するものとする。前述のように、１行あたり５枚、１ページあたり１０行印刷するので、ステップＳ２１０２で取り出したインデックス候補のサムネイルは、（（Ｋ ｍｏｄ ５０）￥ ５ ＋ １）行目に存在し、その行の中で、左から（（（Ｋ ｍｏｄ ５０） ｍｏｄ ５）＋ １）番目に存在することになる。ここで、ｍｏｄは剰余演算子であり、（Ｋ ｍｏｄ ５０）は、Ｋを５０で割った余りになる。また、￥は除算演算子であり、（Ｋ ￥ ５）は、Ｋを５で割った商になる。これにより、ステップＳ２１０２で取り出したインデックス候補のサムネイルが、ページの先頭／末尾の行に存在するのか、行の左端／右端に存在するのか、容易に判定できる。このことと、ステップＳ２１０１で判定した隣の枠の存在とを照らし合わせれば、矛盾しているかどうかは容易に判定できる。ステップＳ２１１１において、ステップＳ２１１０で矛盾していないと判定された場合はステップＳ２１０９へ分岐し、矛盾していると判定された場合はステップＳ２１０４へ分岐する。

ステップＳ２１０９において、ステップＳ２１０１で存在すると判定された隣の枠の内側のサムネイルから、画像特徴量を抽出する。ステップＳ２１０１で隣の枠の頂点の座標が求められているので、内側のサムネイルの頂点の座標は、前述のように容易に求めることができる。また、存在すると判定された枠でも、枠の頂点の全てがサムネイル取込み画像に含まれているわけではない。そのような場合でも、前述のように、サムネイル取込み画像の外側に仮想的に頂点の座標を推定することができるので、サムネイル取込み画像に含まれない枠の頂点は、この推定された座標をそのまま利用するものとする。このようにすると、枠の内側のサムネイルの頂点の座標を全て求めることができる。この座標を用いて、隣の枠の内側のサムネイルの画像特徴量は、インデックスのサムネイル（代表画像）の画像特徴量を抽出した時と同じように、Ｎ×Ｍのブロックに分割した各ブロックの平均色を各ブロックの位置に対応付けたものとすることができる。また、隣の枠の内側のサムネイルの各ブロックに対して、サムネイル取込み画像に完全に含まれるかどうかも容易に判定でき、完全に含まれるブロックは有効ブロック、それ以外のブロックは無効ブロックと区別することができる。このようにして、存在すると判定された隣の枠の内側の各サムネイルに対して、画像特徴量を求め、各ブロックの有効／無効を判定することができる。

ステップＳ２１１０において、ステップＳ２１０９で求めたサムネイル取込み画像における隣のサムネイルの画像特徴量と、ステップＳ２１０４で取り出した印刷履歴における隣のサムネイルの画像特徴量との距離を求める。ステップＳ２１０４で取り出した印刷履歴の中で、ステップＳ２１０２で取り出したインデックス候補のインデックス番号が、Ｋ番目に出現するものとする。上下左右方向に隣のサムネイルが存在する場合、印刷履歴における隣のサムネイルは、それぞれ、印刷履歴のインデックスの中で、左のサムネイルは（Ｋ−１）番目、右のサムネイルは（Ｋ＋１）番目、上のインデックスは（Ｋ−５）番目、下のインデックスは（Ｋ＋５）番目のインデックスに格納されているサムネイルである。これらのインデックスの画像特徴量と、ステップＳ２１０９で求めた画像特徴量を、それぞれ対応するものに対して、距離を求める。距離のは、（式８）を用いて算出できるが、ステップＳ２１０９で無効ブロックと判定されたブロックに関しては、演算を行わない。このようにして得られた、存在すると判定された上下左右方向の隣のサムネイルの画像特徴量の距離を足し合わせたものを加算距離とする。

ステップＳ２１１１において、ステップＳ２１１０で算出された加算距離から、上下左右のサムネイルが類似しているかどうか判定して分岐する。加算距離を上下左右の隣のサムネイルの各画像特徴量の有効ブロック数の総和で除した値が、所定の閾値Ｔｂ以下であれば、類似しているものと判定してステップＳ２１１２へ進み、Ｔｂよりも大きければ類似していないものとしてステップＳ２１１３へ進む。

ステップＳ２１１２において、ステップＳ２１０２で取り出したインデックス候補の加算距離の値を必要に応じて修正する。インデックス候補の加算距離に−１が格納されていれば、インデックス候補の加算距離に、ステップＳ２１１１で算出した加算距離の値を代入する。そうでなければ、インデックス候補の加算距離の値と、ステップＳ２１１１で算出した加算距離の値を比較し、ステップＳ２１１１で算出した加算距離のほうが小さい場合のみ、インデックス候補の加算距離に、ステップＳ２１１１で算出した加算距離の値を代入する。処理を終えるとステップ２１０４へ進む。

ステップＳ２１１３において、インデックス候補リストに含まれる不要なインデックス候補を削除し、インデックス候補が類似度の高いものから順番に並ぶようにインデックス候補リストを整理する。すなわち、インデックス候補の加算距離の値が−１であるものは、周辺の画像が類似していないとみなし、インデックス候補リストから削除する。そして、各インデックス候補に対して、加算距離を距離に加えた値の小さい順にインデックス候補を並び替える。処理を終えると周辺画像チェック処理を終了する。

図２２は、ステップＳ１６０９の候補選択の詳細を説明するためのフローチャートである。

ステップＳ２２０１において、インデックス候補リストに格納されているインデックスの候補の距離を用いて、インデックス候補リストに格納されている有力な候補が一つであるかどうかによって分岐する。すなわち、インデックス候補リストの先頭に格納されているインデックス候補の距離が所定の値よりも小さく、２番目に格納されているインデックス候補の距離が所定の値よりも大きければ、有力な候補が一つであると判定する。有力な候補が一つであると判定された場合は、ステップＳ２２０２へ進み、そうでなければステップＳ２２０５へ進む。

ステップＳ２２０２において、現在行なっているインデックス選択処理が頭出し再生において行なわれているのかどうかによって分岐する。頭出し再生であれば所望のインデックスが選択できたものとして候補選択処理を終了し、そうでなければステップＳ２２０３へ進む。

ステップＳ２２０３において、インデックス候補リストに格納されている先頭のインデックス候補に対応するインデックスのタイムコードから動画のフレーム画像を求め、表示部２１３全体に静止画として表示する。ステップＳ２２０４において、ユーザは、表示部２１３に表示されている画像が所望の画像であるかどうか判定し、所望の画像であれば入力部２１２よりＯＫボタンを入力し、所望のインデックスが選択できたものとして候補選択処理を終了する。そうでなければ取消ボタンを入力し、ステップＳ２２０５へ進む。

ステップＳ２２０５において、インデックス候補リストに格納されているインデックス候補に対応したインデックスのサムネイル画像の一覧を、表示部２１３に表示する。例えば、３×３の９枚を所定の順序に従って、インデックス候補リストの順番に表示する。インデックス候補リストの先頭のインデックスに対応するサムネイルには、カーソルが表示される。ステップＳ２２０６において、必要に応じて、入力部２１２からカーソル移動キーを入力することにより、所望のサムネイル画像を選び、最後に、ＯＫボタンを入力することにより所望のインデックスが選択できたものとする。所望のサムネイル画像が見つからなかった場合は、取消ボタンを入力することにより、所望のインデックスが選択できなかったものとする。処理を終えると、候補選択処理を終了する。

図２３は本発明の第二実施例におけるディジタルカムコーダまたはディジタルカメラの構成を示すブロック図である。第一実施例と共通する部分には同じ番号を付与している。

ブロック構成としては記録媒体としてカード型フラッシュメモリ２３０１を使用しているところ、及びメカ部を持たないためドライブが省かれているところが第一実施例と異なる。

また、基本動作としては可動部を持たないとことを除いて第一実施例と同じであるため、第一実施例と異なる特徴について説明する。動画を扱う場合は、第一実施例における光磁気ディスク２０６の構成（図４）と同等の構成をカード型フラッシュメモリ２３０１に持たせるだけで、第一実施例と同様な処理を行なうことができる。

静止画を扱う場合は、動画記録領域４０５とは別に静止画記憶領域を設け、さらに、メディア管理情報４０１の中に、動画用のショット数５０６、インデックス数５０７、印刷履歴数５０８、プレイリスト数５０９とは別に、静止画用のショット数、インデックス数、印刷履歴数、プレイリスト数を設け、さらに、動画用のショット管理情報４０２、インデックス管理情報４０３、印刷履歴情報４０４、プレイリスト情報４０５とは別に、静止画用のショット管理情報、インデックス管理情報、印刷履歴情報、プレイリスト情報を設ける。そして、静止画は、１フレームのみの動画とみなすことによって、第一実施例と同じようにして、静止画を扱うことができる。ただし、静止画の場合、全てのショットは１フレームであるので、重要度は全て同じ値になり、インデックス印刷のステップＳ１００２で、重要度に基づいてインデックスを選べなくなるので、静止画のインデックス印刷の場合には、ステップＳ１００１の印刷条件の指定において、ユーザによって印刷する代表画像の枚数を指定することはできず、全ての静止画を印刷するものとする。静止画の頭出し再生も、動画と同じように行なうことができるが、この場合の再生は、インデックス印刷物を撮影することで選択した静止画を、表示部２１３に表示するだけになる。また、静止画のプレイリスト作成も第一実施例と同じように行なうことができるが、開始位置と終了位置の両方を指定する必要はなく、ステップＳ１４０４とステップＳ１４０５は不要になり、プレイリスト情報中のプレイリストに格納される再生区間では、開始のタイムコードのみが有効になる。静止画のプレイリスト再生は、プレイリスト情報に格納された再生区間に格納された順序に従って、各静止画を一定時間、再生区間のタイムコードに対応した静止画を表示部２１３に表示することになる。

また、図１６を用いて説明したインデックス選択処理において、ステップＳ１６０１のサムネイル撮影で、図２４に示されるように、表示部２１３に代表画像切出しガイドライン２４０１を表示し、ユーザは代表画像切出しガイドライン２４０１にぴったり枠の位置がそろうように、図１１に示されるインデックス印刷物の中の所望のサムネイルを撮影する。このようにすれば、サムネイル取り込み画像の中でのサムネイル画像の頂点座標は、あらかじめわかっているので、図１７で説明したサムネイル切出し処理のステップＳ１７０１のライン輝度類型算出を行なう必要はなく、代表画像切出しガイドライン２４０１を枠の外接矩形と見なして処理を進めてもよい。また、この場合、代表画像切出しガイドライン２４０１に対応する矩形の画像を、直接、サムネイル切出し処理で得られるサムネイル画像として抽出するようにしてもよい。このようにすれば、インデックス印刷物に印刷する代表画像は、図１１に示すように、代表画像の周りを枠で囲んで印刷する必要もない。また、ステップＳ１６０１のサムネイル撮影で、インデックス印刷物中のサムネイル画像を撮影するのではなく、例えばＬ判の用紙全体に１つのインデックスの画像を印刷した印刷物を撮影するようにしてもよい。

図２５は本発明の第三実施例におけるコンピュータの構成を示すブロック図である。第一実施例や第二実施例と共通する部分には同じ番号を付与している。

ブロック構成としては、光学系２０７、撮像素子２０８、撮像系処理部２０９、バッファメモリ２１０、フラッシュメモリ２１１が省かれており、代わりに、スキャナ２５０１、ハードディスク２５０２が接続されている点が第一実施例や第二実施例と異なる。また、通信Ｉ／Ｆ２１４を介して、ネットワーク２５０３と接続されている点も異なる。したがって、第三実施例のコンピュータでは、動画や静止画を直接撮影して記録しない。その代わりに、光磁気ディスク２０６に格納された動画、静止画、もしくは、ネットワーク２５０３経由で他のコンピュータ２５０４に保存されている動画、静止画を、ハードディスク２５０２に格納することができる。また、第一実施例や第二実施例において、光磁気ディスク２０６もしくはカード型フラッシュメモリ２３０１に格納されていたメディア管理情報、ショット管理情報、インデックス管理情報、印刷履歴情報、プレイリスト情報は、ハードディスク２５０２に格納され、フラッシュメモリ２１１に読み込まれていたメディア管理情報、ショット管理情報、インデックス管理情報、印刷履歴情報、プレイリスト情報は、ＲＡＭ２０４に読み込まれる。

そして、ハードディスク２５０２格納された動画、静止画に対して、インデックス生成部３０５において、第一実施例、第二実施例と同様に、メディア管理情報、ショット管理情報、インデックス管理情報を作成、更新することが可能である。この処理は、ハードディスク２５０２に動画、静止画を格納する時に行なってもよい。また、ハードディスク２５０２に格納された動画、静止画のインデックス印刷を、第一実施例、第二実施例と同様に行ない、印刷履歴情報を作成することができる。

また、ハードディスク２５０２に格納された動画、静止画の頭出し再生を、第一実施例、第二実施例と同様に行なうことができるが、この場合、図１６で説明したインデックス選択のステップＳ１６０１のサムネイル撮影は、スキャナ２５０１からインデックス印刷物の所望のサムネイル画像を含む画像を読み取り、ステップＳ１６０２のサムネイル切出しでは、ステップＳ１６０１で読み取られた画像を表示部２１３に表示し、同時に表示部２１３に表示されるカーソルを、入力部２１２からカーソル移動キーを操作することによって、サムネイルの頂点の座標を入力することで、サムネイル切出しを行なう。このように、ユーザの操作によってサムネイルの切出しを行なうので、インデックス印刷物をスキャンするのではなく、例えばＬ判の用紙全体に１つのインデックスの画像を印刷した印刷物をステップＳ１６０１においてスキャンするようにしてもよい。

また、第三実施例はコンピュータであるので、動画記録部３０２、インデックス生成部３０５、インデックス印刷部３０５、頭出し再生部３０７、プレイリスト作成部３０８、プレイリスト再生部３０９における各処理プログラムは、あらかじめ、光磁気ディスク２０６に記憶されており、コンピュータの電源起動時に、ＲＡＭ２０４へ読み込んで、ＲＡＭ２０４上の処理プログラムを実行するようにしてもよい。

（他の実施例）
上記実施例では、ステップＳ１６０５の検索処理や、ステップＳ１６０７の周辺画像チェックにおいて用いる画像特徴量として、ブロック分割した各ブロックの平均色を用いたが、これ以外の情報を画像特徴量としてもよい。例えば、ＩＳＯ／ＩＥＣ １５９３８−３に規定されている、色やテクスチャや形状等の画像の特徴記述子を用いてもよい。

また、第一実施例では、サムネイル画像の切り出しを容易にするために、インデックス印刷を行なう時に、サムネイル画像の切り出しのヒントとなる情報として、サムネイル画像の周りに黒い枠で囲んで印刷していたが、枠の色は黒に限定されるものでなく、輝度の低い色であればどんな色であってもよい。また、枠でなくてもよく、例えば、図２５に示されるように、サムネイル画像の四隅の頂点に、切り出しの目印となる黒い四角を配置するようにしてもよい。

また、第一実施例では、（式４）を用いて、撮影された画像の中心を含むサムネイル画像の外接矩形を採用していたが、中心を含むサムネイル画像が存在しない場合は、複数のサムネイル画像の外接矩形の候補を切り出し、撮影された画像の中心に最も近い重心を持つ外接矩形を採用するようにしてもよい。あるいは、外接矩形からサムネイル画像の領域を求め、撮影された画像の中心に最も近い重心を持つサムネイル画像を切り出すようにしてもよい。

また、第一実施例では、（式５）を用いて、サムネイル画像の外接矩形のアスペクト比によって、サムネイル画像の候補の絞込みを行なっていたが、サムネイル画像の外接矩形の候補に対して、サムネイル画像の領域を求めた後に、サムネイル画像のアスペクト比によって、サムネイル画像の候補の絞込みを行なうようにしてもよい。

また、第一実施例では、サムネイル画像の切り出しを容易にするために、インデックス印刷を行なう時に、サムネイル画像の周りに黒い枠で囲んで印刷していたが、ステップＳ１６０２において、例えば、特開平０５−４０８４９等で示される文書画像の領域抽出方法において一般的に行なわれている写真画像の領域抽出方法を用いれば、サムネイル画像を黒い枠で囲むことなくインデックス印刷を行なうことが可能である。このようにすれば、インデックス印刷物ではなく、他の印刷物、例えば、インデックスの画像を用いたアルバム形式で印刷した印刷物や、１枚をＬ判用紙全体に印刷した印刷物を撮影しても、頭出し再生等のためのインデックス選択を行なうことができる。また、同様に、この方法を用いることによって、サムネイル画像を黒い枠で囲んでいないインデックス印刷物に対しても、ステップＳ２１０１で行なっていた隣接枠頂点抽出において、隣接するサムネイル画像の頂点を抽出することができ、周辺画像のチェックを行なうことができる。

このように、サムネイル画像の切り出しのためのヒント情報がない場合は、サムネイル画像、もしくは、インデックスの画像の印刷物の切り出しの誤りが多くなる。このようなことをユーザに通知するために、ステップＳ１６０１においてサムネイル画像（もしくは、インデックスの画像）を撮影する時に、バッファメモリ２１０に格納される毎フレームごとに、上記写真画像の領域抽出を行ない、その結果、すなわち、写真画像の領域と判定された領域を示す枠を、表示部２１３に表示するフレーム画像に重ね合わせて表示し、ユーザに通知するようにしてもよい。これにより、ユーザは、正しく切り出しが行なわれているかどうかを判断することができ、正しく切り出しが行なわれている時に、入力部２１２からＯＫボタンを入力して、サムネイル画像を取り込むことができる。

また、上記実施例で、図２２で説明した候補選択処理において、有力候補が二つ以上であれば、３×３の候補一覧表示を行なっていたが、有力候補の数によって、候補一覧の出し方を変えてもよい。例えば、有力候補の数が２個以上４個以下であれば、有力候補に対して２×２の候補一覧を行ない、有力候補の数が５個以上９個以下であれば、有力候補以降の候補に対して３×３の候補一覧を行ない、有力候補以外の候補に対して、４×４の候補一覧を行なうなどしてもよい。

また、上記実施例では、図２２で説明した候補選択処理において、有力候補が一つでなければ、Ｓ２２０５に示されるように表示部全体に３×３の候補一覧表示を行なっていたが、最も有力な候補に対して、図１の１０１に示されるように表示部２１３の画面中に大きく表示し、動画である場合は再生を行ない、２番目以降の候補に対しては、図１の１０２から１０５に示されるように、サムネイルを順番に表示するようにしても良い。

また、上記実施例では、インデックス候補リストの先頭に格納されているインデックス候補の距離が所定の値よりも小さく、２番目に格納されているインデックス候補の距離が所定の値よりも大きければ、有力な候補が一つであると判定していたが、１番目と２番目の候補の距離の値の差が所定の値よりも大きい場合に、有力な候補が一つであると判定しても良い。

また、上記実施例では、インデックス印刷のステップＳ１００１において、印刷するインデックスの枚数を指定していたが、インデックス印刷のページ数、ページ内のサムネイルの行数、１行のサムネイルの枚数を指定するようにしてもよい。これらの情報を、印刷履歴情報４０４の印刷履歴に格納しておくことによって、各サムネイルのインデックス印刷物の用紙の中での位置が容易に算出できるので、インデックス選択におけるステップＳ１６０７において、ステップＳ１６０５で検索したサムネイルの候補の周辺の画像をチェックし、サムネイルの候補の絞り込み、および、候補の順位の変更に用いることができる。

また、上記実施例では、ステップＳ１６０７の周辺画像チェックにおいて、上下左右方向に隣接する４つのサムネイル画像のチェックを行なっていたが、これ以外に、右上、右下、左上、左下に隣接する、計８つのサムネイル画像のチェックを行なうようにしてもよい。

また、第三実施例において、スキャナ２５０１からインデックス選択を行なうための画像を入力していたが、スキャナ２５０１の代わりに、デジタルカメラ、もしくは、ディジタルビデオカムコーダを用いてもよい。

また、上記実施例において、図１９を用いて説明した検索処理において、ステップＳ１９０３において、対象となるインデックスが印刷されているかどうかの判定を、印刷履歴情報４０４に格納されているかどうかで判定したが、印刷を行なったかどうかの判定を、インデックス管理情報の各インデックスに印刷したかどうかのフラグをもたせ、このフラグを用いて判定するようにしてもよい。静止画の場合は、１つのショットに対して、１つのインデックスしかできないので、ショット管理情報の各ショットに、このフラグを持たせてもよい。いずれにしても、印刷したかどうかを判定するためのフラグは、いろいろな持ち方が可能である。

また、上記実施例では記録媒体上の開始位置または開始時間を表わす情報としてタイムコードを用いたが、その他の情報、例えば実時間（時計）であってもよい。あるいは、先頭からのフレーム番号であってもよい。

また、上記実施例では、インデックス選択を頭出し再生と、プレイリスト生成で用いたが、他の用途に用いることも可能である。例えば、印刷する静止画を選択したり、削除する静止画、もしくは、シーンを選択することなどにも利用が可能である。

画像の表示例の図である。 第一実施例のカムコーダのブロック図である。 主制御部のブロック図である。 光磁気ディスクの記録領域の模式図である。 フラッシュメモリの記録領域の模式図とメディア管理情報の模式図である。 ショット管理情報の模式図である。 インデックス管理情報の模式図である。 印刷履歴情報の模式図である。 インデックス生成部の処理を説明するためのフローチャートである。 インデックス印刷部の処理を説明するためのフローチャートである。 インデックス印刷の印刷結果の例である。 インデックス選択のためにインデックス印刷部を撮影した画像の例である。 頭出し再生部の処理を説明するためのフローチャートである。 プレイリスト再生部の処理を説明するためのフローチャートである。 プレイリスト情報の模式図である。 インデックス選択処理の説明をするためのフローチャートである。 サムネイル切り出し処理の説明をするためのフローチャートである。 インデックス印刷部を撮影した画像に対して、水平方向もしくは垂直方向の各ラインの輝度を累計した結果の例である。 検索処理の説明をするためのフローチャートである。 インデックス候補リストの模式図である。 周辺画像チェック処理を説明するためのフローチャートである。 候補選択処理を説明するためのフローチャートである。 第二実施例のディジタルディスクカムコーダ、ディジタルカメラのブロック図である。 表示部に表示する代表画像切出しガイドラインの例である。 第三実施例のコンピュータのブロック図である。 サムネイル画像の切り出しのヒントを付加したインデックス印刷の例である。

Claims (44)

1. 画像が印刷された印刷物を撮像して第１の画像を取得する撮像手段と、
   前記撮像手段で撮像した第１の画像の少なくとも一部と類似する画像を検索する検索手段とを備えたことを特徴とする画像処理装置。
2. 前記撮像手段で撮像した第１の画像から第２の画像を抽出する画像抽出手段を更に備え、
   前記検索手段は前記画像抽出手段で抽出された第２の画像と類似する画像を検索することを特徴とする請求項１記載の画像処理装置。
3. 画像と該画像の特徴量を対応づけて記憶する画像記憶手段と、
   前記画像抽出手段で抽出された第二の画像の特徴量を抽出する画像特徴量抽出手段とを更に備え、
   前記検索手段は前記画像特徴量抽出手段で抽出された特徴量と、前記画像記憶手段に記憶されている特徴量とを比較することで類似する画像を検索することを特徴とする請求項２記載の画像処理装置。
4. 静止画を印刷物に印刷するよう制御する印刷制御手段を更に備え、
   前記撮像手段は、前記印刷制御手段で印刷された印刷物を撮像して第１の画像を取得することを特徴とする請求項１記載の画像処理装置。
5. 静止画を印刷物に印刷するよう制御する印刷制御手段を更に備え、
   前記撮像手段は、前記印刷制御手段で印刷された印刷物を撮像して第１の画像を取得し、
   前記印刷制御手段は前記画像抽出手段が前記第２の画像を抽出するための補助情報を前記静止画とともに印刷し、
   前記画像抽出手段は、前記印刷制御手段によって印刷された補助情報を用いて前記第２の画像を抽出することを特徴とする請求項２記載の画像処理装置。
6. 前記補助情報は、前記静止画に外接する枠であることを特徴とする請求項５記載の画像処理装置。
7. 前記画像記憶手段に記憶されている画像を印刷物に印刷するよう制御する印刷制御手段と、
   前記画像記憶手段に記憶されている各画像が前記印刷制御手段により印刷されたかどうかを判定する判定手段とを更に備え、
   前記撮像手段は前記印刷制御手段で印刷された印刷物を撮像して第１の画像を取得し、
   前記検索手段は、前記画像特徴量抽出手段で抽出された特徴量と、前記判定手段によって印刷を行ったと判定された画像に対する特徴量のみとを比較することによって類似する画像を検索することを特徴とする請求項３記載の画像処理装置。
8. 画像と該画像の特徴量を対応づけて記憶する画像記憶手段と、
   前記画像記憶手段に記憶されている複数の画像を印刷物上にレイアウトして印刷するよう制御する印刷制御手段と、
   前記画像抽出手段で抽出した第２の画像の周辺に存在する前記静止画の画像領域を抽出する周辺画像抽出手段とを更に備え、
   前記撮像手段は前記印刷制御手段で印刷された印刷物を撮像して第１の画像を取得し、
   前記検索手段は前記画像抽出手段で抽出した第２の画像の特徴量、前記周辺画像抽出手段で抽出した周辺画像の特徴量とを用いて類似する画像を検索することを特徴とする請求項２記載の画像処理装置。
9. 前記画像記憶手段は、前記撮像手段によって撮像した画像を記憶することを特徴とする請求項３記載の画像処理装置。
10. 前記検索手段によって検索された画像を表示する表示手段を更に備えたことを特徴とする請求項１記載の画像処理装置。
11. 前記撮像手段で前記印刷物を撮像する際に撮像対象画像を表示する表示手段を更に備え、
    前記表示手段は、前記第２の画像を切り出すためのヒント情報を撮像対象画像に重ね合わせて表示することを特徴とする請求項２記載の画像処理装置。
12. 前記表示手段は、前記ヒント情報として前記第２の画像の領域を示す情報を所定の位置に表示し、
    前記画像抽出手段は、前記所定の位置の近傍で、前記第２の画像の領域を探索することを特徴とする請求項１１に記載の画像処理装置。
13. 前記表示手段は、前記ヒント情報として前記第２の画像の領域を示す情報を所定の位置に表示し、
    前記画像抽出手段は、前記第２の画像の所定の領域を第１の画像の領域として切り出すことを特徴とする請求項１１に記載の画像処理装置。
14. 前記検索手段で検索された画像を出力する出力手段を更に備え、
    前記出力手段は前記検索手段によって有力な検索結果が１つのみ得られた場合は、２番目以降の候補を出力せず、該検索結果の画像のみ出力することを特徴とする請求項３記載の画像処理装置。
15. 前記印刷物は複数の静止画が印刷されたものであり、
    前記画像抽出手段は、前記撮像手段で撮像した第１の画像中の複数の静止画のアスペクト比、第１の画像の中心と第２の画像の中心との距離、静止画が前記画像の中心を含んでいるかのうち１つもしくは複数の組み合わせに基いて第二の画像を抽出することを特徴とする請求項２記載の画像処理装置。
16. 動画を記憶する動画記憶手段を更に備え、
    前記画像記憶手段に記憶されている画像は前記動画記憶手段に記憶される動画から抽出した動画の代表画像であり、
    前記検索手段は前記画像特徴量抽出手段で抽出された特徴量と、前記画像記憶手段に記憶されている前記動画の代表画像の特徴量とを比較することで類似する画像を検索することを特徴とする請求項３記載の画像処理装置。
17. 前記画像記憶手段は、前記代表画像に対応した動画の再生位置とを対応付けて記憶し、
    前記検索手段によって検索された画像と対応づけられた再生位置から動画を再生する再生手段を更に備えたことを特徴とする請求項１６記載の画像処理装置。
18. 前記動画記憶手段は、前記撮像手段によって撮像した動画を記憶することを特徴とする請求項１６記載の画像処理装置。
19. 前記画像記憶手段、前記画像特徴量記憶手段は、取り外し可能な記録媒体に記憶することを特徴とする請求項３記載の画像処理装置。
20. 前記検索手段において、類似する画像特徴量が存在しなかった場合に、取り外し可能な記録媒体の交換を促すメッセージを表示することを特徴とする請求項１９記載の画像処理装置。
21. 前記検索手段は前記撮像手段で撮像した際に画像を検索することを特徴とする請求項１記載の画像処理装置。
22. 画像が印刷された印刷物を撮像して第１の画像を取得する撮像工程と、
    前記撮像工程で撮像した第１の画像の少なくとも一部と類似する画像を検索する検索工程とを備えたことを特徴とする画像処理方法。
23. 前記撮像工程で撮像した第１の画像から第２の画像を抽出する画像抽出工程を更に備え、
    前記検索工程は前記画像抽出工程で抽出された第２の画像と類似する画像を検索することを特徴とする請求項２２記載の画像処理方法。
24. 画像と該画像の特徴量を対応づけて記憶する画像記憶工程と、
    前記画像抽出工程で抽出された第二の画像の特徴量を抽出する画像特徴量抽出工程とを更に備え、
    前記検索工程は前記画像特徴量抽出工程で抽出された特徴量と、前記画像記憶工程に記憶されている特徴量とを比較することで類似する画像を検索することを特徴とする請求項２３記載の画像処理方法。
25. 静止画を印刷物に印刷するよう制御する印刷制御工程を更に備え、
    前記撮像工程は、前記印刷制御工程で印刷された印刷物を撮像して第１の画像を取得することを特徴とする請求項２２記載の画像処理方法。
26. 静止画を印刷物に印刷する印刷工程を更に備え、
    前記撮像工程は、前記印刷工程で印刷された印刷物を撮像して第１の画像を取得し、
    前記印刷工程は前記画像抽出工程が前記第２の画像を抽出するための補助情報を前記静止画とともに印刷し、
    前記画像抽出工程は、前記印刷制御工程によって印刷された補助情報を用いて前記第２の画像を抽出することを特徴とする請求項２３記載の画像処理方法。
27. 前記補助情報は、前記静止画に外接する枠であることを特徴とする請求項２６記載の画像処理方法。
28. 前記画像記憶工程に記憶されている画像を印刷物に印刷するよう制御する印刷制御工程と、
    前記画像記憶工程に記憶されている各画像が前記印刷制御工程により印刷されたかどうかを判定する判定工程とを更に備え、
    前記撮像工程は前記印刷制御工程で印刷された印刷物を撮像して第１の画像を取得し、
    前記検索工程は、前記画像特徴量抽出工程で抽出された特徴量と、前記判定工程によって印刷を行ったと判定された画像に対する特徴量のみとを比較することによって類似する画像を検索することを特徴とする請求項２４記載の画像処理方法。
29. 画像と該画像の特徴量を対応づけて記憶する画像記憶工程と、
    前記画像記憶工程に記憶されている複数の画像を印刷物上にレイアウトして印刷するよう制御する印刷制御工程と、
    前記画像抽出工程で抽出した第２の画像の周辺に存在する前記静止画の画像領域を抽出する周辺画像抽出工程とを更に備え、
    前記撮像工程は前記印刷工程で印刷された印刷物を撮像して第１の画像を取得し、
    前記検索工程は前記画像抽出工程で抽出した第２の画像の特徴量、前記周辺画像抽出工程で抽出した周辺画像の特徴量とを用いて類似する画像を検索することを特徴とする請求項２３記載の画像処理方法。
30. 前記画像記憶工程は、前記撮像工程によって撮像した画像を記憶することを特徴とする請求項２４記載の画像処理方法。
31. 前記検索工程によって検索された画像を表示する表示工程を更に備えたことを特徴とする請求項２２記載の画像処理方法。
32. 前記撮像工程で前記印刷物を撮像する際に撮像対象画像を表示する表示工程を更に備え、
    前記表示工程は、前記第２の画像を切り出すためのヒント情報を撮像対象画像に重ね合わせて表示することを特徴とする請求項２３記載の画像処理方法。
33. 前記表示工程は、前記ヒント情報として前記第２の画像の領域を示す情報を所定の位置に表示し、
    前記画像抽出工程は、前記所定の位置の近傍で、前記第２の画像の領域を探索することを特徴とする請求項３２に記載の画像処理方法。
34. 前記表示工程は、前記ヒント情報として前記第２の画像の領域を示す情報を所定の位置に表示し、
    前記画像抽出工程は、前記第２の画像の所定の領域を第１の画像の領域として切り出すことを特徴とする請求項３２に記載の画像処理方法。
35. 前記検索工程で検索された画像を出力する出力工程を更に備え、
    前記出力工程は前記検索工程によって有力な検索結果が１つのみ得られた場合は、２番目以降の候補を出力せず、該検索結果の画像のみ出力することを特徴とする請求項２４記載の画像処理方法。
36. 前記印刷物は複数の静止画が印刷されたものであり、
    前記画像抽出工程は、前記撮像工程で撮像した第１の画像中の複数の静止画のアスペクト比、第１の画像の中心と第２の画像の中心との距離、静止画が前記画像の中心を含んでいるかのうち１つもしくは複数の組み合わせに基いて第二の画像を抽出することを特徴とする請求項２３記載の画像処理方法。
37. 動画を記憶する動画記憶工程を更に備え、
    前記画像記憶工程に記憶されている画像は前記動画記憶工程に記憶される動画から抽出した動画の代表画像であり、
    前記検索工程は前記画像特徴量抽出工程で抽出された特徴量と、前記画像記憶工程に記憶されている前記動画の代表画像の特徴量とを比較することで類似する画像を検索することを特徴とする請求項２４記載の画像処理方法。
38. 前記画像記憶工程は、前記代表画像に対応した動画の再生位置とを対応付けて記憶し、
    前記検索工程によって検索された画像と対応づけられた再生位置から動画を再生する再生工程を更に備えたことを特徴とする請求項３７記載の画像処理方法。
39. 前記動画記憶工程は、前記撮像工程によって撮像した動画を記憶することを特徴とする請求項３７記載の画像処理方法。
40. 前記画像記憶工程、前記画像特徴量記憶工程は、取り外し可能な記録媒体に記憶することを特徴とする請求項２４記載の画像処理方法。
41. 前記検索工程において、類似する画像特徴量が存在しなかった場合に、取り外し可能な記録媒体の交換を促すメッセージを表示することを特徴とする請求項４０記載の画像処理方法。
42. 前記検索工程は前記撮像工程で撮像した際に画像を検索することを特徴とする請求項２２記載の画像処理方法。
43. 請求項２２乃至４２のいずれか１つに記載の画像処理方法をコンピュータに実行させるための制御プログラム。
44. 請求項４３に記載の制御プログラムを格納したことを特徴とするコンピュータ読み取り可能な記憶媒体。

Images