JP2005173897A - 画像処理装置及び画像処理方法及びプログラム - Google Patents
画像処理装置及び画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP2005173897A JP2005173897A JP2003411796A JP2003411796A JP2005173897A JP 2005173897 A JP2005173897 A JP 2005173897A JP 2003411796 A JP2003411796 A JP 2003411796A JP 2003411796 A JP2003411796 A JP 2003411796A JP 2005173897 A JP2005173897 A JP 2005173897A
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature amount
- printed
- unit
- index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Analysis (AREA)
Abstract
【課題】 複数の静止画、動画の中から所望の画像を検索することができる画像処理装置を提供する。
【解決手段】 画像が印刷された印刷物を撮像して画像を取得し、該画像の少なくとも一部と類似する画像を検索することで、所望の画像を容易に検索できる。
【選択図】 図16
【解決手段】 画像が印刷された印刷物を撮像して画像を取得し、該画像の少なくとも一部と類似する画像を検索することで、所望の画像を容易に検索できる。
【選択図】 図16
Description
本発明は画像処理技術に関し、特に、複数の静止画、動画の中から、所望の画像を検索する画像処理技術に関するものである。
近年、ディジタルカメラや、ディジタルビデオカムコーダ等の普及により、個人でも大量の静止画や動画を撮影するようになってきている。そのようにして撮影された静止画や動画は、ディジタルカメラや、ディジタルビデオカムコーダに装備されているディスプレイでも見ることができるが、ディスプレイが小さいため、一般に、テレビに出力してテレビで見たり、パーソナルコンピュータに取り込んで、パーソナルコンピュータのディスプレイで見たりされている。
このように大きなディスプレイに表示すると、見やすくなるというメリットがある反面、ディスプレイがある場所に縛られて、好きな場所で好きな時に見れないという欠点がある。また、前述のように、ディジタルカメラや、ディジタルビデオカムコーダ等でも見れるが、ディスプレイが小さいため、見づらいという欠点がある。そのために、特に静止画においては、紙に印刷することで、時間や場所に制約されることなく、見て楽しむことができる。
一方、大量に蓄積された静止画や動画は、所望の静止画やシーンを検索するのが困難になってくるが、これを解決するために、静止画や動画をパーソナルコンピュータに取り込み、特許文献1に開示されているように、静止画、もしくは、動画のシーンの代表画像のサムネイルに対して、付属情報(タイムコード等)を対応付けて記憶しておき、サムネイル画像の一覧を大きなディスプレイに表示し、その中から所望の静止画、もしくは、シーンを捜し、選択されたサムネイルに対応する静止画、もしくは、シーンをディスプレイに表示、あるいは、再生することが行なわれている。特に動画は、通常は動画を再生して検索する方法が行なわれているので、この方法は動画にとって有用である。
特開平7−284067号公報
特開平7−95505号公報
しかしながら、前述と同じように、大きなディスプレイで表示すると、ディスプレイがある場所でしか検索できないという欠点がある。また、この方法を、ディジタルカメラや、ディジタルビデオカムコーダ等で行なおうとすると、前述と同じように、ディスプレイが小さいため、一度にたくさんのサムネイルを表示することができず、探しづらいという欠点がある。また、この方法では、ディジタルカメラや、ディジタルビデオカムコーダ以外に、パーソナルコンピュータが必要であるという欠点と、一旦、静止画や動画をパーソナルコンピュータに取り込まなければならないという煩わしさがあった。
このような欠点を解決するために、特許文献2に開示されているビデオプリントアクセス方法およびシステムにおいては、ビデオ再生機で再生したビデオを、ビデオ内容の把握に重要なビデオ内の大きな変化をイベントとして捕らえ、その結果として抜き出した画像をプリントし、同時に該画像の付属情報をバーコードあるいは磁性体としてプリントし、ビデオアクセス装置付属のスキャナにより出力紙上の付属情報をバーコードあるいは磁性体として読み取り、関連するビデオのアクセス、再生を自動的に行う方法が提案されている。この方法は、動画だけでなく、静止画にも応用することが可能である。
紙にサムネイル画像を一覧し、紙をめくって所望の画像を捜すほうが、ディスプレイに表示された一覧を切替ながら捜すよりも、人間にとって直感的で捜しやすいというメリットもある。
しかしながら、特許公報2に開示されている方法では、バーコードを画像と隣り合わせて印刷するため、観賞にとって余分な情報が印刷され、見栄えが悪くなるという欠点があった。また、磁性体としてプリントすることによって、用紙のコストや、印刷のコストが上がるという欠点があった。また、バーコードを読み取ったり、磁性体を読み込むための特別の機器が必要になるという欠点もあった。また、ディジタルカメラやディジタルビデオカムコーダ等では、取り外し可能な記録媒体を用いており、これらの機器に装填されている記録媒体と、印刷物の対応が取れていない場合があり、このような場合を想定していないという欠点もあった。
さらに、検索のために特別な印刷を行なった印刷物を用いないと、検索ができないという欠点があった。例えば、静止画をL判用紙に印刷し、ポケットアルバムに入れたものを観賞していて、その中の一つの静止画を使って、編集等の作業を行なおうと思っても、そのL判用紙の印刷物を使って検索できないという欠点があった。
従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、場所や時間に束縛されず、たとえ、小さいディスプレイしか持たない機器を用いていても、所望の静止画、もしくは、動画のシーンを容易に検索および選択できるようにすることである。
また、本発明の他の目的は、検索用に特殊な情報を付加した印刷物を用いなくても、一般的な印刷物からも、所望の静止画、もしくは、動画のシーンを検索および選択できるようにすることである。
また、本発明の他の目的は、検索のためだけに特別な機器(パーソナルコンピュータや、バーコードリーダなど)を追加することなく、印刷物から所望の静止画、もしくは、動画のシーンを検索および選択できるようにすることである。
また、本発明の他の目的は、取り外し可能な記録媒体を用いた場合に、印刷物と記録媒体の対応が取れていない場合に、適切な対応を図るようにすることである。
本発明は上記目的を達成するために、画像が印刷された印刷物を撮像して画像を取得する撮像手段と、前記撮像手段で撮像した画像の少なくとも一部と類似する画像を検索する検索手段とを備えたことを特徴とする画像処理装置を提供する。
また本発明は、画像が印刷された印刷物を撮像して画像を取得する撮像ステップと、前記撮像ステップで撮像した画像の少なくとも一部と類似する画像を検索する検索ステップとを備えたことを特徴とする画像処理方法を提供する。
本発明によれば、ユーザは、画像が印刷された印刷物に対して検索を行うことで、所望の画像を得ることができる。
以下、図面を参照して、本発明の好適な実施例について詳細に説明する。
図2は本発明の実施例1における交換可能な光磁気ディスク型記録媒体を用いるディジタルカムコーダの構成を示すブロック図である。
ドライブユニット205はメカ機構とサーボ機構、光ピックアップ等から成り、主制御部201によって、光磁気ディスク206とともに制御される。主制御部201は、CPU202、ROM203、RAM204を有し、CPU202はROM203に格納された制御プログラムを実行することにより、以下で説明する処理を含む、本装置における各種制御を実現する。主制御部201は、図3に示されるように、ドライブユニット205を制御するためのドライブ制御部301の他に、光磁気ディスク206に動画の記録処理を行う動画記録部302、光磁気ディスク206に格納された動画を時間で管理するためのタイムコードを更新するタイムコードカウンタ303、撮影日時などを取得するための日時タイマ304、光磁気ディスク206に格納された動画のインデックスを生成するインデックス生成部305、インデックス生成部305で作成されたインデックスを印刷するインデックス印刷部306、動画を所望の位置を頭出しして再生する頭出し再生部307、動画の再生手順を作成するプレイリスト作成部308、プレイリスト作成部308で作成された再生手順に従って動画を再生するプレイリスト再生部309等から構成され、これらの処理は、内部のROM203にプログラムとして格納されている。
まず、ドライブユニット205に光磁気ディスク206が装填されたときの初期化処理を説明する。光磁気ディスク206がドライブユニット205に装填されると、ドライブ制御部301によって、図4に示される光磁気ディスク206上のメディア管理情報401とショット管理情報402とインデックス管理情報403と印刷履歴情報404が、フラッシュメモリ211(途中で電源を落としても内容が消えないように不揮発性)に読み込まれる。
図5に、メディア管理情報401とショット管理情報402とインデックス管理情報403と印刷履歴情報404が読み込まれたフラッシュメモリ211の状態を示す。図5において、カムコーダID501は、個々のカムコーダを識別するための識別子であり、9桁の数字で表現され、カムコーダ製造時に記録されるものである。メディア・カウンタ502は、カムコーダが扱った未使用のメディアの数をカウントアップするものであり、カムコーダ製造時には0が格納されている。また、図5にメディア管理情報401の構成を示す。図5に示されるように、メディア管理情報401は、メディアID503と最新更新日時504と最大タイムコード505とショット数506とインデックス数507と印刷履歴数508とプレイリスト数509とから構成される。
ドライブ制御部301によって、メディア管理情報401がフラッシュメモリ211に読み込まれると、装填されている光磁気ディスク206が未使用であるかどうか判定される。光磁気ディスク206上のメディアID503は、製造時に0に設定されており、メディアID503の値が0であれば、未使用であると判定し、最大タイムコード505に初期値0を代入し、更に、ショット数506とインデックス数507と印刷履歴数508とプレイリスト数509にそれぞれ初期値0を代入し、続いて、メディア・カウンタ702を1だけカウントアップし、続いて、メディアを識別するためのIDを新たに生成して、メディアID503に生成された値を書き込む。生成されるIDの値は、フラッシュメモリ211上のカムコーダIDの9桁の数字を上9桁とし、メディア・カウンタ702の値3桁を下3桁とする12桁の値とする。未使用でないと判定されれば、メディア・カウンタ702とメディアID503の更新は行なわない。
次に、撮影対象の動画の記録過程を説明する。入力部212の撮影開始ボタンが押されると、被写体からの反射光は光学系207を通して撮像素子208に投影され、電気信号に変換される。撮像素子208からは1フレームの全ての画素が順次走査で読み出され、撮像系処理部209において、ノイズ除去、自動ゲイン調整を行なった後、A/D変換を行なってディジタル化し、輝度信号(Y)と色差信号(Pr、Pb)に分離されてY/Pr/Pbデータが生成される。このY/Pr/Pbデータはバッファメモリ210に蓄積された後、動画記録部302においてDCTを用いた圧縮アルゴリズムによって圧縮され、最後に同期符号やエラー訂正符号の付加などが行われてドライブユニット205を介して光磁気ディスク206上の動画記録領域605に記録される。このようにして入力部212の撮影終了ボタンが押されるまで、動画が記録される。
撮影開始ボタンが押され、サーボ機構が安定して上述の動画記録が開始されると、タイムコードカウンタ303はフレーム単位でカウントアップを開始し、インデックス生成部305において、インデックスの生成が開始され、フラッシュメモリ211上のインデックス管理情報403に記録される。このインデックスの生成及び記録の処理に関しては、後で詳しく説明する。また、動画記録が開始されると、フラッシュメモリ211上のショット数506の値を1だけカウントアップし、ショット管理情報602の中の有効なショット情報の末尾に、新たなショット情報を生成して追加する。図6に示されるように、ショット管理情報602は複数のショット情報から構成され、各ショット情報はショット番号とタイムコードと撮影日時が対応付けられている。新たに生成されるショット情報は、ショット数506の値をショット番号とし、最大タイムコード505をタイムコードとし、撮影ボタン401が押された時の日時タイマ504の日時の値を撮影日時としたものである。
また、動画の記録が撮影終了ボタンの押下によって終了すると、タイムコードカウンタ303は停止し、その時のタイムコードカウンタの値を、最大タイムコード506へ格納する。更に、日時タイマ304の日時の値を、フラッシュメモリ211上の最新更新日時504に書き込み、フラッシュメモリ211上のメディア管理情報401、ショット管理情報402、インデックス管理情報403を、光磁気ディスク206上のメディア管理情報401、ショット管理情報402、インデックス管理情報403に、それぞれ書き込む。
次に、図9に基づいて、インデックス生成部305におけるインデックスの記録過程を説明する。撮影開始ボタンが押され、上述の動画記録が開始されると、ステップS901において、バッファメモリ210に蓄積される動画の1フレーム分のY/Pr/Pbデータを取り出す。ステップS902において、取り出すことができたかどうかを判定し、取り出すことができた場合はステップS903へ進み、撮影終了ボタンが押されて取り出すことができなかった場合はステップS908へ進む。
ステップS903において、ステップS901で取り出したフレーム画像をインデックスとなる代表画像として採用するかどうかを判定する。ショットの先頭フレームは、必ず、代表画像として採用する。それ以降のフレームに関しては、例えば、特開平8−32924に示されている手法を用いて、2つのフレーム画像の輝度や色差等を用いた類似性(もしくは距離)に基づいて、近傍のフレームと変化が少ないフレームが代表画像となるように、代表画像として採用するかどうかを判定する。代表画像として判定された場合はステップS904へ進み、そうでなければステップS901へ進む。
ステップS904において、ステップS901で取り出した画像データから縮小画像(サムネイル画像)を作成し、ステップS905へ進む。ステップS905において、ステップS901で取り出した画像データから、代表画像の特徴量を抽出してステップS906へ進む。抽出する特徴量としては、代表画像を例えばN×Mのブロックに分割した各ブロックの平均色を各ブロックの位置に対応付けたものとする。
ステップS906において、インデックス管理情報403にインデックスを追加して記録する。すなわち、メディア管理情報401のインデックス数507を1だけカウントアップし、インデックス管理情報403の中の有効なインデックスの末尾に、新たなインデックスを生成して追加する。図7にインデックス管理情報の構成を示す。インデックス管理情報403は複数のインデックスから構成され、各インデックスは、ショット番号とタイムコードと重要度と画像特徴量とサムネイル画像データから構成される。新たに生成されるインデックスのショット番号は、ショット数506の値とし、タイムコードは、抽出された代表画像に対応したタイムコードをタイムコードカウンタ303より求める。また、ステップS904において作成したサムネイル画像とステップS905で抽出した画像特徴量も登録する。ただし、ここでは、重要度は格納しない。
ステップS907において、ステップS906で追加したインデックスの一つ手前のインデックスの重要度を算出して格納する。インデックスとして、変化の少ないフレームが代表画像として選ばれ、変化が少ない長いシーンが、人にとって印象に残りやすく、より重要と考えられるので、インデックスの重要度は、抽出した代表画像から次の代表画像までの時間で表現するものとする。したがって、ステップS906で追加したインデックスのタイムコードから、一つ手前のインデックスのタイムコードを差し引くことによって求めることができる。ただし、重要度は、代表画像が抽出された時点では、対応するインデックスに重要度を格納することができず、例えば、ショットの先頭フレームをインデックスとして登録した時点では、重要度の記録は行なわない。処理を終えると、ステップS901へ進む。
ステップS908は、撮影終了ボタンが押されて、撮影が終了した時の処理であり、末尾のインデックスに重要度を格納する。重要度は、タイムコードカウンタ303の値から、末尾のインデックスのタイムコードの値を差し引くことによって求めることができる。
次に、入力部212のインデックス印刷ボタンが押された場合のインデックス印刷部306の処理を、図10を用いて説明する。入力部212のインデックス印刷ボタンが押されると、ステップS1001において、印刷する代表画像の枚数の指定を行なう。ユーザは、入力部212の数字キーを用いて、印刷する代表画像の枚数の入力を行なう。
続いて、ステップS1002において、ステップS1001で指定された枚数の代表画像を印刷するために、インデックス管理情報403の中から、指定された枚数と同じ数のインデックスを選択する。選択する基準は、インデックスの重要度を用い、インデックス管理情報403の中から重要度の高いものから順番に、指定された枚数分のインデックスを選択する。ステップS1003において、ステップS1002で選択されたインデックスのタイムコードから動画中のインデックスの代表画像のフレーム画像を抽出し、フレーム画像を印刷用代表画像とする。
続いて、ステップS1004において、ステップS1002およびステップS1003で選択したインデックスおよび印刷用代表画像(サムネイル)に対してインデックス印刷のレイアウトを決定する。インデックス印刷の例を図11に示す。各サムネイルの右上に、インデックス管理情報403のインデックスに格納されているタイムコードを印刷する。図に示されるように、印刷するサムネイル画像は、タイムコードの順番に、各行左から右へ配置され、各行は上から下に配置される。また、図に示されるように、各サムネイルの周りには、黒い太枠が印刷される。黒い太枠の線幅は、サムネイルの横のサイズと枠の線幅の比が、8:1となるようにする。したがって、枠の横方向の外側のサイズの10分の1が、枠の線幅になることになる。このような太枠を印刷することでサムネイルの抽出が容易になる。インデックス印刷は、A4の用紙に、1行あたり5枚、全部で10行配置するものとする。したがって、1ページあたり、最大50枚のサムネイル画像を印刷することができる。
また、水平方向、または、垂直方向に隣り合うサムネイルの距離は、所定の距離で等間隔に並ぶようにレイアウトする。すなわち、サムネイルを囲む枠の横幅(または高さ)と、サムネイル間の距離の比は、一定になるようにレイアウトする。
続いて、ステップS1005において、ステップS1004で決定されたレイアウトにしたがって、印刷を行なう。すなわち、レイアウトに基づき、R,G,B毎にラスタライズを行なって多階調のビットイメージデータを作成し、さらに、インクに対応した印刷用のY,M,C,K,の多階調ビットイメージデータに変換する。この多階調ビットイメージデータに対して、各色毎にディザ法や誤差拡散法などによるハーフトーン処理を行なって、2値化されたビットマップデータに変換する。そして、2値化されたビットマップデータを、通信インタフェース214を介してプリンタ215に送信し、プリンタ215により印刷用紙に印刷を行う。なお、印刷用紙は、白い用紙を使用することが望ましい。通信インタフェースとしてはIEEE1394やUSBなどを使用することが出来る。
続いて、ステップS1006において、印刷履歴情報404に、今回の印刷の情報を印刷履歴として追加記録する。メディア管理情報401の印刷履歴数508を1だけカウントアップし、印刷履歴情報404の中の有効な印刷履歴の末尾に、新たな印刷履歴を生成して追加する。印刷履歴情報404の構成を図8に示す。新たに追加する印刷履歴として、印刷日時には印刷が終了した時の日時タイマ304の値を格納し、サムネール数にはステップS1001で指定した代表画像の枚数を格納し、インデックス番号に、ステップS1002で選択したインデックス管理情報403の中のインデックスの番号を、タイムコードの順番に格納していく。そして、フラッシュメモリ211上のメディア管理情報401と印刷履歴情報404を、光磁気ディスク206上のメディア管理情報401と印刷履歴情報404に、それぞれ書き込む。印刷履歴情報の記録が終われば、インデックス印刷処理を終了する。
図13は、入力部212の頭出し再生ボタンが押された時の頭出し再生部307の処理を説明するための図である。
入力部212の頭出し再生ボタンが押されると、ステップS1301において、表示部213に「頭出しするサムネイルを撮影してください」とメッセージが表示される。続いて、ステップS1302において、ユーザが図11に例示されるインデックス印刷の所望のサムネイルを、本ディスクカムコーダで撮影すると、対応するサムネイルをインデックス管理情報403から検索し、サムネイルに対応したインデックスを求める。ステップS1302のインデックス選択処理は、後で詳しく説明する。続いて、ステップS1303において、ステップS1302で得られたインデックスに格納されているタイムコードから動画を再生する。動画再生中は、入力部212の取消ボタンを押すことによって、動画の再生を中止し、後述のステップS2205、ステップS2206の処理と同様に、表示部213に後述のインデックス候補リストに格納されたインデックスに対応するサムネイルの一覧を表示して他のインデックスを選択し、他のタイムコードから動画を再生することが可能である。
図14は、入力部212のプレイリスト作成ボタンが押された時のプレイリスト作成部308の処理を説明するための図である。
入力部212のプレイリスト作成ボタンが押されると、ステップS1401において、表示部213に「再生区間の先頭のサムネイルを撮影してください」とメッセージが表示される。ステップS1402において、ユーザが入力部212からOKボタンを入力するとステップS1403へ進み、取消ボタンを入力すると、ステップS1407へ進む。ステップS1403において、ユーザが図11に例示されるインデックス印刷の所望のサムネイルを、本ディスクカムコーダで撮影すると、対応するサムネイルをインデックス管理情報403から検索し、サムネイルに対応したインデックスを求める。ステップS1403のインデックス選択処理は、後で詳しく説明する。
続いて、ステップS1404において、表示部213に「再生区間の最後のサムネイルを撮影してください」とメッセージが表示され、さらに、ステップS1405において、ユーザが図11に例示されるインデックス印刷の所望のサムネイルを、本ディスクカムコーダで撮影すると、対応するサムネイルをインデックス管理情報403から検索し、サムネイルに対応しインデックスを求める。ステップS1405のインデックス選択処理は、後で詳しく説明する。
続いて、ステップS1406において、ステップS1403で得られたインデックスに格納されているタイムコードを再生区間の開始のタイムコードとし、ステップS1405で得られたインデックスの(インデックス管理情報403の中での)次のインデックスに格納されているタイムコードを再生区間の終了のタイムコードとする。ただし、次のインデックスが存在しない場合は、最大タイムコード505に格納されているタイムコードを再生区間の終了のタイムコードとする。処理を終えると、ステップS1401へ進む。
ステップS1407では、プレイリスト情報405に、新たに作成されたプレイリストを登録する。図15にプレイリスト情報405の構成を示す。ステップS1406で追加された再生区間の数をプレイリスト情報405のプレイリストの再生区間に格納し、ステップS1406で追加された再生区間(再生区間の開始と終了のタイムコード)を順番にプレイリスト情報405のプレイリストの再生区間に格納する。最後に、メディア管理情報401のプレイリスト数509の値を1だけカウントアップし、フラッシュメモリ211上のメディア管理情報401とプレイリスト情報405を、光磁気ディスク206上のメディア管理情報401とプレイリスト情報405に、それぞれ書き込み、プレイリスト作成処理を終了する。
入力部212のプレイリスト再生ボタンが押されると、プレイリスト再生部309において、プレイリスト情報405に格納されているプレイリストの中から、ユーザに再生するプレイリストを選択させ、選択されたプレイリストに格納されている再生区間の順番に従って動画を表示部213に再生する。
図16は、ステップS1302、ステップS1403、ステップS1405のインデックス選択処理を説明するための図である。
ステップS1601において、ユーザにより、図11に例示されるインデックス印刷の印刷物の中にある所望のサムネイル画像を、本ディスクカムコーダにより撮影する。その際、所望のサムネイルが中央に位置するように撮影を行なう。前述の撮影対象の動画の記録過程と同様にして、光学系207を通して入力されたインデックス印刷物の反射光は電気信号に変換され、1フレームごとにデジタル化されて画像データ(Y/Pr/Pbデータ)が生成されてバッファメモリ210に次々と一時的に格納される。ただし、光磁気ディスク206には記録されず、ユーザの確認用に、表示部213に表示されるだけである。ユーザが入力部212からOKボタンを入力すると、その時の画像データはバッファメモリ210に蓄積されたまま、ステップS1602へ進む。この時にバッファメモリ210に格納されている画像データは、図12に示されるような画像である。ステップS1602において、バッファメモリ210に格納された画像データから、サムネイルに対応した部分画像を切出す。この処理は、後で詳しく説明する。ステップS1603において、ステップS1602でサムネイル画像が切出せたかどうか判定を行ない、切出せていない場合は表示部213に「サムネイル画像の切出しに失敗しました。もう一度、サムネイルを撮影してください。」とメッセージを表示してステップS1601に戻り、切出せている場合はステップS1604へ進む。
ステップS1604において、ステップS1602で切出されたサムネイル画像から、サムネイル画像の特徴量を抽出する。本処理は、ステップS905の特徴量抽出処理と同じ処理であるので、説明は省略する。
ステップS1605において、ステップS1604で抽出した特徴量と、インデックス管理情報403に格納されているインデックスの特徴量とを比較し、ステップS1604で抽出した特徴量と類似する特徴量を持つインデックスを、インデックス候補リストに抽出する。本書処理の詳細は後で述べる。
ステップS1606において、ステップS1605でインデックスの候補が抽出できたかどうかによって分岐する。インデックス候補リストにインデックスが格納されていればステップS1607へ進み、格納されていなければ、ステップS1611へ進む。
ステップS1607において、ステップS1605で抽出した各インデックス候補に対して、ステップS1601で取得したインデックス印刷物の画像における、ステップS1602で切出したサムネイル画像の周辺の画像との整合性をチェックする。整合性が取れないインデックス候補に対しては、インデックス候補リストの中から削除し、整合性が取れるインデックスに対しては、インデックス候補リスト中のインデックスの順番を、周辺画像の情報を加味した類似度を用いて入れ替える。このような構成とすることで、検索の効率を高めることが出来る。本処理の詳細は後で説明する。ステップS1608において、インデックス候補リスト中に候補が残っていればステップS1609へ進み、候補が残っていなければステップS1611へ進む。
ステップS1609において、インデックス候補リストに基づいて、必要に応じて、インデックスの候補を表示部213へ表示し、ユーザはインデックス候補の中から所望のインデックスを選択する。本処理は、後で詳しく説明する。ステップS1610において、ステップS1609ユーザが所望のインデックスを選択できた場合はインデックス選択処理を終了し、選択できなかった場合はステップS1611へ進む。
ステップS1611において、表示部213へ「撮影されたサムネイルに対応するインデックスは、装填されている光磁気ディスクには存在しません。光磁気ディスクを交換してください。」とメッセージを表示し、ユーザに光磁気ディスクの交換を促す。ユーザが光磁気ディスクを交換すると、前述の光磁気ディスク206が装填されたときの初期化処理を行ない、ステップS1601へ進む。
図17は、S1602のサムネイル切出し処理を説明するためのフローチャートである。ステップS701において、ステップS1601において撮影されたサムネイル取込み画像(バッファメモリ210に格納されている)に対して、水平方向ならびに垂直方向の各ラインの輝度の累計を算出する。サムネイル取込み画像の点(i,j)の輝度をY(i,j)(原点は画像の左上とする)とすると、垂直方向の第iラインの輝度の累計SY(i)は、(式1)で算出することができる。(式1)において、hはサムネイル取込み画像の縦方向の画素数である。
同様にして、水平方向の各ラインの輝度の累計も算出することができる。
続いて、ステップS1702において、サムネイルの枠に外接する矩形領域の候補を求める。水平方向ならびに垂直方向の各ラインの輝度の累計は、一般に、図18のようになる。例えば、1801は枠の左側、1802は枠の右側に対応している。したがって、(式2)の条件を満たす座標iを、枠に外接する矩形領域の左側の座標の候補として求めることができる。また、(式3)の条件を満たす座標iを、枠に外接する矩形領域の右側の座標の候補として求めることができる。ここで、Ts、Tdは閾値、△iは1以上の小さい整数であり、精度が向上するように値を設定するものとする。
同じようにして、枠に外接する矩形領域の上側の座標と下側の座標の候補を求めることができる。
このようにして得られた枠の外接矩形の左側、右側、上側、下側の座標の候補を、それぞれ、Li、Rj、Tk、Bl(i、j、k、lは添え字)とする。これらの候補の組み合わせの中から、サムネイル取込み画像の中心を含む矩形、すなわち、(式4)を満たす組を求め、さらに、(式5)を用いて、所定の範囲内のアスペクト比を満たす組を、枠に外接する矩形の候補とする。(式4)と(式5)において、w、hは、それぞれ、サムネイル取込み画像の横方向、縦方向の画素数である。また、△Aは、アスペクト比のマージンであり、精度が向上するように値を調整するものとする。
ステップS1703において、枠に外接する矩形の候補が存在するかどうかによって分岐する。候補が存在する場合はステップS1704へ進み、候補が存在しない場合は、サムネイル切出しに失敗したものとして、サムネイル切出し処理を終了する。
続いて、ステップS1704において、ステップS1702で得られた枠の外接矩形領域の各候補に対して、枠の四隅の頂点を捜し、四隅の頂点が見つかった候補が複数存在すれば、その中の一つを選び出し、枠の頂点を決定する。例えば、枠の左上の頂点の座標は、外接矩形領域の左上の頂点の座標の近傍で、(式6)を満たす点(i,j)として捜し、さらに、この点が枠の左上であるかどうかを(式7)を満たしている点を左上の頂点とすることができる。ここで、Tyl、Tyh、Tsyl、Tsyhは閾値であり、精度が向上するように値を調整するものとする。また、△p、△qは、3以上の整数であり、精度が向上するように値を調整するものとする。(式6)と(式7)を満たす点が複数ある場合は、外接矩形領域の左上の挑戦の座標に最も近いものを枠の左上の頂点とする。
同様にして、左下、右上、右下の頂点の座標を求めることができる。枠の四隅の頂点の候補が複数存在する場合は、対応する枠に外接する矩形の面積が大きいものを、最終的に枠の頂点として決定する。
ステップS1705において、枠の四隅の頂点が決定できたかどうかによって分岐する。決定できた場合はステップS1706へ進み、頂点を検出できずに決定できなかった場合は、サムネイル切出しに失敗したものとして、サムネイル切出し処理を終了する。
続いて、ステップS1706において、ステップS1704で決定された枠の四隅の頂点を元に、枠の中のサムネイル画像を抽出する。前述のように、黒い太枠の線幅は、サムネイルの横のサイズと枠の線幅の比が、8:1となるように印刷しているので、枠の内側のサムネイル画像の四隅の頂点は、容易に算出することができる。処理を終えると、サムネイル切出し処理を終了する。
図19は、ステップS1605の検索処理を説明するためのフローチャートである。ステップS1901において、インデックス管理情報403から、インデックスを一つずつ取り出し、ステップS1902において、インデックスが取り出せればステップS1903へ分岐し、全てのインデックスを取り終えていれば、ステップS1907へ分岐する。
ステップS1903において、ステップS1901で取り出したインデックスが、印刷履歴情報404に格納されている印刷履歴のいずれかに格納されているかどうかを判定する。印刷履歴に格納されていれば、ステップS1901で取り出したインデックスに格納されているサムネイルは印刷されたものと見なし、ステップS1904へ進む。印刷履歴に格納されていなければ印刷されておらず、ステップS1601で撮影されることはないので、検索対象からはずし、ステップS1901へ進む。このような構成とすることで検索処理を軽減することができる。
ステップS1904において、ステップS1604で抽出した特徴量と、ステップS1901で取り出したインデックスに格納されている特徴量とから、2つの特徴量の類似度の尺度となる距離dを算出する。特徴量の距離dは、(式8)によって算出でき、距離dが小さいほど、特徴量が類似していると判定される。(式8)において、N,Mは、それぞれ、画像の特徴量を抽出するためのブロックの水平方向、垂直方向の分割数であり、Yi(n,m)、Pri(n,m)、Pbi(n,m)は、インデックスの特徴量中の第(n,m)ブロックの平均色の輝度、色差であり、Yq(n,m)、Prq(n,m)、Pbq(n,m)は、ステップS604で抽出した特徴量中の第(n,m)ブロックの平均色の輝度、色差である。また、w1、12、w3は、それぞれ、距離dを算出する上での重みであり、精度が向上するように値を調整するものとする。
ステップS1905において、ステップS1904で算出した距離dと所定の閾値Tと比較し、d>Tであれば、ステップS1901で取り出したインデックスのサムネイルは、ステップS1602で切出したサムネイル画像と類似していないものとし、ステップS1901へ進み、d≦Tであれば、類似しているものとしてステップS1906へ進む。
ステップS1906では、インデックス候補リストに、ステップS1901で取り出したインデックスを追加する。インデックス候補リストの構成を図20に示す。インデックス候補リストは複数のインデックス候補を格納することができ、検索処理の最初に初期化されインデックス候補が登録されていない状態にされる。ステップS1906では、新たにインデックス候補リストにインデックス候補を作成し、インデックス候補には、インデックスのインデックス番号と、ステップS1904で算出した距離dを格納する。また、インデックス候補には、後述の加算距離を格納することができ、ここでは、無効値である−1を格納しておく。処理が終われば、ステップS1901へ進む。
ステップS1907では、インデックス候補リストに格納されているインデックス候補を、距離によって昇順にソーティングを行なう。処理を終えると検索処理を終了する。
図21は、ステップS1607の周辺画像チェック処理を説明するためのフローチャートである。
ステップS2101において、ステップS1704で決定したサムネイルの枠に対して、上下左右方向の隣の枠の頂点の座標を、それぞれ、ステップS1601で撮影した画像(以下、サムネイル取り込み画像と呼ぶ)から抽出する。そのために、まず、上下左右方向の隣の枠の頂点の候補を検出する。前述のように、隣り合うサムネイルの距離は、所定の距離で等間隔に並ぶようにレイアウトして印刷しているので、ステップS1704で決定したサムネイルの枠のサイズ(横幅と高さ)と枠の傾きから、隣の枠の頂点の候補の座標が推測でき、その座標の近傍で、ステップS1704と同じように、(式6)および(式7)等を用いて、隣の枠の頂点の候補の座標を検出できる。サムネイル取り込み画像の内容によっては、隣の枠の頂点の候補の座標が検出できない場合もある。この場合、隣の枠の頂点の候補が、サムネイル取り込み画像の外側にあって検出できないのか、それとも、サムネイル取り込み画像の中のあるべき位置に枠の頂点が存在していないのかは、前述のように、隣の枠の頂点の座標が推測できるので、容易に判断することができる。したがって、左右上下に隣接する(しているかもしれない)各枠に対して、検出した頂点の候補の座標が矛盾しているかどうかも判定できる。例えば、右方向に隣接する枠に対して、右下の頂点が検出でき、左下の頂点が検出できなかった場合は、矛盾していることになる。このように頂点が矛盾している場合は、その枠は存在しないものと判定する。また、あるべき位置に枠の頂点が存在しない場合は、その枠は存在しないものと判定する。サムネイル取り込み画像の外側にあって頂点が一つも検出できない場合は、枠の存在は不明と判定する。それ以外の場合は、枠は存在するものと判定する。このようにして、左右上下に隣接する(しているかもしれない)各枠に対して、存在する、存在しない、存在は不明のいずれかの判定を行い、存在すると判定された隣の枠の頂点を抽出することができる。処理を終えると、ステップS2102へ進む。
ステップS2102において、ステップS1605で作成したインデックス候補リストの中から、インデックス候補を一つずつ取り出す。ステップS2103において、ステップS2102でインデックス候補が取り出せた場合はステップS2104へ進み、インデックス候補リストから全てのインデックス候補を取り出し終え、インデックス候補が取り出せなかった場合は、ステップS2113へ進む。
ステップS2104において、印刷履歴情報404から、印刷履歴を一つずつ取り出す。ステップS2105において、ステップS2104で印刷履歴が取り出せた場合はステップS2106へ進み、印刷履歴情報404から全ての印刷履歴を取り出し終え、印刷履歴が取り出せなかった場合は、ステップS2102へ進む。
ステップS2106において、ステップS2104で取り出した印刷履歴にステップS2102で取り出したインデックス候補のインデックス番号が登録されているかどうかによって分岐する。登録されていれば、ステップS2104で取り出した印刷履歴は、ステップS2102で取り出したインデックス候補と関係があるのでステップS2107へ進み、登録されていなければステップS2104へ進む。
ステップS2107において、ステップS2104で取り出した印刷履歴と照らし合わせて、ステップS2101で判定した隣の枠の存在に矛盾が無いかどうかを判定する。そのために、ステップS2104で取り出した印刷履歴から、ステップS2102で取り出したインデックス候補に対応するサムネイルが印刷された位置を求める。ステップS2104で取り出した印刷履歴の中で、ステップS2102で取り出したインデックス候補のインデックス番号が、K番目に出現するものとする。前述のように、1行あたり5枚、1ページあたり10行印刷するので、ステップS2102で取り出したインデックス候補のサムネイルは、((K mod 50)¥ 5 + 1)行目に存在し、その行の中で、左から(((K mod 50) mod 5)+ 1)番目に存在することになる。ここで、modは剰余演算子であり、(K mod 50)は、Kを50で割った余りになる。また、¥は除算演算子であり、(K ¥ 5)は、Kを5で割った商になる。これにより、ステップS2102で取り出したインデックス候補のサムネイルが、ページの先頭/末尾の行に存在するのか、行の左端/右端に存在するのか、容易に判定できる。このことと、ステップS2101で判定した隣の枠の存在とを照らし合わせれば、矛盾しているかどうかは容易に判定できる。ステップS2111において、ステップS2110で矛盾していないと判定された場合はステップS2109へ分岐し、矛盾していると判定された場合はステップS2104へ分岐する。
ステップS2109において、ステップS2101で存在すると判定された隣の枠の内側のサムネイルから、画像特徴量を抽出する。ステップS2101で隣の枠の頂点の座標が求められているので、内側のサムネイルの頂点の座標は、前述のように容易に求めることができる。また、存在すると判定された枠でも、枠の頂点の全てがサムネイル取込み画像に含まれているわけではない。そのような場合でも、前述のように、サムネイル取込み画像の外側に仮想的に頂点の座標を推定することができるので、サムネイル取込み画像に含まれない枠の頂点は、この推定された座標をそのまま利用するものとする。このようにすると、枠の内側のサムネイルの頂点の座標を全て求めることができる。この座標を用いて、隣の枠の内側のサムネイルの画像特徴量は、インデックスのサムネイル(代表画像)の画像特徴量を抽出した時と同じように、N×Mのブロックに分割した各ブロックの平均色を各ブロックの位置に対応付けたものとすることができる。また、隣の枠の内側のサムネイルの各ブロックに対して、サムネイル取込み画像に完全に含まれるかどうかも容易に判定でき、完全に含まれるブロックは有効ブロック、それ以外のブロックは無効ブロックと区別することができる。このようにして、存在すると判定された隣の枠の内側の各サムネイルに対して、画像特徴量を求め、各ブロックの有効/無効を判定することができる。
ステップS2110において、ステップS2109で求めたサムネイル取込み画像における隣のサムネイルの画像特徴量と、ステップS2104で取り出した印刷履歴における隣のサムネイルの画像特徴量との距離を求める。ステップS2104で取り出した印刷履歴の中で、ステップS2102で取り出したインデックス候補のインデックス番号が、K番目に出現するものとする。上下左右方向に隣のサムネイルが存在する場合、印刷履歴における隣のサムネイルは、それぞれ、印刷履歴のインデックスの中で、左のサムネイルは(K−1)番目、右のサムネイルは(K+1)番目、上のインデックスは(K−5)番目、下のインデックスは(K+5)番目のインデックスに格納されているサムネイルである。これらのインデックスの画像特徴量と、ステップS2109で求めた画像特徴量を、それぞれ対応するものに対して、距離を求める。距離のは、(式8)を用いて算出できるが、ステップS2109で無効ブロックと判定されたブロックに関しては、演算を行わない。このようにして得られた、存在すると判定された上下左右方向の隣のサムネイルの画像特徴量の距離を足し合わせたものを加算距離とする。
ステップS2111において、ステップS2110で算出された加算距離から、上下左右のサムネイルが類似しているかどうか判定して分岐する。加算距離を上下左右の隣のサムネイルの各画像特徴量の有効ブロック数の総和で除した値が、所定の閾値Tb以下であれば、類似しているものと判定してステップS2112へ進み、Tbよりも大きければ類似していないものとしてステップS2113へ進む。
ステップS2112において、ステップS2102で取り出したインデックス候補の加算距離の値を必要に応じて修正する。インデックス候補の加算距離に−1が格納されていれば、インデックス候補の加算距離に、ステップS2111で算出した加算距離の値を代入する。そうでなければ、インデックス候補の加算距離の値と、ステップS2111で算出した加算距離の値を比較し、ステップS2111で算出した加算距離のほうが小さい場合のみ、インデックス候補の加算距離に、ステップS2111で算出した加算距離の値を代入する。処理を終えるとステップ2104へ進む。
ステップS2113において、インデックス候補リストに含まれる不要なインデックス候補を削除し、インデックス候補が類似度の高いものから順番に並ぶようにインデックス候補リストを整理する。すなわち、インデックス候補の加算距離の値が−1であるものは、周辺の画像が類似していないとみなし、インデックス候補リストから削除する。そして、各インデックス候補に対して、加算距離を距離に加えた値の小さい順にインデックス候補を並び替える。処理を終えると周辺画像チェック処理を終了する。
図22は、ステップS1609の候補選択の詳細を説明するためのフローチャートである。
ステップS2201において、インデックス候補リストに格納されているインデックスの候補の距離を用いて、インデックス候補リストに格納されている有力な候補が一つであるかどうかによって分岐する。すなわち、インデックス候補リストの先頭に格納されているインデックス候補の距離が所定の値よりも小さく、2番目に格納されているインデックス候補の距離が所定の値よりも大きければ、有力な候補が一つであると判定する。有力な候補が一つであると判定された場合は、ステップS2202へ進み、そうでなければステップS2205へ進む。
ステップS2202において、現在行なっているインデックス選択処理が頭出し再生において行なわれているのかどうかによって分岐する。頭出し再生であれば所望のインデックスが選択できたものとして候補選択処理を終了し、そうでなければステップS2203へ進む。
ステップS2203において、インデックス候補リストに格納されている先頭のインデックス候補に対応するインデックスのタイムコードから動画のフレーム画像を求め、表示部213全体に静止画として表示する。ステップS2204において、ユーザは、表示部213に表示されている画像が所望の画像であるかどうか判定し、所望の画像であれば入力部212よりOKボタンを入力し、所望のインデックスが選択できたものとして候補選択処理を終了する。そうでなければ取消ボタンを入力し、ステップS2205へ進む。
ステップS2205において、インデックス候補リストに格納されているインデックス候補に対応したインデックスのサムネイル画像の一覧を、表示部213に表示する。例えば、3×3の9枚を所定の順序に従って、インデックス候補リストの順番に表示する。インデックス候補リストの先頭のインデックスに対応するサムネイルには、カーソルが表示される。ステップS2206において、必要に応じて、入力部212からカーソル移動キーを入力することにより、所望のサムネイル画像を選び、最後に、OKボタンを入力することにより所望のインデックスが選択できたものとする。所望のサムネイル画像が見つからなかった場合は、取消ボタンを入力することにより、所望のインデックスが選択できなかったものとする。処理を終えると、候補選択処理を終了する。
図23は本発明の第二実施例におけるディジタルカムコーダまたはディジタルカメラの構成を示すブロック図である。第一実施例と共通する部分には同じ番号を付与している。
ブロック構成としては記録媒体としてカード型フラッシュメモリ2301を使用しているところ、及びメカ部を持たないためドライブが省かれているところが第一実施例と異なる。
また、基本動作としては可動部を持たないとことを除いて第一実施例と同じであるため、第一実施例と異なる特徴について説明する。動画を扱う場合は、第一実施例における光磁気ディスク206の構成(図4)と同等の構成をカード型フラッシュメモリ2301に持たせるだけで、第一実施例と同様な処理を行なうことができる。
静止画を扱う場合は、動画記録領域405とは別に静止画記憶領域を設け、さらに、メディア管理情報401の中に、動画用のショット数506、インデックス数507、印刷履歴数508、プレイリスト数509とは別に、静止画用のショット数、インデックス数、印刷履歴数、プレイリスト数を設け、さらに、動画用のショット管理情報402、インデックス管理情報403、印刷履歴情報404、プレイリスト情報405とは別に、静止画用のショット管理情報、インデックス管理情報、印刷履歴情報、プレイリスト情報を設ける。そして、静止画は、1フレームのみの動画とみなすことによって、第一実施例と同じようにして、静止画を扱うことができる。ただし、静止画の場合、全てのショットは1フレームであるので、重要度は全て同じ値になり、インデックス印刷のステップS1002で、重要度に基づいてインデックスを選べなくなるので、静止画のインデックス印刷の場合には、ステップS1001の印刷条件の指定において、ユーザによって印刷する代表画像の枚数を指定することはできず、全ての静止画を印刷するものとする。静止画の頭出し再生も、動画と同じように行なうことができるが、この場合の再生は、インデックス印刷物を撮影することで選択した静止画を、表示部213に表示するだけになる。また、静止画のプレイリスト作成も第一実施例と同じように行なうことができるが、開始位置と終了位置の両方を指定する必要はなく、ステップS1404とステップS1405は不要になり、プレイリスト情報中のプレイリストに格納される再生区間では、開始のタイムコードのみが有効になる。静止画のプレイリスト再生は、プレイリスト情報に格納された再生区間に格納された順序に従って、各静止画を一定時間、再生区間のタイムコードに対応した静止画を表示部213に表示することになる。
また、図16を用いて説明したインデックス選択処理において、ステップS1601のサムネイル撮影で、図24に示されるように、表示部213に代表画像切出しガイドライン2401を表示し、ユーザは代表画像切出しガイドライン2401にぴったり枠の位置がそろうように、図11に示されるインデックス印刷物の中の所望のサムネイルを撮影する。このようにすれば、サムネイル取り込み画像の中でのサムネイル画像の頂点座標は、あらかじめわかっているので、図17で説明したサムネイル切出し処理のステップS1701のライン輝度類型算出を行なう必要はなく、代表画像切出しガイドライン2401を枠の外接矩形と見なして処理を進めてもよい。また、この場合、代表画像切出しガイドライン2401に対応する矩形の画像を、直接、サムネイル切出し処理で得られるサムネイル画像として抽出するようにしてもよい。このようにすれば、インデックス印刷物に印刷する代表画像は、図11に示すように、代表画像の周りを枠で囲んで印刷する必要もない。また、ステップS1601のサムネイル撮影で、インデックス印刷物中のサムネイル画像を撮影するのではなく、例えばL判の用紙全体に1つのインデックスの画像を印刷した印刷物を撮影するようにしてもよい。
図25は本発明の第三実施例におけるコンピュータの構成を示すブロック図である。第一実施例や第二実施例と共通する部分には同じ番号を付与している。
ブロック構成としては、光学系207、撮像素子208、撮像系処理部209、バッファメモリ210、フラッシュメモリ211が省かれており、代わりに、スキャナ2501、ハードディスク2502が接続されている点が第一実施例や第二実施例と異なる。また、通信I/F214を介して、ネットワーク2503と接続されている点も異なる。したがって、第三実施例のコンピュータでは、動画や静止画を直接撮影して記録しない。その代わりに、光磁気ディスク206に格納された動画、静止画、もしくは、ネットワーク2503経由で他のコンピュータ2504に保存されている動画、静止画を、ハードディスク2502に格納することができる。また、第一実施例や第二実施例において、光磁気ディスク206もしくはカード型フラッシュメモリ2301に格納されていたメディア管理情報、ショット管理情報、インデックス管理情報、印刷履歴情報、プレイリスト情報は、ハードディスク2502に格納され、フラッシュメモリ211に読み込まれていたメディア管理情報、ショット管理情報、インデックス管理情報、印刷履歴情報、プレイリスト情報は、RAM204に読み込まれる。
そして、ハードディスク2502格納された動画、静止画に対して、インデックス生成部305において、第一実施例、第二実施例と同様に、メディア管理情報、ショット管理情報、インデックス管理情報を作成、更新することが可能である。この処理は、ハードディスク2502に動画、静止画を格納する時に行なってもよい。また、ハードディスク2502に格納された動画、静止画のインデックス印刷を、第一実施例、第二実施例と同様に行ない、印刷履歴情報を作成することができる。
また、ハードディスク2502に格納された動画、静止画の頭出し再生を、第一実施例、第二実施例と同様に行なうことができるが、この場合、図16で説明したインデックス選択のステップS1601のサムネイル撮影は、スキャナ2501からインデックス印刷物の所望のサムネイル画像を含む画像を読み取り、ステップS1602のサムネイル切出しでは、ステップS1601で読み取られた画像を表示部213に表示し、同時に表示部213に表示されるカーソルを、入力部212からカーソル移動キーを操作することによって、サムネイルの頂点の座標を入力することで、サムネイル切出しを行なう。このように、ユーザの操作によってサムネイルの切出しを行なうので、インデックス印刷物をスキャンするのではなく、例えばL判の用紙全体に1つのインデックスの画像を印刷した印刷物をステップS1601においてスキャンするようにしてもよい。
また、第三実施例はコンピュータであるので、動画記録部302、インデックス生成部305、インデックス印刷部305、頭出し再生部307、プレイリスト作成部308、プレイリスト再生部309における各処理プログラムは、あらかじめ、光磁気ディスク206に記憶されており、コンピュータの電源起動時に、RAM204へ読み込んで、RAM204上の処理プログラムを実行するようにしてもよい。
(他の実施例)
上記実施例では、ステップS1605の検索処理や、ステップS1607の周辺画像チェックにおいて用いる画像特徴量として、ブロック分割した各ブロックの平均色を用いたが、これ以外の情報を画像特徴量としてもよい。例えば、ISO/IEC 15938−3に規定されている、色やテクスチャや形状等の画像の特徴記述子を用いてもよい。
上記実施例では、ステップS1605の検索処理や、ステップS1607の周辺画像チェックにおいて用いる画像特徴量として、ブロック分割した各ブロックの平均色を用いたが、これ以外の情報を画像特徴量としてもよい。例えば、ISO/IEC 15938−3に規定されている、色やテクスチャや形状等の画像の特徴記述子を用いてもよい。
また、第一実施例では、サムネイル画像の切り出しを容易にするために、インデックス印刷を行なう時に、サムネイル画像の切り出しのヒントとなる情報として、サムネイル画像の周りに黒い枠で囲んで印刷していたが、枠の色は黒に限定されるものでなく、輝度の低い色であればどんな色であってもよい。また、枠でなくてもよく、例えば、図25に示されるように、サムネイル画像の四隅の頂点に、切り出しの目印となる黒い四角を配置するようにしてもよい。
また、第一実施例では、(式4)を用いて、撮影された画像の中心を含むサムネイル画像の外接矩形を採用していたが、中心を含むサムネイル画像が存在しない場合は、複数のサムネイル画像の外接矩形の候補を切り出し、撮影された画像の中心に最も近い重心を持つ外接矩形を採用するようにしてもよい。あるいは、外接矩形からサムネイル画像の領域を求め、撮影された画像の中心に最も近い重心を持つサムネイル画像を切り出すようにしてもよい。
また、第一実施例では、(式5)を用いて、サムネイル画像の外接矩形のアスペクト比によって、サムネイル画像の候補の絞込みを行なっていたが、サムネイル画像の外接矩形の候補に対して、サムネイル画像の領域を求めた後に、サムネイル画像のアスペクト比によって、サムネイル画像の候補の絞込みを行なうようにしてもよい。
また、第一実施例では、サムネイル画像の切り出しを容易にするために、インデックス印刷を行なう時に、サムネイル画像の周りに黒い枠で囲んで印刷していたが、ステップS1602において、例えば、特開平05−40849等で示される文書画像の領域抽出方法において一般的に行なわれている写真画像の領域抽出方法を用いれば、サムネイル画像を黒い枠で囲むことなくインデックス印刷を行なうことが可能である。このようにすれば、インデックス印刷物ではなく、他の印刷物、例えば、インデックスの画像を用いたアルバム形式で印刷した印刷物や、1枚をL判用紙全体に印刷した印刷物を撮影しても、頭出し再生等のためのインデックス選択を行なうことができる。また、同様に、この方法を用いることによって、サムネイル画像を黒い枠で囲んでいないインデックス印刷物に対しても、ステップS2101で行なっていた隣接枠頂点抽出において、隣接するサムネイル画像の頂点を抽出することができ、周辺画像のチェックを行なうことができる。
このように、サムネイル画像の切り出しのためのヒント情報がない場合は、サムネイル画像、もしくは、インデックスの画像の印刷物の切り出しの誤りが多くなる。このようなことをユーザに通知するために、ステップS1601においてサムネイル画像(もしくは、インデックスの画像)を撮影する時に、バッファメモリ210に格納される毎フレームごとに、上記写真画像の領域抽出を行ない、その結果、すなわち、写真画像の領域と判定された領域を示す枠を、表示部213に表示するフレーム画像に重ね合わせて表示し、ユーザに通知するようにしてもよい。これにより、ユーザは、正しく切り出しが行なわれているかどうかを判断することができ、正しく切り出しが行なわれている時に、入力部212からOKボタンを入力して、サムネイル画像を取り込むことができる。
また、上記実施例で、図22で説明した候補選択処理において、有力候補が二つ以上であれば、3×3の候補一覧表示を行なっていたが、有力候補の数によって、候補一覧の出し方を変えてもよい。例えば、有力候補の数が2個以上4個以下であれば、有力候補に対して2×2の候補一覧を行ない、有力候補の数が5個以上9個以下であれば、有力候補以降の候補に対して3×3の候補一覧を行ない、有力候補以外の候補に対して、4×4の候補一覧を行なうなどしてもよい。
また、上記実施例では、図22で説明した候補選択処理において、有力候補が一つでなければ、S2205に示されるように表示部全体に3×3の候補一覧表示を行なっていたが、最も有力な候補に対して、図1の101に示されるように表示部213の画面中に大きく表示し、動画である場合は再生を行ない、2番目以降の候補に対しては、図1の102から105に示されるように、サムネイルを順番に表示するようにしても良い。
また、上記実施例では、インデックス候補リストの先頭に格納されているインデックス候補の距離が所定の値よりも小さく、2番目に格納されているインデックス候補の距離が所定の値よりも大きければ、有力な候補が一つであると判定していたが、1番目と2番目の候補の距離の値の差が所定の値よりも大きい場合に、有力な候補が一つであると判定しても良い。
また、上記実施例では、インデックス印刷のステップS1001において、印刷するインデックスの枚数を指定していたが、インデックス印刷のページ数、ページ内のサムネイルの行数、1行のサムネイルの枚数を指定するようにしてもよい。これらの情報を、印刷履歴情報404の印刷履歴に格納しておくことによって、各サムネイルのインデックス印刷物の用紙の中での位置が容易に算出できるので、インデックス選択におけるステップS1607において、ステップS1605で検索したサムネイルの候補の周辺の画像をチェックし、サムネイルの候補の絞り込み、および、候補の順位の変更に用いることができる。
また、上記実施例では、ステップS1607の周辺画像チェックにおいて、上下左右方向に隣接する4つのサムネイル画像のチェックを行なっていたが、これ以外に、右上、右下、左上、左下に隣接する、計8つのサムネイル画像のチェックを行なうようにしてもよい。
また、第三実施例において、スキャナ2501からインデックス選択を行なうための画像を入力していたが、スキャナ2501の代わりに、デジタルカメラ、もしくは、ディジタルビデオカムコーダを用いてもよい。
また、上記実施例において、図19を用いて説明した検索処理において、ステップS1903において、対象となるインデックスが印刷されているかどうかの判定を、印刷履歴情報404に格納されているかどうかで判定したが、印刷を行なったかどうかの判定を、インデックス管理情報の各インデックスに印刷したかどうかのフラグをもたせ、このフラグを用いて判定するようにしてもよい。静止画の場合は、1つのショットに対して、1つのインデックスしかできないので、ショット管理情報の各ショットに、このフラグを持たせてもよい。いずれにしても、印刷したかどうかを判定するためのフラグは、いろいろな持ち方が可能である。
また、上記実施例では記録媒体上の開始位置または開始時間を表わす情報としてタイムコードを用いたが、その他の情報、例えば実時間(時計)であってもよい。あるいは、先頭からのフレーム番号であってもよい。
また、上記実施例では、インデックス選択を頭出し再生と、プレイリスト生成で用いたが、他の用途に用いることも可能である。例えば、印刷する静止画を選択したり、削除する静止画、もしくは、シーンを選択することなどにも利用が可能である。
Claims (44)
- 画像が印刷された印刷物を撮像して第1の画像を取得する撮像手段と、
前記撮像手段で撮像した第1の画像の少なくとも一部と類似する画像を検索する検索手段とを備えたことを特徴とする画像処理装置。 - 前記撮像手段で撮像した第1の画像から第2の画像を抽出する画像抽出手段を更に備え、
前記検索手段は前記画像抽出手段で抽出された第2の画像と類似する画像を検索することを特徴とする請求項1記載の画像処理装置。 - 画像と該画像の特徴量を対応づけて記憶する画像記憶手段と、
前記画像抽出手段で抽出された第二の画像の特徴量を抽出する画像特徴量抽出手段とを更に備え、
前記検索手段は前記画像特徴量抽出手段で抽出された特徴量と、前記画像記憶手段に記憶されている特徴量とを比較することで類似する画像を検索することを特徴とする請求項2記載の画像処理装置。 - 静止画を印刷物に印刷するよう制御する印刷制御手段を更に備え、
前記撮像手段は、前記印刷制御手段で印刷された印刷物を撮像して第1の画像を取得することを特徴とする請求項1記載の画像処理装置。 - 静止画を印刷物に印刷するよう制御する印刷制御手段を更に備え、
前記撮像手段は、前記印刷制御手段で印刷された印刷物を撮像して第1の画像を取得し、
前記印刷制御手段は前記画像抽出手段が前記第2の画像を抽出するための補助情報を前記静止画とともに印刷し、
前記画像抽出手段は、前記印刷制御手段によって印刷された補助情報を用いて前記第2の画像を抽出することを特徴とする請求項2記載の画像処理装置。 - 前記補助情報は、前記静止画に外接する枠であることを特徴とする請求項5記載の画像処理装置。
- 前記画像記憶手段に記憶されている画像を印刷物に印刷するよう制御する印刷制御手段と、
前記画像記憶手段に記憶されている各画像が前記印刷制御手段により印刷されたかどうかを判定する判定手段とを更に備え、
前記撮像手段は前記印刷制御手段で印刷された印刷物を撮像して第1の画像を取得し、
前記検索手段は、前記画像特徴量抽出手段で抽出された特徴量と、前記判定手段によって印刷を行ったと判定された画像に対する特徴量のみとを比較することによって類似する画像を検索することを特徴とする請求項3記載の画像処理装置。 - 画像と該画像の特徴量を対応づけて記憶する画像記憶手段と、
前記画像記憶手段に記憶されている複数の画像を印刷物上にレイアウトして印刷するよう制御する印刷制御手段と、
前記画像抽出手段で抽出した第2の画像の周辺に存在する前記静止画の画像領域を抽出する周辺画像抽出手段とを更に備え、
前記撮像手段は前記印刷制御手段で印刷された印刷物を撮像して第1の画像を取得し、
前記検索手段は前記画像抽出手段で抽出した第2の画像の特徴量、前記周辺画像抽出手段で抽出した周辺画像の特徴量とを用いて類似する画像を検索することを特徴とする請求項2記載の画像処理装置。 - 前記画像記憶手段は、前記撮像手段によって撮像した画像を記憶することを特徴とする請求項3記載の画像処理装置。
- 前記検索手段によって検索された画像を表示する表示手段を更に備えたことを特徴とする請求項1記載の画像処理装置。
- 前記撮像手段で前記印刷物を撮像する際に撮像対象画像を表示する表示手段を更に備え、
前記表示手段は、前記第2の画像を切り出すためのヒント情報を撮像対象画像に重ね合わせて表示することを特徴とする請求項2記載の画像処理装置。 - 前記表示手段は、前記ヒント情報として前記第2の画像の領域を示す情報を所定の位置に表示し、
前記画像抽出手段は、前記所定の位置の近傍で、前記第2の画像の領域を探索することを特徴とする請求項11に記載の画像処理装置。 - 前記表示手段は、前記ヒント情報として前記第2の画像の領域を示す情報を所定の位置に表示し、
前記画像抽出手段は、前記第2の画像の所定の領域を第1の画像の領域として切り出すことを特徴とする請求項11に記載の画像処理装置。 - 前記検索手段で検索された画像を出力する出力手段を更に備え、
前記出力手段は前記検索手段によって有力な検索結果が1つのみ得られた場合は、2番目以降の候補を出力せず、該検索結果の画像のみ出力することを特徴とする請求項3記載の画像処理装置。 - 前記印刷物は複数の静止画が印刷されたものであり、
前記画像抽出手段は、前記撮像手段で撮像した第1の画像中の複数の静止画のアスペクト比、第1の画像の中心と第2の画像の中心との距離、静止画が前記画像の中心を含んでいるかのうち1つもしくは複数の組み合わせに基いて第二の画像を抽出することを特徴とする請求項2記載の画像処理装置。 - 動画を記憶する動画記憶手段を更に備え、
前記画像記憶手段に記憶されている画像は前記動画記憶手段に記憶される動画から抽出した動画の代表画像であり、
前記検索手段は前記画像特徴量抽出手段で抽出された特徴量と、前記画像記憶手段に記憶されている前記動画の代表画像の特徴量とを比較することで類似する画像を検索することを特徴とする請求項3記載の画像処理装置。 - 前記画像記憶手段は、前記代表画像に対応した動画の再生位置とを対応付けて記憶し、
前記検索手段によって検索された画像と対応づけられた再生位置から動画を再生する再生手段を更に備えたことを特徴とする請求項16記載の画像処理装置。 - 前記動画記憶手段は、前記撮像手段によって撮像した動画を記憶することを特徴とする請求項16記載の画像処理装置。
- 前記画像記憶手段、前記画像特徴量記憶手段は、取り外し可能な記録媒体に記憶することを特徴とする請求項3記載の画像処理装置。
- 前記検索手段において、類似する画像特徴量が存在しなかった場合に、取り外し可能な記録媒体の交換を促すメッセージを表示することを特徴とする請求項19記載の画像処理装置。
- 前記検索手段は前記撮像手段で撮像した際に画像を検索することを特徴とする請求項1記載の画像処理装置。
- 画像が印刷された印刷物を撮像して第1の画像を取得する撮像工程と、
前記撮像工程で撮像した第1の画像の少なくとも一部と類似する画像を検索する検索工程とを備えたことを特徴とする画像処理方法。 - 前記撮像工程で撮像した第1の画像から第2の画像を抽出する画像抽出工程を更に備え、
前記検索工程は前記画像抽出工程で抽出された第2の画像と類似する画像を検索することを特徴とする請求項22記載の画像処理方法。 - 画像と該画像の特徴量を対応づけて記憶する画像記憶工程と、
前記画像抽出工程で抽出された第二の画像の特徴量を抽出する画像特徴量抽出工程とを更に備え、
前記検索工程は前記画像特徴量抽出工程で抽出された特徴量と、前記画像記憶工程に記憶されている特徴量とを比較することで類似する画像を検索することを特徴とする請求項23記載の画像処理方法。 - 静止画を印刷物に印刷するよう制御する印刷制御工程を更に備え、
前記撮像工程は、前記印刷制御工程で印刷された印刷物を撮像して第1の画像を取得することを特徴とする請求項22記載の画像処理方法。 - 静止画を印刷物に印刷する印刷工程を更に備え、
前記撮像工程は、前記印刷工程で印刷された印刷物を撮像して第1の画像を取得し、
前記印刷工程は前記画像抽出工程が前記第2の画像を抽出するための補助情報を前記静止画とともに印刷し、
前記画像抽出工程は、前記印刷制御工程によって印刷された補助情報を用いて前記第2の画像を抽出することを特徴とする請求項23記載の画像処理方法。 - 前記補助情報は、前記静止画に外接する枠であることを特徴とする請求項26記載の画像処理方法。
- 前記画像記憶工程に記憶されている画像を印刷物に印刷するよう制御する印刷制御工程と、
前記画像記憶工程に記憶されている各画像が前記印刷制御工程により印刷されたかどうかを判定する判定工程とを更に備え、
前記撮像工程は前記印刷制御工程で印刷された印刷物を撮像して第1の画像を取得し、
前記検索工程は、前記画像特徴量抽出工程で抽出された特徴量と、前記判定工程によって印刷を行ったと判定された画像に対する特徴量のみとを比較することによって類似する画像を検索することを特徴とする請求項24記載の画像処理方法。 - 画像と該画像の特徴量を対応づけて記憶する画像記憶工程と、
前記画像記憶工程に記憶されている複数の画像を印刷物上にレイアウトして印刷するよう制御する印刷制御工程と、
前記画像抽出工程で抽出した第2の画像の周辺に存在する前記静止画の画像領域を抽出する周辺画像抽出工程とを更に備え、
前記撮像工程は前記印刷工程で印刷された印刷物を撮像して第1の画像を取得し、
前記検索工程は前記画像抽出工程で抽出した第2の画像の特徴量、前記周辺画像抽出工程で抽出した周辺画像の特徴量とを用いて類似する画像を検索することを特徴とする請求項23記載の画像処理方法。 - 前記画像記憶工程は、前記撮像工程によって撮像した画像を記憶することを特徴とする請求項24記載の画像処理方法。
- 前記検索工程によって検索された画像を表示する表示工程を更に備えたことを特徴とする請求項22記載の画像処理方法。
- 前記撮像工程で前記印刷物を撮像する際に撮像対象画像を表示する表示工程を更に備え、
前記表示工程は、前記第2の画像を切り出すためのヒント情報を撮像対象画像に重ね合わせて表示することを特徴とする請求項23記載の画像処理方法。 - 前記表示工程は、前記ヒント情報として前記第2の画像の領域を示す情報を所定の位置に表示し、
前記画像抽出工程は、前記所定の位置の近傍で、前記第2の画像の領域を探索することを特徴とする請求項32に記載の画像処理方法。 - 前記表示工程は、前記ヒント情報として前記第2の画像の領域を示す情報を所定の位置に表示し、
前記画像抽出工程は、前記第2の画像の所定の領域を第1の画像の領域として切り出すことを特徴とする請求項32に記載の画像処理方法。 - 前記検索工程で検索された画像を出力する出力工程を更に備え、
前記出力工程は前記検索工程によって有力な検索結果が1つのみ得られた場合は、2番目以降の候補を出力せず、該検索結果の画像のみ出力することを特徴とする請求項24記載の画像処理方法。 - 前記印刷物は複数の静止画が印刷されたものであり、
前記画像抽出工程は、前記撮像工程で撮像した第1の画像中の複数の静止画のアスペクト比、第1の画像の中心と第2の画像の中心との距離、静止画が前記画像の中心を含んでいるかのうち1つもしくは複数の組み合わせに基いて第二の画像を抽出することを特徴とする請求項23記載の画像処理方法。 - 動画を記憶する動画記憶工程を更に備え、
前記画像記憶工程に記憶されている画像は前記動画記憶工程に記憶される動画から抽出した動画の代表画像であり、
前記検索工程は前記画像特徴量抽出工程で抽出された特徴量と、前記画像記憶工程に記憶されている前記動画の代表画像の特徴量とを比較することで類似する画像を検索することを特徴とする請求項24記載の画像処理方法。 - 前記画像記憶工程は、前記代表画像に対応した動画の再生位置とを対応付けて記憶し、
前記検索工程によって検索された画像と対応づけられた再生位置から動画を再生する再生工程を更に備えたことを特徴とする請求項37記載の画像処理方法。 - 前記動画記憶工程は、前記撮像工程によって撮像した動画を記憶することを特徴とする請求項37記載の画像処理方法。
- 前記画像記憶工程、前記画像特徴量記憶工程は、取り外し可能な記録媒体に記憶することを特徴とする請求項24記載の画像処理方法。
- 前記検索工程において、類似する画像特徴量が存在しなかった場合に、取り外し可能な記録媒体の交換を促すメッセージを表示することを特徴とする請求項40記載の画像処理方法。
- 前記検索工程は前記撮像工程で撮像した際に画像を検索することを特徴とする請求項22記載の画像処理方法。
- 請求項22乃至42のいずれか1つに記載の画像処理方法をコンピュータに実行させるための制御プログラム。
- 請求項43に記載の制御プログラムを格納したことを特徴とするコンピュータ読み取り可能な記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003411796A JP2005173897A (ja) | 2003-12-10 | 2003-12-10 | 画像処理装置及び画像処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003411796A JP2005173897A (ja) | 2003-12-10 | 2003-12-10 | 画像処理装置及び画像処理方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005173897A true JP2005173897A (ja) | 2005-06-30 |
Family
ID=34732433
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003411796A Pending JP2005173897A (ja) | 2003-12-10 | 2003-12-10 | 画像処理装置及び画像処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005173897A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007041861A (ja) * | 2005-08-03 | 2007-02-15 | Sharp Corp | コンテンツ編集装置、コンピュータ読み取り可能なプログラム及びそれを記録した記録媒体 |
JP2010237887A (ja) * | 2009-03-31 | 2010-10-21 | Denso It Laboratory Inc | 情報提示装置、情報提示方法、情報提示システムおよびプログラム |
JP2014168708A (ja) * | 2007-12-27 | 2014-09-18 | Samsung Medison Co Ltd | 超音波診断装置及び超音波映像ディスプレイ方法 |
JP2016001821A (ja) * | 2014-06-12 | 2016-01-07 | 富士フイルム株式会社 | コンテンツ再生システム、サーバ、携帯端末、コンテンツ再生方法、プログラムおよび記録媒体 |
-
2003
- 2003-12-10 JP JP2003411796A patent/JP2005173897A/ja active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007041861A (ja) * | 2005-08-03 | 2007-02-15 | Sharp Corp | コンテンツ編集装置、コンピュータ読み取り可能なプログラム及びそれを記録した記録媒体 |
JP4514671B2 (ja) * | 2005-08-03 | 2010-07-28 | シャープ株式会社 | コンテンツ編集装置、コンピュータ読み取り可能なプログラム及びそれを記録した記録媒体 |
JP2014168708A (ja) * | 2007-12-27 | 2014-09-18 | Samsung Medison Co Ltd | 超音波診断装置及び超音波映像ディスプレイ方法 |
US9223931B2 (en) | 2007-12-27 | 2015-12-29 | Samsung Medison Co., Ltd. | Ultrasound diagnostic device and method of displaying ultrasound images |
JP2010237887A (ja) * | 2009-03-31 | 2010-10-21 | Denso It Laboratory Inc | 情報提示装置、情報提示方法、情報提示システムおよびプログラム |
JP2016001821A (ja) * | 2014-06-12 | 2016-01-07 | 富士フイルム株式会社 | コンテンツ再生システム、サーバ、携帯端末、コンテンツ再生方法、プログラムおよび記録媒体 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4510718B2 (ja) | 画像出力装置及びその制御方法 | |
CN101163199B (zh) | 图像拍摄设备和方法、及表情评价设备 | |
JP5261724B2 (ja) | 階層的クラスタリングによる代表画像選定 | |
KR101376455B1 (ko) | 화상 처리 장치 및 화상 표시 방법 | |
CN101282446B (zh) | 图像记录装置及方法、再生系统及装置、摄像装置 | |
US9721613B2 (en) | Content management system, management content generation method, management content reproduction method, program and recording medium | |
US20060078315A1 (en) | Image display device, image display program, and computer-readable recording media storing image display program | |
JP4881210B2 (ja) | 撮像装置、画像処理装置及びそれらの制御方法 | |
KR20090055516A (ko) | 기록 장치 및 방법, 프로그램, 재생장치 및 방법 | |
KR101475939B1 (ko) | 이미지 처리 장치의 제어 방법과 이미지 처리 장치, 이미지파일 | |
JP2008278467A (ja) | 画像処理装置および画像処理方法 | |
JP5031504B2 (ja) | 画像処理装置および操作者検索方法 | |
WO2014065033A1 (ja) | 類似画像検索装置 | |
JP2005173897A (ja) | 画像処理装置及び画像処理方法及びプログラム | |
CN101382951A (zh) | 图像数据记录方法和图像数据记录装置 | |
JP5441349B2 (ja) | 画像投射装置及びその制御方法 | |
US7058286B2 (en) | Information input apparatus | |
US20080068483A1 (en) | Image reproducing apparatus and image reproducing method | |
JP6366268B2 (ja) | 撮像装置及びその制御方法 | |
JP5282632B2 (ja) | 表示制御装置、表示制御方法、プログラム | |
JP6333008B2 (ja) | 撮像装置及び撮像装置の制御方法 | |
JP2012235273A (ja) | 撮像装置、制御方法及びプログラム | |
JP2008117345A (ja) | 印刷装置、画像検索方法、および、画像検索プログラム | |
JP2000261744A (ja) | 被写体情報取得機能付き編集用映像撮影方法及び装置並びに該方法を記述したプログラムを記録した記憶媒体 | |
JP2024099141A (ja) | 動画像記録装置、動画像記録装置の制御方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060905 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061106 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20061219 |