JP2009246900A - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP2009246900A
JP2009246900A JP2008094257A JP2008094257A JP2009246900A JP 2009246900 A JP2009246900 A JP 2009246900A JP 2008094257 A JP2008094257 A JP 2008094257A JP 2008094257 A JP2008094257 A JP 2008094257A JP 2009246900 A JP2009246900 A JP 2009246900A
Authority
JP
Japan
Prior art keywords
image
file
information
color
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008094257A
Other languages
English (en)
Inventor
Maki Kondo
真樹 近藤
Tomohiko Hasegawa
智彦 長谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brother Industries Ltd
Original Assignee
Brother Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brother Industries Ltd filed Critical Brother Industries Ltd
Priority to JP2008094257A priority Critical patent/JP2009246900A/ja
Priority to US12/413,133 priority patent/US8687230B2/en
Publication of JP2009246900A publication Critical patent/JP2009246900A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】画像一覧に含まれる各画像が有する色が視覚的に統一されている画像一覧を出力させることができる画像処理装置を提供すること。
【解決手段】図3(a)における各インデックス画像21a,21b,21c,22は、同一のグループ属し、各インデックス画像を印刷出力する前に、各画像の平均輝度値が算出され、その平均輝度値が中央値となる画像の平均輝度値を、そのグループのグループ補正パラメータColと設定し、他の画像の平均輝度値が、かかるグループ色補正パラメータColと一致するように、各画像について色補正を行う。これにより各インデックス画像21a,21b,21c,22が有する色(輝度)が視覚的に統一されている画像一覧20を出力させることができる
【選択図】図3

Description

本発明は、画像処理装置に関するものである。
近年では、デジタルカメラを用いて動画と静止画とを撮影できるため、撮影シーンに応じて、動画と静止画とを使い分けて撮影するシーンが存在している。例えば、運動会など動きのあるシーンでは動画で撮影し、集合写真などの動きのないシーンでは静止画で撮影されている。
また、かかるデジタルカメラで撮影した動画をフレーム単位で抽出したフレーム画像と静止画像とが混在した画像一覧を、印刷出力したり、ディスプレイに表示する装置も提案されている。例えば、次の特許文献1には、フレーム画像と静止画像とを区別可能な態様でディスプレイ7に表示するプリントシステムが記載されている。
特開2005−130254号公報(段落第「0036」、図9)
しかしながら、上述した特許文献1に記載されているプリントシステムでは、ディスプレイ7に一緒に表示するフレーム画像と、静止画とでは、視覚的に色の統一感に欠けるものであった。具体的には、朝撮影した静止画、夕方撮影した動画、室内で撮影した静止画など、それぞれの光源の違いによって、ある画像は黄色っぽく、ある画像は青っぽくなるということがあり、これらの画像を並べて配置する画像一覧では、色の統一感がないと、視覚的に違和感を感じるという問題点があった。
本発明は、上記の問題点を解決するためになされたものであり、画像一覧に含まれる各画像が有する色が視覚的に統一されている画像一覧を出力させることができる画像処理装置を提供することを目的としている。
この目的を達成するために、請求項1記載の画像処理装置は、複数の画像ファイルを取得する取得手段と、その取得手段によって取得された複数の画像ファイルが示す画像の各々に関し、その各画像が有する色情報が、統一された色情報になるよう各画像を色補正する補正手段と、その補正手段によって補正された前記画像の各々を、同一出力面上に出力させる出力制御手段とを備えている。
請求項2記載の画像処理装置は、請求項1に記載の画像処理装置において、前記取得手段によって取得された複数の画像ファイルを所定の条件に基づいてグループに分類する分類手段を備え、前記補正手段は、前記分類手段によって分類されたグループ毎に、同一のグループに属する画像ファイルが示す画像の各々に関し、その各画像が有する色情報が統一された色情報になるよう前記各画像を色補正し、前記出力制御手段は、前記補正手段によって色補正された色情報を有する前記画像の各々を、同一のグループ毎に、同一出力面上に出力させる。
請求項3記載の画像処理装置は、請求項2に記載の画像処理装置において、前記取得手段によって取得された複数の画像ファイルの各々に付加されている時間情報を入手する時間情報入手手段を備え、前記分類手段は、前記時間情報入手手段によって入手された時間情報に基づいて、前記取得手段によって取得された複数の画像ファイルをグループに分類する。
請求項4記載の画像処理装置は、請求項3記載の画像処理装置において、前記時間情報は、前記取得手段によって取得された複数の画像ファイルの各々に付加されている日付である。
請求項5記載の画像処理装置は、請求項2から4のいずれかに記載の画像処理装置において、前記分類手段によって分類されたグループ毎に、同一のグループに属する画像ファイルの中から一の画像ファイルを選択する選択手段と、その選択手段によって選択された一の画像ファイルが示す画像が有する色情報を算出する算出手段とを備え、前記補正手段は、その算出手段で算出された色情報に、同一のグループに属する他の画像が有する色情報が統一されるよう他の画像を色補正する。
請求項6記載の画像処理装置は、請求項5に記載の画像処理装置において、前記算出手段は、同一のグループに属する画像ファイルが示す画像の各々に関し、その各画像が有する色情報を算出し、前記選択手段は、その算出手段で算出された各画像が有する色情報の平均から最も近い色情報を有する画像ファイルを選択する。
請求項7記載の画像処理装置は、請求項1に記載の画像処理装置において、前記取得手段によって取得された複数の画像ファイルの中から一つの画像ファイルを選択する選択手段と、その選択された一の画像ファイルが示す画像が有する色情報を算出する算出手段とを備え、前記補正手段は、前記算出手段で算出された色情報に、他の画像が有する色情報が統一されるよう他の画像を色補正する。
請求項8記載の画像処理装置は、請求項7に記載の画像処理装置において、前記算出手段は、前記取得手段によって取得された複数の画像ファイルが示す画像の各々に関し、その各画像が有する色情報を算出し、前記選択手段は、その算出手段で算出された各画像の色情報の平均に最も近い色情報を有する画像ファイルを選択する。
請求項9記載の画像処理装置は、請求項1から8のいずれかに記載の画像処理装置において、前記色情報は、輝度を示す輝度情報、彩度を示す彩度情報、色相を示す色相情報のうち、何れか一以上である。
請求項10記載の画像処理装置は、請求項1から9のいずれかに記載の画像処理装置において、前記取得手段は、前記画像ファイルとして、動画像ファイルと静止画像ファイルとを取得し、その取得手段によって取得された動画像ファイルからフレーム画像を抽出する抽出手段を備え、前記補正手段は、前記抽出手段から抽出されたフレーム画像と前記静止画像ファイルが示す静止画像とに関し、その各画像が有する色情報が統一されるよう各画像を色補正する。
請求項11記載の画像処理装置は、請求項1から10のいずれかに記載の画像処理装置において、記録用紙に画像を記録する記録手段を備え、前記出力制御手段は、前記補正手段によって色補正された前記画像の各々を、前記記録手段によって前記記録用紙の同一紙面上に記録させる。
請求項12記載の画像処理装置は、請求項2から6のいずれかに記載の画像処理装置において記録用紙に画像を記録する記録手段を備え、前記出力制御手段は、前記補正手段によって色補正された前記画像の各々を、同一のグループ毎に、前記記録手段によって一枚以上の前記記録用紙の同一紙面上に記録させる。
請求項1記載の画像処理装置によれば、複数の画像ファイルが示す画像の各々は、その各画像が有する色情報が統一された色情報になるよう補正手段によって色補正され、その色補正された画像の各々が出力制御手段によって同一出力面上に出力される。よって、画像一覧に含まれる各画像が有する色が視覚的に統一されている画像一覧を出力させることができるという効果がある。
請求項2記載の画像処理装置によれば、請求項1に記載の画像処理装置の奏する効果に加え、同一のグループに属する画像ファイルが示す画像の各々は、その各画像が有する色情報が統一された色情報になるよう補正手段によって色補正され、出力制御手段は、補正手段によって色補正された色情報を有する前記画像の各々を、同一のグループ毎に、同一出力面上に出力させる。よって、同一グループ毎に各画像が有する色が視覚的に統一されている画像一覧を出力させることができるという効果がある。
請求項3記載の画像処理装置によれば、請求項2に記載の画像処理装置の奏する効果に加え、時間情報入手手段によって入手した時間情報に基づいて、取得手段で取得した複数の画像ファイルをグループに分類するので、時間応じて光源が変わり、時間に応じて各画像が有する色情報が変化することが多いので、その時間でグループ分けすることで、色情報が近似した画像を同一のグループに配属させることができる。よって、色補正した結果、元画像からかけ離れた色に補正されるのを防止することができるという効果がある。
請求項4記載の画像処理装置によれば、請求項3記載の画像処理装置の奏する効果に加え、時間情報は、取得手段によって取得された複数の画像ファイルの各々に付加されている日付であるので、日付毎に、各画像が有する色が視覚的に統一されている画像一覧を出力させることができるという効果がある。
請求項5記載の画像処理装置によれば、請求項2から4のいずれかに記載の画像処理装置の奏する効果に加え、同一のグループに属する画像ファイルの中から一の画像ファイルが選択され、その一の画像ファイルが示す画像が有する色情報が算出され、その算出された色情報に、同一のグループに属する他の画像が有する色情報が統一されるよう他の画像が色補正される。よって、同一グループに属する画像ファイル毎に、各画像が有する色がグループを代表する画像の有する色に視覚的に統一されている画像一覧を出力させることができるという効果がある。
請求項6記載の画像処理装置によれば、請求項5記載の画像処理装置の奏する効果に加え、同一のグループに属する画像ファイルが示す画像の各々に関し、その各画像が有する色情報を算出し、その算出手段で算出された各画像が有する色情報の平均から最も近い色情報を有する画像ファイルが選択される。同一のグループに属する画像ファイルの中から平均的な色情報を有する画像を選択することができ、色補正することで各画像ファイルが元々有する色情報が極端に変化するのを防止することができるという効果がある。
請求項7記載の画像処理装置によれば、請求項1記載の画像処理装置の奏する効果に加え、選択手段で選択された一つの画像ファイルが示す画像が有する色情報に、他の画像が有する色情報が統一されるよう他の画像が色補正されるので、他の画像が有する色情報を、選択した一の画像ファイルが有する色情報に統一させることができるという効果がある。
請求項8記載の画像処理装置によれば、請求項7記載の画像処理装置の奏する効果に加え、算出手段で算出された各画像の色情報の平均に最も近い色情報を有する画像ファイルが選択手段によって選択されるので、平均的な色情報を有する画像を選択することができ、色補正することで各画像ファイルが元々有する色情報が極端に変化するのを防止することができるという効果がある。
請求項9記載の画像処理装置によれば、請求項1から8のいずれかに記載の画像処理装置の奏する効果に加え、色情報は、輝度を示す輝度情報、彩度を示す彩度情報、色相を示す色相情報のうち、何れか一以上であるので、輝度、彩度、色相のうち、何れか一以上について、視覚的に統一されている画像一覧を出力させることができるという効果がある。
請求項10記載の画像処理装置によれば、請求項1から9のいずれかに記載の画像処理装置の奏する効果に加え、抽出手段から抽出されたフレーム画像と静止画像ファイルが示す静止画像との各々が有する色情報が統一されるように各画像が色補正されるので、画像一覧内においてフレーム画像と静止画像とが混在していても、視覚的に統一されている画像一覧を出力させることができるという効果がある
請求項11記載の画像処理装置によれば、請求項1から10のいずれかに記載の画像処理装置の奏する効果に加え、出力制御手段は、補正手段によって補正された画像の各々を、記録手段によって記録用紙の同一紙面上に記録させるので、視覚的に統一されている画像一覧が記録された記録用紙を取得することができるという効果がある。
請求項12記載の画像処理装置によれば、請求項2から6のいずれかに記載の画像処理装置の奏する効果に加え、出力制御手段は、補正手段によって補正された画像の各々を、同一のグループ毎に、記録手段によって1枚以上の記録用紙の同一紙面上に記録させるので、異なるグループに属する画像が同一紙面で記録されることがなく、視覚的に統一されている画像一覧が記録された記録用紙を取得することができるという効果がある。
以下、本発明の好ましい実施形態について、添付図面を参照して説明する。図1は、本発明の画像処理装置の一実施形態としての多機能周辺装置(以下、「MFP(Multi Function Peripheral)」と称す)1の外観構成を示した斜視図である。MFP1は、特に、画像一覧に含まれる各画像が有する色が視覚的に統一されている画像一覧を出力させることができる装置である。
このMFP1は、フォトキャプチャー機能、コピー機能、スキャナ機能、メディアキャプチャ機能などの各種機能を有する多機能周辺装置である。メディアキャプチャ機能では、後述するスロット部6に装着されたメディアカードから画像ファイルを読み出して印刷出力する処理、メディアカードから読み出した画像ファイルに対応した画像をLCD5に表示出力する処理、スキャナ機能により読み取られた画像データをメディアカードに保存する処理などを実行できる。
MFP1の上部には、原稿を読み取るためのスキャナ2が配置されている。また、筐体内部には記録用紙に画像を印刷する装置として、所謂インクジェットプリンタで構成されたプリンタ3が内蔵されている。
また、MFP1の前面には、スロット部6が設けられている。このスロット部6には、コンパクトフラッシュ(登録商標)、SDメモリカードなどの各種メディアカードを直接挿入できるカードスロットが設けられている。
また、原稿カバー体の前方には、操作パネルが設けられており、複数のキーやタッチパネルで構成される操作部4、およびLCD5を具備する。MFP1は、LCD5に操作手順や実行中の処理の状態を表示させると共に、操作部4の操作に対応する情報を表示させる。
図2を参照して、MFP1の電気的構成について説明する。図2は、MFP1の電気的構成を示すブロック図である。MFP1は、CPU11、ROM12、RAM13、EEPROM14、スキャナ2、プリンタ3、操作部4、LCD5、スロット部6を主に有している。
このうち、CPU11、ROM12、RAM13、EEPROM14は、バスライン26を介して互いに接続されている。また、スキャナ2、プリンタ3、操作部4、LCD5、スロット部6、バスライン26は、入出力ポート27を介して互いに接続されている。
CPU11は、ROM12、RAM13やEEPROM14に記憶される固定値やプログラムに従って、MFP1が有している各機能の制御や、入出力ポート27と接続された各部を制御するものである。
ROM12は、CPU11によって実行される制御プログラム12aを記憶すると共に、電源遮断後も内容を保持可能な不揮発性のメモリである。制御プログラム12aは、後述する図7〜図12にフローチャートで示す処理を実行するためのプログラムを含んでいる。
ROM12には、さらに横方向画像配置数記憶領域12b、1ページ画像配置数記憶領域12cが設けられている。
横方向画像配置数記憶領域12bは、「横方向の配置枚数」を記憶する領域である。「横方向の配置枚数」は、画像一覧において、横一列に並べて配置可能なインデックス画像の数を示す値である。なお、本実施形態のMFP1には、予め印刷用紙サイズ(L版、A4、Letterなど)、および印刷モード(高精細、普通、高速など)に応じて、複数種類の「横方向の配置枚数」が記憶されており、後述する配置印刷処理(図10,図11参照)では、この中から適した値を読み出して用いるものとして説明する。
1ページ画像配置数記憶領域12cは、「1ページ内画像配置数」を記憶する領域である。「1ページ内画像配置数」は、1ページ分の記録用紙に形成する画像一覧に、最大で何個分のインデックス画像を配置可能であるかを示す値である。なお、本実施形態においては、予め印刷用紙サイズおよび印刷モードに応じて、複数種類の「1ページ内画像配置数」が記憶されており、後述する配置印刷処理(図10,図11参照)では、この中から適した値を読み出して用いるものとして説明する。
RAM13は、MFP1の各操作の実行時に各種のデータを一時的に記憶するためのメモリであり、抽出フレーム数記憶領域13a、処理ファイル数記憶領域13b、処理画像総数記憶領域13c、生成ページ数記憶領域13d、グループ情報記憶領域13g、ファイル情報記憶領域13h、配置情報記憶領域13i、フレーム画像情報記憶領域13j、デコードデータ記憶領域13k、カウンタ記憶領域13mが設けられている。
ここで、本実施形態で用いる用語の意味を説明する。本実施形態において、「動画像」とは、多数のフレーム画像を切り替え表示することにより再生される画像を意味している。「動画像ファイル」は、動画像を再生するためのファイルであって、例えば、AVI動画ファイル、クイックタイム動画ファイルなどで構成される。ただし、動画像を再生可能な情報であれば、どのような形式のファイルであっても差し支えない。また、本実施形態において、「フレーム画像情報」は、動画像を構成する1のフレーム画像に対応した情報を意味している。
抽出フレーム数記憶領域13aは、「フレーム画像抽出枚数」を記憶する領域である。「フレーム画像抽出枚数」は、1の動画像ファイル当たり、何枚分のフレーム画像に対応したフレーム画像情報を抽出するかを示す値である。例えば、「フレーム画像抽出枚数」として「5」が記憶されている場合、MFP1は、メディアカードに格納された動画像ファイルの各々について、1の動画像ファイル当たり、5枚のフレーム画像に対応したフレーム画像情報を抽出し、その抽出したフレーム画像情報に基づいて、1の動画像ファイル当たり、5個のインデックス画像を、画像一覧に配置する。
本実施形態のMFP1は、ユーザが操作部4から入力した任意の値を「フレーム画像抽出枚数」として、抽出フレーム数記憶領域13aに記憶するものとして説明するが、「フレーム画像抽出枚数」が予めROM12などに記憶されていたり、動画像ファイルのサイズが大であるほど、「フレーム画像抽出枚数」が大となるように予め定められた関係に従って、「フレーム画像抽出枚数」が自動的に決定されても良い。
処理ファイル数記憶領域13bは、「総処理ファイル数」を記憶する領域である。「総処理ファイル数」は、メディアカードに格納される静止画像ファイルと動画像ファイルの合計を示す値である。
処理画像総数記憶領域13cは、「処理画像総数」を記憶する領域である。「処理画像総数」は、画像一覧内に形成するインデックス画像の総数を示す値である。生成ページ数記憶領域13dは、「生成ページ数」を記憶する領域である。「生成ページ数」は、後述する配置印刷処理(図10、図11)の実行により出力する画像一覧の総ページ数を示す値である。
グループ情報記憶領域13g、ファイル情報記憶領域13h、配置情報記憶領域13iについては、図4から図6を参照して後述する。
フレーム画像情報記憶領域13jは、動画像ファイルから抽出されるフレーム画像情報を格納する領域である。デコードデータ記憶領域13kは、フレーム画像情報をデコード処理した結果、または、静止画像ファイルをデコード処理した結果を記憶する領域である。カウンタ記憶領域13mは、各種カウンタを記憶する領域である。
図3(a)は、MFP1が、1ページの記録用紙に印刷出力する画像一覧20の一例を示す図である。MFP1は、メディアカードに静止画像ファイルと動画像ファイルとが混在している場合、図3(a)に示すように、フレーム画像情報に対応するインデックス画像21a,21b,21cと、静止画像ファイルに対応するインデックス画像22とが混在した画像一覧20を出力する。よって、ユーザは、動画像ファイルの内容を示すインデックス画像21a,21b,21cと、静止画像ファイルの内容を示すインデックス画像22とを、1ページの画像一覧20によって、一度に視認することができ、利便性が高い。
一方、図3(b)は、本願発明とは異なる装置によって1ページの記録用紙に印刷出力する画像一覧100を示す図である。両者は、同じ動画像ファイルから抽出したインデックス画像21a,21b,21cおよび同じ静止画像ファイルから抽出したインデックス画像22を1ページの記録用紙に印刷出力したものである。
よって、図3(b)に示す画像一覧100にも、図3(a)に示す画像一覧20と同様に、第1の動画像ファイルから抽出される3つのインデックス画像21aと、第2の動画像ファイルから抽出される2つのインデックス画像21bと、第3の動画像ファイルから抽出される3つのインデックス画像21cと、3つの静止画像ファイルから抽出される3つのインデックス画像22とが含まれている。
しかし、図3(b)に示す画像一覧100では、動画像ファイルから抽出された各インデックス画像21a,21b,21cと、静止画像ファイルから抽出されたインデックス画像22とでは、各インデックス画像の色が同じ色に統一されていない(図3(b)に示す各インデックス画像21a,21b,21c内のハッチング模様や散点模様は、各インデックス画像21a,21b,21cの各々が別々の色をしている状態を示している。)これは、朝撮影した静止画、夕方撮影した動画、室内で撮影した静止画など、それぞれの光源の違いによって、ある画像は黄色っぽく、ある画像は青っぽくなるということがあるためであり、そのため画像一覧100が見難いものになっていた。
一方、図3(a)に示す画像一覧20では、動画像ファイルから抽出された各インデックス画像21a,21b,21cと、静止画像ファイルから抽出されたインデックス画像22との色が同じ色に統一されている。即ち、MFP1は、画像一覧20に含まれる各インデックス画像21a,21b,21c,22が有する色が視覚的に統一されている画像一覧20を出力させることができる装置である。
また、MFP1は、インデックス画像21a,21b,21c,22を含む画像群が、撮影日時に従った順序で配列されるように、インデックス画像21a,21b,21c,22の各々について配置順序を決定し、その決定した配置順序でインデックス画像21a,21b,21c,22を配列した画像一覧20を出力する。
図3(a)に示す画像一覧20はその一例であるが、例えば、画像一覧20の上段から下段へ向かうにつれて、且つ、左側から右側へ向かうにつれて撮影日時が新しくなるような順序で、インデックス画像21a,21b,21c,22が配列するように配置順序を決定する。
詳細な説明は後述するが、MFP1は、静止画像ファイルに基づくインデックス画像22であるか、動画像ファイルに基づくインデックス画像21a,21b,21cであるかに関わらず、撮影日時のみを条件としてソートした配置順序を決定し、その配置順序でインデックス画像21a,21b,21c,22を配列した画像一覧20を出力する。よって、例えば、動画像で撮影したか、静止画像で撮影したかをユーザが覚えていない場合であっても、撮影日時がかなり古いものであるのか、あるいは最近のものであるのかなど、撮影日時を手がかりに、目的とする画像を迅速に探し当てることができる。
また、詳細は後述するが、本実施形態のMFP1は、インデックス画像21a,21b,21c,22を撮影日毎のグループに分類し、グループ毎に画像一覧20を出力するように構成されている。よって、例えば、画像一覧20のヘッダ部分に、グループの撮影日23が印刷されても良い。
図4は、ファイル情報記憶領域13hの構成を模式的に示す図である。図4に示すように、ファイル情報記憶領域13hには、ファイルIDを記憶するファイルID記憶領域201、ファイル名を記憶するファイル名記憶領域202、ファイル種類を記憶するファイル種類記憶領域203、抽出フレーム数を記憶する抽出フレーム数記憶領域204、総フレーム数を記憶する総フレーム数記憶領域205、fps情報を記憶するfps情報記憶領域206、ファイル日付情報を記憶するファイル日付情報記憶領域207、ファイル時間情報を記憶するファイル時間情報記憶領域208が設けられ、ファイル名、ファイル種類、抽出フレーム数、fps情報、ファイル日付情報、ファイル時間情報からなるファイル情報200を、そのファイル情報200を管理するファイルIDに対応付けて記憶する。MFP1は、画像一覧20(図3参照)におけるインデックス画像21a,21b,21c,22の配置順序を決定するための準備処理として、メディアカード内に格納された静止画像ファイルまたは動画像ファイルの各々についてファイル情報200を作成し、ファイル情報記憶領域13hに格納する。
ファイルID記憶領域201は、ファイルIDを記憶する領域である。ファイル名記憶領域202は、静止画像ファイルまたは動画像ファイルのファイル名を格納する領域である。図4に示すように、各ファイル名には、拡張子が付加されている。例えば、画像ファイルがJPEGファイルである場合は拡張子「jpg」が付加され、AVI動画ファイルである場合は拡張子「avi」が付加され、クイックタイム動画ファイルである場合は拡張子「mov」が付加される。
ファイル種類記憶領域203は、各画像ファイルの種類(フォーマット)を示す値を格納する領域である。画像ファイルの種類は、例えば、ファイル名に付加された拡張子に基づいて判定することができる。本実施形態では、画像ファイルの形式がJPEGファイル(拡張子jpg)である場合、JPEGファイルであることを示す値「0」をファイル種類記憶領域203に格納し、画像ファイルの形式がAVI動画ファイル(拡張子avi)である場合、値「1」をファイル種類記憶領域203に格納し、画像ファイルの形式がクイックタイム動画ファイル(拡張子mov)である場合、値「2」をファイル種類記憶領域203に格納する。
なお、各画像ファイルの先頭から数バイト分に格納されている情報に基づいて画像ファイルの種類を判定することもできる。例えば、先頭から2バイトが「0xFFD8」であればJPEGファイルであると判定できるし、先頭から2バイトが「0x424D」であれば、ビットマップデータであると判定することができる。これらの情報に基づいて、画像ファイルの種類を判定しても差し支えない。
抽出フレーム数記憶領域204は、何枚分のフレーム画像に対応したフレーム画像情報を、画像ファイルから抽出するかを示す値を記憶する領域である。静止画像ファイルの場合、抽出フレーム数記憶領域204には「1」が格納される。一方、動画像ファイルの場合、抽出フレーム数記憶領域204には、「2」以上の値が格納される。
総フレーム数記憶領域205は、各画像ファイルの総フレーム数を格納する領域である。動画像ファイルの場合は動画像ファイルに含まれる総フレーム数が格納され、静止画像である場合は常に1が格納される。
fps情報記憶領域206は、各画像ファイルのfps(Frame Per Second)情報を格納する領域である。静止画像ファイルである場合には「0」が格納される。一方、動画像ファイルである場合には、例えば、1秒間に60フレーム画像が存在することを示す「60」や、1秒間に30フレーム画像が存在することを示す「30」が、このfps情報記憶領域206に格納される。
ファイル日付情報記憶領域207は、各画像ファイルの撮影日を表すファイル日付情報を格納する領域である。例えば、撮影日「2008年1月15日」は、ファイル日付情報「20080115」として表すものとする。
ファイル時間情報記憶領域208は、各画像ファイルの撮影時間を表すファイル時間情報を格納する領域である。例えば、撮影時間「12時50分45秒」は、ファイル時間情報「125045」として表すものとする。画像ファイルが動画像ファイルの場合は、撮影開始時間を表す情報が、ファイル時間情報として格納される。なお、ファイル日付情報およびファイル時間情報が、特許請求の範囲に記載の撮影日時情報に相当する。
以降の説明では、各画像ファイルのヘッダに記述された情報を読み出してくることにより、総フレーム数、fps情報、ファイル日付情報およびファイル時間情報を取得するものとするが、他の手段により、これらの情報を取得しても良い。
ファイル付加情報記憶領域209は、各画像ファイルのその他の固有情報を格納する領域である。
本実施形態のMFP1は、ファイル情報記憶領域13hに格納された各画像ファイルの固有情報に基づいて、撮影日時に従った順序でインデックス画像が配列されるように、インデックス画像の配置順序を決定する。決定した配置順序を示す情報は、図5に示す配置情報記憶領域13iに格納する。
図5は、配置情報記憶領域13iの構成を模式的に示す図である。図5に示すように、配置情報記憶領域13iは、ファイルID、グループNo、抽出フレーム番号、画像日付情報、画像時間情報、画像識別情報からなる配置情報300と、その配置情報300に対応する配置順序とを記憶する。
図5に示すように、配置情報記憶領域13iには、配置順序記憶領域301、ファイルID記憶領域302、グループNo記憶領域303、抽出フレーム番号記憶領域304、画像日付情報記憶領域305、画像時間情報記憶領域306、画像色補正パラメータ記憶領域307が設けられる。
配置情報記憶領域301は、配置順序を記憶する領域である。後述する配置印刷処理(図10,図11参照)では、配置順序に従った順序で、配置情報300が読み出され、各配置情報300で特定されるフレーム画像または静止画像のインデックス画像が、配置順序に従った順序で、画像一覧20に配列される。
ファイルID記憶領域302は、ファイルIDを記憶する領域である。図4を参照して説明したように、ファイル情報記憶領域13hには、ファイルIDとファイル名とが1対1で対応付けて記憶されているので、ファイルIDから、1の画像ファイルを特定することができる。
グループNo記憶領域303は、グループNoを記憶する領域である。なお、グループNoについては、図6を参照して後述する。
抽出フレーム番号記憶領域304は、抽出フレーム番号を記憶する領域である。上述したように、1の動画像ファイルについて複数のフレーム画像情報が抽出される。よって、先頭から数えて何番目のフレーム画像情報であるかを示す情報が、「抽出フレーム番号」として、抽出フレーム番号記憶領域304に格納される。
ここで、「抽出フレーム番号」は、「総フレーム数記憶領域205」に記憶された動画像ファイルの総フレーム数と、「抽出フレーム数記憶領域13a」に記憶された抽出フレーム数と、動画像のうち何枚目に抽出されるかを表すフレーム画像抽出数カウンタ値を用いて、例えば、下記のように算出することができる。
(抽出フレーム番号)=[(フレーム画像抽出数カウンタ値−1)×(総フレーム数)÷(抽出フレーム数)]
ここで[]はガウス記号を表し、[a]はaを超えない最大の整数を表す。
画像日付情報記憶領域305は、ファイルID記憶領域302に格納されたファイルIDで特定される画像ファイルの撮影日を表す画像日付情報が格納される領域である。画像時間情報記憶領域306は、撮影時間を表す画像時間情報が格納される領域である。静止画像ファイルについては、ファイル情報記憶領域13hの対応する領域に格納されたファイル時間情報が、この画像時間情報記憶領域306にコピーされる。
一方、動画像ファイルについては、その動画像ファイルから複数のフレーム画像情報が抽出されるので、フレーム画像情報毎に、撮影時間を表す画像時間情報を取得し、画像時間情報記憶領域306に記憶する。なお、フレーム画像情報毎の画像時間情報を算出する具体的演算例については、図7に示すフローチャートを参照して後述する。
画像色補正パラメータ記憶領域307には、図3に示す画像一覧20に含まれる各インデックス画像の補正前の色(輝度)を示す平均輝度値である画像色補正パラメータが記憶されている。
後述する配置印刷処理(図10,図11参照)では、この配置情報記憶領域13iに記憶された配置情報300に基づいて、動画像ファイルから抽出された各インデックス画像21a,21b,21cと、静止画像ファイルから抽出されたインデックス画像22とが、全て、同じ大きさ(サイズ)であって、各インデックス画像の色が同じ色に統一されている画像一覧20を印刷出力すると共に、インデックス画像が撮影日時に従った順序で配列された画像一覧20を印刷出力する。
さらに、本実施形態のMFP1は、インデックス画像を撮影日毎のグループに分類し、グループ毎に画像一覧20を印刷出力する。例えば、「2008年1月15日」に撮影した画像ファイルと、「2008年1月20日」に撮影した画像ファイルとがメディアカードに格納されているのであれば、「2008年1月15日」に撮影された画像ファイルのインデックス画像からなる画像一覧20と、「2008年1月20日」に撮影された画像ファイルのインデックス画像からなる画像一覧20とを印刷出力するように構成されている。
図6は、グループ情報記憶領域13gの構成の一例を示す図である。図6に示すように、グループ情報記憶領域13gには、グループ数記憶領域401と、グループ単位情報記憶領域402と、グループNo記憶領域403とが設けられている。
グループ数記憶領域401は、インデックス画像を分類するために生成されたグループ数を記憶する領域である。図6に示す例では、インデックス画像を分類するために「10」のグループが生成されたことを示している。
グループ単位情報記憶領域402は、グループ毎の情報を記憶する領域である。グループ単位情報記憶領域402には、グループNoを記憶する記憶領域403と、そのグループNoで特定されるグループに分類されるインデックス画像の数を記憶するグループ画像数記憶領域404と、後述するグループ色補正パラメータを記憶するグループ色補正パラメータ記憶領域405とが設けられる。図6に示す例では、グループNoが「1」のグループに、「10」個のインデックス画像が分類されることを示している。また、グループNoが「1」のグループのグループ色補正パラメータが0.87であることを示している
本実施形態のMFP1によれば、グループ毎の画像一覧20を出力することにより、ユーザはグループ毎(撮影日毎)に画像一覧20を視認することができるから、ユーザは撮影日ごとのグループに分類された閲覧性の良い画像一覧を得ることができる。
次に、図7乃至図12を参照して、図3(a)に示すような画像一覧20を出力させる処理について説明する。この処理を大略すると、まず、インデックス画像の配置順序を決定する配置順決定処理を実行する(S100)。次に、同じグループ毎にグループ色補正パラメータを設定するグループ色補正パラメータ設定処理(S150)を実行する。そして、S100で決定した配置順序に従いつつ、各インデックス画像に色補正を行い、同じグループに属するインデックス画像同士で色の統一がある画像一覧20を出力する配置印刷処理(S200)を実行する。以下、各処理について詳細に説明する。
図7は、MFP1で実行される配置順決定処理(S100)を示すフローチャートである。図7に示す配置順決定処理(S100)は、スロット部6にメディアカードが装着され、ユーザにより画像一覧20の印刷出力の実行指示が入力されると実行される。
この配置順決定処理(S100)は、動画像ファイルから抽出するフレーム画像情報と、メディアカードから読み出される静止画像ファイルとの各々について、各画像情報の撮影日時を表す画像日付情報および画像時間情報を取得し、その取得した画像日付情報および画像時間情報を条件として、インデックス画像の配置順序を決定する処理である。
まず、ユーザが操作部4から入力した値を、「フレーム画像抽出枚数」として抽出フレーム数記憶領域13aに記憶する(S101)。次に、メディアカード内に格納された静止画像ファイルと動画像ファイルとの合計を示す「総処理ファイル数」を算出し、処理ファイル数記憶領域13bに記憶する(S102)。
次に、処理ファイル数カウンタ、処理画像数カウンタ、フレーム画像抽出枚数カウンタ、動画像ファイル数カウンタを、それぞれ0で初期化する(S103)。なお、これらのカウンタは、カウンタ記憶領域13m(図2参照)に設けられている。
次に、メディアカードに格納された画像ファイルのうち、1の画像ファイルを処理対象として選択し、その画像ファイルのファイル名、画像ファイルの種類を取得する。そして取得したファイル名および画像ファイルの種類を示す値を、処理ファイル数カウンタ値のファイルIDに対応した、ファイル名記憶領域202、ファイル種類記憶領域203(図4参照)へ、それぞれ記憶する(S104)。
そして、選択した画像ファイルが動画像ファイルであるか静止画像ファイルであるかを判断する(S105)。動画像ファイルであると判断した場合(S105:動画像)、その動画像ファイルのファイル日付情報、ファイル時間情報、およびfpsを表すfps情報を、その動画像ファイルのヘッダから取得する(S106)。
そして、処理画像数カウンタ値の配置順序に対応したファイル日付情報記憶領域207へファイル日付情報を記憶し、ファイル時間情報記憶領域208へファイル時間情報を記憶し、fps情報記憶領域206へfps情報を記憶する(S107)。
次に処理画像数カウンタ値の配置順序に対応した配置情報記憶領域13i(図5参照)のファイルID記憶領域302へ、現時点における処理ファイル数カウンタの値を記憶する。また、現時点におけるフレーム画像抽出枚数カウンタの値から抽出フレーム番号を算出し、処理画像数カウンタ値の配置順序に対応した抽出フレーム番号記憶領域304へ記憶する(S108)。
次に、フレーム画像情報の時間情報を算出し、算出した時間情報を、画像時間情報として、配置順序に対応する画像時間情報記憶領域306へ記憶する(S109)。具体的には、まず、動画像ファイルの撮影開始時間を表すファイル時間情報をVideoTime、fps情報をFPS、フレーム画像情報の撮影時間を表す画像時間情報をFrameTime、処理対象のフレーム画像情報を特定する抽出フレーム番号をNとする。
そして、ファイル時間情報VideoTimeを、以下のように、動画像時間情報VT_Hour、動画像分情報VT_Minute、動画像秒情報VT_Secondに分解する。
VT_Hour=[VideoTime/10000]
VT_Minute=[(VideoTime−VT_Hour×10000)/100]
VT_Second=VideoTime−(VT_Hour×10000+VT_Minute×100)
次に、フレーム時情報Frame_Hour、フレーム分情報Frame_Minute、フレーム秒情報Frame_Secondを、例えば、下記の数式1のように算出する。
(数式1)
ここでCal_Second,Cal_Minute,Cal_Hourは上記情報を求めるための一時変数とする。
また、A mod BはAをBで割った時の剰余を表す
Cal_Second=VT_Second+[N/FPS]
Cal_Minute=VT_Minute+[Cal_Second/60]
Cal_Hour=VT_Hour+[Cal_Minute/60]
Frame_second=Cal_Second mod 60
Frame_Minute=Cal_Minute mod 60
Frame_Hour=Cal_Hour mod 24
以上を、例えば、下記の数式2を用いて結合し、フレーム画像情報の撮影時間を表す画像時間情報FrameTimeを算出する。
(数式2)
FrameTime=Frame_Hour×10000+Frame_Minute×100+Frame_Second
同様にして、動画像ファイルのファイル日付情報をVideoDate、抽出するフレーム画像情報の画像日付情報をFrameDateとすると、まずVideoDateを動画像年情報VD_Year、動画像月情報VD_Month、動画像日情報VD_Dayに、例えば、下記の数式3を用いて分解する。
(数式3)
VD_Year=[VideoDate/10000]
VD_Month=[(VideoDate−VD_Year×10000)/100 ]
VD_Day=VideoDate−(VD_Year×10000+VD_Month×100)
次に、画像日付算出処理を実行する(S110)。画像日付算出処理は、フレーム年情報Frame_Year、フレーム月情報Frame_Month、フレーム日情報Frame_Dayを算出する処理である。
図8は、画像日付算出処理(S110)を示すフローチャートである。なお、図8のフローチャートに示す変数Mは、現日付からM日進めることを意味する変数である。
まず、フレーム年情報Frame_Year、フレーム月情報Frame_Month、フレーム日情報Frame_Dayに、それぞれ、動画像年情報VD_Year、動画像月情報VD_Month、動画像日情報VD_Dayを代入する(S1201)。次に、変数Mに、[Cal_Hour/24]を代入する(S1202)。次にMが0であるかを判断し(S1203)、肯定されると(S1203:Yes)、本処理を終了する。
一方、否定されると(S1203:No)、フレーム日情報Frame_Dayを判断する(S1204)。「1以上27以下」と判断されると(S1204:1以上27以下)、Frame_Dayに「1」を加算する(S1205)。
一方、S1204の判断において、「28または29」と判断されると(S1204:28or29)、Frame_Monthが「2」であるか否かを判断する(S1206)。否定される場合(S1206;No)、S1205の処理に移行する。
一方、肯定されると(S1206:Yes)、次に、Frame_Dayが「28」であるかを判断する(S1208)。否定される場合(S1208:No)、Frame_Dayに「1」を代入し、Frame_Monthに「1」を加算する(S1210)。
一方、S1208の判断が肯定されると(S1208:Yes)、Frame_Yearで示される年がうるう年か否かを判断する(S1209)。肯定される場合(S1209:Yes)、S1205の処理に進む。否定される場合(S1209:No)、S1210の処理に進む。
次に、S1204の判断において、「30」と判断されると(S1204:30)、次に、Frame_Monthが4,6,9,11のいずれかであるかを判断する(S1211)。肯定される場合(S1211:Yes)、S1210の処理に進む。
一方、否定される場合(S1211:No)、Frame_Dayに「1」を加算する(S1216)。次に、S1204の判断において、「31」と判断されると(S1204:31)、次に、Frame_Yearが12であるかを判断する(S1215)。否定される場合(S1215:No)、S1216の処理に進む。
一方、肯定される場合(S1215:Yes)、Frame_Dayに「1」を代入し、Frame_Monthに「1」を代入し、Frame_Yearに「1」を加算する(S1217)。
S1205,S1210,S1216,S1217の処理の後は、変数Mから「1」減算し(S1212)、S1203に戻る。そして、S1203の判断が肯定されると(S1203:Yes)、本処理を終了する。
図7に戻り説明する。図8に示す処理で算出した値を、例えば下記の数式5を用いて結合し、フレーム画像情報の撮影日付を表す画像日付情報FrameDateを算出する。算出された画像日付情報は画像日付情報記憶領域305へ記憶する(S111)。
(数式5)
FrameDate=Frame_Year×10000+Frame_Month×100+Frame_Day
次に、処理画像数カウンタ、およびフレーム画像抽出枚数カウンタに、それぞれ「1」を加算する(S113)。
次に、フレーム画像抽出枚数カウンタの値が、フレーム画像抽出枚数、すなわち、その動画像ファイルから抽出するフレーム画像情報の数以上となったか否かを判断する(S114)。S114の判断が否定される場合(S114:No)、S108に戻り処理を繰り返す。
一方、S114の判断が肯定される場合(S114:Yes)、次にフレーム画像抽出枚数カウンタを0で初期化し(S115)、処理ファイル数カウンタに1を加算する(S122)。そして、処理ファイル数カウンタの値が、メディアカードに格納される静止画像ファイルと動画像ファイルの合計を示す「総処理ファイル数」以上となったか否かを判断する(S123)。S123の判断が否定される場合(S123:No)、S104の処理に戻り、次の画像ファイルを処理対象として選択し、処理を繰り返す。
続いて、処理対象の画像ファイルが静止画像ファイルであると判断された場合(S105:静止画像)について説明する。静止画像ファイルである場合、処理画像数カウンタ値の配置順序に対応したファイルID記憶領域302へ、現時点における処理ファイル数カウンタの値を記憶する。また、処理画像数カウンタ値の配置順序に対応した抽出フレーム番号記憶領域304へ「0」を記憶する(S115a)。
次に、処理対象の静止画像ファイルのファイル日付情報およびファイル時間情報を取得する。そして、ファイル情報記憶領域13hのうち、処理ファイル数カウンタ値のファイルIDに対応したファイル日付情報記憶領域207(図4参照)へ、ファイル日付情報を記憶し、同ファイルIDに対応したファイル時間情報記憶領域208へ、ファイル時間情報を記憶する(S117)。なお、fps情報記憶領域206には「0」を記憶する。
そして、配置情報記憶領域13i(図5参照)のうち、処理画像数カウンタ値の配置順序に対応する画像日付情報記憶領域305へ、処理対象の静止画像ファイルのファイル日付情報を記憶する。また、同配置順序に対応する画像時間情報記憶領域306へ、処理対象の静止画像ファイルのファイル時間情報を記憶する(S119)。そして、処理画像数カウンタに1を加算し(S121)、S123の処理に移行する。
このように、S101からS123の処理によれば、配置情報記憶領域13iに、ファイルID、抽出フレーム番号、画像日付情報、画像時間情報が格納されることとなるが、この時点では、まだインデックス画像の配置順序は未決定である。図9を参照して後述するS124以降の処理において、画像日付情報と画像時間情報とを条件として、配置情報をソートすることにより、撮影日時に従った配置順序が決定される。
図9は、図7に示す配置順決定処理(S100)の続きの部分を示すフローチャートであり、特に、画像日付情報に基づいて、画像一覧20に配置するインデックス画像を分類する処理、および配置情報記憶領域13iに記憶された配置情報(図5参照)を、撮影日時に従った配置順序にソートする処理の部分を示している。
図9に示すように、まず、現時点における処理画像数カウンタの値を「処理画像総数」として、処理画像総数記憶領域13c(図2参照)に記憶する(S124)。そして、処理画像数カウンタを「0」で初期化する(S125)。ここで処理画像数カウンタはカウンタ記憶領域13m(図2参照)に設けられるカウンタである。
次に、配置情報記憶領域13i(図5参照)の画像日付情報記憶領域305に記憶された、画像日付情報に従って、グループNoを決定する(S126)。具体的には、処理画像数カウンタの値の配置順序に対応する、画像日付情報記憶領域305の値が、既に存在するグループの値と同一の場合は、その該当するグループNoを、この画像情報のグループNoに決定し、そうでない場合は新規のグループNoをこの画像情報のグループNoとして決定する。ただしNoの初期値は1であり、新規のグループNoはそれまでで最大のグループNo+1とする。
このようにすれば、撮影日が同日であるフレーム画像情報または静止画像ファイルに対応するインデックス画像を同一グループに分類される一方で、撮影日が異なるフレーム画像情報または静止画像ファイルに対応するインデックス画像は互いに別グループに分類されることとなる。
そして、処理画像数カウンタの値の配置順序に対応する、グループNo記憶領域303(図5参照)へ、決定したグループNoを記憶する(S127)。次に、処理画像数カウンタに「1」を加算し(S128)、処理画像数カウンタの値が、処理画像総数に記憶された値以上となったかを判断する(S129)。そして、S129の判断が否定される場合(S129:No)、S126から処理を繰り返す。
一方、S129の判断が肯定される場合(S129:Yes)、グループNoの最大値を、グループ数記憶領域401(図6参照)に記憶する(S130)。そして、グループNoの小さい順に、配置情報をソートする(S131)。なお、S131の処理においては、グループNoの小さい順に配置情報をソートすることができれば良いので、ソートアルゴリズムは特に限定するものではなく、例えば、クイックソート法やバブルソート法を用いることが可能である。
なお、図5に示す配置情報記憶領域13iは、配置情報記憶領域13iに記憶された配置情報が、グループNoの小さい順にソートされた状態を模式的に図示している。
図9に戻り説明する。次に、同一グループNoに含まれることとなるインデックス画像数を算出し(S132)、グループNoと対応付けてグループ画像数記憶領域404へ記憶する(S133)。次に、グループカウンタを1で初期化する(S134)。このグループカウンタは、カウンタ記憶領域13m(図2参照)に設けられるカウンタである。
次に、画像時間情報の小さい順に配置情報をソートする(S135)。このソートはグループ単位で行う。これにより、配置情報で特定されるインデックス画像の各々について、対応する配置順序が決定する。
すなわち、同一グループに分類されたインデックス画像内で、画像時間情報(撮影時情報)に従った配置順序を決定する。後述する配置印刷処理(S200)では、グループ毎に画像一覧20が印刷出力されるが、同一グループ内のインデックス画像は、画像時間情報が小さい順に配列されているから、1グループ内に多数のインデックス画像が含まれる場合であっても、ユーザは撮影時間順に整列した閲覧性の良い画像一覧を得ることができる。
なお、画像時間情報が同一である場合は、元々の配置順序を変更しないことが好ましいので、S135の処理では、バブルソートなど単純なソートアルゴリズムが好適に用いられる。
次に、グループカウンタに1を加算し(S136)、グループカウンタの値がグループ数記憶領域401(図6参照)の値より大となったかを判断する(S137)。S137の判断が否定される場合(S137:No)、S135に戻り処理を繰り返す。一方、全てのグループについての処理を終了し、S137の判断が肯定されると(S137:Yes)、配置順決定処理(S100)を終了する。
図10は、MFP1で実行されるグループ色補正パラメータ設定処理(S150)を示すフローチャートである。図10に示すグループ色補正パラメータ設定処理(S150)、上述した配置順決定処理(S100)の後に実行される処理であり、同じグループに属する同士で色(輝度)に関して、統一感があるインデックス画像を出力するために、各画像を補正するためのグループ色補正パラメータを設定する処理である。
まず、グループカウンタを0で初期化する(S151)。グループカウンタはグループ数記憶領域401に記憶されている総グループ数をカウントするものであり、カウンタ記憶手段13mに記憶されている。次に、グループ画像カウンタを0で初期化する(S152)。グループ画像カウンタは、グループ単位情報記憶領域402に記憶されている各グループに含まれる画像の数を計数するものであり、カウンタ記憶手段13mに記憶されている。
そして、グループカウンタ、グループ画像カウンタに対応した画像を読み出し(S153)、その読み出した画像をデコード処理し(S154)、デコード処理した画像について、その画像の平均輝度値を算出する(S155)。尚、画像がRGB値で定義されている場合には、HSV変換した画像のV値の平均値を求めることで、平均輝度値を算出することができる。そして、前記平均輝度値を画像色補正パラメータとして画像色補正パラメータ記憶領域307に記憶する(S155a)。尚、HSVは、色相(H)、彩度(S)、輝度(V)を意味する。
そして、グループ画像カウンタに1加算し(S156)、グループカウンタに対応するグループに含まれる全ての画像について処理したか判定する(S157)。その結果、まだ全ての画像を処理していない場合には(S157:No)、S153からの処理を繰り返す。
一方、処理が終了した場合には(S157:Yes)、グループカウンタに対応したグループについてグループ色補正パラメータを設定する(S158)。例えば、S155aにおいて各画像毎に画像色補正パラメータ記憶領域307に記憶された画像色補正パラメータが中央値となる画像をグループ内から選択し、その選択した画像の画像色補正パラメータをグループ色補正パラメータColとする。そして、その設定したグループ色補正パラメータColをグループカウンタに対応したグループ色補正パラメータ記憶領域405に記憶する(S159)。
こうして、グループ色補正パラメータColを設定、記憶すると、グループ画像カウンタを0で初期化し(S160)、グループカウンタに1加算し(S161)、全てのグループについて処理したか判断し(S162)、処理済であれば(S162:Yes)、本処理を終了し、未処理グループがある場合には(S162:No)、S153からの処理を繰り返す。
このグループ色補正パラメータ設定処理によって、同じグループに属する画像(撮影日が同日の画像)について、同じグループ補正パラメータColを設定することができる。尚、このグループ補正パラメータColは、後述する配置印刷処理(S200)において読み出され、各画像の平均輝度値である画像色補正パラメータが、このグループ補正パラメータColになるように色補正する。
図11は、配置印刷処理(S200)を示すフローチャートである。図10に示す配置印刷処理(S200)は、図7から図9を参照して説明した配置順決定処理(S100)に続けて実行される処理であり、画像一覧20を記録用紙に印刷出力する処理である。
まず、画像一覧20に配列される横一列分のインデックス画像の数を示す「横方向の配置枚数」を、横方向画像配置数記憶領域12bから読み出す(S201)。次に、1ページ分の画像一覧20に配置可能なインデックス画像の数を示す「1ページ内画像配置数」を、1ページ画像配置数記憶領域12cから読み出す(S202)。
次に、グループカウンタを1で初期化する(S203)。以降の処理では、このグループカウンタは、処理対象のグループのグループNoを示すカウンタとして機能する。次に、ページカウンタを1で初期化する(S204)。以降の処理では、このページカウンタは、処理対象のグループのうち、何ページ目の画像一覧20を処理対象としているのかを示すカウンタとして機能する。ページカウンタはカウンタ記憶領域13m(図2参照)に設けられるカウンタである。
次に、グループカウンタ値のグループNoに対応するグループ画像数を、グループ画像数記憶領域404から読み出す(S205)。すなわち、そのグループNoのグループに分類されたインデックス画像の数を取得する。そして、読み出した「グループ画像数」と「1ページ内画像配置数」とから、処理対象のグループについて、何ページ分の画像一覧20を印刷出力するかを示す「生成ページ数」を算出し、生成ページ数記憶領域13d(図2参照)へ記憶する(S206)。本実施形態では、「生成ページ数」は、例えば下記の数式6を用いて算出する。
(数式6)
(生成ページ数)=[(グループ画像数)/(1ページ内画像配置数)]+1
次に、レイアウト画像カウンタを0で初期化し(S207)、1ページの記録用紙内に配置する画像の枚数layout_noを算出する(S208)。本実施形態においては、layout_noは、例えば下記の数式7を用いて算出する。
(数式7)
(ページカウンタ値)<生成ページ数 の時
layout_no=(1ページ内画像配置数)
(ページカウンタ値)≧生成ページ数 の時
layout_no=(グループ画像数)−{(1ページ内画像配置数)×(ページカウンタ値)}
次に、配置順序に対応したファイルID、抽出フレーム番号、画像色補正パラメータColを配置情報記憶領域13iから読み出す(S209)。そして、読み出したファイルIDに対応する画像ファイルが、動画像ファイルであるか静止画像ファイルであるかを判定する(S210)。
S210の判定において、動画像ファイルと判定される場合(S210:動画像)、次に、動画像ファイルから上記抽出フレーム番号で特定される1フレーム画像分のフレーム画像情報を抽出する(S211)。
次に、抽出したフレーム画像情報をデコード処理し、デコードデータ記憶領域13kへ格納する(S212)。そして、グループカウンタ値のグループNoに対応するグループ色補正パラメータColをグループ色補正パラメータ記憶領域405から読み出し、そのグループ色補正パラメータColを用いて、フレーム画像情報を色補正する(S212a)。具体的には、補正対象画像Oの画像色補正パラメータ記憶領域307から読み出した画像の平均輝度値である画像色補正パラメータがグループ色補正パラメータColになるように色補正する。補正対象画像Oの画像色補正パラメータをoVとし、補正対象画像のHSV空間における各画素値をO(x,y)H,O(x,y)S,O(x,y)Vとすれば、補正対象画像Oの色補正後のピクセルは下記の式で求められる。但し、(x,y)は画像の座標値とする。
Figure 2009246900
そして、上述したように色補正したフレーム画像情報をRAM13(図2参照)に設けられた配置用バッファの所定位置に配置する(S213)。
このようにすれば、補正後の画像の平均輝度値はグループ色補正パラメータColに等しくすることができる。
一方、S210の判定において、静止画像ファイルと判定される場合(S210:静止画像)、配置順序に対応したファイルIDで特定される静止画像ファイルをデコード処理して、デコードデータ記憶領域13kへ格納する(S214)。そして、上述したS212aで説明したのと同様に、グループ色補正パラメータColを用いて、静止画像ファイルを色補正する(S214a)。そして、上述したように補正した静止画像ファイルをRAM13(図2参照)に設けられた配置用バッファの所定位置に配置する(S215)。
このように、色補正されたフレーム画像情報または色補正された静止画像ファイルのいずれかを配置用バッファに配置する処理を実行した後、次に、横方向に配置できる画像数の上限である「横方向の配置枚数」回分、処理を行ったか否かを判断する(S216)。S216の判断が否定される場合(S216:No)、次のデータの配置位置を示す横方向位置を更新する(S220)。
そして、レイアウト画像カウンタに「1」を加算し(S221)、レイアウト画像カウンタの値が、現在の処理対象の記録用紙に配置するインデックス画像の数「layout_no」以上となったか否かを判断する(S222)。S222の判断が否定される場合(S222:No)、S209の処理に戻り、次の配置順序に対応した配置情報を処理する。
このようにして、処理を繰り返すことにより、メディアカードに格納される動画像ファイルの各々から、抽出フレーム数(特許請求の範囲に記載の所定枚数に相当)のフレーム画像に相当するフレーム画像情報が抽出され、配置バッファに配置される。また、メディアカードに格納される静止画像ファイルが抽出され、配置バッファに配置される。
このようにして処理を繰り返す内に、「横方向の配置枚数」回分の配置処理が実行されると、S216の判断が肯定されるので(S216:Yes)、次に、配置用バッファのデータをプリンタ3(図2参照)へ渡す(S217)。これにより、配置用バッファに配置された、横一列分のインデックス画像に対応したデータが、プリンタ3による印刷処理にかけられ、画像一覧20を出力することができる。
そして、次の処理対象のインデックス画像の横方向配置位置を示す横方向位置を初期化し(S218)、また、縦方向配置位置を示す縦方向位置を更新する(S219)。すなわち、画像一覧20における次の列の左端から、次のインデックス画像が配列されるように、次の配置位置が決定される。そして、上述したS221、S222の処理を実行する。
このようにして処理をしたインデックス画像の数が、処理対象の記録用紙に配置するインデックス画像数layout_noに到達すると、S222の判断が肯定されるので(S222:Yes)、図11に示す次の処理に移行する。
図11は、図10に示す配置印刷処理(S200)の続きを示すフローチャートであって、S222の判断が肯定される場合に実行される。
まず、配置用バッファに、未だ印刷処理を行っていないデータが存在するかを判断する(S223)。S223の判断が肯定される場合(S223:Yes)、その残りのデータをプリンタ3に渡し(S224)、プリンタ3にて印刷出力させ、S225の処理に移行する。ただし配置用バッファに画像が配置されない領域については白地出力とする。一方、S223の判断が否定される場合(S223:No)、S224の判断をスキップし、S225の処理に移行する。
そして、1ページ分のデータ出力が完了したことを示す印刷完了命令をプリンタ3に渡す(S225)。このとき、データ出力が1ページ分より少ない場合は、改ページも併せて行うことで、異なる色補正が行われたグループが同一用紙に記録されることがなくなる。また、グループ毎に複数の配置バッファを有するならば、該当グループと次のグループのグループ色補正パラメータを比較し、所定の差であるならば、同じ特徴量であると判断し、グループをまたがる印刷において改ページを行わないようにすれば同じ特徴量のグループは連続して印刷することができる。
そして、ページカウンタに「1」を加算する(S226)。次に、配置用バッファにおける次のデータの配置位置を示す横方向位置および縦方向位置を初期化する(S227)。そして、ページカウンタの値が、現在の処理対象のグループについて、何ページ分の画像一覧20を印刷出力するかを示す「生成ページ数」より大となったかを判断する(S228)。S228の判断が否定される場合(S228:No)、図10に示すS207の処理に戻り、同グループについて、次ページの処理を開始する。
一方、S228の判断が肯定される場合(S228:Yes)、グループカウンタに1を加算する(S229)。そして、グループカウンタの値が、グループ数記憶領域401に記憶された値より大となったか否かを判断する(S230)。S230の判断が否定される場合(S230:No)、S204に戻り、処理を繰り返す。すなわち、次のグループNoで特定されるグループを処理対象として処理を繰り返す。
一方、S228の判断が肯定される場合(S228:Yes)、配置印刷処理(S200)を終了する。
このように、このMFP1によれば、図3(a)を参照して説明したように、各インデックス画像21a,21b,21c,22は、各画像の色(輝度)に関し、統一性が出るように色補正されてから印刷出力されるので、画像一覧20に含まれる各インデックス画像21a,21b,21c,22が有する色が視覚的に統一されている画像一覧20を印刷出力させることができる。
また、本実施形態では、各グループを撮影日でグループ分し、その同じグループ内の画像について色(輝度)が統一するように色補正する。よって、例えば、雨の日と、晴天の日とでは、光源の強さが異なり、両日で撮影した写真の色は異なる可能性が高い。よって、この場合にも、色補正して画像の色(輝度)を統一させることもできるが、元画像の色が極端に変化する可能性がある。一方、日にち単位(撮影日単位)でグループ化することで、元画像の色から極端に色が変化するのを防止することができる。また、ファイル時間情報(すなわち、静止画像ファイルまたはフレーム画像情報の撮影時間)に従った配置順序でインデックス画像が配列された画像一覧20を出力することができる。
以上、実施形態に基づき本発明を説明したが、本発明は上述した実施形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内で種々の改良変更が可能であることは容易に推察できるものである。
例えば、本実施形態では、画像一覧20を記録用紙に印刷出力するものとして説明したが、LCD5など表示装置に画像一覧20を表示出力する場合にも、本発明を適用できる。
また、本発明を、例えば、パーソナルコンピュータに適用し、PCのモニターに、画像一覧20を表示出力する場合、あるいは、パーソナルコンピュータからプリンタを制御して画像一覧を印刷出力する場合にも、本発明を適用できる。
また、上記実施形態では、全グループについて画像一覧20が出力されるものとして説明したが、例えば、ユーザにより選択されたグループについてのみ画像一覧20を出力するように構成しても良い。
また、上述した実施形態では、動画像ファイルおよび静止画像ファイルは、共に撮影により生成された画像ファイルであるものとして説明したが、動画像ファイルおよび静止画像ファイルは、撮影以外の方法で生成されるものであっても、本発明を適用可能である。その場合は、撮影日時に代えて、ファイルの作成日時を表すファイルの生成日時情報や、ファイルの更新日時情報など、他の条件を元に、インデックス画像の配置順序を決定するように構成されても良い。
また、上述した実施形態では、メディアカード内に、静止画像ファイルと動画像ファイルとが混在している場合について説明したが、メディアカード内に動画像ファイルのみが格納されている場合にも本発明は適用可能である。
また、上述した実施形態では、着脱可能なメディアカード内に記憶されている画像情報を処理対象としていたが、MFP1の内部メモリに格納された画像情報を処理対象とする場合にも、本発明は適用可能である。
また、上述した実施形態では、撮影日毎にグループ分けされている画像毎に同じグループ色補正パラメータColを設定する場合について説明したが、各ページ単位で同じグループ色補正パラメータColを設定するように構成しても良い。また、撮影日という日にち単位に限られるものでもなく、例えば、メーカ毎、画像種類毎、所定時間単位、午前午後の単位、週単位、月単位でグループ分けし、その同一グループに含まれる各画像に、同じグループ色補正パラメータColを設定するように構成しても良い。
また、上述した実施形態では、輝度に関して色補正する場合について説明したが、輝度に代えて、彩度、色相について、又は、これらの組み合わせについて色補正するように構成しても良い。
例えば、HSV変換した各画像のS値の平均である平均彩度値を画像色補正パラメータとし、グループ色補正パラメータColを、同一グループに含まれる画像の画像色補正パラメータの平均値が中央値となる画像色補正パラメータとする。この場合、補正対象画像Oの平均彩度値である画像色補正パラメータがグループ色補正パラメータColになるように補正する。画像色補正パラメータ記憶領域307から読み出された、補正対象画像Oの画像色補正パラメータをoSとし、補正対象画像OのHSV空間における各画素値をO(x,y)H,O(x,y)S,O(x,y)Vとした時、色補正後のピクセルは下記の式で求められる。但し、(x,y)は画像の座標値とする。
Figure 2009246900
このようにすれば、補正後の画像の平均彩度値はグループ色補正パラメータColに等しくすることができる。
また、画像色補正パラメータを画像中の輝度値が所定値以上の画素のRGB値の平均値とし、グループ色補正パラメータColを、同一グループに含まれる画像中の画像色補正パラメータの平均値(それぞれColR,ColG,ColB)が中央値となる画像の画像色補正パラメータとすることもできる。この場合、画像色補正パラメータ記憶領域307から読み出された、補正対象画像Oの輝度値が所定値以上の画素のRGBの平均値である画像色補正パラメータがグループ色補正パラメータColになるように補正する。画像色補正パラメータをoR,oG,oBとし、補正対象画像OのRGB空間における各画素値をO(x,y)R,O(x,y)G,O(x,y)Bとした時、色補正後のピクセルは下記の式で求められる。但し、(x,y)は画像の座標値とする。また、ColR,ColG,ColBの最大値をColVとする。また、O(x,y)R,O(x,y)G,O(x,y)Bの最大値をO(x,y)Vとする。
Figure 2009246900
このようにすれば、補正後の画像の輝度値が所定値以上の画素のRGB値の平均値をグループ色補正パラメータColに等しくすることができ、具体的には画像のカラーバランスをColに等しくすることができる。
また、上述した実施形態では、各グループに含まれる各画像の平均輝度値が中央値となる画像の平均輝度値を、グループ色補正パラメータとする場合について説明したが、これに代えて、処理対象のグループに含まれる静止画像のそれぞれの平均輝度値を算出して画像色補正パラメータとし、さらにその画像色補正パラメータの平均値に最も近い画像に対応する画像色補正パラメータをグループ色補正パラメータColとするように構成しても良い。また、各静止画像の画像色補正パラメータの平均値をグループ色補正パラメータColとするように構成しても良い。
本発明の画像処理装置の実施形態であるMFPの外観構成を示した斜視図である。 MFPの電気的構成を示すブロック図である。 MFPが印刷出力する画像一覧の一例を示す図である。 ファイル情報記憶領域の構成を模式的に示す図である。 配置情報記憶領域の構成を模式的に示す図である。 グループ情報記憶領域の構成の一例を示す図である。 配置順決定処理を示すフローチャートである。 画像日付算出処理を示すフローチャートである。 図7に示す配置順決定処理の続きの部分を示すフローチャートである。 グループ色補正パラメータ設定処理を示すフローチャートである。 配置印刷処理を示すフローチャートである。 図10に示す配置印刷処理の続きを示すフローチャートである。
符号の説明
1 MFP(画像処理装置の一例)
3 プリンタ(記録手段の一部)
6 スロット部(取得手段の一部)
20 画像一覧
21a,21b,21c インデックス画像(フレーム画像の一例)
22 インデックス画像(静止画像の一例)
S107,S117 時間情報入手手段の一部
S126 分類手段の一例
S155 算出手段の一例
S158 選択手段の一例
S211 抽出手段の一例
S225 出力制御手段の一例
S212a,S214a 補正手段の一例

Claims (12)

  1. 複数の画像ファイルを取得する取得手段と、
    その取得手段によって取得された複数の画像ファイルが示す画像の各々に関し、その各画像が有する色情報が、統一された色情報になるよう各画像を色補正する補正手段と、
    その補正手段によって補正された前記画像の各々を、同一出力面上に出力させる出力制御手段とを備えていることを特徴とする画像処理装置。
  2. 前記取得手段によって取得された複数の画像ファイルを所定の条件に基づいてグループに分類する分類手段を備え、
    前記補正手段は、前記分類手段によって分類されたグループ毎に、同一のグループに属する画像ファイルが示す画像の各々に関し、その各画像が有する色情報が、統一された色情報になるよう前記各画像を色補正し、
    前記出力制御手段は、前記補正手段によって色補正された色情報を有する前記画像の各々を、同一のグループ毎に、同一出力面上に出力させることを特徴とする請求項1に記載の画像処理装置。
  3. 前記取得手段によって取得された複数の画像ファイルの各々に付加されている時間情報を入手する時間情報入手手段を備え、
    前記分類手段は、前記時間情報入手手段によって入手された時間情報に基づいて、前記取得手段によって取得された複数の画像ファイルをグループに分類することを特徴とする請求項2に記載の画像処理装置。
  4. 前記時間情報は、前記取得手段によって取得された複数の画像ファイルの各々に付加されている日付であることを特徴とする請求項3に記載の画像処理装置。
  5. 前記分類手段によって分類されたグループ毎に、同一のグループに属する画像ファイルの中から一の画像ファイルを選択する選択手段と、
    その選択手段によって選択された一の画像ファイルが示す画像が有する色情報を算出する算出手段とを備え、
    前記補正手段は、その算出手段で算出された色情報に、同一のグループに属する他の画像が有する色情報が統一されるよう他の画像を色補正することを特徴とする請求項2から4のいずれかに記載の画像処理装置。
  6. 前記算出手段は、同一のグループに属する画像ファイルが示す画像の各々に関し、その各画像が有する色情報を算出し、
    前記選択手段は、その算出手段で算出された各画像が有する色情報の平均から最も近い色情報を有する画像ファイルを選択することを特徴とする請求項5に記載の画像処理装置。
  7. 前記取得手段によって取得された複数の画像ファイルの中から一つの画像ファイルを選択する選択手段と、
    その選択された一つの画像ファイルが示す画像が有する色情報を算出する算出手段とを備え、
    前記補正手段は、前記算出手段で算出された色情報に、他の画像が有する色情報が統一されるよう他の画像を色補正することを特徴とする請求項1に記載の画像処理装置。
  8. 前記算出手段は、前記取得手段によって取得された複数の画像ファイルが示す画像の各々に関し、その各画像が有する色情報を算出し、
    前記選択手段は、その算出手段で算出された各画像の色情報の平均に最も近い色情報を有する画像ファイルを選択することを特徴とする請求項7に記載の画像処理装置。
  9. 前記色情報は、輝度を示す輝度情報、彩度を示す彩度情報、色相を示す色相情報のうち、何れか一以上であることを特徴とする請求項1から8のいずれかに記載の画像処理装置。
  10. 前記取得手段は、前記画像ファイルとして、動画像ファイルと静止画像ファイルとを取得し、
    その取得手段によって取得された動画像ファイルからフレーム画像を抽出する抽出手段を備え、
    前記補正手段は、前記抽出手段から抽出されたフレーム画像と前記静止画像ファイルが示す静止画像とに関し、その各画像が有する色情報が統一されるよう各画像を色補正することを特徴とする請求項1から9のいずれかに記載の画像処理装置。
  11. 記録用紙に画像を記録する記録手段を備え、
    前記出力制御手段は、前記補正手段によって色補正された前記画像の各々を、前記記録手段によって前記記録用紙の同一紙面上に記録させることを特徴とする請求項1から10のいずれかに記載の画像処理装置。
  12. 記録用紙に画像を記録する記録手段を備え、
    前記出力制御手段は、前記補正手段によって色補正された前記画像の各々を、同一のグループ毎に、前記記録手段によって一枚以上の前記記録用紙の同一紙面上に記録させることを特徴とする請求項2から6のいずれかに記載の画像処理装置。
JP2008094257A 2008-03-31 2008-03-31 画像処理装置 Pending JP2009246900A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008094257A JP2009246900A (ja) 2008-03-31 2008-03-31 画像処理装置
US12/413,133 US8687230B2 (en) 2008-03-31 2009-03-27 Image processor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008094257A JP2009246900A (ja) 2008-03-31 2008-03-31 画像処理装置

Publications (1)

Publication Number Publication Date
JP2009246900A true JP2009246900A (ja) 2009-10-22

Family

ID=41308297

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008094257A Pending JP2009246900A (ja) 2008-03-31 2008-03-31 画像処理装置

Country Status (1)

Country Link
JP (1) JP2009246900A (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004310436A (ja) * 2003-04-07 2004-11-04 Fuji Photo Film Co Ltd ファイル選択支援プログラムおよびファイル選択支援方法
JP2004310499A (ja) * 2003-04-08 2004-11-04 Seiko Epson Corp 画像処理装置、画像処理方法及びプログラム
JP2006343977A (ja) * 2005-06-08 2006-12-21 Fujifilm Holdings Corp 画像処理装置及び画像合成装置、並びに画像処理プログラム及び画像合成プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004310436A (ja) * 2003-04-07 2004-11-04 Fuji Photo Film Co Ltd ファイル選択支援プログラムおよびファイル選択支援方法
JP2004310499A (ja) * 2003-04-08 2004-11-04 Seiko Epson Corp 画像処理装置、画像処理方法及びプログラム
JP2006343977A (ja) * 2005-06-08 2006-12-21 Fujifilm Holdings Corp 画像処理装置及び画像合成装置、並びに画像処理プログラム及び画像合成プログラム

Similar Documents

Publication Publication Date Title
US9053556B2 (en) Image processing apparatus for panoramic synthesis of a plurality of sub-images
US8588532B2 (en) Image processor
JP4645672B2 (ja) 画像処理装置
US8687230B2 (en) Image processor
JP2005190435A (ja) 画像処理方法、画像処理装置及び画像記録装置
US20090092312A1 (en) Identifying Method and Storage Medium Having Program Stored Thereon
US20040263887A1 (en) Image processing apparatus and method
US8466929B2 (en) Image processor
JPWO2005112428A1 (ja) 画像処理方法、画像処理装置、画像記録装置及び画像処理プログラム
US20150062653A1 (en) Image processing apparatus, image processing method, and storage medium
JP2005192162A (ja) 画像処理方法、画像処理装置及び画像記録装置
JP4569659B2 (ja) 画像処理装置
JP4962384B2 (ja) 画像処理装置
JP4702389B2 (ja) 画像処理装置
JP2008061209A (ja) 画像処理方法
JP5343739B2 (ja) 出力装置及びプログラム
JP2005151130A (ja) 画像出力装置、画像出力方法ならびに記憶媒体、プログラム
JP4189654B2 (ja) 画像処理装置
JP4760044B2 (ja) 画像における主要被写体の決定
JP2009246900A (ja) 画像処理装置
JP2005192158A (ja) 画像処理方法、画像処理装置及び画像記録装置
JP4569658B2 (ja) 画像処理装置
JP4821794B2 (ja) 画像処理装置
US8243328B2 (en) Printing method, printing apparatus, and storage medium storing a program
JP4292873B2 (ja) 画像処理方法、画像処理装置及び画像記録装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100113

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100506

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100907