JP2004336230A - 画像処理装置および画像処理方法、画像形成装置ならびにプログラム - Google Patents
画像処理装置および画像処理方法、画像形成装置ならびにプログラム Download PDFInfo
- Publication number
- JP2004336230A JP2004336230A JP2003127008A JP2003127008A JP2004336230A JP 2004336230 A JP2004336230 A JP 2004336230A JP 2003127008 A JP2003127008 A JP 2003127008A JP 2003127008 A JP2003127008 A JP 2003127008A JP 2004336230 A JP2004336230 A JP 2004336230A
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- image
- image data
- red
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Record Information Processing For Printing (AREA)
- Image Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
【課題】処理を行う多数の画像データ中に赤目補正処理等の時間のかかる画像処理が必要な画像データが存在していても、他の画像データに対する画像処理の効率等を低下することなく、迅速に画像処理を行うことを可能にする。
【解決手段】第1の処理手段と、画像データを一時的に記憶するバッファメモリを有し第1の処理手段とは異なる画像処理を行う、前記第1の処理手段の上流もしくは下流に配置される第2の処理手段とを有し、第1の処理手段は、供給された全画像データに画像処理を施して出力し、第2の処理手段は、自身が処理しない画像データは、そのまま出力し、自身が処理する画像データのみをバッファメモリに取り込んで処理することにより、前記課題を解決する。
【選択図】図1
【解決手段】第1の処理手段と、画像データを一時的に記憶するバッファメモリを有し第1の処理手段とは異なる画像処理を行う、前記第1の処理手段の上流もしくは下流に配置される第2の処理手段とを有し、第1の処理手段は、供給された全画像データに画像処理を施して出力し、第2の処理手段は、自身が処理しない画像データは、そのまま出力し、自身が処理する画像データのみをバッファメモリに取り込んで処理することにより、前記課題を解決する。
【選択図】図1
Description
【0001】
【発明の属する技術分野】
本発明は、デジタルの画像処理の技術分野に属し、詳しくは、複数の画像データの中に、赤目補正処理等の処理に時間がかかる画像処理が必要な画像データを含む場合であっても、効率よく迅速に画像処理を行うことができる画像処理装置および方法、この画像処理装置を利用する画像形成装置、ならびに、これらを実現するプログラムに関する。
【0002】
【従来の技術】
現在、ネガフィルム、リバーサルフィルム等の写真フィルム(以下、フィルムとする)に撮影された画像の感光材料(印画紙)への焼き付けは、フィルムの画像を感光材料に投影して露光する、いわゆる直接露光が主流である。
これに対し、近年では、フィルムに記録された画像を光電的に読み取って、読み取った画像をデジタル信号とした後、種々の画像処理を施して記録用の画像データとし、この画像データに応じて変調した記録光によって感光材料を露光してプリントとして出力するデジタルフォトプリンタが実用化されている。
【0003】
デジタルフォトプリンタは、基本的に、フィルムに記録された画像を光電的に読み取るスキャナ(画像読取装置)、および、スキャナが読み取った画像データに画像処理を施して出力のための画像データとする画像処理装置を有する入力機と、画像処理装置から出力された画像データに応じて、例えば光ビーム走査によって感光材料を露光して潜像を記録し、現像処理を施して(仕上り)プリントとする出力機(プリンタ/プロセサ)とから構成される。
【0004】
デジタルフォトプリンタは、フィルムに撮影された画像を光電的に読み取って、画像をデジタルの画像データとして、画像の処理や感光材料の露光を行う。そのため、フィルムに撮影された画像のみならず、デジタルカメラ等で撮影された画像(画像データ)からも、プリントの作成を行うことができる。
【0005】
また、近年のパーソナルコンピュータ(PC)やデジタルカメラ、さらにはインクジェットプリンタなどの安価なカラープリンタの普及に伴い、デジタルカメラで撮影した画像をPCに取り込み、画像処理を施してプリンタで出力するユーザをも多い。
さらに、近年では、デジタルカメラで撮影した画像を記憶したスマートメディアTMやコンパクトフラッシュTMなどの記憶媒体から、直接的に画像データを読み取り、所定の画像処理を施して、プリント(ハードコピー)を出力するプリンタも実用化されている。
【0006】
ところで、ポートレート等の人物を含む画像において、画質を左右する最も重要な要素は人物の仕上りである。従って、撮影時のストロボ発光の影響によって、人物の目(瞳)が赤になる赤目現象は重大な問題となる。
従来のフィルムから直接的に露光を行うフォトプリンタでは、赤目の補正は非常に困難であるが、デジタルフォトプリンタ等のデジタルの画像処理であれば、画像解析および画像データの処理によって赤目の補正を行うことができる。例えば、特許文献1に示されるように、表示画像を用いた指示や画像解析を利用する自動抽出等によって、赤目となっている瞳を検出し、その瞳(その画像データ)を色変換して赤目を修正することで、赤目の補正処理が行われる。
【0007】
【特許文献1】
特開平11−175699号公報
【0008】
【発明が解決しようとする課題】
このような赤目補正処理は、全ての画像データに必要な処理では無いものの、演算量が多く、かつ、時間のかかる処理である。そのため、赤目補正処理は、全ての画像データ(コマ)に対して行われる一般的な画像処理のために特化された画像処理手段ではなく、別の画像処理手段に画像データを取り込んで行うのが好ましい。
【0009】
ここで、通常の画像処理においては、画像処理および出力は、画像データの読み込み順(コマの順番)どおりに行われる。
そのため、連続的に処理を行う複数のコマの中に、赤目補正処理が必要なコマが存在する場合には、そのコマの赤目補正処理が終了するまで、次のコマの画像処理を行うことができない。例えば、前記特許文献1に開示される装置では、出力用の画像データ(ファインスキャンデータ)を用いた赤目領域指定や赤目補正結果の確認を行って、効率のよい赤目補正を可能としているが、赤目補正処理中は、やはり他のコマに対する画像処理が停止した状態となってしまう。その結果、赤目補正処理中に他のコマに対する画像処理が停止したような状態となってしまい、全体的な画像処理時間が長くなってしまうという問題がある。
【0010】
本発明の目的は、前記従来技術の問題点を解決することにあり、デジタルフォトプリンタなどにおけるデジタルの画像処理において、処理を行う複数の画像データの中に、赤目補正やテンプレート合成等の時間のかかる画像処理が必要な画像データが存在していても、他の画像データに対する画像処理の効率等を低下することなく、迅速に画像処理を行うことを可能にする画像処理装置および画像処理方法、これを利用する画像形成装置、ならびに、これらを実施させるプログラムを提供することにある。
【0011】
【課題を解決するための手段】
前記課題を解決するために、本発明の画像処理装置は、第1の画像処理手段と、画像データを一時的に記憶するバッファメモリを有し、前記第1の画像処理手段とは異なる画像処理を行う、前記第1の画像処理手段の上流もしくは下流に配置される第2の画像処理手段とを有し、前記第1の画像処理手段は、供給された全ての画像データに画像処理を施して出力し、前記第2の画像処理手段は、供給された画像データのうち、自身が画像処理を行わない画像データは、そのまま出力し、自身が画像処理を行う画像データのみを前記バッファメモリに取り込んで画像処理を施して出力することを特徴とする画像処理装置を提供する。
【0012】
また、本発明の画像形成装置は、前記本発明の画像処理装置と、前記画像処理装置から出力された画像データを受け取り、この画像データを可視像として再生したハードコピーを作成する画像記録手段とを有することを特徴とする画像形成装置を提供する。
【0013】
また、本発明の画像処理方法は、供給された全画像データに画像処理を施して出力する第1の画像処理手段によって画像処理を行いつつ、前記第1の画像処理手段とは異なる画像処理を行う、前記第1の画像処理手段の上流もしくは下流に配置される第2の画像処理手段によって、自身が画像処理を行う画像データはバッファメモリに取り込んで画像処理を行った後に出力し、それ以外の画像データは、そのまま出力することを特徴とする画像処理方法を提供する。
【0014】
さらに、本発明のプログラムは、第1の画像処理手段によって、供給された全画像データに画像処理を実施させ、処理済の画像データを出力させる機能、前記第1の画像処理手段とは異なる画像処理を行う、前記第1の画像処理手段の上流もしくは下流に配置される第2の画像処理手段によって、自身が処理しない画像データはそのまま出力させ、自身が画像処理を行う画像データはバッファメモリに取り込んで画像処理を行った後に出力させる機能、前記第1の画像処理手段および第2の画像処理手段に画像データを供給させる機能、を実現させるためのプログラムを提供する。
【0015】
このような本発明において、さらに、第1の画像処理手段および第2の画像処理手段よりも上流に、画像データを取得して、1コマずつ、順次、出力する画像供給手段を有し、かつ、この画像供給手段は、1つの画像データの集合の中で、前記第2の画像処理手段で処理を行う画像データから下流に出力するのが好ましい。
また、前記第2の画像処理手段による画像処理の進行によらず、供給された画像データに、順次、必要な画像処理を施して出力するのが好ましく、もしくは、コマ番号が付された1つの画像データの集合においては、常に、前記第2の画像処理手段が処理中の画像データよりも小さいコマ番号を有する画像データを出力するのが好ましく、もしくは、前記第2の画像処理手段による画像処理の進行によらず、供給された画像データに、順次、必要な画像処理を施して出力するパターンと、コマ番号が付された1つの画像データの集合においては、常に、前記第2の画像処理手段が処理中の画像データよりも小さいコマ番号を有する画像データを出力するパターンとの選択手段を有するのが好ましい。
【0016】
【発明の実施の形態】
以下、本発明の画像処理装置および画像処理方法、画像形成装置ならびにプログラムについて、添付の図面に示される好適実施例を基に、詳細に説明する。
【0017】
図1に、本発明にかかる画像処理装置の概念をブロック図で示す。
図1に示される画像処理装置10は、通常のカメラやデジタルカメラ等で光学的に撮影された画像に、所定の画像処理および必要に応じて赤目補正処理を施すものであり、処理装置本体12(以下、装置本体12とする)に加え、スキャナ14および読取装置16を有して構成される。
【0018】
スキャナ14は、通常のカメラによって(写真)フィルムに撮影された画像を光電的に読み取るものである。
本発明において、スキャナ12は、基本的に、公知のフィルムスキャナであって、例えば、フィルムを連続的もしくは1コマずつ断続的に搬送しつつ、所定の読取位置においてフィルムに読取光を入射して、フィルムを透過した画像を担持する投影光をCCDセンサ等に結像して、光電的に読み取り、デジタルの画像データに変換して装置本体12に出力する。
【0019】
また、図示例においては、スキャナ14は、1コマ(1画像)について、出力用の画像データを得るために画像を高解像度で読み取るファインスキャンと、ファインスキャンの読取条件や装置本体12における処理条件を決定するために、ファインスキャンに先立って低解像度で画像を読み取るプレスキャンとの、2回の画像読取を行う。また、スキャナ14は、プレスキャンの画像データ(以下、プレスキャンデータとする)は、後述する装置本体12の解析手段30へ、ファインスキャンの画像データは同画像処理手段32に出力する。
ここで、スキャナ14は、一件(フィルム1本)の画像読取において、プレスキャンは1コマ目から最終コマ(あるいは逆)まで順番に読み取りを行い、ファインスキャンでは、後述する解析手段30から供給された情報に応じて、赤目補正処理を行うコマを最初に読み取って、その後、赤目補正処理が不要なコマの読み取りを行う。従って、図示例においては、ファインスキャンの際には、必要に応じて、フィルムを往復動する。
【0020】
読取装置16は、デジタルカメラによって撮影された画像の画像データを記憶するメディア(記憶媒体)から、画像データを読み取り、装置本体12の画像処理手段32に供給するものである。あるいは、デジタルカメラから、直接、画像データを読み取れるようにしてもよい。
本発明において、読取装置16が対応するメディアには限定はなく、CD−R、MO、ZipTM、スマートメディアTM、xD−ピクチャーカードTM、コンパクトフラッシュTM、PCカード等、画像データ(画像ファイル)を記憶可能であれば、各種のメディアが全て利用可能である。
【0021】
ここで、読取装置16は、後述する解析手段30から供給された情報に応じて、1件(例えば、1つのメディアから読み取った全コマ)の内、赤目補正処理を行うコマの画像データを最初に画像処理手段32に出力し、その後、赤目補正処理が不要なコマの画像データを出力する。
【0022】
なお、本発明においては、読取装置16と装置本体12とを一体的に構成してもよい。
あるいは、読取装置16と、後述する装置本体12の解析手段30と画像処理手段32のみを一体的に構成して、両手段は読取装置16による画像データのみに対応するものとして、スキャナ14による画像データに対応する解析手段30および画像処理手段32は、別途、設ける構成としてもよい。
【0023】
プリンタ20は、装置本体12から供給された画像データに応じた画像記録を行い、この画像データの画像を再生したプリント(ハードコピー)を出力するものである。このプリンタ20と装置本体12(あるいはさらに、スキャナ14および/または読取装置16)とを組み合わせることにより、本発明の画像形成装置が構成される。
本発明において、プリンタ20(画像記録手段)には限定は無い。例えば、装置本体12から供給された画像データに応じて変調した光ビームで感光材料(印画紙)を像様に露光して、湿式の現像処理を施してプリントとして出力する(写真)プリンタ、インクジェットプリンタ、電子写真プリンタ等、各種のカラープリンタが全て利用可能である。
【0024】
なお、本発明においては、装置本体12(あるいはさらに読取手段16を組み込んで)とプリンタ18とを一体的に構成してもよく、また、装置本体12(同前)をアダプタやアタッチメントのように構成して、プリンタ18に接続自在もしくは着脱自在にしてもよい。
【0025】
装置本体12は、スキャナ14および読取装置16から画像データを受け取り、所定の画像処理および必要に応じて赤目補正処理(以下、赤目処理とする)を行って、プリンタ20に出力するものであり、基本的に、解析手段30と、画像処理手段32と、赤目処理部34とを有して、構成される。
画像処理手段32は、本発明における第1の画像処理手段に対応し、赤目処理部34は、本発明における第2の画像処理手段に対応するものである。両者は、個々にCPUやメインメモリ等を有する、完全に独立した部位であり、好ましくは、実施する画像処理に応じて特化されている。
【0026】
なお、図示例においては、解析手段30および画像処理手段32は、スキャナ14から供給された画像データおよび読取装置16から供給された画像データの両者を処理している。
しかしながら、本発明は、これに限定はされず、スキャナ12から供給された画像データに対応する手段と、読取装置16から供給された画像データに対応する手段とを、独立して有してもよい。さらに、解析手段30および画像処理手段32と、赤目補正部34とを、完全に独立した別体の構成としてもよい。
【0027】
解析手段30は、スキャナ14や読取装置16から供給された画像データ(画像ファイル)を解析して、赤目が発生している可能性を有するコマ(画像)、すなわち赤目処理が必要なコマを抽出するものである。
なお、赤目処理を行うコマ(第2の画像処理手段で処理を行うコマ)の選択は、データ解析による方法に限定はされず、オペレータ等による入力指示に応じて行ってもよく、画像データ等の解析と入力指示とを併用可能にしてもよく、画像データ等の解析と入力指示とを選択可能にしてもよい。
【0028】
スキャナ14から供給された画像データを処理する場合には、プレスキャンデータが解析手段30に供給される。解析手段30は、各コマ毎に、濃度ヒストグラムの作成や顔抽出等、プレスキャンデータの画像解析を行って、赤目処理が必要なコマを抽出し、抽出結果すなわち赤目処理を行うコマの情報をスキャナ14および赤目処理部34に送る。
スキャナ14は、ファインスキャンでは、赤目処理を行うコマを最初に読み取るのは、前述のとおりである。
【0029】
デジタルカメラで撮影された画像データ(画像ファイル)は、通常、Exifフォーマットである。解析手段30は、読取装置16がメディアからのデータ読み取り終了すると、読取装置16が読み取ったデータを解析に行き、例えば、Exifデータを用いて、赤目処理が必要なコマを抽出し、抽出結果すなわち赤目処理を行うコマの情報を読取装置16および赤目処理部34に送る。
読取装置16は、赤目処理を行うコマを最初に画像処理部32に出力するのは、前述のとおりである。
【0030】
画像処理手段32は、供給された全てのコマ(画像データ)に所定の画像処理を施し、画像データの転送方向の下流(以下、単に下流とする)の赤目補正部34に供給するものである。
画像処理手段32が実施する画像処理には、限定はなく、階調補正、色/濃度補正、電子変倍処理、シャープネス処理、覆い焼き処理(中間階調を維持したダイナミックレンジの圧縮)等、各種の画像処理装置で通常に行われている各種の画像処理が例示される。また、各画像処理の方法も、メモリへの画像データの取り込み、LUT(ルックアップテーブル)、MTX演算、各種のフィルタによる各種の処理等を用いる、公知の方法によればよい。
【0031】
ここで、画像処理装置12においては、画像処理手段32からの処理済の画像データの出力パターン、すなわち図示例においてはプリンタ20への処理済の画像データの供給パターンとして、2つのパターンを有し、いずれかを選択できるようになっている。
第1のパターンは、コマ番号に応じて、赤目処理部34による処理の終了を待機し、常に、赤目処理部34が処理中の画像データよりも若い(小さい)コマ番号を有する画像データを出力するパターンである。このパターンは、画像処理手段32による待ち時間が生じる可能性は有るものの、コマ番号順にプリントの出力を行うことができる。
第2のパターンは、赤目処理部34による処理の進行に関わらず、必要な画像処理が終了したコマから、順次、赤目処理部34に画像データを出力するパターンである。このパターンでは、プリントの出力順はコマ番号どおりにはならないが、最短の処理時間を実現できる。
これらのパターンに関しては、後に詳述する。
【0032】
なお、本発明の画像処理装置10は、両出力パターンを選択可能であるのに限定はされず、第1のパターンもしくは第2のパターンのみを実施するものであってもよい。
【0033】
赤目処理部34は、メモリ40、バッファメモリ42、および、赤目処理手段44を有して構成され、解析手段30が赤目処理が必要であると判断したコマのみに赤目処理を行い、赤目処理が不要と判断されたコマは、何の処理も行わずにプリンタ20に出力する。
具体的には、赤目処理部34においては、画像処理部32から供給された各コマの画像データを、一旦、メモリ40に記憶する。このコマが解析手段30によって赤目処理は不要と判断されたコマである場合には、赤目補正部34は、何の処理もせずに、メモリ40からプリンタ20に画像を出力する。他方、このコマが赤目処理が必要であると判断されたコマである場合には、メモリ40からバッファメモリ42に画像データを取り込み、赤目処理手段44によって、画像の赤目(補正)処理を行う。
【0034】
本発明は、このような構成を有することにより、時間のかかる赤目処理中に他の通常の画像処理を停止することなく、画像処理手段32による通常の画像処理と、赤目処理部34赤目処理とを並行して行うことを可能にし、効率の良い迅速な画像処理を行って、1件のトータルの処理時間を短縮できる。
【0035】
なお、赤目処理手段44による赤目処理の方法には、特に限定はなく、公知の方法が、各種、利用可能である。
一例として、バッファ42に記憶した画像データから、画像中の赤目を画像解析によって自動検出(赤目検出)して、さらに、その修正(赤目修正)を画像処理によって自動的に行う、全自動の赤目補正処理方法が例示される。
【0036】
赤目検出の方法には、特に限定はなく、公知の方法が各種利用可能である。
一例として、顔抽出を行い、抽出した顔から瞳および/または赤目を検出する方法が例示される。
【0037】
顔抽出は、公知の方法で行えばよく、例えば、エッジ検出や形状パターン検出による顔検出方法; 色相抽出や肌色抽出による顔検出方法; 候補領域を抽出して、この候補領域を小領域に分割して、各領域毎の特徴量を予め設定した顔領域パターンと照合して、その確度から顔領域を抽出する方法(特開2000−137788号公報参照); 顔候補領域を抽出して、各候補領域の重複度から確度を評価して顔領域を抽出する方法(特開2000−149018号公報参照); 顔候補領域を抽出して、各候補領域の濃度が所定の閾値に対応する値である場合に、胴体候補領域を抽出し、顔および胴体候補領域の濃度や彩度コントラストを用いて確度を評価して、顔領域を抽出する方法(特開2000−148980号公報参照); 等が例示される。
【0038】
抽出した顔領域から赤目を検出する方法も、公知の方法で行えばよい。
例えば、エッジ検出、形状パターン検出、位置情報、色相情報等を用いた瞳抽出を行って、色相等から赤目を検出する方法; エッジ検出、形状パターン検出、位置情報等を用いて目を抽出し、この目の画像データの輝度ヒストグラムから低輝度領域を抽出し、抽出した低輝度領域を収縮処理して瞳の領域を抽出し、色相等から赤目を検出する方法; 顔候補領域をxy平面として各画素毎に色相等を用いた画像特徴量zを求め、xyzの三次元空間を設定してz値の山状分布からxy平面を分割して、分割領域毎に形状情報や統計的画像特徴量等から赤目を検出する方法(特開2000−76427号公報参照); 等が例示される。
【0039】
また、検出した赤目の修正方法にも限定はなく、公知の方法で行えばよい。
例えば、検出した赤目の色変換や彩度低下によって赤目を修正する方法; 検出した赤目領域で最小明度の画素に近づけるように、他の全画素の彩度や明度を補正する方法(特開2000−76427号公報参照); 等が例示される。
【0040】
なお、本発明において、第2の画像処理手段で行う画像処理は、図示例のような赤目処理に限定はされず、演算量が多く、時間のかかる各種の画像処理、好ましくは、特定のコマのみに必要な画像処理が、各種、利用可能である。
一例として、フレームなどの画像テンプレートの合成、歪曲収差補正、周辺減光補正、フィルムの損傷や付着した異物等に起因する画像欠陥を処理する傷消し処理等が例示される。なお、これらの画像処理は、いずれも公知の方法で実施すればよい。例えば、傷消し処理であれば、赤外線(IR)領域で画像読取を行い、得られた画像(IR画像)から傷(画像欠陥理)の発生箇所を検出して、周辺画素を用いた補間等によって傷消し処理(画像欠陥の補正処理)を行えばよい。また、傷の発生量、傷の発生箇所、傷が主要被写体に重なっているか否か等を解析して、傷消し処理(第2の画像処理手段での処理)を行うか否かを判定するようにしてもよい。
また、第2の画像処理手段で複数の画像処理を行うようにしてもよいのは、もちろんのことである。
【0041】
以下、図示例の画像処理装置10の作用を説明することにより、本発明について、より詳細に説明する。また、本発明のプログラムは、装置本体12、あるいはさらにスキャナ14および読取装置16に、以下の作用を実施させるプログラムである。
【0042】
まず、スキャナ14が読み取ったフィルムの画像を処理する場合には、読取開始の指示が出されると、前述のようにプレスキャンを行い、プレスキャンデータを装置本体12の解析手段30に送る。
解析手段30は、前述のように、各コマ毎に画像解析を行い、赤目処理が必要なコマを抽出し、抽出結果すなわち赤目処理を行うコマの情報をスキャナ14および赤目補正部34に供給する。
一例として、2コマ目と6コマ目に赤目処理を行うとして、スキャナ14は、この情報に応じて、まず、2コマ目、次いで、6コマ目を所定の読取位置に搬送してファインスキャンを行い、その後、フィルムを読み取りの先頭位置まで逆送して、次いで、フィルムを順方向に搬送しつつ、1コマ目、3〜5コマ目、7コマ目以降と、順次、ファインスキャンを行い、ファインスキャンデータを、順次、装置本体12の画像処理手段32に供給する。
【0043】
他方、読取装置16がメディアから読み取った画像データを処理する場合には、メディアが読取装置16に装填されて、読取指示が出されると、読取装置16がメディアが記憶している全画像データを読み取る。
所定のデータの読み取りを終了すると、読取装置16は、解析手段30に信号を出す。解析手段30は、これに応じて、読取装置16にデータを見に行き、前述のように、読取装置16が読み取った画像データ(画像ファイル)のExif情報の解析等を行って、赤目処理が必要なコマを抽出し、抽出結果すなわち赤目処理を行うコマの情報を読取装置16および赤目補正部34に供給する。
同様に、2コマ目と6コマ目に赤目処理を行うとして、読取装置16は、この情報に応じて、2コマ目、次いで、6コマ目の画像データを最初に画像処理手段32に出力し、その後、1コマ目、3〜5コマ目、7コマ目以降と、順次、画像データを画像処理手段32に出力する。
【0044】
以下の作用は、スキャナ14による画像データでも読取装置16による画像データでも同じであるので、説明はまとめて行う。一例として、全10コマの件で、2コマ目と6コマ目に赤目処理を行うとする。
なお、以下に説明する出力のための画像データの処理に先立ち、プレスキャンデータやメディアから読み取った画像データを間引いた画像データを用いて、検定画像を作成し、オペレータによる検定等を行ってもよい。
【0045】
画像処理手段32は、画像データを供給された順に、2コマ目、次いで6コマ目に所定の画像処理を行い、処理済の画像データを赤目処理部34のメモリ40に出力する。
2コマ目および6コマ目は赤目処理を行うコマであるので、赤目処理部34では、メモリ40からバッファメモリ42に画像データを取り込み、順次、赤目処理を行う。
【0046】
ここで、前述のように図示例においては、、画像処理手段32からの画像データの出力パターンすなわちプリンタ20への画像データの供給パターン(プリント順)には、第1と第2の二つのパターンがある。
【0047】
第1のパターンは、前述のように、赤目処理部34による赤目処理の進行に応じて、常に、赤目処理部34で処理中の画像データよりも若いコマ番号を有する画像データを出力するパターンである。
以下、図2(A)の概念図を参照して説明する。
【0048】
本例は、2コマ目と6コマ目に赤目処理を行うものであり、前述のように、画像処理手段32には、2コマ目および6コマ目の画像データが最初に供給され、次いで、他のコマの画像データが、順次、供給される。
画像処理手段32は、まず、供給された2コマ目、次いで、6コマ目に画像処理を施して、順次、赤目処理部34のメモリ40に出力する。赤目補正部34においては、2コマ目および6コマ目は赤目処理を施すコマであるので、画像データをメモリ40からバッファメモリ42に取り込み、2コマ目から赤目処理手段44によって赤目処理を行う。
【0049】
画像処理手段32は、6コマ目の画像処理を終了したら、さらに、1コマ目、3コマ目、4コマ目、5コマ目、7コマ目…と、順次、画像処理を行う。
ここで、赤目処理部34において2コマ目の赤目処理中である場合には、画像処理手段32は、これより若いコマ番号を有する1コマ目のみの、画像処理を終了したら処理済の画像データを赤目処理部34のメモリ40に供給し、3コマ目以降は、画像処理を終了しても、出力を待機する。
1コマ目は、赤目処理を行わないコマであるので、赤目処理部34では何の処理もせずに、そのまま画像データをメモリ40からプリンタ20に供給する。
【0050】
赤目処理部34において、2コマ目の赤目処理が終了すると、バッファメモリ42からメモリ40に赤目処理済の画像データを供給し、此処から、この画像データをプリンタ20に供給すると共に、バッファメモリ42に記憶した6コマ目の赤目処理を開始する。
これに応じて、画像処理手段32では、画像処理の進行状況に応じて、6コマ目よりも若い3コマ目、4コマ目、および5コマ目の処理済画像データを、順次、赤目処理部34のメモリ40に供給する。また、画像処理手段32では、6コマ目よりも大きな7コマ目以降は、画像処理が終了しても出力を待機する。
3コマ目〜6コマ目も赤目処理を行わないコマであるので、赤目処理部34では何の処理もせずに、そのまま画像データをメモリ40からプリンタ20に供給する。
【0051】
以下、同様に、赤目処理部34においては、6コマ目の赤目処理が終了すると、この赤目処理済の画像データをプリンタ20に供給する。これに応じて、画像処理手段32は、画像処理の進行状態に応じて、7コマ目以降の処理済画像データを、順次、赤目処理部34に供給し、赤目処理部34は、何の処理もせずにこの画像データをプリンタ20に供給する。
従って、このパターンでは、プリント順は1コマ目〜10コマ目までコマ番号順となる。
【0052】
もう一方の出力パターンは、赤目処理部34における赤目処理の進行状況によらず、必要な処理が終了した画像データを、順次、赤目処理部34すなわちプリンタ20に供給するパターンである。以下、図2(B)の概念図を参照して説明する。
【0053】
先の第1のパターンと同様、画像処理手段32には、2コマ目および6コマ目の画像データが最初に供給され、次いで、他のコマの画像データが、順次、供給される。
画像処理手段32は、まず、供給された2コマ目、次いで、6コマ目に画像処理を施して、順次、赤目処理部34のメモリ40に出力する。赤目補正部34においては、2コマ目および6コマ目は赤目処理を施すコマであるので、画像データをメモリ40からバッファメモリ42に取り込み、2コマ目から赤目処理手段44によって赤目処理を行う。
【0054】
画像処理手段32は、6コマ目の画像処理を終了したら、さらに、1コマ目、3コマ目、4コマ目、5コマ目、7コマ目…と、順次、画像処理を行い、赤目処理部34による赤目処理の進行状況によらず、画像処理を終了したら、順次、赤目処理部34のメモリ40に出力する。
これらは、赤目処理を行わないコマであるので、赤目処理部34では何の処理もせずに、そのまま画像データをメモリ40からプリンタ20に供給する。
【0055】
ここで、赤目処理部34において、画像処理手段32からメモリ40に5コマ目の処理済画像データを取り込んでいる途中で、2コマ目の赤目処理が終了したとする。赤目処理部34は、バッファメモリ42に記憶した6コマ目の赤目処理を開始すると共に、5コマ目の画像データをメモリ40に取り込みつつ、バッファメモリ42からメモリ40に2コマ目の赤目処理済画像データを送り、此処からプリンタ20に2コマ目の画像データを送る。
【0056】
赤目処理部34は、2コマ目の画像データをプリンタ20に供給したら、画像処理手段32からの画像データの供給に応じて、5コマ目以降を、順次、プリンタ20に送る。
また、赤目処理部34において、画像処理手段32から9コマ目の画像データを取り込んでいる途中で、6コマ目の赤目処理が終了したとして、先と同様に、赤目処理部34は、6コマ目をプリンタ20に送り、次いで、画像処理手段32からの画像データの供給に応じて、9コマ目、10コマ目を何の処理もせずにプリンタ20に供給する。
従って、本例においては、プリント順は、1、3、4、2、5、7、8、6、9、10コマ目の順番になる。
【0057】
前述のように、通常の画像処理においては、赤目処理等を行っている最中には、通常の画像処理を停止したような状態となってしまうために、画像処理の効率が悪く、赤目処理等が必要なコマが存在すると、図2(C)に概念的に示すように、1件の画像処理時間が長くなってしまう。
これに対し、本発明によれば、赤目処理等の時間がかかる画像処理と、全コマに施す通常の画像処理とを並行して行うことができるので、図2に概念的に示すように、非常に良好な処理効率で、1件全体の処理時間を短縮できる。また、第1のパターンによれば、場合によって若干の待機時間は生じるものの、良好な効率で赤目処理と画像処理とを行って、短時間で、コマ番号順にプリントを出力できる。他方、第2のパターンによれば、プリント順はコマ番号順とはならないが、最短時間で赤目処理を含む1件の処理を行うことができる。
【0058】
以上の例では、第1のパターンでは、画像処理手段32からの画像データの出力を待機することで、プリンタ20への画像データ出力をコマ番号順としたが、本発明は、これに限定はされない。例えば、画像処理手段32において、画像処理の開始を待機することで、プリンタ20への画像データ出力をコマ番号順としてもよい。
あるいは、赤目処理部34における画像データの出力待機や、赤目処理部34の下流に配置される部位における画像データの出力待機等によって、プリンタ20への画像データ出力をコマ番号順としてもよい。
【0059】
以上、本発明について詳細に説明したが、本発明は上記実施例に限定はされず、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよいのは、もちろんである。
【0060】
例えば、図示例においては、第2の画像処理手段(赤目処理部34)は第1の画像処理手段(画像処理手段32)の下流に位置しているが、本発明は、これに限定はされず、第2の画像処理手段を第1の画像処理手段の上流に配置してもよく、さらに、第1の画像処理手段の上流および/または下流に、互いに異なる画像処理を行う複数の第2の画像処理手段を配置してもよい。
また、図示例では、装置本体12は、スキャナ14と読取手段16との両者に対応しているが、本発明はこれに限定はされず、いずれか一方のみに対応するものであってもよい。
さらに、本発明においては、処理済の画像データをプリンタ(画像記録手段)に出力するのに限定はされず、例えば、CD−RやDVD等に処理済の画像データを出力するものであってもよい。
【0061】
【発明の効果】
以上、詳細に説明したように、本発明によれば、処理を行う多数の画像データ中に、赤目補正やテンプレート合成等の時間のかかる画像処理が必要な画像データが存在していても、他の画像データに対する画像処理の効率等を低下することなく、迅速に画像処理を行うことができる。
【図面の簡単な説明】
【図1】本発明の画像処理装置の一例を概念的に示すブロック図である。
【図2】(A)および(B)は、本発明の画像処理の一例を説明するための概念図で、(C)は従来の画像処理の一例を説明するための概念図である。
【符号の説明】
10 画像処理装置
12 (処理)装置本体
14 スキャナ
16 読取装置
20 プリンタ
30 解析手段
32 画像処理手段
34 赤目処理部
40 メモリ
42 バッファメモリ
44 赤目処理手段
【発明の属する技術分野】
本発明は、デジタルの画像処理の技術分野に属し、詳しくは、複数の画像データの中に、赤目補正処理等の処理に時間がかかる画像処理が必要な画像データを含む場合であっても、効率よく迅速に画像処理を行うことができる画像処理装置および方法、この画像処理装置を利用する画像形成装置、ならびに、これらを実現するプログラムに関する。
【0002】
【従来の技術】
現在、ネガフィルム、リバーサルフィルム等の写真フィルム(以下、フィルムとする)に撮影された画像の感光材料(印画紙)への焼き付けは、フィルムの画像を感光材料に投影して露光する、いわゆる直接露光が主流である。
これに対し、近年では、フィルムに記録された画像を光電的に読み取って、読み取った画像をデジタル信号とした後、種々の画像処理を施して記録用の画像データとし、この画像データに応じて変調した記録光によって感光材料を露光してプリントとして出力するデジタルフォトプリンタが実用化されている。
【0003】
デジタルフォトプリンタは、基本的に、フィルムに記録された画像を光電的に読み取るスキャナ(画像読取装置)、および、スキャナが読み取った画像データに画像処理を施して出力のための画像データとする画像処理装置を有する入力機と、画像処理装置から出力された画像データに応じて、例えば光ビーム走査によって感光材料を露光して潜像を記録し、現像処理を施して(仕上り)プリントとする出力機(プリンタ/プロセサ)とから構成される。
【0004】
デジタルフォトプリンタは、フィルムに撮影された画像を光電的に読み取って、画像をデジタルの画像データとして、画像の処理や感光材料の露光を行う。そのため、フィルムに撮影された画像のみならず、デジタルカメラ等で撮影された画像(画像データ)からも、プリントの作成を行うことができる。
【0005】
また、近年のパーソナルコンピュータ(PC)やデジタルカメラ、さらにはインクジェットプリンタなどの安価なカラープリンタの普及に伴い、デジタルカメラで撮影した画像をPCに取り込み、画像処理を施してプリンタで出力するユーザをも多い。
さらに、近年では、デジタルカメラで撮影した画像を記憶したスマートメディアTMやコンパクトフラッシュTMなどの記憶媒体から、直接的に画像データを読み取り、所定の画像処理を施して、プリント(ハードコピー)を出力するプリンタも実用化されている。
【0006】
ところで、ポートレート等の人物を含む画像において、画質を左右する最も重要な要素は人物の仕上りである。従って、撮影時のストロボ発光の影響によって、人物の目(瞳)が赤になる赤目現象は重大な問題となる。
従来のフィルムから直接的に露光を行うフォトプリンタでは、赤目の補正は非常に困難であるが、デジタルフォトプリンタ等のデジタルの画像処理であれば、画像解析および画像データの処理によって赤目の補正を行うことができる。例えば、特許文献1に示されるように、表示画像を用いた指示や画像解析を利用する自動抽出等によって、赤目となっている瞳を検出し、その瞳(その画像データ)を色変換して赤目を修正することで、赤目の補正処理が行われる。
【0007】
【特許文献1】
特開平11−175699号公報
【0008】
【発明が解決しようとする課題】
このような赤目補正処理は、全ての画像データに必要な処理では無いものの、演算量が多く、かつ、時間のかかる処理である。そのため、赤目補正処理は、全ての画像データ(コマ)に対して行われる一般的な画像処理のために特化された画像処理手段ではなく、別の画像処理手段に画像データを取り込んで行うのが好ましい。
【0009】
ここで、通常の画像処理においては、画像処理および出力は、画像データの読み込み順(コマの順番)どおりに行われる。
そのため、連続的に処理を行う複数のコマの中に、赤目補正処理が必要なコマが存在する場合には、そのコマの赤目補正処理が終了するまで、次のコマの画像処理を行うことができない。例えば、前記特許文献1に開示される装置では、出力用の画像データ(ファインスキャンデータ)を用いた赤目領域指定や赤目補正結果の確認を行って、効率のよい赤目補正を可能としているが、赤目補正処理中は、やはり他のコマに対する画像処理が停止した状態となってしまう。その結果、赤目補正処理中に他のコマに対する画像処理が停止したような状態となってしまい、全体的な画像処理時間が長くなってしまうという問題がある。
【0010】
本発明の目的は、前記従来技術の問題点を解決することにあり、デジタルフォトプリンタなどにおけるデジタルの画像処理において、処理を行う複数の画像データの中に、赤目補正やテンプレート合成等の時間のかかる画像処理が必要な画像データが存在していても、他の画像データに対する画像処理の効率等を低下することなく、迅速に画像処理を行うことを可能にする画像処理装置および画像処理方法、これを利用する画像形成装置、ならびに、これらを実施させるプログラムを提供することにある。
【0011】
【課題を解決するための手段】
前記課題を解決するために、本発明の画像処理装置は、第1の画像処理手段と、画像データを一時的に記憶するバッファメモリを有し、前記第1の画像処理手段とは異なる画像処理を行う、前記第1の画像処理手段の上流もしくは下流に配置される第2の画像処理手段とを有し、前記第1の画像処理手段は、供給された全ての画像データに画像処理を施して出力し、前記第2の画像処理手段は、供給された画像データのうち、自身が画像処理を行わない画像データは、そのまま出力し、自身が画像処理を行う画像データのみを前記バッファメモリに取り込んで画像処理を施して出力することを特徴とする画像処理装置を提供する。
【0012】
また、本発明の画像形成装置は、前記本発明の画像処理装置と、前記画像処理装置から出力された画像データを受け取り、この画像データを可視像として再生したハードコピーを作成する画像記録手段とを有することを特徴とする画像形成装置を提供する。
【0013】
また、本発明の画像処理方法は、供給された全画像データに画像処理を施して出力する第1の画像処理手段によって画像処理を行いつつ、前記第1の画像処理手段とは異なる画像処理を行う、前記第1の画像処理手段の上流もしくは下流に配置される第2の画像処理手段によって、自身が画像処理を行う画像データはバッファメモリに取り込んで画像処理を行った後に出力し、それ以外の画像データは、そのまま出力することを特徴とする画像処理方法を提供する。
【0014】
さらに、本発明のプログラムは、第1の画像処理手段によって、供給された全画像データに画像処理を実施させ、処理済の画像データを出力させる機能、前記第1の画像処理手段とは異なる画像処理を行う、前記第1の画像処理手段の上流もしくは下流に配置される第2の画像処理手段によって、自身が処理しない画像データはそのまま出力させ、自身が画像処理を行う画像データはバッファメモリに取り込んで画像処理を行った後に出力させる機能、前記第1の画像処理手段および第2の画像処理手段に画像データを供給させる機能、を実現させるためのプログラムを提供する。
【0015】
このような本発明において、さらに、第1の画像処理手段および第2の画像処理手段よりも上流に、画像データを取得して、1コマずつ、順次、出力する画像供給手段を有し、かつ、この画像供給手段は、1つの画像データの集合の中で、前記第2の画像処理手段で処理を行う画像データから下流に出力するのが好ましい。
また、前記第2の画像処理手段による画像処理の進行によらず、供給された画像データに、順次、必要な画像処理を施して出力するのが好ましく、もしくは、コマ番号が付された1つの画像データの集合においては、常に、前記第2の画像処理手段が処理中の画像データよりも小さいコマ番号を有する画像データを出力するのが好ましく、もしくは、前記第2の画像処理手段による画像処理の進行によらず、供給された画像データに、順次、必要な画像処理を施して出力するパターンと、コマ番号が付された1つの画像データの集合においては、常に、前記第2の画像処理手段が処理中の画像データよりも小さいコマ番号を有する画像データを出力するパターンとの選択手段を有するのが好ましい。
【0016】
【発明の実施の形態】
以下、本発明の画像処理装置および画像処理方法、画像形成装置ならびにプログラムについて、添付の図面に示される好適実施例を基に、詳細に説明する。
【0017】
図1に、本発明にかかる画像処理装置の概念をブロック図で示す。
図1に示される画像処理装置10は、通常のカメラやデジタルカメラ等で光学的に撮影された画像に、所定の画像処理および必要に応じて赤目補正処理を施すものであり、処理装置本体12(以下、装置本体12とする)に加え、スキャナ14および読取装置16を有して構成される。
【0018】
スキャナ14は、通常のカメラによって(写真)フィルムに撮影された画像を光電的に読み取るものである。
本発明において、スキャナ12は、基本的に、公知のフィルムスキャナであって、例えば、フィルムを連続的もしくは1コマずつ断続的に搬送しつつ、所定の読取位置においてフィルムに読取光を入射して、フィルムを透過した画像を担持する投影光をCCDセンサ等に結像して、光電的に読み取り、デジタルの画像データに変換して装置本体12に出力する。
【0019】
また、図示例においては、スキャナ14は、1コマ(1画像)について、出力用の画像データを得るために画像を高解像度で読み取るファインスキャンと、ファインスキャンの読取条件や装置本体12における処理条件を決定するために、ファインスキャンに先立って低解像度で画像を読み取るプレスキャンとの、2回の画像読取を行う。また、スキャナ14は、プレスキャンの画像データ(以下、プレスキャンデータとする)は、後述する装置本体12の解析手段30へ、ファインスキャンの画像データは同画像処理手段32に出力する。
ここで、スキャナ14は、一件(フィルム1本)の画像読取において、プレスキャンは1コマ目から最終コマ(あるいは逆)まで順番に読み取りを行い、ファインスキャンでは、後述する解析手段30から供給された情報に応じて、赤目補正処理を行うコマを最初に読み取って、その後、赤目補正処理が不要なコマの読み取りを行う。従って、図示例においては、ファインスキャンの際には、必要に応じて、フィルムを往復動する。
【0020】
読取装置16は、デジタルカメラによって撮影された画像の画像データを記憶するメディア(記憶媒体)から、画像データを読み取り、装置本体12の画像処理手段32に供給するものである。あるいは、デジタルカメラから、直接、画像データを読み取れるようにしてもよい。
本発明において、読取装置16が対応するメディアには限定はなく、CD−R、MO、ZipTM、スマートメディアTM、xD−ピクチャーカードTM、コンパクトフラッシュTM、PCカード等、画像データ(画像ファイル)を記憶可能であれば、各種のメディアが全て利用可能である。
【0021】
ここで、読取装置16は、後述する解析手段30から供給された情報に応じて、1件(例えば、1つのメディアから読み取った全コマ)の内、赤目補正処理を行うコマの画像データを最初に画像処理手段32に出力し、その後、赤目補正処理が不要なコマの画像データを出力する。
【0022】
なお、本発明においては、読取装置16と装置本体12とを一体的に構成してもよい。
あるいは、読取装置16と、後述する装置本体12の解析手段30と画像処理手段32のみを一体的に構成して、両手段は読取装置16による画像データのみに対応するものとして、スキャナ14による画像データに対応する解析手段30および画像処理手段32は、別途、設ける構成としてもよい。
【0023】
プリンタ20は、装置本体12から供給された画像データに応じた画像記録を行い、この画像データの画像を再生したプリント(ハードコピー)を出力するものである。このプリンタ20と装置本体12(あるいはさらに、スキャナ14および/または読取装置16)とを組み合わせることにより、本発明の画像形成装置が構成される。
本発明において、プリンタ20(画像記録手段)には限定は無い。例えば、装置本体12から供給された画像データに応じて変調した光ビームで感光材料(印画紙)を像様に露光して、湿式の現像処理を施してプリントとして出力する(写真)プリンタ、インクジェットプリンタ、電子写真プリンタ等、各種のカラープリンタが全て利用可能である。
【0024】
なお、本発明においては、装置本体12(あるいはさらに読取手段16を組み込んで)とプリンタ18とを一体的に構成してもよく、また、装置本体12(同前)をアダプタやアタッチメントのように構成して、プリンタ18に接続自在もしくは着脱自在にしてもよい。
【0025】
装置本体12は、スキャナ14および読取装置16から画像データを受け取り、所定の画像処理および必要に応じて赤目補正処理(以下、赤目処理とする)を行って、プリンタ20に出力するものであり、基本的に、解析手段30と、画像処理手段32と、赤目処理部34とを有して、構成される。
画像処理手段32は、本発明における第1の画像処理手段に対応し、赤目処理部34は、本発明における第2の画像処理手段に対応するものである。両者は、個々にCPUやメインメモリ等を有する、完全に独立した部位であり、好ましくは、実施する画像処理に応じて特化されている。
【0026】
なお、図示例においては、解析手段30および画像処理手段32は、スキャナ14から供給された画像データおよび読取装置16から供給された画像データの両者を処理している。
しかしながら、本発明は、これに限定はされず、スキャナ12から供給された画像データに対応する手段と、読取装置16から供給された画像データに対応する手段とを、独立して有してもよい。さらに、解析手段30および画像処理手段32と、赤目補正部34とを、完全に独立した別体の構成としてもよい。
【0027】
解析手段30は、スキャナ14や読取装置16から供給された画像データ(画像ファイル)を解析して、赤目が発生している可能性を有するコマ(画像)、すなわち赤目処理が必要なコマを抽出するものである。
なお、赤目処理を行うコマ(第2の画像処理手段で処理を行うコマ)の選択は、データ解析による方法に限定はされず、オペレータ等による入力指示に応じて行ってもよく、画像データ等の解析と入力指示とを併用可能にしてもよく、画像データ等の解析と入力指示とを選択可能にしてもよい。
【0028】
スキャナ14から供給された画像データを処理する場合には、プレスキャンデータが解析手段30に供給される。解析手段30は、各コマ毎に、濃度ヒストグラムの作成や顔抽出等、プレスキャンデータの画像解析を行って、赤目処理が必要なコマを抽出し、抽出結果すなわち赤目処理を行うコマの情報をスキャナ14および赤目処理部34に送る。
スキャナ14は、ファインスキャンでは、赤目処理を行うコマを最初に読み取るのは、前述のとおりである。
【0029】
デジタルカメラで撮影された画像データ(画像ファイル)は、通常、Exifフォーマットである。解析手段30は、読取装置16がメディアからのデータ読み取り終了すると、読取装置16が読み取ったデータを解析に行き、例えば、Exifデータを用いて、赤目処理が必要なコマを抽出し、抽出結果すなわち赤目処理を行うコマの情報を読取装置16および赤目処理部34に送る。
読取装置16は、赤目処理を行うコマを最初に画像処理部32に出力するのは、前述のとおりである。
【0030】
画像処理手段32は、供給された全てのコマ(画像データ)に所定の画像処理を施し、画像データの転送方向の下流(以下、単に下流とする)の赤目補正部34に供給するものである。
画像処理手段32が実施する画像処理には、限定はなく、階調補正、色/濃度補正、電子変倍処理、シャープネス処理、覆い焼き処理(中間階調を維持したダイナミックレンジの圧縮)等、各種の画像処理装置で通常に行われている各種の画像処理が例示される。また、各画像処理の方法も、メモリへの画像データの取り込み、LUT(ルックアップテーブル)、MTX演算、各種のフィルタによる各種の処理等を用いる、公知の方法によればよい。
【0031】
ここで、画像処理装置12においては、画像処理手段32からの処理済の画像データの出力パターン、すなわち図示例においてはプリンタ20への処理済の画像データの供給パターンとして、2つのパターンを有し、いずれかを選択できるようになっている。
第1のパターンは、コマ番号に応じて、赤目処理部34による処理の終了を待機し、常に、赤目処理部34が処理中の画像データよりも若い(小さい)コマ番号を有する画像データを出力するパターンである。このパターンは、画像処理手段32による待ち時間が生じる可能性は有るものの、コマ番号順にプリントの出力を行うことができる。
第2のパターンは、赤目処理部34による処理の進行に関わらず、必要な画像処理が終了したコマから、順次、赤目処理部34に画像データを出力するパターンである。このパターンでは、プリントの出力順はコマ番号どおりにはならないが、最短の処理時間を実現できる。
これらのパターンに関しては、後に詳述する。
【0032】
なお、本発明の画像処理装置10は、両出力パターンを選択可能であるのに限定はされず、第1のパターンもしくは第2のパターンのみを実施するものであってもよい。
【0033】
赤目処理部34は、メモリ40、バッファメモリ42、および、赤目処理手段44を有して構成され、解析手段30が赤目処理が必要であると判断したコマのみに赤目処理を行い、赤目処理が不要と判断されたコマは、何の処理も行わずにプリンタ20に出力する。
具体的には、赤目処理部34においては、画像処理部32から供給された各コマの画像データを、一旦、メモリ40に記憶する。このコマが解析手段30によって赤目処理は不要と判断されたコマである場合には、赤目補正部34は、何の処理もせずに、メモリ40からプリンタ20に画像を出力する。他方、このコマが赤目処理が必要であると判断されたコマである場合には、メモリ40からバッファメモリ42に画像データを取り込み、赤目処理手段44によって、画像の赤目(補正)処理を行う。
【0034】
本発明は、このような構成を有することにより、時間のかかる赤目処理中に他の通常の画像処理を停止することなく、画像処理手段32による通常の画像処理と、赤目処理部34赤目処理とを並行して行うことを可能にし、効率の良い迅速な画像処理を行って、1件のトータルの処理時間を短縮できる。
【0035】
なお、赤目処理手段44による赤目処理の方法には、特に限定はなく、公知の方法が、各種、利用可能である。
一例として、バッファ42に記憶した画像データから、画像中の赤目を画像解析によって自動検出(赤目検出)して、さらに、その修正(赤目修正)を画像処理によって自動的に行う、全自動の赤目補正処理方法が例示される。
【0036】
赤目検出の方法には、特に限定はなく、公知の方法が各種利用可能である。
一例として、顔抽出を行い、抽出した顔から瞳および/または赤目を検出する方法が例示される。
【0037】
顔抽出は、公知の方法で行えばよく、例えば、エッジ検出や形状パターン検出による顔検出方法; 色相抽出や肌色抽出による顔検出方法; 候補領域を抽出して、この候補領域を小領域に分割して、各領域毎の特徴量を予め設定した顔領域パターンと照合して、その確度から顔領域を抽出する方法(特開2000−137788号公報参照); 顔候補領域を抽出して、各候補領域の重複度から確度を評価して顔領域を抽出する方法(特開2000−149018号公報参照); 顔候補領域を抽出して、各候補領域の濃度が所定の閾値に対応する値である場合に、胴体候補領域を抽出し、顔および胴体候補領域の濃度や彩度コントラストを用いて確度を評価して、顔領域を抽出する方法(特開2000−148980号公報参照); 等が例示される。
【0038】
抽出した顔領域から赤目を検出する方法も、公知の方法で行えばよい。
例えば、エッジ検出、形状パターン検出、位置情報、色相情報等を用いた瞳抽出を行って、色相等から赤目を検出する方法; エッジ検出、形状パターン検出、位置情報等を用いて目を抽出し、この目の画像データの輝度ヒストグラムから低輝度領域を抽出し、抽出した低輝度領域を収縮処理して瞳の領域を抽出し、色相等から赤目を検出する方法; 顔候補領域をxy平面として各画素毎に色相等を用いた画像特徴量zを求め、xyzの三次元空間を設定してz値の山状分布からxy平面を分割して、分割領域毎に形状情報や統計的画像特徴量等から赤目を検出する方法(特開2000−76427号公報参照); 等が例示される。
【0039】
また、検出した赤目の修正方法にも限定はなく、公知の方法で行えばよい。
例えば、検出した赤目の色変換や彩度低下によって赤目を修正する方法; 検出した赤目領域で最小明度の画素に近づけるように、他の全画素の彩度や明度を補正する方法(特開2000−76427号公報参照); 等が例示される。
【0040】
なお、本発明において、第2の画像処理手段で行う画像処理は、図示例のような赤目処理に限定はされず、演算量が多く、時間のかかる各種の画像処理、好ましくは、特定のコマのみに必要な画像処理が、各種、利用可能である。
一例として、フレームなどの画像テンプレートの合成、歪曲収差補正、周辺減光補正、フィルムの損傷や付着した異物等に起因する画像欠陥を処理する傷消し処理等が例示される。なお、これらの画像処理は、いずれも公知の方法で実施すればよい。例えば、傷消し処理であれば、赤外線(IR)領域で画像読取を行い、得られた画像(IR画像)から傷(画像欠陥理)の発生箇所を検出して、周辺画素を用いた補間等によって傷消し処理(画像欠陥の補正処理)を行えばよい。また、傷の発生量、傷の発生箇所、傷が主要被写体に重なっているか否か等を解析して、傷消し処理(第2の画像処理手段での処理)を行うか否かを判定するようにしてもよい。
また、第2の画像処理手段で複数の画像処理を行うようにしてもよいのは、もちろんのことである。
【0041】
以下、図示例の画像処理装置10の作用を説明することにより、本発明について、より詳細に説明する。また、本発明のプログラムは、装置本体12、あるいはさらにスキャナ14および読取装置16に、以下の作用を実施させるプログラムである。
【0042】
まず、スキャナ14が読み取ったフィルムの画像を処理する場合には、読取開始の指示が出されると、前述のようにプレスキャンを行い、プレスキャンデータを装置本体12の解析手段30に送る。
解析手段30は、前述のように、各コマ毎に画像解析を行い、赤目処理が必要なコマを抽出し、抽出結果すなわち赤目処理を行うコマの情報をスキャナ14および赤目補正部34に供給する。
一例として、2コマ目と6コマ目に赤目処理を行うとして、スキャナ14は、この情報に応じて、まず、2コマ目、次いで、6コマ目を所定の読取位置に搬送してファインスキャンを行い、その後、フィルムを読み取りの先頭位置まで逆送して、次いで、フィルムを順方向に搬送しつつ、1コマ目、3〜5コマ目、7コマ目以降と、順次、ファインスキャンを行い、ファインスキャンデータを、順次、装置本体12の画像処理手段32に供給する。
【0043】
他方、読取装置16がメディアから読み取った画像データを処理する場合には、メディアが読取装置16に装填されて、読取指示が出されると、読取装置16がメディアが記憶している全画像データを読み取る。
所定のデータの読み取りを終了すると、読取装置16は、解析手段30に信号を出す。解析手段30は、これに応じて、読取装置16にデータを見に行き、前述のように、読取装置16が読み取った画像データ(画像ファイル)のExif情報の解析等を行って、赤目処理が必要なコマを抽出し、抽出結果すなわち赤目処理を行うコマの情報を読取装置16および赤目補正部34に供給する。
同様に、2コマ目と6コマ目に赤目処理を行うとして、読取装置16は、この情報に応じて、2コマ目、次いで、6コマ目の画像データを最初に画像処理手段32に出力し、その後、1コマ目、3〜5コマ目、7コマ目以降と、順次、画像データを画像処理手段32に出力する。
【0044】
以下の作用は、スキャナ14による画像データでも読取装置16による画像データでも同じであるので、説明はまとめて行う。一例として、全10コマの件で、2コマ目と6コマ目に赤目処理を行うとする。
なお、以下に説明する出力のための画像データの処理に先立ち、プレスキャンデータやメディアから読み取った画像データを間引いた画像データを用いて、検定画像を作成し、オペレータによる検定等を行ってもよい。
【0045】
画像処理手段32は、画像データを供給された順に、2コマ目、次いで6コマ目に所定の画像処理を行い、処理済の画像データを赤目処理部34のメモリ40に出力する。
2コマ目および6コマ目は赤目処理を行うコマであるので、赤目処理部34では、メモリ40からバッファメモリ42に画像データを取り込み、順次、赤目処理を行う。
【0046】
ここで、前述のように図示例においては、、画像処理手段32からの画像データの出力パターンすなわちプリンタ20への画像データの供給パターン(プリント順)には、第1と第2の二つのパターンがある。
【0047】
第1のパターンは、前述のように、赤目処理部34による赤目処理の進行に応じて、常に、赤目処理部34で処理中の画像データよりも若いコマ番号を有する画像データを出力するパターンである。
以下、図2(A)の概念図を参照して説明する。
【0048】
本例は、2コマ目と6コマ目に赤目処理を行うものであり、前述のように、画像処理手段32には、2コマ目および6コマ目の画像データが最初に供給され、次いで、他のコマの画像データが、順次、供給される。
画像処理手段32は、まず、供給された2コマ目、次いで、6コマ目に画像処理を施して、順次、赤目処理部34のメモリ40に出力する。赤目補正部34においては、2コマ目および6コマ目は赤目処理を施すコマであるので、画像データをメモリ40からバッファメモリ42に取り込み、2コマ目から赤目処理手段44によって赤目処理を行う。
【0049】
画像処理手段32は、6コマ目の画像処理を終了したら、さらに、1コマ目、3コマ目、4コマ目、5コマ目、7コマ目…と、順次、画像処理を行う。
ここで、赤目処理部34において2コマ目の赤目処理中である場合には、画像処理手段32は、これより若いコマ番号を有する1コマ目のみの、画像処理を終了したら処理済の画像データを赤目処理部34のメモリ40に供給し、3コマ目以降は、画像処理を終了しても、出力を待機する。
1コマ目は、赤目処理を行わないコマであるので、赤目処理部34では何の処理もせずに、そのまま画像データをメモリ40からプリンタ20に供給する。
【0050】
赤目処理部34において、2コマ目の赤目処理が終了すると、バッファメモリ42からメモリ40に赤目処理済の画像データを供給し、此処から、この画像データをプリンタ20に供給すると共に、バッファメモリ42に記憶した6コマ目の赤目処理を開始する。
これに応じて、画像処理手段32では、画像処理の進行状況に応じて、6コマ目よりも若い3コマ目、4コマ目、および5コマ目の処理済画像データを、順次、赤目処理部34のメモリ40に供給する。また、画像処理手段32では、6コマ目よりも大きな7コマ目以降は、画像処理が終了しても出力を待機する。
3コマ目〜6コマ目も赤目処理を行わないコマであるので、赤目処理部34では何の処理もせずに、そのまま画像データをメモリ40からプリンタ20に供給する。
【0051】
以下、同様に、赤目処理部34においては、6コマ目の赤目処理が終了すると、この赤目処理済の画像データをプリンタ20に供給する。これに応じて、画像処理手段32は、画像処理の進行状態に応じて、7コマ目以降の処理済画像データを、順次、赤目処理部34に供給し、赤目処理部34は、何の処理もせずにこの画像データをプリンタ20に供給する。
従って、このパターンでは、プリント順は1コマ目〜10コマ目までコマ番号順となる。
【0052】
もう一方の出力パターンは、赤目処理部34における赤目処理の進行状況によらず、必要な処理が終了した画像データを、順次、赤目処理部34すなわちプリンタ20に供給するパターンである。以下、図2(B)の概念図を参照して説明する。
【0053】
先の第1のパターンと同様、画像処理手段32には、2コマ目および6コマ目の画像データが最初に供給され、次いで、他のコマの画像データが、順次、供給される。
画像処理手段32は、まず、供給された2コマ目、次いで、6コマ目に画像処理を施して、順次、赤目処理部34のメモリ40に出力する。赤目補正部34においては、2コマ目および6コマ目は赤目処理を施すコマであるので、画像データをメモリ40からバッファメモリ42に取り込み、2コマ目から赤目処理手段44によって赤目処理を行う。
【0054】
画像処理手段32は、6コマ目の画像処理を終了したら、さらに、1コマ目、3コマ目、4コマ目、5コマ目、7コマ目…と、順次、画像処理を行い、赤目処理部34による赤目処理の進行状況によらず、画像処理を終了したら、順次、赤目処理部34のメモリ40に出力する。
これらは、赤目処理を行わないコマであるので、赤目処理部34では何の処理もせずに、そのまま画像データをメモリ40からプリンタ20に供給する。
【0055】
ここで、赤目処理部34において、画像処理手段32からメモリ40に5コマ目の処理済画像データを取り込んでいる途中で、2コマ目の赤目処理が終了したとする。赤目処理部34は、バッファメモリ42に記憶した6コマ目の赤目処理を開始すると共に、5コマ目の画像データをメモリ40に取り込みつつ、バッファメモリ42からメモリ40に2コマ目の赤目処理済画像データを送り、此処からプリンタ20に2コマ目の画像データを送る。
【0056】
赤目処理部34は、2コマ目の画像データをプリンタ20に供給したら、画像処理手段32からの画像データの供給に応じて、5コマ目以降を、順次、プリンタ20に送る。
また、赤目処理部34において、画像処理手段32から9コマ目の画像データを取り込んでいる途中で、6コマ目の赤目処理が終了したとして、先と同様に、赤目処理部34は、6コマ目をプリンタ20に送り、次いで、画像処理手段32からの画像データの供給に応じて、9コマ目、10コマ目を何の処理もせずにプリンタ20に供給する。
従って、本例においては、プリント順は、1、3、4、2、5、7、8、6、9、10コマ目の順番になる。
【0057】
前述のように、通常の画像処理においては、赤目処理等を行っている最中には、通常の画像処理を停止したような状態となってしまうために、画像処理の効率が悪く、赤目処理等が必要なコマが存在すると、図2(C)に概念的に示すように、1件の画像処理時間が長くなってしまう。
これに対し、本発明によれば、赤目処理等の時間がかかる画像処理と、全コマに施す通常の画像処理とを並行して行うことができるので、図2に概念的に示すように、非常に良好な処理効率で、1件全体の処理時間を短縮できる。また、第1のパターンによれば、場合によって若干の待機時間は生じるものの、良好な効率で赤目処理と画像処理とを行って、短時間で、コマ番号順にプリントを出力できる。他方、第2のパターンによれば、プリント順はコマ番号順とはならないが、最短時間で赤目処理を含む1件の処理を行うことができる。
【0058】
以上の例では、第1のパターンでは、画像処理手段32からの画像データの出力を待機することで、プリンタ20への画像データ出力をコマ番号順としたが、本発明は、これに限定はされない。例えば、画像処理手段32において、画像処理の開始を待機することで、プリンタ20への画像データ出力をコマ番号順としてもよい。
あるいは、赤目処理部34における画像データの出力待機や、赤目処理部34の下流に配置される部位における画像データの出力待機等によって、プリンタ20への画像データ出力をコマ番号順としてもよい。
【0059】
以上、本発明について詳細に説明したが、本発明は上記実施例に限定はされず、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよいのは、もちろんである。
【0060】
例えば、図示例においては、第2の画像処理手段(赤目処理部34)は第1の画像処理手段(画像処理手段32)の下流に位置しているが、本発明は、これに限定はされず、第2の画像処理手段を第1の画像処理手段の上流に配置してもよく、さらに、第1の画像処理手段の上流および/または下流に、互いに異なる画像処理を行う複数の第2の画像処理手段を配置してもよい。
また、図示例では、装置本体12は、スキャナ14と読取手段16との両者に対応しているが、本発明はこれに限定はされず、いずれか一方のみに対応するものであってもよい。
さらに、本発明においては、処理済の画像データをプリンタ(画像記録手段)に出力するのに限定はされず、例えば、CD−RやDVD等に処理済の画像データを出力するものであってもよい。
【0061】
【発明の効果】
以上、詳細に説明したように、本発明によれば、処理を行う多数の画像データ中に、赤目補正やテンプレート合成等の時間のかかる画像処理が必要な画像データが存在していても、他の画像データに対する画像処理の効率等を低下することなく、迅速に画像処理を行うことができる。
【図面の簡単な説明】
【図1】本発明の画像処理装置の一例を概念的に示すブロック図である。
【図2】(A)および(B)は、本発明の画像処理の一例を説明するための概念図で、(C)は従来の画像処理の一例を説明するための概念図である。
【符号の説明】
10 画像処理装置
12 (処理)装置本体
14 スキャナ
16 読取装置
20 プリンタ
30 解析手段
32 画像処理手段
34 赤目処理部
40 メモリ
42 バッファメモリ
44 赤目処理手段
Claims (8)
- 第1の画像処理手段と、画像データを一時的に記憶するバッファメモリを有し、前記第1の画像処理手段とは異なる画像処理を行う、前記第1の画像処理手段の上流もしくは下流に配置される第2の画像処理手段とを有し、
前記第1の画像処理手段は、供給された全ての画像データに画像処理を施して出力し、前記第2の画像処理手段は、供給された画像データのうち、自身が画像処理を行わない画像データは、そのまま出力し、自身が画像処理を行う画像データのみを前記バッファメモリに取り込んで画像処理を施して出力することを特徴とする画像処理装置。 - さらに、第1の画像処理手段および第2の画像処理手段よりも上流に、画像データを取得して、1コマずつ、順次、出力する画像供給手段を有し、
かつ、この画像供給手段は、1つの画像データの集合の中で、前記第2の画像処理手段で処理を行う画像データから下流に出力する請求項1に記載の画像処理装置。 - 前記第2の画像処理手段による画像処理の進行によらず、供給された画像データに、順次、必要な画像処理を施して出力する請求項1または2に記載の画像処理装置。
- コマ番号が付された1つの画像データの集合においては、常に、前記第2の画像処理手段が処理中の画像データよりも小さいコマ番号を有する画像データを出力する請求項2に記載の画像処理装置。
- 前記第2の画像処理手段による画像処理の進行によらず、供給された画像データに、順次、必要な画像処理を施して出力するパターンと、コマ番号が付された1つの画像データの集合においては、常に、前記第2の画像処理手段が処理中の画像データよりも小さいコマ番号を有する画像データを出力するパターンとの選択手段を有する請求項2に記載の画像処理装置。
- 請求項1〜5のいずれかに記載の画像処理装置と、前記画像処理装置から出力された画像データを受け取り、この画像データを可視像として再生したハードコピーを作成する画像記録手段とを有することを特徴とする画像形成装置。
- 供給された全画像データに画像処理を施して出力する第1の画像処理手段によって画像処理を行いつつ、
前記第1の画像処理手段とは異なる画像処理を行う、前記第1の画像処理手段の上流もしくは下流に配置される第2の画像処理手段によって、自身が画像処理を行う画像データはバッファメモリに取り込んで画像処理を行った後に出力し、それ以外の画像データは、そのまま出力することを特徴とする画像処理方法。 - 第1の画像処理手段によって、供給された全画像データに画像処理を実施させ、処理済の画像データを出力させる機能、
前記第1の画像処理手段とは異なる画像処理を行う、前記第1の画像処理手段の上流もしくは下流に配置される第2の画像処理手段によって、自身が処理しない画像データはそのまま出力させ、自身が画像処理を行う画像データはバッファメモリに取り込んで画像処理を行った後に出力させる機能、
前記第1の画像処理手段および第2の画像処理手段に画像データを供給させる機能、を実現させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003127008A JP2004336230A (ja) | 2003-05-02 | 2003-05-02 | 画像処理装置および画像処理方法、画像形成装置ならびにプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003127008A JP2004336230A (ja) | 2003-05-02 | 2003-05-02 | 画像処理装置および画像処理方法、画像形成装置ならびにプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004336230A true JP2004336230A (ja) | 2004-11-25 |
Family
ID=33503723
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003127008A Withdrawn JP2004336230A (ja) | 2003-05-02 | 2003-05-02 | 画像処理装置および画像処理方法、画像形成装置ならびにプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004336230A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007272435A (ja) * | 2006-03-30 | 2007-10-18 | Univ Of Electro-Communications | 顔特徴抽出装置及び顔特徴抽出方法 |
-
2003
- 2003-05-02 JP JP2003127008A patent/JP2004336230A/ja not_active Withdrawn
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007272435A (ja) * | 2006-03-30 | 2007-10-18 | Univ Of Electro-Communications | 顔特徴抽出装置及び顔特徴抽出方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7397969B2 (en) | Red eye compensation method, image processing apparatus and method for implementing the red eye compensation method, as well as printing method and printer | |
US20050207649A1 (en) | Particular-region detection method and apparatus, and program therefor | |
JP2005045497A (ja) | 画像処理装置及び画像処理システム | |
JP2004145287A (ja) | 赤目補正方法、画像処理方法、プリント方法およびプリンタ | |
JP2004336230A (ja) | 画像処理装置および画像処理方法、画像形成装置ならびにプログラム | |
JP2002300403A (ja) | 画像処理装置 | |
JP4250498B2 (ja) | 画像処理サービス方法 | |
JP2001197289A (ja) | 画像処理方法および画像処理装置 | |
JP3908216B2 (ja) | プリントシステム | |
JP2001103304A (ja) | 特定被写体抽出方法および装置 | |
JP2006018805A (ja) | 特定領域検出方法、特定領域検出装置、およびプログラム | |
JP3750751B2 (ja) | デジタル写真プリンタ | |
JP2004112390A (ja) | 画像処理方法 | |
JP2006171085A (ja) | プリンタ | |
JP2001007965A (ja) | 画像処理装置 | |
JP4731695B2 (ja) | 多点測距カメラを利用した画像処理システム | |
JP4264070B2 (ja) | 画像形成方法および画像形成装置 | |
JP4121013B2 (ja) | 写真画像の出力方法および装置 | |
JP2007034471A (ja) | コントラスト補正に用いられる補正特性の生成方法と生成プログラムと生成モジュール | |
JP4347904B2 (ja) | 画像処理方法および画像処理装置 | |
JP2008079196A (ja) | 画像補正方法と画像補正プログラムと画像補正モジュール | |
JP2006092153A (ja) | 画像処理システムおよび画像処理方法 | |
JP3989344B2 (ja) | 画像処理方法 | |
JP2001197352A (ja) | 主要被写体抽出方法 | |
JP2004096439A (ja) | 赤目補正方法および画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20060704 |